Datenschutzverstoß beim Chatbot Replika zieht Millionenbußgeld nach sich
Wenn künstliche Intelligenz persönliche Gespräche führt, muss der Datenschutz gewährleistet sein. Genau daran ist der Replika-Chatbot des US-Startups Luka Inc. gescheitert und wurde dafür von der italienischen Datenschutzbehörde Garante per la protezione dei dati personali (GPDP) mit einem Bußgeld in Höhe von 5.000.000 EUR belegt.
Luka Inc., ein Softwareentwickler aus den USA, ist vor allem für seinen KI-gestützten Chatbot „Replika“ bekannt, der seinen Nutzer*innen personalisierte virtuelle Gesprächspartner bietet. Mit dem Versprechen einer emotional intelligenten künstlichen Intelligenz hat Replika weltweit eine wachsende Community gefunden.
Replika hebt sich dabei besonders durch die Möglichkeit ab, individuelle Avatare zu erschaffen, die auf persönlichen Angaben basieren und mit der Zeit „lernen“, ihre Nutzer*innen besser zu verstehen. In der Premiumversion bietet Replika sogar Inhalte mit erotischem oder romantisch-intimem Charakter an – ein Aspekt, der auch aus datenschutzrechtlicher Perspektive hochsensibel ist.
Am 19. Mai 2025 veröffentlichte die italienische Datenschutzbehörde GPDP eine Entscheidung mit umfassenden Folgen: Ein Bußgeld in Höhe von fünf Millionen Euro wurde gegen Luka Inc. verhängt. Der Bescheid datiert auf den 10. April 2025, doch die Vorgeschichte reicht weiter zurück.
Bereits im Jahr 2023 hatte die GPDP dem Unternehmen untersagt, personenbezogene Daten italienischer Bürger*innen zum Training seiner KI zu verwenden. Zudem bemängelte die Behörde schwerwiegende Defizite in der Altersverifikation und der Datenschutzrichtlinie der Anwendung. Trotz der Hinweise kam es offenbar zu keinen ausreichenden Anpassungen. So stellte die GPDP bei der nun abgeschlossenen Untersuchung fest, dass die Altersüberprüfung von Replika nicht geeignet war, Kinder und Jugendliche vor dem Zugriff auf explizite Inhalte zu schützen – insbesondere, da die KI teils sexuelle Inhalte generierte.
Neben der unzureichenden Altersverifikation konnte Luka nicht nachweisen, auf welcher Rechtsgrundlage personenbezogene Daten verarbeitet wurden (Art. 6 DSGVO). Ebenso fehlten wesentliche Informationen in der Datenschutzerklärung, unter anderem zur Art und zum Umfang der Datenverarbeitung von EU-Nutzer*innendaten außerhalb der EU (Art. 13 DSGVO).
Obwohl Luka Inc. im Laufe der Zeit bestimmte Maßnahmen ergriff – etwa das Platzieren von 18+-Inhalten hinter einer Paywall – beziehen sich die von der GPDP geahndeten Verstöße auf den Stand bis zum 2. Februar 2023. Damit unterstreicht die Behörde, dass nachträgliche Verbesserungen Verstöße in der Vergangenheit nicht ungeschehen machen und weiterhin geahndet werden können.
Das Urteil sollte auch Nutzer*innen daran erinnern, vorsichtig mit persönlichen Informationen umzugehen und intelligente Technologien kritisch zu hinterfragen.
