15 Millionen Euro für ein fehlendes KI-Label?

Seit August gelten neue Kennzeichnungspflichten für Deepfakes und bestimmte KI-Inhalte. Doch was gilt überhaupt als Deepfake? Wer muss das Label setzen? Und welche Rolle spielen unsichtbare Wasserzeichen? Tobias Voßberg ordnet die neue Rechtslage ein.

Seit dem 2. August gelten die Kennzeichnungspflichten für Deepfakes und bestimmte KI-generierte Texte. Die finalen Leitlinien der EU-Kommission, der Code of Practice und das deutsche KI-Marktüberwachungsgesetz liefern erstmals konkrete Antworten darauf, welche Inhalte ein Label brauchen, wie es angezeigt werden muss, wer in arbeitsteiligen Produktionsketten verantwortlich ist und welche Behörden Verstöße ermitteln und Bußgelder verhängen. 

Die neue Kennzeichnungspflicht klingt zunächst einfach: Wer ein KI-System beruflich einsetzt und damit einen Deepfake erzeugt oder bearbeitet, muss offenlegen, dass der Inhalt künstlich erzeugt oder manipuliert wurde. In der Praxis lässt sich jedoch weder ohne Weiteres bestimmen, was überhaupt als Deepfake gilt, noch, wer für die Kennzeichnung verantwortlich ist.

Das zeigt sich schon an einer gewöhnlichen Werbekampagne. Eine Agentur erzeugt ein fotorealistisches KI-Model, der Auftraggeber veröffentlicht das Bild anschließend auf Instagram. Muss die Agentur das Label bereits in das Bild einfügen oder reicht es aus, wenn sie den Auftraggeber vertraglich zur Kennzeichnung verpflichtet? Und benötigt das Bild überhaupt ein Label, wenn die dargestellte Person frei erfunden ist und in Wirklichkeit nicht existiert?

Diese Fragen sind nicht nur theoretischer Natur. Für Verstöße gegen Art. 50 KI-VO drohen Bußgelder von bis zu 15 Millionen Euro oder 3% des weltweiten Jahresumsatzes. 

Was ist denn nun ein Deepfake?

Die KI-VO definiert einen Deepfake als KI-erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der "wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt" und "einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde".

Der Entwurf der Leitlinien zur Umsetzung der Transparenzpflichten für bestimmte KI-Systeme gemäß Art. 50 verstand das ausgesprochen weit. Danach genügte, dass die dargestellte Person oder Sache existieren könnte. Auch ein erfundenes fotorealistisches Model sollte daher ein Deepfake sein, selbst wenn die abgebildete Person in Wirklichkeit nicht existiert. Auch in den finalen Leitlinien führt die Kommission aus, dass Sinn und Zweck von Art. 50 Abs. 4 KI-VO sei, Täuschung, Manipulation und Desinformation zu verhindern. Diese Gefahr bestehe, so die Kommission, auch bei simulierten Personen und Objekten, die plausibel existieren könnten. Nur bei Darstellungen, die gegen Naturgesetze oder physikalische Gesetzmäßigkeiten verstoßen oder Lebensformen zeigen, die in der Biologie nicht allgemein anerkannt sind, sei die Täuschungsgefahr ausgeschlossen.

Auf den ersten Blick hat sich gegenüber dem Entwurf damit wenig geändert. Auffällig ist allerdings, dass die Kommission ihre konkreten Beispiele in der finalen Fassung enger formuliert hat. Im Entwurf nannte sie noch ein manipuliertes Bild von zwei Profifußballern. In der Endfassung spricht sie ausdrücklich von "two real professional footballers". Auch die weiteren Beispiele der Kommission betreffen die KI-Darstellung eines echten Politikers, eines prominenten Influencers oder den synthetischen Avatar eines realen Unternehmenschefs. In allen diesen Fällen existiert also eine reale Person, der durch die KI eine Äußerung, Handlung oder Darstellung zugeschrieben wird.

Dies spricht dafür, dass die Kommission den Deepfakebegriff tatsächlich enger versteht, als zunächst vermutet wurde. Für eine engere Lesart spricht auch der erste Kommissionsentwurf vom 21. April 2021, wohlgemerkt fast eineinhalb Jahre vor dem Release von ChatGPT, der davon sprach, dass KI-Systeme Inhalte generieren könnten, die das Risiko von "impersonation or deception", also Identitätsdiebstahl oder Täuschung, beinhalten. Auch das Europäische Parlament beschrieb Deepfakes in seinen vorbereitenden Arbeiten ausdrücklich als Darstellungen bestehender Personen, durch die sowohl die Betrachterinnen und Betrachter manipuliert als auch die dargestellten oder falsch dargestellten Personen geschädigt werden können. Ein frei erfundenes KI-Model, das einfach nur eine Jacke trägt, passt allerdings nur schwer zu diesen Gefahren: Es imitiert niemanden und verfälscht kein reales Geschehen, sondern lässt Betrachterinnen und Betrachter allenfalls darüber im Unklaren, ob für die Aufnahme ein Mensch vor der Kamera stand. Warum sollte das gekennzeichnet werden müssen?

Wer muss kennzeichnen: Agentur oder Auftraggeber?

Die Kennzeichnungspflicht trifft den Betreiber des KI-Systems. Das ist nach den Leitlinien derjenige, der darüber entscheidet, zu welchem Zweck und auf welche Weise das System eingesetzt wird und wie seine Ergebnisse verwendet werden. Erzeugt eine Agentur für einen Onlineshop Produktbilder und wählt sie selbst das System, die Prompts und das virtuelle Model aus, ist daher grundsätzlich die Agentur Betreiberin.

Unklar bleibt, ob sie das Label deshalb auch selbst in jedes Bild einfügen muss, oder das Bild ohne Kennzeichnung an die Auftraggeberin weitergeben kann. Die Leitlinien sprechen davon, dass der Betreiber sicherstellen soll, dass die von ihm "implementierte" Kennzeichnung später auch für das Publikum erkennbar bleibt. Dafür nennt die Kommission ausdrücklich vertragliche Vorgaben an den Partner, der den Inhalt veröffentlicht. Das spricht zwar dafür, dass die Agentur das Label ihrerseits anbringen muss. Diese Lösung wäre aber realitätsfern. Große Plattformen werden KI-Hinweise regelmäßig einheitlich über eigene Overlays ausspielen wollen, statt unterschiedlich gestaltete Kennzeichnungen zahlreicher Agenturen zu übernehmen. Die Agentur kann die konkrete Umsetzung damit dem Kunden überlassen, muss aber vertraglich dafür sorgen, dass die Kennzeichnung tatsächlich erfolgt.

Wie das Label aussehen soll

Wie die Kennzeichnung genau aussehen muss, lässt die KI-VO offen. Als Orientierung stellt die Kommission drei EU-Icons bereit, die zwischen vollständig KI-generierten, teilweise veränderten und sonst unter Einsatz von KI erstellten Inhalten unterscheiden. Entscheidend ist, dass das Publikum den Hinweis bereits beim ersten Kontakt klar, unterscheidbar und barrierefrei wahrnehmen kann. Bei Bildern soll er deshalb auf oder unmittelbar neben dem Inhalt erscheinen, bei Videos zu Beginn sowie nach Unterbrechungen und bei längeren Inhalten möglichst erneut. Für reine Audioinhalte ist zu Beginn ein hörbarer Hinweis vorgesehen.

Freiwillig bleibt auch der Code of Practice, der diese Anforderungen näher beschreibt. Bis Ende Juli hatten rund 190 Organisationen zumindest einen Teil des Codes unterzeichnet. Während auf Anbieterseite mit Google, OpenAI und Microsoft viele der großen KI-Unternehmen vertreten sind, haben sich auf Anwenderseite bislang unter anderem Lufthansa, Breuninger und Lenovo angeschlossen. Viele große Werbetreibende fehlen. Dies zeigt, dass der Code gerade bei den Unternehmen, die KI-Inhalte veröffentlichen, noch keine allgemeine Marktübung abbildet, sondern dass diese auf eigene Lösungen setzen. Vor allem die Tatsache, dass die von der Kommission vorgeschlagenen Label englisch sind, stößt bei vielen deutschen Unternehmen auf wenig Begeisterung.

Wer kontrolliert das überhaupt?

Wer ein fehlendes KI-Label verfolgt, hängt davon ab, in welchem Bereich das KI-System eingesetzt wird. Seit dem 29. Juli 2026 regelt das deutsche KI-Marktüberwachungs- und -Innovationsförderungsgesetz, kurz KI-MIG, diese Zuständigkeiten. Als zentrale Marktüberwachungsbehörde sieht es grundsätzlich die Bundesnetzagentur vor, die zugleich über mögliche Bußgelder entscheidet. Bei der gewöhnlichen KI-Werbung eines Handelsunternehmens dürfte daher regelmäßig sie zuständig sein. Setzt aber etwa ein beaufsichtigtes Finanzunternehmen KI unmittelbar für eine regulierte Finanztätigkeit ein, kann die BaFin zuständig sein. Bei journalistischen oder werblichen Angeboten von Mediendiensteanbietern übernehmen dagegen die nach Landesrecht bestimmten Medienbehörden die Aufsicht.

Mit der behördlichen Aufsicht ist das Thema nicht erledigt. Die Wettbewerbszentrale hat eine eigene KI-Beschwerdestelle eingerichtet. Dort könnten Unternehmen sowie Verbraucherinnen und Verbraucher unter anderem fehlende Deepfake-Kennzeichnungen melden. Die Wettbewerbszentrale kann Unternehmen abmahnen und Unterlassungsansprüche gerichtlich durchsetzen. Auch Mitbewerberinnen und Mitbewerber sowie andere anspruchsberechtigte Verbände könnten gegen ein fehlendes Label vorgehen.

Sieht doch aber ohnehin niemand?

Wer auf eine Kennzeichnung verzichtet und darauf hofft, dass ein Deepfake mit bloßem Auge nicht als solcher erkennbar ist, übersieht die zweite Ebene des Art. 50 KI-VO. Die Anbieter generativer KI-Systeme müssen ihre Ausgaben auch maschinenlesbar markieren. Google setzt dafür auf SynthID, OpenAI versieht unterstützte Bilder mit C2PA-Metadaten und ebenfalls mit SynthID. Dabei handelt es sich um unsichtbare, im Bild selbst enthaltene Wasserzeichen, die auch einen Ausdruck, Formatänderungen oder das erneute Speichern eines Bildes überleben. Auch Anthropic hat kürzlich mitgeteilt, dass KI-generierte Texte ab sofort mit unsichtbaren Wasserzeichen markiert sind.

Das Wasserzeichen selbst sagt noch nichts darüber aus, ob der Inhalt auch ein kennzeichnungspflichtiger Deepfake ist, wer in einer arbeitsteiligen Produktion als Betreiber gehandelt hat und wer dafür sorgen musste, dass das sichtbare Label beim Publikum ankommt. Die finalen Leitlinien liefern dafür zwar wichtige Anhaltspunkte. Welche Kennzeichnungspraxis jedoch tatsächlich erforderlich ist, wird erst noch die Rechtsprechung zeigen.