Buchstabe ba: Warum die Nutzungsbedingungen das neue Bildverbot nicht auffangen
Die Verordnung (EU) 2026/1744 fügt Art. 5 KI-VO die Buchstaben ba und bb hinzu und verbietet ab dem 2. Dezember 2026 KI-Systeme für nicht einvernehmliche intime Darstellungen und für Darstellungen sexuellen Kindsmissbrauchs. Der neue Art. 5 Abs. 1a knüpft die Anbieterpflicht an die Bauweise des Systems statt an den Vorsatz des Nutzers — auffangen lässt sie sich nur mit Filtern im Modell und einer Lieferantenzusicherung, die diese Filter einzeln benennt.
Casimir von Firn, MLaw
Die Verordnung (EU) 2026/1744 vom 8. Juli 2026 fügt der Verbotsliste des Art. 5 KI-VO zwei Buchstaben hinzu: ba und bb. Sie untersagen das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen, die nicht einvernehmliche intime Darstellungen einer identifizierbaren Person oder Darstellungen sexuellen Kindsmissbrauchs erzeugen oder manipulieren. Der ebenfalls neue Art. 5 Abs. 1a knüpft die Anbieterseite dieses Verbots nicht an eine Absicht an, sondern an die Bauweise des Systems — weshalb sich die Pflicht nicht über die Nutzungsbedingungen abwälzen lässt, sondern nur über Filter im Modell und eine Zusicherung des Lieferanten, die diese Filter benennt.
Soweit ersichtlich ist es die erste inhaltliche Erweiterung des Katalogs, seit die KI-Verordnung am 1. August 2024 in Kraft trat. Anwendbar wird sie am 2. Dezember 2026, so Art. 113 Abs. 3 Bst. a KI-VO in der Fassung von Art. 1 Nr. 40 Bst. a der neuen Verordnung. Dass der Digital Omnibus die Hochrisiko-Fristen verschoben, Art. 5 und Art. 50 aber stehen gelassen hat, haben wir heute Morgen an anderer Stelle beschrieben. Hier geht es um das, was er dazugelegt hat.
Was in den zwei Buchstaben steht
Buchstabe ba erfasst KI-Systeme, die realistische Bilder, Videos, Ton oder ähnliches Material der Intimteile einer identifizierbaren natürlichen Person erzeugen oder manipulieren, oder solches Material dieser Person bei sexuellen Handlungen, ohne ihre freiwillige, spezifische, informierte, unmissverständliche und ausdrückliche Einwilligung. Vier Merkmale tragen die Norm: realistisch, identifizierbar, Intimteile oder sexuelle Handlung, keine Einwilligung. Erwägungsgrund 12 grenzt jedes davon ein. «Realistisch» meint die glaubhafte Wiedergabe von Gesicht, Stimme oder Körper, unabhängig davon, wie realistisch der Kontext ist; Comichaftes und physisch Unmögliches fällt heraus. Anprobe-Anwendungen und medizinische Simulationen fallen ebenfalls heraus, soweit keine Intimteile gezeigt werden oder die abgebildete Person eingewilligt hat. Wer bestehendes Material bloss aufhellt, zuschneidet oder betitelt, manipuliert nicht im Sinne der Norm — das hält der neue Art. 5 Abs. 1b fest.
Buchstabe bb verbietet dasselbe für Material und Darbietungen im Sinne von Art. 2 Bst. c und e der Richtlinie 2011/93/EU, also für Darstellungen sexuellen Kindsmissbrauchs einschliesslich ganz oder teilweise synthetischer. Ausgenommen ist, wofür das nationale Recht eine Rechtfertigung kennt. Erwägungsgrund 13 nennt dafür ausdrücklich Red-Teaming und Evaluierung zur Prüfung der Verbotskonformität. Wer den eigenen Filter angreift, um ihn zu belegen, begeht die verbotene Praktik nicht.
Die Norm zielt auf den Bauplan, nicht auf den Vorsatz
Art. 5 Abs. 1a trennt die Adressaten. Für den Anbieter ist das Inverkehrbringen nur in zwei Fällen verboten. Erstens, wenn die Erzeugung solchen Materials die Zweckbestimmung des Systems ist. Zweitens, wenn Konzeption, Training, Architektur, Fähigkeiten oder nutzerseitige Funktionen diese Erzeugung zu einem «reasonably foreseeable and reproducible outcome» machen, ohne dass es einer erheblichen technischen Änderung bedarf, und das System keine angemessenen technischen Schutzmassnahmen besitzt, die das zuverlässig verhindern und beobachteten oder gemeldeten Missbrauch korrigieren.
Der zweite Fall beschreibt keinen Täter, sondern ein Produkt: ein Bildmodell mit offenem Eingabefeld, dem sich mit einem gewöhnlichen Prompt entlocken lässt, was Buchstabe ba erfasst.
Für den Betreiber gilt das Verbot dagegen nur, wenn er das System zu diesem Zweck verwendet (Art. 5 Abs. 1a Bst. b). Erwägungsgrund 12 zieht die Folge ausdrücklich: Die rechtmässige Verwendung eines schlecht gesicherten Systems fällt nicht unter das Verbot, und die versehentliche Erzeugung ebenso wenig. Die beiden Verbote laufen getrennt. Die Disziplin des Kunden heilt den Konstruktionsmangel des Anbieters nicht, und die Nutzungsbedingungen des Anbieters heilen ihn erst recht nicht: Sie richten sich an den Betreiber, dessen Verbot an etwas ganz anderes anknüpft.
Die Fachpresse nennt das Ganze das Nudifier-Verbot, Euronews ebenso wie die Mandantenschreiben. Der Anlass stützt die Verkürzung. Für die Rechtsabteilung ist sie gefährlich. Die Nudify-App steht in Ziff. i. Was ein Industrie-, Handels- oder Versicherungsunternehmen mit einer Bildfunktion betrifft, steht in Ziff. ii, und dort ist von einer Zweckbestimmung keine Rede.
Wer hier Anbieter ist
Die Rollenzuordnung entscheidet über alles Weitere, und sie ist in vielen Häusern falsch abgelegt. Anbieter ist nach Art. 3 Nr. 3 KI-VO, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt. Das Unternehmen, das ein zugekauftes Bildmodell in die eigene Anwendung einbaut und diese unter eigener Marke ausliefert, ist damit Anbieter des ausgelieferten Systems, nicht bloss Betreiber eines fremden. Art. 25 KI-VO, der den Wechsel der Anbieterrolle regelt, hilft hier nicht: Er gilt für Hochrisiko-Systeme. Das Verbot des Art. 5 knüpft direkt am Inverkehrbringen an, gleich durch wen.
Der Schweizer Sitz ändert daran nichts. Art. 2 Abs. 1 Bst. a KI-VO erfasst Anbieter, die ein System in der Union in Verkehr bringen, unabhängig vom Sitz; Bst. c erfasst Anbieter und Betreiber in Drittstaaten, wenn die Ausgabe des Systems in der Union verwendet wird. Der Omnibus hat Art. 2 Abs. 1 nicht angerührt. Klären Sie deshalb diese Woche eine einzige Frage: Erscheint das Bildmodul unter Ihrer Marke? Lautet die Antwort ja, schulden Sie einen Filter und keine Nutzungsregel.
Was «angemessen» heisst
Erwägungsgrund 12 zählt auf, woran sich die Angemessenheit misst: Datenbereinigung, Refusal-Training, sichere Prompt-Gestaltung und Ausgabekontrollen, Laufzeit-Guardrails, Klassifikations- und Filtermechanismen, Nutzungsbeschränkungen, Missbrauchserkennung sowie Melde- und Abhilfeverfahren. Angemessen sind diese Massnahmen, wenn sie dem Stand der Technik entsprechen und die Wahrscheinlichkeit der Erzeugung nachweisbar verhindern oder hinreichend senken, und zwar unter Einbezug der vernünftigerweise vorhersehbaren Umgehung ohne erhebliche technische Änderung.
Das ist der operative Kern. Ein Filter, der beim ersten Umformulieren des Prompts nachgibt, erfüllt den Massstab nicht, weil genau diese Umgehung vorhersehbar ist und keine erhebliche technische Änderung verlangt. Wer die effektive Kontrolle über das System behält, etwa über eine Plattform oder eine Web-Oberfläche, kann die Angemessenheit seiner Schutzmassnahmen nach demselben Erwägungsgrund auch durch Nachverfolgung und Meldung von Missbrauchsfällen erfüllen. Die Pflicht endet auch nicht mit dem Rollout: Art. 5 Abs. 1a Bst. a Ziff. ii verlangt, beobachteten oder gemeldeten Missbrauch zu korrigieren. Eine Lieferantenbestätigung mit dem Datum des Vertragsschlusses belegt einen Zustand, nicht die Erfüllung dieser Pflicht.
Die Klausel
Damit steht fest, was in den Liefervertrag gehört. Die allgemeine Compliance-Zusicherung — der Lieferant halte die KI-Verordnung ein — nützt nichts, weil sie im Aufsichtsverfahren nichts beweist. Vier Punkte nützen. Erstens eine Zusicherung, die die Massnahmen aus Erwägungsgrund 12 einzeln benennt, statt auf branchenübliche Schutzvorkehrungen zu verweisen. Zweitens eine Nachweispflicht: datierte Evaluations- und Red-Team-Berichte zu beiden Kategorien, mit Angriffsmethodik und Trefferquote, in einem Turnus, der zu Ihren Modell-Updates passt. Drittens eine Meldepflicht bei festgestellter Umgehung, mit Frist und mit dem Recht, das Modul bis zur Korrektur abzuschalten. Viertens die Zuordnung der Korrekturkosten, denn Art. 5 Abs. 1a verlangt die Korrektur, sagt aber nicht, wer sie bezahlt.
Die Freistellung ist der schwächste dieser vier Punkte. Die Busse nach Art. 99 Abs. 3 KI-VO trifft Sie: bis 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahrs, je nachdem, welcher Betrag höher ist. Der Omnibus hat in Art. 99 einen Abs. 6a eingefügt, der für kleine Mid-Cap-Unternehmen den jeweils tieferen Betrag genügen lässt; er verweist auf die Absätze 4 und 5, nicht auf Absatz 3. Für die Verbote bleibt es beim höheren Betrag, auch für den kleinen Anbieter.
Ein Rückzug auf den Altbestand scheidet aus. Art. 111 Abs. 2 KI-VO in der Fassung von Art. 1 Nr. 39 Bst. a der Verordnung (EU) 2026/1744 stellt die Schonung bereits in Verkehr gebrachter Systeme ausdrücklich unter den Vorbehalt der Anwendung des Art. 5. Was am 1. Dezember 2026 im Markt ist, braucht am 2. Dezember den Filter.
In Bern steht diese Pflicht noch nicht. Die Motion von Raphaël Mahaim «Grok und sexualisierte Deepfakes. Jetzt handeln!», die von Anbietern eine Risikoprüfung vor der Markteinführung und Schutzmassnahmen verlangt, hat der Nationalrat am 17. Juni 2026 stillschweigend angenommen; sie liegt beim Ständerat. Für das Schweizer Unternehmen mit EU-Kunden ist das nachrangig. Die Konstruktionspflicht für sein Bildmodul kommt aus Brüssel, und sie kommt am 2. Dezember.
Fest stehen Wortlaut, Adressat und Datum: Buchstabe ba und bb, der Anbieter, der 2. Dezember 2026. Offen ist die Schwelle — wie viel Widerstand gegen Umformulierungen als zuverlässige Verhinderung zählt, und wo bei nicht vollständig entkleideten Darstellungen die Grenze des Erwägungsgrunds 12 verläuft. Zwei Vorgänge werden das konkretisieren. Die Kommission schuldet nach Art. 96 Abs. 1 Bst. b KI-VO Leitlinien zur praktischen Umsetzung des Art. 5; die geltenden Leitlinien vom 4. Februar 2025 kennen die Buchstaben ba und bb nicht. Und im am 26. Januar 2026 eröffneten Verfahren gegen X wegen Grok prüft die Kommission, ob die Risiken der Bildfunktion angemessen gemindert wurden. Der Massstab dort ist das systemische Risiko nach dem Digital Services Act und nicht Art. 5 KI-VO. Die tatsächliche Frage ist dieselbe: Was muss ein Bildgenerator können, damit nicht herauskommt, was nicht herauskommen darf. Die vorläufige Beurteilung in jenem Verfahren wird die erste öffentliche Antwort der Kommission darauf sein.