21. Oktober 2026

policy:brief No. 7 | Zwischen Innovation und Manipulation

Governance von KI-generierten Inhalten im digitalen Informationsraum

Generative KI senkt Aufwand und Kosten für die gezielte Produktion und Verbreitung von Desinformation, ermöglicht die Personalisierung von Propaganda und erschwert die Unterscheidung zwischen authentischen und synthetischen Inhalten. Das hat weitreichende Folgen für Demokratie und gesellschaftlichen Zusammenhalt. Extremistische Akteure setzen diese Technologien bereits strategisch für Rekrutierung, Propaganda und Zielgruppenansprache ein, etwa durch KI-generierte Avatare, Deepfakes und automatisierte Chatbots. Zugleich eröffnet KI auch Chancen für die Präventionsarbeit und kann verantwortungsvoll eingesetzt zur Stärkung von Demokratie beitragen. Mit dem DSA und dem AI Act wurden zwar erste regulatorische Grundlagen geschaffen, doch
Durchsetzung, technische Standards und phänomenübergreifende Prävention bleiben vorerst unzureichend. Dieser Policy-Brief leitet daraus vier priorisierte Handlungsempfehlungen an die Bundespolitik ab: verbindliche Kennzeichnungs- und Herkunftsstandards, eine gestärkte Plattformaufsicht, ein phänomenübergreifend angelegtes Bundesförderprogramm für KI in der Extremismusprävention sowie eine Stärkung digitaler Medienkompetenz.

Laden Sie hier das policy:brief No. 7 (PDF) herunter.

Handlungsempfehlungen

1. 1. Kennzeichnung und Herkunftsnachweise verbindlich standardisieren und durchsetzen

Die Kennzeichnungspflicht des AI Act braucht verbindliche, interoperable technische Standards. Deutschland sollte sich auf EU-Ebene für solche Kennzeichnungs- und Herkunftsstandards (Content Provenance, z. B. C2PA) einsetzen und ihre Durchsetzung national konsequent sicherstellen. Freiwillige Selbstverpflichtungen großer KI-Anbieter: Ohne rechtliche Verbindlichkeit bleiben Umsetzung und Zeitpunkt im Ermessen der Anbieter. Notwendig sind plattformübergreifende Standards, verpflichtende Offenlegung, technische Prüfschnittstellen für Faktenchecker*innen und Sicherheitsbehörden sowie klare Sanktionen. Das betrifft auch islamistische Propagandaformate wie Avatar-Videos, deren synthetischer Ursprung für junge Zielgruppen kaum erkennbar ist. Zwar werden extremistische Akteure ihre Inhalte nicht freiwillig kennzeichnen, und mit Open-Weight-Modellen erzeugte Inhalte entziehen sich der Pflicht häufig. Je verbreiteter verlässliche Herkunftsnachweise aber sind, desto eher fallen Inhalte ohne Nachweis auf und werden von Plattformen und Nutzenden kritischer geprüft.

Ergänzend braucht es verbindliche Authentifizierungsstandards für Bundes- und Sicherheitsbehörden selbst, etwa digitale Signaturen für offizielle Video- und Audiobotschaften sowie Verifikationskanäle, über die Bürger*innen und Medien echte staatliche Kommunikation im Zweifel schnell prüfen können. Solche Standards begegnen der Lügner-Dividende direkt und sollten vorrangig für die Krisenkommunikation und Kommunikation rund um Wahlen entwickelt werden.

1. 2. Plattformaufsicht und DSA-Durchsetzung stärken

Die zentrale Schwachstelle liegt nicht im Fehlen rechtlicher Grundlagen, sondern in deren Durchsetzung. Deutschland sollte die Bundesnetzagentur als Koordinator für digitale Dienste personell und technisch stärken, unabhängige Auditstrukturen und Forschungszugänge zu Plattformdaten ausbauen und sich auf EU-Ebene dafür einsetzen, dass die Europäische Kommission ihre Aufsicht über sehr große Plattformen mit ausreichenden Kapazitäten und wirksamen Sanktionen ausübt. Plattformen sollten verpflichtet werden, im Rahmen ihrer Risikobewertungen nach dem DSA regelmäßig offenzulegen, wie ihre Empfehlungsalgorithmen zur Verbreitung islamistischer und anderer extremistischer Propaganda an junge Nutzende beitragen, und wirksame Gegenmaßnahmen nachzuweisen. Bei viralen Hochrisikoinhalten, etwa in Wahlkampfphasen, braucht es verpflichtende menschliche Prüfmechanismen.

1. 3. Bundesförderprogramm „KI in der Extremismusprävention“ auflegen

Gezielte Bundesförderung ist der wirksamste Hebel, um die Ressourcenasymmetrie zwischen automatisiert produzierter Propaganda und personalintensiver Präventionsarbeit auszugleichen. Sie macht KI für die Prävention nutzbar, statt sie allein extremistischen Akteuren zu überlassen. Das Programm sollte phänomenübergreifend angelegt sein und zivilgesellschaftlichen Präventionsträgern aller Phänomenbereiche, Sicherheitsbehörden und weiteren P/CVE-Akteuren den Zugang zu KI-Werkzeugen ermöglichen, etwa zu übertragbaren Prebunking-Kampagnen, Detektionswerkzeugen zur Früherkennung von Radikalisierungsindikatoren und chatbotgestütztem Online-Streetwork. Verbindliche Evaluationsstandards sollten methodische Grenzen, etwa unklare Wirksamkeit oder Risiken der Anthropomorphisierung von Chatbots, von Beginn an mitdenken.

1. 4. Medienkompetenz phänomenübergreifend stärken

Regulierung allein reicht nicht, Demokratien brauchen resilientere Informationskulturen. Der Bund sollte außerschulische Bildungsangebote ausbauen, Erwachsenenbildung zu KI und zu Desinformation fördern und zivilgesellschaftliche Präventionsträger, einschließlich der religiös begründeten Extremismusprävention, langfristig darin unterstützen, eigene KI-Kompetenzen für ihre Bildungs- und Präventionsarbeit auf- und auszubauen. Prebunking-Angebote sollten in Abstimmung mit anderen Phänomenbereichen entwickelt werden. Der in diesem Policy-Brief vertiefte Fokus auf islamistische Ansprachestrategien liefert dafür Ausgangsmaterial, das methodisch von Beginn an auf andere extremistische Spektren übertragbar angelegt sein sollte, etwa popkulturelle Referenzen oder vermeintlich harmlose Deepfake-Formate für junge Zielgruppen.

Da insbesondere Jugendliche auf visuell geprägten Plattformen wie TikTok zur Zielgruppe KI-gestützter extremistischer Propaganda (einschließlich islamistischer Propaganda) zählen, sollte bereits in der Schule vermittelt werden, wie sich KI-generierte extremistische Inhalte erkennen lassen. Da schulische Medienbildung in der Zuständigkeit der Länder liegt, empfiehlt sich statt einer Bundesregelung eine gezielte Befassung der Kultusministerkonferenz (KMK). Ziel sollte es sein, islamismussensible und phänomenübergreifend anschlussfähige Deepfake- und KI-Kompetenz verbindlich in länderübergreifende Rahmenlehrpläne aufzunehmen.

Laden Sie hier das policy:brief No. 7 (PDF) herunter.

Inhaltliche Rückfragen: Jamuna Oehlmann & Kaiya M. Reisch

Die Autor*innen

Jamuna Oehlmann ist Geschäftsführerin der BAG RelEx und leitet seit 2025 KN:IX connect | Verbund Islamismusprävention und Demokratieförderung. Zuvor hatte Sie die Leitung des Kompetenznetzwerks „Islamistischer Extremismus“ (KN:IX, 2020-2024) inne. Sie verfügt über einen akademischen Hintergrund in Asienwissenschaften sowie Internationale Beziehungen und Diplomatie, den sie in Berlin, Bangkok und London erworben hat. In ihren Studien hat sie sich insbesondere mit Fragen der internationalen Sicherheit und des Terrorismus auseinandergesetzt.

Kaiya Reisch beschäftigt sich mit der Frage, wie Künstliche Intelligenz extremistische Ansprache und Radikalisierung in sozialen Medien verändert und was das für Prävention bedeutet. Ihr Interesse gilt den Schnittstellen von Technologie, Rhetorik und Radikalisierung: Wie nutzen extremistische Akteure KI-Tools, welche Narrative entstehen dabei und werden genutzt und wie kann Prävention darauf reagieren?

Über policy:brief

Das policy:brief der BAG RelEx fasst Positionen und Erkenntnisse aus unserer Arbeit prägnant zusammen und nimmt dabei besonders Bezug auf aktuelle gesellschaftspolitische Themen und Herausforderungen. Das policy:brief geht auf der einen Seite einen Schritt zurück und erklärt Zusammenhänge und auf der anderen Seite einen Schritt weiter, indem es zielgruppenorientierte und -gerechte Handlungsempfehlungen enthält. Unsere Arbeit und die unserer rund 40 Mitgliedsorganisationen wird so zielgruppengerecht kommuniziert und der Austausch mit externen Stakeholdern und Akteuren aus Wissenschaft, Politk, Verwaltung und Wirtschaft unterfüttert. Hier kommen Sie zur Übersicht der Ausgaben.