Nachrichten Wie KI hilft, jugendgefährdende Inhalte im Netz zu entfernen

Es wird gegen Juden, Schwule und Flüchtlinge gehetzt, Bilder von Gewaltszenen kursieren und mit einem einfachen Klick läuft der Porno ab: Im Internet wimmelt es von Inhalten, die für Kinder und Jugendliche noch verstörender sein können als für Erwachsene. Während der Einzelne oft wenig ausrichten kann, geht die Landesanstalt für Kommunikation (LFK) Baden-Württemberg systematisch gegen Jugendschutz-Verstöße vor.

Wie funktioniert das?

Die Behörde bekommt Hinweise etwa von Privatleuten, Staatsanwaltschaften oder dem Bundeskriminalamt (BKA). Vor allem aber setzt sie auf ein Tool, das mit Hilfe von Künstlicher Intelligenz (KI) fragwürdige Inhalte im Netz aufspürt. Mitarbeiter und Mitarbeiterinnen der LFK und anderer Landesmedienanstalten prüfen diese. Dabei berücksichtigen die Fachleute Kriterien wie Meinungs- und Kunstfreiheit. Stellen sie einen Verstoß fest, wenden sie sich an die Anbieter – also etwa Plattformen wie Instagram, Tiktok und Youtube. Durchsucht wird den Angaben nach nur öffentliche Kommunikation, keine privaten Chats.

Wie erfolgreich ist das?

Nach Angaben der Jugendschutz-Experten reagieren die meisten Anbieter recht schnell und entfernen die gemeldeten Inhalte. Als Behörde hat die LFK mutmaßlich ein anderes Gewicht als eine einzelne Privatperson, die Hasskommentare oder andere fragwürdige Inhalte aber ebenso melden kann. Hin und wieder legt die LFK mit Hinweisschreiben nach. Zudem können die Landesmedienanstalten dank des Digital Services Acts der EU gegen große Diensteanbieter direkt vorgehen. Schwieriger gestalte sich das manchmal beispielsweise bei kleineren Podcast-Plattformen aus dem Ausland.

Warum macht die LFK das?

Als Aufsichtsbehörde ist die LFK – wie auch 13 andere Landesmedienanstalten in Deutschland – für die Regulierung von privatem Rundfunk und Telemedien zuständig. Ihre Arbeit finanziert sich zum Großteil aus den Rundfunkgebühren.

Eine der Aufgaben ist es, die besonders verwundbaren Nutzerinnen und Nutzer – nämlich Kinder und Jugendliche – vor schädlichen Einflüssen durch Medien zu schützen. Ziel sei dabei, die Inhalte schnellstmöglich aus dem Netz zu bekommen. Die Grundlage ist im Jugendmedienschutz-Staatsvertrag geregelt.

Warum sind Kinder und Jugendliche besonders verwundbar?

Die Kompetenz, mediale Inhalte zu verarbeiten, entwickelt sich nach Angaben der Kommission für Jugendmedienschutz erst mit zunehmender Reife und Alter. Bestimmte Filme könnten Angst auslösen, extreme Gewaltszenen oder auch pornografische Inhalte Kinder und Jugendliche überfordern. «Bei der Bewertung von Medienangeboten muss beispielsweise berücksichtigt werden, dass Kinder im Vorschulalter Fiktion und Realität nicht klar voneinander trennen können», heißt es zum Beispiel in den Kriterien der Kommission.

Um welche Inhalte geht es genau?

Es geht um Dinge, die die Entwicklung von Kindern und Jugendlichen «zu einer eigenverantwortlichen und gemeinschaftsfähigen Persönlichkeit» beeinträchtigen könnten. Diese werden als entwicklungsbeeinträchtigende Inhalte bezeichnet. Dies können zum Beispiel Gewaltdarstellungen oder erotische Angebote, Antisemitismus oder Hate-Speech sein.

Anbieter müssen dafür Sorge tragen, dass Kinder – gestaffelt nach den Altersstufen 0, 6, 12, 16, 18 – diese üblicherweise nicht sehen. Im Rundfunk kann dies laut LFK durch die Sendezeit geschehen. Im Internet müssen Anbieter ihre Angebote mit einer technischen Altersinformation versehen, die von Jugendschutzprogrammen erkannt werden kann

Wie viele Fälle sind das?

Die LFK hat nach eigenen Angaben bislang mehr als 13.000 automatisiert gefundene potenzielle Verstoß-Inhalte überprüft. Oft hätten sich daraus im Umfeld eines Treffers weitere ergeben, sagte ein Sprecher. Hinzu kommen Meldungen etwa von Ermittlungsbehörden oder Privatleuten.

Angesichts der schieren Masse derartiger Inhalte im Netz kann das LFK-Team nur einem Bruchteil davon nachgehen. Auch gleicht der Job einer Si­sy­phos­-Arbeit, da immer wieder neue Inhalte erstellt werden – mittels KI in Windeseile.

Welche Druckmittel hat die LFK?

Die Behörde kann mit Zwangsgeldern drohen, wie eine LFK-Juristin erklärte. Gegebenenfalls können Gerichtsverfahren die Folge sein. Das sei aber nur in Ausnahmefällen nötig. Meist reiche der Hinweis auf Jugendschutz-Verstöße.

Werden Straftaten auch verfolgt?

Ja. Sofern strafrechtlich relevante Inhalte vorliegen wie Volksverhetzung oder Holocaustleugnung, können die Mitarbeiter und Mitarbeiterinnen in dem KI-Tool per Klick den Fall ans BKA übermitteln. Mehr als 1.000 Mal sei das schon passiert. Die Ermittlungsbehörden stehen aber auch dann vor gängigen Problemen – etwa herauszufinden, wer genau hinter einem Account steckt.

Ähnlich arbeitet das Team von «REspect!», ein Angebot der Jugendstiftung Baden-Württemberg. Es bietet ebenfalls eine bundesweite Melde-Möglichkeit.

Während Straftaten aber beispielsweise verjährt sein können und ein Strafverfahren nicht in erster Linie zum Ziel hat, dass die Inhalte entfernt werden, ist genau dies der Anspruch der Jugendschützer bei der LFK.

Könnte ein Social-Media-Verbot für Minderjährige eine Lösung sein?

Die Fachleute sehen zwar mögliche Vorteile wie ein höheres Schutzniveau oder eine Entlastung von Eltern und Schulen. Vor allem verweisen sie aber auf rechtliche Hürden bei der Umsetzung. Auch könnten Kinder und Jugendliche Wege finden, die Schranken zu umgehen. Daher sehen die Experten die Gefahr unbeabsichtigter negativer Effekte: So könnte beispielsweise das Schutzniveau sinken, wenn Plattformbetreiber Jugendschutzmaßnahmen zurückfahren.

Was hilft?

Aufklärung und mehr Medienkompetenz. Kinder und Jugendliche sollen im Umgang mit Medien geschult werden. Das LFK-Projekt «Handysektor» etwa bietet Hilfe und Tipps. «Juuuport» ist eine Online-Beratungsplattform für junge Menschen, die Probleme im Netz haben wie Cybermobbing, Stress in sozialen Medien, Online-Abzocke und Datenklau. Das mobile Spiel «The Feed» wiederum soll Jugendliche spielerisch dafür sensibilisieren, wie eine Social-Media-Benutzeroberfläche entsteht und welche Rolle etwa Algorithmen dabei spielen. Das Portal «Medien kindersicher» informiert Eltern auch mit Hilfe eines Chatbots über technische Schutzlösungen für die Geräte, Dienste und Apps.