Von Jeff Horwitz & Katherine Blunt / Wall Street Journal 
Die beliebte Social-Media-Webseite Instagram, die zu Meta Platforms gehört, hilft dabei, ein riesiges Netzwerk von Accounts zu verbinden und zu fördern, die sich offen der Vermittlung und dem Kauf von kinderpornografischen Inhalten widmen, wie Untersuchungen des Wall Street Journal und von Forschern der Stanford University und der University of Massachusetts Amherst zeigen.
Pädophile nutzen das Internet schon lange, aber im Gegensatz zu den Foren und Dateitransferdiensten, die sich an Interessierte für illegale Inhalte richten, ist Instagram nicht nur eine Plattform für diese Aktivitäten. Seine Algorithmen fördern sie. Instagram bringt Pädophile miteinander in Verbindung und führt sie über Empfehlungssysteme, die sich durch die Verknüpfung von Personen mit gleichen Nischeninteressen hervorheben, zu Anbietern von Inhalten, so die Ergebnisse der Zeitschrift und der Wissenschaftler.
Obwohl sie für die meisten Nutzer der Plattform nicht sichtbar sind, zeigen die sexualisierten Instagram-Accounts schamlos ihre Interessen. Die Forscher fanden heraus, dass Instagram es den Nutzern ermöglichte, nach expliziten Hashtags wie #pedowhore und #preteensex zu suchen und sie mit Accounts zu verbinden, die diese Begriffe verwendeten, um für den Verkauf von kinderpornographischen Material zu werben. Solche Accounts geben oft vor, von den Kindern selbst betrieben zu werden und verwenden eindeutig sexuelle Formulierungen wie “kleine Schlampe für Dich”.
Instagram-Accounts, die den Verkauf von illegalem Sex-Material anbieten, veröffentlichen es in der Regel nicht offen, sondern posten stattdessen “Menüs” mit Inhalten. Einige Konten laden Käufer dazu ein, bestimmte Handlungen in Auftrag zu geben. Einige Menüs enthalten Preise für Videos von Kindern, die sich selbst verletzen, und “Bilder von Minderjährigen, die sexuelle Handlungen mit Tieren vollziehen”, fanden Forscher des Stanford Internet Observatory heraus. Wenn der Preis stimmt, sind Kinder für persönliche “Treffen” verfügbar.
Die Förderung sexueller Inhalte mit Minderjährigen verstößt sowohl gegen die von Meta aufgestellten Regeln als auch gegen US-Bundesrecht.
Auf Fragen des Journal räumte Meta Probleme bei der Rechtsdurchsetzung ein und erklärte, es habe eine interne Arbeitsgruppe eingerichtet, die sich mit den angesprochenen Problemen befassen soll. “Die Ausbeutung von Kindern ist ein furchtbares Verbrechen”, erklärte das Unternehmen und fügte hinzu: “Wir suchen ständig nach Wegen, um uns aktiv gegen dieses Verhalten zu wehren.”
Meta hat nach eigenen Angaben in den letzten zwei Jahren 27 pädophile Netzwerke aus dem Verkehr gezogen und plant weitere Löschungen. Seit Erhalt der Journal-Anfragen hat die Plattform nach eigenen Angaben Tausende von Hashtags blockiert, die sich auf die sexuelle Darstellung von Kindern beziehen, einige davon mit Millionen von Beiträgen, und ihre Systeme daran gehindert, Nutzern die Suche nach Begriffen zu empfehlen, die bekanntermaßen mit sexuellem Missbrauch in Verbindung gebracht werden. Die Plattform erklärte, sie arbeite auch daran, ihre Systeme daran zu hindern, potenziell pädophilen Erwachsenen zu empfehlen, miteinander in Kontakt zu treten oder mit den Inhalten der anderen zu interagieren.
Alex Stamos, Leiter des Stanford Internet Observatory und bis 2018 Sicherheitschef von Meta, sagte, dass selbst offensichtlicher Missbrauch nur durch anhaltende Bemühungen unter Kontrolle gebracht werden kann.
“Dass ein Team von drei Akademikern mit beschränktem Zugang ein so großes Netzwerk finden konnte, sollte bei Meta Alarm auslösen”, sagte er und merkte an, dass das Unternehmen über weitaus effektivere Werkzeuge verfügt, um sein Pädophilen-Netzwerk zu erfassen, als es Außenstehenden möglich ist. “Ich hoffe, dass das Unternehmen wieder in menschliche Ermittler investiert”, fügte er hinzu.
Aufgrund technischer und rechtlicher Hürden ist es für Außenstehende schwierig, das gesamte Ausmaß des Netzes genau zu erfassen. Da die Gesetze im Zusammenhang mit kinderpornografischen Inhalten extrem weit gefasst sind, ist selbst die Untersuchung der offenen Verbreitung dieser Inhalte auf einer öffentlichen Plattform rechtlich heikel.
Für seine Berichterstattung hat das Journal wissenschaftliche Experten für die Sicherheit von Kindern im Internet konsultiert. Das Internet Observatory in Stanford, eine Abteilung des Cyber Policy Center der Universität, die sich mit dem Missbrauch in sozialen Medien befasst, erstellte eine unabhängige quantitative Analyse der Instagram-Funktionen, die den Nutzern helfen, miteinander in Kontakt zu treten und Inhalte zu finden.
Das Journal wandte sich auch an das Rescue Lab der Universität von Massachusetts (UMass), das untersuchte, wie Pädophile auf Instagram sich in das größere System der Online-Kinderausbeutung einfügen. Mithilfe unterschiedlicher Methoden waren beide Einrichtungen in der Lage, schnell große Gruppen zu identifizieren, die kriminellen sexuellen Missbrauch fördern.
Die von den Forschern eingerichteten Testaccounts, die sich einen einzigen Account im Netzwerk ansahen, wurden sofort mit “für Sie vorgeschlagenen” Empfehlungen von mutmaßlichen Verkäufern und Käufern kinderpornografischer Inhalte sowie von Accounts, die zu plattformfremden Webseiten für den Handel mit Inhalten verlinkten, konfrontiert. Es genügte, einer Handvoll dieser Empfehlungen zu folgen, um einen Testaccount mit Inhalten zu überschwemmen, die Kinder sexualisieren.
Das Stanford Internet Observatory verwendete Hashtags, die mit Kindesmissbrauch in Verbindung gebracht wurden, um 405 Verkäufer von – wie die Forscher es nannten – “selbsterstelltem” Kindersex-Material zu finden, d. h. Konten, die angeblich von Kindern selbst betrieben wurden, von denen einige angaben, sie seien erst 12 Jahre alt. Den Daten zufolge, die mit Maltego, einer Software zur Darstellung von Netzwerken, gesammelt wurden, hatten 112 dieser Verkäuferkonten zusammen 22.000 eindeutige Follower.
Die Ersteller und Käufer von Kindersex-Inhalten sind nur ein Teil eines größeren Systems, das sich mit diesen Inhalten beschäftigt. Auf anderen Accounts in der pädophilen Instagram-Community werden pro-pädophile Memes gesammelt oder der Zugang zu Kindern diskutiert. Aktuelle und ehemalige Meta-Mitarbeiter, die an Instagram-Initiativen zur Kindersicherheit gearbeitet haben, schätzen, dass die Zahl der Accounts, die hauptsächlich dazu dienen, solchen Inhalten zu folgen, in die Hunderttausende, wenn nicht sogar in die Millionen geht.
Ein Meta-Sprecher sagte, dass das Unternehmen aktiv versucht, solche Nutzer zu entfernen und allein im Januar 490.000 Konten wegen Verletzung der Kindersicherheitsrichtlinien gelöscht hat.
“Instagram ist ein Einstieg zu Orten im Internet, an denen es eindeutigeren sexuellen Kindesmissbrauch gibt”, sagte Brian Levine, Direktor des UMass Rescue Lab, das die Viktimisierung von Kindern im Internet erforscht und forensische Instrumente zu deren Bekämpfung entwickelt. Levine ist Autor eines Berichts über die Ausbeutung von Kindern im Internet aus dem Jahr 2022 für das National Institute of Justice, den Forschungszweig des Justizministeriums.
Instagram, das schätzungsweise mehr als 1,3 Milliarden Nutzer hat, ist besonders bei Jugendlichen beliebt. Die Stanford-Forscher fanden ähnlich sexuell ausbeuterische Aktivitäten auf anderen, kleineren sozialen Plattformen, stellten aber fest, dass das Problem auf Instagram besonders gravierend ist. “Die wichtigste Plattform für diese Netzwerke von Käufern und Verkäufern scheint Instagram zu sein”, schreiben sie in einem Bericht, der am 7. Juni veröffentlicht werden soll.
Laut internen Statistiken von Instagram sehen die Nutzer in weniger als einem von 10.000 angesehenen Beiträgen Kinderpornografie.
Die Bemühungen der Social-Media-Plattformen und der Strafverfolgungsbehörden, die Verbreitung von Kinderpornografie im Internet zu bekämpfen, konzentrieren sich weitgehend auf die Jagd nach bestätigten Bildern und Videos, die als Material über sexuellen Kindesmissbrauch oder CSAM bekannt sind und sich bereits im Umlauf befinden. Das National Center for Missing & Exploited Children (Nationales Zentrum für vermisste und ausgebeutete Kinder), eine gemeinnützige US-Organisation, die mit den Strafverfolgungsbehörden zusammenarbeitet, unterhält eine Datenbank mit digitalen Fingerabdrücken solcher Bilder und Videos sowie eine Plattform für den Austausch derartiger Daten zwischen Internetunternehmen.
Die Algorithmen der Internetunternehmen vergleichen die digitalen Fingerabdrücke der auf ihren Plattformen veröffentlichten Bilder mit dieser Liste und melden dem Zentrum, wenn sie solche Bilder entdecken, so wie es das US-Bundesgesetz verlangt. Im Jahr 2022 erhielt das Zentrum 31,9 Millionen Meldungen über Kinderpornografie, hauptsächlich von Internetunternehmen – 47% mehr als zwei Jahre zuvor.
Meta, mit mehr als 3 Milliarden Nutzern seiner Apps, zu denen Instagram, Facebook und WhatsApp gehören, ist in der Lage, diese Art von bekannten Bildern zu erkennen, wenn sie nicht verschlüsselt sind. Auf Meta entfielen 85% der Kinderpornografie-Meldungen, die dem Zentrum übermittelt wurden, darunter etwa 5 Millionen von Instagram.
Metas automatisches Screening für bestehende Kinderausbeutungsinhalte kann keine neuen Bilder oder Werbung für deren Verkauf erkennen. Um solche Aktivitäten zu verhindern und aufzudecken, müssen nicht nur die Meldungen der Nutzer überprüft, sondern auch pädophile Netzwerke aufgespürt und zerschlagen werden, sagen aktuelle und ehemalige Mitarbeiter sowie die Forscher aus Stanford. Ziel ist es, es solchen Nutzern zu erschweren, miteinander in Verbindung zu treten, Inhalte zu finden und Opfer zu rekrutieren.
Diese Arbeit ist von entscheidender Bedeutung, da den Strafverfolgungsbehörden die Mittel fehlen, um mehr als einen winzigen Teil der Hinweise zu untersuchen, die beim NCMEC eingehen, so Levine von der UMass. Das bedeutet, dass die Plattformen in erster Linie dafür verantwortlich sind, zu verhindern, dass sich eine Gemeinschaft bildet und der sexuelle Missbrauch von Kindern zur Normalität wird.
Meta hat mit diesen Bemühungen mehr zu kämpfen als andere Plattformen, sowohl wegen der schwachen Verfolgung als auch wegen der Designmerkmale, die die Entdeckung sowohl legaler als auch illegaler Inhalte fördern, so die Stanford-Studie.
Das Stanford-Team fand auf Twitter 128 Konten, die den Verkauf von kinderpornografischem Material anboten. Das ist weniger als ein Drittel der Zahl, die sie auf Instagram fanden, das eine weitaus größere Nutzerbasis als Twitter hat. Das Team stellte fest, dass Twitter solche Konten nicht in demselben Maße wie Instagram empfahl und sie viel schneller löschte.
Von den anderen bei jungen Leuten beliebten Plattformen wird Snapchat vor allem für Direktnachrichten genutzt, so dass es nicht zur Bildung von Netzwerken beiträgt. Und TikTok ist eine Plattform, auf der “diese Art von Inhalten sich nicht zu verbreiten scheint”, so der Stanford-Bericht.
Twitter reagierte nicht auf Bitten um eine Stellungnahme. TikTok und Snapchat lehnten eine Stellungnahme ab.
David Thiel, Cheftechnologe am Stanford Internet Observatory, sagte: “Das Problem von Instagram liegt in den Funktionen zum Auffinden von Inhalten, die Art und Weise, wie Themen empfohlen werden und wie sehr sich die Plattform auf die Suche und Links zwischen Accounts verlässt.” Thiel, der zuvor bei Meta mit Sicherheitsfragen befasst war, fügte hinzu: “Man muss Leitplanken aufstellen, damit ein so wachstumsintensives System noch halbwegs sicher ist, und das hat Instagram nicht getan.”
Die Plattform hat Schwierigkeiten, eine grundlegende Technologie zu überwachen: Schlagwörter. Hashtags sind ein zentraler Bestandteil der Entdeckung von Inhalten auf Instagram. Sie ermöglichen es den Nutzern, Beiträge zu markieren und zu finden, die für eine bestimmte Community von Interesse sind – von weit gefassten Themen wie #mode oder #nba bis hin zu enger gefassten Themen wie #stickerei oder #höhlenforschung.
Auch Pädophile haben ihre eigenen Hashtags. Suchbegriffe wie #pedobait und Variationen von #mnsfw (“minor not safe for work”, zu deutsch etwa: “Heikle Inhalte mit Minderjährigen”) wurden verwendet, um Tausende von Beiträgen zu kennzeichnen, die Werbung für sexuelle Inhalte mit Kindern enthielten, so dass sie von Käufern leicht gefunden werden konnten, wie die Wissenschaftler herausfanden. Auf Anfrage des Journal erklärte Meta, dass man dabei sei, solche Begriffe zu verbieten.
In vielen Fällen hat Instagram seinen Nutzern erlaubt, nach Begriffen zu suchen, die laut den eigenen Algorithmen mit illegalem Material in Verbindung gebracht werden können. In solchen Fällen warnte ein Pop-up-Fenster die Nutzer: “Diese Ergebnisse können Bilder von sexuellem Kindesmissbrauch enthalten”, und wies darauf hin, dass die Produktion und der Konsum solchen Materials den Kindern “extremen Schaden” zufügt. Der Bildschirm bot den Nutzern zwei Optionen: “Mehr Informationen” und “Ergebnisse trotzdem ansehen”.
Als Reaktion auf die Fragen des Journal entfernte Instagram die Option, dass Nutzer Suchergebnisse für Begriffe anzeigen können, die wahrscheinlich illegale Bilder enthalten. Das Unternehmen weigerte sich zu erklären, warum es diese Option angeboten hatte.
Den Forschern zufolge mischen die pädophilen Accounts auf Instagram Unverfrorenheit mit oberflächlichen Bemühungen, ihre Aktivitäten zu verschleiern. Bestimmte Emojis fungieren als eine Art Code, wie z. B. das Bild einer Landkarte – eine Abkürzung für “minor-attracted person” (Person, die sich zu Minderjährigen hingezogen fühlt) – oder eines von “cheese pizza” (Käsepizza), das die gleichen Initialen wie “child pornography” (Kinderpornografie) trägt, so Levine von der UMass. Viele bezeichnen sich als “Liebhaber der kleinen Dinge des Lebens”.
Die Accounts bezeichnen sich selbst als “seller” oder “s3ller”, und viele geben in ihren Biografien ihre bevorzugte Zahlungsform an. Die Accounts der Verkäufer geben oft das angebliche Alter der Kinder an, indem sie angeben, sie seien “bei Kapitel 14” oder “31 Jahre alt”, ergänzt durch ein Emoji mit einem Rückwärtspfeil.
Einige der Accounts enthielten Hinweise auf Sexhandel, so Levine von der UMass, wie z. B. das Bild eines Teenagers, dem das Wort WHORE (Hure) ins Gesicht gekritzelt wurde.
Einige Nutzer, die sich als Verkäufer von selbst produzierten Sex-Inhalten ausgeben, geben an, dass sie “gesichtslos” sind und nur Bilder vom Hals abwärts anbieten, weil sie in der Vergangenheit von Kunden gestalkt oder erpresst wurden. Andere gehen das Risiko ein und verlangen einen Aufpreis für Bilder und Videos, die ihre Identität preisgeben könnten, weil sie ihr Gesicht zeigen.
Viele der Accounts zeigen Nutzer mit Schnittnarben auf der Innenseite ihrer Arme oder Oberschenkel, und eine Reihe von ihnen geben an, in der Vergangenheit sexuell missbraucht worden zu sein.
Selbst ein flüchtiger Kontakt mit einem Account in der pädophilen Instagram-Community kann dazu führen, dass die Plattform Nutzern vorschlägt, sich ihr anzuschließen.
Sarah Adams, eine kanadische Mutter von zwei Kindern, hat sich auf Instagram ein Publikum aufgebaut, das über die Ausbeutung von Kindern und die Gefahren des exzessiven Teilens in den sozialen Medien diskutiert. Aufgrund ihres Schwerpunkts schicken Adams’ Follower ihr manchmal verstörende Dinge, die sie auf der Plattform entdeckt haben. Im Februar, so sagte sie, schickte ihr einer eine Nachricht mit einem Account, der mit dem Begriff “Inzest-Kleinkinder” gekennzeichnet war.
Adams sagte, sie habe den Account – eine Sammlung von Pro-Inzest-Memes mit mehr als 10.000 Followern – nur für die wenigen Sekunden aufgerufen, die sie brauchte, um eine Meldung an Instagram zu machen, und dann versucht, es zu vergessen. Doch im Laufe der nächsten Tage hörte sie immer wieder von entsetzten Eltern. Nachdem sie sich Adams’ Instagram-Profil angesehen hatten, wurde ihnen als Folge von Adams’ Kontakt der Account “Inzest-Kleinkinder” empfohlen.
Ein Meta-Sprecher sagte, dass “Inzest-Kleinkinder” gegen die Regeln des Unternehmens verstoßen und dass Instagram bei der Durchsetzung einen Fehler gemacht hat. Der Konzern plane, sich im Rahmen seiner neu gegründeten Task Force für Kindersicherheit mit derartigen unangemessenen Empfehlungen zu befassen.
Wie bei den meisten Social-Media-Plattformen basieren die Empfehlungen von Instagram im Wesentlichen auf Verhaltensmustern und nicht auf der Zuordnung der Interessen eines Nutzers zu bestimmten Themen. Dieser Ansatz ist effizient, um die Relevanz der Empfehlungen zu erhöhen, und er funktioniert am zuverlässigsten für Gemeinschaften, die ein kleines Spektrum von Interessen teilen.
Theoretisch sollte es für Instagram aufgrund der Dichte der pädophilen Instagram-Community einfacher sein, das Netzwerk zu kartieren und Maßnahmen zu seiner Bekämpfung zu ergreifen. Aus Dokumenten, die das Journal zuvor eingesehen hat, geht hervor, dass Meta in der Vergangenheit auf diese Weise vorgegangen ist, um Account-Netzwerke zu unterdrücken, die es für schädlich hält, wie z. B. Accounts, die die Ablehnung der Wahlen in den USA nach den Unruhen im Kapitol am 6. Januar unterstützten.
Wie andere Plattformen auch, bittet Instagram nach eigenen Angaben seine Nutzer um Hilfe bei der Erkennung von Konten, die gegen die Regeln verstoßen. Aber diese Bemühungen waren nicht immer effektiv.
Manchmal blieben Meldungen von Nutzern über Nacktbilder mit Kindern monatelang unbeantwortet, wie eine Auswertung zahlreicher Meldungen ergab, die im Laufe des letzten Jahres von mehreren Verfechtern der Kindersicherheit eingereicht wurden.
Anfang dieses Jahres entdeckte ein Anti-Pädophilie-Aktivist einen Instagram-Account, der angeblich einem Mädchen gehörte, das Inhalte über Sex mit Minderjährigen verkaufte, darunter einen Beitrag mit der Aufschrift “Dieser Teenager ist bereit für euch Perverse”. Als der Aktivist das Konto meldete, antwortete Instagram mit der automatischen Meldung: “Aufgrund der hohen Anzahl der eingegangenen Meldungen war unser Team nicht in der Lage, diesen Beitrag zu überprüfen.”
Nachdem der gleiche Aktivist einen weiteren Beitrag gemeldet hatte, der ein spärlich bekleidetes junges Mädchen mit einer grafisch sexuellen Bildunterschrift zeigte, antwortete Instagram: “Unser Überprüfungsteam hat festgestellt, dass der Beitrag [des Accounts] nicht gegen unsere Gemeinschaftsrichtlinien verstößt.” In der Antwort wurde dem Nutzer vorgeschlagen, den Account auszublenden, um seinen Inhalt nicht zu sehen.
Ein Meta-Sprecher bestätigte, dass Meta die Berichte erhalten und nicht darauf reagiert hatte. Eine Überprüfung des Umgangs des Unternehmens mit Meldungen über sexuellen Kindesmissbrauch ergab, dass ein Softwarefehler die Bearbeitung eines Großteils der Nutzerberichte verhinderte und dass die Moderatoren des Unternehmens die Regeln der Plattform nicht ordnungsgemäß durchsetzten, sagte der Sprecher. Das Unternehmen teilte mit, dass es den Fehler in seinem Meldesystem inzwischen behoben hat und neue Schulungen für seine Moderatoren anbietet.
Selbst wenn Instagram Accounts löscht, die Inhalte mit Kindesmissbrauch anbieten, bleiben diese nicht immer verschwunden.
Nach den internen Richtlinien der Plattform werden Strafen für Verstöße gegen die Gemeinschaftsstandards in der Regel für Accounts verhängt, nicht für Nutzer oder Geräte. Da Instagram seinen Nutzern erlaubt, mehrere verknüpfte Konten zu führen, erleichtert das System die Umgehung einer sinnvollen Durchsetzung. Nutzer führen regelmäßig die Kennungen ihrer “Backup”-Accounts in ihren Biografien auf, so dass sie einfach wieder an dieselbe Gruppe von Followern posten können, wenn Instagram diesen Account löscht.
In einigen Fällen unterlaufen die Empfehlungssysteme von Instagram direkt die Bemühungen der eigenen Sicherheitsmitarbeiter. Nachdem das Unternehmen beschlossen hatte, gegen Links von einem bestimmten verschlüsselten Dateitransferdienst vorzugehen, der für die Übertragung von kinderpornografischen Inhalten berüchtigt ist, blockierte Instagram die Suche nach diesem Namen.
Die KI-gesteuerten Hashtag-Vorschläge von Instagram hatten die Nachricht nicht erhalten. Obwohl sie sich weigerte, Ergebnisse für den Namen des Dienstes anzuzeigen, empfahl die Autofill-Funktion der Plattform den Nutzern, Variationen des Namens mit den Worten “boys” und “CP” am Ende zu versuchen.
Das Unternehmen versuchte, diese Hashtags als Reaktion auf die Anfragen des Journal zu deaktivieren. Doch innerhalb weniger Tage empfahl Instagram wieder neue Variationen des Namens, die ebenfalls zu Accounts führten, die mutmaßlich kinderpornografische Inhalte verkauften.
Nachdem das Unternehmen die von Stanford und dem Journal aufgedeckten Accounts gelöscht hatte, überprüfte Levine von der UMass einige der verbleibenden Konten mit minderjährigen Verkäufern auf Instagram. Wie zuvor führte das Betrachten auch nur eines dieser Konten dazu, dass Instagram neue Konten empfahl. Die Vorschläge von Instagram trugen dazu bei, das Netzwerk wieder aufzubauen, das das Sicherheitspersonal der Plattform gerade zu zerschlagen versuchte.
Ein Meta-Sprecher sagte, dass die entsprechenden Systeme zur Verhinderung solcher Empfehlungen derzeit aufgebaut werden. Levine bezeichnete die Rolle von Instagram bei der Förderung pädophiler Inhalte und Accounts als inakzeptabel.
“Ziehen Sie die Notbremse”, sagte er. “Sind die wirtschaftlichen Vorteile den Schaden für diese Kinder wert?”
Autoren: Jeff Horwitz & Katherine Blunt / Wall Street Journal
Am 07.06.23 erschienen auf: https://www.wsj.com/articles/instagram-vast-pedophile-network-4ab7189
Übersetzung: Causalis Spezial
Spendier mir 'nen Kaffee
