Social-Media-Algorithmen und schädliche Inhalte: Spiegel der Gesellschaft vs. Absicht

TL;DR: Schüren soziale Medien wirklich absichtlich Hass? Entgegen der landläufigen Meinung gibt es keine stichhaltigen Beweise für vorsätzliche schädliche Absichten. Stattdessen verstärken Algorithmen das, was die größte Resonanz hervorruft – oft kontroverse oder emotionale Beiträge – einfach weil wir als Nutzer ihnen mehr Aufmerksamkeit schenken. Diese Dynamik wirkt eher wie ein Spiegel der bestehenden Vorurteile der Gesellschaft als wie ein direktes Manipulationsschema. Die eigentliche Spannung entsteht, wenn der Kampf um Klicks mit dem langfristigen Wohlbefinden der Nutzer kollidiert. Dies zeigt, dass Negativität eher durch unser eigenes Online-Verhalten als durch kalkulierte Unternehmensstrategien entsteht.

• Algorithmische Verstärkung emotionaler und negativer Inhalte
• Benutzerengagement: Kurzfristige Steigerungen vs. langfristige Effekte
• Fördern Plattformen absichtlich Hassinhalte?
• Plattformerklärungen zur Inhaltsförderung und zu Anreizen
• Untersuchungsergebnisse und wissenschaftliche Perspektiven
• Fazit: Abwägung von Behauptungen und Beweisen

Algorithmische Verstärkung emotionaler und negativer Inhalte

Social-Media-Feeds werden typischerweise von Algorithmen kuratiert, die ansprechende Inhalte priorisieren – Beiträge, die wahrscheinlich angeklickt, kommentiert, geteilt oder länger angesehen werden[1] . Dieses engagement-orientierte Design führt häufig dazu, dass emotional aufgeladenes oder spaltendes Material verstärkt wird. Mit anderen Worten: Die Algorithmen suchen nicht bewusst nach „Hass“ oder Negativität, sondern verstärken alles, was bei den Benutzern Reaktionen hervorruft, und das ist bei extremen oder negativen Beiträgen häufig der Fall. Ein aktuelles Experiment auf Twitter (nun „X“) hat beispielsweise ergeben, dass sein engagement-basierter Ranking-Algorithmus Inhalte mit starken emotionalen und spaltenden Hinweisen signifikant verstärkt . Insbesondere wurden Tweets, die Feindseligkeit gegenüber anderen Gruppen zum Ausdruck brachten (Wir-gegen-die-Wut), in algorithmischen Feeds häufiger angezeigt als in chronologischen Feeds[2] . Die Nutzer dieser Studie berichteten, dass diese algorithmisch verstärkten politischen Tweets dazu führten, dass sie sich schlechter gegenüber der gegnerischen Gruppe fühlten, obwohl die Nutzer derart provokative Inhalte in ihren Feeds eigentlich nicht bevorzugten[2]. Dies zeigt, wie der Fokus des Algorithmus auf Engagement dazu führen kann, dass polarisierende Posts über das hinausgehen, was die Leute angeblich sehen wollen.

Mehrere Studien haben ergeben, dass sich Inhalte, die moralische Empörung oder negative Emotionen hervorrufen, online viraler verbreiten. Eine von Experten begutachtete Studie über Twitter aus dem Jahr 2017 kam zu dem Schluss, dass jedes zusätzliche moralisch-emotionale Wort in einem Tweet (Begriffe, die Empörung, Abscheu usw. ausdrücken) die Retweetrate des Tweets um durchschnittlich etwa 17 % erhöhte[3] . In der Praxis bedeutet dies, dass ein Tweet, der aufgeladene Ausdrücke über einen politischen Gegner oder ein brisantes Thema enthält, eher viral geht als ein neutraler Beitrag. Ebenso stellten die Entwickler von Facebook fest, dass Beiträge, die eine „wütende“ Reaktion hervorriefen, tendenziell eine überproportional hohe Reichweite erzielten. Im Jahr 2018 gewichtete der Algorithmus von Facebook Reaktions-Emojis stärker als Likes – „Wut“-Reaktionen wurden fünfmal so stark gewichtet wie ein Like – um Inhalte zu fördern, die Interaktionen auslösten. Das Ergebnis war jedoch, dass die am meisten kommentierten und reagierten Posts oft diejenigen waren, die „die Leute am wütendsten machten“, wobei Empörung und minderwertiger, toxischer Inhalt bevorzugt wurden[1]. Nutzer beschwerten sich über die Häufigkeit wütender, spaltender Posts, und Facebook reduzierte schließlich die Gewichtung des Wut-Emojis (von 5× pro Like auf null bis 2020), um die übermäßige Förderung von Wut auslösenden Inhalten zu beenden[1] . Dieser Fall verdeutlicht, dass der Algorithmus negatives Material aufgrund des hohen Engagements verstärkte und nicht, weil Facebook absichtlich Wut verbreiten wollte – und als die Wirkung deutlich wurde, passte die Plattform den Algorithmus an.

Forschungen im Bereich Fehlinformationen bekräftigen die Idee, dass engagementbasierte Algorithmen grundsätzlich erschreckende oder extreme Inhalte bevorzugen. Eine bekannte Studie in Science analysierte Millionen von Tweets und fand heraus, dass sich auf Twitter „Unwahrheiten schneller verbreiten als die Wahrheit“, was bedeutet, dass Fehlinformationen (die oft sensationslüstern oder emotional aufgeladen sind) sich weiter und schneller verbreiten als Fakten[11]. Andere Analysen haben festgestellt, dass politisch extreme Quellen in den sozialen Medien tendenziell mehr Benutzerinteraktionen erzeugen als gemäßigte oder zentristische Quellen[11]. Kurz gesagt: Posts, die Empörung, Angst oder starke Emotionen auslösen (einschließlich Hassreden oder spalterischer Propaganda), können im Hinblick auf „Gefällt mir“-Angaben, geteilte Beiträge und Kommentare extrem gut abschneiden. Indem sie diese Werte verfolgen, zeigen die Algorithmen solche Posts immer mehr Benutzern an – und vergrößern so ihre Reichweite. Diese algorithmische Verstärkung ist oft nicht von der „Werbung“ für den Inhalt zu unterscheiden, selbst wenn die Werbung nicht das beabsichtigte Ziel war. Kritiker argumentieren, dass dadurch eine gefährliche Rückkopplungsschleife entsteht: Benutzer reagieren auf aufrührerisches Material, der Algorithmus der Plattform leitet es an noch mehr Leute weiter und provoziert so noch mehr Reaktionen.

Es ist jedoch wichtig zu beachten, dass die algorithmische Verstärkung weitgehend unabhängig von der tatsächlichen Stimmung oder dem Wahrheitsgehalt von Inhalten ist – die Systeme des maschinellen Lernens optimieren typischerweise auf Engagement-Signale, nicht darauf, ob ein Beitrag hasserfüllt oder hilfreich ist. Wie eine wissenschaftliche Studie es formulierte: „Engagement-Kennzahlen fördern in erster Linie Inhalte, die unmittelbaren menschlichen sozialen und affektiven Vorlieben und Vorurteilen entsprechen, statt qualitativ hochwertigen Inhalten oder langfristigen Werten.“[1] Wenn eine Nutzerbasis eher mit niedlichen Katzenvideos interagiert, verstärkt der Algorithmus diese; wenn sie eher mit toxischen Memes interagiert, verstärkt er diese. Leider führen die menschliche Psychologie und Aufmerksamkeitsverzerrungen dazu, dass emotional aufgeladene, negative Inhalte insgesamt oft an die Spitze gelangen.

Benutzerengagement: Kurzfristige Steigerungen vs. langfristige Effekte

Es gibt immer mehr Hinweise darauf, dass Inhalte, die das kurzfristige Engagement maximieren, nicht immer auch zu langfristiger Nutzerzufriedenheit oder -bindung führen. Im unmittelbaren Moment neigen die Menschen dazu, negativen, schockierenden oder hasserfüllten Inhalten Aufmerksamkeit zu schenken, die die Klick- und Interaktionsmetriken in die Höhe treiben. Doch mit der Zeit kann ein Feed, der mit verstörenden Posts überflutet wird, die Nutzer vergraulen, sie verunsichern oder unglücklich machen oder sie dazu bringen, sich von der Plattform abzuwenden. Die Social-Media-Unternehmen selbst haben dieses Gleichgewicht erkannt. Die Überarbeitung des News-Feed-Algorithmus durch Facebook im Jahr 2018 (die Änderung „Meaningful Social Interactions“ ) zielte ausdrücklich darauf ab, das langfristige Wohlbefinden der Nutzer zu verbessern, selbst auf Kosten eines gewissen kurzfristigen Engagements. Mark Zuckerberg stellte fest, dass die Änderung – die mehr Posts von Freunden und Familie anstelle endloser viraler Videos zeigte – dazu führte, dass die Leute weniger Zeit auf Facebook verbrachten. Sie wurde jedoch vorgenommen, weil interne Untersuchungen zeigten, dass dies „das Richtige für das Wohlbefinden der Menschen“ sei.[5] Dies deutet darauf hin, dass Facebook erkannt hat, dass das Streben nach maximaler viraler Interaktion (oft angetrieben durch Clickbait oder emotional aufgeladene öffentliche Inhalte) die Benutzererfahrung auf eine Weise verschlechtert, die der Plattform auf lange Sicht schaden könnte.

Ergebnisse aus Facebooks eigenen Tests unterstreichen den kurz- und langfristigen Kompromiss. Wie bereits erwähnt, führte die anfängliche Aufpeppung des Newsfeeds mit „provokativeren“ Inhalten durch eine Übergewichtung der Reaktionen tatsächlich zu einem Anstieg der Interaktionen. Dieser ging allerdings mit einer Welle von Gegenreaktionen der Nutzer und einem „Abnehmen der Interaktion“ einher, da die Leute den kontroversen Ton satt hatten[1]. Als Reaktion darauf musste Facebook den Algorithmus korrigieren, um die Empörung weniger zu betonen. Mit anderen Worten: Wütende, negative Posts trieben zwar die Engagement-Zahlen in die Höhe, führten aber letztendlich dazu, dass die Nutzer abwanderten, was für ein soziales Netzwerk kein nachhaltiges Ergebnis ist.

Akademische Studien bestätigen diese Beobachtungen. Das zuvor erwähnte Twitter-Experiment offenbarte eine interessante Diskrepanz: Inhalte, von denen der Algorithmus dachte, sie würden die Leute ansprechen (z. B. parteiische Empörungs-Tweets), erzielten zwar kurzfristig hohes Engagement, die Nutzer waren jedoch mit ihren Feeds weniger zufrieden, wenn sie diesen Inhalten ausgesetzt waren[2]. Auf Nachfrage antworteten viele Nutzer, sie würden sich mehr Inhalte wünschen, die weniger wütend oder spaltend seien. Das legt nahe, dass das, was unsere Aufmerksamkeit im Moment fesselt, nicht unbedingt das ist, was wir ständig konsumieren möchten[2]. Dies deutet auf einen möglichen Langzeiteffekt hin: Wenn die Leute weiterhin mit Inhalten bombardiert werden, die sie als stressig empfinden oder die nicht ihren wahren Vorlieben entsprechen, nutzen sie die Plattform mit der Zeit möglicherweise weniger oder fühlen sich schlechter dabei.

Forschungen zum psychologischen und sozialen Wohlbefinden stützen die Theorie, dass ständige Konfrontation mit Negativität das Engagement und die Gesundheit der Nutzer langfristig verringern kann. Studien zum „digitalen Wohlbefinden“ weisen darauf hin, dass intensive Nutzung sozialer Medien, insbesondere der Konsum feindseliger oder negativer Materialien, Angstzustände, Depressionen und Erschöpfung verstärken kann[11]. Nutzer, die sich belästigt fühlen oder nur toxischen Diskursen ausgesetzt sind, ziehen sich möglicherweise irgendwann zurück – sie verlassen die Plattform effektiv, um ihre geistige Gesundheit zu schützen. Dieses Ergebnis ist offensichtlich schlecht für die langfristige Nutzerbindung eines Unternehmens. Der ehemalige Facebook-Manager Tim Kendall sagte aus, dass die Dienste, die er und andere aufgebaut hatten, letztendlich „die Menschen mit alarmierender Geschwindigkeit und Intensität auseinandergerissen“, das gegenseitige Verständnis untergraben und seiner Ansicht nach die Gesellschaft sogar in Konflikte gestürzt hätten[11]. Seine Bemerkungen sind zwar extrem, unterstreichen aber: Wenn eine Plattform zum Synonym für Hass und Feindseligkeit wird, läuft sie Gefahr, mit der Zeit das Vertrauen und die Beteiligung der Nutzer zu verlieren.

Plattformen haben ein starkes Interesse daran, dieses Schicksal zu vermeiden. Ihr Geschäft hängt nicht nur von einmaligen Klicks ab, sondern davon, dass die Nutzer Tag für Tag wiederkommen. Ist die Timeline voller wütender oder verstörender Beiträge, schalten viele Nutzer irgendwann ab. Deshalb gibt es Maßnahmen wie Facebooks Umstellung auf „Wohlfühl“-Kennzahlen, Instagrams Experiment mit dem Ausblenden von „Gefällt mir“-Angaben (um Druck und Negativität zu reduzieren) oder YouTubes Anpassung der Empfehlungen, um sogenannte „grenzwertige“ Inhalte herabzustufen. All diese Veränderungen spiegeln das Verständnis wider, dass nachhaltiges Engagement ein Gleichgewicht zwischen kurzfristiger Aufmerksamkeitsgewinnung und langfristiger Nutzerzufriedenheit erfordert. Wie in einem Forschungsartikel festgestellt wurde, könnten wir, wenn Algorithmen optimiert würden, um aussagekräftigere oder reflektiertere Nutzerpräferenzen (anstelle von reinen Klicks) zu berücksichtigen, „eine Verringerung wütender, parteiischer und gegenüber Außenseitern feindseliger Inhalte“ in Feeds erleben – allerdings mit potenziellen Kompromissen wie kleineren Echokammern[2]. Die Herausforderung für Plattformen besteht darin, ein Gleichgewicht zu finden, bei dem die Nutzer sowohl engagiert als auch zufrieden genug sind, um zu bleiben.

Fördern Plattformen absichtlich Hassinhalte?

Eine entscheidende Frage ist, ob Social-Media-Unternehmen ihre Algorithmen bewusst so gestalten, dass sie Hassreden oder extrem kontroverse Inhalte fördern, oder ob es sich dabei nur um unbeabsichtigte Nebenwirkungen handelt. In der öffentlichen Diskussion werfen Kritiker den Plattformen häufig vor, sie würden wissentlich schädliche Inhalte verbreiten, weil „es profitabel ist“. Von Experten überprüfte Studien haben jedoch keine Beweise dafür erbracht, dass Unternehmen ihre Algorithmen aktiv manipulieren, um Hassreden zu verbreiten. Studien deuten vielmehr darauf hin, dass Algorithmen das Engagement verstärken, unabhängig von dessen Quelle, und dass das Nutzerverhalten maßgeblich dazu beiträgt, welche Inhalte verbreitet werden.

Mehrere groß angelegte Analysen zeigen, dass der algorithmische Einfluss auf das, was Menschen sehen, zwar erheblich ist, bei der Bestimmung der Inhalte aber oft zweitrangig gegenüber den eigenen Entscheidungen der Benutzer (wem sie folgen, was sie anklicken) ist. Eine in Science veröffentlichte, auf Facebook basierende Studie hat ergeben, dass das soziale Netzwerk und die persönlichen Entscheidungen eines Benutzers die angezeigten Inhalte weitaus stärker beeinflussen als der Algorithmus zum Ranking des Newsfeeds[1]. Mit anderen Worten: Wenn Sie nur Leute als Freunde hinzufügen oder ihnen folgen, die hasserfüllte oder extreme Posts teilen, werden Sie unabhängig vom Algorithmus hauptsächlich diese Art von Inhalten sehen – und wenn Sie vielfältigen, zivilisierten Stimmen folgen, ist es unwahrscheinlich, dass der Algorithmus dies außer Kraft setzt, indem er Ihnen aus heiterem Himmel Hassposts zuschießt. Ebenso haben Untersuchungen bei Google und YouTube gezeigt, dass die Benutzerpräferenzen die Ergebnisse stark beeinflussen. Eine Studie hat ergeben, dass Benutzer häufiger auf parteiischere Nachrichtenquellen klicken, als ein neutraler Google-Suchalgorithmus normalerweise empfehlen würde. Dies legt nahe, dass die Leute selbst eine Voreingenommenheit entwickeln, die über das hinausgeht, was der Algorithmus vorschlägt[1]. Was YouTube betrifft, so untersuchte eine von Experten begutachtete Studie aus dem Jahr 2021 Hunderttausende von Nutzern und kam zu dem Schluss, dass der Empfehlungsalgorithmus der Plattform die Leute nur selten von Mainstream-Videos in extremistische Irrwege treibt. Laut dieser Studie gelangte nur etwa einer von 100.000 Zuschauern, die zunächst moderate Inhalte ansahen, später über Empfehlungen zu rechtsextremen Videos – ein verschwindend kleiner Bruchteil[1] . Die meisten Menschen, die sich rechtsextreme oder Hass-Inhalte auf YouTube ansahen, gelangten dorthin, indem sie gezielt danach suchten - oder über externe Links - und nicht, weil der YouTube-Algorithmus sie ihnen aufgezwungen hatte[1]. Diejenigen, die dazu neigten, solche Inhalte zu konsumieren, abonnierten diese Kanäle häufig oder suchten konsequent nach ihnen, die Nachfrage war also nutzergesteuert.

Diese Ergebnisse stützen die Ansicht, dass Plattformen nicht heimlich planen, Hass zu schüren, sondern dass ihr neutrales Ziel, das Engagement zu maximieren, nebenbei dazu führen kann, dass schädliche Inhalte verstärkt werden. Keine bekannte, von Experten überprüfte Studie dokumentiert einen Fall, in dem Plattformen Code mit dem ausdrücklichen Ziel optimierten, „den Nutzern mehr Hassreden zu zeigen“. Tatsächlich verstößt offene Hassrede (z. B. rassistische Beleidigungen, direkte Belästigung) gegen die Nutzungsbedingungen der großen Plattformen und wird bei Erkennung entfernt. Wenn also „Hassinhalte“ gefördert werden, handelt es sich normalerweise um Inhalte, die die Richtlinien umgehen – spaltendes, irreführendes oder aufrührerisches Material, das Reaktionen provoziert, ohne verbotswürdige Sprache zu verwenden. Die Algorithmen haben keinen eingebauten moralischen Kompass, um etwas nur wegen seines sozial schädlichen Charakters herabzustufen; sie betrachten nur die Engagement-Kennzahlen. Wie eine umfassende Überprüfung feststellt, zeigen aktuelle Erkenntnisse weder, dass Algorithmen Echokammern verursachen, noch, dass Echokammern für sich genommen Polarisierung verursachen[1]. Das heißt, es ist nicht erwiesen, dass Algorithmen allein aus neutralen Nutzern hartnäckige, hasserfüllte Filterblasen bilden. Die Polarisierung und der extreme Diskurs, die wir online beobachten, entstehen aus einer Mischung menschlicher Tendenzen, sozialer Dynamiken und algorithmischer Verstärkung – wobei der Algorithmus weitgehend auf die Nutzer reagiert und nicht auf eine aggressive Agenda des Unternehmens zur Förderung bestimmter Inhalte.

Es ist auch erwähnenswert, dass es der Mangel an Transparenz unabhängigen Forschern erschwert, diese Frage vollständig zu beantworten. Plattformen schützen ihre algorithmischen streng und berufen sich dabei auf Sicherheit (bekannte Algorithmen erlauben es PR Unternehmen diese zu manipulieren) und Wettbewerb, was bedeutet, dass sich Akademiker oft auf Beobachtungsdaten oder begrenzte Daten verlassen müssen. Ein Bericht von Forschern des Cybersecurity for Democracy-Projekts der NYU wies darauf hin, dass ohne verbesserten Datenzugang nicht definitiv beurteilt werden kann, wie sehr Algorithmen bestimmte Inhalte bevorzugen oder unterdrücken[11]. Das Fehlen von Beweisen ist also nicht unbedingt ein Beweis für das Fehlen – aber die Muster, die wir sehen (Engagement-Regeln, Nutzerentscheidungen, die die Exposition bestimmen usw.), deuten eher auf unbeabsichtigte Folgen als auf vorsätzliche Bosheit hin. Bislang besteht in der wissenschaftlichen Gemeinschaft Konsens darüber, dass die algorithmische Förderung von Hass ein emergentes Phänomen und kein absichtliches Design ist – ein Nebenprodukt von Algorithmen, die das Engagement in einem Medienökosystem optimieren, in dem Empörung oft Aufmerksamkeit erregt[1].

Plattformerklärungen zur Inhaltsförderung und zu Anreizen

Social-Media-Unternehmen bestreiten vehement, wissentlich hasserfüllte oder schädliche Inhalte zu verbreiten – und sie argumentieren, dass dies nicht einmal in ihrem Interesse liege. Als Reaktion auf die Vorwürfe (insbesondere nach Whistleblower- und Medienberichten im Jahr 2021) erklärte Facebooks CEO Mark Zuckerberg öffentlich, die Vorstellung, das Unternehmen lasse „wütende“ Inhalte aus Profitgründen zu oder fördere, sei „zutiefst unlogisch“. Er erklärte, Facebooks Einnahmen stammen aus Werbung, und * *„Werbetreibende sagen uns immer wieder, dass sie ihre Anzeigen nicht neben schädlichen oder wütenden Inhalten haben wollen.“[5]. Mit anderen Worten: Nutzern eine Reihe toxischer Posts zu zeigen, könnte die Engagement-Kennzahlen kurzzeitig erhöhen, aber es würde Werbetreibende (und potenziell Nutzer) abschrecken und so dem Geschäft schaden. „Ich kenne kein Technologieunternehmen, das Produkte entwickelt, die Menschen wütend oder deprimiert machen“, schrieb Zuckerberg und betonte, dass Facebooks „moralische, geschäftliche und produktbezogene Anreize alle in die entgegengesetzte Richtung“ der Förderung schädlicher Inhalte weisen[5] .

Konkrete Maßnahmen der Unternehmen untermauern diese Behauptungen der Anreizausrichtung. Zuckerberg verwies als Beweis auf die oben erwähnte Überarbeitung des Newsfeeds im Jahr 2018: Facebook nahm wissentlich eine Änderung vor, die dazu führte, dass die Leute weniger Zeit auf der Plattform verbrachten (ein kurzfristiger Rückgang des Engagements), weil das Unternehmen glaubte, dies würde die Nutzererfahrung und das Wohlbefinden langfristig verbessern[5]. Dieses Opfer an „verbrachter Zeit“ für einen gesünderen Feed ist nicht das, was man erwarten würde, wenn die Strategie des Unternehmens darin bestand, das Engagement um jeden Preis rücksichtslos zu maximieren. Facebook hat außerdem massiv in KI-Systeme und menschliche Moderatoren investiert, um Hassreden zu erkennen und zu entfernen (und berichtet regelmäßig, dass dank automatisierter Erkennung der überwiegende Großteil der entfernten Hassinhalte entfernt wurde , bevor die Nutzer sie meldeten). Während Kritiker über die Wirksamkeit dieser Maßnahmen streiten können, lautet die Linie des Unternehmens, dass es schlecht fürs Geschäft sei, toxische Hassreden gedeihen zu lassen und etwas, gegen das man aktiv vorgehe.

Andere Plattformen treffen ähnliche Behauptungen. YouTube hat beispielsweise öffentlich detailliert seine Bemühungen dargelegt, die Verbreitung sogenannter „Borderline-Inhalte“ einzudämmen – Videos, die zwar nicht explizit gegen Regeln verstoßen, diesen aber nahe kommen (z. B. Verschwörungstheorien, aufrührerische Propaganda). Ende 2019 gab YouTube bekannt, über 30 Änderungen an seinem Empfehlungsalgorithmus vorgenommen zu haben, um die Empfehlungen solcher grenzwertigen und schädlichen Inhalte zu reduzieren . Dies führte Berichten zufolge zu einem Rückgang der Wiedergabedauer durch Empfehlungen für dieses Material um 70% [6]. Im Wesentlichen sagt YouTube damit: Wir wollen nicht nur auf Wiedergabedauer optimieren, wenn dies bedeutet, dass die Benutzer in eine toxische Spirale geraten, die das Vertrauen in die Plattform schädigen könnte . Dies ist ein Beispiel dafür, wie der Algorithmus statt an kurzfristiger Popularität an langfristigen Qualitätsmetriken ausgerichtet wird.

Auch Twitter (jetzt X) hat sich öffentlich mit diesem Problem auseinandergesetzt. 2018 räumte der damalige CEO Jack Dorsey Probleme mit den Anreizstrukturen der Plattform ein und finanzierte Forschung zur Messung der „Gesundheit“ von Konversationen auf Twitter (über reine Engagement-Zahlen hinaus). Twitter führte vor dem Retweeten von Links Aufforderungen wie „Möchten Sie zuerst den Artikel lesen?“ ein, um das impulsive Teilen potenziell aufrührerischer Inhalte einzudämmen. Und in einem Transparenzbericht aus dem Jahr 2021 gab das Twitter-Team bekannt, dass sein Algorithmus auf der Home-Timeline dazu neigte, Tweets von politisch rechtsgerichteten Accounts stärker zu verstärken als von linksgerichteten – man verstand nicht ganz, warum, aber es löste eine Diskussion darüber aus, ob der Algorithmus angepasst werden sollte, um unbeabsichtigte Verzerrungen zu vermeiden. All diese Maßnahmen deuten darauf hin, dass Twitter sich bewusst ist, dass mehr Engagement nicht immer ein besseres Erlebnis bedeutet , und dass es seine Algorithmen kontinuierlich überprüfen muss, um sicherzustellen, dass sie nicht die falschen Dinge fördern.

Zusammenfassend lässt sich sagen, dass Social-Media-Unternehmen öffentlich beteuern, kein Motiv zu haben, Hass oder extreme Negativität zu fördern, und auf verschiedene Produktänderungen und Richtlinien verweisen, die darauf abzielen, die Sichtbarkeit schädlicher Inhalte zu reduzieren. Sie betonen, dass ihr langfristiger Erfolg vom Vertrauen und der Zufriedenheit der Nutzer auf der Plattform abhängt, nicht nur von reinen Engagement-Zahlen. Skeptiker mögen zwar die Aufrichtigkeit oder Vollständigkeit dieser Behauptungen in Frage stellen, doch ist klar, dass die Plattformen zumindest offiziell der Ansicht sind, hasserfüllte oder übermäßig spaltende Inhalte einschränken zu müssen, um eine gesunde Nutzerbasis und ein gesundes Werbe-Ökosystem zu erhalten.

Untersuchungsergebnisse und wissenschaftliche Perspektiven

Die Debatte über Algorithmen und schädliche Inhalte wurde auch von investigativem Journalismus, Enthüllungen von Whistleblowern und unabhängiger Forschung beeinflusst. Diese Quellen zeichnen mitunter ein weniger schmeichelhaftes Bild des Verhaltens der Plattformen, obwohl es wichtig ist, zwischen Anschuldigungen und bewiesenen Tatsachen zu unterscheiden. Eine der auffälligsten Enthüllungen stammt aus internen Dokumenten von Facebook (den „Facebook Papers“), die 2021 durchgesickert sind. Dazu gehört eine Präsentation von Facebook-Forschern aus dem Jahr 2018, in der sie warnten: „Unsere Algorithmen nutzen die Anziehungskraft des menschlichen Gehirns auf Spaltungen aus. Wenn man uns nichts entgegenwirkt, würde Facebook seinen Nutzern immer mehr kontroverse Inhalte zuführen, um deren Aufmerksamkeit zu gewinnen und die Verweildauer auf der Plattform zu erhöhen.“[4] Dieses interne Memo bestätigte im Wesentlichen, dass Facebooks eigene Datenwissenschaftler beim News-Feed-Algorithmus eine Tendenz beobachtet hatten, polarisierende, kontroverse Materialien zu pushen, da dies das Engagement maximierte. Das Memo schlug Interventionen vor, um diese Auswirkungen abzumildern. Einem Bericht des Wall Street Journal zufolge hat die Facebook-Führung jedoch viele dieser vorgeschlagenen Korrekturen auf Eis gelegt oder deren Umsetzung verzögert, teilweise aus Sorge, dass eine Verringerung der Viralität kontroverser Inhalte konservative Seiten überproportional beeinträchtigen und politische Gegenreaktionen auslösen könnte[4] . Diese Enthüllung hat den Zynismus in der Öffentlichkeit geschürt – die Vorstellung, dass Facebooks Wachstum und die Vermeidung von Kontroversen Vorrang vor der Bekämpfung schädlicher algorithmischer Tendenzen hätten.

Aussagen von Whistleblowern bestätigen diese Behauptungen. Frances Haugen, eine ehemalige Produktmanagerin von Facebook, die 2021 Dokumente leakte, sagte aus, Facebook habe routinemäßig „Profit vor Sicherheit“ gestellt. Sie behauptete, dass das Unternehmen sich oft widersetzte, wenn sich die Möglichkeit bot, die Plattform weniger hasserfüllt oder wütend zu gestalten, auch wenn dies zu weniger Engagement führte. Sie wies beispielsweise darauf hin, dass das Unternehmen nach der US-Wahl 2020 sein Civic Integrity-Team auflöste und bestimmte Sicherheitsvorkehrungen lockerte, woraufhin polarisierende Inhalte und Fehlinformationen wieder zunahmen. Haugens Kernargument war, Facebook wusste, dass die Betonung des Engagements durch seinen Algorithmus zur Verbreitung von Hassreden und Fehlinformationen beitrug, änderte sich jedoch nur langsam, weil diese spaltenden Posts die Nutzer kurzfristig zum Klicken und Scrollen veranlassten[5,4]. Diese Behauptungen machten Schlagzeilen und führten zu Anhörungen im Kongress. Es ist jedoch wichtig zu beachten , dass Haugens Behauptungen zwar durch interne Forschungsergebnisse untermauert werden, aber nicht mit wissenschaftlichen Schlussfolgerungen übereinstimmen – sie stellen die Darstellung des Unternehmensverhaltens durch einen Insider dar. Das Unternehmen widersprach ihrer Charakterisierung, wie bereits erwähnt, entschieden und verwies auf seine Investitionen in die Moderation von Inhalten und die Anpassung an das Wohlbefinden der Mitarbeiter.

Aus wissenschaftlicher Sicht warnen viele Forscher vor allzu vereinfachten Darstellungen. Sie räumen zwar Probleme ein, betonen aber häufig, dass die Erklärung „Der Algorithmus hat mich dazu gebracht“ für gesellschaftlichen Hass und Polarisierung zu grob sei. Empirische Studien zur Polarisierung haben hinsichtlich der Rolle der sozialen Medien zu widersprüchlichen Ergebnissen geführt. So hat beispielsweise ein Feldexperiment tatsächlich gezeigt, dass die Polarisierung der Ansichten von Twitter-Nutzern stärker und nicht schwächer wurde, wenn sie mehr Posts ihrer politischen Gegner ausgesetzt waren (d. h. ihre personalisierte Echokammer durchbrachen)[1]. Das bedeutet, dass Algorithmen, die gegensätzliche Ansichten nicht herausfiltern (und die Nutzer somit Inhalten aussetzen, die diesen überhaupt nicht gefallen), die Feindseligkeit ebenfalls verstärken können. Mit anderen Worten: Ob Algorithmen Ihnen mehr von dem zeigen, was Sie mögen (und so eine angenehme Echokammer schaffen) oder Dinge, die Sie hassen (die Sie wütend machen), jedes Szenario kann die Spaltung potenziell verstärken – es handelt sich nicht um einen einfachen Einbahnstraßeneffekt.

Eine weitere Erkenntnis aus der Forschung ist, dass das Angebot an extremen Inhalten auf eine Nachfrage trifft. Extremistische oder hasserfüllte Inhalte stammen häufig aus bestimmten Randgruppen oder Medienquellen. Studien des YouTube-Ökosystems haben ergeben, dass der starke Anstieg der Aufrufe rechtsextremer Videos zwischen 2016 und 2017 mit einem großen Interesse an diesen Themen und einem relativen Mangel an gemäßigteren Alternativen für bestimmte Standpunkte korrelierte[1]. Im Wesentlichen heißt das: Wenn Millionen von Nutzern aktiv nach aufrührerischen Inhalten suchen, werden ihnen die Algorithmen diese auch präsentieren (sofern sie nicht anderweitig stark kuratiert werden), weil sie diese anklicken. Einige Wissenschaftler wie Kevin Munger und Joseph Phillips argumentieren, dass das „Kaninchenbau-Problem“ (Nutzer werden durch immer extremere Empfehlungen radikalisiert) überbewertet wurde und dass die Präferenzen des Publikums und soziale Einflüsse außerhalb der Plattform eine größere Rolle dabei spielen, Menschen zu hasserfüllten Inhalten zu leiten[1]. Diese Ansicht entlastet die Plattformen jedoch nicht – sie legt lediglich nahe, dass es zur Lösung des Problems ebenso sehr um eine Änderung des Nutzerverhaltens und der Nachfrage wie um eine Änderung des Algorithmus geht.

Angesichts der Komplexität fordern wissenschaftliche Kritiker häufig mehr Transparenz und einen stärkeren Datenaustausch seitens der Plattformen, um gründlichere Studien zu ermöglichen. Regulierungsbehörden und Forscher treiben Initiativen voran, um Algorithmen auf Voreingenommenheit oder schädliche Auswirkungen zu prüfen. Der Digital Services Act der EU beispielsweise verpflichtet große Tech-Plattformen nun dazu, die Risikoauswirkungen ihrer Algorithmen unabhängig prüfen zu lassen, und zwar gerade weil unser „Wissen“ bislang größtenteils aus internen Leaks oder begrenzten externen Studien stammt. Nur mit umfassenderen Daten können Forscher beispielsweise feststellen, ob eine Algorithmus-Optimierung subtil Hassinhalte verbreitet oder ob sie lediglich auf Nutzersignale reagiert. Bis dahin sind wir auf Teilbeweise angewiesen: eine Kombination aus von Experten begutachteten Studien (die bislang keine vorsätzliche Hassprofiteure, aber eine unbeabsichtigte Verstärkung nahelegen) sowie Berichten von Whistleblowern und Journalisten (die auf eine gewisse bewusste Nachlässigkeit oder langsames Handeln der Unternehmen in Bezug auf dieses Problem schließen lassen).

Fazit: Abwägung von Behauptungen und Beweisen

Bei der Untersuchung, ob Social-Media-Plattformen aktiv hasserfüllte Inhalte fördern oder einfach nur die Interaktionen der Benutzer verstärken, lautet die am besten fundierte Antwort, dass es größtenteils Letzteres ist – eine Verstärkung des Engagements – mit dem kritischen Vorbehalt, dass diese Verstärkung die Feeds tatsächlich mit schädlichem Material überfluten kann. Von Experten überprüfte Forschungsarbeiten zeichnen ein Bild, in dem Algorithmen von Engagement-Kennzahlen und menschlichem Verhalten geleitet werden: Sie verstärken Inhalte, die Reaktionen (oft Empörung oder Angst) auslösen, die auch Hass und Extremismus umfassen können, aber sie bevorzugen nicht bewusst speziell „Hassreden“[1]. Kurzfristige Engagement- Spitzen durch negative Inhalte sind gut dokumentiert, während die langfristigen Nachteile – Ermüdung der Benutzer, Unzufriedenheit, Polarisierung – zunehmend ans Licht kommen. Dies führt sowohl in der Wissenschaft als auch in der internen Erkenntnis zu der Erkenntnis, dass eine ungezügelte Engagement-Optimierung nicht nachhaltig ist[1, 2].

Auf der anderen Seite werden den Unternehmen im öffentlichen Diskurs und in einigen investigativen Berichten schändliche Motive vorgeworfen. Interne Dokumente zeigen zwar, dass sich die Unternehmen des Problems bewusst waren (dass ihre Algorithmen spaltende/schädliche Inhalte verbreiten können)[4], dass sie sich jedoch manchmal aus geschäftlichen Gründen oder aus politischen Gründen schwer damit getan haben oder gezögert haben, es umfassend anzugehen[4]. Doch von hier aus kann man kaum behaupten, Plattformen wollten Hass schüren. Bislang gibt es keine empirische Studie, die eine gezielte Unternehmensstrategie zur Maximierung der Verbreitung von Hassreden schlüssig belegt. Unternehmensvertreter weisen diese Idee entschieden zurück und verweisen auf geschäftliche Anreize, die dem zuwiderlaufen[5]. Tatsächlich haben die Plattformen viel beachtete Änderungen vorgenommen (wie die Überarbeitung der Feeds von Facebook oder das harte Vorgehen von YouTube gegen grenzwertige Inhalte), die das Problem anerkennen und versuchen, genau die durch Engagement getriebenen Exzesse einzudämmen, die schädliche Inhalte befeuern[5, 6].

Zusammenfassend lässt sich sagen, dass Social-Media-Algorithmen Inhalte verstärken, auf die Benutzer (insgesamt) reagieren – und das kann leider bedeuten, dass viele aufrührerische und negative Posts verstärkt werden. Benutzer neigen dazu, sich mit schockierenden oder emotional aufgeladenen Inhalten zu beschäftigen, und der Algorithmus liefert ihnen diese pflichtbewusst, wodurch ein Kreislauf entsteht, der wie Hasspropaganda aussehen kann. Es als absichtliche Hasspropaganda durch die Plattform darzustellen, vereinfacht die Situation jedoch zu sehr. Zahlreiche von Experten überprüfte Beweise deuten eher auf eine unbeabsichtigte Verstärkung und ein Missverhältnis zwischen kurzfristigem Engagement und langfristigem Wohlbefinden der Benutzer hin als auf einen großen Plan, aus Profitgründen Hass zu verbreiten. Die Plattformen selbst behaupten, sich in Richtung Modelle zu bewegen, die Benutzerzufriedenheit und -sicherheit über reines Engagement stellen. Skeptiker argumentieren jedoch, dass sie mehr und schneller tun könnten. Für die Zukunft ist kontinuierliche unabhängige Forschung – mit besserem Zugang zu Plattformdaten – erforderlich, um weiterhin Mythen von der Realität zu trennen und die Plattformen für die Auswirkungen ihrer algorithmischen Entscheidungen zur Verantwortung zu ziehen, ob unbeabsichtigt oder nicht.

Quellen

[1] Metzler, H., & Garcia, D. (2023). Social Drivers and Algorithmic Mechanisms on Digital Media. Perspectives on Psychological Science, 19(5), 735-748.

[2] Smitha Milli, et al., User Satisfaction, and the Amplification of Divisive Content on Social Media, 24-01 Knight First Amend. Inst. (Jan. 3, 2024)

[3] W.J. Brady,J.A. Wills,J.T. Jost,J.A. Tucker,& J.J. Van Bavel, Emotion shapes the diffusion of moralized content in social networks, Proc. Natl. Acad. Sci. U.S.A. 114 (28) 7313-7318 (2017).

[4] Zhang, S. (Facebook internal research, 2018). "Our algorithms exploit the human brain’s attraction to divisiveness..." (Facebook internal slide, as quoted in WSJ).

[5] Zuckerberg, M. (2021). Zuckerberg says claims about FB prioritising profit over safety untrue, Marketing-Interactive

[6] YouTube Official Blog (2019). Raising authoritative content and reducing borderline content, YouTube’s announcement of algorithm changes

[7] Eytan Bakshy et al., Exposure to ideologically diverse news and opinion on Facebook. Science348, 1130-1132(2015). DOI:10.1126/science.aaa1160, Science

[8] Hosseinmardi H, Ghasemian A, Clauset A, Mobius M, Rothschild DM, Watts DJ. Examining the consumption of radical content on YouTube. Proc Natl Acad Sci U S A. 2021 Aug 10;118(32):e2101967118. doi: 10.1073/pnas.2101967118. PMID: 34341121; PMCID: PMC8364190.

[9] C.A. Bail,L.P. Argyle,T.W. Brown,J.P. Bumpus,H. Chen,M.B.F. Hunzaker,J. Lee,M. Mann,F. Merhout,& A. Volfovsky, Exposure to opposing views on social media can increase political polarization, Proc. Natl. Acad. Sci. U.S.A. 115 (37) 9216-9221 (2018).

[10] Guess, Andrew & Lyons, Benjamin & Nyhan, Brendan & Reifler, Jason. (2018). Avoiding the echo chamber about echo chambers: Why selective exposure to like-minded political news is less prevalent than you think.

[11] Lauer, D. Facebook’s ethical failures are not accidental; they are part of the business model. AI Ethics 1, 395–403 (2021). https://doi.org/10.1007/s43681-021-00068-x