Das durch das Bayerische Forschungsinstitut für Digitale Transformation (BIDT) geförderte Forschungsprojekt "Einsatz von KI zur Erhöhung der Resilienz gegen Toxizität in der Online-Unterhaltung", von Prof. Dr. Yannis Theocharis (Lehrstuhl für Digital Governance), erforscht die Verbreitung extremistischer, verschwörerischer und irreführender Inhalte in sozialen Medien und untersucht dabei, wie diese Inhalte durch unterhaltsame Inhalte eingebettet werden. Es zielt darauf ab, durch die Kombination von Unterhaltungstheorien, visueller Kommunikation und toxischer Sprache mit KI-Methoden, das Verständnis für die Wirkung dieser Inhalte auf das Nutzerverhalten zu vertiefen. Dieses Projekt leistet einen wichtigen Beitrag zur Analyse und Bekämpfung von Online-Toxizität. Mehr Informationen finden Sie auf der Projektseite oder der Pressemitteilung des BIDT.

Mit dem Ziel, das Problem des schädlichen Online-Diskurses anzugehen, haben wir uns mit dem Bayerischen Staatsministerium der Justiz zusammengetan, um eine Community of Practice aufzubauen. In einer Reihe von Veranstaltungen des Reboot Social Media Labs brachten wir Akademiker und Praktiker zusammen, die sich mit Hassreden und anderen Formen von hasserfüllten Inhalten im Internet befassen, um aktuelle Probleme und mögliche Lösungen zu diskutieren.

Unsere Podiumsdiskussion mit Teresa Ott (Hate Speech Officer bei der Generalstaatsanwaltschaft), Anna Wegscheider (Anwältin bei HateAid) und Svea Windwehr (Policy Analyst bei Google), moderiert von Georg Eisenreich, MDL (Bayerischer Staatsminister der Justiz) und Urs Gasser (TU München), eröffnete den Dialog und gab den rund 100 Gästen, die an der Veranstaltung teilnahmen, tiefere Einblicke in den aktuellen Stand des EU-Gesetzes über digitale Dienste und seine Auswirkungen auf Staatsanwälte, Plattformen und Nutzer.

Wichtige Erkenntnisse aus der Diskussion

Während die EU-weite Harmonisierung durch den DSA großes Potenzial hat, gibt es im Vergleich zum NetzDG immer noch Mängel, wie z.B. das Fehlen von Löschungsfristen oder konkreten Details zur Durchsetzung von Verstößen gegen Hassreden. Es wurde daher als entscheidend angesehen, Wege zu finden, um zu gewährleisten, dass die stärkeren und besser durchsetzbaren Aspekte des NetzDG auch dann noch zur Verfügung stehen, wenn das DSA und seine unklareren Vorschläge in Kraft treten.

Im Allgemeinen stellten die Diskutierenden fest, dass die internen Prozesse der großen Plattformen in Bezug auf die Praktiken der Inhaltsmoderation sowohl für die Strafverfolgungsbehörden als auch für die Opfer von Online-Hass immer noch eine "Black Box" sind. Es herrschte ein breiter Konsens darüber, dass dies durch eine erweiterte Zusammenarbeit und Kommunikation zwischen den Akteuren der Zivilgesellschaft, den Behörden und den Plattformbetreibern verbessert werden könnte und sollte.

Ein letzter Punkt betraf das öffentliche Bewusstsein für Hassreden. Nur 2 von 10 Online-Delikten werden derzeit angezeigt. Um Online-Hass vermehrt anzuzeigen und strafrechtlich zu verfolgen, muss das Bewusstsein für digitale Gewalt weiter geschärft werden - nicht nur in der Bevölkerung, sondern auch in der Justiz und den Strafverfolgungsbehörden. Mit zunehmender Zahl der gemeldeten Fälle werden dann aber auch zusätzliche Ressourcen für die zuständigen Behörden notwendig, um diese Fälle zu verfolgen.

Sitzung 1 befasste sich mit den neuesten Erkenntnissen über Hassreden, Unhöflichkeit und Frauenfeindlichkeit im Online-Diskurs. Auf der Grundlage von Beiträgen von Yannis Theocharis, Janina Steinert und Jürgen Pfeffer (alle TU München) diskutierten die Teilnehmenden eine Abwägung zwischen der Notwendigkeit verschiedener Formen der Inhaltsmoderation und der Meinungsfreiheit als grundlegende Norm. Es herrschte Einigkeit darüber, dass ein besseres Verständnis der "Grauzonen" von Hassrede und der Umgang damit notwendig sind, aber es war auch klar, dass einige Arten von Online-Verhalten nicht normalisiert werden sollten. Es wurde auch betont, dass Online-Hass von vergleichsweise wenigen verbreitet wird, die extrem lautstark sind und daher eine große Reichweite haben. Dies wiederum hat Auswirkungen darauf, an wen sich Maßnahmen zur Regulierung schädlicher Online-Inhalte richten sollten: an die wenigen Hasser oder an die große Masse?

© Thomas Gunnar Kehrt-Reese

Sitzung 2 befasste sich mit Fragen im Zusammenhang mit der Umsetzung des Gesetzes über digitale Dienste in Bezug auf Online-Hass. Nach Inputs von Till Guttenberger (Bayerisches Staatsministerium der Justiz) und Teresa Ott (Referentin für Hate Speech bei der Generalstaatsanwaltschaft) wurde diskutiert, wie effektive Maßnahmen des NetzDG nach Inkrafttreten des Digitalisierungsgesetzes am Leben erhalten werden können. Ein Kernthema war, wie zukünftige Institutionen und Mechanismen gestaltet werden sollten. Die Teilnehmenden fragten sich auch, wie man Opfer und die Öffentlichkeit am besten für Möglichkeiten zur Meldung von Hassreden sensibilisieren kann.

Sitzung 3 beschäftigte sich mit der Frage, wie über das Gesetz hinaus gegen unhöflichen Online-Diskurs vorgegangen werden kann. Christian Djeffal (TU München) sprach über die Moderation von Inhalten gemeinsam mit den Usern, während Sandra Cortesi (Universität Zürich & Harvard University) einen Überblick darüber gab, wie Kinder dazu befähigt werden können, sich in Online-Diskursen auf sozialen Medien zurechtzufinden. Die großen Fragen konzentrierten sich auf die Suche nach dem goldenen Mittelweg zwischen Bildung und Regulierung - was wahrscheinlich kein "entweder/oder" ist - sowie auf die Frage, wer am besten in der Lage ist, Bildungsinhalte zu erstellen, und betonten, dass alle relevanten Akteure an Bord sein müssen.

Partner und Organisation

Die Veranstaltungen wurden gemeinsam vom TUM Think Tank, der Professur für Public Policy, Governance und innovative Technologien und dem Bayerischen Staatsministerium der Justiz organisiert. Unser besonderer Dank gilt unseren Podiumsteilnehmern Teresa Ott, Svea Windwehr und Anna Wegscheider für die Bereitstellung ihrer Expertise. Wir danken allen Teilnehmern für ihre Beiträge und engagierten Diskussionen und freuen uns auf die Fortsetzung des begonnenen Gesprächs.