Schwerpunkt 27. Mai 2020, von Marius Schären

Wenn ein Social Bot zum Rassisten wird

Wer spricht denn da?

Ein Bot von Microsoft wird rassistisch und ein Netzwerk künstlicher Profile beeinflusst Aktienkurse: Eine eigentlich gute Absicht kann immer auch destruktiv umgesetzt werden.

Ein klassisches Negativbeispiel ist Tay. Der Chatbot oder Social Bot von Microsoft erschien als angeblich amerikanische Jugendliche am 23. März 2016 auf Twitter. Zuerst plauderte der Bot über Promis und Horoskope. Binnen Stunden aber änderte sich das, und Tay äusserte Sätze wie: «Hitler hatte recht. Ich hasse Juden. Ich hasse alle Feministen.» Nach nur 16 Stunden nahm Microsoft Tay wieder vom Netz.

Das nicht geplante Verhalten soll laut Microsoft durch die gezielten Fragen und Aufforderungen anderer Twitter-Nutzer provoziert worden sein. Das ist bei Social Bots gut möglich, denn diese kommunizieren auch aktiv in sozialen Medien, lernen aus der Kommunikation und geben vor, Menschen zu sein. Chatbots hingegen sind Dialogsysteme, geben sich üblicherweise als solche zu erkennen und reagieren bloss.

Von den Falschen gelernt

Für das Missbrauchspotenzial von Social Bots gibt es weitere Beispiele. Etwa ihre zweifelhafte Rolle im Konflikt zwischen Russland und der Ukraine oder beim Manipulieren der Aktienkurse einer wertlosen Start-up-Firma in den USA.

Drei Hauptgefahren nennt das Beratungsunternehmen PriceWaterhouseCoopers in einer Analyse: die massenhafte Verbreitung von Fake News, die Manipulation von Trends und Meinungen durch die schiere Menge sowie die Verrohung des öffentlichen Diskurses.

Für den Maschinen-Ethiker Oliver Bendel von der Fachhochschule Nordwestschweiz zeigt sich bei Tay ein elementares Risiko: Selbst lernende Maschinen in offenen Systemen seien schwierig, ja gefährlich, sagt er. «Ich finde es in manchen ­Bereichen durchaus angebracht, autonome Systeme zu verbieten.» Als Beispiele nennt Bendel «bis auf Weiteres» selbst fahrende Autos in Städten, autonome Kampfroboter oder auch eine automatisierte Auswahl bei Stellenausschreibungen.

Für den Kampf gerüstet sein

Eingeschränkt werden sollte nach Ansicht des Experten nur die Anwendung, nicht die Forschung. Er befürwortet die Erforschung von Kampfrobotern – für den Erkenntnisgewinn. «Andere werden sie bauen und einsetzen. Und um zu wissen, wie wir sie bekämpfen sollen, müssen wir sie selbst entwickeln, erforschen und bauen.» Bei anderen Anwendungen müsste situativ entschieden werden. Ein Sprach­assistent etwa, der Emotionen und Empathie simuliert, könne zum Beispiel für Astronauten auf langen Flügen nützlich sein. «Aber derselbe Sprachassistent könnte als alltägliche Anwendung gefährlich werden», hält Oliver Bendel fest.

Die Basis für den Missbrauch insbesondere von Social Bots legt die Täuschung, dass sie menschlich seien. Das deutsche Fraunhofer Institut für intelligente Analyse- und Informationssysteme prognostiziert, dass in den nächsten zehn Jahren beeindruckend menschenähnliche Chatbots entwickelt werden. Bendel stützt diese Prognose. Maschinen könnten bereits flüstern, «Äh» und «Mmh» in ihr Sprechen einbauen, Werte und Vorstellungen integrieren, langsam sein. «In zehn Jahren wird fast niemand mehr Menschen und Maschinen im Gespräch unterscheiden können.»

Wörter auf den Index setzen

Und welches Rezept gibt es gegen Missbrauch? «Bei Tay hätte man einfach Wortausschlusslisten erstellen müssen», nennt Oliver Bendel eine konkrete Möglichkeit. Und bei Chatbots könnte grundsätzlich Transparenz eingefordert werden: die Deklaration als Maschine, wie sie funktionieren, was sie können.

Letztlich müsse man die Dinge vor allem erforschen, sagt Bendel. «Im Labor können wir das Gute und das Böse erschaffen.» So liessen sich im Zweifel negative Entwicklungen wieder korrigieren.