Der AMS-Algorithmus - ein Vorzeigebeispiel einer
"Weapon of Math Destruction"

 

Das AMS hat angekündigt in Zukunft einen "Algorithmus" einzusetzten um Arbeitssuchende in "Unterstützungsklassen" einzuteilen. Menschen die von diesem System als schlecht vermittelbar am Arbeitsmarkt eingestuft werden, bekommen weniger Unterstützung. Das mathematische Modell auf dessen Basis der Algorithmus Entscheidungen trifft, ist ein Punktesystem in dem gewisse persönliche Merkmale ein Nachteil sind. Zuwenig Punkte bedeutet weniger Unterstützung beim AMS. Das Modell findet sich in folgendem Dokument auf Seite 11. Es benachteiligt Frauen indem für dieses Merkmal 0.14 Punkte im System abgezogen werden. Für Betreuungspflicht, aber nur bei Frauen, gibt weitere 0.15 Punkte Abzug. Bei der Altersgruppe 50+ werden 0.7 Punkte und bei "beeinträchtigten" (!) Menschen 0.67 Punkten abgezogen. Bei Personen aus Drittstaaten ist ein Abzug von 0,05 Punkten vorgesehen.  Ein Plus von 0.27 gibts etwa bei einer abgeschlossenen Lehre im Lebenslauf. Persönliche Daten von Arbeitssuchenden werden also eingespeist in einen "Algorithmus", anhand der genannten und weiteren Merkmale vergibt dieser Punkte und entscheidet inwieweit dass AMS Personen unterstützen sollte. Er gibt also eine "Empfehlung" ab. Da diese Entscheidungen anhand von persönlichen Merkmalen getroffen werden, wäre es interessant inwieweit es rechtlich tragbar ist Diskriminierung auf diese Weise festzuschreiben.

 

Feedbackschleifen die Ungleichheit langfristig stärken

Es hat sich herausgestellt, dass eines der großen Probleme mit einem System dieser Art ist, ähnlich wie mit den Filterbubbles, dass eine diskriminierende "Feedbackschleife" entsteht. Es ist eine die Ungleichheit am Arbeitsmarkt langfristig verstärkt. Frau-sein ist jetzt und in der Vergangenheit ein Nachteil am Jobmarkt, weil die Gesellschaft strukturell diskriminiert. Durch die Festschreibung dieses Fakts in einem System um Unterstützung zu verteilen, werden Frauen noch weitflächiger benachteiligt. Derzeit gibt es zumindest einzelne Betreuungsangestellte im AMS die sich obwohl Personen wenig Chancen haben, trotzdem für diese eingesetzt haben und sicher auch oft mit Erfolg. In Zukunft gibt es dann einen Algorithmus der sagt: "Nein. Das ist eine Frau, die hat weniger Chancen am Markt als ein Mann. Verschwende nicht Ressourcen an sie." Durch schlechtere Unterstützung reduzieren sich die Chancen von Frauen am Arbeitsmarkt noch weiter. Der Algorithmus wird dann Jahre später, nachdem sich die Situation der Frauen verschlechtert hat aufgrund veringerter Unterstützung, wieder mit neuen, für Frauen dann schlechtere, Daten gefüttert. Dadurch sinken die algorithmischen Bewertungen für Frauen und diese bekommen in einer Abwärtsspirale immer weniger Unterstützung, obwohl diese notwendig und hilfreich wäre. Diese "Feedbackschleife" führt dazu, dass Personen mit gewissen, aktuell benachteiligenden Merkmalen weitreichend (denn der Algorithmus soll ja überall eingesetzt werden) systematisch und immer mehr am Arbeitsmarkt geschwächt werden.

 

Korrelation ist nicht Kausation

Die beschriebene Systematik wird im Buch "Weapons of Math Destruction", der Mathematikerin und Harvard-Absolventin Cathy O'Neil, anhand vieler Beispiele dargestellt. Das Buch beschreibt jedoch noch weitere problematische Mechanismen beim Einsatz eines solchen Systems. Die Forscher*innen welche das System implementieren und evaluieren sehen ihre Arbeit bestätigt, da viele Menschen die keine "unnötige" Betreuung bekommen, keinen Job finden. Sie übersehen dabei aber, dass diese Ergebnisse beeinflusst sind durch die Effekte des neuen Systems. In der Fachliteratur wird dies als "Confirmation Bias" bezeichnet. Es ist auch möglich dass die Vorstellung ensteht der Algorithmus sei am Anfang ja nur nett zu den "Frauen" gewesen, aber mittlerweile ist er "objektiver". Dies gilt natürlich nur falls dieses System unter der Annahme entwickelt wird soetwas wie eine "natürliche" Rolle der Frau am Arbeitsmarkt zu ermitteln. So etwas wär natürlich höchst dubious, aber nicht undenkbar. Es gilt auch weiterhin: Korrelation ist nicht Kausation!! Es gibt zum Beispiel eine Korrelation zwischen viel Eiscreme-Konsum und Mord, das erlaubt aber nicht den Schluss dass ein Verbot von Eiscreme zu weniger Mord führen würde.

 

Der Algorithmus ist keine Lösung

Das ganze Problem ist derart komplex, dass es mittlerweile eine Reihe von dezidierten wissenschaftlichen Communities zu diesem Thema gibt. Ich möchte auch noch das großartige Interview der Futurezone von Barbara Wimmer mit AMS-Vorstand Johannes Kopf herausstreichen. In diesem betont Kopf dass es kein Problem sei, dass aktuell geschätzt etwa 50.000 Menschen pro Jahr in eine falsche Kategorie eingeteilt werden. Eine solche Fehlerwahrscheinlichkeit stellt die Wahl der Merkmale für dieses Modell natürlich in Frage. Seine Aussage der Algorithmus "empfiehlt" diese Einteilung doch nur den AMS-Mitarbeiter*innen impliziert, dass diese den Algorithmus nicht besonders ernstnehmen werden oder sollen in der Praxis. Da stellt sich natürlich die Frage, welchen Sinn der "Algorithmus" eigentlich hat? Bereits 2003 wurde gezeigt, dass Menschen alleine durch die Darstellung von Ergebnissen von Algorithmen beeinflusst werden. Algorithmen werden als "objektiv" wahrgenommen und wie in dieser ausgezeichneten Analyse von Datenexperte Wolfie Christl beschrieben, "werden sich AMS-BetreuerInnen für jede ‚Hochstufung‘ rechtfertigen und erklären müssen, warum sie etwas besser wissen wollen als der Computer". Es ist einfacher, vorallem auch im Problemfall, zu sagen: "Der Computer hat das so festgestellt", anstatt selber Verantwortung zu tragen und eine Entscheidung über die Zukunft eines Menschen zu treffen. Zu bemerken ist auch, dass Kopf die festgeschriebene Diskriminierung verteidigt indem er meint, dass AMS-Mitarbeiter*innen noch pessimistischer wären als der Algorithmus. Die Lösung sollte hier jedoch nicht sein einen weniger "diskriminierenden" Algorithmus zu verwenden, sondern gar nicht zu diskriminieren und allen eine gerechte Chance auf Unterstützung zu geben. Das von Kopf beschriebene "pessimistische Abschneiden" der Mitarbeiter*innen sollte als Anlass gesehen werden Schulungen durchzuführen und stärker auf Diversität im Personal zu setzen.

Ich stehe Organisationen mit Interesse an dieser Thematik gerne mit Expertise zur Verfügung und kann Forscher*innen/Expert*innen in Österreich zu gerechter digitaler Transformation empfehlen. In meinem Doktorat an der University of Michigan setze ich mich unter anderem mit algorithmischen System auseinander, welche Ungleichheit verstärken. An dieser Stelle auch noch eine Empfehlung das Buch "Automating Inequality" zu lesen. Es erklärt anschaulich eine Reihe von ähnlichen Projekten wie der AMS-Algorithmus und ihrer Konsequenzen. Danke an Matthias Fassl, Alexander Steiner und Fabian Fischer für Feedback zu diesem Text.