Immer häufiger werden Algorithmen eingesetzt, um grundlegende Entscheidungen in unserem Leben zu treffen: Erhalte ich einen Kredit? Wie hoch ist meine Versicherungsprämie? Habe ich Anspruch auf Sozialhilfe?

In der Ausstellung sind vier Filme zu sehen, die an echte Begebenheiten angelehnt sind – und so in vielen Ländern vorstellbar wären. Sie zeigen, welche verschiedenen Aspekte der Ungleichheit beim Einsatz von algorithmenbasierten Entscheidungssysteme diskutiert werden müssen.

Weiterführende Informationen zu echten Anwendungsbeispielen geben einen Überblick darüber, wo und wie Algorithmen in der Privatwirtschaft und der öffentlichen Verwaltung verwendet werden. Ist der Einsatz von Algorithmen in diesen Beispielen gerecht? Ist er sinnvoll? Gibt es Fälle, in welchen er zu viele Gefahren birgt? Und wie könnten negative Effekte verringert werden?

Die Filme zeigen exemplarisch Fälle von (un-)fairen Algorithmen. Auf den Postern finden sich konkrete Beispiele aus verschiedenen Ländern, die heute schon in die Praxis umgesetzt sind. Diese Liste ist bei weitem nicht abschliessend. Wir alle kommen heute schon mit solchen Algorithmen in Berührung - oft, ohne dass wir uns dessen bewusst sind.
Fair oder unfair? Jeder konkrete Fall ist anders, und je nach Kontext stellt sich die Frage nach Fairness und sozialer Gerechtigkeit in unterschiedlicher Weise. Immer aber kann kann (und sollte!) man hinschauen und fragen, ob die Algorithmen die Betroffenen fair oder unfair behandeln.

In einem County in Pennsylvania wird seit 2016 «maschinelles Lernen» im Kindeswohlschutz eingesetzt. Das «Allegheny Family Screening Tool» soll Sozialarbeiterinnen und Sozialarbeitern dabei helfen, einzuschätzen, wie hoch das Risiko einer Kindswohlgefährdung ist, wenn sie Meldungen über verdächtige Fälle erhalten. Das Tool wurde von Wissenschaftlerinnen und Wissenschaftlern entwickelt. Es ist eines der wenigen Beispiele, bei dem während der Entwicklung grosser Wert auf Transparenz (z.B. durch den Dialog mit Betroffenen und die Veröffentlichungen von Studien über das Tool) gelegt wurde. Dennoch wird das Tool von zivilgesellschaftlichen Organisationen kritisiert, da es dazu führen könnte, dass Kinder aus armen, Schwarzen oder Latinx-Familien unnötig oft von ihren Eltern getrennt werden.

Eine Forschungsgruppe der ETH Zürich und der Universität Stanford hat ein Tool entwickelt, das die Zuweisung von Geflüchteten zu Aufnahmeregionen innerhalb eines Landes verbessern soll. Ziel der verbesserten Zuweisung ist es, die Chancen auf baldige Integration (beispielsweise gemessen als das Finden von Arbeit) zu erhöhen. Empirische Resultate versprechen eine bessere Verteilung im Vergleich zu einem zufälligen Zuweisungsmechanismus. Das Tool wird aktuell in der Schweiz, den Niederlanden und Kanada erprobt. Die Frage, ob der neue Zuweisungsalgorithmus Diskriminierung gewisser Gruppen von Geflüchteten erzeugen könnte, muss als Teil der praktischen Tests im Detail untersucht werden.

Von 2014 bis 2020 wurde in den Niederlanden das Tool «System Risk Indication» eingesetzt, um Fälle von Sozialversicherungsbetrug aufzudecken. Das Tool erkennt Muster in Daten aus verschiedenen Quellen, die auf Sozialhilfebetrug hinweisen sollen, und markiert verdächtige Fälle. 2020 verbot ein Gericht den Einsatz des Tools mit der Begründung, dass es auf zu viele persönliche Daten der Sozialhilfeempfängerinnen und -empfänger zugreift. Auch vor dem Hintergrund, dass dem jährlichen Verlust von 150 Millionen Euro wegen Sozialhilfebetrugs 22 Milliarden Euro durch Steuerhinterziehung gegenüberstehen, wurde das Tool heftig kritisiert. Zudem ist die genaue Funktionsweise des Tools unklar – diese Intransparenz hat ebenfalls für Kritik gesorgt.

Eine Kleinstadt an der schwedischen Südküste namens Trelleborg ist Vorreiter für die Digitalisierung von Behördenprozessen in Schweden. Vor ein paar Jahren hat Trelleborg damit begonnen, einen Bot für die Genehmigung von Sozialhilfeanträgen einzusetzen. Der Bot wurde zusammen mit einer externen Beratungs- sowie einer Softwarefirma entwickelt. Laut der Behörde ermöglicht das Tool eine grosse Zeitersparnis. Gegen diese Automatisierung regt sich allerdings Widerstand. Journalistinnen und Journalisten sowie Forschende kritisieren die Intransparenz, mit der das entwickelte Tool über die Anträge von Sozialhilfeempfängerinnen und -empfängern entscheidet.

Um die Flucht- und Rückfallgefahr einer inhaftierten Person einzuschätzen, wird in der Deutschschweiz das «Fall-Screening-Tool» als Teil des «Risikoorientierten Sanktionsvollzugs» eingesetzt. Eine inhaftierte Person wird durch das Tool in eine von drei Risikokategorien eingeteilt. Ein hohes Risiko führt zu einer weiteren Überprüfung durch Fachpersonen. Bekannt ist, welche Datenpunkte das Tool zur Einschätzung nutzt (z.B. bisherige Verurteilungen oder Alter), doch nicht wie aus diesen Daten die Risikokategorie berechnet wird. Dadurch ist unklar, ob die Risikoeinschätzung für alle Gruppen gleich gut funktioniert oder ob es Gruppen gibt, die durch das Tool systematisch benachteiligt werden.

Im amerikanischen Gesundheitswesen wird ein kommerzielles System eingesetzt, um zu entscheiden, welche Patientinnen und Patienten Zugang zu einem Pflegeprogramm mit zusätzlicher und persönlicherer Betreuung erhalten. Dies soll aufgrund des individuellen Bedarfs erfolgen. Ein Algorithmus schätzt diesen aufgrund von vorliegenden Daten aus dem Gesundheitssystem, insbesondere zu Gesundheitskosten, ab: Höhere Kosten sollen einen höheren Bedarf anzeigen. Eine Studie hat nun nachgewiesen, dass die Kosten für Schwarze Patientinnen und Patienten im Schnitt niedriger sind als für weisse Personen mit vergleichbarem Gesundheitszustand. Daher wird ihr Bedarf an persönlicher Betreuung niedriger eingeschätzt und sie werden seltener in das Unterstützungsprogramm aufgenommen.

Eine wissenschaftliche Studie konnte bei Facebook-Stelleninseraten für technische Karrieren Geschlechterunterschiede nachweisen: Ein Inserat, das die Forschenden weltweit über Facebook verbreiteten, wurde substantiell häufiger Männern als Frauen gezeigt, obwohl Frauen mit einer höheren Wahrscheinlichkeit reagierten. Als Grund wird das Businessmodell von Facebook vermutet, insbesondere die Preise für Inserate. Eine vergleichbar unterschiedliche Darstellung der Anzeigen für Frauen und Männern wurde auch bei anderen Plattformen wie Google, Instagram und Twitter nachgewiesen.

In einer Studie über kommerzielle Gesichtserkennungssysteme wurde gezeigt, dass die Gesichtserkennungssysteme von Microsoft, IBM und Face++ für Frauen mit «dunkler» Hautfarbe deutlich weniger genau sind als für Männer mit «heller» Haut. Bei Frauen lag die Fehlerrate, d.h. der Anteil an falsch erkannten Gesichtern, zwischen 10.7 und 21.3 %, bei Männern dagegen bei 0.7 bis 5.6 %. Die Fehlerrate bei Menschen mit «dunkler» Haut lag bei 12.9 bis 22.4 %, bei Menschen mit «heller» Haut bei 0.7 bis 4.7 %. Besonders eindrücklich ist die von Frauen mit «dunkler» Haut: Hier gab es Fehlerraten zwischen 20.8 und 34.7 %. Bei Männern mit «heller» Haut lag diese Rate bei 0.0 bis 0.8 %.

Predictive Policing verarbeitet grosse Mengen von Daten über Verbrechen, um darin Muster zu erkennen und künftige Verbrechen vorherzusagen. Damit wird entschieden, wo Polizistinnen und Polizisten eingesetzt werden. Wenn Quartiere, in welchen marginalisierte Gruppen leben, besonders stark kontrolliert werden, so werden dort mehr Verbrechen festgestellt – selbst wenn die Kriminalitätsrate eigentlich nicht höher ist als anderswo. Ein Tool, das mit diesen Daten arbeitet, wird hier mehr neue Verbrechen voraussagen. In der Folge werden in diesen Gebieten wiederum mehr Polizistinnen und Polizisten eingesetzt und der Effekt verstärkt sich selbst.

Im Jahr 2020 konnten im Vereinigten Königreich die A-Level-Prüfungen aufgrund der COVID-19-Pandemie nicht stattfinden. Die Noten wurden mit einem Algorithmus festgelegt. Dieser benutzte Einschätzungen der Lehrpersonen, ein Ranking der Schülerinnen und Schüler sowie die Noten aus vergangenen Jahren dieser Schule. Fast 40 % aller Schülerinnen und Schüler erhielten eine schlechtere Note, als es die Einschätzung ihrer Lehrerinnen und Lehrer vorgesehen hatte. Vor allem Schülerinnen und Schüler aus Privatschulen profitierten vom Algorithmus. Damit profitierten Schülerinnen und Schüler aus wohlhabenderen Familien eher vom Algorithmus als solche aus ärmeren Familien. Die Auswirkungen auf das Leben der Schülerinnen und Schüler sind gross, da die Noten darüber entscheiden, welche Universität besucht werden kann.

Das Münchner Startup Retorio hat ein Tool entwickelt, das basierend auf Videointerviews Persönlichkeitsprofile erstellt. Statt persönliche Interviews zu führen, kann eine Vorauswahl von Bewerberinnen und Bewerbern auf eine Stelle algorithmenbasiert erfolgen. Dies spart Zeit. Daher sind solche Tools mittlerweile stark verbreitet. Allerdings haben Experimente des Bayerischen Rundfunks (BR) mit dem Tool des Münchner Startups dessen Verlässlichkeit in Frage gestellt: Trägt eine Person eine Brille, so wird sie anders bewertet als ohne. Ein Bücherregal im Hintergrund oder eine Anpassung der Helligkeit des Videos ändert die Ergebnisse ebenso. Somit ist unklar, inwiefern das Tool überhaupt sinnvolle Ergebnisse liefert.

Das österreichische Arbeitsamt entwickelt ein Machine-Learning-Tool, das voraussagen soll, wie gut vermittelbar Arbeitslose sind. Das Tool soll helfen, die Ressourcen des Amtes gezielter einzusetzen. Wer sehr gute Aussicht auf einen Job hat, erhält weniger Unterstützung, da dies keinen zusätzlichen Nutzen bringt. Wer sehr schlechte Aussicht auf einen Job hat, erhält ebenfalls weniger Unterstützung. Wer im letzten Jahr wenig gearbeitet hat, der oder dem werden schlechtere Chancen zugeschrieben – die Aussicht auf Unterstützung sinkt. Mit einer gesundheitlichen Beeinträchtigung, nach einer Geburt und bei Frauen ist die Bewertung tiefer. Dies bringt dem Tool Kritik, da damit systematische Diskriminierung droht.