wissen.de Artikel

Diskriminierende Algorithmen

Unternehmen und staatliche Institutionen setzen inzwischen verstärkt auf automatisierte Entscheidungen. So bestimmen Algorithmen zum Beispiel mit, wer einen Kredit bekommt oder vorzeitig aus der Haft entlassen wird. Das Problem: Die intelligenten Systeme sind mitunter von rassistischen oder diskriminierenden Einstellungen geprägt. Als Folge droht die Benachteiligung einzelner Menschen oder Bevölkerungsgruppen, wie eine Studie zeigt. Was lässt sich gegen die Diskriminierung durch Algorithmen tun?
Karlsruher Institut für Technologie / DAL, 16.10.2019

Viele Scoring-Werte sind nur scheinbar objektiv. Sogenannte algorithmische Vorurteile, die durch fehlerhafte Daten und/oder deren Verarbeitung entstehen, können Entscheidungen massiv beeinflussen.

iStock.com, Arkadiusz Warguła

Ob bei der Kreditvergabe, der Auswahl neuer Mitarbeiter oder bei juristischen Fragen - in immer mehr Bereichen unseres täglichen Lebens werden Algorithmen dazu eingesetzt, menschliche Entscheidungen vorzubereiten oder sie den Menschen gleich ganz abzunehmen. Der Einsatz dieser intelligenten Systeme spart mitunter Zeit und Geld. Doch er ist auch mit Nachteilen verbunden, wie sich zunehmend abzeichnet.

Denn: "Dass Algorithmen zwangsläufig zu objektiveren und damit faireren Entscheidungen führen, erweist sich heute leider oft als Trugschluss", erklärt Carsten Orwat, vom Karlsruher Institut für Technologie (KIT). "Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten."

Problematisches Lernmaterial

Damit Maschinen Entscheidungen treffen können, müssen sie zunächst lernen und werden dafür mit riesigen Mengen an Daten gefüttert. Das Problematische: Oft sind in diesen Datensätzen explizit oder implizit Stereotypen und Vorurteile beispielsweise in Bezug auf Ethnien, Geschlechter oder Religionsgruppen enthalten - und genau diese lernen die Systeme mit, wie Studien zeigen.

Als Folge können die Programme die gleichen rassistischen und diskriminierenden Einstellungen haben wie viele Menschen in unserer Gesellschaft. Wie sich diese Formen der Diskriminierung schon heute auswirken, hat Orwat nun im Auftrag der Antidiskriminierungsstelle des Bundes eingehend untersucht.

Kreditvorteil für Männer

In seiner Veröffentlichung nennt der Wissenschaftler eine Reihe von Beispielen für diskriminierende Algorithmen - etwa auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. Demnach gibt es in den USA mehrere dokumentierte Fälle, in denen die Algorithmen Sozialer Medien Wohnungsanzeigen zugelassen haben, die Personengruppen wie Migranten, Menschen mit Behinderung oder nicht weißer Hautfarbe nicht zu sehen bekamen.

In Finnland wurde ein Kreditinstitut zu Strafzahlungen verurteilt, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern bei der Kreditvergabe benachteiligte - eine Ungleichbehandlung, die nach dem finnischen Antidiskriminierungsrecht verboten ist.

Auch beim weit verbreiteten Kreditscoring sind durch Algorithmen verursachte Ungleichbehandlungen dokumentiert.

iStock.com, cnythzl

Umstrittene Risikoscores

Ein weiteres Beispiel für eine Benachteiligung durch algorithmenbasierte Systeme: US-amerikanische Richter arbeiten bei der Entscheidung über vorzeitige Haftentlassungen mit einem umstrittenen System, das Risikoscores berechnet. Journalisten- und Menschrechtsverbände kritisieren, dass dabei das Rückfallrisiko von schwarzen Menschen systematisch zu hoch bewertet wird, wie Orwat berichtet.

"Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden. Dann spiegeln auch die so erzeugten Algorithmen die Ungleichbehandlungen oder Stereotypen wider. Werden Daten verarbeitet, die Bewertungen von Menschen über andere Menschen beinhalten, können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken", sagt Orwat.

Entwickler und Anwender von KI sind wenig divers. Auch das führt dazu, dass Algorithmen Vorurteile entwickeln können.

pixabay.com, geralt

Lösungsansätze gesucht

Die gute Nachricht: Als Gesellschaft müssen wir diese Ungleichbehandlungen nicht tatenlos hinnehmen. Denn es gibt mehrere Möglichkeiten, dem Problem entgegenzuwirken. "Am sinnvollsten erscheinen präventive Maßnahmen", meint Orwat. So könnten Firmen ihre Personal- bzw. IT-Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch dazu sensibilisieren, nur solche Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegeln.

Schon jetzt diskutieren Wissenschaftler darüber, wie Verzerrungen künftig aus Datensätzen entfernt werden können. Ziel sollte es laut Orwat sein, Algorithmen "diskriminierungsfrei by Design" zu machen. Dafür müssten solche Programme bereits während ihrer Entwicklung geprüft werden.

Letztlich gehe es dabei immer um den Schutz von gesellschaftlichen Werten wie Gleichheitsziele oder Schutz der freien Entfaltung der Persönlichkeit. Damit diese auch angesichts der rasanten Entwicklungen von "Big Data" und künstlicher Intelligenz gewährt bleiben, sei es an verschiedenen Stellen nötig, das Antidiskriminierungs- und Datenschutzrecht zu verbessern, so das Fazit des Forschers.

Mehr Artikel zu diesem Thema

Weitere Artikel aus dem Wahrig Fremdwörterlexikon

Weitere Lexikon Artikel

Weitere Artikel aus dem Großes Wörterbuch der deutschen Sprache

Weitere Artikel aus dem Wahrig Herkunftswörterbuch