Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.

Aus Bewerbungsunterlagen und anderen Textdokumenten lassen sich Geschlecht und Name einfach löschen. Das Ergebnis sind scheinbar neutrale Trainingsdaten, die weder Frauen noch Menschen mit Migrationshintergrund benachteiligen. Doch manches Datenmaterial ist einfach derart durchtränkt von verräterischen Merkmalen wie Wohngegend, Besuch einer reinen Mädchen-/Jungenschule et cetera – , dass sich die Datensätze nicht vernünftig neutralisieren lassen, ohne sie komplett zu entwerten.
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.