Amazons-KI-Bewerbungsverfahren
BiblioMap
Definitionen
Automated hiring software from some of the largest US employers such as Amazon have preferentially selected men over women.
Von Carl T. Bergstrom, Jevin D. West im Buch Calling Bullshit (2020) im Text Calling Bullshit on Big Data Bekannt ist auch ein Beispiel, wonach Amazon auf die Verwendung eines algorithmischen
Kandidatenauswahlsystems verzichtete, nachdem festgestellt wurde, dass das System auf der Grundlage
verzerrter Lerndaten männliche Kandidaten bevorzugte.
Von Interdepartementale Arbeitsgruppe künstliche Intelligenz im Buch Herausforderungen der künstlichen Intelligenz (2019) auf Seite 33In one notorious leaked story from Amazon, the company created an AI program designed to review the CVs of job applicants. Its engineers trained the program to select candidates based on its current employee roster, which skews heavily male. As a result, the software decided that women must be inferior hires and penalised applicants from all-female colleges and those whose résumés included the word ‘women’s’. The program was scrapped before it was ever deployed, but the story shows the potential for error.
Von James Vincent im Buch Beyond Measure (2022) im Text The Managed Life Amazon hat mittels maschinellem Lernen einen Algorithmus konzipiert, der Bewerber, männlich oder weiblich, für Stellungen in der Softwareentwicklung und anderen Jobs der Digitalbranche auf der Grundlage ihrer Profile bewertet. Man stellte sich vor, das System mit einigen hundert Profilen zu füttern und dann die fünf besten zu erhalten, die dann eingestellt würden. Zu ihrer Überraschung »mochte« die Maschine keine Frauen. Abermals befand sich der Bias in den Daten, der die Profile aller Bewerber der letzten zehn Jahre enthielt, wobei die Männer die weit überwiegende Mehrheit stellten. Als man die Vornamen aus den Bewerbungen entfernte, brachte das nicht viel; die KI fand andere Wege, etwa indem sie das Geschlecht aus einem Abschluss an einem reinen Frauencollege schloss.
Von Gerd Gigerenzer im Buch Klick (2021) im Text Transparenz Bei Amazon zeigte sich erstmals öffentlich,
wie KI Frauen systematisch diskriminieren
kann. Die Firma hatte 2014
eine automatisierte Rekrutierungs-Software
entwickelt, die mit Lebensläufen
aus zehn Jahren Firmengeschichte gefüttert
worden war, um aus neuen Bewerbungen
objektiv die besten herauszufiltern.
Nach drei Jahren wurde das Experiment
als gescheitert betrachtet und abgebrochen:
Die KI hatte systematisch die
Bewerbungen von Frauen aussortiert,
wodurch diese gar nicht erst die Chance
auf ein Bewerbungsgespräch erhielten.
Der Ausschluss von Frauen war nicht
auf einen Fehler im Algorithmus zurückzuführen;
die Software war vielmehr
einwandfrei programmiert. Sie hatte die
Unternehmenskultur von Amazon analysiert
und perfekt reproduziert. Weil
bei Amazon vor allem Männer angestellt
sind, hatte die KI nach vergleichbaren
Bewerbern gesucht und alle, die davon
abwichen, ausgesondert.
Von Nadine A. Brügger im Text Die Informatik ist männlich (2021) Bemerkungen
Betrachten wir noch einmal die Philharmonieorchester. Nehmen wir an, ein Tech-Unternehmen trainiert ein tiefes neuronales Netzwerk darauf, die besten Mitglieder für ein Orchester zu finden. Es gibt die Profile von einhunderttausend Männern und Frauen ein, die sich in den letzten fünfzig Jahren um einen Platz in den besten Orchestern der Welt bemüht haben, und liefert außerdem die Information, ob sie eingestellt wurden oder nicht. Das Netz wird rasch entdecken, dass männlich zu sein ein starker Vorhersagefaktor ist, und den Bias der Vergangenheit reproduzieren.
Von Gerd Gigerenzer im Buch Klick (2021) im Text Transparenz Man sieht an diesem Beispiel deutlich: Wenn der Selektionsprozess vorher schon zu einem verzerrten Ergebnis bezüglich einer sensitiven Eigenschaft geführt hat, kann ein Algorithmus, auch ohne dass er die zugrunde liegenden sensitiven Eigenschaften kennt, die Verzerrung durch eine Korrelarion der sensitiven Eigenschaft mit anderen Eigenschaften entdecken. In diesem Fall gab es also eine ziemlich eindeutige Korrelation zwischen verschiedenen Freizeitbeschäftigungen, einigen Colleges und dem Geschlecht. Wird das resultierende statistische Modell dann naiv weiterverwendet, kann sich die Verzerrung verstärken.
Von Katharina A. Zweig im Buch Ein Algorithmus hat kein Taktgefühl (2019) im Text Algorithmen, Diskriminierung und Ideologie auf Seite 213Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.
Von Andrea Fischer im Text Auch Maschinen können benachteiligen (2018) auf Seite 11Any fears we might have about unfair automated job rejection were illustrated in Amazon’s development of job-hiring software, which relied on algorithms trained on a data set of thousands of resumes that the company had used in their previous job hire decisions. By mathematically modeling the ideal types of applicants that the company had hired previously through human interview panels, the algorithm was faithfully reproducing the (un)conscious bias in decision-making that disproportionately favored male engineers. As was reported at the time, Amazon’s system taught itself that male candidates were preferable and eliminated or penalized résumés that included the word “women”—for example, as might be detected in the phrase “women’s chess club captain” (Dastin 2018). To paraphrase an old computer science adage, this was a case of “prejudice in, prejudice out.” This is a clear instance of the “coded bias” that Joy Buolamwini and colleagues were warning us about.
Von Luci Pangrazio, Neil Selwyn im Buch Critical Data Literacies (2023) Die Personalabteilung des Onlinehändlers hatte eine KI darauf trainiert, Bewerbungsunterlagen zu analysieren, um zum Unternehmen passende Kandidaten zu finden. Gelernt hat die KI aus dem Material von in der Vergangenheit eingestellten Mitarbeitern. Bald stellte sich heraus, dass das System Männer bevorzugte – naheliegend, denn wie in jedem Tech-Konzern bestand die Belegschaft vor allem anfangs überwiegend aus Männern. Überraschend war allerdings, wie hartnäckig sich die Hinweise auf „Männlichkeit“ in den Trainingsdaten hielten: Selbst als die Amazon-Entwickler alle geschlechtsspezifischen Daten, vom Vornamen bis hin zur Universität entfernt hatten, lehnte die KI weibliche Bewerber eher ab. Letztlich stellte sich heraus, dass sich auch die Art und Weise unterscheidet, wie Männer und Frauen ihre Anschreiben verfassen, wie die KI-Spezialistin Kate Crawford in ihrem Buch „Atlas of AI“ beschreibt. Amazon hätte also auch die Formulierungen in eine wie auch immer geartete geschlechtsneutrale Form bringen müssen.
Von Andrea Trinkwalder im Text Systemsprenger (2023) Aus Bewerbungsunterlagen und anderen
Textdokumenten lassen sich Geschlecht
und Name einfach löschen. Das Ergebnis
sind scheinbar neutrale Trainingsdaten,
die weder Frauen noch Menschen mit
Migrationshintergrund benachteiligen.
Doch manches Datenmaterial ist einfach
derart durchtränkt von verräterischen
Merkmalen wie Wohngegend, Besuch
einer reinen Mädchen-/Jungenschule et
cetera – , dass sich die Datensätze nicht
vernünftig neutralisieren lassen, ohne sie
komplett zu entwerten.
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.
Von Andrea Trinkwalder in der Zeitschrift Neuronale Denkfehler (2018) im Text Irren ist künstlich Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.
Im Jahr 2014 entwickelte das
Unternehmen ein KI-Tool, um die Suche nach neuem Personal zu
unterstützen. Die KI sollte das Internet durchforsten und Menschen
identifizieren, die gut zu Amazon passen könnten. Das Modell wurde darauf
trainiert, in Lebensläufen 50000 Begriffe zu erkennen und
Übereinstimmungen mit den Lebensläufen früherer erfolgreicher Angestellter
bei Amazon zu finden. So sollte das Programm die Bewerberprüfung
automatisieren und erheblich beschleunigen. «Jeder wollte diesen Heiligen
Gral», sagte eine mit der Initiative vertraute Person gegenüber Reuters, «sie
wollten buchstäblich eine Maschine haben, die hundert Lebensläufe
ausspuckt und die besten fünf auswählt, die wir dann einstellen.» [324]
Doch das Tool verwandelte sich vom Heiligen Gral in ein Trojanisches
Pferd. Schon bald stellte Amazon fest, dass die KI männliche Kandidaten
bevorzugte. Die Erklärung: Da in der Vergangenheit überwiegend Männer
eingestellt worden waren, hatte das System gelernt, dass männliche Bewerber
auch in Zukunft am besten zu dem E-Commerce-Giganten passen würden.
Das System bewertete sämtliche weiblich assoziierten Informationen, wie das
Hobby «Frauenfußball», als negativ. Aber auch versteckte weibliche
Konnotationen wurden bestraft: Zum Beispiel bevorzugte die KI Verben, die
in männlichen Lebensläufen häufiger vorkommen als in weiblichen. Keiner
dieser Bias wurde absichtlich so programmiert. Aber sie waren gezielt erlernt
worden. Zwar versuchte das Entwicklungsteam noch, das Modell zu retten.
Da man jedoch trotz mehrerer Versuche nicht in der Lage war, diese
Verzerrungen zu beseitigen, beschloss Amazon, das Tool ganz zu verwerfen.
Von Miriam Meckel, Léa Steinacker im Buch Alles überall auf einmal (2024) im Text Das ethische Spiegelkabinett Verwandte Objeke
Verwandte Begriffe (co-word occurance) |
Häufig co-zitierte Personen
Judy
Wajcman
Wajcman
Jathan
Sadowski
Sadowski
Lorraine
Daston
Daston
Peter
Galison
Galison
Ellen
Ullman
Ullman
Yilun
Wang
Wang
Safiya Umoja
Noble
Noble
Rosalind
Picard
Picard
Michal
Kosinski
Kosinski
Virginia
Eubanks
Eubanks
Meredith
Broussard
Broussard
David
Graeber
Graeber
Statistisches Begriffsnetz
Zitationsgraph
Zeitleiste
12 Erwähnungen
- Neuronale Denkfehler - Künstliche Intelligenz: zu naiv, um schlau zu sein (Schwerpunktthema c't 24/18) (2018)
- Irren ist künstlich - Wo künstliche Intelligenz noch schwächelt (Andrea Trinkwalder)
- Auch Maschinen können benachteiligen (Andrea Fischer) (2018)
- Ein Algorithmus hat kein Taktgefühl - Wo künstliche Intelligenz sich irrt, warum uns das betrifft und was wir dagegen tun können (Katharina A. Zweig) (2019)
- Herausforderungen der künstlichen Intelligenz - Bericht der interdepartementalen Arbeitsgruppe «Künstliche Intelligenz» an den Bundesrat (Interdepartementale Arbeitsgruppe künstliche Intelligenz) (2019)
- Calling Bullshit - The Art of Skepticism in a Data-Driven World (Carl T. Bergstrom, Jevin D. West) (2020)
- The Atlas of AI (Kate Crawford) (2021)
- Die Informatik ist männlich - Wie Frauen aus der digitalen Welt verdrängt wurden - und warum sie ihren Platz zurückerobern müssen (Nadine A. Brügger) (2021)
- Klick - Wie wir in einer digitalen Welt die Kontrolle behalten und die richtigen Entscheidungen treffen (Gerd Gigerenzer) (2021)
- Beyond Measure - The Hidden History of Measurement (James Vincent) (2022)
- 10. The Managed Life
- c't KI-Praxis (2023)
- Systemsprenger (Andrea Trinkwalder) (2023)
- Critical Data Literacies - Rethinking Data and Everyday Life (Luci Pangrazio, Neil Selwyn) (2023)
- Alles überall auf einmal - Wie Künstliche Intelligenz unsere Welt verändert und was wir dabei gewinnen können (Miriam Meckel, Léa Steinacker) (2024)
- 9. Das ethische Spiegelkabinett - Wenn KI Werte nachahmt