Machine Learning kann bestehende Vorurteile/Ungerechtigkeiten verstärken/weitertragen
BiblioMap 
Definitionen

But studies indicate that in some current contexts, the downsides of AI systems disproportionately affect groups that
are already disadvantaged by factors such
as race, gender and socio-economic background.
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016)
Bemerkungen

In a 2013 study, for example, Google
searches of first names commonly used by
black people were 25% more likely to flag
up advertisements for a criminal-records
search than those of ‘white-identifying’
names.
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016) 

In summary, LMs trained on large, uncurated, static datasets from
the Web encode hegemonic views that are harmful to marginalized
populations. We thus emphasize the need to invest significant resources
into curating and documenting LM training data.
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021) In another race-related finding, a
ProPublica investigation in May 2016 found
that the proprietary algorithms widely used
by judges to help determine the risk of reoffending are almost twice as likely to mistakenly flag black defendants than white
defendants
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016) 
Bei selbstlernenden Systemen ist schwer nachzuvollziehen, ob ihre Entscheidungen auch unseren Erwartungen entsprechen. Das Feld der KI-Ethik diskutiert diese Gefahr unter dem Begriff des bias – Verzerrungen, die bestehende Ungerechtigkeit wiederholen oder gar verstärken. So können KI-Systeme nicht nur den Rassismus oder den Sexismus widerspiegeln, den sie aus den Daten der Welt gelernt haben, sondern ihn auch noch potenzieren und so selbst aktiv Ungerechtigkeit hervorbringen.
Von Hannes Bajohr im Text Wer sind wir? Warum künstliche Intelligenz immer ideologisch ist (2021) Starting with who is contributing to these Internet text collections,
we see that Internet access itself is not evenly distributed,
resulting in Internet data overrepresenting younger users and those
from developed countries [100, 143].12 However, it’s not just the Internet
as a whole that is in question, but rather specific subsamples
of it. For instance, GPT-2’s training data is sourced by scraping outbound
links from Reddit, and Pew Internet Research’s 2016 survey
reveals 67% of Reddit users in the United States are men, and 64%
between ages 18 and 29.13 Similarly, recent surveys of Wikipedians
find that only 8.8–15% are women or girls [9].
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021) 
Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.
Von Andrea Fischer im Text Auch Maschinen können benachteiligen (2018) auf Seite 11
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.
Zitationsgraph
Zeitleiste
21 Erwähnungen 
- Weapons of Math Destruction - How Big Data Increases Inequality and Threatens Democracy (Cathy O’Neil) (2016)
- The AI Now Report - The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term (Kate Crawford, Meredith Whittaker) (2016)
- There is a blind spot in AI research (Kate Crawford, Ryan Calo) (2016)
- Automating Inequality (Virginia Eubanks) (2018)
- Wo Maschinen irren können - Verantwortlichkeiten und Fehlerquellen in Prozessen algorithmischer Entscheidungsfindung (Katharina A. Zweig, Sarah Fischer, Konrad Lischka) (2018)
- Neuronale Denkfehler - Künstliche Intelligenz: zu naiv, um schlau zu sein (Schwerpunktthema c't 24/18) (2018)
- Irren ist künstlich - Wo künstliche Intelligenz noch schwächelt (Andrea Trinkwalder)
- Irren ist künstlich - Wo künstliche Intelligenz noch schwächelt (Andrea Trinkwalder)
- Auch Maschinen können benachteiligen (Andrea Fischer) (2018)
- Diskriminierungsrisiken durch Verwendung von Algorithmen - Eine Studie, erstellt mit einer Zuwendung der Antidiskriminierungsstelle des Bundes. (Carsten Orwat) (2019)
- Ein Algorithmus hat kein Taktgefühl - Wo künstliche Intelligenz sich irrt, warum uns das betrifft und was wir dagegen tun können (Katharina A. Zweig) (2019)
- Calling Bullshit - The Art of Skepticism in a Data-Driven World (Carl T. Bergstrom, Jevin D. West) (2020)
- Vor dem Algorithmus sind nicht alle gleich (Michael Moorstedt) (2020)
- On the Dangers of Stochastic Parrots - Can Language Models Be Too Big? (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell) (2021)
- Image Representations Learned With Unsupervised Pre-Training Contain Human-like Biases (Ryan Steed, Aylin Caliskan) (2021)
- Die Informatik ist männlich - Wie Frauen aus der digitalen Welt verdrängt wurden - und warum sie ihren Platz zurückerobern müssen (Nadine A. Brügger) (2021)
- Wer sind wir? Warum künstliche Intelligenz immer ideologisch ist (Hannes Bajohr) (2021)
- Klick - Wie wir in einer digitalen Welt die Kontrolle behalten und die richtigen Entscheidungen treffen (Gerd Gigerenzer) (2021)
- Digital Warriors (Roberta Fischli) (2022)
- 1. Humane Algorithmen - dafür legt sie sich mit Amazon an (2022)
- 1. Humane Algorithmen - dafür legt sie sich mit Amazon an (2022)
- Beyond Measure - The Hidden History of Measurement (James Vincent) (2022)
- 10. The Managed Life
- Do not feed the Google - Republik-Serie (2023)
- 4. Wenn ethische Werte nur ein Feigenblatt sind (Daniel Ryser, Ramona Sprenger) (2023)
- 4. Wenn ethische Werte nur ein Feigenblatt sind (Daniel Ryser, Ramona Sprenger) (2023)
- «Ein Chatbot kann nicht logisch denken» (Emily Bender, Ruth Fulterer) (2023)