/ en / Traditional / help

Beats Biblionetz - Aussagen

Machine Learning kann bestehende Vorurteile/Ungerechtigkeiten verstärken/weitertragen

iconBiblioMap Dies ist der Versuch, gewisse Zusammenhänge im Biblionetz graphisch darzustellen. Könnte noch besser werden, aber immerhin ein Anfang!

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconDefinitionen

Beyond MeasureMachine learning algorithms, for example, are trained on real-life data and so tend to reflect the biases of society.
Von James Vincent im Buch Beyond Measure (2022) im Text The Managed Life
But studies indicate that in some current contexts, the downsides of AI systems disproportionately affect groups that are already disadvantaged by factors such as race, gender and socio-economic background.
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016)

iconBemerkungen

Katharina A. ZweigWo vorher (gerechtfertigt oder ungerecht- fertigt) diskriminiert wurde, wird die Maschine diese Diskriminierung mitlernen.
Von Katharina A. Zweig im Buch Ein Algorithmus hat kein Taktgefühl (2019) im Text Algorithmen, Diskriminierung und Ideologie auf Seite  213
In a 2013 study, for example, Google searches of first names commonly used by black people were 25% more likely to flag up advertisements for a criminal-records search than those of ‘white-identifying’ names.
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016)
Calling BullshitWhen we train machines to make decisions based on data that arise in a biased society, the machines learn and perpetuate those same biases. In situations like this, “machine learning” might better be called “machine indoctrination.”
Von Carl T. Bergstrom, Jevin D. West im Buch Calling Bullshit (2020) im Text Calling Bullshit on Big Data
Neuronale DenkfehlerEinige Untersuchungen legen nahe, dass maschinell trainierte Systeme Stereotype sogar verstärken: So tendierte eine KI für Szenenerkennung dazu, in der Küche befindliche Personen als Frau zu taggen, auch wenn sie männlich waren.
Von Andrea Trinkwalder in der Zeitschrift Neuronale Denkfehler (2018) im Text Irren ist künstlich
In summary, LMs trained on large, uncurated, static datasets from the Web encode hegemonic views that are harmful to marginalized populations. We thus emphasize the need to invest significant resources into curating and documenting LM training data.
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)
In another race-related finding, a ProPublica investigation in May 2016 found that the proprietary algorithms widely used by judges to help determine the risk of reoffending are almost twice as likely to mistakenly flag black defendants than white defendants
Von Kate Crawford, Ryan Calo im Text There is a blind spot in AI research (2016)
Neuronale DenkfehlerForscher befürchten deshalb, dass mühsam errungene gesellschaftliche Fortschritte – etwa die Chancengleichheit von Menschen unabhängig von Geschlecht und Herkunft – unterminiert werden könnten, wenn die vermeintlich neutralen maschinellen Entscheider immer mehr Bereiche des gesellschaftlichen Lebens mitgestalten.
Von Andrea Trinkwalder in der Zeitschrift Neuronale Denkfehler (2018) im Text Irren ist künstlich
Bei selbstlernenden Systemen ist schwer nachzuvollziehen, ob ihre Entscheidungen auch unseren Erwartungen entsprechen. Das Feld der KI-Ethik diskutiert diese Gefahr unter dem Begriff des bias – Verzerrungen, die bestehende Ungerechtigkeit wiederholen oder gar verstärken. So können KI-Systeme nicht nur den Rassismus oder den Sexismus wider­spiegeln, den sie aus den Daten der Welt gelernt haben, sondern ihn auch noch potenzieren und so selbst aktiv Ungerechtigkeit hervorbringen.
Von Hannes Bajohr im Text Wer sind wir? Warum künstliche Intelligenz immer ideologisch ist (2021)
Starting with who is contributing to these Internet text collections, we see that Internet access itself is not evenly distributed, resulting in Internet data overrepresenting younger users and those from developed countries [100, 143].12 However, it’s not just the Internet as a whole that is in question, but rather specific subsamples of it. For instance, GPT-2’s training data is sourced by scraping outbound links from Reddit, and Pew Internet Research’s 2016 survey reveals 67% of Reddit users in the United States are men, and 64% between ages 18 and 29.13 Similarly, recent surveys of Wikipedians find that only 8.8–15% are women or girls [9].
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)
Katharina A. ZweigEs gibt auch wichtige Beobachtungen zur DatenauswahL Erstens sind beim Titanic-D&tenset wie in vielen anderen Fällen auch die Daten nicht vollständig und teilweise vielleicht falsch. Zweitens steckt eine Diskriminierung in den Daten: Frauen und Kinder wur- den bei der Besetzung der Rettungsboote bevorzugt. Würde man also den entstandenen Baum nutzen, um für das nächste Unglück Entscheidungen zu treffen, wen man rettet, würden diese Diskriminierungen verstärkt! Wenn der Entscheidungsbaum jeweils nach der Mehrheit in den Blättern entscheidet, kämen sogar nur noch Frauen, Mädchen und kleine Jungs in die Boote. Eine Datenbasis mit einer Diskrüninierung schreibt diese also fort und kann sie so- gar noch verstärken - je nachdem, wie das gefundene statistische Modell genutzt wird.
Von Katharina A. Zweig im Buch Ein Algorithmus hat kein Taktgefühl (2019) im Text Computerintelligenz auf Seite  149
Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.
Von Andrea Fischer im Text Auch Maschinen können benachteiligen (2018) auf Seite  11
Neuronale DenkfehlerAus Bewerbungsunterlagen und anderen Textdokumenten lassen sich Geschlecht und Name einfach löschen. Das Ergebnis sind scheinbar neutrale Trainingsdaten, die weder Frauen noch Menschen mit Migrationshintergrund benachteiligen. Doch manches Datenmaterial ist einfach derart durchtränkt von verräterischen Merkmalen wie Wohngegend, Besuch einer reinen Mädchen-/Jungenschule et cetera – , dass sich die Datensätze nicht vernünftig neutralisieren lassen, ohne sie komplett zu entwerten.
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.
Von Andrea Trinkwalder in der Zeitschrift Neuronale Denkfehler (2018) im Text Irren ist künstlich

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconZeitleiste

icon21 Erwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.