/ en / Traditional / help

Beats Biblionetz - Texte

On the Dangers of Stochastic Parrots

Can Language Models Be Too Big?
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell
Erstpublikation in: FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency
Publikationsdatum:
local web 
Erste Seite des Textes (PDF-Thumbnail)

iconZusammenfassungen

Digital WarriorsIn ihrem Papier warnen die Forscherinnen vor übermässigem Enthusiasmus und nennen diverse Risiken, die man in Bezug auf «large language models» unbedingt in den Griff kriegen müsse. Dazu gehören unter anderem ein hoher Energie­verbrauch und dessen Folgen für die Umwelt, sexistische oder rassistische Textmuster, die sich durch die Trainings­daten in die Technologie schleichen können und dann reproduziert werden; aber auch die Gefahr von missbräuchlicher Anwendung; beispielsweise im Herstellen von Falsch­informationen.
Von Roberta Fischli in der Textsammlung Digital Warriors im Text Rassistische Software (2022)
The past few years, ever since processing capacity caught up with neural models, have been heady times in the world of NLP. Neural approaches in general, and large, Transformer LMs in particular, have rapidly overtaken the leaderboards on a wide variety of benchmarks and once again the adage “there’s no data like more data” seems to be true. It may seem like progress in the field, in fact, depends on the creation of ever larger language models (and research into how to deploy them to various ends). In this paper, we have invited readers to take a step back and ask: Are ever larger LMs inevitable or necessary? What costs are associated with this research direction and what should we consider before pursuing it? Do the field of NLP or the public that it serves in fact need larger LMs? If so, how can we pursue this research direction while mitigating its associated risks? If not, what do we need instead?
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)
The past 3 years of work in NLP have been characterized by the development and deployment of ever larger language models, especially for English. BERT, its variants, GPT-2/3, and others, most recently Switch-C, have pushed the boundaries of the possible both through architectural innovations and through sheer size. Using these pretrained models and the methodology of fine-tuning them for specific tasks, researchers have extended the state of the art on a wide array of tasks as measured by leaderboards on specific benchmarks for English. In this paper, we take a step back and ask: How big is too big? What are the possible risks associated with this technology and what paths are available for mitigating those risks? We provide recommendations including weighing the environmental and financial costs first, investing resources into curating and carefully documenting datasets rather than ingesting everything on the web, carrying out pre-development exercises evaluating how the planned approach fits into research and development goals and supports stakeholder values, and encouraging research directions beyond ever larger language models.
Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)

iconBemerkungen

“On the Dangers of Stochastic Parrots” is not a write-up of original research. It’s a synthesis of LLM critiques that Bender and othershave made: of the biases encoded in the models; the near impossibility of studying what’s in the training data, given the fact they cancontain billions of words; the costs to the climate; the problems with building technology that freezes language in time and thus locksin the problems of the past. Google initially approved the paper, a requirement for publications by staff . Then it rescinded approvaland told the Google co-authors to take their names off it. Several did, but Google AI ethicist Timnit Gebru refused. Her colleague (andBender’s former student) Margaret Mitchell changed her name on the paper to Shmargaret Shmitchell, a move intended, she said, to“index an event and a group of authors who got erased.” Gebru lost her job in December 2020, Mitchell in February 2021. Both womenbelieve this was retaliation and brought their stories to the press. The stochastic-parrot paper went viral, at least by academicstandards. The phrase stochastic parrot entered the tech lexicon.
Von Elizabeth Weil im Text You Are Not a Parrot (2023)

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt ...


Personen
KB IB clear 		Sandhini Agarwal , Dario Amodei , Amanda Askell , Christopher Berner , Tom B. Brown , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Kewal Dhariwal , Prafulla Dhariwal , Aidan N. Gomez , Scott Gray , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , Geoffrey Hinton , Llion Jones , Lukasz Kaiser , Jared Kaplan , Gretchen Krueger , Mateusz Litwin , Benjamin Mann , Sam McCandlish , Arvind Neelakantan , Safiya Umoja Noble , Niki Parmar , Illia Polosukhin , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Claude Shannon , Noam Shazeer , Pranav Shyam , Eric Sigler , Melanie Subbiah , Ilya Sutskever , Jakob Uszkoreit , Ashish Vaswani , Warren Weaver , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler

Aussagen
KB IB clear 		Generative Machine-Learning-Systeme erleichtern das Generieren von Bullshit
Generative Machine-Learning-Systeme erleichtern das Generieren von Fake-News massiv
Machine learning benötigt Daten
Machine Learning kann bestehende Vorurteile/Ungerechtigkeiten verstärken/weitertragen

Begriffe
KB IB clear 		automation bias , bias , CO2-Fussabdruck , ContentContent , Datendata , deep learning , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 3 (GPT-3) , GPT-2 , Green ITGreen IT , Internetinternet , Rückkopplung / Regelkreisfeedback loop , Sprachelanguage , Twitter , Wikipedia
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
1948 local  Mathematical Theory of Communication (Claude Shannon, Warren Weaver) 8, 6, 13, 2, 10, 7, 8, 4, 5, 10, 7, 4 93 4 4 3341
2018 local  Algorithms of Oppression (Safiya Umoja Noble) 4, 2, 10, 3, 5, 3, 4, 3, 4, 5, 6, 9 24 26 9 427
2020 local web  Language Models are Few-Shot Learners (Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Kewal Dhariwal, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei) 3, 2, 8, 2, 8, 5, 6, 4, 6, 7, 4, 3 41 5 3 167
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
2023 local web  Attention Is All You Need (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin) 6 28 6 6 6

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

icon
Nicht erwähnte Begriffe
Chat-GPT, facebook, Generative Pretrained Transformer 4 (GPT-4), GMLS & Bildung, Negative Rückkoppelung, Positive Rückkoppelung / Teufelskreis

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZitationsgraph (Beta-Test mit vis.js)

iconZeitleiste

icon49 Erwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo finden

icon

iconVolltext dieses Dokuments

Auf dem WWW On the Dangers of Stochastic Parrots: Artikel als Volltext (lokal: PDF, 265 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

Suchen im Biblionetz mit Google
Google Scholar
Google
Amazon

iconBeat und dieser wissenschaftliche Zeitschriftenartikel

Beat hat Dieser wissenschaftliche Zeitschriftenartikel während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es wird häufig von anderen Objekten im Biblionetz zitiert.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.