/ en / Traditional / help

Beats Biblionetz - Texte

What do NLP researchers believe?

Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)

iconZusammenfassungen

We present the results of the NLP Community Metasurvey. Run from May to June 2022, the survey elicited opinions on controversial issues, including industry influence in the field, concerns about AGI, and ethics. Our results put concrete numbers to several controversies: For example, respondents are split almost exactly in half on questions about the importance of artificial general intelligence, whether language models understand language, and the necessity of linguistic structure and inductive bias for solving NLP problems. In addition, the survey posed metaquestions, asking respondents to predict the distribution of survey responses. This allows us not only to gain insight on the spectrum of beliefs held by NLP researchers, but also to uncover false sociological beliefs where the community’s predictions don’t match reality. We find such mismatches on a wide range of issues. Among other results, the community greatly overestimates its own belief in the usefulness of benchmarks and the potential for scaling to solve real-world problems, while underestimating its own belief in the importance of linguistic structure, inductive bias, and interdisciplinary science.
Von Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman im Text What do NLP researchers believe? (2022)

iconDieser Text erwähnt ...


Personen
KB IB clear
Sandhini Agarwal , Dario Amodei , Amanda Askell , Emily M. Bender , Christopher Berner , Tom B. Brown , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Kewal Dhariwal , Prafulla Dhariwal , Timnit Gebru , Scott Gray , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , John P. A. Ioannidis , Jared Kaplan , Gretchen Krueger , Mateusz Litwin , Benjamin Mann , Sam McCandlish , Angelina McMillan-Major , Arvind Neelakantan , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Shmargaret Shmitchell , Pranav Shyam , Eric Sigler , Melanie Subbiah , Ilya Sutskever , Rich Sutton , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler

Aussagen
KB IB clear
Allgemeine künstliche Intelligenz (AGI) könnte zu einem Weltuntergang führen
Machine Learning kann bestehende Vorurteile/Ungerechtigkeiten verstärken/weitertragen

Begriffe
KB IB clear
AGI , deep learning , Ethikethics , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 3 (GPT-3) , Künstliche Intelligenz (KI / AI)artificial intelligence , Linguistiklinguistics , machine learning , Prognose , Sprachelanguage , Wissenschaftscience
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
2020 local web  Language Models are Few-Shot Learners (Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Kewal Dhariwal, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei) 2, 1, 2, 4, 6, 8, 7, 6, 3, 2, 8, 2 3042124
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
2005 local web  Why Most Published Research Findings Are False (John P. A. Ioannidis) 1, 1, 3, 5, 3, 6, 7, 1, 1, 1, 3, 2 6102400
2019 local web  The Bitter Lesson (Rich Sutton) 211000
2021 local web  On the Dangers of Stochastic Parrots (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell) 3, 6, 1, 6, 2, 7, 12, 8, 3, 2, 9, 5 38245133

iconDieser Text erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconVolltext dieses Dokuments

Auf dem WWW What do NLP researchers believe?: Artikel als Volltext (lokal: PDF, 999 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser Text

Beat hat Dieser Text während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.