The Bitter LessonRich Sutton
Publikationsdatum:
|
![]() |

Zusammenfassungen

The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
Von Rich Sutton im Text The Bitter Lesson (2019) 
Bemerkungen
A common refrain in the era of ever-larger models is the Bitter Lesson (Sutton, 2019): “General
methods that leverage computation are ultimately the most effective, and by a large margin.” Under
this perspective, one may expect benefits from incorporating linguistic structure or expert-designed
inductive biases to be superseded by learning mechanisms operating on fewer, more general principles
if they have enough training data and model capacity. While the success of deep learning and
large language models may be taken as supporting evidence for the Bitter Lesson, we find that the
community has bought into the Lesson far less than it thinks it has.
Von Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman im Text What do NLP researchers believe? (2022)
Dieses Blogposting erwähnt ...
Dieses Blogposting erwähnt vermutlich nicht ... 
![]() Nicht erwähnte Begriffe | Automation (GPoC), Communication (GPoC), Coordination (GPoC), Intelligenz, Recollection (GPoC) |
4 Vorträge von Beat mit Bezug
- KVreform GPT
, - ChatGPT & Co.: Klares und Unklares
Institutskonferenz F&E PH FHNW, 20.03.2023 - Schule, Digitalisierung und die Rolle der Informatik
Landesinformatiktag Hamburg und Schleswig-Holstein, 25.03.2023 - ChatGPT - der iPhone-Moment des maschinellen Lernens
AG Fremdsprachen Kammer PH swissuniversities, 25.05.2023
Zitationsgraph
5 Erwähnungen 
- The Atlas of AI (Kate Crawford) (2021)
- Data, Knowledge, and Computation (Christian Igel) (2021)
- What do NLP researchers believe? (Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman) (2022)
- Skalierungshypothese vs. Neurosymbolik - Welche nächsten Schritte muss die KI-Forschung gehen? (Pina Merkert, Philipp Bongartz) (2022)
- AlphaCode and «data-driven» programming - Is ignoring everything that is known about code the best way to write programs? (J. Zico Kolter) (2022)
Volltext dieses Dokuments
![]() | ![]() ![]() ![]() ![]() ![]() |
Anderswo suchen 
Beat und dieses Blogposting
Beat hat Dieses Blogposting erst in den letzten 6 Monaten in Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Beat hat Dieses Blogposting auch schon in Vorträgen erwähnt.