The Bitter LessonRich Sutton
Publikationsdatum:
  |
 |
Dieses Biblionetz-Objekt existiert erst seit März 2023. Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden. Somit kann es sein, dass diese Seite sehr lückenhaft ist.
Zusammenfassungen
Beim Fortschritt im Bereich KI schlägt das Mooresche Gesetz menschliches domänenspezifisches Wissen.The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
Von Rich Sutton im Text The Bitter Lesson (2019) Fortschritte in der KI entstanden immer durch massiv zunehmende Rechenleistung und damit der allgemeinen Lernfähigkeit von KI-Systemen und nicht dadurch, dass man versucht hat, den KI-Systemen das bisher bekannte, domänenspezifische Wissen einzuprogrammieren.
Bemerkungen
A common refrain in the era of ever-larger models is the Bitter Lesson (Sutton, 2019): “General
methods that leverage computation are ultimately the most effective, and by a large margin.” Under
this perspective, one may expect benefits from incorporating linguistic structure or expert-designed
inductive biases to be superseded by learning mechanisms operating on fewer, more general principles
if they have enough training data and model capacity. While the success of deep learning and
large language models may be taken as supporting evidence for the Bitter Lesson, we find that the
community has bought into the Lesson far less than it thinks it has.
Von Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman im Text What do NLP researchers believe? (2022) 
Dieses Blogposting erwähnt ...
AlphaGo
Computation (GPoC)
Computer
Künstliche Intelligenz (KI / AI)
Moore's law
Schach
Dieses Blogposting erwähnt vermutlich nicht ... 
Nicht erwähnte Begriffe | Automation (GPoC), Communication (GPoC), Coordination (GPoC), Intelligenz, Recollection (GPoC) |
4 Vorträge von Beat mit Bezug
- KVreform GPT
,
- ChatGPT & Co.: Klares und Unklares
Institutskonferenz F&E PH FHNW, 20.03.2023
- Schule, Digitalisierung und die Rolle der Informatik
Landesinformatiktag Hamburg und Schleswig-Holstein, 25.03.2023
- ChatGPT - der iPhone-Moment des maschinellen Lernens
AG Fremdsprachen Kammer PH swissuniversities, 25.05.2023
Zitationsgraph
5 Erwähnungen
- The Atlas of AI (Kate Crawford) (2021)
- Data, Knowledge, and Computation (Christian Igel) (2021)
- What do NLP researchers believe? (Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman) (2022)
- Skalierungshypothese vs. Neurosymbolik - Welche nächsten Schritte muss die KI-Forschung gehen? (Pina Merkert, Philipp Bongartz) (2022)
- AlphaCode and «data-driven» programming - Is ignoring everything that is known about code the best way to write programs? (J. Zico Kolter) (2022)
Volltext dieses Dokuments
| The Bitter Lesson: Artikel als Volltext (:  , 80 kByte; :  ) |
Anderswo suchen
Beat und dieses Blogposting
Beat hat Dieses Blogposting erst in den letzten 6 Monaten in Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Beat hat Dieses Blogposting auch schon in Vorträgen erwähnt.
Biblionetz-History 