/ en / Traditional / help

Beats Biblionetz - Texte

The Bitter Lesson

Rich Sutton
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)
Dieses Biblionetz-Objekt existiert erst seit März 2023. Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden. Somit kann es sein, dass diese Seite sehr lückenhaft ist.

iconZusammenfassungen

Beat Döbeli HoneggerBeim Fortschritt im Bereich KI schlägt das Mooresche Gesetz menschliches domänenspezifisches Wissen.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 04.03.2023
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
Von Rich Sutton im Text The Bitter Lesson (2019)
Beat Döbeli HoneggerFortschritte in der KI entstanden immer durch massiv zunehmende Rechenleistung und damit der allgemeinen Lernfähigkeit von KI-Systemen und nicht dadurch, dass man versucht hat, den KI-Systemen das bisher bekannte, domänenspezifische Wissen einzuprogrammieren.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 04.03.2023

iconBemerkungen

A common refrain in the era of ever-larger models is the Bitter Lesson (Sutton, 2019): “General methods that leverage computation are ultimately the most effective, and by a large margin.” Under this perspective, one may expect benefits from incorporating linguistic structure or expert-designed inductive biases to be superseded by learning mechanisms operating on fewer, more general principles if they have enough training data and model capacity. While the success of deep learning and large language models may be taken as supporting evidence for the Bitter Lesson, we find that the community has bought into the Lesson far less than it thinks it has.
Von Julian Michael, Ari Holtzman, Alicia Parrish, Aaron Mueller, Alex Wang, Angelica Chen, Divyam Madaan, Nikita Nangia, Richard Yuanzhe Pang, Jason Phang, Samuel R. Bowman im Text What do NLP researchers believe? (2022)

iconDieses Blogposting erwähnt ...

iconDieses Blogposting erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconVorträge von Beat mit Bezug

  • KVreform GPT

    ,
  • ChatGPT & Co.: Klares und Unklares

    Institutskonferenz F&E PH FHNW, 20.03.2023
  • Schule, Digitalisierung und die Rolle der Informatik

    Landesinformatiktag Hamburg und Schleswig-Holstein, 25.03.2023
  • ChatGPT - der iPhone-Moment des maschinellen Lernens

    AG Fremdsprachen Kammer PH swissuniversities, 25.05.2023

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconVolltext dieses Dokuments

Auf dem WWW The Bitter Lesson: Artikel als Volltext (lokal: PDF, 80 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieses Blogposting

Beat hat Dieses Blogposting erst in den letzten 6 Monaten in Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Beat hat Dieses Blogposting auch schon in Vorträgen erwähnt.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.