/ en / Traditional / help

Beats Biblionetz - Texte

The Curse of Recursion

Training on Generated Data Makes Models Forget
Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)
Dieses Biblionetz-Objekt existiert erst seit Juni 2024. Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden. Somit kann es sein, dass diese Seite sehr lückenhaft ist.

iconZusammenfassungen

Stable Diffusion revolutionised image creation from descriptive text. GPT-2, GPT-3(.5) and GPT-4 demonstrated astonishing performance across a variety of language tasks. ChatGPT introduced such language models to the general public. It is now clear that large language models (LLMs) are here to stay, and will bring about drastic change in the whole ecosystem of online text and images. In this paper we consider what the future might hold. What will happen to GPT-{n} once LLMs contribute much of the language found online? We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear. We refer to this effect as model collapse1 and show that it can occur in Variational Autoencoders, Gaussian Mixture Models and LLMs. We build theoretical intuition behind the phenomenon and portray its ubiquity amongst all learned generative models. We demonstrate that it has to be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web. Indeed, the value of data collected about genuine human interactions with systems will be increasingly valuable in the presence of content generated by LLMs in data crawled from the Internet.
Von Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson im Text The Curse of Recursion (2023)

iconBemerkungen

Alles überall auf einmalUnd siehe da, es gibt auch den KI-Inzest, ein technisches Pendant. Eine Studie mit dem programmatischen Titel «Der Fluch der ewigen Wiederkehr» zeigt, dass KI-Modellen diese exponentielle Selbstverdauung nicht guttut. Sie kollabieren. Dieser Kollaps wird dadurch hervorgerufen, dass die Sprachmodelle im Verlauf der Zeit die Originaldaten unwiederbringlich vergessen, sodass die Modelle schlechter werden darin, gute und wirklichkeitsgetreue Inhalte zu produzieren, und immer mehr Fehler machen.
Von Miriam Meckel, Léa Steinacker im Buch Alles überall auf einmal (2024) im Text Zwischen Amnesie und Autonomie

iconDieser Text erwähnt ...


Personen
KB IB clear
Sandhini Agarwal , Dario Amodei , Amanda Askell , Christopher Berner , Tom B. Brown , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Kewal Dhariwal , Prafulla Dhariwal , Scott Gray , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , Jared Kaplan , Gretchen Krueger , Mateusz Litwin , Benjamin Mann , Sam McCandlish , Arvind Neelakantan , OpenAI , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Pranav Shyam , Eric Sigler , Melanie Subbiah , Ilya Sutskever , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler

Begriffe
KB IB clear
Chat-GPT , Datendata , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 3 (GPT-3) , Generative Pretrained Transformer 4 (GPT-4) , GPT-2 , Internetinternet , Model Autophagy Disorder (MAD)
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
2020 local web  Language Models are Few-Shot Learners (Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Kewal Dhariwal, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei) 1, 2, 4, 6, 8, 7, 6, 3, 2, 8, 2, 8 33 4 8 132
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
2023 local web  GPT-4 Technical Report (OpenAI) 18 15 0 0

iconDieser Text erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZitationsgraph (Beta-Test mit vis.js)

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconVolltext dieses Dokuments

Auf dem WWW The Curse of Recursion: Artikel als Volltext (lokal: PDF, 2299 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser Text

Beat hat Dieser Text erst in den letzten 6 Monaten in Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.