model collapse / Model Autophagy Disorder (MAD)
Synonyme
Model Autophagy Disorder, MAD, model collapse
Definitionen
Model collapse is a degenerative
process affecting generations of learned generative models, in which
the data they generate end up polluting the training set of the next
generation. Being trained on polluted data, they then mis-perceive
reality. The process is depicted in Fig. 1a. We separate two special cases:
early model collapse and late model collapse. In early model collapse,
the model begins losing information about the tails of the distribution;
in late model collapse, the model converges to a distribution that
carries little resemblance to the original one, often with substantially
reduced variance.
Von Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal im Text AI models collapse when trained on recursively generated data (2024)
Bemerkungen
Und siehe da, es gibt auch den KI-Inzest, ein technisches Pendant. Eine
Studie mit dem programmatischen Titel «Der Fluch der ewigen Wiederkehr»
zeigt, dass KI-Modellen diese exponentielle Selbstverdauung nicht guttut.
Sie kollabieren. Dieser Kollaps wird dadurch hervorgerufen, dass die
Sprachmodelle im Verlauf der Zeit die Originaldaten unwiederbringlich
vergessen, sodass die Modelle schlechter werden darin, gute und
wirklichkeitsgetreue Inhalte zu produzieren, und immer mehr Fehler machen.
Ein Gedankenexperiment zur Erklärung des Phänomens model collapse: Wir sperren Menschen für Jahrhunderte in eine Höhle und sie können sich das Weltwissen von Generation zu Generation nur noch weitererzählen, haben aber keinen Kontakt zur Welt draussen. Da wird verständlich, dass das Weltwissen mit der Zeit abnehmen dürfte. Beim model collapse ist dies nicht so drastisch, weil die Modelle ja eine Mischung aus "Daten aus erster Hand" und bereits generierter Daten erhalten.
Aber was, wenn KI aus Daten
lernt, die Halluzinationen beinhalten?
Nicolas Papernot von der Universität
von Toronto, Kanada, hat gemeinsam
mit anderen Forschern untersucht, was
passiert, wenn KI von KI lernt. KI mit
KI-generierten Daten zu trainieren, sei
ein bisschen wie Fotokopien von Fotokopien
machen, sagt er. Man entferne
sich immer weiter vom Original.
Er erklärt: «Stellen Sie sich vor, Sie
bauen eine KI, die Bilder von Katzen
generiert. Sie trainieren sie mit 100 Katzenbildern,
davon sind zehn Katzen
blau und 90 gelb. Wenn diese KI Katzenbilder
generiert, werden die blauen
Katzen gelblich aussehen, weil in den
Übungsdaten viel mehr gelbe Katzen
vorkommen. Wenn man aus diesen Katzenbildern
ein neues KI-Modell macht,
werden dessen blaue Katzen noch etwas
gelber sein. Wenn man so weitermacht,
wird die KI irgendwann gar keine blauen
Katzen mehr erzeugen.»
Papernot und seine Kollegen haben
diesen Moment den «Kollaps des KIModells
» getauft: den Punkt, ab dem
die KI so viele Details verloren hat, dass
ihre Erzeugnisse nicht mehr die Verteilungen
der Realität widerspiegeln. «Dieser
Effekt führt zu Ungenauigkeiten und
zu Diskriminierung von Minderheiten»,
sagt Papernot.
Von Ruth Fulterer im Text Erstickt künstliche Intelligenz an sich selbst? (2024)
Verwandte Objeke
![]() Verwandte Begriffe (co-word occurance) |
Häufig co-zitierte Personen
NicolasPapernot
YarinGal
YirenZhao
ZakharShumaylov
IliaShumailov
RossAnderson
LennartHeim
JaimeSevilla
TamayBesiroglu
MariusHobbhahn
PabloVillalobos
AnsonHo
TedChiang
ShmargaretShmitchell
AngelinaMcMillan-Major
SteffenAlbrecht
Emily M.Bender
OpenAI
TimnitGebru
Statistisches Begriffsnetz 
Vorträge von Beat mit Bezug
Zitationsgraph
Zitationsgraph (Beta-Test mit vis.js)
Zeitleiste
10 Erwähnungen 
- The Curse of Recursion - Training on Generated Data Makes Models Forget (Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson) (2023)
- Self-Consuming Generative Models Go MAD (Sina Alemohammad, Josue Casco-Rodriguez, Lorenzo Luzi, Ahmed Imtiaz Humayun, Hossein Babaei, Daniel LeJeune, Ali Siahkoohi, Richard G. Baraniuk) (2023)
- Künstliche Intelligenz, Large Language Models, ChatGPT und die Arbeitswelt der Zukunft (Michael Seemann) (2023)
- KI:Text - Diskurse über KI-Textgeneratoren (Gerhard Schreiber, Lukas Ohly) (2024)
- Alles überall auf einmal - Wie Künstliche Intelligenz unsere Welt verändert und was wir dabei gewinnen können (Miriam Meckel, Léa Steinacker) (2024)
- 6. Zwischen Amnesie und Autonomie - Wenn Bots mit Bots sprechen
- 6. Zwischen Amnesie und Autonomie - Wenn Bots mit Bots sprechen
- AI models collapse when trained on recursively generated data (Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal) (2024)

- Forschung & Lehre 9/24 (2024)
- Entwicklungspfade - Die Idee wissenschaftlicher Autorenschaft im Kontext technologischer und gesellschaftlicher Transformationsprozesse (Gary S. Schaal) (2024)
- Entwicklungspfade - Die Idee wissenschaftlicher Autorenschaft im Kontext technologischer und gesellschaftlicher Transformationsprozesse (Gary S. Schaal) (2024)
- Erstickt künstliche Intelligenz an sich selbst? (Ruth Fulterer) (2024)
- Handbuch Lernen mit digitalen Medien (3. Auflage) - Wege der Transformation (Gerold Brägger, Hans-Günter Rolff) (2025)
- 1. Generative Machine-Learning-Systeme - Die nächste Herausforderung des digitalen Leitmedienwechsels (Beat Döbeli Honegger) (2025)
- 1. Generative Machine-Learning-Systeme - Die nächste Herausforderung des digitalen Leitmedienwechsels (Beat Döbeli Honegger) (2025)
- The Collapse of GPT (Neil Savage) (2025)




Biblionetz-History