Generative AI Can Harm LearningHamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman
Publikationsdatum:
|
|
Dieses Biblionetz-Objekt existiert erst seit Juli 2024.
Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden.
Somit kann es sein, dass diese Seite sehr lückenhaft ist.
Zusammenfassungen
Generative artificial intelligence (AI) is poised to revolutionize how humans work, and has already demonstrated promise in significantly improving human productivity. However, a key remaining question is how generative AI affects learning, namely, how humans acquire new skills as they perform tasks. This kind of skill learning is critical to long-term productivity gains, especially in domains where generative AI is fallible and human experts must check its outputs. We study the impact of generative AI, specifically OpenAI's GPT-4, on human learning in the context of math classes at a high school. In a field experiment involving nearly a thousand students, we have deployed and evaluated two GPT based tutors, one that mimics a standard ChatGPT interface (called GPT Base) and one with prompts designed to safeguard learning (called GPT Tutor). These tutors comprise about 15% of the curriculum in each of three grades. Consistent with prior work, our results show that access to GPT-4 significantly improves performance (48% improvement for GPT Base and 127% for GPT Tutor). However, we additionally find that when access is subsequently taken away, students actually perform worse than those who never had access (17% reduction for GPT Base). That is, access to GPT-4 can harm educational outcomes. These negative learning effects are largely mitigated by the safeguards included in GPT Tutor. Our results suggest that students attempt to use GPT-4 as a "crutch" during practice problem sessions, and when successful, perform worse on their own. Thus, to maintain long-term productivity, we must be cautious when deploying generative AI to ensure humans continue to learn critical skills.
Von Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman im Text Generative AI Can Harm Learning (2024) Bemerkungen
Diese Studie scheint mir aus mindestens drei Gründen nicht sehr aussagekräftig zu sein:
- Treatment time: Die Schülerinnen und Schüler hatten vier Sitzungen à je 90 Minuten in dieser Studie, darin enthalten aber auch je eine Prüfung am Schluss jeder Sitzung, so dass sie sich vermutlich maximal 60 Minuten pro Sitzung mit dem für sie neuen Werkzeug auseinandersetzen konnten.
- Fehlende ICT-Erfahrung: Die Schülerinnen und Schülr scheinen ausserhalb der Studie keine 1:1-Ausstattung zu (auf Seite 24 steht, dass 52 Laptops gekauft wurden für die Studie, um eine 1:1-Ausstattung zu ermöglichen). Ihnen fehlt somit die Alltagserfahrung in einem 1:1-Setting, was die Gefahr birgt, dass bereits dieser Neuigkeitseffekt die Studienergebnisse beeinflusst.
- Mathematik als Thema: Es ist nichts darüber bekannt, ob die Schülerinnen und Schüler wissen, wie man in einem Textinterface ohne Formatierungsmöglichkeiten mathematische Symbole und Zusammenhänge (z.B. Brüche) schreiben kann. Auch dies ist wieder ein Novitätseffekt, der nach einer gewissen Nutzungszeit verschwinden dürfte. Zudem wurden die Fähigkeiten von ChatGPT insbesondere im mathematisch-logischen Bereich in der Vergangenheit immer wieder kritisiert - es ist somit bemerkenswert, dass ausgerechnet dieses Fach für die Studie ausgewählt worden ist.
Vor 25 Jahren hat man ähnliche Studien gemacht: Schülerinnen und Schüler, die noch nie zuvor eine Suchmaschine benutzt hatten, durften in einer Studie neu mit Suchmaschinen arbeiten. Hat das etwas darüber ausgesagt, wie sich die Nutzung von Suchmaschinen längerfristig im Schulbereich auswirken würde? In meiner Wahrnehmung wiederholt sich das grad mit generativen Machine-Learning-Systemen.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 23.07.2024Dieser wissenschaftliche Zeitschriftenartikel erwähnt ...
Dieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ...
Nicht erwähnte Begriffe | Eltern, Generative Pretrained Transformer 3 (GPT-3), GMLS & Hochschule, Intelligenz, Primarschule (1-6) / Grundschule (1-4), Schweiz, Textgeneratoren-Verbot |
Tagcloud
Volltext dieses Dokuments
Generative AI Can Harm Learning: Artikel als Volltext (: , 913 kByte; : ) |
Anderswo suchen
Beat und dieser wissenschaftliche Zeitschriftenartikel
Beat hat Dieser wissenschaftliche Zeitschriftenartikel erst in den letzten 6 Monaten in Biblionetz aufgenommen. Er hat Dieser wissenschaftliche Zeitschriftenartikel einmalig erfasst und bisher nicht mehr bearbeitet. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.