/ en / Traditional / help

Beats Biblionetz - Texte

Generative AI Can Harm Learning

Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)
Dieses Biblionetz-Objekt existiert erst seit Juli 2024. Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden. Somit kann es sein, dass diese Seite sehr lückenhaft ist.

iconZusammenfassungen

Generative artificial intelligence (AI) is poised to revolutionize how humans work, and has already demonstrated promise in significantly improving human productivity. However, a key remaining question is how generative AI affects learning, namely, how humans acquire new skills as they perform tasks. This kind of skill learning is critical to long-term productivity gains, especially in domains where generative AI is fallible and human experts must check its outputs. We study the impact of generative AI, specifically OpenAI's GPT-4, on human learning in the context of math classes at a high school. In a field experiment involving nearly a thousand students, we have deployed and evaluated two GPT based tutors, one that mimics a standard ChatGPT interface (called GPT Base) and one with prompts designed to safeguard learning (called GPT Tutor). These tutors comprise about 15% of the curriculum in each of three grades. Consistent with prior work, our results show that access to GPT-4 significantly improves performance (48% improvement for GPT Base and 127% for GPT Tutor). However, we additionally find that when access is subsequently taken away, students actually perform worse than those who never had access (17% reduction for GPT Base). That is, access to GPT-4 can harm educational outcomes. These negative learning effects are largely mitigated by the safeguards included in GPT Tutor. Our results suggest that students attempt to use GPT-4 as a "crutch" during practice problem sessions, and when successful, perform worse on their own. Thus, to maintain long-term productivity, we must be cautious when deploying generative AI to ensure humans continue to learn critical skills.
Von Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman im Text Generative AI Can Harm Learning (2024)

iconBemerkungen

Beat Döbeli Honegger

Diese Studie scheint mir aus mindestens drei Gründen nicht sehr aussagekräftig zu sein:

  1. Treatment time: Die Schülerinnen und Schüler hatten vier Sitzungen à je 90 Minuten in dieser Studie, darin enthalten aber auch je eine Prüfung am Schluss jeder Sitzung, so dass sie sich vermutlich maximal 60 Minuten pro Sitzung mit dem für sie neuen Werkzeug auseinandersetzen konnten.
  2. Fehlende ICT-Erfahrung: Die Schülerinnen und Schülr scheinen ausserhalb der Studie keine 1:1-Ausstattung zu (auf Seite 24 steht, dass 52 Laptops gekauft wurden für die Studie, um eine 1:1-Ausstattung zu ermöglichen). Ihnen fehlt somit die Alltagserfahrung in einem 1:1-Setting, was die Gefahr birgt, dass bereits dieser Neuigkeitseffekt die Studienergebnisse beeinflusst.
  3. Mathematik als Thema: Es ist nichts darüber bekannt, ob die Schülerinnen und Schüler wissen, wie man in einem Textinterface ohne Formatierungsmöglichkeiten mathematische Symbole und Zusammenhänge (z.B. Brüche) schreiben kann. Auch dies ist wieder ein Novitätseffekt, der nach einer gewissen Nutzungszeit verschwinden dürfte. Zudem wurden die Fähigkeiten von ChatGPT insbesondere im mathematisch-logischen Bereich in der Vergangenheit immer wieder kritisiert - es ist somit bemerkenswert, dass ausgerechnet dieses Fach für die Studie ausgewählt worden ist.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 23.07.2024
Beat Döbeli HoneggerVor 25 Jahren hat man ähnliche Studien gemacht: Schülerinnen und Schüler, die noch nie zuvor eine Suchmaschine benutzt hatten, durften in einer Studie neu mit Suchmaschinen arbeiten. Hat das etwas darüber ausgesagt, wie sich die Nutzung von Suchmaschinen längerfristig im Schulbereich auswirken würde? In meiner Wahrnehmung wiederholt sich das grad mit generativen Machine-Learning-Systemen.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 23.07.2024

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt ...


Begriffe
KB IB clear
Bildungeducation (Bildung) , Chat-GPT , Digitalisierung , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 4 (GPT-4) , GMLS & Bildung , GMLS & Schule , Kinderchildren , Künstliche Intelligenz (KI / AI)artificial intelligence , LehrerInteacher , Lernenlearning , Mathematikmathematics , Schuleschool , Unterricht

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconVolltext dieses Dokuments

Auf dem WWW Generative AI Can Harm Learning: Artikel als Volltext (lokal: PDF, 913 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser wissenschaftliche Zeitschriftenartikel

Beat hat Dieser wissenschaftliche Zeitschriftenartikel erst in den letzten 6 Monaten in Biblionetz aufgenommen. Er hat Dieser wissenschaftliche Zeitschriftenartikel einmalig erfasst und bisher nicht mehr bearbeitet. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.