computergenerierte Texte / large language model

Diese Grafik fensterfüllend anzeigen (SVG)

computergeneriertes Schreiben, Schreiben durch Computer, computergenerierte Texte, Schreibroboter, Textbots, computational journalism, machine written news, automated journalism, natural language generation, NLG, large language model, LLM

Similar to [14], we understand the term language model (LM) to refer to systems which are trained on string prediction tasks: that is, predicting the likelihood of a token (character, word or string) given either its preceding context or (in bidirectional and masked LMs) its surrounding context. Such systems are unsupervised and when deployed, take a text as input, commonly outputting scores or string predictions.

Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)

KI-gestütztes Schreiben beschreibt einen Schreibprozess, der durch eine KI-basierte Software in unterschiedlichen Phasen des Schreibprozesses und mit unterschiedlicher Intensität und Funktionalität unterstützt wird. Er gliedert sich in die beiden Teilbereiche KI-gestützte Textbearbeitung und KI-gestützte Textgenerierung. Die primären Zielsetzungen des KI-gestützten Schreibens sind die effizientere Bearbeitung vorhandener Texte oder das automatisierte Generieren neuer Textsequenzen.

Von Doris Weßels, Ole Gottschalk im Text Hochschullehre unter dem Einfluss des KI-gestützten Schreibens (2022)

Eine andere Ausprägung des Narrative-Science-Systems, bei dem die Firma auch schon Konkurrenten hat, ist die Generierung der verpflichtenden Quartalsberichte für börsennotierte Unternehmen. Diese Berichte werden meist ohnehin nur von ein paar Dutzend Investmentanalysten gelesen und ausgewertet – und von Börsen-Handelsalgorithmen. Das Prinzip der Berichtgenerierung bleibt gleich: Aktuelle Geschäftszahlen, die aus der Unternehmenssoftware extrahiert worden sind, werden mit denen aus den vergangenen Quartalen, Zahlenwerken über die Situation in den verschiedenen Absatzmärkten und weiteren relevanten Daten zum Faktengrundgerüst für den Bericht zusammengestellt.
Die Berichtgenerierungssoftware erzeugt dann daraus nach den gleichen Methoden wie bei der automatischen Sportberichterstattung einen Fließtext, wenn gewünscht mit Tabellen, der sich nicht ohne weiteres von solchen unterscheiden läßt, die von Menschen geschrieben wurden. Bei Quartalsberichten sind die teilweise gesetzlich vorgeschriebenen Inhalte und die daraus abgeleitete Struktur ohnehin noch mal ähnlicher und wiederkehrender als bei Sportberichten. Niemand erwartet hier literarische Höchstleistungen. Im Gegenteil: Die Algorithmen auf der anderen Seite, die zur Auswertung solcher Quartalsberichte geschrieben wurden, funktionieren besser, wenn weitgehend auf sprachliche Dekorationen verzichtet wird.

Von Constanze Kurz, Frank Rieger im Buch Arbeitsfrei (2013) im Text Die Automatisierung des Geistes

Auch menschliche Kreativität, die bisher als nicht oder nur begrenzt durch Algorithmen ersetzbar galt, ist in einigen Bereichen weitaus weniger unersetzbar als angenommen. Ein drastisches Beispiel hierfür liefert die Firma Narrative Sciences, die es sich zum Ziel gesetzt hat, ihre Software Geschichten erzählen zu lassen. Wie es sich für ein gewinnorientiertes Start-up gehört, geht es dabei nicht um Märchen oder Sagen, sondern um Quartalsberichte von Unternehmen und – durchaus beeindruckend – um Sportberichterstattung.
Durch Analyse von Millionen von Zeitungsartikeln über in den USA beliebte Sportarten wie Baseball oder Basketball, die mit den über jedes Spiel erfaßten Daten über Spielaktionen, Ballbesitz, Tore, statistische Auffälligkeiten und Rekorde und so weiter verglichen wurden, lernten die Systeme von Narrative Science, wie Menschen über ein Spiel schreiben. Typische Phrasen und Wortverbindungen der Sportberichterstattung für die jeweiligen Situationen wurden extrahiert und in einer Datenbank gespeichert. Ergibt sich aus den Daten des Spiels, über das die Software gerade einen Bericht schreibt, eine ähnliche Situation, werden die dazugehörigen Satzbestandteile zur Beschreibung herausgesucht.
Aus dem Kontext der Daten und daraus, wann in der von der Software belieferten Zeitung diese Satzbausteine zuletzt verwendet wurden – man will schließlich keine zu auffälligen Wiederholungen von Formulierungen –, und weiteren Modulen, die unter anderem auf korrekten Satzbau und Grammatik achten, ergeben sich letztendlich die fertigen Sätze und Absätze eines Artikels. Die nackten, formalisierten Daten werden zu einer Geschichte, wie sie ein Mensch erzählen würde.

Von Constanze Kurz, Frank Rieger im Buch Arbeitsfrei (2013) im Text Die Automatisierung des Geistes

Etwas polemisch könnte man festhalten, dass Algorithmen nur Schreibaufgaben unterminieren, die an sich schon problematisch sind.

Von Philippe Wampfler im Text Grundlagenartikel: Umgang mit KI-Programmen im Schreibunterricht (2022)

Plagiarism software will not detect essays written by Transformers, because the text is generated, not copied. A Google search of the essay shows that each sentence is original.

Von Mike Sharples im Text New AI tools that can write student essays require educators to rethink teaching and assessment (2022)

Ich sehe keinen grossen Wert in einer Maschine, die synthetischen Text erzeugt. Und leider kommen gerade jede Menge richtig schlechter Ideen auf, wofür man Chat-GPT einsetzen könnte.

Von Emily M. Bender im Text «Ein Chatbot kann nicht logisch denken» (2023)

Algorithmen schreiben schneller und billiger als Menschen. Ihr Hauptvorteil ist jedoch: Sie können ihre Texte dynamisch an die Leser anpassen. Den Online-Handel wird das schneller verändern als den Journalismus.

Von Klappentext in der Zeitschrift Trends 2017 (2017) im Text Den Unterschied merkt man nicht

Die Frage ist, welche implikationen es für die Kultur und die Öffentlichkeit insgesamt hat, wenn künftig ganze alben oder Self-Publishing-Programme mit computergenerierten Werken bestückt werden. Wird Kultur vorhersehbarer, berechenbarer und möglicherweise auch gefälliger?

Von Adrian Lobe im Text Gefangen in der Feedback-Schleife (2023)

KI-Systeme und Sprachmodelle im Besonderen werden von Menschen programmiert. Und die implementieren nicht nur mathematische, sondern auch soziale Werte. ChatGPT ist schon jetzt eine Storytelling-Maschine, die es mit der Diskursmacht von Disney oder Hollywood aufnehmen könnte. Die Frage, wie dieses Computersystem lernt, hat daher auch gesellschaftspolitische Relevanz.

Von Adrian Lobe im Text Geschichten von morgen (2023)

So wie kein Autor unter seinen Text schreibt: „Dieser Artikel wurde mit Word 16.66.1 geschrieben und mit dessen Rechtschreibkorrektur überprüft“, ergibt es in Zukunft keinen Sinn, alle KI-Tools aufzulisten, die bei der Recherche und Formulierung geholfen haben. Wichtiger ist es, dass immer ein Autor für den Inhalt eines Textes geradesteht und verantwortlich gemacht werden kann.

Von Hartmut Gieselmann in der Zeitschrift Der universelle Texter (2023) im Text Wer soll das alles lesen?

You should be worried. GPT-3 and programs like it are starting to take over routine writing tasks like composing blogs and writing news stories. They are good at summarizing magazine articles and academic papers. They can write convincing poetry. The computer games industry is adopting these programs to offer lifelike characters, with personalities and emotions, who can engage in deep conversation with players.

Von Mike Sharples, Rafael Perez Y Pérez im Buch Story Machines (2022) im Text Can a computer write a story?

Auch in der Schweiz schreiben erste Roboter Texte selbst, allerdings keine Meinungsbeiträge, sondern nur standardisierte Textsorten, für die keine speziellen Kenntnisse oder Erfahrungen nötig sind. So wird bei 'CH Media' automatisiert von einem Textgenerator über sämtliche regionalen Fussballspiele berichtet. Dort kommt zur Generierung der Texte die Textengine Arria NLG zum Einsatz, wie der Entwickler 'Persönlich' erklärte.

Von Marcel Gamma im Text Schrieb eine KI eine geistreiche Abhandlung selbst? (2020)

As argued by Bender and Koller [14], it is important to understand the limitations of LMs and put their success in context. This not only helps reduce hype which can mislead the public and researchers themselves regarding the capabilities of these LMs, but might encourage new research directions that do not necessarily depend on having larger LMs. As we discuss in §5, LMs are not performing natural language understanding (NLU), and only have success in tasks that can be approached by manipulating linguistic form [14].

Von Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell im Text On the Dangers of Stochastic Parrots (2021)

Die Arbeitsweise der Algorithmen, ihre Heranziehung von großen Mengen archivierter Artikel, um damit das Skelett der Daten mit Formulierungen zu umkleiden, die sie für den Menschen besser les- und verstehbar machen, eignet sich jedoch bei weitem nicht für alle Arten von Text. Sie wird gut funktionieren, wenn die zu beschreibenden Sachverhalte anhand von strukturierten Daten vorliegen, die »nur noch« in Prosa umgesetzt werden müssen. Andere Algorithmen sind jedoch zumindest in begrenztem Maße in der Lage, auch aus sogenanntem unstrukturiertem Text, also Nachrichtentickermeldungen oder Dokumenten, wohlfeile strukturierte Informationen zu extrahieren, die dann wiederum von anderen Algorithmen weitergenutzt werden können.

Von Constanze Kurz, Frank Rieger im Buch Arbeitsfrei (2013) im Text Die Automatisierung des Geistes

Das dritte Beispiel des computational journalism dürfte am deutlichsten machen, dass Computer anfangen, kognitive Leistungen für Menschen zu übernehmen. Mehrere Firmen verkaufen bereits erfolgreich computergenerierte Sport- und Börsenberichte an Zeitungen. Je mehr Daten zu einem Ereignis digital verfügbar sind, desto einfacher ist es für einen Computer, daraus einen Artikel zu formulieren, der von Menschen nicht als vom Computer geschrieben erkannt wird. In den USA eignet sich zum Beispiel Baseball sehr, da in einem solchen Spiel viele Daten anfallen, aus denen sich der Spielverlauf ablesen lässt. Im Finanzbereich wird das Verfassen von Jahresberichten börsennotierter Unternehmen immer heikler, da falsche Formulierungen juristische Konsequenzen haben könnten. Also wird auch diese Arbeit Computern übertragen, die aus den Geschäftsdaten einen trockenen Prosatext generieren. Computer schreiben erfolgreich Texte – damit verschiebt sich unaufhaltsam die Grenze dessen, was wir für automatisierbar halten.

Von Beat Döbeli Honegger im Buch Mehr als 0 und 1 (2016) im Text Warum die ganze Aufregung?

Bereits 2010 wurde die Anwendung Stats Monkey vorgestellt, die kurze Berichte zu Baseballspielen anfertigen kann. Alles, was das Programm dafür benötigt, sind umfassende Daten zu den Spielen, die mittlerweise routinemäßig erhoben und dank verbesserter algorithmischer Bilderkennung und neuer Sensoren immer detaillierter werden. Das Programm extrahiert aus den Daten die entscheidenden Momente und Akteure eines Spiels, erkennt charakteristische Muster im Spielverlauf (etwa “frühe Führung stetig ausgebaut”, “dramatische Aufholjagd” oder Ähnliches) und generiert darauf aufbauend eigene Berichte. Dabei kann eine Vielzahl von Variablen bestimmt werden, etwa ob ein Artikel aus der Perspektive eines neutralen Beobachters oder vom Standpunkt eines der beiden Teams geschrieben werden soll. Oder man kann, weil Eltern nicht gerne über die Fehler ihrer Kinder lesen, festlegen, dass vor allem die gelungenen Spielzüge hervorgehoben werden sollen, wenn es um Partien in der Schülerliga geht. Der Algorithmus wurde rasch patentiert, und aus dem ursprünglich interdisziplinären Forschungsprojekt wurde ein Start-up-Unternehmen: Narrative Science. Dieses bietet heute Texte aller Art an, neben Sport- vor allem auch Finanzberichterstattung, ebenfalls ein Feld, für das statistische Informationen in Fülle vorliegen. Diese Texte werden in renommierten Medien wie dem Wirtschaftsmagazin Forbes veröffentlicht und dort mit dem Autorenvermerk “narrative science” gekennzeichnet. Noch beschränken sich diese Beiträge auf relativ einfache Themen. Dabei soll es aber nicht bleiben. Auf die Frage, wie groß der Anteil algorithmisch verfasster Nachrichten in fünfzehn Jahren sein werde, antwortete Kristian Hammond, Technologiechef von Narrative Science und einer der Gründer des Unternehmens, 2012 selbstbewusst mit “neunzig Prozent” – und fügte gleich noch hinzu, dass ein Algorithmus schon in fünf Jahren zum ersten Mal den Pulitzer-Preis gewinnen werde.[195] Da wird einiges an Hype und Selbstmarketing mitschwingen, aber als generelle Einschätzung ist seine Aussage nicht unglaubwürdig.

Von Felix Stalder im Buch Kultur der Digitalität (2016) im Text Formen der Digitalität

Verwandte Begriffe
(co-word occurance)

Generative Pretrained Transformer 3 (GPT-3)(0.3),

Chat-GPT(0.29),

GPT-2(0.08),

Generative Pretrained Transformer 4 (GPT-4)(0.07),

DeepL(0.03)

Verwandte Aussagen

Computergenerierte Texte gefährden den Journalismus
Computergenerierte Texte erleichtern Plagiarismus bzw. entsprechenden Textbetrug.Computer-generated texts facilitate plagiarism / text fraud
Nutzung von Textgeneratoren wird bald wird bald so selbstverständlich wie die Nutzung eines Taschenrechners
Computergenerierte Texte erhöhen die Informationsflut
Textgeneratoren erleichtern das Generieren von Fake-News massiv
Textgeneratoren erleichtern das Generieren von Bullshit
Textgeneratoren erhöhen die Gültigkeit von Brandolinis Gesetz massiv
Large Language Models benötigen viel Energie

Doris
Weßels

Mike
Sharples

Philippe
Wampfler

Rewon
Child

Benjamin
Mann

Nick
Ryder

Melanie
Subbiah

Jared
Kaplan

Arvind
Neelakantan

Pranav
Shyam

Girish
Sastry

Amanda
Askell

Sandhini
Agarwal

Ariel
Herbert-Voss

Tom
Henighan

Prafulla
Dhariwal

Aditya
Ramesh

Daniel M.
Ziegler

Christopher
Berner

Tom B.
Brown

Dario
Amodei

Ilya
Sutskever

Gretchen
Krueger

Sam
McCandlish

Jeffrey
Wu

Jack
Clark

Benjamin
Chess

Scott
Gray

Mateusz
Litwin

Eric
Sigler

Mark
Chen

Christopher
Hesse

Clemens
Winter

Alec
Radford

Der Leitbegriff computergenerierte Texte / large language model - gedeutet von Doris Weßels
Nie eine politische Talkshow, in der nicht das Thema "computergenerierte Texte / large language model" betrachtet wird. Im folgenden wird deshalb versucht, einige einführende Erläuterungen im Rückblick zu diskutieren.
Bereits im Jahr 2013 wurde das Thema ein erstes Mal beschrieben. Eine Trendabschätzung scheint in dieser kurzen Zeit schwierig.
Sinnvoll ist ein Blick auf die zahlreichen Definitionen des Begriffs. Die wichtigste Erklärung des Begriffs von Constanze Kurz, Frank Rieger (2013) lautet: "Eine andere Ausprägung des Narrative-Science-Systems, bei dem die Firma auch schon Konkurrenten hat, ist die Generierung der verpflichtenden Quartalsberichte für börsennotierte Unternehmen. Diese Berichte werden meist ohnehin nur von ein paar Dutzend Investmentanalysten gelesen und ausgewertet – und von Börsen-Handelsalgorithmen. Das Prinzip der Berichtgenerierung bleibt gleich: Aktuelle Geschäftszahlen, die aus der Unternehmenssoftware extrahiert worden sind, werden mit denen aus den vergangenen Quartalen, Zahlenwerken über die Situation in den verschiedenen Absatzmärkten und weiteren relevanten Daten zum Faktengrundgerüst für den Bericht zusammengestellt.
Die Berichtgenerierungssoftware erzeugt dann daraus nach den gleichen Methoden wie bei der automatischen Sportberichterstattung einen Fließtext, wenn gewünscht mit Tabellen, der sich nicht ohne weiteres von solchen unterscheiden läßt, die von Menschen geschrieben wurden. Bei Quartalsberichten sind die teilweise gesetzlich vorgeschriebenen Inhalte und die daraus abgeleitete Struktur ohnehin noch mal ähnlicher und wiederkehrender als bei Sportberichten. Niemand erwartet hier literarische Höchstleistungen. Im Gegenteil: Die Algorithmen auf der anderen Seite, die zur Auswertung solcher Quartalsberichte geschrieben wurden, funktionieren besser, wenn weitgehend auf sprachliche Dekorationen verzichtet wird."...

Aus dem fernen Digitalien...
edudays 2015 (Videoaufzeichnung)
Krems an der Donau 2015, 08.04.2015
Schule - Medien - Informatik - Worauf sollen wir uns einstellen?
Eröffnungsreferat an der Kick-Off-Veranstaltung zur dynamischen ICT-Strategie des Kantons Thurgau
PH Thurgau, Kreuzlingen, 24.06.2015
1001 Fragen zu Digitalisierung und Fachdidaktik
Hauptvortrag von Ralf Romeike und Beat Döbeli Honegger an der Jahrestagung der Gesellschaft für Fachdidaktik (GFD)
Regensburg, bzw. Internet, 23.09.2020
Anforderungen an die Lehrkräftebildung MIT - ÜBER - IN digitalen Medien

QLB-BMBF-Kongress Berlin, 22.11.2021
Die Reise nach Digitalien

PH VS / HEP VS, Sion, 18.01.2023
ChatGPT - der iPhone-Moment für KI?

Klausur PHSZ, Oberägeri, 14.02.2023