Tree of ThoughtsDeliberate Problem Solving with Large Language Models
Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Ca, Karthik Narasimhan
Publikationsdatum:
|
|
Zusammenfassungen
Language models are increasingly being deployed for general problem solving
across a wide range of tasks, but are still confined to token-level, left-to-right
decision-making processes during inference. This means they can fall short in
tasks that require exploration, strategic lookahead, or where initial decisions play
a pivotal role. To surmount these challenges, we introduce a new framework for
language model inference, “Tree of Thoughts” (ToT), which generalizes over the
popular “Chain of Thought” approach to prompting language models, and enables
exploration over coherent units of text (“thoughts”) that serve as intermediate steps
toward problem solving. ToT allows LMs to perform deliberate decision making
by considering multiple different reasoning paths and self-evaluating choices to
decide the next course of action, as well as looking ahead or backtracking when
necessary to make global choices. Our experiments show that ToT significantly
enhances language models’ problem-solving abilities on three novel tasks requiring
non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords.
For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only
solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all
prompts: https://github.com/ysymyth/tree-of-thought-llm.
Von Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Ca, Karthik Narasimhan im Text Tree of Thoughts (2023) Dieser wissenschaftliche Zeitschriftenartikel erwähnt ...
Personen KB IB clear | Sandhini Agarwal , Dario Amodei , Amanda Askell , Christopher Berner , Tom B. Brown , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Kewal Dhariwal , Prafulla Dhariwal , Scott Gray , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , Jared Kaplan , Gretchen Krueger , Mateusz Litwin , Benjamin Mann , Sam McCandlish , Arvind Neelakantan , OpenAI , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Pranav Shyam , Eric Sigler , Melanie Subbiah , Ilya Sutskever , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler | ||||||||||||||||||
Begriffe KB IB clear | Chain of Thought , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Problemlösefähigkeitproblem solving skills | ||||||||||||||||||
Bücher |
| ||||||||||||||||||
Texte |
|
Dieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ...
Nicht erwähnte Begriffe | Chat-GPT, GMLS & Bildung |
Zitationsgraph
Zitationsgraph (Beta-Test mit vis.js)
1 Erwähnungen
- Generative KI-Systeme in der Lehre systematisch anleiten (Timon Rimensberger) (2024)
Volltext dieses Dokuments
Tree of Thoughts: Artikel als Volltext (: , 748 kByte; : ) |
Anderswo suchen
Beat und dieser wissenschaftliche Zeitschriftenartikel
Beat hat Dieser wissenschaftliche Zeitschriftenartikel während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Aufgrund der wenigen Einträge im Biblionetz scheint er es nicht wirklich gelesen zu haben. Es gibt bisher auch nur wenige Objekte im Biblionetz, die dieses Werk zitieren.