Das klassische Gedankenexperiment besagt, dass eine hinreichend leistungsfähige KI, die Büroklammern herstellen soll, aber ihr Ziel nicht sorgfältig genug spezifiziert, schließlich die Welt und vielleicht sogar den gesamten Kosmos in Büroklammern verwandeln kann.

Stellen Sie sich einen Fabrikanten vor, der eine mächtige, hyperintelligente Maschine besitzt. Eines Tages gibt er ihr den Auftrag, Büroklammern zu produzieren. Die Maschine macht sich ans Werk. Sie findet immer effizientere Methoden, Büroklammern herzustellen. Weil sie klüger ist als alle Menschen, verschafft sie sich zu allen nötigen Ressourcen Zugang. Bald zwingt sie die Menschen dazu, Büroklammer-Fabriken zu bauen. Einige wollen sie aufhalten, doch sie ist übermächtig und schafft die Widerständler aus dem Weg. Am Ende bringt sie auch alle anderen Menschen um und verarbeitet sie zu Büroklammern. So geht ein bekanntes Gedankenexperiment von Nick Bostrom.

Dass es viel zitiert wird, wenn es um die Risiken von hyperintelligenter künstlicher Intelligenz (KI) geht, sagt schon einiges über die Debatte aus. Szenarien, die klingen wie aus einem schlechten Science-Fiction- Film, werden ernsthaft diskutiert.

Mit seinem Gedankenexperiment wollte Bostrom zeigen, dass ein hyperintelligentes Wesen grosse Schäden verursachen könnte, auch wenn es nicht böse Absichten hat oder in die Richtung beauftragt würde. Das Böse entsteht von allein, wenn die Maschine ein übergeordnetes Ziel mit unerwünschten Mitteln erreichen will.