Ein neuronales Netzwerk sei eine „Black Box“, heißt es gern. Man könne die Entscheidungen und Ausgaben eines solchen Netzes nicht „erklären“, so wie wir die eines Menschen erklären können. Aber was genau bedeutet das? Es ist hilfreich, verschiedene Aspekte von „Erklärbarkeit“ sauber zu unterscheiden: Die mathematische Funktionsweise eines neuronalen Netzes ist für Laien unverständlich, sie können sie nicht erklären. Hier sind sie auf Experten angewiesen, die zwar nicht den Laien, aber zumindest sich selbst die Mathematik erklären können – und ihnen müssen die Laien dann vertrauen. Von einer Intelligenz, egal ob künstlich oder nicht, erwarten wir jedoch mehr als nur diese mathematische Verständlichkeit – wir erwarten, dass wir ihre Entscheidungen und Überlegungen auch auf einer semantischen Ebene nachvollziehen und erklären können. Solche semantischen Erklärungen aber können im Falle eines neuronalen Netzwerkes nicht einmal Experten geben. Die KI bleibt in diesem Sinne unverständlich. Der Aufsatz schlägt eine Brücke von diesem technischen Befund hin zu einer aktuell sehr hitzig geführten politischen Diskussion: Wie technokratisch darf eine liberale Demokratie sein? Je nachdem, welche Position man zu dieser politischen Frage bezieht, erscheinen „unerklärliche“ künstliche Intelligenzen entweder als nützliche Ergänzung des demokratischen Prozesses – oder als brandgefährlich.