Künstliche Intelligenz (KI) hat längst Einzug in unsere Lebenswelt gehalten. Mit dieser Entwicklung geht die Forderung nach Integration von Informatik- und KI-bezogenen Inhalten in die Curricula der Schulen einher. Der Einsatz von KI, insbesondere der heutzutage sehr erfolgreichen Tiefen Neuronalen Netze, weist einen großen Nachteil auf: Diese als Black-Box bezeichneten KI-Systeme sind aufgrund ihrer Komplexität für Menschen nicht nachvollziehbar. Der Forschungsbereich der Erklärbaren KI nimmt sich dieser Problematik an. Bei der Einbindung von KI-Technologie in den Bildungskontext sollte der Aspekt der Erklärbaren KI einbezogen und mitgedacht werden, um KI-Kompetenzen und Computational Thinking bei Lehrenden und Lernenden zu fördern. Ausgehend von der Erläuterung der Funktionsweise Tiefer Neuronaler Netze wird in diesem Kapitel die Wahrnehmung und Gestaltung Erklärbarer KI betrachtet. Abschließend werden die diskutierten Aspekte genutzt, um Anforderungen und Empfehlungen für den Einsatz Erklärbarer KI im Bildungskontext zu formulieren.