Bei Googles berühmtem Katzen - detektor hat das perfekt funktioniert, aber schon bei Fotos von Menschen fingen die Probleme an. Zwar herrscht im Internet wahrlich kein Mangel an Bildern, die Menschen zeigen. Der Haken ist, dass in dieser riesigen Sammlung Abbildungen von hellhäutigen Männern dominieren und Farbige stark unterrepräsentiert sind. Nutzt ein Anbieter nun beispielsweise die ersten 100.000 Ergebnisse der Bildersuche „Mensch“ und trainiert damit sein künstliches neuronales Netz, wird dieses die helle Hautfarbe fälschlicherweise als eines der wichtigsten Merkmale des Menschen wahrnehmen. Trainiert man das System auch auf die Erkennung von Gorillas, wird das Netz eine schwarze Gesichtsfarbe als sehr starkes Indiz für einen Gorilla werten. Die „rassistische“ KI ist geboren.

Selbst wenn Google es versucht hätte, wäre es extrem schwierig gewesen, all diese Werte vorab festzulegen. Die richtige Herangehensweise hätte darin bestanden, sich die Unsicherheit bei den tatsächlichen Kosten einer Fehlklassifikation bewusst zu machen und einen Lern- und Klassifikationsalgorithmus zu entwickeln, der hinreichend empfindlich gegenüber den Kosten und deren Unsicherheit ist. Ein solcher Algorithmus würde dem Google-Entwickler gelegentlich Fragen stellen, zum Beispiel diese: »Ist es schlimmer, einen Hund als Katze einzustufen oder eine Person als Tier?« Und wenn ein gewisses Maß an Unsicherheit hinsichtlich der Kosten einer Fehlklassifikation besteht, würde sich ein solcher Algorithmus gegebenenfalls weigern, einige Bilder zu beschriften.
Anfang 2018 wurde berichtet, dass Google Photos sich weigert, Fotos mit Gorillas zu klassifizieren. Als dem System ein sehr deutliches Bild eines Gorillas mit zwei Gorillababys vorgelegt wurde, erwiderte es: »Hm, bin mir nicht sicher …«