Wenn ein Deep-Learning-Algorithmus (hier: “Convolutional Neural Network”) eine Katze auf einem Foto erkennt, dann lässt sich selbst für den Entwickler des KI-Algorithmus kaum nachvollziehen, anhand welcher Merkmale diese Kategorisierung erfolgt. Der Abstraktionsprozess (in Dutzenden von neuronalen Schichten) von Bildelementen und Bildmerkmalen ist schlicht zu unübersichtlich und zu komplex. Es funktioniert, aber wir wissen (selten), warum.
Man könnte der Ansicht sein, man könne sich doch damit zufriedengeben, dass es funktioniere, vielfach wird auch von der „theorielosen Wissenschaft“ gesprochen. Aber tatsächlich ist dieses Black Box Problem mit einer Vielzahl von ethischen und praktischen Herausforderungen verbunden. Die Autorin und Futuristin Amy Webb liefert in ihrem Buch “The Big Nine. How the Tech Titans & Their Thinking Machines Could Warp Humanity“ (Verlag PublicAffairs, 265 Seiten, Erscheinungsjahr 2019, 13 Euro für das Taschenbuch) ein gutes Beispiel zur Illustration:
Forscher an der New Yorker Ichan School of Medicine (im Mount Sinai Hospital angesiedelt) entwickelten einen KI-Algorithmus zur Krebsvorhersage, den sie mit umfangreichen Daten von etwa 700.000 Patienten trainieren konnten. Die Datensätze enthielten je Hunderte von verschiedenen Variablen. Der KI-Algorithmus wurde bezeichnet als "Deep Patient". Tatsächlich identifiziert „Deep Patient“ zahlreiche neue Muster in den Daten, die die Forscher nicht immer nachvollziehen konnte, die aber praktikable Indikatoren bildeten, um Patienten im frühesten Stadium vieler Krankheiten zu finden (z.B. für Leberkrebs).
Mysteriöserweise konnte „Deep Patient“ auch Indikatoren von psychiatrischen Störungen wie Schizophrenie liefern. Aber selbst die Forscher, die das System gebaut haben, wussten nicht, wie der KI-Algorithmus Entscheidungen trifft („Black Box Problem“). „Deep Patient“ macht also kluge Vorhersagen, aber ohne jegliche Erklärungen. Was bedeutet das für den Einsatz in der Praxis, wie kann ein solches System von medizinischen Teams eingesetzt werden, das konkrete Entscheidungen treffen muss mit weitreichenden Konsequenzen: Entscheidungen über das Absetzen oder Wechseln von Medikamenten? Entscheidungen über die Verabreichung von Strahlen- oder Chemotherapie oder eine Operation?
