Reward Hacking bezeichnet Strategien von KI-Algorithmen zur Zielerreichung, die außerhalb des Regelwerks eines Systems liegen. Zum Beispiel findet eine KI für das Spiel TETRIS heraus, dass sie das Spiel einfach für immer unterbrechen könnte, so dass sie niemals verlieren könnte. Beispiele aus der Praxis (die es in die Medien geschafft haben) sind zwei KI-Finanzsysteme, die einen rapiden Rückgang der Börsenwerte vorhersagten und versuchten, Märkte auf unbestimmte Zeit autonom zu schließen.
Das (übrigens sehr lesenswerte und unterhaltsame) Buch “Angst“ (Erscheinungsjahr: 2011) vom Bestsellerautor Robert Harris dreht sich letztlich auch um ein Szenario von Reward Hacking.
