Der Begriff Backpropagation gehört in den Kontext von Künstlicher Intelligenz, und bezieht sich spezifisch auf Neuronale Netze. Es handelt sich um ein Verfahren, das zum Training von Neuronalen Netzwerken eingesetzt wird. In neuronalen Netzen werden Signale zwischen den künstlichen Neuronen weitergegeben, in der Regeln von der Input-Schicht bis zur Output-Schicht. Jeder Nervenzelle verarbeitet hierbei eine spezifische Information, bewertet diese und leitet ein Signal an die nachfolgende künstliche Nervenzelle weiter. Gibt eine künstliche Nervenzelle ein Signal weiter, dann spricht man auch davon, dass dieses Neuron „ein Signal abfeuert“.
Damit ein Neuronales Netzwerk etwa auf dem Bild eine Katze als solche auch erkennt, müssen alle relevanten Bildinformationen so verarbeitet werden, dass die Output-Zelle das Ergebnis „Katze“ auswirft. Um in einem einfachen Bild zu bleiben: Wenn nun mehrere Dutzend Nervenzellen je ein Wahrscheinlichkeitsaussage treffen, ob das von ihnen verarbeitete Bildelement zu einer Katze gehört oder nicht (Auge, Ohr, Schwanz, Fellmuster, etc.), dann ergibt sich eine Wahrscheinlichkeitsaussage zum Schluss. Diese Aussage trifft ein künstliches Neuron über die Signalstärke, in der es ein Signal weitergibt. Gleichzeitig müssen die eingehenden Signale richtig „gewichtet“ werden. Man spricht hier von „Gewichten“.
Das Training eines Neuronalen Netzwerks besteht nun darin, dass die „Gewichte“ angepasst werden. Hierzu werden Teilableitungen verwendet, um die „Verantwortung“ jedes Gewichts am Fehler zwischen tatsächlichen und erwarteten Ergebnissen zu berechnen. Diese Deltas (Abweichungen) werden verwendet, um die Gewichte anzupassen.
