Die Hebbsche Lernregel wurde 1949 von Donald Hebb aufgestellt, sie ist die Grundlage für viele weitere Lernregeln bei Neuronalen Netzen. Sie liefert eine Erklärung für das Lernen in Neuronalen Netzwerken über Neuronen, die gemeinsame Synapsen haben.

Hebb schrieb in seinem Buch „The Organization of Behavior“ auf Seite 62 folgendes:

Auf Deutsch: „Wenn ein Axon der Zelle A nah genug an der Zelle B ist, so dass es erregt werden kann und wiederholt oder dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen (metabolischen Veränderungen) in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in Bezug auf die Erzeugung eines Aktionspotentials in B gesteigert wird.“

• Die Synapse kann nicht wachsen, wenn nur ein Neuron aktiv ist. Das Feuern der Neuronen wurde mit rot dargestellt, die Verbindungen (Gewichte) sind mit blau dargestellt.
• Sind jedoch zwei Neuronen gleichzeitig und wiederholend aktiv, erfolgt ein Wachstumsprozess der Synapse (metabolische Änderungen, die übrigens auch bei Ratten experimentell bestätigt worden sind)

Wenn ein Neuron $x_i$ und ein anderes Neuron $y_i$ gleichzeitig aktiv sind und wiederholt gleichzeitig Energie abfeuern, so nimmt die Verbindung (das Gewicht $w_{ij}$) zwischen den beiden Neuronen zu.

Die beschriebenen Annahmen werden in der Hebbschen Formel zusammengefasst. \begin{equation} \Delta w_{ij} = \eta \cdot x_i y_j \end{equation}

• Hier ist η (eta) die Lernrate
• Δ bezeichnet die Gewichtsveränderung, wobei das Gewicht wird mit $w_{ij}$ dargestellt ist.
  • Die Indizes bedeuten, dass die Verbindung zwischen Neuron $x_i$ und $y_j$ gemeint ist.