Dies ist eine alte Version des Dokuments!
Inhaltsverzeichnis
Aufbau des Hopfield-Netzes
Hopfield-Netze sind sogenannt Feedback-Netze (Netze mit Rückkopplung). Bei einem Hopfield-Netz existiert nur eine Schicht, die gleichzeitig als Ein- und Ausgabeschicht ist.
Die Gewichte \(w_{ij} \) sind symmetrisch, außerdem sind alle \(w_{ii} = 0\).
Die Abbildung zeigt ein Hopfield-Netz mit 16 Neuronen.
Alle Neuronen sind mit allen anderen Neuronen verbunden, aber kein Neuron ist mit sich selbst verbunden.
Für Hopfieldnetze gilt, dass die Verbindungsstärken $w_{ij}$ zwischen dem Neuron xi und dem Neuronxj genauso groß ist, wie zwischen Neuron $x_j$ und dem Neuronxi, d.h, für ein Hopfield Netz gilt: $w_{ij} = w_{ji}$. Die Tatsache, dass kein Neuron mit sich selbst verbunden ist, bedeutet, dass $w_{ii} = 0$ gilt.
Aufbau
Das Hopfield Netz ist ein Netz mit Rückkopplung (Feedback-Netz). Es besitzt nur eine Schicht, welche gleichzeitig als Ein- und Ausgabeschicht zur Verfügung steht.
Weiterhin sind die benötigten Vektoren für Ein- und Ausgabe gleich lang (autoassoziative Mustererkennung).
Die Neurone können die Werte 1 und -1 annehmen, die alle, bis auf $w_{ii}=0$, miteinander in Verbindung stehen. Bei rückgekoppelten Netzen müssen die Zustände der Neurone solange neu berechnet werden, bis das Netz in einem Ruhezustand ist (konvergiert), d.h. bis sich keine Änderung der Aktivierungszustände mehr ergeben.
Verbindungen
Die synaptischen Gewichte sind symmetrisch, d.h. es gilt: \begin{equation} w_{ij}= w_{ji}\end{equation} mit \begin{equation} w_{ii} = 0\end{equation}
Man achte auf die Indizes: Die Indizes $ij$ bedeuten eine Verbindung zwischen Neuron $x_i$ und Neuron $x_j$, wohingegen die Indizes $ji$ bedeuten, dass die Verbindung zwischen dem Neuron $x_j$ und Neuron $x_i$ gemeint ist. Demnach bedeutet $w{ii}$ eine Verbindung (das Gewicht) zwischen ein und demselben Neuron, die beim Hopfieldnetz nicht vorhanden ist.
Speicherkapazität
Wie viele Muster kann man jetzt mit einem Hopfield-Netz speichern?
Die Speicherkapazität ist abhängig von der Zahl der Neuronen N im Netzwerk. Umso mehr Neuronen zur Verfügung stehen, desto mehr Muster M können zuverlässig gespeichert und wiedergegeben werden.
- M ~ N
Abschätzungen ergeben:
- M ≈ 0.13 · N bis M ≈ 0.15 · N
Angenommen wir haben ein Netz mit 100 Neuronen zur Verfügung, dann können wir 13 Muster speichern. Dies setzt allerdings voraus, dass sich die Muster auch gut unterscheiden lassen, d.h. die Muster dürfen einander nicht zu ähnlich sein.
Da wir Muster durch Vektoren repräsentieren, bedeutet das, dass die Vektoren möglichst orthogonal (senkrecht) aufeinander stehen sollten. Unter orthogonalen Mustern verstehen wir Muster, die sich von allen Möglichkeiten am stärksten unterscheiden.