Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- lernalgorithmus [2025/01/22 18:43] – [Test] torsten.roehl
+++ lernalgorithmus [2025/01/29 10:58] (aktuell) – [Netzeingabe $net$] torsten.roehl
@@ Zeile 1: / Zeile 1: @@
 ====== Perzeptron Lernalgorithmus ======
-//Im Folgenden wird der Lernalgorithmus für das einfache Perzeptron beschrieben. Um das Prinzip zu verstehen, werden lediglich zwei Eingangsneuronen und ein Ausgangsneuron verwendet. Mithilfe des Lernalgorithmus soll dann (z. B. in Java) gezeigt werden, dass einfache Probleme wie das UND-Problem gelernt werden können.//
+//Im Folgenden wird der Lernalgorithmus für das **einfache Perzeptron** beschrieben. Um das Prinzip zu verstehen, werden lediglich zwei Eingangsneuronen und ein Ausgangsneuron verwendet. Mithilfe des Lernalgorithmus kann dann (z. B. in Java) gezeigt werden, dass einfache Probleme wie das UND-Problem gelernt werden können.//
-==== Topologie ====
+===== Topologie =====
           * **Eingangsneurone** $x_1$,  $x_2$ und $x_3$
@@ Zeile 7: / Zeile 7: @@
           * **Ausgabeneuron** $y_1$ oder $o$ für **O**utput.
           * **Gewichte** $w_{11}$ , $w_{21}$ und $w_{31}$
-                  * Das Gewicht $w_{31}$ hat immer den Wert<color #22b14c> $w_{31}=-0.1$</color> .
+                  * Das Gewicht $w_{31}$ hat (in unserem Beispiel) immer den Wert<color #22b14c> $w_{31}=-0.1$</color> .
 {{ :pnn.png?400 |}}
 <WRAP center round tip 90%>
-Die Schwelle θ wird durch ein konstantes Gewicht $w_{31}=−0.1$ festgelegt. Die Gewichte $w_{11}$ und $w_{21}$ werden gelernt, um alle Trainingsmuster wiedergeben zu können.
+Die Schwelle θ wird durch ein konstantes Gewicht (in unserem Beispiel) $w_{31}=−0.1$ festgelegt. Nur  die Gewichte $w_{11}$ und $w_{21}$ werden gelernt, um alle Trainingsmuster wiedergeben zu können.
 Im **Perzeptron** kann anstelle der Schwelle ein Bias verwendet werden, da dieser als zusätzliches Gewicht modelliert wird, das mit einem konstanten Eingabewert von 1 multipliziert wird und dadurch die Schwelle direkt in die Gewichtsanpassung integriert.
+//Der Zusammenhang zwischen Schwelle und Bias kann mathematisch gezeigt werden, was an anderer Stelle erfolgt.//
@@ Zeile 23: / Zeile 27: @@
 \begin{equation} net_j = \sum w_{ij} \cdot x_i \end{equation}
 Da wir nur ein Ausgabeneuron haben ist $net_j=net_1=net$ also folgt für drei Eingabeneuronen:
-\begin{equation} net = \sum_1^3 w_{1j} \cdot x_i = w_{11}  \cdot x_1 +   w_{12}  \cdot x_1+ w_{13}  \cdot 1\end{equation}
+\begin{equation} net = \sum_{i=1}^3 w_{i1} \cdot x_i = w_{11}  \cdot x_1 +   w_{21}  \cdot x_2+ w_{31}  \cdot 1\end{equation}
+Dabei wird verwendet, dass $x_3=1$ gesetzt worden ist.
 ==== Aktivierungsfunktion ====
-Die Aktivierungsfunktion für //Perzeptron// lautet:
+Die Aktivierungsfunktion für das //Perzeptron// lautet:
@@ Zeile 35: / Zeile 39: @@
 {{ :inf:ki:schwellenwertfunktion.png? |}}
-=== Trainingsmuster ($x_1$,$x_2$) → $y$===
+===== Trainingsmuster ($x_1$,$x_2$) → $y$ =====
 Der Perzeptron-Lernalgorithmus wird auf Trainingsmuster angewendet. Ein Trainingsmuster (//engl. Training Pattern//) besteht aus der Eingabe zusammen mit der gewünschten Ausgabe, die es zu lernen gilt. Das neuronale Netz lernt die Gewichte so anzupassen, dass alle Trainingsmuster richtig wiedergegeben werden.
@@ Zeile 56: / Zeile 60: @@
 ==== Algorithmus ====
+<WRAP center round box 100%>
+//Perzeptron Lernalgorithmus//
-  - **forward pass** Wähle (zufällig) ein Trainingsmuster und berechne die Ausgabe $o$
-  - Berechne den Fehler  zwischen der gewünschten Ausgabe (**t** //für Target//) und der tatsächlichen **o** mit: $t-o$.
+  - **forward pass:** Wähle (zufällig) ein Trainingsmuster und berechne die Ausgabe $o$
-  - Berechne die Gewichtsänderung $\Delta w_{ij} = \eta\cdot (t-o)\cdot x_i$
+  - **error:** Berechne den Fehler  zwischen der gewünschten Ausgabe (**t** //für Target//) und der tatsächlichen **o** mit: $t-o$.
-  - Ändere das Gewicht $w_{ij}$ mit: $w_{ij} = w_{ij}  +  \Delta w_{ij} $
+  - **hebb rule:** Berechne die Gewichtsänderung $\Delta w_{ij} = \eta\cdot (t-o)\cdot x_i$
+  - **update:** Ändere das Gewicht $w_{ij}$ mit: $w_{ij} = w_{ij}  +  \Delta w_{ij} $
   - Wiederhole ab Schritt 1. für eine Anzahl an Iterationen, bis das gewünschte Ergebnis erreicht ist.
+</WRAP>
+===== Test & Aufgaben =====
+  - Implementieren Sie den Perzeptron-Lernalgorithmus für das UND-Problem.
+          - Überprüfen Sie, ob das UND-Problem korrekt gelernt wurde, indem Sie für alle Inputvektoren $(x_1,x_2)$ die Ausgaben berechnen.
+  - Ändern Sie die Implementierung um auch das ODER-Problem zu lernen.
+          - Wiederholen Sie das Lernen mehrmals und untersuchen Sie die gelernten Gewichte $w_{11}$ und $w_{21}$.
+  - Untersuchen Sie die Abhängigkeit der Lernrate von der Anzahl der Iterationen, die benötigt werden, um das Problem zu lösen.
+          - Erstellen Sie hierfür einen aussagekräftigen Graphen.
+  -   Beschäftigen Sie sich nun mit dem <color #ed1c24> XOR-Problem</color>.
+          - Ändern Sie den Code um auch dieses Problem zu studieren.**🕱 🕱 🕱**
-===== Aufgabe & Test =====
+<WRAP center round tip 90%>
-Implementieren sie den Perzeptron-Lernalgorithmus für das UND-Problem.
+Passen Sie gegebenenfalls die Lernrate oder die Anzahl der Iterationen an, damit das Problem erfolgreich gelernt werden kann.
-Überprüfen Sie, ob das UND-Problem korrekt gelernt wurde, indem Sie für alle Inputvektoren $(x_1,x_2)$ die Ausgaben berechnen. Passen Sie gegebenenfalls die Lernrate oder die Anzahl der Iterationen an, damit das Problem erfolgreich gelernt werden kann.
+</WRAP>