Alles oder Nichts! - Die Aktivierungsfunktion
Die Aktivierungsfunktion bestimmt, wie der Aktivierungszustand eines Neurons N von der Eingabe aller anderen Neuronen, die mit diesem Neuron N verbunden sind, abhängt.
Der Aktivierungszustand eines Neurons kann entweder aktiv (Neuron feuert) oder inaktiv (Neuron ruht) sein.
Zwei häufig gebrauchte Aktivierungsfunktionen werden weiter unten vorgestellt. Im Allgemeinen sind diese Funktionen monoton steigend.
Zwei wichtige Typen von Aktivierungsfunktionen
Bei der Aktivierungsfunktion gibt es verschiedene Grundtypen bzw. Funktionen. In diesem Abschnitt beschreiben wir die Schwellenwertfunktion und die lineare Funktion näher.
Schwellenwertfunktion
Dieser Typ von Aktivierungsfunktion besitzt z.B. das Perzeptron und die Gleichung lautet:
Wenn der Input einen bestimmten Schwellenwert erreicht (hier ist es 0), dann wird das Neuron aktiviert, d.h. es feuert, falls der Input nicht den Schwellenwert erreicht, passiert nichts. Daher auch die Bezeichnung "Alles oder Nichts", je nachdem ob der Schwellenwert erreicht wurde oder nicht.
Die lineare Aktivierungsfunktion
Diese Funktion lautet:
Der Graph der Funktion ist oben abgebildet, diese Funktion ist eine sehr einfache Funktion. Hier gilt nicht die " Alles oder Nichts Regel", vielmehr werden die Neuronen umso stärker aktiviert, je größer der Input war.
Ein einfaches Beispiel
Wir wollen bestimmen ob das Neuron X3 feuert oder ruht. Als Aktivierungsfunktion soll die Schwellenwertfunktion verwendet werden.
Um zu bestimmen, ob das Neuron X3 feuert oder ruht müssen wir zuerst die Gesamtnetzeingabe von Neuron X3 berechnen.
net = X1 · w1 + X2 · w2 = 1 · 0,4 + 1 · (- 0,3) = 0,1
Die Netzeingabe ist jetzt Argument der Schwellenwertfunktion, die bestimmt, ob das Neuron feuert oder nicht.
f(net) = f(0,1) = 1, denn 0,1 ist > 0.
Also feuert das Neuron X3.