Alles oder Nichts! - Die Aktivierungsfunktion

Die Aktivierungsfunktion bestimmt, wie der Aktivierungszustand eines Neurons von der Eingabe aller anderen Neuronen, die mit diesem Neuron N  verbunden sind, abhängt.
Der Aktivierungszustand eines Neurons kann  entweder aktiv (Neuron feuert) oder inaktiv (Neuron ruht) sein.
Zwei häufig gebrauchte Aktivierungsfunktionen werden weiter unten vorgestellt. Im Allgemeinen sind diese Funktionen monoton steigend.

Zwei wichtige Typen von Aktivierungsfunktionen

 Bei der Aktivierungsfunktion gibt es verschiedene Grundtypen bzw. Funktionen. In diesem Abschnitt  beschreiben wir die Schwellenwertfunktion und die lineare Funktion näher.

Schwellenwertfunktion

Dieser Typ von Aktivierungsfunktion besitzt z.B. das Perzeptron und die Gleichung lautet:

Wenn der Input einen bestimmten Schwellenwert erreicht (hier ist es 0), dann wird das Neuron aktiviert, d.h. es feuert,  falls der Input nicht den Schwellenwert erreicht, passiert nichts. Daher auch die Bezeichnung "Alles oder Nichts",  je nachdem ob der Schwellenwert erreicht wurde oder nicht.

Die lineare Aktivierungsfunktion

Diese Funktion lautet:




Der Graph der Funktion ist oben abgebildet, diese Funktion ist  eine sehr einfache Funktion. Hier gilt nicht die " Alles oder Nichts Regel", vielmehr werden die Neuronen umso stärker aktiviert, je größer der Input war.

Ein einfaches Beispiel

Wir wollen bestimmen ob das Neuron X3  feuert oder ruht. Als Aktivierungsfunktion soll die Schwellenwertfunktion verwendet werden.


Um zu bestimmen, ob das Neuron X3  feuert oder ruht müssen wir zuerst die Gesamtnetzeingabe von Neuron X3 berechnen.
net = X1 ·  w1   + X2 · w=  1 · 0,4  + 1 · (- 0,3) =  0,1
Die Netzeingabe ist jetzt Argument der Schwellenwertfunktion, die bestimmt, ob das Neuron feuert oder nicht.

f(net) = f(0,1) = 1, denn 0,1 ist > 0.


Also feuert  das Neuron X3.