Die Aktivierungsfunktion bestimmt, wie der Aktivierungszustand eines Neurons N von der Eingabe aller anderen Neuronen, die mit diesem Neuron N verbunden sind, abhängt. Der Aktivierungszustand eines Neurons kann entweder aktiv (Neuron feuert) oder inaktiv (Neuron ruht) sein. Zwei häufig gebrauchte Aktivierungsfunktionen werden weiter unten vorgestellt. Im Allgemeinen sind diese Funktionen monoton steigend.

Bei der Aktivierungsfunktion gibt es verschiedene Grundtypen bzw. Funktionen. In diesem Abschnitt beschreiben wir die Schwellenwertfunktion und die lineare Funktion näher.

Dieser Typ von Aktivierungsfunktion besitzt z.B. das Perzeptron und die Gleichung lautet:

\begin{equation} f(x)=\left\{\begin{array}{ll}0 : & x < 0 \\ 1 : & x\geq 0 \end{array}\right. \end{equation}

Wenn der Input einen bestimmten Schwellenwert erreicht (hier ist es 0), dann wird das Neuron aktiviert, d.h. es feuert, falls der Input nicht den Schwellenwert erreicht, passiert nichts. Daher auch die Bezeichnung „Alles oder Nichts“, je nachdem ob der Schwellenwert erreicht wurde oder nicht.

Diese Funktion lautet: \begin{equation} f(x)=x \end{equation}

Der Graph der Funktion ist oben abgebildet, diese Funktion ist eine sehr einfache Funktion. Hier gilt nicht die „ Alles oder Nichts Regel“, vielmehr werden die Neuronen umso stärker aktiviert, je größer der Input war.

Wir wollen bestimmen ob das Neuron $x_3$ feuert oder ruht.

Als Aktivierungsfunktion soll die Schwellenwertfunktion verwendet werden.

Um zu bestimmen, ob das Neuron $x_3$ feuert oder ruht müssen wir zuerst die Gesamtnetzeingabe von Neuron $x_3$ berechnen.

$$net_3 = x_1 \cdot w_1 + x_2 \cdot w_2 = 1 \cdot 0,4 + 1 \cdot (- 0,3) = 0,1$$ Die Netzeingabe ist jetzt Argument der Schwellenwertfunktion, die bestimmt, ob das Neuron feuert oder nicht.

$$f(net) = f(0,1) = 1$$

Also feuert das Neuron $X_3$, denn 0,1 ist > 0