History in a nutshell

Diese sehr kurze Übersicht über die Geschichte der neuronalen Netze soll hauptsächlich von Personen und deren Leistungen erzählen, die in den noch folgenden Lernabschnitten zu neuronalen Netzen besprochen werden.

1943 Warren McCulloch und Walter Pit
   

Warren McCulloch (1898-1969).

Einer der Gründungsväter der"Neuroinformatik".
   
   

Walter Pitts. Entwickelte mit McCulloch

eines der ersten Neuronenmodelle.(1923-1969)
1949    

Donald O. Hebb beschrieb in seinem Buch ''The Organization of Behaviour'' die mittlerweile klassische Hebb'sche Lernregel als einfaches universelles Lernkonzept individueller Neurone. Die Hebb'sche Lernregel bildet bis heute die Grundlage fast aller Lernverfahren für neuronale Netze.

 

    Donald Hebb (1904-1985) berühmt durch seine Hebbsche Lernregel.
1958 Rosenblatt entwickelte  das Perzeptron ein sehr bekanntes neuronales Netz. Desweiteren lieferte Rosenblatt  auch den Beweis dafür, dass das Perzeptron alles repräsentieren kann, was es mit dem von ihm angegebenen Lernverfahren lernen kann. Dies ist als Perzeptron-Konvergenz-Theorem bekannt.
    Frank Rosenblatt (1928–1969)
bekannt durch das
Perzeptron-Konvergenz-Theorem.
1969 Marvin Minsky und Seymour Papert führten in ihrem Klassiker „Perceptrons“ eine genaue mathematische Analyse des Perzeptrons durch und zeigten, dass das Modell viele wichtige Probleme wie z.B. das XOR-Problem nicht lösen kann.


Leider folgerten sie daraus, dass auch mächtigere Modelle als das Perzeptron die gleichen Probleme aufweisen und bezeichneten das gesamte Gebiet der neuronalen Netze als „research dead-end“.

Dies erwies sich als falsch, war aber dennoch der Auslöser dafür, dass Forschern auf diesem Gebiet in den nächsten 15 Jahren nur wenige Forschungsgelder zur Verfügung standen.
    Seymour Papert
1982

John Hopfield (Physiker) beschrieb in seinem berühmten Artikel „Neural networks and physical systems with emergent collective computational abilities“ ein Modell das jetzt als Hopfield-Netz bekannt ist. Das Hopfield-Netz ist ein neuronales Äquivalent des Ising-Modells aus der statistischen Physik, was uns hier aber nicht weiter zu interessieren braucht.  Später erweiterte er das Modell auf kontinuierliche Hopfield-Netze und zeigte in seinem Artikel „Neurons with graded response have collective computational properties like those of twostate neurons“, dass diese Netze mit Hilfe einer Energiefunktion untersucht werden können. 1985 veröffentlichte er einen Artikel "Neural Computation of Decisions in Optimization Problems" und stellte dar, wie diese Netze  Optimierungsaufgaben, darunter das berühmte Travelingsalesman-Problem, lösen können. Damit überzeugte er viele Forscher von der Wichtigkeit des Forschungsgebiets.

 
    Hopfield übertrug Methoden der statistischen Physik auf die Theorie der neuronalen Netze.
   
  Teuvo Kohonen ist vor allem für seine Arbeiten über Netzwerke, die als Self-Organizing-Maps (Selbstorganisierende Karten) oder  eben Kohonennetze bezeichnet werden, bekannt geworden.  Diese Netzwerktypen sind biologisch gut motiviert. Teuvo Kohonen und seine "Self-Organizing Maps" (Kohonennetze) weisen interessante Analogien zu den neuronalen Karten (Homunculus) des menschlichen Gehirns auf.