History in a nutshell
Diese sehr kurze Übersicht über die Geschichte der neuronalen Netze soll hauptsächlich von Personen und deren Leistungen erzählen, die in hier behandelten Lernabschnitten zu neuronalen Netzen besprochen werden.
| 1943 | Warren McCulloch und Walter Pit |
Warren McCulloch (1898-1969). Einer der Gründungsväter der„Neuroinformatik“. |
Walter Pitts. |
||
| 1949 | Donald O. Hebb beschrieb in seinem Buch The Organization of Behaviour die mittlerweile klassische Hebb'sche Lernregel als einfaches universelles Lernkonzept individueller Neurone. Die Hebb'sche Lernregel bildet bis heute die Grundlage fast aller Lernverfahren für neuronale Netze. |
|
| 1958 | Rosenblatt entwickelte das Perzeptron ein sehr bekanntes neuronales Netz. Desweiteren lieferte Rosenblatt auch den Beweis dafür, dass das Perzeptron alles repräsentieren kann, was es mit dem von ihm angegebenen Lernverfahren lernen kann. Dies ist als Perzeptron-Konvergenz-Theorem bekannt. |
|
| 1969 | Marvin Minsky und Seymour Papert führten in ihrem Klassiker „Perceptrons“ eine genaue mathematische Analyse des Perzeptrons durch und zeigten, dass das Modell viele wichtige Probleme wie z.B. das XOR-Problem nicht lösen kann. Leider folgerten sie daraus, dass auch mächtigere Modelle als das Perzeptron die gleichen Probleme aufweisen und bezeichneten das gesamte Gebiet der neuronalen Netze als „research dead-end“. Dies erwies sich als falsch, war aber dennoch der Auslöser dafür, dass Forschern auf diesem Gebiet in den nächsten 15 Jahren nur wenige Forschungsgelder zur Verfügung standen. |
|
| 1982 | John Hopfield (Physiker) beschrieb in seinem berühmten Artikel „Neural networks and physical systems with emergent collective computational abilities“ ein Modell das jetzt als Hopfield-Netz bekannt ist. Das Hopfield-Netz ist ein neuronales Äquivalent des Ising-Modells aus der statistischen Physik, was uns hier aber nicht weiter zu interessieren braucht. Später erweiterte er das Modell auf kontinuierliche Hopfield-Netze und zeigte in seinem Artikel „Neurons with graded response have collective computational properties like those of twostate neurons“, dass diese Netze mit Hilfe einer Energiefunktion untersucht werden können. 1985 veröffentlichte er einen Artikel „Neural Computation of Decisions in Optimization Problems“ und stellte dar, wie diese Netze Optimierungsaufgaben, darunter das berühmte Travelingsalesman-Problem, lösen können. Damit überzeugte er viele Forscher von der Wichtigkeit des Forschungsgebiets. |
|
| Teuvo Kohonen ist vor allem für seine Arbeiten über Netzwerke, die als Self-Organizing-Maps (Selbstorganisierende Karten) oder eben Kohonennetze bezeichnet werden, bekannt geworden. Diese Netzwerktypen sind biologisch gut motiviert. |
|
