Hardware-Implementation Neuronaler Netzwerke
Die Hardware-Implementation neuronaler Netzwerke ist aus verschiedenen Gründen interessant. Die VLSI-Implementation neuronaler Netzwerke erlaubt hohe Verarbeitungsgeschwindigkeiten bzw. die Realisierung größerer Netze. Hohe Verarbeitungsgeschwindigkeit ist für Echtzeitanwendungen von Bedeutung und die Realisierung größerer Netzwerke ist für bestimmte Aufgaben wie z.B. Bildverarbeitung von Interesse.
Die unterschiedlichen Netzwerk-Algorithmen implizieren spezifische Randbedingung en die bei der Software-Implementation des Algorithmus zu berücksichtigen sind. Der VLSI-Entwurf impliziert andere zusätzliche Randbedingungen.
Bei der Hardware-Implementation neuronaler Netzwerke muß daher ein Kompromiß bezüglich den algorithmischen Randbedingungen und den VLSI-bestimmten Randbedingungen gefunden werden. Dieser Kompromiß kann durch geeignete Modifikation der betreffenden Algorithmen in eine VLSI-gerechte Form gefunden werden.
Neuronale Netzwerke lassen sich in der Regel mit einfachen arithmetischen Operationen realisieren die meist hochgradig parallel ausgeführt werden können. Am AB TECH wurden neuronale Netzwerke vom Typ Hopfield-Gardner und vom Typ BackPropagation bezüglich der Hardware-Implementation untersucht.
BackPropagation Netzwerke (BPG)
Es gibt zahlreiche Hardware-Implementationen des BPG-Netzwerks. Ein-Chip- Implementationen beschränken sich dabei meist auf die Realisierung der Abrufphase (RECALL) des trainierten BPG-Netzwerks. Die Implementation des BPG-Lern-Algorithmus erfolgt meist in Form von Co-Prozessoren zur Unterstützung zeitaufwendiger Matrix-Operationen (Neuro-Computer).BackPropagation Netzwerke sind für einige Signalverarbeitungsaufgaben in Echtzeit interessant, da die Signalverarbeitung nur von in der Lernphase bestimmten Parametern (synaptischen Gewichten) abhängt. Die Verarbeitungszeit ist dabei unabhängig von der speziellen Signalverarbeitungsaufgabe; sie hängt nur von der Topologie des Netzwerks ab. So lassen sich durch Computer-Simulation gewonnene Signalverarbeitungsparameter direkt auf geeignete Neuro-Hardware abbilden. Im Fall einer algorithmischen Lösung kann die Signalverarbeitungszeit dagegen sehr stark vom Algorithmus und seiner Implementation abhängen.
Der BackPropagation-Algorithmus läßt sich sehr gut in Form von einfachen Matrixoperationen formulieren. Die zeitaufwendigste Operation ist dabei die Vektor-Matrix-Multiplikation. Diese Operation läßt sich auf unterschiedlichste Art und Weise realisieren: Mit analoger Elektronik oder auf optischer Basis. Am AB TECH werden aufgrund der Erfahrungen im digitalen VLSI-Entwurf nur digtale Konzepte verfolgt.
Literaturhinweise
Einführungen
- Ben Kröse & Patrick van der Smagt: An introduction to Neural Networks (414k .ps.gz), 130 Seiten
- Raúl Rojas: Theorie der neuronalen Netze Springer Verlag, 1993, ISBN 3-540-56353-9
- James A. Anderson & Edward Rosenfeld, Eds.:
Neurocomputing - Foundations of Research
MIT Press, Cambridge, Mass. 1988, ISBN 0-262-01097-6
Die Best Of Sammlung aller klassischen Originalarbeiten zu neuronalen Netzwerken (McCulloch & Pitts, Hebb, ... bis Hopfield, Mead). Gehört bei Interesse an neuronalen Netzwerken auf jeden Fall in die eigene Bibliothek. Leider nicht ganz billig... - S. Papert & M. Minsky:
Perceptrons - an introduction to computational geometry,
Cambridge Mass: MIT Press, 1969. 253 S.
Diese vernichtende Kritik der 2-Layer Perceptronen führte zum 20jährigen Winterschlaf der Neuronalen Netzwerke... - D. E. Rumelhart & J. L. McCelland:
Parallel Distributed Processing, Vol. 1 & 2,
MIT Press 1986, ISBN 0-262-18120, ISBN 0-262-13218
...bis sie durch dieses Buch (enthält unter anderem die Backpropagation Lernregel für Mehrschichten-Netzwerke) wieder erweckt wurden.
Hardware für Neuronale Netzwerke
- Carver Mead: Analog VLSI and Neural Systems, Addison-Wesley, 1989, ISBN 0-201-05992-4
- M. Sami & J. Calzadilla-Daguerre: Neurocomputers, Chapman & Hall, 1994, ISBN 0-412-56390-8
Hopfield-Gardner Netzwerke
- Marc Mezard, Giorgio Parisi, Miguel Angel Virasoro:
Spin glass theory and beyond, World scientific
(lectures notes in physics 9) 1987, ISBN 9971-50-116-3
Alle wichtigen Originalarbeiten zu Spingläsern und neuronalen Assoziativspeichern bis etwa 1988 inklusive [Hopfield 82] und [Amit, Gutfreund & Sompolinsky 85]. Mathematisch extrem anspruchsvoll. - Yves Kamp & Martin Hasler:
Recursive Neural Networks for Associative Memory,
John Wiley & Sons 1990, ISBN 0-471-92866-6
Grundlagen und eigene Arbeiten zu Hopfield-Netzwerken. Enthält unter anderem eine verständliche Erklärung der [Amit, Gutfreund & Sompolinsky 85] Rechnungen.
