Druckansicht

Vorlesung Neuronale Netze

Sommersemester 2012

Neuigkeiten

Übersicht

• Allgemeines
• Termine und Räume
• Dozenten
• Schein- und Prüfungskriterien
• Voraussetzungen
• Folien aus der Vorlesung
• Übungsblätter
• Zusätzliche Unterlagen
• Literatur
• Verweise

Allgemeines

Auf dieser Seite finden Sie verschiedene Informationen zu der Vorlesung "Neuronale Netze", die im Sommersemester 2011 von Prof. Dr. Rudolf Kruse an der Otto-von-Guericke-Universität Magdeburg gehalten wird. Diese Seite wird im Laufe des Semesters aktualisiert.

Inhalte der Vorlesung

(Künstliche) Neuronale Netze werden in vielen Bereichen eingesetzt, z.B. zur Mustererkennung, Klassifikation, Diagnose, Optimierung, Steuerung und in wissensbasierten Systemen. Die wesentlichen Vorteile (Künstlicher) Neuronaler Netze sind ihre Lernfähigkeit und ihre inhärente Parallelität. Die Vorlesung führt in die Grundlagen der (Künstlichen) Neuronalen Netze aus der Sicht der Informatik ein. Lernparadigmen und -algorithmen werden ebenso behandelt wie verschiedene, auf diesen Paradigmen aufsetzende Netzmodelle, z.B. Schwellenwertelemente, mehrschichtige Perzeptren, Radiale-Basisfunktionen-Netze, selbstorganisierende Karten, Hopfield-Netze, rückgekoppelte Netze, Support Vector Machines und Neuro-Fuzzy-Systeme.

Termine und Räume

Jede(r) Studierende, die/der an einer der Übungen teilnehmen will, muss sich über den FIN Registration Service zu einer der Übungen anmelden. Die Anmeldung ist vom 26.03.2012 ab 13 Uhr bis 10 Uhr am Tag der ersten Übung freigeschaltet. Es wird darum gebeten, bei der Registrierung eine E-Mail-Adresse anzugeben, in dessen Posteingang man auch regelmäßig hineinschaut.

Dozenten

Wenn Sie Fragen zur Vorlesung oder zu den Übungen haben, wenden Sie sich bitte (wenn möglich, per E-mail) an:

• Prof. Dr. Rudolf Kruse, kruse@iws.cs.uni-magdeburg.de
• Christian Moewes, cmoewes@ovgu.de

Schein- und Prüfungskriterien

Ein neues Aufgabenblatt mit schriftlichen Aufgaben und Programmieraufgaben wird jede Woche auf dieser Internetseite veröffentlicht. Die schriftlichen Aufgaben müssen am Beginn einer jeden Übung votiert werden. Durch das Votieren erklärt man sich bereit, dass man in der Lage ist, die Aufgabe und einen Lösungsvorschlag zu erklären und präsentieren. (Der Vorschlag muss nicht vollständig richtig sein. Es muss allerdings klar werden, dass man sich gewissenhaft mit der Aufgabe auseinandergesetzt hat.)

Studierende, die den Kurs mit einer Prüfung oder einem benoteten Schein beenden wollen, müssen

• regelmäßig und gut in den Übungen mitarbeiten,
• mindestens die Hälfte der schriftlichen Aufgaben votieren,
• mindestens zweimal eine Lösung zu einer schriftlichen Aufgabe während der Übung präsentieren,
• schließlich eine schriftliche Prüfung nach dem Kurs bestehen.

Das Bestehen der schriftlichen Prüfung ermöglicht ebenfalls den Erhalt eines unbenoteten Scheines falls ein solcher von einer/einem Studierenden anstatt der Prüfung erwünscht wird.

Voraussetzungen

Sie müssen nicht, aber Sie sollten Hintergrundwissen verfügen über

• Algorithmen und Datenstrukturen,
• Programmierung und Modellierung,
• Mathematik I bis IV.

Folien aus der Vorlesung

Die Folien der Vorlesung werden rechtzeitig hochgeladen so wie der Kurs fortschreitet.

• 15. KW: 12.04.2012: Vorlesungsteil 01 (Einleitung, Schwellenwertelemente)
• 16. KW: 19.04.2012: Vorlesungsteil 02 (Allgemeine Neuronale Netze)
• 17. KW: 26.04.2012: Vorlesungsteil 03 (Mehrschichtige Perzeptren) (aktualisierte Folie 15)
• 18. KW: 03.05.2012: Vorlesungsteil 04 (Training von mehrschichtigen Perzeptren) (erweiterte Version)
• 19. KW: 10.05.2012: Vorlesungsteil 05 (Radiale-Basis-Funktions-Netze) (erweiterte Version)
• 20. KW: 17.05.2012: Lehrveranstaltungsausfall aufgrund von Christi Himmelfahrt
• 21. KW: 24.05.2012: Vorlesungsteil 06 (Lernende Vektorquantisierung, Selbstorganisierende Karten)
• 22. KW: 31.05.2012: Vorlesungsteil 07 (Hopfield-Netze)
• 23. KW: 07.06.2012: Lehrveranstaltungsausfall aufgrund einer Dienstreise
• 24. KW: 14.06.2012: Lehrveranstaltungsausfall aufgrund einer Dienstreise
• 25. KW: 21.06.2012: Vorlesungsteil 08 (Rekurrente Neuronale Netze)
• 26. KW: 28.06.2012: Vorlesungsteil 09 (Support-Vektor-Maschine)
• 27. KW: 05.07.2012: Vorlesungsteil 10 (Neuro-Fuzzy-Systeme) (überarbeitete Version)
• 28. KW: 12.07.2012: Vorlesungsteil 11 (Spiking Neural Networks)

Übungsblätter

Die Sammlung von Übungsblättern wird hier wöchentlich erweitert.

• 16. KW: 01. Übungsblatt zum 16.04.2012 (Schwellenwertelemente)
• 17. KW: 02. Übungsblatt zum 23.04.2012 (Netze und Training von Schwellenwertelementen)
• 18. KW: 03. Übungsblatt zum 30.04.2012 (Aktualisierungsreihenfolge, Funktionsapproximation)
• 19. KW: 04. Übungsblatt zum 07.05.2012 (Methode der kleinsten Quadrate, Logistische Regression)
• 20. KW: 05. Übungsblatt zum 14.05.2012 (Aktivierungsfunktionen, Gradientenabstieg, Radiale-Basisfunktionen-Netze)
• 21. KW: 06. Übungsblatt zum 21.05.2012 (Radiale-Basisfunktionen-Netze, Funktionsapproximation)
• 22. KW: Lehrveranstaltungsausfall am 28.05.2012 aufgrund von Pfingsmontag
• 23. KW: Lehrveranstaltungsausfall am 04.06.2012 aufgrund einer Dienstreise
• 24. KW: Lehrveranstaltungsausfall am 11.06.2012 aufgrund einer Dienstreise
• 25. KW: 07. Übungsblatt zum 18.06.2012 (Wettbewerbslernen / Lernende Vektorquantisierung, Selbstorganisierende Karten)
• 26. KW: 08. Übungsblatt zum 25.06.2012 (Hopfield-Netze)
• 27. KW: 09. Übungsblatt zum 02.07.2012 (VC-Dimension, Optimale Hyperebene, Kernel-Trick, Support-Vektor-Maschine)
• 28. KW: 10. Übungsblatt zum 09.07.2012 (Laborübung, zusätzliche Infos zum SNNS )

Zusätzliche Unterlagen

An dieser Stelle finden Sie zusätzliche Unterlagen zur Vorlesung und zu den Übungen.

• Die Iris-Daten
• Programme zur Visualisierung des Trainings von mehrschichtigen Perzeptren durch Fehlerrückpropagation: xmlp/wmlp
• Programme zur Visualisierung der lernenden Vektorquantisierung: xlvq/wlvq
• Programme zur Visualisierung des Trainings selbstorganisierender Karten: xsom/wsom
• Programme zur Visualisierung von Hopfield-Netzen als assoziativer Speicher: xhopf/whopf

Literatur

• R. Kruse, C. Borgelt, F. Klawonn, C. Moewes, G. Ruß und M. Steinbrecher (2011). Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Vieweg+Teubner-Verlag, Wiesbaden. (Buch bei Vieweg+Teubner, Buch bei amazon.de)
• D. Nauck, C. Borgelt, F. Klawonn und R. Kruse (2003). Neuro-Fuzzy-Systeme: Von den Grundlagen Neuronaler Netze zu modernen Fuzzy-Systemen. 3. Aufl., Vieweg-Verlag, Wiesbaden. (Buch bei amazon.de)
• R. Rojas (1993). Theorie der neuronalen Netze: Eine systematische Einführung. Springer, Berlin.
• A. Zell (1994). Simulation neuronaler Netze. Addison-Wesley, Bonn.
• S. Haykin (1994). Neural Networks: A Comprehensive Foundation. Prentice-Hall, Upper Saddle River, NJ, USA.
• FAQ der Newsgroup comp.ai.neural-nets: ftp://ftp.sas.com/pub/neural/FAQ.html
• D. Kriesel (2007). Ein kleiner Überblick über Neuronale Netze. Erhältlich auf http://www.dkriesel.com.

Support Vector Machines und Kernel Methods:

• N. Cristianini und J. Shawe-Taylor (2000). An Introduction to Support Vector Machines. Cambridge University Press, Cambridge, UK. (führt kurz und gut in die Theorie und Optimierungsalgorithmen der SVMs ein, beschreibt weitere Kernel-Methoden, diskutiert praktische Anwendungen, ideal für Anfänger)
• J. Shawe-Taylor und N. Cristianini (2004). Kernel Methods for Pattern Analysis. Cambridge University Press, Cambridge, UK. (Fokus dieses Buches der selben Autoren: Kernel-Methoden, Anwendung des Kernel-Tricks und deren Implementierung, nichts für Laien)
• B. Schölkopf und A. J. Smola (2002). Learning with Kernels. MIT Press, Cambridge, MA, USA. (Die Bibel der Kernel-Methoden, teilweise auch als Einstieg nützlich)

Statistische Lerntheorie:

• T. Hastie, R. Tibshirani und J. Friedman (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2. Aufl., Springer, New York City, NY, USA. (diskutiert eine sehr große Bandbreite an Statistischen Lernmethoden, Übungsaufgaben inklusive, ideal für verschiedenste Vorlesungen in den Bereichen Data Mining, Machine Learning und Intelligent Data Analysis, Buch frei als PDF von der Website erhältlich)

Spiking Neural Networks:

• W. Gerstner und W. Kistler (2002). Spiking Neuron Models. Cambridge University Press, Cambridge, UK. (sehr gute Einführung in die Modellierung und Analyse von Spiking Neural Networks)

Verweise auf andere Webseiten

• Otto-von-Guericke-Universität Magdeburg
• Fakultät für Informatik
• Institut für Wissens- und Sprachverarbeitung
• Arbeitsgruppe Computational Intelligence
• Andere Lehrveranstaltungen unserer Arbeitsgruppe