This lecture is only available in German.
Druckansicht

Vorlesung Neuronale Netze

Sommersemester 2015

Neuigkeiten

Die Nachklausur des Wintersemester 15/16 ist korrigiert, die Ergebnisse finden Sie im LSF. Die Klausureinsicht findet am Montag, dem 07. März 2016 von 9Uhr bis 11 Uhr in Raum G29-013 statt.
Die Klausur ist korrigiert, die Ergebnisse finden Sie im LSF. Die Klausureinsicht findet am Freitag, dem 16. Oktober 2015 von 9Uhr bis 11 Uhr in Raum G29-036 statt.
Details zur Prüfung am 29.07.2015 sind jetzt verfügbar. Der voraussichtliche Klausutermin ist der 29.07.2015, von 08:00 bis 10:00 Uhr in Hörsaal 6 (Gebäude 44)
Die Vorlesungsfolien der Vorlesungsteile aller Vorlesungen können nun heruntergeladen werden.

Allgemeines

Auf dieser Seite finden Sie verschiedene Informationen zu der Vorlesung "Neuronale Netze", die im Sommersemester 2015 von Christoph Doell an der Otto-von-Guericke-Universität Magdeburg gehalten wird. Diese Seite wird im Laufe des Semesters aktualisiert.

Inhalte der Vorlesung

(Künstliche) Neuronale Netze werden in vielen Bereichen eingesetzt, z.B. zur Mustererkennung, Klassifikation, Diagnose, Optimierung, Steuerung und in wissensbasierten Systemen. Die wesentlichen Vorteile (Künstlicher) Neuronaler Netze sind ihre Lernfähigkeit und ihre inhärente Parallelität. Die Vorlesung führt in die Grundlagen der (Künstlichen) Neuronalen Netze aus der Sicht der Informatik ein. Lernparadigmen und -algorithmen werden ebenso behandelt wie verschiedene, auf diesen Paradigmen aufsetzende Netzmodelle, z.B. Schwellenwertelemente, mehrschichtige Perzeptren, Radiale-Basisfunktionen-Netze, selbstorganisierende Karten, Hopfield-Netze, rückgekoppelte Netze, Support Vector Machines und Neuro-Fuzzy-Systeme.

zurück zum Seitenanfang

Termine und Räume

	Dozent	Wochentag	Zeit	Raum	Datum	Bemerkung
Vorlesung	C. Doell	mittwochs	17:15 - 18:45 Uhr	G29-307	ab 08.04.2015
Übung	M. Dankel	donnerstags	17:00 - 18:30 Uhr	G05-307	ab 09.04.2015
Übung	A. Dockhorn	montags	11:15 - 12:45 Uhr	G05-221	ab 13.04.2015
Übung	C. Doell	mittwochs	15:15 - 16:45 Uhr	G29-K059	ab 15.04.2015	nur für PNK-Studierende

Jede(r) Studierende, die/der an einer der Übungen teilnehmen will, muss sich über den FIN Registration Service zu einer der Übungen anmelden. Die Anmeldung ist ab sofort bis zum Tag der ersten Übung freigeschaltet. Es wird darum gebeten, bei der Registrierung eine E-Mail-Adresse anzugeben, in dessen Posteingang man auch regelmäßig hineinschaut.

Die schriftliche Prüfung wird voraussichtlich am 29.07.2015 von 08:00 bis 10:00 Uhr in Hörsaal 6 (Gebäude 44)stattfinden. Wir bitten darum, mindestens 10 Minuten vor der eigentlichen Prüfung zu erscheinen. Zugelassenes Hilfsmittel, das mitgebracht werden darf, ist ein nichtprogrammierbarer Taschenrechner. Schreibpapier wird gestellt. Mitzubringen sind lediglich

ein Lichtbildausweis (Personalausweis oder Studierendenausweis mit Foto),
Schreibmaterial (Stifte/Füller, die entweder blau oder schwarz schreiben).

Auch Studierende, die einen Leistungsnachweis in Form eines (un)benoteten Scheins benötigen, müssen an dieser Prüfung teilnehmen. Nach der Klausur wird auf dieser Webseite dann auch bekanntgegeben, an welchem Tag Studierenden die Einsicht in die Klausuren gestattet ist.

zurück zum Seitenanfang

Dozenten

Wenn Sie Fragen zur Vorlesung oder zu den Übungen haben, wenden Sie sich bitte (wenn möglich, per E-mail) an:

Christoph Doell M. Sc., doell@iws.cs.uni-magdeburg.de
Marco Dankel, B. Sc., marco.dankel@st.ovgu.de
Alexander Dockhorn, B. Sc., alexander.dockhorn@st.ovgu.de

zurück zum Seitenanfang

Schein- und Prüfungskriterien

Ein neues Aufgabenblatt mit schriftlichen Aufgaben und Programmieraufgaben wird jede Woche auf dieser Internetseite veröffentlicht. Die schriftlichen Aufgaben müssen am Beginn einer jeden Übung votiert werden. Durch das Votieren erklärt man, dass man gewillt und in der Lage ist, die Aufgabe und einen Lösungsvorschlag zu erklären und zu präsentieren. (Der vorgeschlagene Ansatz muss nicht vollständig richtig sein. Es muss allerdings klar werden, dass man sich gewissenhaft mit der Aufgabe auseinandergesetzt hat.)

Studierende, die den Kurs mit einer Prüfung oder einem benoteten Schein beenden wollen, müssen

regelmäßig und gut in den Übungen mitarbeiten,
mindestens die Hälfte der schriftlichen Aufgaben votieren,
mindestens zweimal eine Lösung zu einer schriftlichen Aufgabe während der Übung präsentieren,
schließlich eine schriftliche Prüfung nach dem Kurs bestehen.

Das Bestehen der schriftlichen Prüfung ermöglicht ebenfalls den Erhalt eines unbenoteten Scheines falls ein solcher von einer/einem Studierenden anstatt der Prüfung erwünscht wird.

Studierende der Philosophie-Neurowissenschaften-Kognition, die den Kurs mit einer Prüfung oder einem benoteten Schein beenden wollen, müssen zusätzlich zum oben erwähntem Pensum

bei mehr als 5 Studierenden: aktiv an einer zusätzlichen Übung teilnehmen,
bei 5 oder weniger Studierenden: eine Semesteraufgabe bearbeiten. Hierbei muss jeder Studierende eine anspruchsvolle, praxisbezogene Aufgabe bearbeiten. Dazu gehören Literaturrecherche, Zwischenpräsentation, Programmieren, Evaluieren und Dokumentieren (inkl. einer schriftlichen Ausarbeitung) sowie einem Abschlussvortrag.

Während die Übung in diesem Semester besucht werden muss, kann die Semesteraufgabe auch im darauf folgenden Semester bearbeitet werden.

zurück zum Seitenanfang

Voraussetzungen

Sie müssen nicht, aber Sie sollten Hintergrundwissen verfügen über

Algorithmen und Datenstrukturen,
Programmierung und Modellierung,
Mathematik I bis IV.

zurück zum Seitenanfang

Folien aus der Vorlesung

Die Folien der Vorlesung werden rechtzeitig hochgeladen so wie der Kurs fortschreitet.

15. KW: 08.04.2015: Vorlesungsteil 01 (Einleitung, Schwellenwertelemente)
16. KW: 14.04.2014: Vorlesungsteil 02 (Allgemeine Neuronale Netze) Vorlesungsteil 03 (Mehrschichtige Perzeptren)
17. KW: 22.04.2015: Vorlesungsteil 04 (Training von MLPs)
18. KW: 29.04.2015: Vorlesungsteil 05 (Radiale-Basis-Funktions-Netze)
19. KW: 06.05.2015: Die Vorlesung findet nicht statt.
20. KW: 13.05.2015: Vorlesungsteil 06 (Lernende Vektorquantisierung, Selbstorganisierende Karten)
22. KW: 27.05.2015: Vorlesungsteil 07 (Hopfield-Netze)
23. KW: 03.06.2015: Vorlesungsteil 08 (Rekurrente Neuronale Netze)
24. KW: 10.06.2015: Vorlesungsteil 09 (Support-Vektor-Maschine)
25. KW: 17.06.2015: Vorlesungsteil 11 (Spiking Neural Networks)
26. KW: 24.06.2015: Vorlesungsteil 13 (Deep Learning)
28. KW: 08.07.2015: Fragenvorlesung. Größere Fragen senden Sie bitte vorher per Mail an einen der Dozenten.

zurück zum Seitenanfang

Übungsblätter

Die Sammlung von Übungsblättern wird hier wöchentlich erweitert.

allgemeine Hinweise zu den Übungsblättern und zum Ablauf der Übungen
16. KW: 01. Übungsblatt zum 13./16.04.2015 (grundlegende Mathematik)
17. KW: 02. Übungsblatt zum 23./27.04.2015 (Schwellenwertelemente)
18. KW: 03. Übungsblatt zum 30.04./04.05.2015 (Netze von Schwellenwertelementen)
19. KW: 04. Übungsblatt zum 07./11.05.2015 (Aktualisierungsreihenfolge, Funktionsapproximation)
21. KW: 05. Übungsblatt zum 18.05./21.05.2015 (Regression)
22/23. KW: 06. Übungsblatt zum 28.05./01.06.2015 (Gradientenabstieg)
24. KW: 07. Übungsblatt zum 04.06./08.06.2015 (Radiale Basisfunktionen-Netze)
25. KW: 08. Übungsblatt zum 11./15.06.2015 (Radiale Basisfunktionen-Netze)
26. KW: 09. Übungsblatt zum 18./22.06.2015 (Wettbewerbslernen / Lernende Vektorquantisierung, Selbstorganisierende Karten, Hopfield-Netze)
27. KW: 10. Übungsblatt zum 25./29.06.2014 (Hopfield-Netze, Support Vector Maschine)

zurück zum Seitenanfang

Übungsblätter der Übung für Studierende des Bereichs Philosophie-Neurowissenschaften-Kognition (PNK)

Die Sammlung von Übungsblättern für PNK-Studenten wird hier wöchentlich erweitert.

16. KW: 01. Übungsblatt zum 22.04.2015 (Boole'sche Ausdrücke und Programmiervorbereitung)
17. KW: 02. Übungsblatt zum 29.04.2015 (Algorithmisches Denken und Programmiergrundlagen)
18. KW: 03. Übungsblatt
22. KW: 04. Übungsblatt zum 03.06.2015
24. KW: 05. Übungsblatt zum 24.06.2015 (Die Klasse der Neuronalen Netze)

zurück zum Seitenanfang

Zusätzliche Unterlagen

An dieser Stelle finden Sie zusätzliche Unterlagen zur Vorlesung und zu den Übungen.

4-dimensionales Zweiklassenproblem
Die Iris-Daten
Programme zur Visualisierung des Trainings von mehrschichtigen Perzeptren durch Fehlerrückpropagation: xmlp/wmlp
Programme zur Visualisierung der lernenden Vektorquantisierung: xlvq/wlvq
Programme zur Visualisierung des Trainings selbstorganisierender Karten: xsom/wsom
Programme zur Visualisierung von Hopfield-Netzen als assoziativer Speicher: xhopf/whopf

zurück zum Seitenanfang

Literatur

R. Kruse, C. Borgelt, F. Klawonn, C. Moewes, M. Steinbrecher und P. Held. (2013). Computational Intelligence: A Methodological Introduction. Springer-Verlag, Berlin/Heidelberg. (Buch bei Springer, Buch bei amazon.de)
R. Kruse, C. Borgelt, F. Klawonn, C. Moewes, G. Ruß und M. Steinbrecher (2011). Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Vieweg+Teubner-Verlag, Wiesbaden. (Buch bei Vieweg+Teubner, Buch bei amazon.de)
D. Nauck, C. Borgelt, F. Klawonn und R. Kruse (2003). Neuro-Fuzzy-Systeme: Von den Grundlagen Neuronaler Netze zu modernen Fuzzy-Systemen. 3. Aufl., Vieweg-Verlag, Wiesbaden. (Buch bei amazon.de)
R. Rojas (1993). Theorie der neuronalen Netze: Eine systematische Einführung. Springer, Berlin.
A. Zell (1994). Simulation neuronaler Netze. Addison-Wesley, Bonn.
S. Haykin (1994). Neural Networks: A Comprehensive Foundation. Prentice-Hall, Upper Saddle River, NJ, USA.
FAQ der Newsgroup comp.ai.neural-nets: ftp://ftp.sas.com/pub/neural/FAQ.html
D. Kriesel (2007). Ein kleiner Überblick über Neuronale Netze. Erhältlich auf http://www.dkriesel.com.

Support Vector Machines und Kernel Methods:

N. Cristianini und J. Shawe-Taylor (2000). An Introduction to Support Vector Machines. Cambridge University Press, Cambridge, UK. (führt kurz und gut in die Theorie und Optimierungsalgorithmen der SVMs ein, beschreibt weitere Kernel-Methoden, diskutiert praktische Anwendungen, ideal für Anfänger)
J. Shawe-Taylor und N. Cristianini (2004). Kernel Methods for Pattern Analysis. Cambridge University Press, Cambridge, UK. (Fokus dieses Buches der selben Autoren: Kernel-Methoden, Anwendung des Kernel-Tricks und deren Implementierung, nichts für Laien)
B. Schölkopf und A. J. Smola (2002). Learning with Kernels. MIT Press, Cambridge, MA, USA. (Die Bibel der Kernel-Methoden, teilweise auch als Einstieg nützlich)

Statistische Lerntheorie:

T. Hastie, R. Tibshirani und J. Friedman (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2. Aufl., Springer, New York City, NY, USA. (diskutiert eine sehr große Bandbreite an Statistischen Lernmethoden, Übungsaufgaben inklusive, ideal für verschiedenste Vorlesungen in den Bereichen Data Mining, Machine Learning und Intelligent Data Analysis, Buch frei als PDF von der Website erhältlich)

Spiking Neural Networks:

W. Gerstner und W. Kistler (2002). Spiking Neuron Models. Cambridge University Press, Cambridge, UK. (sehr gute Einführung in die Modellierung und Analyse von Spiking Neural Networks)

zurück zum Seitenanfang

Verweise auf andere Webseiten

zurück zum Seitenanfang