Direkt zum Inhalt | Direkt zur Navigation

Eingang zum Volltext

Lizenz

Bitte beziehen Sie sich beim Zitieren dieses Dokumentes immer auf folgende
URN: urn:nbn:de:bsz:25-opus-77875
URL: http://www.freidok.uni-freiburg.de/volltexte/7787/


Gürel, Tayfun

Adaptive functional modeling of neural activity: a reservoir computing approach to neuronal cultures

Adaptive funktionelle Modellierung neuronaler Aktivität: ein Reservoir-Computing Ansatz zu neuronalen Zellkulturen

Dokument1.pdf (2.784 KB) (md5sum: 4a58490b9a93d99027cddfd337e12b2a)

Kurzfassung in Englisch

Biological neural networks (BNN) are very rich and complex in terms of structure and spatiotemporal activity patterns. This complexity does not allow to directly relate their anatomical and biophysical properties to the dynamics of their electrical activity. Functional relevance of their structure and dynamics is also difficult to track analytically. The focus of this thesis is the development of adaptive computing tools, i.e. learning algorithms, for functional modeling of BNNs.

Mammalian cortical cells can be dissociated from the brain and regrown outside of the body. They form in vitro closed system networks. To study functional modeling of BNNs, we utilize dissociated cultures of cortical neurons as reference BNNs. The anatomy in the brain is not anymore conserved in cultured networks, hence their connectivity does not reflect the structure in the brain. Neuronal cultures also do not have natural functions. Thus, we approach to functional modeling in neuronal cultures by investigating two problem settings:

1) We first regard the input-output relation of a BNN as a very detailed characterization of its function and model its response streams to input streams. We describe this approach as functional identification of a BNN, i.e. building an artificial system that is functionally equivalent to the reference BNN.

2) We regard the self-organized temporal activity patterns in cultures, i.e. dynamic attractors, as characteristics of their functions, as it has been argued that spatiotemporal patterns and dynamic attractors in in vivo brains reflect functionally relevant brain states. Here, we model the temporal activity patterns in the cultures based on a single cue signal that reflects the initial onset of the temporal pattern. Based on a cue signal, the model simulates the temporal pattern that the neuronal culture undergoes.

We employ reservoir computing as a framework, which is argued to be a generic network model for cortical information processing. More specifically, we use Echo State Networks (ESN) of leaky integrator neurons. There have been efficient learning algorithms for ESNs that work on continuous valued time varying signals. For task 1, we take a point process framework rather than a continuous valued signal approach. Using feed-forward and recurrent reservoirs, we adapt the existing ESNs algorithms for point process data and develop their extensions for reservoir adaptation. The proposed algorithm learns predictive models of input-output relations. Receiver Operating Characteristic (ROC) curve and cross correlation analyses indicate that our ESN models can imitate the response signal of a reference biological network for random pulse train inputs. Moreover, point process based reservoir adaptation improves the performance of an ESN over readout-only training methods in many cases. This also holds for adaptive feed-forward reservoirs, which have no recurrent dynamics. Indeed, we show that feed-forward reservoirs perform significantly better than recurrent reservoirs for some of the subtasks.

For task 2, we employ an Echo State Network (ESN) with leaky integrator neurons as a modeling tool. A simple readout training approach yields a predictive model of the temporal activity pattern in the global firing rate. The initial state at the pattern onset is used as a cue and the attractor is simulated by the model. The simulated attractor displays a high correlation with the actual one observed in the culture. High correlation measures and successful prediction of attractor-types indicate a good modeling quality. The developed model can also be used for visualizing the underlying structure in the recorded raw data. Investigating the model dynamics reveals multiple types of attractor states in the system.

In addition to functional modeling of neuronal cultures, we show that adaptive computing tools can be used for structural mining of BNNs. We propose the NeuronRank algorithm, which extracts structural features from the connectivity of a BNNs. These structural features are eventually used for predictors of the activity measures in the network. Inspired by the PageRank and the Hubs & Authorities algorithms for networked data, the NeuronRank algorithm assigns a source value and a sink value to each neuron in the network. Distribution over source and sink values can successfully predict average firing rates in the network, as well as the firing rate of output neurons reflecting the network population activity.


Kurzfassung in Deutsch

Biologische neuronale Netze (BNN) sind sehr reich und komplex bezüglich ihrer Struktur und ihren zeitlich-räumlichen Aktivitätsmustern. Diese Komplexität verhindert die unmittelbare Abbildung ihrer anatomischen und biophysikalischen Eigenschaften auf ihre dynamische elektrische Aktivität. Es ist daher nicht ohne weiteres möglich die funktionelle Relevanz ihrer Struktur für die Aktivitätsdynamik analytisch herauszufinden. Der Schwerpunkt dieser Doktorarbeit ist die Entwicklung von Adaptive-Computing-Tools, d.h. Lernalgorithmen, zur funktionellen Modellierung der BNN.

Kortikale Zellen mancher neugeborenen Säugetiere, in der vorliegenden Arbeit von Ratten, können aus dem Gehirn isoliert werden und in Zellkulturen neuronale Netze ausbilden, die als geschlossene Systeme betrachtet werden können. Zur funktionellen Modellierung von BNN verwenden wir also Kulturen von kortikalen Neuronen als Bezugsprofile der BNN. Die Anatomie des Gehirns ist in den neuronalen Kulturen nicht erhalten, infolgedessen spiegelt deren Konnektivität nicht die Struktur im Gehirn wider, die grundlegenden Eigenschaften der Neurone und die Bedingungen für die Netzwerkbildung bleiben jedoch erhalten. Da diese BNNs keine inhärente Funktion haben, erfolgte die funktionelle Modellierung von folgenden zwei Aufgabenstellungen aus:

1)Wir betrachten die Input-Output-Relation eines BNN als sehr detaillierte Charakteristik seiner Funktion und beschreiben sie auf der Basis abstrakter Modelle bzw. Algorithmen mit ausreichend vielen freien Parametern. Wir bezeichnen diesen Ansatz als funktionelle Identifizierung eines BNN, d.h. Erstellen eines künstlichen Systems, das funktionell äquivalent zu dem ursprünglichen BNN ist.

2) Wir betrachten selbstorganisierende zeitliche Aktivitätsmuster in den Kulturen, z.B. dynamische Attraktoren, als Charakteristik ihrer Funktionen, denn es wurde oft postuliert, dass zeitlich-räumliche Muster und insbesondere dynamische Attraktoren in intakten Gehirnen funktionell relevante Zustände repräsentieren. In dieser Arbeit modellieren wir die zeitlichen Aktivitätsmuster in den Kulturen basierend auf einem Schlüsselkriterium. Ausgehend davon simuliert unser Modell die zeitlichen Aktivitätsmuster, die sich in der Kultur entwickeln.

Als Gerüst verwenden wir Reservoir-Computing, das von früheren Autoren als ein generisches Modell für kortikale Informationsverarbeitung vorgeschlagen wurde. Namentlich benutzen wir Echo-State-Netze (ESN) mit Leaky-Integrator-Neuronen. Für ESN gibt bereits effiziente Lernalgorithmen, die auf zeitlich variablen Signalen mit kontinuierlichem Wertebereich gut funktionieren. Zur Behandlung von Punkt 1 oben benutzen wir den Rahmen der Punktprozesse anstatt den der kontinuierlichen Signale. Unter Verwendung von feedforward oder rekurrenten Reservoiren passen wir die bereits vorhandenen Algorithmen an Punktprozessdaten an und erweitern sie für das Reservoir-Training. Der Algorithmus lernt dann prädiktive Modelle der Input-Output-Relation. Receiver-Operating-Characteristic-Kurven (ROC-Kurven) und Kreuzkorrelationen zeigen, dass unsere ESN-Modelle die Antwortsignale der BNN auf zufälligen Folge von Eingangspulsen sehr gut imitieren. Darüber hinaus verbessert auf Punktprozessen basierendes Reservoir-Training die ESN-Leistung im Vergleich zu den Readout-Training-Methoden in vielen Fällen. Dies gilt auch für Feedforward-Reservoire, die keine rekurrente Dynamik haben. Wir konnten zeigen, dass Feedforward-Reservoire in einigen Aufgaben signifikant besser als rekurrente Reservoire funktionieren. In der Aufgabenstellung 2 verwenden wir ESNs mit Leaky-Integrator-Neuronen zur Modellierung. Eine einfache Readout-Training-Methode ergibt ein prädiktives Modell für zeitliche Muster der globalen Feuerrate. Der Anfangszustand des zeitlich-räumlichen Musters wird als Schlüsselkriterium benutzt, und der Attraktor wird von dem Modell simuliert. Der simulierte Attraktor weist eine sehr hohe Korrelation mit dem tatsächlich in der Kultur beobachteten Muster auf. Hohe Korrelationen und erfolgreiche Vorhersage der Art des Attraktors belegen die Qualität des Modells. Das gelernte Modell kann auch zum Zweck der Visualisierung der Struktur der Rohdaten verwendet werden. Die Untersuchung der Modelldynamik offenbart mehrere Typen von Attraktoren in dem System.

Zusätzlich zur funktionellen Modellierung der neuronalen Kulturen zeigen wir, dass Adaptive-Computing-Tools auch in der Struktursuche in BNNs genutzt werden können. Wir stellen den NeuronRank Algorithmus auf, der strukturelle Merkmale der Konnektivität eines BNN extrahiert. Diese werden schließlich als Prädiktoren für die Aktivität angewandt. Inspiriert durch PageRank und Hubs-&-Authorities-Algorithmen für Netzwerkdaten ordnet der NeuronRank Algorithmus jedem Neuron einen Senken- und Quellen-Wert zu. Die Verteilung der Senken- und Quellen-Werte kann sowohl durchschnittliche Feuerraten als auch Ausgangsfeuerraten des BNN
vorhersagen.


SWD-Schlagwörter: Maschinelles Lernen , Neurowissenschaften
Freie Schlagwörter (deutsch): Reservoir-Computing , Neuronale Zellkulturen
Freie Schlagwörter (englisch): Machine Learning , Computational Neuroscience , Reservoir Computing , Neuronal Cell Cultures
PACS Klassifikation 87.19.ll , 87.19.ls , 87.85.dq , 07.05.Mh , 84.35.+i
Institut 1: Institut für Mikrosystemtechnik
Institut 2: Institut für Informatik
Fakultät: Technische Fakultät (bisher: Fak. f. Angew. Wiss.)
DDC-Sachgruppe: Technik
Dokumentart: Dissertation
Erstgutachter: Egert, Ulrich (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 04.11.2010
Erstellungsjahr: 2010
Publikationsdatum: 15.11.2010
Indexliste