Direkt zum Inhalt | Direkt zur Navigation

Eingang zum Volltext

Lizenz

Bitte beziehen Sie sich beim Zitieren dieses Dokumentes immer auf folgende
URN: urn:nbn:de:bsz:25-opus-84544
URL: http://www.freidok.uni-freiburg.de/volltexte/8454/


Zhang, Dapeng

Switching Attention Learning

Dokument1.pdf (9.516 KB) (md5sum: 374c7079c5852a25f566d0803f5966cc)

Kurzfassung in Deutsch

Lernen ist für Computer und Menschen gleichermaßen eine wichtige Methode, um unbekannte Informationen zu gewinnen. In spielerischen Wettbewerben können sich Menschen verbessern, indem sie eine Reihe von Lernprozessen verbinden: andere Spieler beobachten und imitieren; sich selbst in einer bestimmten Fertigkeit schulen; eine neue Fertigkeit finden und diese erneut üben. Im Maschinellen Lernen werden verschiedene Lernmethoden entwickelt. Diese Methoden werden normalerweise zu verschiedenen Zwecken isoliert. Die Verbesserungen, welche die Methoden erzielen können, sind auf die Wirkungen eines einzelnen Modells beschränkt, welches unweigerlich von der vorgegebenen Struktur des Modells eingeschränkt ist. Dies motiviert die Konstruktion eines systematischen Lernmechanismus, bei dem mehrere Lerner kombiniert und die Einschränkungen abgeschwächt werden können.
Mit den Details befassen sich die ersten drei Teile der vorliegenden Dissertation.

Im ersten Teil wird der Begriff des Switching Attention Learning (SAL) definiert. Die Grundidee ist, dass Verbesserungen eines Modells im System den “Raum der Verbesserungen” der anderen Modelle vergrößern. Wenn die Eingaben eines Lerners aus den Ausgaben eines anderen Lerners kommen und diese Relation einen Zyklus bildet, dann kann der “Raum der Verbesserungen” bedeutend vergrößert werden, indem man über die Lerner in dem Zyklus iteriert. Dies verallgemeinert bestehende Forschungsarbeiten aus
dem Bereich des halb-überwacht Lernens und des Boosting in zweierlei Hinsicht:
Es ist nicht nötig, dass sowohl “labeled” als auch “unlabeled” Daten zum Lernen verwendet werden; SAL stellt einen Rahmen für das systematische Lernen bereit, bei dem die Komponenten unterschiedlicher Schichten in einem System verbunden werden können. SAL wird im Zusammenhang mit spielerischen Wettbewerben untersucht. Um SAL zu testen, werden zwei Tauglichkeitstests basierend auf Tischfußball und Tetris entwickelt.

Im zweiten Teil beschreiben wir unsere Arbeit über Tischfußball. Tischfußball ist ein Spiel, das sowohl von Menschen als auch von Robotern gespielt werden kann. Wir haben ein Aufzeichnungsgerät für Tischfußball, KiRe, konstruiert, um es einem Computer zu erlauben, auf die Spieldaten der menschlichen Spieler zuzugreifen. Um die aufgezeichneten Daten zu erklären, wird eine Methode initialisiert, die Conditional Random Fields (CRFs) verwendet.
Im Rahmen von SAL wurden CRFs in einer Simulation untersucht. Mehrere Lerner wurden für die Merkmasinduktion in CRFs entwickelt. Diese können verwendet werden, um eine Warteschlange von CRF-Modellen (die CRF-Queue) zu lernen. Außerdem wurde eine neue Methode zur Merkmalsreduktion in den Induktionsprozess integriert. Er kann die für das Lernen benötigte Zeit signifikant verringern. Schließlich wird die Möglichkeit diskutiert, diese Methode auf den echten Daten von KiRe einzusetzen.

Im dritten Teil wird Tetris als zweiter Tauglichkeitstest untersucht. Tetris ist seit vielen Jahren eines der beliebtesten Computerspiele. Das Ein-Spieler-Tetrisspiel wurde bereits von vielen Forschern als Tauglichkeitstest verwendet.
Wir haben eine Plattform für Wettbewerbe entwickelt, welche auf einem quelloffenen Projekt aufbaut: KDE. Mehrere Lerner wurden gemäß SAL entwickelt. Sie verwenden Supportvektormaschinen und Lernen durch Imitation. Sie können zusammenwirken, um einen KI-Spieler zu konstruieren. Der dabei entstandene Spieler hat die Chance, den weltbesten bekannten künstlichen Spieler zu besiegen. Darüber hinaus kann er immer stärkere Spieler erkennen und imitieren.

Switching Attention Learning wird definiert und diskutiert.Wir gehen auf die Vorzüge ebenso ein wie auf die damit verbundenen Schwierigkeiten, entwickeln zwei Tauglichkeitstests, und zeigen in den Experimenten, dass SAL ein praktikabler und systematischer Zugang zum Lernen in spielerischenWettbewerben ist.


Kurzfassung in Englisch

Learning is an important way to acquire unknown information for both computer and human. In game competitions, humans can improve themselves by combining a series of learning processes: observing and imitating others; training oneself forin a certain skill; finding a new skill and training again. In machine learning, various learning methods are developed. These methods are normally isolated for different purposes. The improvements the methods can achieve are limited to the effects of a single model, which is inevitably constrained by the prior structure of the model. Therefore, building a systematic learning mechanism is motivated, whereby multiple learners can be combined, and the constrains can be relaxed. The details are addressed in the first three parts in this dissertation.

In the first part, Switching Attention Learning (SAL) is defined. The basic idea is that improving one model in the system generates more “improvement space” for the others. If the inputs of one learner come from the outputs of another, and if this relation forms a loop, the “improvement space” can be significantly enlarged by iterating over the learners in the loop. This generalizes the existing research in semi-supervised learning and boosting approaches in two aspects: It is not necessary that both labeled and unlabeled data are involved in the learning; SAL provides a framework of systematic learning, whereby the components of different layers in a system can be connected. SAL is studied in the context of game competitions. In order to test SAL, two test-beds based on table soccer and Tetris were developed.

In the second part, we explain our work on table soccer. Table soccer is a physical game that can be played by both humans and robots. We built a table soccer game recorder, KiRe, so that a computer can access the game data of the human players. To explain the recorded data, a method employing Conditional Random Fields (CRFs) is initialized. Using the SAL framework, we studied CRFs in a simulation. Several learners were developed for the feature induction of CRFs. They can be used to learn a queue of CRFs models (CRF queue) over iterations. CRF queue guarantees no worse results than a single model. Besides, a novel feature reduction step was integrated in the induction process. It can significantly reduce the required time in the learning.
Finally, the possibility of using this method on the real data from KiRe is discussed.

In the third part, Tetris is studied as the second test-bed. Tetris has been one of the most popular computer games for many years. The single Tetris game has been used as a test-bed by many researchers. We developed a platform for competitions. The platform is based on an open source project – KDE. Several learners were developed according to the SAL framework. Support
Vector Machines and learning by imitation are employed in these learners. They can work together to build an AI player. The player has a chance to defeat the best known artificial player in the world. In addition, it can always find and imitate better players.

Switching Attention Learning is defined and discussed. We address the advantages as well as problems of SAL, develop two test beds, and show in the experiments that SAL is a practical and systematic approach for the learning in game competitions.


SWD-Schlagwörter: Switching Attention Learning, learning paradigm, imitation learning, machine learning, computer games
Freie Schlagwörter (englisch): Switching Attention Learning, learning paradigm, imitation learning, machine learning, computer games
Institut: Institut für Informatik
Fakultät: Technische Fakultät (bisher: Fak. f. Angew. Wiss.)
DDC-Sachgruppe: Informatik
Dokumentart: Dissertation
Erstgutachter: Nebel, Bernhard (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 12.09.2011
Erstellungsjahr: 2011
Publikationsdatum: 01.02.2012
Indexliste