Prior knowledge in Kernel methods

Alexei Pozdnoukhov
2006
This thesis explores approaches towards learning with kernel methods using prior knowledge. Invariant learning with kernel methods is considered in more details. In the first part of the thesis, kernels are developed which incorporate prior knowledge on invariant transformations. Next, algorithms which specifically include prior knowledge are considered. An algorithm which linearly classifies distributions by their domain was developed. In the last part of the thesis, the use of unlabelled data
more » ... as a source of prior knowledge is considered. The technique of modelling the unlabelled data with a graph is taken as a baseline from semi-supervised manifold learning. For classification problems, we use this apporach for building graph models of invariant manifolds. For regression problems, we use unlabelled data to take into account the inner geometry of the input space. Version Abrégée L'apprentissage automatique est un domaine actif de l'informatique moderne. Il s'agit d'extraire et d'estimer des dépendances à partir de données empiriques. Ce domaine est à l'intersection des statistiques, de la théorie de l'optimisation et de l'intelligence artificielle. Sur des tâches pratiques, le but général de l'apprentissage automatique est de construire, à partir d'un ensemble d'exemples, des algorithmes capables de généraliser, c'est-à-dire de prédire dans des situations inconnues auparavant. A partir d'une information finie, l'apprentissage automatique permet d'extraire des connaissances, de les décrire, d'expliquer et de prédire à partir de données connues. Les méthodes à base de noyau forment l'une des branches les plus fructueuses de l'apprentissage automatique. Elles permettent d'appliquer des algorithmes linéaires, dont les propriétés sont bien connues, aux problèmes non-linéaires du monde réel. Les Machines à Vecteurs de Support (SVM) sont un exemple bien connu de méthodes à base de noyau. On les trouve aujourd'hui dans un large éventail d'applications d'analyse de données. Dans de nombreuses applications pratiques, une connaissance a priori est disponible. Ce peut être une connaissance du domaine des données, de l'invariance par certaines transformations, de la structure géométrique interne aux données, de propriétés spécifiques aux processus sous-jacents, etc. Utilisées intelligemment, ces informations peuvent amener des améliorations significatives à n'importe quel algorithme de traitement des données. Il est donc important de développer des méthodes pour incorporer cette connaissance a priori dans les modèles dérivés des données. L'objectif principal de cette thèse est d'utiliser la connaissance a priori dans les méthodes à base de noyau. Une attention particulière est portée à l'apprentissage d'invariance avec les méthodes à base de noyau. La première partie de cette thèse propose des noyaux qui incorporent la connaissance à priori de transformations invariantes. Ces noyaux sont utilisables lorsque les transformations en question produisent un objet autour de chaque échantillon, en supposant que tous les points d'un tel objet appartiennent à la même classe. Différents types d'objets sont considérés, dont des objets géométriques "durs", et des distributions. Ces noyaux sont alors appliqués à la classification d'images avec les SVM. Ensuite, des algorithmes qui incluent la connaissance a priori de fa con spécifique sont considérés. Un algorithme est proposé qui classifie, de fa con linéaire, les distributions suivant leur domaine. Il permet d'appliquer les méthodes à base de noyau pour résoudre des problèmes non-linéaires. De cette fa con, il combine le pouvoir discriminatif des SVM avec la structure bien développée des modèles génératifs. Il peut être appliqué à de nombreuses tâches réelles, dès lors qu'elles incluent des données représentées par des distributions. La dernière partie de cette thèse considère l'usage de données sans label, comme source iii iv IDIAP-RR 06-66 de connaissance a priori. Comme méthode de base, nous nous inspirons de l'apprentissage semi-supervisé d'hypersurface, et modélisons les données sans label à l'aide d'un graphe. Pour les problèmes de classification, nous utilisons cette approche pour construire des modéles graphiques d'hypersurfaces invariantes. Pour les problèmes de régression, nous utilisons les données sans label pour prendre en compte la géométrie intrinsèque des données. Pour conclure, dans cette thèse nous développons plusieurs approches pour incorporer une connaissance a priori dans les méthodes à base de noyau. Nous proposons des noyaux invariants pour des algorithmes existants, puis développons de nouveaux algorithmes. Enfin, nous adaptons à l'apprentissage d'invariance une technique utilisée en apprentissage semi-supervisé. Des expériences sont conduites sur des données réelles : reconnaissance optique de caractères, classification d'images faciales, interfaces cerveau-machine, ainsi que sur plusieurs tests de références et sur des données synthétiques. Mots-clés: apprentissage automatique, méthodes à noyaux, machines a vecteurs de support, invariances, apprentissage de varietés et semi-supervisé, données non-labellées
doi:10.5075/epfl-thesis-3606 fatcat:i3yeihhpyrflblca7fvgsolbia