Objectifs du cours
L'apprentissage (« machine learning » en anglais) a pour objectif l’optimisation, le contrôle et la modélisation de systèmes complexes à partir d’exemples. Son essor récent (début des années 80) est dû à sa réussite dans le traitement des données scientifiques (bioinformatique, astronomie, physique des particules, ...), l'ingénierie (optimisation de procédés industriels, robotique, systèmes complexes, ...), et les services (systèmes d'information, assurance, finance, web sémantique, ...).
Formellement, l'apprentissage recouvre plusieurs objets
d'études mathématiques, statistiques et algorithmiques, parmi lesquels
• Théories de l'apprentissage (surapprentissage et généralisation,
complexité des modèles et des échantillons, régularisation)
• Représentation et structuration des espaces de recherche (analyse
fonctionnelle, noyaux)
• Recherche de solutions (problèmes combinatoires et optimisation
convexe)
• Validation (sélection de modèles, estimation robuste des
performances, validation croisée)
Ce cours vise à faire découvrir l'apprentissage à travers ses applications et les concepts mentionnés ci-dessus. Ce module permettra aux étudiants de mieux extraire et utiliser l'information présente dans les bases de données qu'ils rencontreront inévitablement dans leur vie professionnelle. A son issue, les étudiants seront capables d'identifier les problèmes de prédiction relevant de l'apprentissage statistique et de mettre en œuvre les algorithmes présentés en cours.
Séances
Modalités
d'évaluation
Bibliographie
Le livre de référence le plus simple est
L. Devroye, L. Gyorfi et G. Lugosi, A Probabilistic Theory of
Pattern
Recognition, Springer-Verlag,
1996.
Le cours s'appuie beaucoup sur
L. Gyorfi, M. Kohler, A. Krzyzak et H. Walk, A
Distribution-Free Theory of
Nonparametric Regression,
Springer, 2004
et
S. Boucheron, O. Bousquet et G. Lugosi, Theory of
classification: some
recent advances,
ESAIM Probability & Statistics, 9, 323-375, 2005.
http://www.econ.upf.es/~lugosi/esaimsurvey.pdf
Un livre classique du domaine est
V. Vapnik, The nature of statistical learning theory, 2nd ed.,
Springer-Verlag, 1995.