Welcome to Randal Douc's wiki

Les thèmes ne sont pas traités dans l'ordre pendant les 15 heures de cours. La durée donnée est indicative.

• Définition de l'Apprentissage Artificiel ; exemples de réalisations
• Un exemple de méthode : les Arbres de Décision
  • Algorithme
  • Commentaires
• Généralités sur les algorithmes d'AA
  • Vocabulaire
  • Convergence, Biais, Variance
• Réglage d'un algorithme d'apprentissage
  • Mesure de l'erreur
  • Ensembles d'Entraînement, de Validation, de Test
  • Validation croisée
• Retour sur les Arbres de Décision : élagage et extensions

• Généralités
  • Apprentissage de règles de classification
  • Principe de l'apprentissage bayésien
• Approche paramétrique
  • Modélisation par gaussiennes
  • Apprentissage bayésien naïf
  • Mélange de gaussiennes et autres distributions : indications
• Approche non paramétrique
  • Plus proches voisins
  • Validité
  • Algorithmes rapides
  • Noyaux de Parzen
  • Allusions à EM et aux SVM

• Régression (rappels si besoin)
  • Régression à une variable
  • Descente de gradient
  • Régression à plusieurs variables
• Classification
  • Classification à seuil
  • Régression logistique
  • Marge et Vecteurs Support (indications)
• Exercices

• Surfaces séparatrices non linéaires
• Architecture d'un réseau multicouche
• Rétropropagation du gradient de l'erreur
• Réseaux auto-encodeurs

• Géométrie en grande dimension
• Algèbre de calcul en grande dimension, liens avec l'apprentissage

• Apprentissage ensembliste : forêts de décision, dopage (boosting), bagging, cascading

• Prise en main de scikit-learn Python
• Essai de plusieurs méthodes et bases de données pour illustrer le surapprentissage et le réglage des méta-paramètres

• Étude et reprogrammation de l'un des deux articles [5],[6]

• [1] S. Russell and P. Norvig. Artificial Intelligence: A Modern Approach, 4th US edition, Pearson, 2020
• [2] S. Russell et P. Norvig. Intelligence artificielle, 4ème édition, Pearson 2021
• [3] V. Barra, A. Cornuéjols, L. Miclet. Apprentissage artificiel, Concepts et algorithmes, 4ème édition, Eyrolles 2021
• [4] S. Shalev-Shwartz, S. Ben-David. Understanding machine learning. From theory to algorithms. Cambridge University Press. First edition 2014 (pdf available)
• [5] T. Yu, Y. Zhang, Z. Zhang, C. De Sa. Understanding Hyperdimensional Computing for Parallel Single-Pass Learning, 2023, Advances in Neural Information Processing Systems 35, 1157-1169 (2023) et arXiv
• [6] P. Neubert, S. Schubert, P. Protzel. An Introduction to Hyperdimensional Computing for Robotics. KI - Künstliche Intelligenz, vol 33, doi 10.1007/s13218-019-00623-z, September 2019