Data mining

Un service carrières veut annoncer aux étudiants le salaire qu’ils peuvent espérer d’après leur moyenne. Une régression se lance en une ligne de code. Les vraies questions sont ailleurs : quelle erreur mesure-t-on, et pourquoi celle-là ? Quelle est la meilleure erreur possible ? Pourquoi le score obtenu sur les données d’apprentissage ment-il ? Et comment savoir si une autre méthode ferait mieux ?

Ce cours ne présente pas un catalogue d’algorithmes. Il donne le cadre qui permet de raisonner sur n’importe lequel : une démarche en dix étapes, la roue du data mining, et les notions théoriques qui disent quand un modèle généralise, c’est-à-dire fonctionne sur toute la population et pas seulement sur l’échantillon. Vous y apprendrez à écrire un problème comme la minimisation d’un risque, à situer votre modèle face au meilleur possible, à arbitrer entre biais et variance, puis à évaluer et comparer des classifieurs selon le coût réel de leurs erreurs.

Objectifs pédagogiques

À la fin de ce cours, vous serez capable de :

• Structurer un projet de data mining avec la roue en dix étapes, et la rapprocher de la méthode CRISP-DM.
• Formuler un apprentissage comme la minimisation d’un risque empirique, en choisissant un espace d’hypothèses et une fonction de perte adaptés.
• Expliquer la machine de Bayes et décomposer l’écart à l’erreur minimale en erreur d’approximation et erreur d’estimation.
• Analyser le dilemme biais-variance, par le calcul et par simulation, et régler la capacité d’un modèle.
• Estimer et comparer des modèles par rééchantillonnage (test, validation croisée, bootstrap), avec des intervalles de confiance.
• Évaluer un classifieur selon le coût des erreurs et détecter des anomalies dans les données.

Prérequis

• Les probabilités : espérance, variance, probabilité conditionnelle et formule de Bayes (cours de Probabilités).
• Les bases de la statistique : estimateur, biais, intervalle de confiance (cours de Statistiques).
• Un peu d’analyse : dérivées et minimisation d’une fonction de plusieurs variables.
• Python avec NumPy et pandas.

Ce cours complète deux autres cours du site, vers lesquels il renvoie pour les algorithmes : Apprentissage automatique (arbres de décision, k plus proches voisins, modèles linéaires, protocole de validation) et Analyse et fouille de données (exploration, partitionnement avec k-means). Les avoir lus aide, mais n’est pas indispensable.

Le plan du cours

Partie 1 · Formuler et apprendre

1. Parcourez la roue du data mining : les dix étapes, de la formulation au déploiement, les 5 V des données, et la correspondance avec CRISP-DM.
2. Transformez une question en minimisation du risque : espace d’hypothèses, fonctions de perte, risque et risque empirique, moindres carrés.
3. Situez votre modèle face à la machine de Bayes : erreur minimale $R^*$, erreurs d’approximation et d’estimation, théorème de Weierstrass.

Partie 2 · Généraliser et évaluer

4. Arbitrez le dilemme biais-variance : biais d’un estimateur, décomposition de l’erreur, simulation, capacité et régularisation.
5. Estimez et comparez par rééchantillonnage : échantillon de test et intervalle de confiance, validation croisée, bootstrap, comparaison de deux approches.
6. Évaluez un classifieur selon le coût des erreurs : matrice de confusion, précision et rappel comme probabilités conditionnelles, ROC et PR face au hasard, seuil fixé par les coûts.
7. Détectez les anomalies : z-score et effet de masque, règles robustes, Isolation Forest et LOF, évaluation sans étiquettes.

Chaque chapitre se termine par un résumé et des exercices corrigés, de difficulté croissante.

D’où vient ce cours

Ce cours reprend l’enseignement de data mining suivi en anglais au RIT (Rochester Institute of Technology, États-Unis), pendant un semestre d’échange de six mois effectué au cours du cycle ingénieur de l’INSA Rennes. Le support officiel n’étant plus accessible, la matière première se limite à des notes personnelles de sept pages. Elles portaient sur :

• la roue du data mining (étapes 0 à 9) et sa version courte en sept éléments, avec l’exemple du salaire prédit à partir du GPA ;
• le risque, le risque empirique et la définition de la généralisation ;
• l’espace d’hypothèses, la machine de Bayes, la décomposition en erreur d’approximation et erreur d’estimation, et le théorème de Weierstrass ;
• le dilemme biais-variance et sa décomposition en régression ;
• l’évaluation d’un classifieur : matrice de confusion, taux d’erreur, précision, rappel, F-score, courbes ROC et précision-rappel, et la question du coût d’un faux négatif à l’hôpital.

Ces notes, prises rapidement, contenaient quelques erreurs qui ont été corrigées ici : la place du carré dans le risque quadratique, le facteur $\frac{1}{n}$ du risque empirique, l’espérance conditionnelle dans la machine de Bayes, les parenthèses du taux d’erreur, l’appellation « théorème d’approximation universelle » donnée au théorème de Weierstrass, et la diagonale de la courbe ROC, qui correspond à tout classifieur aléatoire et pas seulement à un tirage à pile ou face équilibré.

Une part importante du cours est donc reconstituée, et il faut le dire clairement. Les notes donnaient les définitions et les idées, rarement les développements : les démonstrations, les exemples chiffrés, les simulations, les exercices et le code ont tous été écrits pour ce site, à partir de sources standard de l’apprentissage statistique. Sont en particulier des compléments qui ne figuraient pas dans les notes : la méthode CRISP-DM (chapitre 1), l’intervalle de confiance, la validation croisée imbriquée, le bootstrap et la comparaison appariée (chapitre 5, que les notes n’évoquaient que par les mots « rééchantillonnage » et « construction de la confiance »), la régularisation ridge (chapitre 4), le seuil fixé par les coûts et le rôle de la prévalence (chapitre 6), et l’intégralité du chapitre 7 sur la détection d’anomalies. Aucun chiffre de ce cours ne provient d’un travail pratique : les données sont inventées ou simulées, et présentées comme telles.