Transformez une question en minimisation du risque

« Prédire le salaire à partir du GPA » est une phrase. Un ordinateur, lui, a besoin d’un problème mathématique précis : une liste de candidats possibles, un critère pour les départager, et une procédure pour trouver le meilleur. Ce chapitre fait ce passage, qui correspond aux étapes 2 à 5 de la roue : vous allez voir qu’apprendre, dans ce cadre, revient à minimiser un risque.

Nous gardons notre fil rouge : le service carrières d’une université veut prédire le premier salaire annuel $Y$ (en milliers de dollars) d’un diplômé à partir de son GPA $X$ (entre 0 et 4).

Étape 2 : choisir un espace d’hypothèses

Commençons par une remarque vertigineuse. Parmi toutes les façons d’associer un salaire à un GPA, il y en a une infinité : des droites, des courbes, des escaliers, des fonctions qui font n’importe quoi entre 3,1 et 3,2. L’ensemble de toutes les fonctions de $\mathcal{X}$ (les GPA possibles) dans $\mathcal{Y}$ (les salaires possibles) se note $\mathcal{Y}^{\mathcal{X}}$. C’est l’univers des fonctions.

Chercher dans tout cet univers est impossible, et d’ailleurs pas souhaitable (vous verrez pourquoi au chapitre 4). On se restreint donc à une famille, l’espace d’hypothèses (hypothesis space), noté $\mathcal{H}$. Pour commencer, les droites :

$$\mathcal{H} = \big\lbrace f : x \mapsto \beta_0 + \beta_1 x \;\big|\; \beta_0, \beta_1 \in \mathbb{R} \big\rbrace$$

• $\beta_0$ est l’ordonnée à l’origine : le salaire prédit pour un GPA nul (une valeur théorique, que personne n’observera) ;
• $\beta_1$ est la pente : le gain de salaire, en milliers de dollars, pour un point de GPA en plus.

Chaque couple $(\beta_0, \beta_1)$ désigne une hypothèse ; choisir une hypothèse, c’est choisir deux nombres. D’autres espaces sont possibles :

Espace d’hypothèses	Forme	Nombre de paramètres
Constantes	$f(x) = \beta_0$	1
Droites	$f(x) = \beta_0 + \beta_1 x$	2
Polynômes de degré $p$	$f(x) = \sum_{j=0}^{p} \beta_j x^j$	$p + 1$
Moyennes des $k$ plus proches voisins	la moyenne des salaires des $k$ GPA les plus proches	aucun paramètre fixe (non paramétrique)

Choisir $\mathcal{H}$, c’est faire une hypothèse sur la forme de la relation (linéaire ou non). C’est un choix de modélisation, pas un résultat : les données viendront seulement choisir dans $\mathcal{H}$.

Les mêmes six diplômés vus par quatre espaces d'hypothèses. Chaque espace impose sa forme : un palier, une droite, une courbe, un escalier. Les données choisissent seulement la meilleure fonction dans chaque famille.

Attention

Un modèle n’a pas besoin d’être paramétrique. L’espace des « moyennes des $k$ plus proches voisins » est un espace d’hypothèses parfaitement valable, même si l’on ne peut pas le décrire par une liste finie de coefficients. Les k plus proches voisins sont détaillés dans le cours d’Apprentissage automatique.

Étape 3 : mesurer l’insatisfaction avec une perte

Pour départager les hypothèses, il faut dire ce que coûte une erreur. C’est le rôle de la fonction de perte (loss function), notée $\ell(y, f(x))$ : elle mesure l’insatisfaction quand on prédit $f(x)$ alors que la vraie valeur est $y$. Plus elle est grande, plus la prédiction est mauvaise.

Les trois pertes les plus courantes :

Perte	Formule	Usage	Ce qu’elle pénalise
Quadratique ($L_2$)	$(y - f(x))^2$	régression	fortement les grosses erreurs
Absolue ($L_1$)	$\lvert y - f(x) \rvert$	régression robuste	toutes les erreurs proportionnellement
0-1	$1$ si $y \neq f(x)$, $0$ sinon	classification	le fait de se tromper, quelle que soit l’erreur

Mais pourquoi s’embêter ? Toutes ces pertes disent « une erreur, c’est mal ». Bonne question ! Elles ne classent pourtant pas les hypothèses de la même façon, et l’exemple suivant le montre de manière spectaculaire.

La perte quadratique est plus indulgente que la perte absolue pour les écarts inférieurs à 1, mais explose pour les grands écarts. La perte 0-1 ne voit que le fait de se tromper.

Exemple

Prenons l’espace le plus simple, celui des constantes : on prédit le même salaire $c$ pour tout le monde. Sept diplômés déclarent (en milliers de dollars) : 52, 55, 58, 60, 66, 69 et 250 (le dernier a fondé une start-up rachetée, ou s’est trompé d’un zéro).

• Avec la perte quadratique, la meilleure constante est la moyenne : $610 / 7 \approx 87{,}1$.
• Avec la perte absolue, la meilleure constante est la médiane : $60$.

La moyenne prédit 87 000 dollars à des diplômés qui gagnent presque tous entre 52 000 et 69 000. La médiane, elle, ignore presque la valeur extrême. Le choix de la perte a changé la réponse du tout au tout.

Pourquoi la moyenne pour la perte quadratique ? La somme $\sum_i (y_i - c)^2$ est un polynôme de degré 2 en $c$ ; sa dérivée $-2 \sum_i (y_i - c)$ s’annule pour $c = \frac{1}{n}\sum_i y_i$. Pour la perte absolue, la dérivée de $\sum_i \lvert y_i - c \rvert$ (là où elle existe) vaut « nombre de $y_i$ sous $c$ moins nombre de $y_i$ au-dessus de $c$ » : elle s’annule quand $c$ coupe l’échantillon en deux moitiés, c’est-à-dire à la médiane.

Le risque empirique en fonction de la constante c. La parabole de la perte quadratique a son fond à la moyenne (87,1), tirée par le salaire de 250 ; la perte absolue a son minimum à la médiane (60), au milieu des six salaires ordinaires.

À retenir

La fonction de perte traduit ce qui compte pour le métier. Elle n’est pas un détail technique : deux pertes différentes peuvent désigner deux « meilleurs » modèles différents sur les mêmes données.

Étape 4 : le risque et le risque empirique

Une perte juge une prédiction. Pour juger une hypothèse, on regarde sa perte moyenne. Encore faut-il dire : moyenne sur quoi ?

Posons le cadre. On suppose que chaque diplômé est un tirage d’une loi de probabilité inconnue $P_{XY}$, qui décrit la population entière (tous les diplômés passés et futurs, avec leur GPA et leur salaire). Nos données sont $n$ tirages indépendants de cette loi :

$$D_n = \big\lbrace (X_1, Y_1), \dots, (X_n, Y_n) \big\rbrace, \qquad (X_i, Y_i) \sim P_{XY} \text{ indépendants}$$

Le risque (risk) d’une hypothèse $f$ est sa perte moyenne sur toute la population :

$$R(f) = \mathbb{E}\big[\ell(Y, f(X))\big]$$

où $\mathbb{E}$ désigne l’espérance par rapport à un nouveau couple $(X, Y)$ tiré selon $P_{XY}$. Avec la perte quadratique, $R(f) = \mathbb{E}\big[(Y - f(X))^2\big]$ : c’est l’écart quadratique moyen entre le salaire prédit et le salaire réel. On l’appelle aussi erreur réelle, perte espérée (expected loss) ou erreur de généralisation. C’est exactement ce qui nous intéresse : comment l’hypothèse se comportera-t-elle sur les diplômés que nous n’avons pas vus ?

Hélas, $P_{XY}$ est inconnue, donc $R(f)$ ne se calcule pas. On le remplace par sa version calculable, le risque empirique (empirical risk), qui est la perte moyenne sur l’échantillon :

$$\hat{R}_n(f) = \frac{1}{n} \sum_{i=1}^{n} \ell\big(Y_i, f(X_i)\big)$$

Pour les droites et la perte quadratique :

$$\hat{R}_n(\beta_0, \beta_1) = \frac{1}{n} \sum_{i=1}^{n} \big(Y_i - \beta_0 - \beta_1 X_i\big)^2$$

Attention

Deux confusions fréquentes, que l’on retrouvait dans des notes prises en cours :

• Le carré porte sur l’écart : $\mathbb{E}\big[(Y - f(X))^2\big]$, et non $\mathbb{E}\big[Y - f(X)^2\big]$.
• On écrit souvent la somme sans le facteur $\frac{1}{n}$ : c’est la somme des carrés des résidus (SSE, sum of squared errors). Multiplier par une constante positive ne change pas l’endroit du minimum, donc les deux écritures désignent le même meilleur modèle.

Le principe qui consiste à choisir, dans $\mathcal{H}$, l’hypothèse de plus petit risque empirique s’appelle la minimisation du risque empirique (empirical risk minimization, ERM) :

$$\hat{f}_{\mathcal{H}, D_n} = \arg\min_{f \in \mathcal{H}} \hat{R}_n(f)$$

La notation $\hat{f}_{\mathcal{H}, D_n}$ rappelle que la machine apprise dépend de deux choix : l’espace $\mathcal{H}$ (le vôtre) et l’échantillon $D_n$ (celui que le hasard vous a donné). Nous la noterons simplement $\hat{f}$ quand il n’y a pas d’ambiguïté.

Le risque empirique des droites, calculé sur les six diplômés de l'exemple suivant : chaque point du plan est une droite. Minimiser, c'est trouver le fond de cette cuvette. Elle est très allongée, car augmenter la pente en baissant l'ordonnée à l'origine laisse la droite presque inchangée autour du GPA moyen.

Étape 5 : calculer la machine réelle

Place au calcul. Pour minimiser $\hat{R}_n(\beta_0, \beta_1)$, on annule ses dérivées partielles. La dérivée par rapport à $\beta_0$ donne $\sum_i (Y_i - \beta_0 - \beta_1 X_i) = 0$, soit $\beta_0 = \bar{Y} - \beta_1 \bar{X}$. En reportant dans la dérivée par rapport à $\beta_1$, on obtient les moindres carrés (least squares) :

$$\hat{\beta}_1 = \frac{\sum_{i=1}^{n} (X_i - \bar{X})(Y_i - \bar{Y})}{\sum_{i=1}^{n} (X_i - \bar{X})^2}, \qquad \hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}$$

• $\bar{X}$ et $\bar{Y}$ sont les moyennes des GPA et des salaires de l’échantillon ;
• le numérateur de $\hat{\beta}_1$ mesure à quel point GPA et salaire varient ensemble (c’est $n$ fois leur covariance empirique) ;
• le dénominateur mesure la dispersion des GPA ($n$ fois leur variance empirique).

La droite obtenue passe toujours par le point moyen $(\bar{X}, \bar{Y})$.

Exemple

Six diplômés (données inventées pour l’exemple) :

GPA $X_i$	2,4	2,8	3,0	3,3	3,6	3,9
Salaire $Y_i$ (k$)	52	55	60	58	66	69

1. Moyennes : $\bar{X} = 19/6 \approx 3{,}167$ et $\bar{Y} = 360/6 = 60$.
2. Numérateur : $\sum (X_i - \bar{X})(Y_i - \bar{Y}) = 16{,}9$.
3. Dénominateur : $\sum (X_i - \bar{X})^2 \approx 1{,}493$.
4. Pente : $\hat{\beta}_1 = 16{,}9 / 1{,}493 \approx 11{,}32$ ; ordonnée : $\hat{\beta}_0 = 60 - 11{,}32 \times 3{,}167 \approx 24{,}16$.

La machine réelle est donc $\hat{f}(x) \approx 24{,}16 + 11{,}32\,x$. Un point de GPA en plus est associé à environ 11 300 dollars de salaire en plus, et un diplômé à 3,5 de GPA se voit prédire environ $63{,}8$ k$.

Les résidus $Y_i - \hat{f}(X_i)$ valent environ $0{,}68$ ; $-0{,}85$ ; $1{,}89$ ; $-3{,}51$ ; $1{,}10$ ; $0{,}70$. Leur somme des carrés est $\text{SSE} \approx 18{,}74$, d’où un risque empirique $\hat{R}_6 \approx 3{,}12$ (en milliers de dollars au carré). À comparer avec la meilleure constante (la moyenne, 60) : $\text{SSE} = 210$, soit $\hat{R}_6 = 35$. La droite fait onze fois mieux… sur ces six diplômés.

Les résidus sont les écarts verticaux entre les points et la droite ; les moindres carrés minimisent la somme de leurs carrés (18,74, contre 210 pour la constante). La droite passe par le point moyen.

En Python, le calcul tient en quelques lignes :

import numpy as np

gpa = np.array([2.4, 2.8, 3.0, 3.3, 3.6, 3.9])
salaire = np.array([52, 55, 60, 58, 66, 69])       # en milliers de dollars

# Moindres carrés, formule fermée
xc, yc = gpa - gpa.mean(), salaire - salaire.mean()
b1 = (xc * yc).sum() / (xc ** 2).sum()
b0 = salaire.mean() - b1 * gpa.mean()
print(f"salaire ≈ {b0:.2f} + {b1:.2f} × GPA")

# Risque empirique (perte quadratique) de la droite et de la constante
risque_droite = np.mean((salaire - (b0 + b1 * gpa)) ** 2)
risque_constante = np.mean((salaire - salaire.mean()) ** 2)
print(f"risque empirique : droite {risque_droite:.2f}, constante {risque_constante:.2f}")

Pour des espaces plus riches (plusieurs variables, polynômes), on écrit la même chose sous forme matricielle, et np.linalg.lstsq ou LinearRegression de scikit-learn font le travail. Pour d’autres pertes, il n’y a en général pas de formule fermée : on minimise alors numériquement, par exemple par descente de gradient (voir le cours d’Optimisation numérique).

En entretien

« Entraîner un modèle, c’est choisir un espace d’hypothèses et une perte, puis minimiser le risque empirique, la perte moyenne sur l’échantillon. La régression linéaire, c’est exactement ça avec des droites et la perte quadratique : on obtient les moindres carrés. »

Minimiser le risque empirique, est-ce suffisant ?

Nous avons une machine, $\hat{f}(x) \approx 24{,}16 + 11{,}32\,x$, et un risque empirique de 3,12. Peut-on annoncer au service carrières que l’erreur typique sera de $\sqrt{3{,}12} \approx 1{,}8$ k$ ? Certainement pas.

Le risque empirique de la machine apprise est un estimateur optimiste de son vrai risque. La raison est simple : $\hat{f}$ a été choisie précisément parce qu’elle faisait bien sur ces six diplômés-là. Elle a profité de leurs particularités. Sur un septième diplômé, elle fera en moyenne moins bien. Et plus l’espace $\mathcal{H}$ est riche, plus cet optimisme est grand : avec un polynôme de degré 5, on passerait exactement par les six points, avec un risque empirique nul, sans que cela dise quoi que ce soit du septième.

Le polynôme de degré 5 a un risque empirique nul : il passe par les six points. Mais entre eux et aux bords, il fait des bonds que rien ne justifie. Son risque empirique ne dit rien de ce qu'il prédira pour un septième diplômé.

Piège

Annoncer le risque empirique de la machine ajustée comme performance attendue. On dit qu’un modèle généralise bien s’il est bon en dehors de l’échantillon d’apprentissage, sur toute la population $\mathcal{X} \times \mathcal{Y}$. Cela ne se mesure qu’avec des données que le modèle n’a pas vues (chapitre 5).

Il reste donc deux grandes questions, qui occupent la suite du cours :

1. Même avec une infinité de données, quelle est la meilleure erreur possible, et à quelle distance en est notre espace $\mathcal{H}$ ? C’est l’étape 8 de la roue, et l’objet du chapitre 3.
2. Avec nos $n$ données, combien perd-on par rapport au meilleur de $\mathcal{H}$, et comment choisir la taille de $\mathcal{H}$ ? C’est le dilemme biais-variance du chapitre 4.

En résumé

• L’espace d’hypothèses $\mathcal{H}$ est la famille de fonctions parmi lesquelles on cherche (droites, polynômes, voisins…) ; c’est un choix de modélisation, pris dans l’univers $\mathcal{Y}^{\mathcal{X}}$ de toutes les fonctions.
• La fonction de perte $\ell$ mesure l’insatisfaction d’une prédiction : quadratique, absolue ou 0-1. Changer de perte peut changer le meilleur modèle (moyenne ou médiane).
• Le risque $R(f) = \mathbb{E}[\ell(Y, f(X))]$ est la perte moyenne sur la population ; il est incalculable car $P_{XY}$ est inconnue.
• Le risque empirique $\hat{R}_n(f)$ est la perte moyenne sur l’échantillon ; on le minimise dans $\mathcal{H}$ (principe ERM).
• Avec des droites et la perte quadratique, on obtient les moindres carrés : $\hat{\beta}_1 = \sum (X_i - \bar{X})(Y_i - \bar{Y}) / \sum (X_i - \bar{X})^2$ et $\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}$.
• Le risque empirique de la machine apprise est optimiste : il ne mesure pas la généralisation.

Exercices

Exercice · Calculer un risque empirique

facile

Un collègue propose l’hypothèse $f(x) = 20 + 12x$. Calculez son risque empirique, avec la perte quadratique, sur ces trois diplômés : (GPA 3,0 ; 60 k$), (GPA 3,5 ; 62 k$), (GPA 2,5 ; 52 k$). Même question avec la perte absolue.

Voir la solution

Les prédictions sont $f(3{,}0) = 56$, $f(3{,}5) = 62$ et $f(2{,}5) = 50$. Les écarts $y - f(x)$ valent donc $4$, $0$ et $2$.

• Perte quadratique : $\hat{R}_3 = (16 + 0 + 4)/3 = 20/3 \approx 6{,}67$ (en k$²).
• Perte absolue : $\hat{R}_3 = (4 + 0 + 2)/3 = 2$ (en k$).

Remarquez que les deux risques n’ont pas la même unité : pour comparer à un salaire, on prend souvent la racine du risque quadratique ($\sqrt{6{,}67} \approx 2{,}58$ k$).

En code

Python

import numpy as np

gpa = np.array([3.0, 3.5, 2.5])
salaire = np.array([60, 62, 52])                  # en k$
prediction = 20 + 12 * gpa                        # hypothèse du collègue
ecart = salaire - prediction
print(prediction, ecart)                          # [56. 62. 50.]  [4. 0. 2.]

risque_quadratique = np.mean(ecart ** 2)
risque_absolu = np.mean(np.abs(ecart))
print(round(risque_quadratique, 2), risque_absolu)  # 6.67  2.0
print(round(np.sqrt(risque_quadratique), 2))        # 2.58 (en k$)

R

gpa <- c(3.0, 3.5, 2.5)
salaire <- c(60, 62, 52)                          # en k$
prediction <- 20 + 12 * gpa                       # hypothèse du collègue
ecart <- salaire - prediction
prediction; ecart                                 # 56 62 50   4 0 2

risque_quadratique <- mean(ecart^2)
risque_absolu <- mean(abs(ecart))
c(risque_quadratique, risque_absolu)              # 6.67  2
sqrt(risque_quadratique)                          # 2.58 (en k$)

Exercice · Moyenne ou médiane ?

moyen

Le service carrières veut afficher un seul chiffre par filière : « le salaire typique ». Pour une petite filière, les salaires déclarés sont 48, 50, 51, 53 et 120 (en k$).

1. Quelle constante minimise le risque empirique avec la perte quadratique ? Avec la perte absolue ?
2. Laquelle afficheriez-vous, et pourquoi ?

Voir la solution

1. Perte quadratique : la moyenne, $(48 + 50 + 51 + 53 + 120)/5 = 322/5 = 64{,}4$. Perte absolue : la médiane, $51$.
2. On afficherait plutôt la médiane. Un étudiant qui lit « salaire typique : 64 400 dollars » sera déçu, puisque quatre diplômés sur cinq gagnent entre 48 000 et 53 000. La perte absolue correspond mieux à l’objectif « donner un ordre de grandeur réaliste » et résiste à la valeur extrême, qu’elle soit réelle ou due à une erreur de saisie. C’est d’ailleurs pour cette raison que les enquêtes de salaire publient presque toujours des médianes.

En code

Python

import numpy as np

salaires = np.array([48, 50, 51, 53, 120])        # en k$
print(salaires.mean(), np.median(salaires))       # 64.4  51.0

# Vérification numérique : on balaie les constantes c et on garde la meilleure
c = np.linspace(40, 130, 9001)
risque_l2 = ((salaires[:, None] - c) ** 2).mean(axis=0)
risque_l1 = np.abs(salaires[:, None] - c).mean(axis=0)
print(c[risque_l2.argmin()], c[risque_l1.argmin()])   # 64.4  51.0

R

salaires <- c(48, 50, 51, 53, 120)                # en k$
c(mean(salaires), median(salaires))               # 64.4  51

# Vérification numérique : on balaie les constantes c et on garde la meilleure
c_grille <- seq(40, 130, by = 0.01)
risque_l2 <- sapply(c_grille, function(c) mean((salaires - c)^2))
risque_l1 <- sapply(c_grille, function(c) mean(abs(salaires - c)))
c(c_grille[which.min(risque_l2)], c_grille[which.min(risque_l1)])   # 64.4  51

Exercice · Pourquoi le risque empirique est optimiste

difficile

On note $f^\diamond_{\mathcal{H}}$ la meilleure hypothèse de $\mathcal{H}$ au sens du vrai risque (celle qui minimise $R$ sur $\mathcal{H}$), supposée fixe, et $\hat{f}$ celle qui minimise le risque empirique sur $D_n$.

1. Montrez que, pour une hypothèse $f$ fixée à l’avance, $\mathbb{E}\big[\hat{R}_n(f)\big] = R(f)$.
2. En déduire que $\mathbb{E}\big[\hat{R}_n(\hat{f})\big] \le \mathbb{E}\big[R(\hat{f})\big]$. Interprétez.

Voir la solution

1. Si $f$ ne dépend pas des données, chaque terme $\ell(Y_i, f(X_i))$ a la même loi que $\ell(Y, f(X))$ pour un nouveau couple, donc la même espérance $R(f)$. Par linéarité, $\mathbb{E}[\hat{R}_n(f)] = \frac{1}{n} \sum_i R(f) = R(f)$ : le risque empirique d’une hypothèse fixée est un estimateur sans biais de son risque.

2. On enchaîne trois arguments :

   • $\hat{f}$ minimise le risque empirique, donc $\hat{R}_n(\hat{f}) \le \hat{R}_n(f^\diamond_{\mathcal{H}})$ pour tout échantillon, et en espérance $\mathbb{E}[\hat{R}_n(\hat{f})] \le \mathbb{E}[\hat{R}_n(f^\diamond_{\mathcal{H}})]$ ;
   • $f^\diamond_{\mathcal{H}}$ est fixe, donc d’après la question 1, $\mathbb{E}[\hat{R}_n(f^\diamond_{\mathcal{H}})] = R(f^\diamond_{\mathcal{H}})$ ;
   • $f^\diamond_{\mathcal{H}}$ minimise le vrai risque sur $\mathcal{H}$ et $\hat{f} \in \mathcal{H}$, donc $R(f^\diamond_{\mathcal{H}}) \le R(\hat{f})$ pour tout échantillon, et donc $R(f^\diamond_{\mathcal{H}}) \le \mathbb{E}[R(\hat{f})]$.

   Au total : $\mathbb{E}[\hat{R}_n(\hat{f})] \le R(f^\diamond_{\mathcal{H}}) \le \mathbb{E}[R(\hat{f})]$.

Interprétation : en moyenne, le risque mesuré sur les données d’apprentissage est inférieur au vrai risque de la machine apprise. Le problème ne vient pas du risque empirique lui-même (question 1), mais du fait que l’on évalue la machine sur les données qui ont servi à la choisir. Pour une estimation honnête, il faut des données indépendantes de ce choix.

En code

Python

import numpy as np

rng = np.random.default_rng(0)
f_star = lambda x: 70 - 25 * np.exp(-2 * (x - 2))  # population du chapitre 3
def tirer(n):
    x = rng.uniform(2, 4, n)
    return x, f_star(x) + rng.normal(0, 4, n)

x_pop, y_pop = tirer(200_000)                     # grand échantillon : sert à approcher R
f_fixe = lambda x: 24 + 11 * x                    # une droite fixée à l'avance

emp_fixe, emp_appr, vrai_appr = [], [], []
for _ in range(2000):                             # 2000 échantillons de 10 diplômés
    x, y = tirer(10)
    emp_fixe.append(np.mean((y - f_fixe(x)) ** 2))
    b1, b0 = np.polyfit(x, y, 1)                  # la machine apprise (ERM sur les droites)
    emp_appr.append(np.mean((y - b0 - b1 * x) ** 2))
    vrai_appr.append(np.mean((y_pop - b0 - b1 * x_pop) ** 2))

print(round(np.mean(emp_fixe), 2), round(np.mean((y_pop - f_fixe(x_pop)) ** 2), 2))  # 71.36  71.59 : sans biais
print(round(np.mean(emp_appr), 2), round(np.mean(vrai_appr), 2))  # 18.26  31.18 : optimiste

R

set.seed(0)
f_star <- function(x) 70 - 25 * exp(-2 * (x - 2))   # population du chapitre 3
tirer <- function(n) {
  x <- runif(n, 2, 4)
  data.frame(x = x, y = f_star(x) + rnorm(n, 0, 4))
}
pop <- tirer(200000)                              # grand échantillon : sert à approcher R
f_fixe <- function(x) 24 + 11 * x                 # une droite fixée à l'avance

res <- replicate(2000, {                          # 2000 échantillons de 10 diplômés
  d <- tirer(10)
  b <- coef(lm(y ~ x, data = d))                  # la machine apprise (ERM sur les droites)
  c(emp_fixe = mean((d$y - f_fixe(d$x))^2),
    emp_appr = mean((d$y - b[1] - b[2] * d$x)^2),
    vrai_appr = mean((pop$y - b[1] - b[2] * pop$x)^2))
})
c(mean(res["emp_fixe", ]), mean((pop$y - f_fixe(pop$x))^2))  # 70.80  71.13 : sans biais
c(mean(res["emp_appr", ]), mean(res["vrai_appr", ]))         # 18.44  31.08 : optimiste