Arbitrez le dilemme biais-variance

Au chapitre précédent, vous avez vu qu’agrandir l’espace d’hypothèses réduit l’erreur d’approximation mais augmente l’erreur d’estimation. C’est une belle idée… mais ces deux erreurs font intervenir $f^*$ et $f^\diamond_{\mathcal{H}}$, que l’on ne connaît jamais. Comment raisonner concrètement ?

Le dilemme biais-variance (bias-variance dilemma) répond à cette question pour la régression avec perte quadratique. Il découpe l’erreur d’une machine apprise en trois morceaux lisibles, que l’on peut mesurer par simulation et sur lesquels on sait agir. Notre fil rouge reste le salaire prédit à partir du GPA, avec la population du chapitre 3 : un salaire moyen qui plafonne, $f^*(x) = 70 - 25\,e^{-2(x - 2)}$, et un bruit de variance $\sigma^2 = 16$.

Le biais, une notion venue de la statistique

Le mot « biais » ne vient pas de l’apprentissage automatique, mais de la théorie de l’estimation. Vous voulez connaître une quantité $\theta$ de la population, par exemple le salaire moyen de tous les diplômés. Vous la calculez sur un échantillon et obtenez $\hat{\theta}$, un estimateur. Comme l’échantillon est aléatoire, $\hat{\theta}$ l’est aussi : avec d’autres diplômés, vous auriez obtenu une autre valeur.

Le biais mesure l’erreur systématique de l’estimateur :

$$\text{Biais}(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta$$

où $\mathbb{E}[\hat{\theta}]$ est la valeur moyenne de l’estimateur si l’on refaisait l’expérience sur un très grand nombre d’échantillons.

• Un biais négatif signifie que l’estimateur sous-estime en moyenne.
• Un biais positif signifie qu’il surestime en moyenne.
• Un estimateur de biais nul est dit sans biais.

La variance $\text{Var}(\hat{\theta}) = \mathbb{E}\big[(\hat{\theta} - \mathbb{E}[\hat{\theta}])^2\big]$ mesure, elle, la dispersion de l’estimateur d’un échantillon à l’autre. Et l’erreur quadratique moyenne se décompose exactement en ces deux morceaux :

$$\mathbb{E}\big[(\hat{\theta} - \theta)^2\big] = \text{Biais}(\hat{\theta})^2 + \text{Var}(\hat{\theta})$$

Exemple

Pour estimer la variance $\sigma^2$ des salaires, on peut calculer $\frac{1}{n}\sum_i (Y_i - \bar{Y})^2$. On montre que son espérance vaut $\frac{n-1}{n}\sigma^2$ : son biais est $-\sigma^2/n$, il sous-estime la variance. Avec $n = 5$ diplômés et $\sigma^2 = 100$, il sous-estime en moyenne de 20. C’est pour cela qu’on divise par $n - 1$ : la version $\frac{1}{n-1}\sum_i (Y_i - \bar{Y})^2$ est sans biais. Le cours de Statistiques détaille ce calcul.

Les deux estimateurs sur des échantillons de 5 salaires (σ² = 100). Diviser par n donne en moyenne 80 : un biais de −20. Diviser par n − 1 recentre la loi sur 100. Les deux restent très dispersés avec si peu de données.

La réponse classique des statisticiens au choix d’un estimateur est l’estimateur sans biais de variance minimale (minimum variance unbiased estimator, MVUE) : parmi tous les estimateurs sans biais, prendre celui qui varie le moins. Cette réponse est élégante, mais elle n’est pas toujours la meilleure au sens de l’erreur totale, et c’est là que naît le dilemme.

Biais et variance d’une machine apprise

Transposons. La machine apprise $\hat{f}_{\mathcal{H}, D_n}$ est, elle aussi, un estimateur : elle estime $f^*$ à partir de l’échantillon $D_n$. Pour un GPA $x$ fixé, sa prédiction $\hat{f}(x)$ change d’un échantillon à l’autre. On définit donc, en chaque point $x$ :

$$\text{Biais}\big(\hat{f}(x)\big) = \mathbb{E}_{D_n}\big[\hat{f}(x)\big] - f^*(x), \qquad \text{Var}\big(\hat{f}(x)\big) = \mathbb{E}_{D_n}\Big[\big(\hat{f}(x) - \mathbb{E}_{D_n}[\hat{f}(x)]\big)^2\Big]$$

• $\mathbb{E}_{D_n}$ désigne la moyenne sur tous les échantillons de taille $n$ que l’on aurait pu tirer ;
• $\mathbb{E}_{D_n}[\hat{f}(x)]$ est donc la prédiction moyenne en $x$, celle d’une « machine moyenne » ;
• le biais compare cette machine moyenne à la vérité $f^*(x)$ ;
• la variance mesure à quel point la prédiction en $x$ bouge quand l’échantillon change.

Si le salaire s’écrit $Y = f^*(x) + \varepsilon$ en $x$, avec un bruit $\varepsilon$ de moyenne nulle, de variance $\sigma^2$ et indépendant de l’échantillon d’apprentissage, l’erreur quadratique attendue en $x$ se décompose en trois termes (exercice 3) :

$$\mathbb{E}\Big[\big(Y - \hat{f}(x)\big)^2\Big] = \underbrace{\sigma^2}_{\text{bruit}} + \underbrace{\text{Biais}^2\big(\hat{f}(x)\big)}_{\text{biais au carré}} + \underbrace{\text{Var}\big(\hat{f}(x)\big)}_{\text{variance}}$$

Chaque terme se relie à ce que vous connaissez déjà.

1. $\sigma^2$ est l’erreur irréductible : c’est le risque de Bayes $R^*$ du chapitre 3. Aucune machine n’y échappe.
2. Le biais au carré reflète l’erreur d’approximation : même en moyennant sur tous les échantillons possibles, un espace $\mathcal{H}$ trop pauvre reste loin de $f^*$.
3. La variance reflète l’erreur d’estimation : c’est la part d’erreur due au fait que $D_n$ n’est qu’un échantillon parmi d’autres.

Attention

Biais au carré et erreur d’approximation ne sont pas exactement égaux : le premier compare la machine moyenne à $f^*$, la seconde compare la meilleure fonction de $\mathcal{H}$ à $f^*$. Pour les moindres carrés avec assez de données, les deux sont très proches, comme la simulation ci-dessous le montre. Voyez-les comme deux regards sur le même phénomène.

À retenir

Erreur quadratique attendue = bruit (irréductible) + biais² (le modèle est trop rigide, il se trompe systématiquement) + variance (le modèle est trop sensible à l’échantillon). L’idéal est un biais et une variance petits.

Mesurer biais et variance par simulation

Biais et variance se définissent en moyennant sur « tous les échantillons possibles ». Dans la vraie vie, vous n’en avez qu’un. Mais sur une population simulée, dont on connaît $f^*$, on peut tirer des milliers d’échantillons et tout mesurer. C’est l’expérience la plus instructive de ce cours.

import numpy as np
from numpy.polynomial import Polynomial

rng = np.random.default_rng(1)

def f_star(x):                                  # salaire moyen de la population (k$)
    return 70 - 25 * np.exp(-2 * (x - 2))

n, sigma, repetitions = 30, 4.0, 2000
grille = np.linspace(2.02, 3.98, 50)            # centres de 50 cases de [2, 4], où l'on mesure biais et variance

for degre in [0, 1, 2, 3, 4, 6, 8]:
    predictions = np.empty((repetitions, grille.size))
    for r in range(repetitions):
        x = rng.uniform(2, 4, n)                # un nouvel échantillon de 30 diplômés
        y = f_star(x) + rng.normal(0, sigma, n)
        modele = Polynomial.fit(x, y, degre)    # moindres carrés dans H = polynômes de degré p
        predictions[r] = modele(grille)
    moyenne = predictions.mean(axis=0)          # la « machine moyenne »
    biais2 = np.mean((moyenne - f_star(grille)) ** 2)
    variance = np.mean(predictions.var(axis=0))
    print(f"degré {degre} : biais² {biais2:7.2f}  variance {variance:7.2f}  "
          f"erreur attendue {sigma**2 + biais2 + variance:7.2f}")

Avec 30 diplômés par échantillon, $\sigma = 4$ et 2 000 échantillons, une telle simulation donne des valeurs proches de celles du tableau ci-dessous. Elles varient un peu d’un tirage à l’autre (et d’un générateur aléatoire à l’autre) ; la dernière colonne donne en plus le risque empirique moyen, mesuré sur les données d’apprentissage :

Degré $p$	Biais²	Variance	Erreur attendue ($16$ + biais² + variance)	Risque empirique moyen
0	40,4	1,9	58,3	54,5
1	7,8	1,9	25,7	22,1
2	0,8	2,0	18,8	14,9
3	0,05	2,7	18,7	13,9
4	0,00	4,3	20,3	13,3
6	0,00	28,6	44,6	12,3
8	0,7	1 300	1 317	11,2

Le tableau en image (échelle logarithmique). L'erreur attendue (en vert) est la somme du bruit, du biais² et de la variance : elle forme un U. Le risque empirique (en rose) ne fait que baisser et désignerait le pire modèle.

Lisons ce tableau attentivement, car il contient tout le chapitre.

• Le biais² retrouve l’erreur d’approximation. 40,4 ; 7,8 ; 0,8 ; 0,05 : ce sont, aux fluctuations près, les valeurs 40,45 ; 7,85 ; 0,76 ; 0,044 calculées au chapitre 3.
• La variance explose avec le degré. Modeste jusqu’au degré 3, elle devient énorme au degré 8 : avec 30 points seulement, un polynôme de degré 8 fait des bonds considérables là où les données sont rares, en particulier aux bords de l’intervalle.
• L’erreur attendue a une forme en U, minimale vers les degrés 2 et 3. C’est le bon compromis pour 30 diplômés.
• Le risque empirique, lui, ne fait que baisser (54,5 puis 22,1, 14,9… jusqu’à 11,2), et passe même sous le bruit $\sigma^2 = 16$ dès le degré 2. C’est l’optimisme du chapitre 2 en chiffres : si l’on choisissait le degré sur le risque empirique, on prendrait le pire modèle du tableau.

Vingt échantillons, vingt machines apprises. Au degré 1, elles se ressemblent mais ratent toutes la courbure (biais). Au degré 8, leur moyenne suit f*, mais chacune s'en écarte fortement, surtout aux bords (variance).

Piège

Croire qu’un modèle plus flexible est toujours meilleur « puisqu’il peut tout représenter ». Le polynôme de degré 8 contient la bonne réponse (son biais est quasi nul), mais avec 30 exemples il ne sait pas la trouver : son erreur attendue est près de soixante-dix fois celle du degré 2.

La courbe en U et la capacité

On résume souvent ce dilemme par un schéma : en abscisse, la capacité du modèle (sa flexibilité : degré du polynôme, profondeur d’un arbre, nombre de paramètres…) ; en ordonnée, les erreurs.

L'erreur de généralisation (en vert) est la somme du bruit, du biais² et de la variance. Son minimum, la capacité optimale, sépare la zone où le biais domine de celle où la variance domine.

• À gauche, dans la zone de sous-apprentissage (underfitting), le biais domine : le modèle est trop rigide. Il se trompe beaucoup, y compris sur ses données d’apprentissage.
• À droite, dans la zone de surapprentissage (overfitting), la variance domine : le modèle suit le bruit de l’échantillon et généralise mal.
• Le minimum du U est la capacité optimale. Elle dépend de $n$ : avec 3 000 diplômés au lieu de 30, la variance de chaque degré serait environ cent fois plus faible, et la capacité optimale se déplacerait vers la droite.

Le diagnostic pratique (comparer le score d’apprentissage et le score sur des données non vues) et le tableau des « boutons de complexité » des modèles classiques sont présentés dans le cours d’Apprentissage automatique. Ici, retenez le mécanisme : chaque bouton déplace le modèle sur l’axe de la capacité.

En entretien

« Un modèle trop simple a un fort biais : il se trompe de la même façon quel que soit l’échantillon. Un modèle trop flexible a une forte variance : il change beaucoup d’un échantillon à l’autre. L’erreur totale est la somme des deux plus le bruit, donc on cherche le compromis, en réglant la complexité par validation croisée. »

Accepter un peu de biais : la régularisation

Revenons au MVUE. Viser un biais nul est-il toujours une bonne idée ? Le dilemme dit que non : un estimateur un peu biaisé mais beaucoup moins variable peut avoir une erreur totale plus petite.

Exemple

On estime une quantité $\mu = 2$ (par exemple un écart de salaire entre deux filières, en milliers de dollars) par la moyenne d’échantillon $\bar{Y}$, sans biais, de variance $4$. Son erreur quadratique moyenne vaut donc $4$.

Essayons l’estimateur rétréci (shrunk) $\hat{\theta} = 0{,}5\,\bar{Y}$, qui tire la moyenne vers 0 :

• biais $= 0{,}5\,\mu - \mu = -1$, donc biais² $= 1$ ;
• variance $= 0{,}5^2 \times 4 = 1$ ;
• erreur quadratique moyenne $= 1 + 1 = 2$.

L’estimateur biaisé divise l’erreur par deux. Le facteur optimal $\mu^2 / (\mu^2 + 4) = 0{,}5$ dépend de $\mu$, que l’on ignore : en pratique, on règle ce genre de facteur sur des données non vues.

Rétrécir Ȳ vers 0 ajoute du biais² mais retire de la variance. Pour μ = 2, le meilleur compromis est a = 0,5 : l'erreur tombe de 4 à 2.

C’est exactement l’idée de la régularisation. Au lieu de minimiser le seul risque empirique, on ajoute une pénalité sur la taille des coefficients. Pour la régression ridge :

$$\hat{\beta} = \arg\min_{\beta} \; \sum_{i=1}^{n} \Big(Y_i - \sum_{j=0}^{p} \beta_j X_i^j\Big)^2 + \lambda \sum_{j=1}^{p} \beta_j^2$$

• le premier terme est la somme des carrés des résidus (le risque empirique, à un facteur près) ;
• le second pénalise les grands coefficients, sauf l’ordonnée à l’origine $\beta_0$ ;
• $\lambda \ge 0$ règle la force de la pénalité : $\lambda = 0$ redonne les moindres carrés, un $\lambda$ très grand écrase tous les coefficients vers 0.

En augmentant $\lambda$, on ajoute du biais (les coefficients sont tirés vers 0) et l’on réduit la variance (le polynôme ne peut plus faire de grands bonds). Un polynôme de degré 8 régularisé peut ainsi redevenir raisonnable avec 30 points. La régularisation ne change pas l’espace $\mathcal{H}$, elle change la façon d’y choisir : c’est une autre manière de régler la capacité.

En résumé

• Le biais d’un estimateur est l’écart entre sa valeur moyenne et la vraie valeur (négatif : il sous-estime ; positif : il surestime). Sa variance mesure sa dispersion d’un échantillon à l’autre.
• Une machine apprise est un estimateur de $f^*$ : en chaque $x$, on définit son biais et sa variance en moyennant sur les échantillons possibles.
• En régression quadratique : erreur attendue = $\sigma^2$ + biais² + variance. Le bruit est irréductible, le biais² reflète l’erreur d’approximation, la variance l’erreur d’estimation.
• Quand la capacité augmente, le biais baisse et la variance monte : l’erreur de généralisation a une forme en U, et la capacité optimale dépend de la taille de l’échantillon.
• Le risque empirique décroît toujours avec la capacité : il ne permet pas de choisir la capacité.
• La régularisation (ridge, par exemple) accepte un peu de biais pour réduire beaucoup la variance, à l’opposé de la logique du MVUE.

Exercices

Exercice · Lire un biais

facile

Trois méthodes estiment le salaire médian d’une promotion, qui vaut réellement 60 k$. En les appliquant à 1 000 échantillons simulés, on obtient :

• méthode A : moyenne des estimations 60,1, écart-type 6 ;
• méthode B : moyenne 57, écart-type 1 ;
• méthode C : moyenne 63, écart-type 4.

Donnez le signe du biais de chaque méthode et calculez (approximativement) son erreur quadratique moyenne. Laquelle préférez-vous ?

Voir la solution

L’erreur quadratique moyenne vaut biais² + variance, avec variance = écart-type².

• A : biais $\approx +0{,}1$ (quasi sans biais), variance $36$, erreur $\approx 36$.
• B : biais $-3$ (elle sous-estime), variance $1$, erreur $9 + 1 = 10$.
• C : biais $+3$ (elle surestime), variance $16$, erreur $9 + 16 = 25$.

La méthode B, pourtant biaisée, a la plus petite erreur quadratique moyenne. Si l’on sait qu’elle sous-estime de 3 environ, on peut même la corriger. La méthode A est sans biais, mais trop instable pour être utile sur un seul échantillon.

En code

Python

vraie_valeur = 60
methodes = {"A": (60.1, 6), "B": (57, 1), "C": (63, 4)}   # (moyenne, écart-type)

for nom, (moyenne, ecart_type) in methodes.items():
    biais = moyenne - vraie_valeur
    eqm = biais ** 2 + ecart_type ** 2            # erreur quadratique = biais² + variance
    print(nom, round(biais, 1), round(eqm, 2))
# A 0.1 36.01 / B -3 10 / C 3 25 : B a la plus petite erreur

R

vraie_valeur <- 60
moyenne <- c(A = 60.1, B = 57, C = 63)
ecart_type <- c(A = 6, B = 1, C = 4)

biais <- moyenne - vraie_valeur
eqm <- biais^2 + ecart_type^2                     # erreur quadratique = biais² + variance
rbind(biais, eqm)                                 # A : 0.1 36.01 ; B : -3 10 ; C : 3 25

Exercice · Rétrécir un estimateur

moyen

On estime une quantité $\mu = 10$ par $\bar{Y}$, sans biais, de variance $25$. On propose l’estimateur $\hat{\theta} = 0{,}8\,\bar{Y}$.

1. Calculez son biais, sa variance et son erreur quadratique moyenne. Est-il meilleur que $\bar{Y}$ ?
2. Pour quelles valeurs de $\mu$ l’estimateur $0{,}8\,\bar{Y}$ devient-il moins bon que $\bar{Y}$ ?

Voir la solution

1. Biais $= 0{,}8 \times 10 - 10 = -2$, donc biais² $= 4$. Variance $= 0{,}8^2 \times 25 = 0{,}64 \times 25 = 16$. Erreur $= 4 + 16 = 20$, contre $25$ pour $\bar{Y}$ : il est meilleur.
2. Pour une valeur quelconque de $\mu$, l’erreur de $0{,}8\,\bar{Y}$ vaut $(0{,}2\,\mu)^2 + 16 = 0{,}04\,\mu^2 + 16$. Elle dépasse $25$ quand $0{,}04\,\mu^2 > 9$, soit $\mu^2 > 225$, c’est-à-dire $\lvert \mu \rvert > 15$. Le rétrécissement vers 0 n’est rentable que si la vraie valeur n’est pas trop loin de 0 : on échange un risque de biais contre un gain de variance, et le pari peut être perdant. D’où l’intérêt de régler l’intensité du rétrécissement sur des données.

En code

Python

import numpy as np

mu, var_moyenne, a = 10, 25, 0.8
biais = a * mu - mu
variance = a ** 2 * var_moyenne
print(round(biais, 2), round(variance, 2), round(biais ** 2 + variance, 2))   # -2.0  16.0  20.0

# Question 2 : erreur de 0,8 Ȳ en fonction de mu, comparée aux 25 de Ȳ
eqm = lambda m: (0.2 * m) ** 2 + 16
print([round(eqm(m), 2) for m in (14, 15, 16)])   # [23.84, 25.0, 26.24] : seuil |mu| = 15

# Vérification par simulation (Ȳ de loi normale, moyenne mu, variance 25)
rng = np.random.default_rng(0)
y_barre = rng.normal(mu, 5, 1_000_000)
print(round(np.mean((a * y_barre - mu) ** 2), 2)) # 20.01

R

mu <- 10; var_moyenne <- 25; a <- 0.8
biais <- a * mu - mu
variance <- a^2 * var_moyenne
c(biais, variance, biais^2 + variance)            # -2  16  20 (contre 25 pour Ȳ)

# Question 2 : erreur de 0,8 Ȳ en fonction de mu, comparée aux 25 de Ȳ
eqm <- function(m) (0.2 * m)^2 + 16
eqm(c(14, 15, 16))                                # 23.84  25  26.24 : seuil |mu| = 15
uniroot(function(m) eqm(m) - 25, c(0, 100))$root  # 15

# Vérification par simulation (Ȳ de loi normale, moyenne mu, variance 25)
set.seed(0)
y_barre <- rnorm(1e6, mu, 5)
mean((a * y_barre - mu)^2)                        # 19.99

Exercice · Démontrer la décomposition

difficile

En un point $x$ fixé, on suppose $Y = f^*(x) + \varepsilon$, avec $\mathbb{E}[\varepsilon] = 0$, $\text{Var}(\varepsilon) = \sigma^2$, et $\varepsilon$ indépendant de l’échantillon d’apprentissage $D_n$ (donc de $\hat{f}(x)$). On note $\bar{f}(x) = \mathbb{E}_{D_n}[\hat{f}(x)]$. Démontrez que

$$\mathbb{E}\big[(Y - \hat{f}(x))^2\big] = \sigma^2 + \big(\bar{f}(x) - f^*(x)\big)^2 + \mathbb{E}\big[(\hat{f}(x) - \bar{f}(x))^2\big]$$

Voir la solution

Écrivons $Y - \hat{f}(x) = \varepsilon + \big(f^*(x) - \bar{f}(x)\big) + \big(\bar{f}(x) - \hat{f}(x)\big)$, somme de trois termes : le bruit, un terme constant (moins le biais), et un terme aléatoire de moyenne nulle.

En élevant au carré et en prenant l’espérance, on obtient les trois carrés et trois doubles produits.

• Les carrés donnent $\mathbb{E}[\varepsilon^2] = \sigma^2$, puis $\big(f^*(x) - \bar{f}(x)\big)^2 = \text{Biais}^2$, puis $\mathbb{E}\big[(\bar{f}(x) - \hat{f}(x))^2\big] = \text{Var}(\hat{f}(x))$.
• Double produit bruit × constante : $2\,(f^*(x) - \bar{f}(x))\,\mathbb{E}[\varepsilon] = 0$.
• Double produit bruit × terme aléatoire : par indépendance, $2\,\mathbb{E}[\varepsilon]\,\mathbb{E}[\bar{f}(x) - \hat{f}(x)] = 0$.
• Double produit constante × terme aléatoire : $2\,(f^*(x) - \bar{f}(x))\,\mathbb{E}[\bar{f}(x) - \hat{f}(x)] = 0$, car $\mathbb{E}[\hat{f}(x)] = \bar{f}(x)$.

Il reste bien $\sigma^2 + \text{Biais}^2 + \text{Var}$. L’hypothèse d’indépendance entre le nouveau bruit et l’échantillon d’apprentissage est essentielle : c’est elle qui traduit que l’on évalue la machine sur un nouveau diplômé.

En code

Python

import numpy as np

rng = np.random.default_rng(0)
f_star = lambda x: 70 - 25 * np.exp(-2 * (x - 2))
sigma, n, x0 = 4, 30, 2.2                         # point x fixé : GPA 2,2

pred, y_neuf = [], []
for _ in range(20_000):                           # un échantillon D_n par répétition
    x = rng.uniform(2, 4, n)
    y = f_star(x) + rng.normal(0, sigma, n)
    b1, b0 = np.polyfit(x, y, 1)                  # machine apprise : une droite
    pred.append(b0 + b1 * x0)
    y_neuf.append(f_star(x0) + rng.normal(0, sigma))   # nouveau diplômé, bruit indépendant
pred, y_neuf = np.array(pred), np.array(y_neuf)

gauche = np.mean((y_neuf - pred) ** 2)
biais2 = (pred.mean() - f_star(x0)) ** 2
variance = pred.var()
print(round(gauche, 2), round(sigma ** 2 + biais2 + variance, 2))   # 27.17  27.15 : égaux
print(round(biais2, 2), round(variance, 2))       # biais² 7.91, variance 3.24

R

set.seed(0)
f_star <- function(x) 70 - 25 * exp(-2 * (x - 2))
sigma <- 4; n <- 30; x0 <- 2.2                    # point x fixé : GPA 2,2

res <- replicate(20000, {                         # un échantillon D_n par répétition
  x <- runif(n, 2, 4)
  y <- f_star(x) + rnorm(n, 0, sigma)
  b <- coef(lm(y ~ x))                            # machine apprise : une droite
  c(pred = unname(b[1] + b[2] * x0),
    y_neuf = f_star(x0) + rnorm(1, 0, sigma))     # nouveau diplômé, bruit indépendant
})
pred <- res["pred", ]; y_neuf <- res["y_neuf", ]

gauche <- mean((y_neuf - pred)^2)
biais2 <- (mean(pred) - f_star(x0))^2
variance <- mean((pred - mean(pred))^2)
c(gauche, sigma^2 + biais2 + variance)             # 26.97  27.22 : égaux au bruit près
c(biais2, variance)                               # biais² 7.97, variance 3.25