Encadrez un paramètre par un intervalle de confiance

« La masse moyenne des paquets est estimée à 250,3 g. » Cette phrase est incomplète : 250,3 g à 0,01 g près, ou à 5 g près ? Une estimation ponctuelle sans indication de précision ne permet aucune décision.

L’intervalle de confiance répond à ce manque : au lieu d’un nombre, on donne une fourchette, construite pour contenir le vrai paramètre avec une probabilité choisie à l’avance. Pour le construire, il faut connaître la loi de quelques statistiques clés, et donc trois lois nées de la loi normale. Notre fil rouge : une torréfaction qui remplit des paquets de café de 250 g.

Le fil rouge : les paquets de café

Le responsable qualité pèse 10 paquets pris au hasard en sortie de chaîne (en grammes) :

251,3	248,7	250,9	252,4	249,5	250,2	247,8	251,7	250,6	249,9

On trouve $\bar x_{10} = 250{,}3$ g, une somme des carrés des écarts de 17,44 et donc $\tilde s_{10}^2 = 17{,}44/9 \approx 1{,}938$, soit $\tilde s_{10} \approx 1{,}392$ g. On suppose que la masse d’un paquet suit une loi normale $\mathcal{N}(m, \sigma^2)$, de paramètres inconnus. Que peut-on dire de $m$ et de $\sigma$ ?

Trois lois nées de la loi normale

La loi du chi-deux

Si $Z_1, \dots, Z_k$ sont indépendantes de loi $\mathcal{N}(0, 1)$, la somme de leurs carrés suit la loi du chi-deux à $k$ degrés de liberté :

$$Z_1^2 + \dots + Z_k^2 \sim \chi^2_k$$

C’est une loi positive, d’espérance $k$ et de variance $2k$, dissymétrique (étalée à droite) pour les petits $k$.

Une somme de carrés est positive : la loi du chi-deux vit sur [0, +∞[. Plus k est grand, plus elle se décale vers la droite (espérance k) et s'étale (variance 2k).

Pourquoi cette somme a-t-elle une loi aussi simple ? La démonstration, faite en cours, tient en trois étapes, qui passent par les lois gamma $\Gamma(a, \lambda)$ de densité $\frac{\lambda^a}{\Gamma(a)} x^{a-1} e^{-\lambda x}$ sur $]0, +\infty[$.

1. Un seul carré. Si $Z \sim \mathcal{N}(0, 1)$ et $Y = Z^2$, alors pour $y > 0$, $P(Y \le y) = 2P(0 \le Z \le \sqrt{y})$. En dérivant (ou par le changement de variable $x = u^2$ dans l’intégrale), la densité de $Y$ vaut $\frac{1}{\sqrt{2\pi}} y^{-1/2} e^{-y/2}$ : c’est la loi $\Gamma(\frac{1}{2}, \frac{1}{2})$, autrement dit $\chi^2_1$.
2. Somme de deux gammas. Si $X \sim \Gamma(a, \lambda)$ et $Y \sim \Gamma(b, \lambda)$ sont indépendantes, alors $X + Y \sim \Gamma(a + b, \lambda)$. On le montre par le produit de convolution, avec le changement de variable $y = us$ qui fait apparaître l’intégrale bêta $\int_0^1 u^{b-1}(1-u)^{a-1}du = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$.
3. Récurrence. En ajoutant les carrés un à un, $Z_1^2 + \dots + Z_k^2 \sim \Gamma(\frac{k}{2}, \frac{1}{2})$, qui est par définition la loi $\chi^2_k$.

Les lois de Student et de Fisher

Si $Z \sim \mathcal{N}(0, 1)$ et $Y \sim \chi^2_k$ sont indépendantes, alors

$$T = \frac{Z}{\sqrt{Y / k}} \sim \mathcal{T}_k$$

suit la loi de Student à $k$ degrés de liberté. Elle est symétrique, en cloche, avec des queues plus épaisses que la normale ; quand $k$ grandit, elle se rapproche de $\mathcal{N}(0, 1)$.

La Student a des queues plus épaisses que la normale : pour laisser 2,5 % dans chaque queue, il faut aller jusqu'à 2,262 avec 9 ddl au lieu de 1,96.

Si $U \sim \chi^2_k$ et $V \sim \chi^2_l$ sont indépendantes, alors

$$F = \frac{U / k}{V / l} \sim \mathcal{F}_{k, l}$$

suit la loi de Fisher à $(k, l)$ degrés de liberté. Deux relations utiles : $1/F \sim \mathcal{F}_{l, k}$, et le carré d’une Student $\mathcal{T}_l$ suit une $\mathcal{F}_{1, l}$.

Le théorème de Fisher

Ce théorème relie tout cela à nos paquets. Si $X_1, \dots, X_n$ sont i.i.d. de loi $\mathcal{N}(m, \sigma^2)$, alors :

• $\bar X_n$ et $\tilde S_n^2$ sont indépendantes ;
• $\dfrac{(n-1)\,\tilde S_n^2}{\sigma^2} \sim \chi^2_{n-1}$ ;
• $\dfrac{\sqrt{n}\,(\bar X_n - m)}{\tilde S_n} \sim \mathcal{T}_{n-1}$.

La troisième ligne est la clé : en remplaçant l’écart-type inconnu $\sigma$ par son estimation $\tilde S_n$, la loi normale devient une loi de Student. Les $n - 1$ degrés de liberté rappellent qu’on a estimé la moyenne.

À retenir

Pour un échantillon gaussien : $\sqrt{n}(\bar X_n - m)/\sigma \sim \mathcal{N}(0, 1)$, $\sqrt{n}(\bar X_n - m)/\tilde S_n \sim \mathcal{T}_{n-1}$ et $(n-1)\tilde S_n^2/\sigma^2 \sim \chi^2_{n-1}$. Ces trois lois fournissent presque tous les intervalles et tests de ce cours.

Construire un intervalle de confiance

Un intervalle de confiance (IC) de niveau $1 - \alpha$ pour $\theta$ est un intervalle $[A, B]$, dont les bornes sont des statistiques (donc aléatoires), tel que

$$P(A \le \theta \le B) = 1 - \alpha$$

Le niveau usuel est 95 % ($\alpha = 0{,}05$). La recette est toujours la même : trouver une fonction pivot, c’est-à-dire une expression qui dépend des données et de $\theta$, mais dont la loi est entièrement connue ; l’encadrer entre deux quantiles ; puis isoler $\theta$.

On note $z_p$, $t_{k;p}$, $\chi^2_{k;p}$ et $f_{k,l;p}$ les quantiles d’ordre $p$ des lois $\mathcal{N}(0, 1)$, $\mathcal{T}_k$, $\chi^2_k$ et $\mathcal{F}_{k,l}$ (la valeur qui laisse une probabilité $p$ à sa gauche).

Pour la moyenne, variance inconnue

Le pivot est $\sqrt{n}(\bar X_n - m)/\tilde S_n \sim \mathcal{T}_{n-1}$. Par symétrie,

$$P\left( -t_{n-1;1-\alpha/2} \le \frac{\sqrt{n}\,(\bar X_n - m)}{\tilde S_n} \le t_{n-1;1-\alpha/2} \right) = 1 - \alpha$$

et en isolant $m$ :

$$IC_{1-\alpha}(m) = \left[ \bar X_n - t_{n-1;1-\alpha/2} \frac{\tilde S_n}{\sqrt{n}} \ ;\ \bar X_n + t_{n-1;1-\alpha/2} \frac{\tilde S_n}{\sqrt{n}} \right]$$

La quantité $\tilde S_n/\sqrt{n}$ s’appelle l’erreur-type (standard error) de la moyenne.

Exemple

Pour les paquets, $n = 10$ et $t_{9;0,975} \approx 2{,}262$. La demi-largeur vaut $2{,}262 \times 1{,}392/\sqrt{10} \approx 0{,}996$ g, d’où

$$IC_{95\,\%}(m) \approx [249{,}30 \ ;\ 251{,}30]$$

La valeur cible de 250 g est dans l’intervalle : rien n’indique un mauvais réglage de la moyenne.

L'intervalle de Student (en vert) est un peu plus large que celui obtenu avec 1,96 (en rose), qui oublie que σ a été estimé : c'est le piège ci-dessous.

Si $\sigma$ était connu, on utiliserait le pivot normal et le quantile $z_{1-\alpha/2} = 1{,}96$ à la place de $t_{n-1;1-\alpha/2}$. Et si la loi n’est pas normale mais $n$ est grand (disons au moins 30), le TCL justifie l’intervalle approché $\bar X_n \pm z_{1-\alpha/2}\,\tilde S_n/\sqrt{n}$.

Piège

Utiliser 1,96 au lieu du quantile de Student sur un petit échantillon donne un intervalle trop étroit. Pour les paquets, on obtiendrait une demi-largeur de 0,86 g au lieu de 1,00 g, et un niveau réel inférieur à 95 %. Pour $n = 5$, le quantile de Student vaut 2,78 ; il ne descend à 2,05 que vers $n = 30$.

Pour la variance

Le pivot est $(n-1)\tilde S_n^2/\sigma^2 \sim \chi^2_{n-1}$. La loi n’étant pas symétrique, on prend deux quantiles différents :

$$IC_{1-\alpha}(\sigma^2) = \left[ \frac{(n-1)\,\tilde S_n^2}{\chi^2_{n-1;1-\alpha/2}} \ ;\ \frac{(n-1)\,\tilde S_n^2}{\chi^2_{n-1;\alpha/2}} \right]$$

Attention à l’inversion : le grand quantile donne la borne inférieure.

Exemple

Avec $\chi^2_{9;0,025} \approx 2{,}700$ et $\chi^2_{9;0,975} \approx 19{,}023$ :

$$IC_{95\,\%}(\sigma^2) \approx \left[ \frac{17{,}44}{19{,}023} \ ;\ \frac{17{,}44}{2{,}700} \right] \approx [0{,}92 \ ;\ 6{,}46]$$

En prenant les racines, $\sigma$ est entre 0,96 et 2,54 g. L’intervalle est très large : dix paquets renseignent mal sur la dispersion.

On encadre le pivot entre deux quantiles non symétriques, puis on inverse : le grand quantile 19,023 donne la borne basse de σ², le petit quantile 2,700 la borne haute.

Pour une proportion

Dans une enquête auprès de 400 étudiants rennais, 136 déclarent venir à vélo : $\hat p = 0{,}34$. Pour $n$ grand, le TCL donne $\sqrt{n}(\hat p - p)/\sqrt{p(1-p)} \approx \mathcal{N}(0, 1)$. En remplaçant $p$ par $\hat p$ sous la racine, on obtient l’intervalle approché

$$IC_{1-\alpha}(p) \approx \left[ \hat p - z_{1-\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}} \ ;\ \hat p + z_{1-\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}} \right]$$

Ici, la demi-largeur vaut $1{,}96\sqrt{0{,}34 \times 0{,}66/400} \approx 0{,}046$ : entre 29,4 % et 38,6 % des étudiants viennent à vélo.

Combien faut-il interroger de personnes pour une précision donnée ? Comme $p(1-p) \le 1/4$, il suffit que $1{,}96 \times \frac{1}{2\sqrt{n}} \le e$, soit $n \ge (1{,}96/(2e))^2$. Pour $\pm 3$ points, $n \ge 1\,068$ ; pour $\pm 2$ points, $n \ge 2\,401$. Diviser l’erreur par deux coûte quatre fois plus de données.

La précision décroît en 1/√n : passer de ±3 à ±2 points coûte plus du double d'enquêtés, et chaque gain supplémentaire devient de plus en plus cher.

cafe <- c(251.3, 248.7, 250.9, 252.4, 249.5, 250.2, 247.8, 251.7, 250.6, 249.9)
t.test(cafe)$conf.int                  # IC à 95 % sur la moyenne
n <- length(cafe); s2 <- var(cafe)
(n - 1) * s2 / qchisq(c(0.975, 0.025), df = n - 1)   # IC sur la variance
prop.test(136, 400, correct = FALSE)$conf.int         # IC sur une proportion (variante de Wilson)

import numpy as np
from scipy import stats

cafe = np.array([251.3, 248.7, 250.9, 252.4, 249.5, 250.2, 247.8, 251.7, 250.6, 249.9])
n, m, s = len(cafe), cafe.mean(), cafe.std(ddof=1)
print(stats.t.interval(0.95, df=n - 1, loc=m, scale=s / np.sqrt(n)))   # (249.30, 251.30)
print((n - 1) * s**2 / stats.chi2.ppf([0.975, 0.025], df=n - 1))       # (0.92, 6.46)

Attention

prop.test en R ne calcule pas l’intervalle « de Wald » ci-dessus, mais l’intervalle de Wilson, plus fiable pour les petits effectifs. Les bornes diffèrent légèrement ; les deux sont corrects asymptotiquement.

Bien interpréter un intervalle de confiance

Une fois calculé, $[249{,}30 \ ;\ 251{,}30]$ est un intervalle fixe, et $m$ est un nombre fixe : soit $m$ est dedans, soit il n’y est pas. Il n’y a plus rien d’aléatoire. Le « 95 % » porte sur la procédure : si l’on répétait l’échantillonnage un grand nombre de fois, 95 % des intervalles ainsi construits contiendraient $m$.

Une simulation le vérifie : en tirant 20 000 échantillons de 10 paquets d’une loi normale de moyenne 250, l’intervalle de Student contient 250 dans 94,8 % des cas.

Chaque échantillon donne un intervalle différent ; la vraie moyenne, elle, ne bouge pas. Environ 95 % des intervalles la capturent : le niveau est une propriété de la méthode.

La largeur de l’intervalle dépend de trois choses :

• le niveau : plus on veut être sûr, plus l’intervalle est large ;
• la dispersion $\sigma$ des données ;
• la taille $n$ : la largeur décroît en $1/\sqrt{n}$.

En entretien

« Un intervalle de confiance à 95 % est produit par une méthode qui, sur de nombreux échantillons, capture le vrai paramètre 95 fois sur 100. Ce n’est pas la probabilité que le paramètre soit dans l’intervalle que j’ai calculé : celui-là le contient ou non. »

Première approche

Si vous découvrez les intervalles de confiance, commencez par le chapitre Estimez un paramètre avec un intervalle de confiance du cours de Probabilités, plus intuitif.

En résumé

• $\chi^2_k$ est la loi d’une somme de $k$ carrés de normales centrées réduites indépendantes (c’est une loi gamma $\Gamma(k/2, 1/2)$) ; Student et Fisher en dérivent.
• Théorème de Fisher (échantillon gaussien) : $\bar X_n$ et $\tilde S_n^2$ indépendantes, $(n-1)\tilde S_n^2/\sigma^2 \sim \chi^2_{n-1}$, $\sqrt{n}(\bar X_n - m)/\tilde S_n \sim \mathcal{T}_{n-1}$.
• Un IC se construit à partir d’une fonction pivot de loi connue, encadrée par deux quantiles.
• Moyenne : $\bar x \pm t_{n-1;1-\alpha/2}\,\tilde s/\sqrt{n}$ ; variance : quantiles du chi-deux, inversés ; proportion : $\hat p \pm z_{1-\alpha/2}\sqrt{\hat p(1-\hat p)/n}$.
• Le niveau de confiance est une propriété de la méthode, pas de l’intervalle calculé ; la largeur décroît en $1/\sqrt{n}$.

Exercices

Exercice · Lire une sortie et recalculer un intervalle

facile

Sur 25 trajets domicile-école, un étudiant mesure une durée moyenne de 23,4 minutes, avec un écart-type corrigé de 4,5 minutes. On admet la normalité. Donnez un IC à 95 % de la durée moyenne ($t_{24;0,975} \approx 2{,}064$).

Voir la solution

L’erreur-type vaut $4{,}5/\sqrt{25} = 0{,}9$ minute. La demi-largeur vaut $2{,}064 \times 0{,}9 \approx 1{,}86$ minute. D’où

$$IC_{95\,\%}(m) \approx [21{,}5 \ ;\ 25{,}3] \text{ minutes.}$$

En code

Python

import numpy as np
from scipy import stats

n, moyenne, s = 25, 23.4, 4.5
erreur_type = s / np.sqrt(n)                       # 0.9
t = stats.t.ppf(0.975, df=n - 1)                   # 2.064
print(moyenne - t * erreur_type, moyenne + t * erreur_type)   # 21.54  25.26

R

n <- 25; moyenne <- 23.4; s <- 4.5
erreur_type <- s / sqrt(n)                  # 0.9
t <- qt(0.975, df = n - 1)                  # 2.064
moyenne + c(-1, 1) * t * erreur_type        # 21.54  25.26

Exercice · Taille d'échantillon d'un sondage

moyen

Un institut veut estimer à $\pm 2{,}5$ points près (niveau 95 %) la part de Rennais favorables à une nouvelle ligne de tramway.

1. Combien de personnes interroger, sans information préalable ?
2. Et si une étude précédente indique une proportion proche de 10 % ?

Voir la solution

1. Sans information, on se place dans le pire cas $p(1-p) = 1/4$ : $n \ge (1{,}96/(2 \times 0{,}025))^2 = 39{,}2^2 \approx 1\,536{,}6$, donc 1 537 personnes.
2. Avec $p \approx 0{,}1$ : $n \ge 1{,}96^2 \times 0{,}1 \times 0{,}9 / 0{,}025^2 \approx 553{,}2$, donc environ 554 personnes. Une proportion éloignée de 50 % est plus facile à estimer avec une précision absolue donnée.

En code

Python

import numpy as np
from scipy import stats

z = stats.norm.ppf(0.975)                          # 1.96
e = 0.025                                          # précision voulue : 2,5 points

def taille(p):                                     # plus petit n tel que z*sqrt(p(1-p)/n) <= e
    return z**2 * p * (1 - p) / e**2

print(taille(0.5), int(np.ceil(taille(0.5))))      # 1536.6  1537 (pire cas)
print(taille(0.1), int(np.ceil(taille(0.1))))      # 553.2  554

R

z <- qnorm(0.975)                           # 1.96
e <- 0.025                                  # précision voulue : 2,5 points
taille <- function(p) z^2 * p * (1 - p) / e^2   # plus petit n tel que z*sqrt(p(1-p)/n) <= e

taille(0.5); ceiling(taille(0.5))           # 1536.6  1537 (pire cas)
taille(0.1); ceiling(taille(0.1))           # 553.2  554

Exercice · Démontrer une relation entre lois

difficile

Montrez que si $T \sim \mathcal{T}_k$, alors $T^2 \sim \mathcal{F}_{1,k}$. Déduisez-en le lien entre $t_{k;0,975}$ et $f_{1,k;0,95}$.

Voir la solution

Par définition, $T = Z/\sqrt{Y/k}$ avec $Z \sim \mathcal{N}(0,1)$ et $Y \sim \chi^2_k$ indépendantes. Donc $T^2 = \frac{Z^2 / 1}{Y / k}$. Or $Z^2 \sim \chi^2_1$ (première étape de la preuve du chi-deux), et $Z^2$ reste indépendante de $Y$. C’est exactement la définition de $\mathcal{F}_{1,k}$.

Par symétrie de la loi de Student, $P(T^2 \le t^2) = P(-t \le T \le t)$. Avec $t = t_{k;0,975}$, cette probabilité vaut $0{,}95$. Donc $f_{1,k;0,95} = t_{k;0,975}^2$. Par exemple, $2{,}262^2 \approx 5{,}12 = f_{1,9;0,95}$. Ce lien reviendra en régression : le test de Student sur une pente et le test de Fisher global coïncident en régression simple.

En code

Python

import numpy as np
from scipy import stats

k = 9
print(stats.t.ppf(0.975, k)**2, stats.f.ppf(0.95, 1, k))   # 5.117  5.117

# Simulation : T = Z / sqrt(Y / k), puis on compare T^2 à la loi F(1, k)
rng = np.random.default_rng(0)
Z = rng.standard_normal(100_000)
Y = rng.chisquare(k, 100_000)
T2 = (Z / np.sqrt(Y / k))**2
print(np.quantile(T2, [0.5, 0.9, 0.95]))           # 0.49  3.37  5.13 (simulés)
print(stats.f.ppf([0.5, 0.9, 0.95], 1, k))         # 0.49  3.36  5.12 (loi F(1, 9))

R

k <- 9
qt(0.975, k)^2; qf(0.95, 1, k)              # 5.117  5.117

# Simulation : T = Z / sqrt(Y / k), puis on compare T^2 à la loi F(1, k)
set.seed(0)
Z <- rnorm(100000)
Y <- rchisq(100000, df = k)
T2 <- (Z / sqrt(Y / k))^2
quantile(T2, c(0.5, 0.9, 0.95))             # 0.50  3.40  5.13 (simulés)
qf(c(0.5, 0.9, 0.95), 1, k)                 # 0.49  3.36  5.12 (loi F(1, 9))