Comprenez la logique d'un test statistique

Une machine remplit des paquets de café censés peser 250 g. Sur 16 paquets, la masse moyenne vaut 249,2 g. La machine est-elle déréglée, ou bien ce petit écart est-il le fruit du hasard ? Arrêter la ligne pour rien coûte cher ; laisser partir des paquets trop légers aussi.

Un test statistique est une règle de décision qui tranche ce genre de question en contrôlant le risque de se tromper. Ce chapitre en démonte la mécanique sur ce cas simple ; les chapitres suivants déclineront la même logique pour d’autres paramètres.

Deux hypothèses qui ne jouent pas le même rôle

On formalise la question par deux hypothèses sur la moyenne $m$ de la machine :

• l’hypothèse nulle $H_0 : m = 250$, la machine est bien réglée ;
• l’hypothèse alternative $H_1 : m \ne 250$, elle est déréglée.

Ces deux hypothèses ne sont pas symétriques. $H_0$ est l’hypothèse de référence, celle du statu quo ou de la prudence, que l’on garde tant que les données ne la contredisent pas nettement. $H_1$ est ce que l’on cherche à mettre en évidence. Le raisonnement ressemble à un procès : l’accusé est présumé innocent ($H_0$) et on ne le condamne que sur des preuves suffisantes.

L’alternative peut être :

• bilatérale : $H_1 : m \ne 250$ (un écart dans un sens ou dans l’autre nous intéresse) ;
• unilatérale : $H_1 : m < 250$ (seuls les paquets trop légers posent problème, par exemple pour une association de consommateurs), avec alors $H_0 : m \ge 250$.

Deux façons de se tromper

Quelle que soit la règle, deux erreurs sont possibles :

	$H_0$ vraie (machine réglée)	$H_1$ vraie (machine déréglée)
On conserve $H_0$	bonne décision	erreur de seconde espèce (risque $\beta$)
On rejette $H_0$	erreur de première espèce (risque $\alpha$)	bonne décision (probabilité $1 - \beta$)

• $\alpha$, le niveau du test, est la probabilité de rejeter $H_0$ alors qu’elle est vraie : un faux positif, ici arrêter une machine bien réglée.
• $\beta$ est la probabilité de conserver $H_0$ alors qu’elle est fausse : un faux négatif, ici laisser tourner une machine déréglée.
• La puissance $1 - \beta$ est la probabilité de détecter un écart qui existe vraiment.

On ne peut pas rendre $\alpha$ et $\beta$ petits en même temps à taille d’échantillon fixée : être plus exigeant pour rejeter (baisser $\alpha$) fait rater plus d’écarts réels (augmenter $\beta$). La convention est donc de fixer $\alpha$ (1 %, 5 % ou 10 %) et de choisir, parmi les tests de niveau $\alpha$, le plus puissant.

La démarche en six étapes

Supposons, comme l’indique le constructeur, que la masse d’un paquet suit une loi $\mathcal{N}(m, \sigma^2)$ avec $\sigma = 1{,}5$ g connu. On a $n = 16$ et $\bar x = 249{,}2$ g.

1. Hypothèses : $H_0 : m = 250$ contre $H_1 : m \ne 250$.
2. Niveau : $\alpha = 5\,\%$.
3. Statistique de test, dont on connaît la loi sous $H_0$ :

$$T_0 = \frac{\sqrt{n}\,(\bar X_n - m_0)}{\sigma} \sim \mathcal{N}(0, 1) \text{ sous } H_0$$

où $m_0 = 250$ est la valeur testée. $T_0$ mesure l’écart entre la moyenne observée et $m_0$, en nombre d’erreurs-types.

4. Région critique $R$ : les valeurs de $T_0$ qui conduisent à rejeter $H_0$, choisies pour que $P_{H_0}(T_0 \in R) = \alpha$. Pour une alternative bilatérale, on rejette les valeurs trop grandes en valeur absolue : $R = \left] -\infty, -z_{1-\alpha/2} \right[ \cup \left] z_{1-\alpha/2}, +\infty \right[$, avec $z_{0,975} = 1{,}96$.
5. Valeur observée : $t_0 = \sqrt{16}\,(249{,}2 - 250)/1{,}5 = 4 \times (-0{,}8)/1{,}5 \approx -2{,}13$.
6. Décision et conclusion : $\lvert t_0 \rvert = 2{,}13 > 1{,}96$, donc $t_0 \in R$ : on rejette $H_0$ au niveau 5 %. Les données indiquent un déréglage de la machine.

On peut aussi exprimer la région critique directement sur $\bar x$ : on rejette si $\bar x$ sort de $[250 - 1{,}96 \times 1{,}5/4 \ ;\ 250 + 1{,}96 \times 1{,}5/4] = [249{,}265 \ ;\ 250{,}735]$. Avec 249,2 g, on est juste en dessous.

Attention

Le choix des hypothèses, du niveau et du sens de l’alternative se fait avant de regarder les données. Choisir un test unilatéral après avoir vu dans quel sens va l’écart revient à doubler le risque $\alpha$ réel.

La p-valeur : jusqu’à quel niveau rejette-t-on ?

Le verdict « rejet à 5 % » perd de l’information : rejette-t-on de justesse ou de très loin ? La p-valeur répond. C’est la probabilité, si $H_0$ est vraie, d’observer une statistique au moins aussi extrême que celle obtenue :

$$p = P_{H_0}\left( \lvert T_0 \rvert \ge \lvert t_0 \rvert \right) = 2\left(1 - \Phi(\lvert t_0 \rvert)\right)$$

où $\Phi$ est la fonction de répartition de $\mathcal{N}(0, 1)$. Ici, $p = 2(1 - \Phi(2{,}13)) \approx 0{,}033$.

La p-valeur est aussi le plus petit niveau $\alpha$ auquel on rejette $H_0$. D’où la règle : on rejette $H_0$ au niveau $\alpha$ si et seulement si $p \le \alpha$. Ici, on rejette à 5 % ($0{,}033 \le 0{,}05$) mais pas à 1 % ($\lvert t_0 \rvert = 2{,}13 < z_{0,995} = 2{,}576$).

La p-valeur est l'aire des deux queues au-delà de |t₀| = 2,13. Elle dépasse le seuil 1,96 (rejet à 5 %) mais pas 2,576 (conservation à 1 %).

Pour l’alternative unilatérale $H_1 : m < 250$, seule la queue gauche compte : $p = \Phi(-2{,}13) \approx 0{,}016$, et la région critique devient $t_0 < -z_{0,95} = -1{,}645$.

Piège

La p-valeur n’est pas la probabilité que $H_0$ soit vraie. $p = 0{,}033$ ne veut pas dire « 3,3 % de chances que la machine soit bien réglée ». Cela veut dire : si elle était bien réglée, un écart au moins aussi grand n’arriverait que dans 3,3 % des échantillons.

Attention

« Conserver $H_0$ » ne prouve pas $H_0$. Un test non significatif signifie seulement que les données ne permettent pas de conclure, souvent parce que l’échantillon est trop petit. C’est pourquoi on dit « on conserve » ou « on ne rejette pas », et jamais « on accepte ».

La puissance : détecter ce qui existe

Supposons que la machine soit en réalité réglée à $m = 249$ g. Quelle est la probabilité que notre test (16 paquets, $\alpha = 5\,\%$) le détecte ?

Sous cette hypothèse, $T_0$ n’est plus centrée : elle suit $\mathcal{N}(\delta, 1)$ avec $\delta = \sqrt{16}\,(249 - 250)/1{,}5 \approx -2{,}67$. La puissance vaut

$$1 - \beta = P(\lvert T_0 \rvert > 1{,}96) = \Phi(-1{,}96 - \delta) + \Phi(-1{,}96 + \delta) \approx 0{,}76$$

Une fois sur quatre, un déréglage d’un gramme passerait inaperçu. Pour faire mieux, il faut plus de données :

Nombre de paquets $n$	4	9	16	25	36
Puissance pour $m = 249$	0,27	0,52	0,76	0,92	0,98

La puissance augmente avec la taille de l’échantillon, avec l’écart réel $\lvert m - m_0 \rvert$ et avec $\alpha$ ; elle diminue quand $\sigma$ augmente. Pour atteindre 90 %, il faut $n \ge \left( (z_{0,975} + z_{0,90})\,\sigma / \lvert m - m_0 \rvert \right)^2 = \left((1{,}96 + 1{,}28) \times 1{,}5\right)^2 \approx 23{,}6$, soit 24 paquets. C’est ce calcul qu’on fait avant une expérience, par exemple avant un test A/B.

Les deux risques se lisent sur les mêmes seuils ±1,96 : α sous la courbe de H₀, β sous la courbe de H₁. Écarter les seuils réduit α mais agrandit β.

Toutes les courbes valent α = 5 % quand H₀ est vraie. Plus n est grand, plus elles se creusent étroitement : un même écart d'un gramme est détecté presque à coup sûr avec 36 paquets.

Test et intervalle de confiance : deux faces d’une même pièce

L’IC à 95 % de $m$ (avec $\sigma$ connu) vaut $249{,}2 \pm 1{,}96 \times 1{,}5/4 = [248{,}46 \ ;\ 249{,}94]$. Il ne contient pas 250.

Ce n’est pas un hasard. Pour un test bilatéral, on rejette $H_0 : \theta = \theta_0$ au niveau $\alpha$ si et seulement si $\theta_0$ n’appartient pas à l’IC de niveau $1 - \alpha$. L’intervalle donne même plus d’information que le test : il indique toutes les valeurs de $m$ compatibles avec les données.

Même demi-largeur, centres échangés : x̄ sort de la zone d'acceptation autour de 250 exactement quand 250 sort de l'intervalle autour de x̄.

# On raisonne directement sur le résumé : n = 16, moyenne 249.2, sigma = 1.5
z0 <- sqrt(16) * (249.2 - 250) / 1.5
2 * (1 - pnorm(abs(z0)))                   # p-valeur bilatérale : 0.033
power.t.test(delta = 1, sd = 1.5, power = 0.9, type = "one.sample")   # n nécessaire (version Student)

import numpy as np
from scipy import stats

z0 = np.sqrt(16) * (249.2 - 250) / 1.5
print(z0, 2 * stats.norm.sf(abs(z0)))      # -2.13 et 0.033

delta = np.sqrt(16) * (249 - 250) / 1.5
puissance = stats.norm.cdf(-1.96 - delta) + stats.norm.cdf(-1.96 + delta)
print(puissance)                           # 0.76

À retenir

Un test fixe d’abord $H_0$, $H_1$ et le niveau $\alpha$ (risque de faux positif), puis compare une statistique de loi connue sous $H_0$ à une région critique. La p-valeur est la probabilité, sous $H_0$, d’un résultat au moins aussi extrême : on rejette si $p \le \alpha$. La puissance $1 - \beta$ se planifie en choisissant $n$.

En entretien

« Une p-valeur, c’est la probabilité d’observer un résultat au moins aussi extrême si l’hypothèse nulle était vraie. Elle ne dit ni la probabilité que l’hypothèse soit vraie, ni la taille de l’effet : pour cela, je regarde l’intervalle de confiance. »

Première approche

Le chapitre Testez une hypothèse du cours de Probabilités présente les tests de façon plus intuitive, sur un exemple en R.

En résumé

• $H_0$ est l’hypothèse de référence, qu’on ne rejette que sur preuves ; $H_1$ est ce qu’on veut montrer (bilatérale ou unilatérale).
• Erreur de première espèce : rejeter $H_0$ à tort (probabilité $\alpha$, fixée) ; seconde espèce : la conserver à tort ($\beta$) ; puissance $= 1 - \beta$.
• Démarche : hypothèses, niveau, statistique de loi connue sous $H_0$, région critique, valeur observée, décision.
• p-valeur : plus petit niveau qui conduit au rejet ; ce n’est pas la probabilité que $H_0$ soit vraie, et conserver $H_0$ ne la prouve pas.
• La puissance croît avec $n$ et avec l’écart réel ; test bilatéral et intervalle de confiance sont équivalents.

Exercices

Exercice · Formuler les hypothèses

facile

Pour chaque situation, écrivez $H_0$ et $H_1$ et dites si le test est unilatéral ou bilatéral.

1. Un fabricant affirme que ses ampoules durent en moyenne au moins 10 000 heures ; une association de consommateurs veut le contredire.
2. Un laboratoire vérifie qu’un appareil de mesure n’a pas de biais : la moyenne de mesures d’un étalon de 100 mg doit valoir 100 mg.
3. Une équipe produit veut montrer que la nouvelle version d’une page augmente le taux de conversion, actuellement de 4 %.

Voir la solution

1. $H_0 : m \ge 10\,000$ contre $H_1 : m < 10\,000$ (unilatéral). L’association cherche à montrer que la durée est plus courte : c’est $H_1$.
2. $H_0 : m = 100$ contre $H_1 : m \ne 100$ (bilatéral) : un biais dans un sens ou dans l’autre pose problème.
3. $H_0 : p \le 0{,}04$ contre $H_1 : p > 0{,}04$ (unilatéral). L’amélioration est ce qu’il faut démontrer ; sans preuve, on garde le statu quo.

En code

Python

import numpy as np
from scipy import stats

# Données fictives : le sens de H1 se traduit par l'argument alternative
rng = np.random.default_rng(0)
ampoules = rng.normal(9800, 500, size=30)          # durées de vie (heures)
mesures = rng.normal(100.2, 0.5, size=20)          # mesures de l'étalon (mg)

# 1. H1 : m < 10 000 (unilatéral à gauche)
print(stats.ttest_1samp(ampoules, 10000, alternative="less").pvalue)        # 0.0008
# 2. H1 : m != 100 (bilatéral)
print(stats.ttest_1samp(mesures, 100, alternative="two-sided").pvalue)     # 0.0004
# 3. H1 : p > 0.04 (unilatéral à droite), 52 conversions sur 1 000 visites
print(stats.binomtest(52, 1000, p=0.04, alternative="greater").pvalue)   # 0.036

R

# Données fictives : le sens de H1 se traduit par l'argument alternative
set.seed(0)
ampoules <- rnorm(30, mean = 9800, sd = 500)     # durées de vie (heures)
mesures  <- rnorm(20, mean = 100.2, sd = 0.5)    # mesures de l'étalon (mg)

# 1. H1 : m < 10 000 (unilatéral à gauche)
t.test(ampoules, mu = 10000, alternative = "less")$p.value         # 0.016
# 2. H1 : m != 100 (bilatéral)
t.test(mesures, mu = 100, alternative = "two.sided")$p.value      # 0.057
# 3. H1 : p > 0.04 (unilatéral à droite), 52 conversions sur 1 000 visites
binom.test(52, 1000, p = 0.04, alternative = "greater")$p.value   # 0.036

Exercice · Mener un test complet

moyen

Des bouteilles doivent contenir 1 000 mL. La machine a un écart-type connu de 6 mL et on suppose la normalité. Sur 36 bouteilles, $\bar x = 997{,}6$ mL. Testez au niveau 5 % si la machine sous-remplit en moyenne, puis donnez la p-valeur.

Voir la solution

On teste $H_0 : m \ge 1\,000$ contre $H_1 : m < 1\,000$. Sous $H_0$ (à la frontière $m = 1\,000$), $T_0 = \sqrt{n}(\bar X - 1\,000)/6 \sim \mathcal{N}(0,1)$.

$t_0 = 6 \times (997{,}6 - 1\,000)/6 = -2{,}4$. La région critique unilatérale est $t_0 < -1{,}645$ : on rejette $H_0$, la machine sous-remplit.

La p-valeur vaut $\Phi(-2{,}4) \approx 0{,}008$ : on rejetterait même au niveau 1 %.

En code

Python

import numpy as np
from scipy import stats

n, moyenne, sigma, m0 = 36, 997.6, 6, 1000
t0 = np.sqrt(n) * (moyenne - m0) / sigma
print(t0, stats.norm.ppf(0.05))            # -2.4 < -1.645 : on rejette H0
print(stats.norm.cdf(t0))                  # p-valeur unilatérale : 0.0082

R

n <- 36; moyenne <- 997.6; sigma <- 6; m0 <- 1000
t0 <- sqrt(n) * (moyenne - m0) / sigma
t0; qnorm(0.05)                            # -2.4 < -1.645 : on rejette H0
pnorm(t0)                                  # p-valeur unilatérale : 0.0082

Exercice · Planifier un test par sa puissance

difficile

On reprend la machine à café ($\sigma = 1{,}5$ g, test bilatéral à 5 %). On veut détecter un déréglage de 0,5 g avec une puissance de 80 %. Combien de paquets faut-il peser ? Commentez par rapport au déréglage de 1 g.

Voir la solution

On utilise $n \ge \left((z_{0,975} + z_{0,80})\,\sigma/\Delta\right)^2$ avec $z_{0,80} \approx 0{,}842$ et $\Delta = 0{,}5$ :

$$n \ge \left( (1{,}96 + 0{,}842) \times 1{,}5 / 0{,}5 \right)^2 = (8{,}405)^2 \approx 70{,}6$$

Il faut donc 71 paquets. Pour un déréglage de 1 g à la même puissance, on trouverait $(2{,}802 \times 1{,}5)^2 \approx 17{,}7$, soit 18 paquets. Diviser l’écart à détecter par 2 multiplie la taille d’échantillon par 4 : la taille nécessaire varie comme $1/\Delta^2$.

En code

Python

import numpy as np
from scipy import stats
from statsmodels.stats.power import tt_solve_power

sigma, alpha, puissance = 1.5, 0.05, 0.80
z = stats.norm.ppf(1 - alpha / 2) + stats.norm.ppf(puissance)   # 1.96 + 0.842
for ecart in [0.5, 1.0]:
    n = (z * sigma / ecart)**2
    print(ecart, n, int(np.ceil(n)))       # 0.5 -> 70.6 soit 71 ; 1.0 -> 17.7 soit 18

# Version Student (sigma estimé) : un peu plus de paquets
print(tt_solve_power(effect_size=0.5 / sigma, alpha=alpha, power=puissance))   # 72.6

R

sigma <- 1.5; alpha <- 0.05; puissance <- 0.80
z <- qnorm(1 - alpha / 2) + qnorm(puissance)   # 1.96 + 0.842
for (ecart in c(0.5, 1)) {
  n <- (z * sigma / ecart)^2
  cat(ecart, n, ceiling(n), "\n")        # 0.5 -> 70.6 soit 71 ; 1 -> 17.7 soit 18
}

# Version Student (sigma estimé) : un peu plus de paquets
power.t.test(delta = 0.5, sd = sigma, power = puissance, type = "one.sample")$n   # 72.6