Testez une hypothèse

Le service marketing veut imprimer « 28 minutes d’autonomie » sur la boîte du drone. Les 10 batteries testées au chapitre 9 donnent 26,95 minutes en moyenne. Est-ce la preuve que la promesse est fausse, ou un simple aléa d’échantillonnage ? Et quand un second fournisseur propose des batteries qui tiennent en moyenne une minute de plus sur 10 essais, faut-il changer de fournisseur ?

Pour trancher ce genre de question de façon reproductible, on utilise un test statistique. Ce chapitre en présente la logique, le vocabulaire et les pièges, sur l’exemple des batteries. Le cours de Statistiques étend ensuite la démarche à d’autres tests (khi-deux, tests non paramétriques, régression).

La logique d’un test

Un test confronte deux hypothèses sur la loi des données :

• l’hypothèse nulle $H_0$, qui doit définir complètement la loi de la statistique utilisée, et que l’on suppose vraie jusqu’à preuve du contraire : ici, $H_0 : \mu = 28$ ;
• l’hypothèse alternative $H_1$, souvent ce que l’on cherche à montrer : ici, $H_1 : \mu \neq 28$ (test bilatéral) ou $H_1 : \mu \lt 28$ (test unilatéral).

Le raisonnement est celui d’un procès : $H_0$ est « présumée innocente ». On calcule une statistique de test dont on connaît la loi sous $H_0$, et l’on regarde si la valeur observée est plausible sous cette loi. Si elle est trop extrême, on rejette $H_0$ ; sinon, on la conserve, faute de preuves suffisantes.

Attention

Conserver $H_0$ ne signifie pas l’avoir démontrée. Un accusé acquitté faute de preuves n’est pas prouvé innocent. De même, un test « non significatif » peut simplement manquer de données pour détecter un effet réel.

Deux façons de se tromper

Comme la décision repose sur un échantillon aléatoire, elle peut être fausse de deux façons :

	$H_0$ vraie	$H_1$ vraie
On rejette $H_0$	erreur de 1re espèce (risque $\alpha$)	bonne décision (puissance $1 - \beta$)
On conserve $H_0$	bonne décision	erreur de 2e espèce (risque $\beta$)

• Le risque de première espèce $\alpha = P(\text{rejeter } H_0 \mid H_0 \text{ vraie})$ est celui d’un « faux positif ». On le fixe à l’avance, souvent à 5 %.
• Le risque de seconde espèce $\beta = P(\text{conserver } H_0 \mid H_1 \text{ vraie})$ est celui d’un « faux négatif ». Il n’est pas fixé : il dépend de l’écart réel entre la vérité et $H_0$, et de la taille de l’échantillon.
• La puissance $1 - \beta$ est la probabilité de détecter un effet qui existe vraiment.

Vous reconnaissez la matrice de confusion du test de dépistage du chapitre 2 : un test statistique est un classifieur binaire entre $H_0$ et $H_1$, réglé pour limiter les faux positifs.

Tester une moyenne : le test de conformité

La démarche pas à pas

Si $H_0 : \mu = \mu_0$ est vraie, le pivot du chapitre 9 devient une statistique entièrement calculable :

$$T = \frac{\bar{X}_n - \mu_0}{S' / \sqrt{n}} \sim t_{n-1} \quad \text{sous } H_0$$

• $\mu_0$ est la valeur testée (28 minutes) ;
• $S'$ est l’écart-type empirique corrigé, $n$ la taille de l’échantillon ;
• si $\sigma$ est connu, on utilise $Z = \frac{\bar{X}_n - \mu_0}{\sigma/\sqrt{n}} \sim \mathcal{N}(0, 1)$ à la place.

Au risque $\alpha$, la zone d’acceptation est l’intervalle où $T$ tombe avec probabilité $1 - \alpha$ sous $H_0$ : $[-t_{n-1}(1 - \alpha/2)\,;\,t_{n-1}(1 - \alpha/2)]$ pour un test bilatéral. On rejette $H_0$ si la valeur observée $t$ en sort.

Exemple

Pour les batteries : $n = 10$, $\bar{x} = 26{,}95$, $s' \approx 0{,}932$.

$$t = \frac{26{,}95 - 28}{0{,}932/\sqrt{10}} \approx -3{,}56$$

Au risque 5 %, la zone d’acceptation est $[-2{,}262\,;\,2{,}262]$ (quantiles de $t_9$). La valeur $-3{,}56$ en sort : on rejette $H_0$. L’autonomie moyenne n’est pas de 28 minutes, et la promesse du marketing n’est pas tenable.

Sous H₀, la statistique tombe dans la zone verte 95 fois sur 100. La valeur observée pour les batteries, −3,56, est au-delà de −2,262 : on rejette H₀.

La p-valeur

Plutôt que de répondre seulement « rejet » ou « non-rejet », on donne en général la p-valeur : la probabilité, sous $H_0$, d’obtenir une statistique au moins aussi extrême que celle observée. Pour un test bilatéral :

$$p = P_{H_0}\big(\lvert T \rvert \geq \lvert t \rvert\big)$$

On rejette $H_0$ au risque $\alpha$ si et seulement si $p \lt \alpha$. La p-valeur est donc aussi le plus petit risque $\alpha$ pour lequel on rejetterait $H_0$ : elle permet à chacun d’appliquer son propre seuil.

Pour les batteries, $p = P(\lvert T_9 \rvert \geq 3{,}56) \approx 0{,}006$. Si l’autonomie moyenne était vraiment de 28 minutes, un écart aussi grand n’arriverait qu’environ 6 fois sur 1 000 : c’est peu plausible.

La p-valeur est l'aire des deux queues au-delà de la valeur observée. Elle passe sous α = 0,05 exactement quand |t| dépasse le seuil 2,262 : les deux règles de décision coïncident.

autonomie <- c(26.1, 27.4, 25.8, 28.2, 26.9, 27.7, 25.5, 26.6, 28.0, 27.3)

t.test(autonomie, mu = 28)                          # t = -3.56, df = 9, p-value = 0.0061
t.test(autonomie, mu = 28, alternative = "less")    # version unilatérale : p divisée par 2

# Le même calcul à la main
t_obs <- (mean(autonomie) - 28) / (sd(autonomie) / sqrt(10))
2 * pt(-abs(t_obs), df = 9)                         # p-valeur bilatérale

Piège

La p-valeur n’est pas la probabilité que $H_0$ soit vraie. C’est une probabilité calculée en supposant $H_0$ vraie : $P(\text{données aussi extrêmes} \mid H_0)$, et non $P(H_0 \mid \text{données})$. Confondre les deux, c’est exactement l’erreur du test de dépistage du chapitre 2. De même, $p = 0{,}06$ ne signifie pas « pas d’effet », mais « pas assez de preuves à 5 % ».

Lien avec l’intervalle de confiance

Test et intervalle de confiance sont les deux faces d’une même médaille : on rejette $H_0 : \mu = \mu_0$ au risque $\alpha$ (en bilatéral) si et seulement si $\mu_0$ est en dehors de l’intervalle de confiance de niveau $1 - \alpha$. L’intervalle du chapitre 9, $[26{,}28\,;\,27{,}62]$, ne contient pas 28 : le rejet était prévisible. L’intervalle a l’avantage de montrer en plus l’ampleur de l’écart.

À retenir

Un test fixe à l’avance le risque $\alpha$ de rejeter à tort $H_0$. On calcule une statistique de loi connue sous $H_0$ et sa p-valeur ; on rejette si $p \lt \alpha$. Conserver $H_0$ ne la prouve pas, et la p-valeur n’est pas la probabilité que $H_0$ soit vraie.

Comparer deux moyennes

Un second fournisseur propose ses batteries. Sur 10 essais, elles tiennent 28,0 minutes en moyenne, avec $s'_2 \approx 0{,}646$, contre 26,95 et $s'_1 \approx 0{,}932$ pour le fournisseur actuel. La différence est-elle réelle ?

On teste $H_0 : \mu_1 = \mu_2$ à l’aide de la différence $D = \bar{X}_1 - \bar{X}_2$, que l’on standardise. Trois cas se présentent, selon ce que l’on sait des variances :

Situation	Écart-type de $D$	Loi sous $H_0$
$\sigma_1$, $\sigma_2$ connus	$\sqrt{\sigma_1^2/n_1 + \sigma_2^2/n_2}$	$\mathcal{N}(0, 1)$
variances inconnues mais égales	$\hat{\sigma}\sqrt{1/n_1 + 1/n_2}$, avec $\hat{\sigma}^2 = \frac{(n_1 - 1)s_1'^2 + (n_2 - 1)s_2'^2}{n_1 + n_2 - 2}$	$t_{n_1 + n_2 - 2}$
variances inconnues quelconques (Welch)	$\sqrt{s_1'^2/n_1 + s_2'^2/n_2}$	Student à $\nu$ degrés de liberté (formule de Welch-Satterthwaite)

Dans le deuxième cas, $\hat{\sigma}^2$ est la variance commune estimée en regroupant les deux échantillons. Le troisième cas, le test de Welch, ne suppose pas l’égalité des variances ; c’est le choix par défaut de t.test en R, et le plus sûr en pratique.

Exemple

Avec Welch : l’écart-type estimé de $D$ vaut $\sqrt{0{,}932^2/10 + 0{,}646^2/10} \approx 0{,}359$, d’où :

$$t = \frac{26{,}95 - 28{,}0}{0{,}359} \approx -2{,}93$$

avec environ 16 degrés de liberté, soit une p-valeur de 0,010. On rejette $H_0$ au risque 5 % : le second fournisseur fait mieux, et l’intervalle de confiance à 95 % de la différence, $[-1{,}81\,;\,-0{,}29]$ minute, chiffre le gain entre 0,3 et 1,8 minute.

actuel  <- c(26.1, 27.4, 25.8, 28.2, 26.9, 27.7, 25.5, 26.6, 28.0, 27.3)
nouveau <- c(27.9, 28.4, 27.1, 28.8, 27.6, 28.3, 27.0, 28.9, 27.8, 28.2)

t.test(actuel, nouveau)                    # Welch (défaut) : t = -2.93, df = 16.0, p-value = 0.0099
t.test(actuel, nouveau, var.equal = TRUE)  # variances supposées égales : df = 18, p-value = 0.0090

Les deux nuages se chevauchent beaucoup, mais l'intervalle de confiance de la différence ne contient pas 0 : l'écart de 1,05 minute n'est pas qu'une fluctuation.

Les tests sur les moyennes supposent des données normales, mais ils restent approximativement valables sans normalité quand les effectifs dépassent une trentaine, grâce au théorème central limite. Avec 10 mesures par groupe, comme ici, il faut que l’hypothèse de normalité soit plausible (un histogramme ou un diagramme quantile-quantile, qqnorm, aide à en juger).

La puissance : combien de mesures faut-il ?

Fixer $\alpha$ ne dit rien de la capacité du test à détecter un effet réel. Supposons l’écart-type connu, $\sigma = 1$ minute, et un test bilatéral de $H_0 : \mu = 28$ au risque 5 % avec $n = 10$ batteries. Si la vraie moyenne est $\mu = 27$ (un écart $\delta = 1$), la statistique $Z$ est centrée non plus sur 0, mais sur $-\delta\sqrt{n}/\sigma \approx -3{,}16$ (la vraie moyenne est en dessous de 28). Le test étant bilatéral, seule la distance à 0 compte : le calcul est le même qu’avec $+3{,}16$. La puissance est la probabilité qu’elle sorte de $[-1{,}96\,;\,1{,}96]$ :

$$1 - \beta = P(Z' \gt 1{,}96 - 3{,}16) + P(Z' \lt -1{,}96 - 3{,}16) \approx 0{,}885$$

où $Z' \sim \mathcal{N}(0, 1)$. Pour un écart plus faible, $\delta = 0{,}5$, la puissance tombe à 0,35 : le test passera à côté de l’effet près de deux fois sur trois.

La zone de rejet est fixée par α (en rose, sous H₀). Quand l'écart réel diminue, la loi réelle glisse vers H₀ et la part violette β grandit : la puissance chute de 0,885 à 0,353.

La puissance augmente avec l’écart réel $\delta$, avec la taille d’échantillon $n$, quand la dispersion $\sigma$ diminue, et quand $\alpha$ augmente (on accepte plus de faux positifs pour moins de faux négatifs). Dans une comparaison de deux groupes à effectif total fixé, elle est maximale quand les deux groupes ont la même taille. En pratique, on dimensionne l’étude avant de collecter les données :

# Nombre de batteries pour détecter un écart de 0.5 minute avec 80 % de puissance
power.t.test(delta = 0.5, sd = 1, sig.level = 0.05, power = 0.80, type = "one.sample")
# n = 33.4 environ : il faut 34 batteries (l'approximation normale donne 32)

La puissance croît avec n, d'autant plus vite que l'écart à détecter est grand. Diviser l'écart par deux demande environ quatre fois plus de batteries.

En entretien

« $\alpha$ est le taux de faux positifs que j’accepte, la puissance la probabilité de détecter un effet réel. Avant un A/B test, je fixe l’effet minimal qui m’intéresse et je calcule la taille d’échantillon pour atteindre 80 % de puissance ; après, je rapporte la p-valeur et l’intervalle de confiance de l’effet. »

Pour aller plus loin

Le cours de Statistiques approfondit les tests : la logique d’un test, les tests usuels et la comparaison de deux échantillons, y compris le test du khi-deux.

En résumé

• Un test oppose $H_0$ (loi connue, présumée vraie) à $H_1$ ; on rejette $H_0$ si la statistique observée est trop extrême sous $H_0$.
• Le risque de 1re espèce $\alpha$ (faux positif) est fixé ; le risque de 2e espèce $\beta$ (faux négatif) dépend de l’effet réel et de $n$ ; la puissance vaut $1 - \beta$.
• La p-valeur est la probabilité, sous $H_0$, d’un résultat au moins aussi extrême ; on rejette si $p \lt \alpha$. Ce n’est pas $P(H_0 \mid \text{données})$.
• Conformité d’une moyenne : $Z$ si $\sigma$ est connu, $T \sim t_{n-1}$ sinon ; rejeter au risque $\alpha$ équivaut à $\mu_0$ hors de l’intervalle de confiance à $1 - \alpha$.
• Deux moyennes : test $Z$, test de Student à variances égales, ou test de Welch (défaut de t.test).
• On dimensionne une étude par un calcul de puissance (power.t.test) ; « non significatif » ne prouve pas l’absence d’effet.

Exercices

Exercice · Un test avec écart-type connu

facile

Une machine est réglée pour remplir des bouteilles à 500 mL, avec un écart-type connu de 6 mL. On contrôle 36 bouteilles : la moyenne vaut 498,2 mL. Au risque 5 %, la machine est-elle déréglée ? Donnez la p-valeur.

Voir la solution

$H_0 : \mu = 500$ contre $H_1 : \mu \neq 500$. Sous $H_0$, $Z = \frac{\bar{X} - 500}{6/\sqrt{36}} \sim \mathcal{N}(0, 1)$. La valeur observée est $z = \frac{498{,}2 - 500}{1} = -1{,}8$.

Elle reste dans la zone d’acceptation $[-1{,}96\,;\,1{,}96]$ : on conserve $H_0$. La p-valeur vaut $2\,P(Z \geq 1{,}8) = 2 \times (1 - \Phi(1{,}8)) \approx 0{,}072$, supérieure à 0,05.

Attention à la conclusion : on ne prouve pas que la machine est bien réglée, on constate seulement que 36 bouteilles ne suffisent pas à démontrer un dérèglement de cet ordre. En R : 2 * pnorm(-1.8).

En code

Python

import numpy as np
from scipy import stats

mu0, sigma, n, moyenne = 500, 6, 36, 498.2
z = (moyenne - mu0) / (sigma / np.sqrt(n))
p_valeur = 2 * stats.norm.sf(abs(z))           # bilatéral

print(z)                                       # -1.8
print(p_valeur)                                # 0.0719
print(abs(z) > stats.norm.ppf(0.975))          # False : on conserve H0

R

mu0 <- 500; sigma <- 6; n <- 36; moyenne <- 498.2
z <- (moyenne - mu0) / (sigma / sqrt(n))
p_valeur <- 2 * pnorm(-abs(z))                 # bilatéral

z                                              # -1.8
p_valeur                                       # 0.0719
abs(z) > qnorm(0.975)                          # FALSE : on conserve H0

Exercice · Un A/B test non significatif

moyen

Un site teste deux versions de sa page d’accueil sur 1 000 visiteurs chacune. La version A convertit 50 visiteurs, la version B en convertit 70. Sous $H_0$ (même taux de conversion $p$), on estime $p$ par la proportion globale $\hat{p} = 120/2\,000 = 0{,}06$, et la statistique

$$Z = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}(1 - \hat{p})(1/n_A + 1/n_B)}}$$

suit approximativement $\mathcal{N}(0, 1)$.

1. Calculez $z$ et la p-valeur bilatérale. Que concluez-vous au risque 5 % ?
2. Le responsable produit en déduit que « la version B ne fait pas mieux ». Qu’en pensez-vous ?

Voir la solution

1. $\hat{p}_B - \hat{p}_A = 0{,}07 - 0{,}05 = 0{,}02$. Le dénominateur vaut $\sqrt{0{,}06 \times 0{,}94 \times 0{,}002} \approx 0{,}0106$, donc $z \approx 1{,}88$ et $p = 2(1 - \Phi(1{,}88)) \approx 0{,}060$. Au risque 5 %, on ne rejette pas $H_0$. En R, prop.test(c(70, 50), c(1000, 1000), correct = FALSE) donne la même p-valeur (sa statistique du khi-deux vaut $z^2 \approx 3{,}55$).
2. C’est une erreur d’interprétation. Le test n’a pas montré l’absence d’effet : il a manqué de puissance. L’effet observé (+2 points, soit +40 % de conversions) serait considérable s’il était réel. Il faut soit prolonger le test pour augmenter $n$, soit présenter l’intervalle de confiance de la différence, qui contient à la fois 0 et des gains importants.

En code

Python

import numpy as np
from scipy import stats
from statsmodels.stats.proportion import proportions_ztest

conv = np.array([70, 50])                 # conversions B puis A
n = np.array([1000, 1000])
p_b, p_a = conv / n
p_global = conv.sum() / n.sum()           # 0.06 sous H0

z = (p_b - p_a) / np.sqrt(p_global * (1 - p_global) * (1 / n[0] + 1 / n[1]))
print(z, 2 * stats.norm.sf(abs(z)))       # 1.883  0.0597
print(proportions_ztest(conv, n))         # même z et même p-valeur

# IC de Wald à 95 % de la différence : il contient 0 et des gains importants
ecart = np.sqrt(p_b * (1 - p_b) / n[0] + p_a * (1 - p_a) / n[1])
print(p_b - p_a + np.array([-1, 1]) * 1.96 * ecart)   # [-0.0008  0.0408]

R

conv <- c(70, 50)                         # conversions B puis A
n <- c(1000, 1000)
p <- conv / n
p_global <- sum(conv) / sum(n)            # 0.06 sous H0

z <- (p[1] - p[2]) / sqrt(p_global * (1 - p_global) * (1 / n[1] + 1 / n[2]))
c(z, 2 * pnorm(-abs(z)))                  # 1.883  0.0597

test <- prop.test(conv, n, correct = FALSE)
test$statistic; test$p.value              # X-squared = 3.55 (= z^2), p = 0.0597
test$conf.int                             # -0.0008 0.0408 : contient 0 et des gains importants

Exercice · Dimensionner une comparaison

difficile

On veut comparer deux fournisseurs de batteries dont l’autonomie a un écart-type commun connu $\sigma = 1$ minute. On utilisera un test $Z$ bilatéral au risque 5 %, avec $n$ batteries par fournisseur.

1. Montrez que, si la vraie différence des moyennes est $\delta$, la puissance vaut approximativement $\Phi\left(\frac{\delta}{\sigma\sqrt{2/n}} - 1{,}96\right)$ (on néglige la probabilité de rejeter du « mauvais côté »).
2. Quelle valeur de $n$ faut-il pour détecter $\delta = 0{,}5$ minute avec une puissance de 80 % ?
3. Pourquoi est-il préférable de prendre 50 batteries de chaque fournisseur plutôt que 20 d’un côté et 80 de l’autre ?

Voir la solution

1. L’écart-type de $D = \bar{X}_1 - \bar{X}_2$ vaut $\sigma_D = \sigma\sqrt{2/n}$. Sous $H_1$, $Z = D/\sigma_D$ suit $\mathcal{N}(\delta/\sigma_D, 1)$. On rejette si $\lvert Z \rvert \gt 1{,}96$ ; du côté de l’effet, $P(Z \gt 1{,}96) = P(Z' \gt 1{,}96 - \delta/\sigma_D) = \Phi(\delta/\sigma_D - 1{,}96)$, où $Z' \sim \mathcal{N}(0,1)$. L’autre côté est négligeable dès que l’effet n’est pas minuscule.
2. On veut $\Phi\left(\frac{\delta}{\sigma\sqrt{2/n}} - 1{,}96\right) = 0{,}80$, soit $\frac{\delta}{\sigma\sqrt{2/n}} - 1{,}96 = 0{,}842$ (quantile d’ordre 0,8). Donc $\sqrt{n/2} = 2{,}802/0{,}5 = 5{,}604$, soit $n = 2 \times 5{,}604^2 \approx 62{,}8$ : il faut 63 batteries par fournisseur, 126 au total.
3. Avec des groupes de tailles $n_1$ et $n_2$, $\sigma_D^2 = \sigma^2(1/n_1 + 1/n_2)$. Pour $50 + 50$ : $\sigma_D^2 = 0{,}04\,\sigma^2$ ; pour $20 + 80$ : $\sigma_D^2 = (0{,}05 + 0{,}0125)\,\sigma^2 = 0{,}0625\,\sigma^2$. À effectif total égal, les groupes équilibrés donnent la plus petite variance de $D$, donc la plus grande puissance.

En code

Python

import numpy as np
from scipy import stats

def puissance(n, delta=0.5, sigma=1.0, alpha=0.05):
    """Puissance approchée du test Z bilatéral, n batteries par fournisseur."""
    sigma_d = sigma * np.sqrt(2 / n)
    return stats.norm.cdf(delta / sigma_d - stats.norm.ppf(1 - alpha / 2))

# 2. n tel que la puissance vaille 80 %
u, v = stats.norm.ppf(0.975), stats.norm.ppf(0.80)   # 1.96  0.842
n_exact = 2 * ((u + v) * 1.0 / 0.5) ** 2
print(n_exact, puissance(62), puissance(63))         # 62.79  0.7950  0.8013

# 3. Variance de D (en unités de sigma^2) selon la répartition de 100 batteries
for n1, n2 in [(50, 50), (20, 80)]:
    print(n1, n2, 1 / n1 + 1 / n2)                   # 0.04 puis 0.0625

R

puissance <- function(n, delta = 0.5, sigma = 1, alpha = 0.05) {
  # Puissance approchée du test Z bilatéral, n batteries par fournisseur
  sigma_d <- sigma * sqrt(2 / n)
  pnorm(delta / sigma_d - qnorm(1 - alpha / 2))
}

# 2. n tel que la puissance vaille 80 %
n_exact <- 2 * ((qnorm(0.975) + qnorm(0.80)) * 1 / 0.5)^2
c(n_exact, puissance(62), puissance(63))   # 62.79  0.7950  0.8013
# power.t.test (loi de Student, sd estimé) donne un résultat voisin
power.t.test(delta = 0.5, sd = 1, power = 0.80)$n   # 63.77, soit 64 par groupe

# 3. Variance de D (en unités de sigma^2) selon la répartition de 100 batteries
c(1/50 + 1/50, 1/20 + 1/80)                # 0.04 0.0625