Comparez deux échantillons

Une équipe web a réécrit une page de son site. La nouvelle version se charge-t-elle plus vite que l’ancienne ? Des patients traités guérissent-ils plus vite que des patients sous placebo ? Les abonnés venus des réseaux sociaux choisissent-ils la même formule que les autres ?

Toutes ces questions comparent deux groupes. On ne teste plus un paramètre contre une valeur fixée, mais deux paramètres l’un contre l’autre. Ce chapitre présente les tests correspondants, dans l’ordre où on les enchaîne en pratique, sur un fil rouge de temps de chargement.

Le fil rouge : deux versions d’une page

On mesure le temps de chargement (en secondes) de l’ancienne version A sur 10 visites et de la nouvelle version B sur 8 autres visites :

Version	Temps de chargement (s)
A (ancienne)	2,8 ; 3,4 ; 3,1 ; 2,6 ; 3,9 ; 3,3 ; 2,9 ; 3,6 ; 3,0 ; 3,4
B (nouvelle)	2,5 ; 2,9 ; 2,4 ; 3,1 ; 2,7 ; 2,2 ; 2,8 ; 2,6

Résumés : $n_1 = 10$, $\bar x = 3{,}20$ s, $\tilde s_X^2 \approx 0{,}156$ ; $n_2 = 8$, $\bar y = 2{,}65$ s, $\tilde s_Y^2 \approx 0{,}083$.

On suppose les deux échantillons indépendants (des visites différentes), gaussiens : $X_i \sim \mathcal{N}(m_X, \sigma_X^2)$ et $Y_j \sim \mathcal{N}(m_Y, \sigma_Y^2)$. La version B a l’air plus rapide de 0,55 s. Est-ce significatif ?

Les deux nuages se chevauchent en partie : l'écart de 0,55 s entre les moyennes est-il plus grand que ce que le hasard des visites produirait ? C'est la question du test.

Sous ces hypothèses, deux résultats servent de base à tout le chapitre :

$$\frac{(\bar X - \bar Y) - (m_X - m_Y)}{\sqrt{\sigma_X^2/n_1 + \sigma_Y^2/n_2}} \sim \mathcal{N}(0, 1) \qquad \text{et} \qquad \frac{\tilde S_X^2/\sigma_X^2}{\tilde S_Y^2/\sigma_Y^2} \sim \mathcal{F}_{n_1 - 1, n_2 - 1}$$

Le premier vient de ce qu’une différence de normales indépendantes est normale ; le second, du théorème de Fisher appliqué à chaque échantillon et de la définition de la loi de Fisher.

Étape 1 : comparer les variances avec le test de Fisher

Pourquoi commencer par les variances ? Parce que le test de comparaison des moyennes le plus simple suppose des variances égales. On teste donc d’abord $H_0 : \sigma_X^2 = \sigma_Y^2$ contre $H_1 : \sigma_X^2 \ne \sigma_Y^2$.

Sous $H_0$, les $\sigma^2$ se simplifient dans le second résultat :

$$F_0 = \frac{\tilde S_X^2}{\tilde S_Y^2} \sim \mathcal{F}_{n_1 - 1, n_2 - 1}$$

On rejette $H_0$ si $F_0$ est trop petit ou trop grand, c’est-à-dire hors de $[f_{n_1-1,n_2-1;\alpha/2} \ ;\ f_{n_1-1,n_2-1;1-\alpha/2}]$. En pratique, on place la plus grande des deux variances au numérateur : $F_0 \ge 1$, et il suffit de comparer au quantile supérieur $f_{1-\alpha/2}$. C’est possible grâce à la relation $f_{k,l;\alpha/2} = 1/f_{l,k;1-\alpha/2}$.

Exemple

$F_0 = 0{,}156/0{,}083 \approx 1{,}88$, avec $(9, 7)$ degrés de liberté. Le seuil vaut $f_{9,7;0,975} \approx 4{,}82$. Comme $1{,}88 < 4{,}82$, on conserve l’égalité des variances (p-valeur $\approx 0{,}42$).

Un rapport de variances de 1,88 est courant pour des échantillons aussi petits : sous H₀, il faudrait dépasser 4,82 pour conclure que les variances diffèrent.

Attention

Le test de Fisher est, comme le test du chi-deux sur une variance, très sensible à la non-normalité. Et avec de petits échantillons, il a peu de puissance : conserver $H_0$ ne prouve pas que les variances sont égales. C’est une des raisons pour lesquelles beaucoup de praticiens utilisent directement le test de Welch (plus bas).

Étape 2 : comparer les moyennes avec le test de Student

Variances égales

Si $\sigma_X^2 = \sigma_Y^2 = \sigma^2$, on estime cette variance commune en regroupant les deux échantillons. C’est la variance poolée :

$$\tilde S_p^2 = \frac{(n_1 - 1)\,\tilde S_X^2 + (n_2 - 1)\,\tilde S_Y^2}{n_1 + n_2 - 2}$$

Chaque échantillon y pèse selon son nombre de degrés de liberté. Sous $H_0 : m_X = m_Y$,

$$T_0 = \frac{\bar X - \bar Y}{\tilde S_p \sqrt{\dfrac{1}{n_1} + \dfrac{1}{n_2}}} \sim \mathcal{T}_{n_1 + n_2 - 2}$$

Les régions critiques sont celles du test de Student à un échantillon, avec $n_1 + n_2 - 2$ degrés de liberté.

Exemple

On veut montrer que B est plus rapide : $H_0 : m_X \le m_Y$ contre $H_1 : m_X > m_Y$.

• Sommes des carrés des écarts : 1,40 pour A et 0,58 pour B, d’où $\tilde s_p^2 = (1{,}40 + 0{,}58)/16 \approx 0{,}124$ et $\tilde s_p \approx 0{,}352$.
• $t_0 = \dfrac{3{,}20 - 2{,}65}{0{,}352\sqrt{1/10 + 1/8}} = \dfrac{0{,}55}{0{,}352 \times 0{,}474} \approx 3{,}30$.
• Seuil unilatéral : $t_{16;0,95} \approx 1{,}746$.

Comme $3{,}30 > 1{,}746$, on rejette $H_0$ : la nouvelle version est significativement plus rapide (p-valeur $\approx 0{,}002$). L’IC à 95 % de l’écart $m_X - m_Y$ vaut environ $[0{,}20 \ ;\ 0{,}90]$ seconde.

t₀ = 3,30 tombe loin derrière le seuil 1,746 : sous H₀, un écart aussi favorable à B n'arriverait que 2 fois sur 1 000.

Variances inégales : le test de Welch

Si les variances diffèrent, la statistique

$$T_0 = \frac{\bar X - \bar Y}{\sqrt{\tilde S_X^2/n_1 + \tilde S_Y^2/n_2}}$$

n’a plus de loi exacte simple. Pour de grands échantillons, le TCL assure qu’elle suit approximativement $\mathcal{N}(0, 1)$ sous $H_0$, même sans normalité : c’est le test asymptotique vu en cours. Pour de petits échantillons gaussiens, Welch a proposé de l’approcher par une loi de Student dont le nombre de degrés de liberté se calcule à partir des données (formule de Welch-Satterthwaite). C’est le comportement par défaut de t.test en R.

Sur nos données, le test de Welch donne $t_0 \approx 3{,}42$ avec environ 15,9 degrés de liberté, et une p-valeur unilatérale d’environ 0,002 : même conclusion.

A <- c(2.8, 3.4, 3.1, 2.6, 3.9, 3.3, 2.9, 3.6, 3.0, 3.4)
B <- c(2.5, 2.9, 2.4, 3.1, 2.7, 2.2, 2.8, 2.6)
var.test(A, B)                                           # Fisher : F = 1.88, p = 0.42
t.test(A, B, var.equal = TRUE, alternative = "greater")  # Student : t = 3.30, p = 0.002
t.test(A, B, alternative = "greater")                    # Welch (défaut de R)

from scipy import stats
A = [2.8, 3.4, 3.1, 2.6, 3.9, 3.3, 2.9, 3.6, 3.0, 3.4]
B = [2.5, 2.9, 2.4, 3.1, 2.7, 2.2, 2.8, 2.6]
print(stats.ttest_ind(A, B, equal_var=True, alternative="greater"))   # Student
print(stats.ttest_ind(A, B, equal_var=False, alternative="greater"))  # Welch

Piège

Ces tests supposent des échantillons indépendants. Si l’on mesure les mêmes visites, ou les mêmes patients avant et après un traitement, les données sont appariées : on calcule les différences individuelles $D_i = X_i - Y_i$ et on applique un test de Student à un échantillon sur les $D_i$ (t.test(x, y, paired = TRUE)). Ignorer l’appariement fait perdre beaucoup de puissance.

À retenir

Pour comparer deux moyennes d’échantillons indépendants : test de Fisher sur les variances ($\tilde S_X^2/\tilde S_Y^2$, plus grande au numérateur), puis test de Student à variance poolée si elles sont compatibles, ou test de Welch sinon. Pour de grands échantillons, le test asymptotique en loi normale dispense de l’hypothèse gaussienne.

Comparer deux proportions

Le même raisonnement vaut pour deux proportions. Sur $n_1$ visiteurs de la version A, $\hat p_1$ ont acheté ; sur $n_2$ de la version B, $\hat p_2$. Sous $H_0 : p_1 = p_2$, on estime la proportion commune par $\hat p = (n_1\hat p_1 + n_2\hat p_2)/(n_1 + n_2)$, et

$$T_0 = \frac{\hat p_1 - \hat p_2}{\sqrt{\hat p(1-\hat p)\left(\dfrac{1}{n_1} + \dfrac{1}{n_2}\right)}} \approx \mathcal{N}(0, 1)$$

C’est le test des tests A/B sur les taux de conversion (prop.test(c(x1, x2), c(n1, n2)) en R). Il est équivalent au test du chi-deux d’indépendance sur un tableau $2 \times 2$, que nous voyons maintenant.

Complément : le test d’indépendance du chi-deux

Nos supports de cours ne présentent pas ce test ; c’est un complément standard, très utilisé en analyse de données. Il répond à la question : deux variables qualitatives sont-elles liées ?

Un service de streaming croise la formule choisie par 160 nouveaux abonnés et le canal par lequel ils l’ont découvert :

Observé	Réseaux sociaux	Moteur de recherche	Bouche-à-oreille	Total
Mensuel	48	30	22	100
Annuel	12	20	28	60
Total	60	50	50	160

On teste $H_0$ : « la formule est indépendante du canal » contre $H_1$ : « elles sont liées ». Sous $H_0$, la probabilité d’une case est le produit des probabilités marginales, d’où l’effectif attendu

$$E_{ij} = \frac{n_{i\cdot} \times n_{\cdot j}}{n}$$

où $n_{i\cdot}$ est le total de la ligne $i$, $n_{\cdot j}$ celui de la colonne $j$ et $n$ l’effectif total. Par exemple, $E_{11} = 100 \times 60/160 = 37{,}5$. La statistique

$$D = \sum_{i,j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}} \approx \chi^2_{(I-1)(J-1)} \text{ sous } H_0$$

compare observé et attendu, pour un tableau à $I$ lignes et $J$ colonnes. Le nombre de degrés de liberté, $(I-1)(J-1)$, correspond au nombre de cases qu’on peut remplir librement une fois les marges fixées.

Exemple

Les effectifs attendus sont 37,5 ; 31,25 ; 31,25 (ligne « mensuel ») et 22,5 ; 18,75 ; 18,75 (ligne « annuel »), tous supérieurs à 5. Les contributions à $D$ valent :

Contribution	Réseaux sociaux	Moteur	Bouche-à-oreille
Mensuel	2,94	0,05	2,74
Annuel	4,90	0,08	4,56

$D \approx 15{,}27$, avec $(2-1)(3-1) = 2$ degrés de liberté. Le seuil vaut $\chi^2_{2;0,95} \approx 5{,}99$ : on rejette l’indépendance (p-valeur $\approx 0{,}0005$). Les contributions montrent d’où vient le lien : les abonnés venus des réseaux sociaux prennent plus souvent la formule mensuelle, ceux du bouche-à-oreille la formule annuelle.

Sous l'indépendance, les trois barres seraient coupées au même endroit (62,5 %). Les réseaux sociaux et le bouche-à-oreille s'en écartent le plus : ce sont eux qui portent les grosses contributions.

tab <- matrix(c(48, 12, 30, 20, 22, 28), nrow = 2,
              dimnames = list(formule = c("mensuel", "annuel"),
                              canal = c("reseaux", "moteur", "bouche")))
test <- chisq.test(tab)
test                # X-squared = 15.27, df = 2, p-value = 0.00048
test$expected       # effectifs attendus sous H0

from scipy import stats
tab = [[48, 30, 22], [12, 20, 28]]
chi2, p, ddl, attendus = stats.chi2_contingency(tab)
print(chi2, p, ddl)    # 15.27, 0.00048, 2

Attention

Pour un tableau $2 \times 2$, R et SciPy appliquent par défaut la correction de continuité de Yates, qui change un peu la statistique. Et un test d’indépendance significatif montre une association, pas une causalité : le canal ne « cause » pas la formule, les profils d’abonnés diffèrent.

En résumé

• Deux échantillons indépendants et gaussiens : Fisher pour les variances, $\tilde S_X^2/\tilde S_Y^2 \sim \mathcal{F}_{n_1-1,n_2-1}$, la plus grande au numérateur.
• Student à variances égales avec la variance poolée $\tilde S_p^2$, et $n_1 + n_2 - 2$ degrés de liberté ; Welch si les variances diffèrent ; test asymptotique normal pour de grands échantillons.
• Des données appariées se traitent par un test à un échantillon sur les différences.
• Deux proportions : test normal avec proportion commune estimée, base des tests A/B.
• Indépendance du chi-deux (complément) : $E_{ij} = n_{i\cdot} n_{\cdot j}/n$, $D \approx \chi^2_{(I-1)(J-1)}$ ; les contributions montrent d’où vient le lien.

Exercices

Exercice · Enchaîner Fisher et Student

facile

Deux engrais sont testés sur des parcelles indépendantes. Engrais 1 : $n_1 = 12$, $\bar x = 52{,}0$ quintaux par hectare, $\tilde s_X^2 = 16$. Engrais 2 : $n_2 = 12$, $\bar y = 48{,}5$, $\tilde s_Y^2 = 20$. On suppose la normalité. Au niveau 5 %, les rendements moyens diffèrent-ils ? ($f_{11,11;0,975} \approx 3{,}47$ ; $t_{22;0,975} \approx 2{,}074$.)

Voir la solution

Variances. On met la plus grande au numérateur : $F_0 = 20/16 = 1{,}25 < 3{,}47$. On conserve l’égalité des variances.

Moyennes. $\tilde s_p^2 = (11 \times 16 + 11 \times 20)/22 = 18$, donc $\tilde s_p \approx 4{,}243$.

$$t_0 = \frac{52{,}0 - 48{,}5}{4{,}243\sqrt{1/12 + 1/12}} = \frac{3{,}5}{4{,}243 \times 0{,}408} \approx 2{,}02$$

Comme $\lvert t_0 \rvert = 2{,}02 < 2{,}074$, on conserve $H_0$ au niveau 5 % : la différence n’est pas significative, de justesse (p-valeur $\approx 0{,}056$). Une expérience avec plus de parcelles serait utile.

En code

Python

import numpy as np
from scipy import stats

n1, x_bar, s2_x = 12, 52.0, 16
n2, y_bar, s2_y = 12, 48.5, 20

# Fisher : plus grande variance au numérateur
F0 = s2_y / s2_x
print(F0, stats.f.ppf(0.975, n2 - 1, n1 - 1))      # 1.25 < 3.47 : variances compatibles

# Student à variance poolée, à partir des résumés
res = stats.ttest_ind_from_stats(x_bar, np.sqrt(s2_x), n1, y_bar, np.sqrt(s2_y), n2,
                                 equal_var=True)
print(res.statistic, res.pvalue)                   # 2.02  0.056 : on conserve H0

R

n1 <- 12; x_bar <- 52.0; s2_x <- 16
n2 <- 12; y_bar <- 48.5; s2_y <- 20

# Fisher : plus grande variance au numérateur
F0 <- s2_y / s2_x
F0; qf(0.975, n2 - 1, n1 - 1)              # 1.25 < 3.47 : variances compatibles

# Student à variance poolée, à partir des résumés
s2_p <- ((n1 - 1) * s2_x + (n2 - 1) * s2_y) / (n1 + n2 - 2)   # 18
t0 <- (x_bar - y_bar) / sqrt(s2_p * (1 / n1 + 1 / n2))
t0; 2 * pt(-abs(t0), df = n1 + n2 - 2)     # 2.02  0.056 : on conserve H0

Exercice · Un test A/B sur un taux de conversion

moyen

Version A : 120 achats sur 2 400 visiteurs. Version B : 156 achats sur 2 400 visiteurs. Au niveau 5 %, B convertit-elle mieux ?

Voir la solution

$\hat p_1 = 0{,}050$ et $\hat p_2 = 0{,}065$. On teste $H_0 : p_2 \le p_1$ contre $H_1 : p_2 > p_1$. Proportion commune : $\hat p = 276/4\,800 = 0{,}0575$.

$$t_0 = \frac{0{,}065 - 0{,}050}{\sqrt{0{,}0575 \times 0{,}9425 \times (2/2\,400)}} = \frac{0{,}015}{0{,}00672} \approx 2{,}23$$

Comme $2{,}23 > 1{,}645$, on rejette $H_0$ : B convertit significativement mieux (p-valeur $\approx 0{,}013$). Attention toutefois : ce calcul n’est valide que si la taille d’échantillon a été fixée à l’avance, et non en arrêtant l’expérience au premier résultat favorable.

En code

Python

import numpy as np
from scipy import stats
from statsmodels.stats.proportion import proportions_ztest

achats = np.array([156, 120])                      # B puis A
visiteurs = np.array([2400, 2400])

# À la main, avec la proportion commune
p1, p2 = achats / visiteurs
p = achats.sum() / visiteurs.sum()                 # 0.0575
t0 = (p1 - p2) / np.sqrt(p * (1 - p) * (1 / 2400 + 1 / 2400))
print(t0, stats.norm.sf(t0))                       # 2.23  0.013

# Même test avec statsmodels (H1 : p_B > p_A)
print(proportions_ztest(achats, visiteurs, alternative="larger"))   # (2.23, 0.013)

R

achats <- c(156, 120)                       # B puis A
visiteurs <- c(2400, 2400)

# À la main, avec la proportion commune
p_hat <- achats / visiteurs
p <- sum(achats) / sum(visiteurs)           # 0.0575
t0 <- (p_hat[1] - p_hat[2]) / sqrt(p * (1 - p) * (1 / 2400 + 1 / 2400))
t0; 1 - pnorm(t0)                           # 2.23  0.013

# Même test avec prop.test (H1 : p_B > p_A) ; X-squared = t0^2
prop.test(achats, visiteurs, alternative = "greater", correct = FALSE)$p.value   # 0.013

Exercice · Indépendance sur un tableau 2 × 2

difficile

Sur 200 patients, 100 reçoivent un traitement et 100 un placebo. Guérisons : 70 sous traitement, 55 sous placebo. Calculez la statistique du chi-deux d’indépendance (sans correction) et vérifiez qu’elle vaut le carré de la statistique du test de comparaison de deux proportions.

Voir la solution

Tableau : traitement (70 guéris, 30 non), placebo (55, 45). Marges : 125 guéris, 75 non guéris, 100 par groupe.

Effectifs attendus : $100 \times 125/200 = 62{,}5$ guéris et $37{,}5$ non guéris dans chaque groupe. Chaque écart vaut $\pm 7{,}5$ :

$$D = 2 \times \frac{7{,}5^2}{62{,}5} + 2 \times \frac{7{,}5^2}{37{,}5} = 1{,}8 + 3{,}0 = 4{,}8$$

Avec $(2-1)(2-1) = 1$ degré de liberté, on compare à $\chi^2_{1;0,95} \approx 3{,}84$ : on rejette l’indépendance.

Test de deux proportions : $\hat p_1 = 0{,}70$, $\hat p_2 = 0{,}55$, $\hat p = 0{,}625$. $t_0 = 0{,}15/\sqrt{0{,}625 \times 0{,}375 \times 0{,}02} = 0{,}15/0{,}0685 \approx 2{,}19$, et $2{,}19^2 \approx 4{,}8 = D$. De même, $1{,}96^2 \approx 3{,}84$ : les deux tests bilatéraux sont identiques.

En code

Python

import numpy as np
from scipy import stats
from statsmodels.stats.proportion import proportions_ztest

tab = np.array([[70, 30],      # traitement : guéris, non guéris
                [55, 45]])     # placebo
D, p, ddl, attendus = stats.chi2_contingency(tab, correction=False)
print(attendus)                # [[62.5 37.5] [62.5 37.5]]
print(D, ddl, p)               # 4.8  1  0.028

z, p_z = proportions_ztest([70, 55], [100, 100])
print(z, z**2, p_z)            # 2.19  4.8  0.028 : même test

R

tab <- matrix(c(70, 55, 30, 45), nrow = 2,
              dimnames = list(groupe = c("traitement", "placebo"),
                              issue = c("gueri", "non gueri")))
test <- chisq.test(tab, correct = FALSE)
test$expected                  # 62.5 et 37.5 dans chaque groupe
test$statistic; test$p.value   # 4.8  0.028

p1 <- 0.70; p2 <- 0.55; p <- 125 / 200
t0 <- (p1 - p2) / sqrt(p * (1 - p) * (1 / 100 + 1 / 100))
t0; t0^2                       # 2.19  4.8 : même statistique