Testez une médiane avec le test du signe et Wilcoxon

Une équipe ajoute un cache à son site et mesure le temps de chargement de dix pages, avant et après. Huit pages sur dix sont plus rapides, deux sont un peu plus lentes. Le cache a-t-il vraiment un effet, ou ce résultat pourrait-il être dû au hasard des mesures ? Avec dix paires seulement et des temps de chargement qui ne sont pas normaux, le test t apparié est discutable.

Ce chapitre présente deux réponses non paramétriques : le test du signe, qui ne regarde que le sens de chaque différence, et le test des rangs signés de Wilcoxon, qui regarde aussi son ampleur. Vous verrez qu’ils peuvent conclure très différemment sur les mêmes données.

Le fil rouge : dix pages avant et après le cache

Voici les temps de chargement (en ms), mesurés sur les mêmes dix pages :

Page	1	2	3	4	5	6	7	8	9	10
Avant	312	285	340	298	405	276	330	358	290	321
Après	290	280	325	301	362	270	318	330	294	300
Différence $D_i$	−22	−5	−15	+3	−43	−6	−12	−28	+4	−21

Huit pages sur dix accélèrent, parfois de plusieurs dizaines de millisecondes ; les deux pages ralenties ne perdent que 3 et 4 ms.

Les données sont appariées (paired) : chaque page est mesurée deux fois. On ne compare donc pas deux groupes, on étudie les différences $D_i = \text{après} - \text{avant}$. Un problème apparié se ramène ainsi à un problème à un échantillon : la médiane des différences est-elle nulle ?

On pose les hypothèses :

• $H_0$ : le cache n’a pas d’effet, la médiane des différences vaut 0 ;
• $H_1$ : la médiane des différences n’est pas nulle (test bilatéral).

Les mêmes tests servent aussi pour un seul échantillon non apparié : pour tester si la médiane d’une variable vaut $m_0$, on travaille sur $D_i = X_i - m_0$.

Le test du signe : ne compter que les sens

L’idée est d’une simplicité désarmante. Si la médiane des différences est nulle, chaque différence a une chance sur deux d’être positive, indépendamment des autres. Le nombre $S$ de différences positives suit donc une loi binomiale :

$$S = \#\lbrace i : D_i > 0 \rbrace \sim \mathrm{Binom}(n', 1/2) \quad \text{sous } H_0$$

où $n'$ est le nombre de différences non nulles : les différences exactement nulles ne disent rien sur le sens de l’effet, on les retire.

C’est un test exact : la p-valeur se calcule directement avec la loi binomiale, sans aucune approximation, et avec une seule hypothèse (l’indépendance des paires). Il n’exige même pas que la loi soit continue ou symétrique.

Exemple

Nous avons $n' = 10$ différences non nulles, dont $S = 2$ positives. La p-valeur bilatérale est la probabilité d’observer un résultat au moins aussi déséquilibré, dans un sens ou dans l’autre :

$$p = 2\,P(S \le 2) = 2 \times \frac{\binom{10}{0} + \binom{10}{1} + \binom{10}{2}}{2^{10}} = 2 \times \frac{1 + 10 + 45}{1024} = \frac{112}{1024} \approx 0{,}109$$

Au seuil de 5 %, on ne rejette pas $H_0$ : deux pages plus lentes sur dix, ce n’est pas assez rare sous l’hypothèse d’absence d’effet.

Ce résultat est frustrant. Regardez les données : les deux différences positives sont minuscules (+3 et +4 ms), alors que certaines baisses dépassent 20 ou 40 ms. Le test du signe jette cette information, puisqu’il traite une baisse de 43 ms comme une baisse de 5 ms. Peut-on faire mieux sans supposer la normalité ? Oui, en tenant compte de l’ampleur des différences, par leurs rangs.

Le test des rangs signés de Wilcoxon

La statistique

Le test de Wilcoxon (Wilcoxon signed-rank test) procède en trois étapes :

1. on calcule les différences $D_i$ et on retire celles qui sont nulles ;
2. on classe les valeurs absolues $|D_i|$ par ordre croissant : $R_i$ est le rang de $|D_i|$ ;
3. on additionne les rangs des différences positives :

$$W^+ = \sum_{i : D_i > 0} R_i$$

On définit de même $W^-$ pour les différences négatives, et $W^+ + W^- = n(n+1)/2$, la somme de tous les rangs de 1 à $n$.

Exemple

Les valeurs absolues triées sont 3, 4, 5, 6, 12, 15, 21, 22, 28, 43. Les deux différences positives (+3 et +4) ont les plus petites valeurs absolues, donc les rangs 1 et 2 :

$$W^+ = 1 + 2 = 3, \qquad W^- = 55 - 3 = 52$$

Sous $H_0$, on s’attendrait à ce que les rangs se partagent à peu près équitablement, autour de $55/2 = 27{,}5$ de chaque côté. Un $W^+$ de 3 est très loin de cette valeur.

Le test de Wilcoxon regarde à quel rang se trouvent les différences positives. Ici elles sont les deux plus petites : W⁺ = 1 + 2 = 3, très loin des 27,5 attendus sous H₀.

La loi sous l’hypothèse nulle

Pourquoi la loi de $W^+$ ne dépend-elle pas de la loi des données ? Sous $H_0$, on suppose que la loi des différences est symétrique autour de 0. Alors, chaque rang $1, 2, \dots, n$ a une chance sur deux, indépendamment des autres, de porter un signe « + ». Il y a $2^n$ affectations de signes équiprobables, et $W^+$ est la somme des rangs qui ont reçu un « + ».

Pour $n = 10$, on peut énumérer les $2^{10} = 1024$ cas. Combien donnent $W^+ \le 3$ ? Les ensembles de rangs de somme au plus 3 sont : aucun rang, $\lbrace 1 \rbrace$, $\lbrace 2 \rbrace$, $\lbrace 3 \rbrace$ et $\lbrace 1, 2 \rbrace$, soit 5 cas. D’où :

$$p = 2 \times \frac{5}{1024} \approx 0{,}0098$$

Cette fois, on rejette $H_0$ au seuil de 5 %, et même de 1 %. Le cache a bien un effet.

À retenir

Le test du signe n’utilise que le sens des différences : il est exact et presque sans hypothèse, mais peu puissant. Wilcoxon utilise aussi leur ampleur, par les rangs des valeurs absolues : il est bien plus puissant, au prix d’une hypothèse de symétrie de la loi des différences.

L’approximation normale

Pour $n$ grand, on n’énumère plus : sous $H_0$,

$$E(W^+) = \frac{n(n+1)}{4}, \qquad \mathrm{Var}(W^+) = \frac{n(n+1)(2n+1)}{24}$$

et $Z = (W^+ - E(W^+)) / \sqrt{\mathrm{Var}(W^+)}$ suit approximativement la loi normale centrée réduite. Ici, $E(W^+) = 27{,}5$, $\mathrm{Var}(W^+) = 96{,}25$, donc $Z = (3 - 27{,}5)/9{,}81 \approx -2{,}50$ et $p \approx 0{,}0125$. C’est proche de la valeur exacte ; l’approximation devient très bonne au-delà d’une vingtaine de paires. Avec des ex aequo parmi les $|D_i|$, on leur donne le rang moyen et on corrige la variance.

Les deux lois sous H₀ se calculent en dénombrant des cas équiprobables. La valeur S = 2 tombe dans une zone encore fréquente (p ≈ 0,11), alors que W⁺ = 3 est tout au bord de sa loi (p ≈ 0,0098). La courbe normale épouse déjà bien les bâtons pour n = 10.

Attention

Le test de Wilcoxon teste une médiane si la loi des différences est symétrique. Si elle est très asymétrique, un rejet peut venir de l’asymétrie plutôt que d’un décalage de la médiane. En cas de doute sur la symétrie, le test du signe reste le choix sûr.

En pratique : Python et R

Pour comparer, le test t apparié donne ici $t \approx -3{,}15$ avec 9 degrés de liberté et $p \approx 0{,}012$. Les trois tests en Python :

import numpy as np
from scipy import stats

avant = np.array([312, 285, 340, 298, 405, 276, 330, 358, 290, 321])
apres = np.array([290, 280, 325, 301, 362, 270, 318, 330, 294, 300])
d = apres - avant

# Test du signe : 2 différences positives sur 10 non nulles
n_pos, n = (d > 0).sum(), (d != 0).sum()
print(stats.binomtest(n_pos, n, p=0.5).pvalue)      # 0.109

# Wilcoxon signé (loi exacte pour les petits n sans ex aequo)
res = stats.wilcoxon(apres, avant)
print(res.statistic, res.pvalue)                   # 3.0 et environ 0.0098

# Test t apparié, pour comparaison
print(stats.ttest_rel(apres, avant).pvalue)          # environ 0.012

En bilatéral, scipy renvoie comme statistique le minimum de $W^+$ et $W^-$, ici 3. En R :

avant <- c(312, 285, 340, 298, 405, 276, 330, 358, 290, 321)
apres <- c(290, 280, 325, 301, 362, 270, 318, 330, 294, 300)
d <- apres - avant

binom.test(sum(d > 0), sum(d != 0), p = 0.5)   # p = 0.1094
wilcox.test(apres, avant, paired = TRUE)       # V = 3, p = 0.009766
wilcox.test(apres, avant, paired = TRUE, conf.int = TRUE)  # + estimation du décalage

R appelle la statistique $V$ et renvoie $W^+$. Avec conf.int = TRUE, il fournit l’estimateur de Hodges-Lehmann du décalage : la médiane de toutes les moyennes de paires $(D_i + D_j)/2$ avec $i \le j$ (les « moyennes de Walsh »). Ici, il vaut −13,5 ms, un résumé robuste de l’effet du cache.

Piège

Ne lancez jamais un test pour deux groupes indépendants (Mann-Whitney, chapitre 3) sur des données appariées. En ignorant l’appariement, vous mélangez les différences entre pages (certaines sont intrinsèquement plus lentes) avec l’effet du cache, et vous perdez presque toute la puissance.

En entretien

« Pour comparer deux modèles évalués sur les mêmes plis de validation croisée ou les mêmes jeux de données, j’utilise le test de Wilcoxon signé sur les différences de score : il respecte l’appariement et ne suppose pas la normalité. Je garde en tête que des plis qui partagent des données ne sont pas indépendants, ce qui rend la p-valeur optimiste. »

Quel test choisir ?

Test	Utilise	Hypothèse sur la loi des différences	Puissance
Signe	le sens	aucune (continuité non requise)	la plus faible
Wilcoxon signé	le sens et le rang de l’ampleur	continue et symétrique	proche du test t
t apparié	les valeurs	normale (ou $n$ grand)	la meilleure si normale

Une règle simple : Wilcoxon par défaut ; le signe si les données sont très asymétriques, ordinales avec beaucoup d’ex aequo, ou si l’on ne connaît que le sens de chaque différence (« préfère A » ou « préfère B »).

En résumé

• Des données appariées se ramènent à un échantillon de différences ; on teste si leur médiane est nulle.
• Le test du signe compte les différences positives : $S \sim \mathrm{Binom}(n', 1/2)$ sous $H_0$, après retrait des différences nulles.
• Le test de Wilcoxon signé additionne les rangs des $|D_i|$ associés aux différences positives : $W^+$, de moyenne $n(n+1)/4$ et de variance $n(n+1)(2n+1)/24$ sous $H_0$.
• Wilcoxon est bien plus puissant que le signe, au prix d’une hypothèse de symétrie des différences.
• Sur notre exemple, le signe donne $p \approx 0{,}11$ et Wilcoxon $p \approx 0{,}0098$ : l’ampleur des différences change la conclusion.
• scipy.stats.binomtest, scipy.stats.wilcoxon ; en R, binom.test et wilcox.test(..., paired = TRUE).

Exercices

Exercice · Un test du signe à la main

facile

Quinze utilisateurs testent deux interfaces et indiquent laquelle ils préfèrent. Douze préfèrent la nouvelle, trois l’ancienne. Au seuil de 5 %, peut-on conclure à une préférence ?

Voir la solution

Sous $H_0$ (aucune préférence), le nombre $S$ de préférences pour la nouvelle interface suit $\mathrm{Binom}(15, 1/2)$. On a observé $S = 12$ :

$$P(S \ge 12) = \frac{\binom{15}{12} + \binom{15}{13} + \binom{15}{14} + \binom{15}{15}}{2^{15}} = \frac{455 + 105 + 15 + 1}{32\,768} = \frac{576}{32\,768} \approx 0{,}0176$$

La p-valeur bilatérale vaut $2 \times 0{,}0176 \approx 0{,}035$ : on rejette $H_0$ au seuil de 5 %. Ici, seul le test du signe s’applique, puisqu’on ne dispose que du sens de chaque préférence, pas d’une ampleur.

En code

Python

from scipy import stats

# 12 préférences pour la nouvelle interface sur 15, Binom(15, 1/2) sous H0
print(stats.binom.sf(11, 15, 0.5))                 # P(S >= 12) = 0.0176
print(stats.binomtest(12, 15, p=0.5).pvalue)       # bilatéral : 0.0352

R

# 12 préférences pour la nouvelle interface sur 15, Binom(15, 1/2) sous H0
1 - pbinom(11, 15, 0.5)                 # P(S >= 12) = 0.0176
binom.test(12, 15, p = 0.5)$p.value     # bilatéral : 0.0352

Exercice · Wilcoxon sur six paires

moyen

Six coureurs mesurent leur temps sur 5 km avec deux paires de chaussures. Les différences (ancienne − nouvelle, en secondes) sont : 1,5 ; −0,4 ; 2,1 ; 0,8 ; −1,1 ; 3,0.

1. Calculez $W^+$ et $W^-$.
2. La loi exacte de $W^+$ pour $n = 6$ donne $P(W^+ \le 4) = 7/64$. Calculez la p-valeur bilatérale et concluez.
3. Quelle est la plus petite p-valeur bilatérale possible avec six paires ?

Voir la solution

1. Valeurs absolues triées : 0,4 (rang 1, négative), 0,8 (rang 2), 1,1 (rang 3, négative), 1,5 (rang 4), 2,1 (rang 5), 3,0 (rang 6). Donc $W^- = 1 + 3 = 4$ et $W^+ = 2 + 4 + 5 + 6 = 17$ ; on vérifie que $W^+ + W^- = 21 = 6 \times 7/2$.
2. La statistique la plus extrême est $\min(W^+, W^-) = 4$ : $p = 2 \times 7/64 \approx 0{,}22$. On ne peut pas conclure que les nouvelles chaussures font gagner du temps.
3. Le cas le plus extrême est $W^+ = 0$ (ou $W^- = 0$), qui n’arrive que pour une seule affectation de signes sur $2^6 = 64$ : $p_{\min} = 2/64 \approx 0{,}031$. Avec six paires, il faut donc que toutes les différences aillent dans le même sens pour rejeter au seuil de 5 %. Avec cinq paires, $p_{\min} = 2/32 = 0{,}0625$ : le rejet à 5 % est impossible, quelles que soient les données.

En code

Python

import numpy as np
from scipy import stats

d = np.array([1.5, -0.4, 2.1, 0.8, -1.1, 3.0])
rangs = stats.rankdata(np.abs(d))
print(rangs[d > 0].sum(), rangs[d < 0].sum())    # W+ = 17.0, W- = 4.0

res = stats.wilcoxon(d)                          # loi exacte (n = 6, pas d'ex aequo)
print(res.statistic, res.pvalue)                 # 4.0 0.21875 (= 2 x 7/64)

# Plus petite p-valeur possible : toutes les différences du même signe
print(stats.wilcoxon([1, 2, 3, 4, 5, 6]).pvalue)   # 0.03125 (= 2/64)
print(stats.wilcoxon([1, 2, 3, 4, 5]).pvalue)      # 0.0625  (= 2/32)

R

d <- c(1.5, -0.4, 2.1, 0.8, -1.1, 3.0)
rangs <- rank(abs(d))
sum(rangs[d > 0]); sum(rangs[d < 0])    # W+ = 17, W- = 4

wilcox.test(d)                          # V = 17, p-value = 0.2188 (= 2 x 7/64)

# Plus petite p-valeur possible : toutes les différences du même signe
wilcox.test(1:6)$p.value                # 0.03125 (= 2/64)
wilcox.test(1:5)$p.value                # 0.0625  (= 2/32)

Exercice · Signe ou Wilcoxon ?

difficile

Reprenez les dix pages du fil rouge, mais supposez que la page 4 ait donné une différence de +50 ms au lieu de +3 ms (les autres différences sont inchangées).

1. La p-valeur du test du signe change-t-elle ?
2. Recalculez $W^+$. Sans calculer la p-valeur exacte, dites si la conclusion de Wilcoxon risque de changer.
3. Qu’en retenez-vous sur ce que mesure chaque test ?

Voir la solution

1. Non : il y a toujours 2 différences positives sur 10, donc $p \approx 0{,}109$. Le test du signe ignore l’ampleur.
2. Les valeurs absolues triées deviennent 4, 5, 6, 12, 15, 21, 22, 28, 43, 50. Les différences positives sont +4 (rang 1) et +50 (rang 10) : $W^+ = 11$, $W^- = 44$. On s’éloigne moins de la valeur attendue 27,5 qu’avec $W^+ = 3$ : la p-valeur augmente nettement (en approximation normale, $Z = (11 - 27{,}5)/9{,}81 \approx -1{,}68$, soit $p \approx 0{,}09$ ; la loi exacte donne $p \approx 0{,}105$). La conclusion change : on ne rejette plus au seuil de 5 %.
3. Wilcoxon est sensible à l’ampleur relative des différences, via leurs rangs. Une page nettement ralentie pèse autant que la plus forte accélération. Le test du signe, lui, ne voit que la proportion de pages ralenties. C’est pourquoi Wilcoxon est plus puissant quand l’effet est cohérent, mais aussi pourquoi il suppose une loi symétrique.

En code

Python

import numpy as np
from scipy import stats

d = np.array([-22, -5, -15, 50, -43, -6, -12, -28, 4, -21])   # page 4 : +50 au lieu de +3

# 1. Test du signe : toujours 2 différences positives sur 10
print(stats.binomtest((d > 0).sum(), (d != 0).sum()).pvalue)   # 0.109

# 2. Wilcoxon : W+ et p-valeurs exacte et approchée
rangs = stats.rankdata(np.abs(d))
print(rangs[d > 0].sum())                                  # W+ = 11.0
print(stats.wilcoxon(d).pvalue)                            # exacte : 0.105
z = (11 - 27.5) / np.sqrt(96.25)
print(z, 2 * stats.norm.cdf(z))                            # -1.68 0.093

R

d <- c(-22, -5, -15, 50, -43, -6, -12, -28, 4, -21)   # page 4 : +50 au lieu de +3

# 1. Test du signe : toujours 2 différences positives sur 10
binom.test(sum(d > 0), sum(d != 0))$p.value           # 0.109

# 2. Wilcoxon : W+ et p-valeurs exacte et approchée
rangs <- rank(abs(d))
sum(rangs[d > 0])                                     # W+ = 11
wilcox.test(d)$p.value                                # exacte : 0.105
z <- (11 - 27.5) / sqrt(96.25)
c(z, 2 * pnorm(z))                                    # -1.68 0.093