Découvrez pourquoi se passer des lois paramétriques

Vous mesurez le temps de chargement d’une page web sur douze visites. Onze valeurs tournent autour de 130 millisecondes, et la douzième affiche 2 400 ms, parce que le réseau du visiteur a flanché. La moyenne vaut alors 321 ms, soit plus du double de presque toutes les observations. Faut-il jeter la valeur ? Changer d’indicateur ? Changer de méthode ?

Ce chapitre pose les bases du cours. Il commence par un rappel des outils de probabilités (c’est par là que commençait le cours suivi au RIT), puis montre pourquoi les méthodes fondées sur la loi normale sont fragiles, et présente l’idée centrale de la statistique non paramétrique : raisonner sur les rangs des observations plutôt que sur leurs valeurs.

Rappels : décrire une variable aléatoire avec scipy.stats

Une variable aléatoire (random variable) est une quantité $X$ dont la valeur est inconnue mais décrite par des probabilités. L’outil qui la décrit entièrement est sa fonction de répartition (cumulative distribution function, cdf) :

$$F(x) = P(X \le x)$$

c’est-à-dire la probabilité que $X$ prenne une valeur inférieure ou égale à $x$. Elle est croissante (au sens large), continue à droite, tend vers 0 en $-\infty$ et vers 1 en $+\infty$.

Le cas discret : la fonction de masse

Pour une variable discrète, on décrit la loi par sa fonction de masse (probability mass function, pmf) $p(x) = P(X = x)$. La fonction de répartition est alors en escalier : constante par morceaux, elle saute de $p(x)$ en chaque valeur possible.

Exemple

On lance trois pièces équilibrées et on compte les « pile ». $X$ suit la loi binomiale $\mathrm{Binom}(3, 0{,}5)$ :

$$p(x) = \binom{3}{x} 0{,}5^x \, 0{,}5^{3-x}, \qquad x = 0, 1, 2, 3$$

ce qui donne $p = 1/8,\ 3/8,\ 3/8,\ 1/8$. La fonction de répartition vaut $1/8$ sur $[0, 1[$, $1/2$ sur $[1, 2[$, $7/8$ sur $[2, 3[$, puis 1.

Avec une loi discrète, les bornes comptent. $P(1 < X \le 2) = F(2) - F(1) = 7/8 - 1/2 = 3/8$, alors que $P(1 \le X \le 2) = p(1) + p(2) = 3/4$. Pour inclure la borne gauche, il faut retrancher la limite à gauche $F(1^-) = 1/8$ au lieu de $F(1)$.

La fonction de répartition saute de p(x) en chaque valeur possible. Un point plein marque la valeur prise, un point creux la limite à gauche : c'est pour cela que P(1 < X ≤ 2) = F(2) − F(1) = 3/8 exclut la masse en 1.

Le cas continu : la densité

Pour une variable continue, on utilise la densité (probability density function, pdf) $f(x) = F'(x)$, et $P(a < X < b) = F(b) - F(a) = \int_a^b f(x)\,dx$. Ici, inclure ou non les bornes ne change rien, car $P(X = a) = 0$.

Attention

Une densité n’est pas une probabilité. Elle est positive et d’intégrale 1, mais elle n’est pas croissante (celle de la loi normale monte puis redescend) et elle peut dépasser 1 : la loi uniforme sur $[0 ; 0{,}5]$ a une densité égale à 2.

Quantiles

Le quantile d’ordre $p$ (avec $0 < p < 1$) est la valeur $x_p$ telle que $F(x_p) = p$ : une proportion $p$ de la loi se trouve en dessous. La médiane est $x_{0,5}$. Pour une loi discrète, où l’équation n’a pas toujours de solution, on prend $x_p = \inf \lbrace x : F(x) \ge p \rbrace$.

Dans scipy.stats, chaque loi est un objet qui expose les mêmes méthodes :

from scipy import stats

X = stats.binom(3, 0.5)
print(X.pmf(1))          # P(X = 1) = 0.375
print(X.cdf(2))          # P(X <= 2) = 0.875

Z = stats.norm()         # loi normale centrée réduite
print(Z.pdf(0))          # densité en 0, environ 0.399
print(Z.ppf(0.05))       # quantile d'ordre 5 % (inverse de cdf), environ -1.645
print(Z.sf(1.96))        # fonction de survie 1 - F, environ 0.025
print(Z.isf(0.025))      # inverse de sf, environ 1.96

La méthode ppf (percent point function) est l’inverse de cdf, sf (survival function) vaut $1 - F$ et isf est son inverse.

Piège

Le 5e centile de la loi normale centrée réduite est $z_{0,05} \approx -1{,}645$, pas $z_{0,5}$, qui vaut 0 (c’est la médiane). Méfiez-vous aussi des manuels qui notent $z_\alpha$ le quantile supérieur, tel que $P(Z > z_\alpha) = \alpha$ : avec cette convention, $z_{0,05} \approx +1{,}645$. Vérifiez toujours la définition utilisée.

Quand la loi normale ne tient plus

Beaucoup de lois usuelles appartiennent à une famille position-échelle (location-scale family) : leur densité s’écrit

$$f(x) = \frac{1}{b}\, h\!\left(\frac{x - a}{b}\right)$$

où $h$ est une densité de référence fixe, $a$ un paramètre de position (qui décale la courbe) et $b > 0$ un paramètre d’échelle (qui l’étire). La loi normale en est l’exemple type, avec $a = \mu$ et $b = \sigma$ ; les lois de Cauchy et de Laplace aussi. Dans scipy, ce sont les arguments loc et scale de toutes les lois.

D’autres paramètres changent la forme elle-même : on parle de paramètres de forme (shape parameters). Le nombre de degrés de liberté $\nu$ de la loi de Student en est un : pour $\nu = 1$, on obtient la loi de Cauchy, et quand $\nu \to \infty$, on retrouve la loi normale. Plus $\nu$ est petit, plus les queues de la loi sont lourdes, c’est-à-dire plus les valeurs extrêmes sont fréquentes.

La loi de Cauchy est un cas limite instructif : elle n’a pas d’espérance. La moyenne d’un échantillon de Cauchy ne se stabilise jamais, quelle que soit la taille de l’échantillon, alors que sa médiane converge sans problème vers le centre de la loi. Toute méthode fondée sur la moyenne et la variance s’effondre.

Les trois densités se ressemblent au centre, mais les queues de Cauchy et de Student décroissent beaucoup plus lentement. Sur un échantillon de Cauchy, la médiane se stabilise vite autour de 0 alors que la moyenne fait des sauts imprévisibles, même après des milliers d'observations.

Moyenne ou médiane ?

L’espérance se calcule par $E(X) = \sum_x x\,p(x)$ (cas discret) ou $E(X) = \int x f(x)\,dx$ (cas continu). Elle ne coïncide avec la médiane que pour une loi symétrique. Pour la loi exponentielle de moyenne 1, la médiane vaut $\ln 2 \approx 0{,}693$ : la longue queue à droite tire la moyenne vers le haut.

Exemple

Nos douze temps de chargement (en ms) :

120, 135, 128, 142, 131, 125, 138, 129, 2 400, 133, 127, 140

La moyenne vaut environ 320,7 ms et la médiane 132 ms. Sans la valeur extrême, la moyenne tomberait à 131,6 ms et la médiane à 131 ms. Une seule observation a déplacé la moyenne de 189 ms, et la médiane d’une milliseconde.

Une longue queue à droite, ou une seule valeur extrême, tire la moyenne loin des observations typiques. La médiane reste au cœur des données.

Piège

« L’espérance est le 50e centile » : c’est faux en général. Le 50e centile est la médiane. Espérance et médiane ne coïncident que pour une loi symétrique (qui a une espérance).

Paramétrique ou non paramétrique ?

Une méthode paramétrique suppose que les données viennent d’une famille de lois connue, décrite par quelques paramètres (souvent la loi normale, avec $\mu$ et $\sigma$), puis raisonne sur ces paramètres. Le test t de Student, l’ANOVA et la corrélation de Pearson, vus dans le cours de Statistiques, en sont des exemples.

Une méthode non paramétrique ne suppose presque rien sur la forme de la loi : typiquement, que les observations sont indépendantes, que la loi est continue, parfois qu’elle est symétrique. On l’appelle aussi méthode « libre de distribution » (distribution-free), parce que la loi de la statistique de test sous l’hypothèse nulle ne dépend pas de la loi des données.

Elle devient le bon choix dans plusieurs situations :

Situation	Exemple	Pourquoi le paramétrique souffre
Petit échantillon	8 patients, 6 plis de validation croisée	impossible de vérifier la normalité, le théorème central limite ne joue pas encore
Loi asymétrique	latences, revenus, durées de session	la moyenne et l’écart-type résument mal la loi
Valeurs aberrantes	une mesure à 2 400 ms	une seule valeur déplace la moyenne et gonfle la variance
Données ordinales	notes de satisfaction de 1 à 5	l’écart entre « 1 » et « 2 » n’a pas de sens numérique

Et le prix à payer ? Quand les données sont vraiment normales, un test de rang est un peu moins puissant que le test t. On le mesure par l’efficacité relative asymptotique (asymptotic relative efficiency, ARE) : pour Wilcoxon face au test t sous normalité, elle vaut $3/\pi \approx 0{,}955$. Autrement dit, il faut environ 5 % d’observations en plus pour obtenir la même puissance. En contrepartie, pour une loi à queues lourdes, l’ARE dépasse largement 1 (elle vaut 1,5 pour la loi de Laplace, et elle est infinie pour Cauchy), et elle ne descend jamais sous $108/125 = 0{,}864$ pour une loi continue symétrique. L’assurance est donc peu chère.

À retenir

Une méthode non paramétrique remplace une hypothèse forte sur la forme de la loi par des hypothèses faibles (indépendance, continuité, parfois symétrie). Elle perd très peu quand la loi est normale et gagne beaucoup quand elle ne l’est pas.

Attention

« Non paramétrique » ne veut pas dire « sans hypothèse ». L’indépendance des observations reste indispensable, et les tests de rang testent souvent autre chose qu’une égalité de moyennes (une médiane, un décalage de position, ou $P(X > Y) = 1/2$). Nous le préciserons pour chaque test.

Les rangs, outil de base

L’idée centrale est de remplacer chaque observation par son rang : sa position dans l’échantillon trié par ordre croissant. La plus petite valeur reçoit le rang 1, la plus grande le rang $n$.

Pour nos temps de chargement, la valeur 2 400 ms reçoit le rang 12, exactement comme l’aurait fait une valeur de 143 ms. Son caractère extrême disparaît : elle compte comme « la plus grande », sans plus. C’est ce qui rend les méthodes de rang robustes aux valeurs aberrantes.

Passer aux rangs, c'est ne garder que l'ordre : la distance de 2 400 ms au reste du groupe disparaît, la valeur extrême devient simplement « la 12e ».

Les rangs ont une deuxième propriété précieuse : ils sont invariants par toute transformation croissante. Que vous mesuriez en millisecondes, en secondes ou en logarithme de secondes, les rangs sont les mêmes, donc le résultat d’un test de rang aussi.

Les ex aequo

Quand plusieurs valeurs sont égales (ties), on leur attribue la moyenne des rangs qu’elles occuperaient. Pour l’échantillon 3,1 ; 1,2 ; 5,0 ; 3,1 ; 2,7, les deux valeurs 3,1 occupent les places 3 et 4, et reçoivent chacune le rang 3,5 :

Valeur	3,1	1,2	5,0	3,1	2,7
Rang	3,5	1	5	3,5	2

Les ex aequo compliquent un peu les lois exactes des statistiques de rang ; les logiciels appliquent alors des corrections, et basculent souvent vers une approximation.

Statistiques d’ordre et fonction de répartition empirique

Les valeurs triées $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$ s’appellent les statistiques d’ordre. La médiane, les quartiles et l’étendue en découlent directement.

Elles permettent aussi de définir la fonction de répartition empirique (empirical cumulative distribution function, ECDF) :

$$F_n(x) = \frac{1}{n} \sum_{i=1}^{n} \mathbf{1}\lbrace X_i \le x \rbrace$$

où $\mathbf{1}\lbrace X_i \le x \rbrace$ vaut 1 si l’observation $X_i$ est inférieure ou égale à $x$, et 0 sinon. C’est simplement la proportion d’observations inférieures ou égales à $x$ : une fonction en escalier qui monte de $1/n$ à chaque observation. Elle estime $F$ sans aucune hypothèse, et c’est la brique de base du test de Kolmogorov-Smirnov (chapitre 6) et du bootstrap (chapitre 7).

Fₙ monte de 1/12 à chaque observation. Cinq temps sur douze sont inférieurs ou égaux à 130 ms, donc Fₙ(130) = 5/12.

import numpy as np
from scipy import stats

lat = np.array([120, 135, 128, 142, 131, 125, 138, 129, 2400, 133, 127, 140])
print(lat.mean(), np.median(lat))       # 320.67 et 132.0
print(stats.rankdata(lat))              # la valeur 2400 reçoit le rang 12
print(stats.rankdata([3.1, 1.2, 5.0, 3.1, 2.7]))   # [3.5 1. 5. 3.5 2.]

ecdf = stats.ecdf(lat)                  # disponible à partir de SciPy 1.11
print(ecdf.cdf.evaluate(130))           # proportion des valeurs <= 130 : 5/12

En R, les mêmes outils s’écrivent :

lat <- c(120, 135, 128, 142, 131, 125, 138, 129, 2400, 133, 127, 140)
mean(lat); median(lat)
rank(lat)                  # ex aequo : rang moyen par défaut
Fn <- ecdf(lat)
Fn(130)                    # 5/12

En entretien

« Pour une variable asymétrique comme une latence ou un revenu, je regarde la médiane et les quantiles plutôt que la moyenne, et j’utilise des tests de rang : ils ne supposent pas la normalité, résistent aux valeurs extrêmes et ne perdent qu’environ 5 % d’efficacité si les données sont finalement normales. »

En résumé

• Une loi est décrite par sa fonction de répartition $F(x) = P(X \le x)$, par sa fonction de masse (cas discret) ou sa densité (cas continu) ; avec une loi discrète, attention aux bornes des intervalles.
• Les quantiles inversent $F$ ; dans scipy.stats, ppf inverse cdf et isf inverse sf.
• Les lois à queues lourdes (Student à faible $\nu$, Cauchy) rendent la moyenne et la variance instables ; la médiane résiste.
• Une méthode non paramétrique remplace l’hypothèse de forme par des hypothèses faibles ; son coût sous normalité est faible (ARE de $3/\pi$ pour Wilcoxon).
• Les rangs sont robustes aux valeurs aberrantes et invariants par transformation croissante ; les ex aequo reçoivent le rang moyen.
• La fonction de répartition empirique estime $F$ sans hypothèse et sert de base à Kolmogorov-Smirnov et au bootstrap.

Exercices

Exercice · Bornes et loi discrète

facile

$X$ suit la loi $\mathrm{Binom}(3, 0{,}5)$. Calculez $P(X \le 1)$, $P(X < 1)$, $P(1 \le X \le 2)$ et $P(1 < X \le 2)$.

Voir la solution

Avec $p = 1/8,\ 3/8,\ 3/8,\ 1/8$ pour $x = 0, 1, 2, 3$ :

• $P(X \le 1) = F(1) = 1/8 + 3/8 = 1/2$ ;
• $P(X < 1) = P(X = 0) = 1/8$ (c’est la limite à gauche $F(1^-)$) ;
• $P(1 \le X \le 2) = 3/8 + 3/8 = 3/4$ ;
• $P(1 < X \le 2) = F(2) - F(1) = 7/8 - 1/2 = 3/8$.

Les deux derniers résultats diffèrent d’une masse $p(1) = 3/8$ : pour une loi discrète, inclure ou non une borne change le résultat.

En code

Python

from scipy import stats

X = stats.binom(3, 0.5)
print(X.cdf(1))                  # P(X <= 1) = 0.5
print(X.cdf(0))                  # P(X < 1) = P(X <= 0) = 0.125
print(X.pmf(1) + X.pmf(2))       # P(1 <= X <= 2) = 0.75
print(X.cdf(2) - X.cdf(1))       # P(1 < X <= 2) = 0.375

R

pbinom(1, 3, 0.5)                  # P(X <= 1) = 0.5
pbinom(0, 3, 0.5)                  # P(X < 1) = 0.125
sum(dbinom(1:2, 3, 0.5))           # P(1 <= X <= 2) = 0.75
pbinom(2, 3, 0.5) - pbinom(1, 3, 0.5)   # P(1 < X <= 2) = 0.375

Exercice · Classer avec des ex aequo

facile

Donnez les rangs des notes de satisfaction suivantes : 4, 2, 5, 4, 3, 4, 1. Que devient le classement si l’on remplace chaque note $x$ par $x^2$ ?

Voir la solution

Trié : 1, 2, 3, 4, 4, 4, 5. Les trois « 4 » occupent les places 4, 5 et 6 : ils reçoivent chacun le rang moyen $(4 + 5 + 6)/3 = 5$. Les rangs, dans l’ordre des données, sont donc 5, 2, 7, 5, 3, 5, 1.

La fonction $x \mapsto x^2$ est croissante sur les nombres positifs : l’ordre est conservé, donc les rangs sont exactement les mêmes. Tout test de rang donnera le même résultat sur les notes et sur leurs carrés.

En code

Python

import numpy as np
from scipy import stats

notes = np.array([4, 2, 5, 4, 3, 4, 1])
print(stats.rankdata(notes))        # [5. 2. 7. 5. 3. 5. 1.]
print(stats.rankdata(notes ** 2))   # mêmes rangs : x -> x² est croissante sur les positifs

R

notes <- c(4, 2, 5, 4, 3, 4, 1)
rank(notes)       # 5 2 7 5 3 5 1
rank(notes^2)     # mêmes rangs : x -> x² est croissante sur les positifs

Exercice · Moyenne, médiane et valeur extrême

moyen

Un site mesure cinq durées de session (en minutes) : 2, 3, 3, 4, 48.

1. Calculez la moyenne et la médiane.
2. Combien d’observations faut-il modifier, au minimum, pour rendre la moyenne arbitrairement grande ? Et la médiane ?
3. Qu’en déduisez-vous pour le choix d’un indicateur de durée typique ?

Voir la solution

1. Moyenne : $(2 + 3 + 3 + 4 + 48)/5 = 60/5 = 12$ minutes. Médiane : la 3e valeur triée, soit 3 minutes.
2. Pour la moyenne, une seule observation suffit : en la faisant tendre vers l’infini, la moyenne suit. Pour la médiane de 5 valeurs, il faut en modifier trois (plus de la moitié) pour l’emmener où l’on veut. On dit que le point de rupture (breakdown point) de la moyenne est 0 %, et celui de la médiane 50 %.
3. La moyenne de 12 minutes ne décrit aucune session réelle. Pour une durée « typique », la médiane est plus fidèle ; la moyenne reste utile si l’on s’intéresse au total (temps cumulé passé sur le site), mais il faut alors l’accompagner d’un intervalle de confiance robuste, par exemple par bootstrap (chapitre 7).

En code

Python

import numpy as np

sessions = np.array([2, 3, 3, 4, 48])
print(sessions.mean(), np.median(sessions))    # 12.0 3.0

# Une seule valeur modifiée suffit à emporter la moyenne...
une = sessions.copy(); une[4] = 10**6
print(une.mean(), np.median(une))              # 200002.4 3.0

# ... la médiane ne bouge qu'à partir de trois valeurs modifiées
deux = sessions.copy(); deux[3:] = 10**6
trois = sessions.copy(); trois[2:] = 10**6
print(np.median(deux), np.median(trois))       # 3.0 1000000.0

R

sessions <- c(2, 3, 3, 4, 48)
mean(sessions); median(sessions)        # 12 et 3

# Une seule valeur modifiée suffit à emporter la moyenne...
une <- sessions; une[5] <- 1e6
mean(une); median(une)                  # 200002.4 et 3

# ... la médiane ne bouge qu'à partir de trois valeurs modifiées
deux <- sessions; deux[4:5] <- 1e6
trois <- sessions; trois[3:5] <- 1e6
median(deux); median(trois)             # 3 et 1e+06