Comment décrire la distribution des données : un guide pratique
|
7
minute de lecture
Un pipeline a tourné proprement toute la semaine. Les comptes de lignes semblaient normaux, les vérifications de fraîcheur ont réussi, et personne n'a été alerté. Puis, le tableau de bord du lundi a affiché des absurdités. Les revenus par région ont inversé leur tendance, une fonctionnalité de ML a commencé à se regrouper autour d'un nouveau pic, et les alertes de latence sont arrivées trop tard pour être utiles. Rien n'a « cassé » au sens évident du terme. La distribution des données a changé.
C'est la situation dans laquelle se trouvent de nombreuses équipes lorsqu'elles cherchent comment décrire la distribution des données. Elles n'ont pas besoin d'une définition académique. Elles ont besoin d'un moyen d'expliquer ce qui a changé, pourquoi c'est important, et comment distinguer une variation normale d'un glissement insidieux qui empoisonne les systèmes en aval.
Table des matières
Pourquoi la description de la distribution des données est essentielle pour la qualité des données
Valider les hypothèses de distribution avec des tests statistiques
Comment identifier et interpréter les valeurs aberrantes et l'asymétrie
Appliquer l'analyse de distribution pour une surveillance continue des données
Pourquoi la description de la distribution des données est essentielle pour la qualité des données
La plupart des incidents de données ne commencent pas par une panne spectaculaire. Ils commencent par un changement de comportement silencieux des données. Une variable autrefois unimodale devient bimodale. Une métrique étroitement regroupée développe une longue traîne à droite. Un système source modifie ses types ou ses valeurs par défaut, et la table en aval continue de se charger, mais la signification des données a glissé.
C'est pourquoi l'analyse de distribution est au cœur du travail sur la qualité des données. Elle donne aux équipes un vocabulaire pour aller au-delà du simple « les chiffres semblent faux. » Vous pouvez préciser que le centre a bougé, que la dispersion s'est élargie, que des valeurs aberrantes sont apparues ou que la forme a changé par rapport à ce que le pipeline produit habituellement. Ce sont des constats opérationnels sur lesquels les ingénieurs peuvent enquêter.
Beaucoup de tutoriels passent à côté de cet aspect opérationnel. La majorité du contenu existant aborde la description de la distribution des données comme un exercice statique sur un seul jeu de données, sans traiter la manière de décrire les distributions dans des contextes de surveillance (Observability) de séries temporelles où le défi principal est la détection de dérives. Les difficultés récentes de l'industrie en matière de qualité des données montrent que 73 % des défaillances de données proviennent d'une dérive silencieuse de schéma ou de distribution que les résumés statiques ne détectent pas (Aperçu de Study.com sur la description de distribution).
Règle pratique : Si votre description d'un jeu de données ne permet pas de comparer l'état d'aujourd'hui à la référence d'hier, elle n'est pas suffisante pour une surveillance en production.
Les équipes le découvrent souvent à leurs dépens avec des métriques qui semblaient saines de manière isolée. Un champ normalisé peut encore dériver après une modification côté source, c'est pourquoi le nettoyage et la standardisation de base doivent se situer en amont des vérifications de distribution. Si vous avez besoin d'un rappel rapide sur cette étape de préparation, un guide pratique sur la normalisation des données offre un contexte utile avant d'interpréter toute distribution.
Trois exemples montrent pourquoi cela compte en pratique :
Fiabilité des tableaux de bord : Une table de KPI peut continuer à se charger pendant que la répartition des catégories change en arrière-plan.
Stabilité des fonctionnalités de ML : Un modèle peut recevoir des enregistrements valides dont les distributions de fonctionnalités ne correspondent plus au comportement d'entraînement.
Opérations de pipeline : La ponctualité, le nombre de lignes, les taux de valeurs nulles et les plages de valeurs peuvent tous dériver sans déclencher d'erreur de schéma.
Pour les équipes qui mettent en place une surveillance, c'est la différence entre la validation statique et l'observabilité (Observability). Les contrôles statiques permettent de savoir si les données sont conformes à une règle. L'analyse de distribution permet de savoir si les données se comportent toujours comme le processus qui les a générées la semaine dernière. C'est la question la plus utile pour les systèmes en production, en particulier lorsque vous définissez des métriques de qualité des données qui doivent rester pertinentes à mesure que les pipelines évoluent.
Les quatre piliers de la description d'une distribution
Pour décrire de manière fiable la distribution de données, commencez par la méthode SOCS. Cet acronyme anglais désigne la Forme (Shape), les valeurs aberrantes (Outliers), le Centre et la Dispersion (Spread). C'est le cadre le plus pratique car il vous oblige à décrire un jeu de données de manière exhaustive au lieu de vous précipiter sur une seule métrique préférée.
La règle fondamentale est simple. Le cadre de base pour décrire la distribution de données repose sur quatre composants : Forme, Valeurs aberrantes, Centre et Dispersion (SOCS). Pour les données asymétriques, on utilise la médiane pour représenter le centre, tandis que l'écart interquartile (IQR) quantifie la dispersion, car la moyenne et l'écart-type peuvent être trompeurs (Guide Albert sur la description des distributions).
La forme vous indique comment le processus se comporte
La forme est le profil visible de la distribution. Est-elle symétrique ou asymétrique ? Présente-t-elle un pic, deux pics, plusieurs pics ou aucun pic distinct ? C'est crucial car la forme révèle souvent l'état de fonctionnement réel d'un système.
Un pic unique suggère généralement un processus stable unique. Deux pics peuvent suggérer le mélange de deux populations distinctes, comme le trafic des jours de semaine par rapport au week-end, les utilisateurs mobiles par rapport aux utilisateurs web, ou deux systèmes sources écrivant dans une même table. Une longue traîne à droite apparaît souvent dans les données de latence, de montant de transaction et de durée d'exécution opérationnelle.
Lorsque la distribution est asymétrique positivement (à droite), la moyenne dépasse la médiane. Lorsqu'elle est asymétrique négativement (à gauche), la moyenne est inférieure à la médiane. Ce simple détail change la façon dont vous résumez les données et comment vous définissez la « normale ».
Les valeurs aberrantes vous indiquent où enquêter
Les valeurs aberrantes sont des observations éloignées du corps principal des données. Parfois, ce sont des enregistrements corrompus. Parfois, elles constituent la seule preuve qu'un pipeline s'est dégradé, qu'un partenaire a modifié son comportement ou qu'un modèle de fraude est apparu.
Ne traitez pas automatiquement les valeurs aberrantes comme du bruit. Dans les systèmes de production, elles sont souvent le premier indice d'une anomalie.
Une description utile de la distribution ne se limite pas à constater « qu'il y a des valeurs aberrantes ». Elle cherche à savoir s'il s'agit d'événements de traîne normaux, d'erreurs de données ou de signaux d'un processus qui a changé.
Une bonne habitude consiste à enregistrer à la fois la présence de valeurs aberrantes et leur contexte. Sont-elles apparues soudainement ? Sont-elles concentrées sur une partition, un client, un flux source ou une heure précise de la journée ?
Le centre et la dispersion vous indiquent ce qui est typique et ce qui est stable
Le centre répond à une question : quelle est la valeur typique ici ? La dispersion répond à une autre : à quel point ce processus varie-t-il ?
Pour le centre, les choix habituels sont la moyenne, la médiane et le mode :
Moyenne : idéale lorsque les données sont symétriques et non faussées par des valeurs extrêmes.
Médiane : préférable lorsque les données sont asymétriques, car elle résiste à la déformation causée par les valeurs extrêmes.
Mode : utile lorsque la valeur la plus fréquente est elle-même significative.
Pour la dispersion, les choix courants sont l'étendue, l'IQR (écart interquartile) et l'écart-type :
Étendue : rapide à calculer, mais d'interprétation sommaire.
IQR : robuste pour les données asymétriques car il se concentre sur la moitié centrale des données.
Écart-type : utile lorsque les données suivent une loi proche de la normale et que vous vous intéressez à la dispersion autour de la moyenne.
Ce choix n'est pas théorique. Il détermine la qualité des alertes. Si vous résumez une latence asymétrique avec la moyenne et l'écart-type, vous risquez de masquer le comportement concret qui intéresse les opérateurs. La médiane et l'IQR la décrivent généralement plus fidèlement.
Choisir la bonne mesure de tendance centrale vs. dispersion
Type de mesure | Statistique | Idéal pour cette distribution | Pourquoi c'est adapté |
|---|---|---|---|
Tendance centrale | Moyenne | Données symétriques ou approximativement normales | Elle utilise toutes les valeurs et fonctionne bien quand les traînes sont équilibrées |
Tendance centrale | Médiane | Données asymétriques | Elle résiste aux valeurs extrêmes et reflète mieux l'observation typique |
Tendance centrale | Mode | Motifs répétés ou basés sur la fréquence | Il montre la valeur observée la plus fréquente |
Dispersion | Étendue | Inspection rapide et sommaire | Elle montre l'écart total du minimum au maximum |
Dispersion | IQR | Données asymétriques | Il capture les 50 % centraux sans être influencé par les traînes extrêmes |
Dispersion | Écart-type | Données symétriques ou approximativement normales | Il mesure la distance moyenne à la moyenne et s'accorde avec les règles de la loi normale |
Si vous avez besoin d'un guide rapide, utilisez ceci :
Décrivez d'abord la forme : Ne choisissez pas de statistiques de résumé avant de savoir si les données sont symétriques ou asymétriques.
Utilisez la médiane pour l'asymétrie : Elle représente généralement mieux l'élément « typique » que la moyenne lorsque les traînes sont longues.
Utilisez l'IQR quand les extrémités sont confuses : Les valeurs aberrantes ont plus de mal à le fausser.
Associez toujours centre et dispersion : La moyenne va avec l'écart-type. La médiane va avec l'IQR.
Choisir la bonne visualisation pour comprendre l'histoire
Le moyen le plus rapide de mal interpréter une distribution est de regarder le mauvais graphique. Les équipes utilisent souvent par défaut une vue unique pour tout, la plupart du temps un histogramme avec les paramètres par défaut de leur outil d'analyse. C'est pratique, mais cela masque les différences cruciales entre « afficher la forme » et « afficher la dérive ».
La meilleure approche est d'adapter le graphique à la question posée. Pour comparer plusieurs distributions, les boîtes à moustaches sont nettement plus performantes pour illustrer les différences de dispersion et repérer les valeurs extrêmes. Une erreur statistique courante consiste à mal choisir la largeur des classes d'un histogramme ; la largeur optimale doit être déterminée de manière expérimentale pour révéler au mieux la forme de la distribution, car un découpage inapproprié peut masquer des tendances importantes (Chapitre de Virginia Tech Pressbooks sur les distributions quantitatives).
Les histogrammes montrent la structure, mais le découpage en classes peut mentir
Les histogrammes restent l'outil privilégié pour visualiser la forme. Ils permettent de bien identifier l'asymétrie, la présence de plusieurs modes et la densité générale. Si vous devez déterminer si un processus est unimodal ou si deux populations se sont mélangées au sein d'une même métrique, commencez par là.
Cependant, la largeur des classes (les bins) peut totalement transformer l'interprétation. Trop peu de classes peuvent lisser un profil bimodal en une seule bosse. Trop de classes peuvent faire passer un bruit aléatoire pour une logique structurelle. Dans l'analyse opérationnelle, cela mène rapidement à de mauvaises décisions.
Une méthode de travail pratique pour les histogrammes :
Commencer par une vue par défaut : Prenez une première mesure de la symétrie, des extrémités et des pics.
Ajuster les classes manuellement : Vérifiez si le schéma visible subsiste avec d'autres largeurs.
Comparer avec un histogramme de référence : Comparer le lot actuel avec les données historiques récentes est souvent plus utile qu'un graphique unique.
Prendre en compte la taille de l'échantillon : Des données rares ont souvent un aspect plus crénelé qu'elles ne le sont réellement.
Les boîtes à moustaches sont préférables pour les comparaisons
Si la question est « Comment l'état d'aujourd'hui se compare-t-il à la référence historique ? », utilisez une boîte à moustaches (box plot). Elle résume la distribution à travers ses quartiles, sa médiane, sa dispersion et ses valeurs aberrantes potentielles. C'est très efficace pour réaliser des comparaisons côte à côte entre différentes tables, partitions, systèmes sources ou intervalles de temps.
Les boîtes à moustaches sont plus opérationnelles que les histogrammes dans la surveillance quotidienne car elles facilitent une analyse visuelle rapide :
Déplacement de la médiane : Le centre géographique a changé.
Étirage de la boîte : La variabilité a augmenté.
Allongement des moustaches : Les traînes se sont élargies.
Points isolés : Des données aberrantes extrêmes sont apparues.
Lorsque les équipes comparent les distributions actuelles et historiques, les boîtes à moustaches mettent généralement en évidence les écarts opérationnels plus rapidement que les histogrammes.
Elles s'adaptent également mieux lorsqu'on compare de nombreux groupes. Aligner cinq histogrammes est difficile à lire. Parcourir cinq boîtes à moustaches se fait en un coup d'œil.
Les graphiques en violon et de densité apportent de la nuance
Les histogrammes et les boîtes à moustaches répondent à la majorité des scénarios de surveillance, mais vous aurez parfois besoin de détails plus fins sur la forme elle-même. C'est là que les graphiques en violon et les courbes de densité interviennent.
Un graphique en violon est utile lorsque vous souhaitez conserver l'aspect compact de la boîte à moustaches tout en visualisant si les données présentent plusieurs pics ou des traînes lourdes. Les estimations de densité par noyau permettent de mieux faire ressortir l'asymétrie ou la multimodalité qu'un histogramme trop brut, surtout quand l'échantillon de données est suffisant pour supporter de l'ajustement de courbe.
Utilisez-les avec précaution :
Privilégiez les graphiques en violon pour comparer plusieurs distributions susceptibles d'avoir des profils multimodaux.
Utilisez des courbes de densité pour comparer directement la forme actuelle à une référence.
Évitez un lissage excessif car il peut gommer des pics de données bien réels.
Pour la surveillance en production, un seul outil suffit rarement. Le combo idéal associe un histogramme pour la forme brute, une boîte à moustaches pour la comparaison rapide, et un graphique de densité ou de violon en cas de doute sur la structure des données.
Validating Distribution Assumptions with Statistical Tests
L'examen visuel est nécessaire, mais il ne suffit pas. Deux analystes peuvent observer le même histogramme et être en désaccord sur le fait de savoir si les données sont suffisamment proches de la loi normale, si la traîne est digne d'intérêt ou si l'ajustement est acceptable pour la méthode choisie. C'est là que les tests statistiques s'avèrent utiles. Ils imposent une règle de décision objective.
Les vérifications visuelles sont nécessaires mais insuffisantes
Commencez par les graphiques. Ils vous aident à identifier rapidement les défauts de forme et montrent des éléments qu'un test mathématique peut masquer, comme une multimodalité évidente ou des pics isolés liés à un problème sur un traitement en amont. En revanche, dès que vous passez de la simple description à la création d'un seuil d'alerte, d'une carte de contrôle ou d'un modèle prédictif sur vos données, vous devez passer par une validation quantitative.
La méthode idéale est de combiner l'analyse visuelle et une mesure formelle d'adéquation. Pour valider quantitativement une distribution, associez l'analyse graphique à des tests d'ajustement comme le test d'Anderson-Darling. Une p-valeur faible issue de ce test démontre que l'hypothèse selon laquelle les données s'ajustent à la distribution cible est incorrecte, exigeant ainsi une nouvelle étude du modèle (Explications de SPC for Excel sur le choix de l'ajustement de distribution).
Si vous travaillez beaucoup sur tableur avant d'implémenter votre logique dans un entrepôt de données ou un notebook, le guide d'analyse Excel de Breaker constitue un pont pratique pour les équipes qui valident encore leurs hypothèses sur Excel.
Utiliser des tests pour remettre en question vos hypothèses
Deux tests sont particulièrement importants au quotidien.
Le test de Shapiro-Wilk est le contrôle standard de normalité pour s'assurer qu'un échantillon provient très probablement d'une population de loi normale. C'est une étape incontournable avant d'appliquer des méthodes basées sur l'hypothèse d'une courbe en cloche.
Le test d'Anderson-Darling est quant à lui plus performant pour valider l'ajustement à une loi spécifique, en accordant un poids plus important au comportement dans les traînes de distribution. Cela le rend particulièrement pertinent pour la surveillance de la qualité, où les anomalies se cachent souvent dans les extrêmes.
Pour comprendre la p-valeur en termes simples : si le p-value est bas, les données ne soutiennent pas suffisamment votre hypothèse de départ. Vous devez éviter de forcer le modèle et opter pour une approche de description plus adaptée.
Voici les principes d'action sur le terrain :
Utiliser les visuels en priorité : Les histogrammes, les boîtes à moustaches et les diagrammes de probabilité permettent de déceler les anomalies évidentes.
Appliquer Shapiro-Wilk pour tester la normalité : Idéal si votre question principale est « Puis-je traiter ce set comme une loi normale ? »
Appliquer Anderson-Darling pour l'adéquation : Idéal lorsque le choix de la distribution régit la logique de calcul de vos seuils d'alerte.
Adapter ensuite les statistiques : Si le test de normalité échoue, le couple médiane et IQR devient souvent l'approche la plus sûre.
Les tests statistiques ne doivent jamais se substituer au jugement de l'expert. Ils servent à empêcher les équipes d'adopter des hypothèses de facilité infondées.
Il faut garder à l'esprit un dernier arbitrage pratique : un jeu de données peut échouer à un test de normalité rigoureux tout en restant exploitable pour certains usages courants. La bonne question n'est pas « Est-ce parfaitement normal ? » mais « Cette distribution est-elle assez proche de la normale pour préserver la validité du seuil ou du modèle que je m'apprête à déployer ? » C'est une question de production, pas un exercice de cours.
Comment identifier et interpréter les valeurs aberrantes et l'asymétrie
C'est souvent sur la gestion de l'asymétrie et des valeurs aberrantes que les plans de surveillance défaillent. Les équipes savent qu'elles doivent surveiller les anomalies, mais elles appliquent la même logique à tous les flux. Cela les pousse généralement à calculer des écarts-types sur des valeurs qui n'ont jamais été proches d'une loi normale.
Analyser l'asymétrie avant de choisir une statistique de résumé
L'asymétrie (skewness) indique de quel côté de la distribution s'étire la traîne la plus longue. Dans les faits, une asymétrie positive (à droite) est fréquente pour les montants de transactions, les temps de traitement de tâches, la latence des API et bien d'autres indicateurs système. Quelques valeurs très élevées étirent artificiellement la distribution.
Cela a beaucoup d'importance car les moyennes deviennent ainsi trompeuses. En présence d'asymétrie positive, la moyenne est tirée vers le haut. Pour l'asymétrie négative, elle est tirée vers le bas. La médiane résiste généralement beaucoup mieux pour caractériser le comportement typique.
Un guide de lecture rapide :
Asymétrie positive : Longue traîne vers le haut. La moyenne est supérieure à la médiane.
Asymétrie négative : Longue traîne vers le bas. La moyenne est inférieure à la médiane.
Symétrie relative : La moyenne et la médiane sont assez proches pour décrire une réalité similaire.
Choisir la règle des valeurs aberrantes qui correspond aux données
La méthode la plus performante pour les données asymétriques est la règle de l'écart interquartile (IQR). L'écart interquartile (IQR) est spécifiquement utilisé pour identifier les valeurs aberrantes dans les distributions asymétriques où l'écart-type n'est pas fiable ; les valeurs aberrantes sont généralement définies comme les valeurs inférieures à Q1 - 1,5×IQR ou supérieures à Q3 + 1.5×IQR. Cette méthode est plus appropriée que la règle empirique (68-95-99,7) qui suppose une distribution normale (Article PMC sur la description des distributions et la détection d'anomalies).
Appliquez la règle de l'IQR quand :
Les données sont asymétriques : Les extrémités ne sont pas équilibrées, l'écart-type peut donc induire en erreur.
Des valeurs extrêmes surviennent ponctuellement : La partie centrale constitue un point d'ancrage plus stable.
Vous cherchez des alertes fiables : Cela permet de réduire les faux positifs causés par les longues traînes de données.
L'alternative la plus connue est la règle des 3 sigmas, conçue pour les données normales. En surveillance, cela correspond à signaler les valeurs au-delà de trois écarts-types par rapport au centre attendu. C'est très utile, mais seulement si l'hypothèse de courbe en cloche est vérifiée.
Ne vous demandez pas si une valeur aberrante est « réelle » avant de vous assurer que votre règle de détection concorde avec la forme générale des données.
Pour les architectures de production, l'analyse compte autant que la simple détection. Une valeur aberrante peut refléter une donnée corrompue, une action métier rare mais légitime, ou l'amorce d'une dérive de fond. C'est pourquoi le traitement des anomalies doit relier les règles de distribution aux diagnostics d'origine des incidents. Les équipes qui déploient ce type d'exploitation finissent généralement par adopter des outils spécialisés de détection d'anomalies de données, plutôt que de simples rapports statistiques d'analyse descriptive.
Appliquer l'analyse de distribution pour une surveillance continue des données
Savoir décrire un jeu de données est une bonne chose. Être capable de décrire la façon dont une distribution varie au fil du temps est ce qui garantit la fiabilité à terme de vos pipelines.
En production, la question n'est plus « Quels sont le centre et la dispersion de cette colonne ? » mais plutôt « Le centre a-t-il glissé ce matin ? La dispersion s'est-elle élargie cette semaine ? La forme générale a-t-elle changé par rapport à notre référence d'apprentissage ? » Ce changement d'optique transforme les statistiques de description en indicateurs d'observabilité (Observability).
Transformer les statistiques descriptives en signaux de surveillance
La formule pratique pour industrialiser l'analyse de distribution consiste à suivre ces résumés statistiques au fil du temps. Au lieu de regarder un histogramme figé, suivez l'historique de métriques clés comme le centre, la dispersion, les comptes globaux et certains percentiles cibles. Cela vous aide à détecter l'apparition d'un glissement plutôt que d'analyser des instantanés successifs.
Pour les indicateurs aux variations régulières et normales, une règle simple s'impose souvent. Dans le cadre de la surveillance de séries temporelles, une règle courante consiste à signaler les valeurs s'écartant de plus de 3 écarts-types (±3σ) par rapport à la moyenne mobile. Cette règle englobe environ 99,7 % des points sous l'hypothèse d'une loi normale, faisant des dépassements au-delà de cette zone des anomalies statistiquement significatives qui justifient une alerte (Présentation de digna sur la surveillance des anomalies).
Cette approche fonctionne parfaitement pour les valeurs de profil gaussien. Elle s'avère en revanche très inefficace quand la métrique est asymétrique, intermittente ou possède plusieurs modes. Dans de telles configurations, des résumés robustes et des modèles de référence adaptés s'avèrent bien plus performants qu'un seuil générique unique.
Définir d'abord une référence, puis configurer les alertes
Le protocole de référence pour une surveillance en temps réel se déroule ainsi :
Établir la référence de base : Identifiez le niveau de variabilité normal pour chaque indicateur et chaque table de données.
Surveiller la dérive historique : Examinez les évolutions de centre, de dispersion, de forme générale et de volume.
Appliquer la bonne méthode décisionnelle : Évitez d'utiliser des seuils basés sur la loi normale là où ce n'est pas justifié.
Analyser les variations dans leur contexte : Les partitions utilisées, le système d'origine, le cycle d'alimentation et l'historique du schéma de table sont autant d'éléments clés.
À ce niveau, l'analyse descriptive devient une pratique d'observabilité rigoureuse. Les concepts du cadre SOCS restent pleinement d'actualité, mais appliqués de manière répétée et automatisée au fil des traitements par lots (batches), des flux continus (streams) et des cycles d'activité de l'entreprise. Vous ne vous contentez plus de décrire des données brutes. Vous assurez le diagnostic de santé du processus informatique qui les génère.
Si vous souhaitez passer d'études ponctuelles à une surveillance automatisée en continu, la solution digna - own website a été conçue précisément pour cet usage. Elle aide les équipes à identifier les dérives de distribution, les anomalies de valeurs, les évolutions de schéma ainsi que les incidents de fraîcheur au cœur même de leur infrastructure de données, pour résoudre les comportements anormaux bien avant que des tableaux de bord corrompus, des analyses obsolètes ou des modèles de décision instables ne pénalisent les utilisateurs finaux.
