Cómo describir la distribución de datos: una guía práctica

Una canalización funcionó de forma limpia toda la semana. Los recuentos de filas parecían normales, las comprobaciones de actualización de datos se pasaron con éxito y nadie recibió avisos. Sin embargo, el panel de control del lunes mostró datos sin sentido. Los ingresos por región cambiaron su forma habitual, una característica de ML comenzó a agruparse en torno a un nuevo pico y las alertas de latencia llegaron demasiado tarde para ser de ayuda. Nada se "rompió" en el sentido obvio. La distribución de los datos cambió.

Esa es la situación en la que se encuentran muchos equipos cuando buscan cómo describir la distribución de los datos. No necesitan una definición académica. Necesitan una forma de explicar qué cambió, por qué es importante y cómo distinguir la variación normal del tipo de cambio que envenena sutilmente los sistemas posteriores.

Tabla de contenidos

• Por qué describir la distribución de los datos es fundamental para la calidad de los datos

• Los cuatro pilares para describir una distribución

  • La forma te indica cómo se comporta el proceso

  • Los valores atípicos te indican dónde investigar

  • El centro y la dispersión te indican qué es lo típico y qué es estable

  • Elegir la medida correcta: Tendencia central frente a dispersión

• Elegir la visualización adecuada para ver la historia

  • Los histogramas muestran la estructura, pero la agrupación en intervalos puede mentir

  • Los diagramas de caja son mejores para realizar comparaciones

  • Los gráficos de violín y de densidad aportan matices

• Validar los supuestos de distribución con pruebas estadísticas

  • Las comprobaciones visuales son necesarias pero no suficientes

  • Usa pruebas para cuestionar tus hipótesis

• Cómo identificar e interpretar los valores atípicos y la asimetría

  • Analiza la asimetría antes de elegir una estadística de resumen

  • Elige la regla de valores atípicos que se adapte a los datos

• Aplicación del análisis de distribución para el monitoreo continuo de datos

  • Convierte las estadísticas descriptivas en señales de monitoreo

  • Primero establece un modelo de referencia, luego las alertas

Por qué describir la distribución de los datos es fundamental para la calidad de los datos

La mayoría de los incidentes de datos no comienzan con un fracaso dramático. Comienzan con un cambio de comportamiento silencioso en los datos. Una característica que solía ser unimodal se vuelve bimodal. Una métrica que estaba muy concentrada desarrolla una cola derecha larga. Un sistema de origen cambia de tipo o de valores predeterminados y la tabla de destino se sigue cargando, pero el significado de los datos ha cambiado.

Es por eso que el análisis de distribución se sitúa en el centro del trabajo de calidad de datos. Ofrece a los equipos un vocabulario para decir algo más que "los números parecen incorrectos". Puedes decir que el centro se movió, la dispersión aumentó, aparecieron valores atípicos o la forma cambió respecto a lo que produce habitualmente la canalización. Esas son afirmaciones operativas. Los ingenieros pueden investigarlas.

Muchos tutoriales pasan por alto esta perspectiva operativa. La mayoría de los contenidos existentes tratan la descripción de la distribución de datos como un ejercicio estático de un único conjunto de datos, pero no abordan cómo describir las distribuciones en contextos de Observability de series temporales, donde el principal desafío es detectar cambios. Los recientes puntos conflictivos en la calidad de los datos del sector revelan que el 73 % de los fallos de datos provienen de desviaciones silenciosas del esquema o de la distribución que los resúmenes estáticos pasan por alto (Descripción general de Study.com sobre la descripción de la distribución).

Regla práctica: Si tu descripción de un conjunto de datos no ayuda a comparar el día de hoy con el modelo de referencia de ayer, no es suficiente para el monitoreo de producción.

A menudo los equipos descubren esto de la manera difícil en métricas que parecían saludables de forma aislada. Un campo normalizado aún puede desviarse tras un cambio en el origen, por lo que la limpieza y la estandarización deben realizarse antes de las comprobaciones de distribución. Si necesitas un repaso rápido sobre ese paso de preparación, una guía práctica para la normalización de datos resulta un contexto útil antes de interpretar cualquier distribución.

Tres ejemplos muestran por qué esto es importante en la práctica:

• Confiabilidad del panel de control: Una tabla de KPI puede continuar cargándose mientras la combinación de categorías cambia internamente.

• Estabilidad de características de ML: Un modelo puede recibir registros válidos cuyas distribuciones de características ya no coinciden con el comportamiento del entrenamiento.

• Operaciones de la canalización: La puntualidad, los recuentos de filas, las tasas de valores nulos y los rangos de valores pueden desviarse sin llegar a provocar un error de esquema.

Para los equipos que crean monitoreo, esta es la diferencia entre la validación estática y la Observability. Las comprobaciones estáticas responden a si los datos se ajustan a una regla. El análisis de distribución responde a si los datos siguen comportándose como el proceso que los produjo la semana pasada. Esa es la pregunta más útil en sistemas activos, especialmente cuando se definen métricas de calidad de datos que deben seguir siendo significativas a medida que las canalizaciones evolucionan.

Los cuatro pilares para describir una distribución

Si deseas una forma confiable de describir la distribución de los datos, comienza con el acrónimo en inglés SOCS (Shape, Outliers, Center, and Spread). Este acrónimo representa la forma, los valores atípicos, el centro y la dispersión. Sigue siendo el marco de trabajo más práctico porque te obliga a describir un conjunto de datos por completo en lugar de recurrir directamente a una única métrica favorita.

La regla principal es sencilla. El marco de trabajo fundamental para describir la distribución de datos se basa en cuatro componentes: forma, valores atípicos, centro y dispersión (SOCS). Para datos asimétricos, se utiliza la mediana para representar el centro, mientras que el rango intercuartílico (IQR) cuantifica la dispersión, ya que la media y la desviación estándar pueden resultar engañosas (Guía de Albert sobre la descripción de distribuciones).

La forma te indica cómo se comporta el proceso

La forma es el patrón de la distribución. ¿Es simétrica o asimétrica? ¿Tiene un pico, dos picos, muchos picos o ningún pico claro? Eso importa porque la forma a menudo revela la condición operativa real de un sistema.

Un único pico suele sugerir un proceso estable. Dos picos pueden sugerir la mezcla de dos poblaciones distintas, como el tráfico de días laborables y fines de semana, usuarios de dispositivos móviles y web, o dos sistemas de origen que escriben en una sola tabla. A menudo aparece una cola larga a la derecha en los datos de latencia, tamaño de transacciones y duración operativa.

Cuando la distribución presenta una asimetría positiva, la media supera a la mediana. Cuando presenta una asimetría negativa, la media es inferior a la mediana. Ese único detalle cambia la forma en que resumes los datos y cómo explicas lo que es "normal".

Los valores atípicos te indican dónde investigar

Los valores atípicos son observaciones que se sitúan lejos de la masa principal de los datos. A veces son registros incorrectos. A veces son la única evidencia que tienes de que una canalización se ha degradado, un socio ha cambiado su comportamiento o ha aparecido un patrón de fraude.

No trates los valores atípicos como ruido automático. En los sistemas de producción, a menudo son la primera pista.

Una descripción de distribución útil no se detiene en "hay valores atípicos". Se pregunta si son eventos de cola esperados, errores de datos o señales de un proceso que ha cambiado.

Un buen hábito es registrar tanto la existencia de valores atípicos como su contexto. ¿Aparecieron de repente? ¿Se concentran en una partición, un inquilino, una fuente de origen o una hora específica del día?

El centro y la dispersión te indican qué es lo típico y qué es estable

El centro responde a una pregunta: ¿cuál es el valor típico aquí? La dispersión responde a otra: ¿cuánto varía este proceso?

Para el centro, las opciones habituales son la media, la mediana y la moda:

• Media: la mejor opción cuando los datos son simétricos y no se ven distorsionados por valores extremos.

• Mediana: es mejor cuando los datos son asimétricos, porque resiste la distorsión de las colas.

• Moda: útil cuando el valor más común tiene significado por sí mismo.

Para la dispersión, las opciones comunes son el rango, el IQR y la desviación estándar:

• Rango: rápido de calcular, pero de interpretación aproximada.

• IQR: ideal para datos asimétricos porque se enfoca en la mitad central.

• Desviación estándar: útil cuando los datos se aproximan a la distribución normal y te importa la dispersión alrededor de la media.

La elección no es puramente académica. Afecta la calidad de las alertas. Si resumes la latencia asimétrica con la media y la desviación estándar, puedes ocultar el comportamiento que los operadores valoran. La mediana y el IQR suelen describirlo con mayor precisión.

Elegir la medida correcta: Tendencia central frente a dispersión

Si necesitas una lista de verificación compacta, usa esta:

• Describe primero la forma: No elijas estadísticas de resumen antes de saber si los datos son simétricos o asimétricos.

• Usa la mediana para la asimetría: Normalmente representa la situación "típica" mejor que la media cuando las colas son largas.

• Usa el IQR cuando las colas sean complejas: Es más difícil de distorsionar por valores atípicos.

• Mantén el centro y la dispersión emparejados: La media va con la desviación estándar. La mediana va con el IQR.

Elegir la visualización adecuada para ver la historia

La forma más rápida de malinterpretar una distribución es mirar el gráfico equivocado. Los equipos a menudo eligen por defecto una única vista para todo, por lo general un histograma con la configuración predeterminada que ofrezca la herramienta. Esto resulta conveniente, pero oculta diferencias importantes entre "muéstrame la forma" y "muéstrame el cambio".

El mejor enfoque es adaptar el gráfico a la pregunta. Para comparar múltiples distribuciones, los diagramas de caja son superiores para ilustrar las diferencias de dispersión e identificar valores extremos. Un error estadístico común es aplicar incorrectamente el ancho de los intervalos en los histogramas; el ancho óptimo debe seleccionarse experimentalmente para comunicar de la mejor manera la forma de la distribución, ya que una agrupación incorrecta puede ocultar patrones importantes (Capítulo de Virginia Tech Pressbooks sobre distribuciones cuantitativas).

Los histogramas muestran la estructura, pero la agrupación en intervalos puede mentir

Los histogramas siguen siendo la herramienta fundamental para visualizar la forma. Son eficaces para revelar asimetrías, modalidades y la densidad aproximada. Si necesitas saber si un proceso es unimodal o si dos poblaciones se han fusionado en una sola métrica, comienza por aquí.

Sin embargo, el ancho del intervalo puede cambiar por completo la historia. Muy pocos intervalos pueden aplanar un patrón bimodal en una sola curva. Demasiados intervalos pueden hacer que el ruido aleatorio parezca una estructura con significado. En el análisis operativo, esto conduce rápidamente a conclusiones erróneas.

Un flujo de trabajo práctico para histogramas:

1. Comienza con una vista predeterminada: Obtén una lectura aproximada de la simetría, las colas y los picos.

2. Ajusta los intervalos manualmente: Comprueba si el patrón aparente sobrevive a diferentes anchos de intervalo.

3. Compáralo con un histograma de referencia: El lote actual frente a los datos históricos recientes suele ser más útil que un solo gráfico.

4. Analiza el contexto del tamaño de la muestra: Los datos dispersos a menudo parecen más irregulares de lo que realmente son.

Los diagramas de caja son mejores para realizar comparaciones

Si la pregunta es "¿Cómo se compara el día de hoy con el modelo de referencia?", utiliza un diagrama de caja. Este comprime la distribución en cuartiles, mediana, dispersión y posibles valores atípicos. Es eficiente, especialmente cuando necesitas hacer comparaciones directas entre tablas, particiones, sistemas de origen o ventanas de tiempo.

Los diagramas de caja son más prácticos que los histogramas en el monitoreo rutinario porque facilitan un análisis rápido:

• Cambio de la mediana: El centro se ha desplazado.

• Expansión de la caja: La variabilidad se ha incrementado.

• Estiramiento de bigotes: Las colas se han ensanchado.

• Puntos aislados: Han aparecido valores extremos.

Cuando los equipos comparan las distribuciones actuales con las históricas, los diagramas de caja suelen revelar la diferencia operativa más rápido que los histogramas.

También escalan mejor cuando se comparan muchos grupos. Es difícil leer cinco histogramas seguidos. En cambio, cinco diagramas de caja son fáciles de analizar visualmente.

Los gráficos de violín y de densidad aportan matices

Los histogramas y los diagramas de caja cubren la mayoría de los casos de monitoreo, pero hay ocasiones en las que necesitas más detalles sobre la propia forma. Ahí es donde ayudan los gráficos de violín y las superposiciones de densidad.

Un gráfico de violín resulta útil cuando deseas realizar la comparación compacta de un diagrama de caja, pero también quieres ver si el conjunto de datos tiene múltiples picos o colas pesadas. La estimación de la densidad por kernel puede hacer que la modalidad sea más clara que un histograma burdo, especialmente cuando el conjunto de datos es lo suficientemente grande como para admitir un suavizado.

Utilízalos con precaución:

• Elige gráficos de violín cuando compares varias distribuciones con posible comportamiento multimodal.

• Usa superposiciones de densidad cuando quieras comparar directamente el modelo de referencia y la forma actual.

• Evita el exceso de suavizado porque puede borrar picos significativos.

Para el monitoreo de producción, un solo gráfico rara vez hace todo el trabajo. La combinación práctica es un histograma para la forma sin procesar, un diagrama de caja para la comparación y una vista de densidad o de violín cuando sospeches que existe una estructura oculta.

Validar los supuestos de distribución con pruebas estadísticas

La inspección visual es necesaria, pero no es suficiente. Dos analistas pueden mirar el mismo histograma y no estar de acuerdo sobre si los datos se aproximan lo suficiente a la normalidad, si la cola es significativa o si el ajuste resulta aceptable para el método que quieren utilizar. Ahí es donde las pruebas estadísticas resultan de ayuda. Imponen una regla de decisión.

Las comprobaciones visuales son necesarias pero no suficientes

Empieza con los gráficos. Te ayudan a detectar problemas de forma rápidamente y revelan detalles que una prueba estadística puede ocultar, como una modalidad evidente o picos aislados causados por un trabajo upstream fallido. Sin embargo, una vez que pasas de "describir estos datos" a "crear un umbral, un gráfico de control o un modelo sobre ellos", necesitas una validación cuantitativa.

El patrón práctico radica en combinar la evaluación visual con una prueba formal de bondad de ajuste. Para validar cuantitativamente una distribución, combina la evaluación visual con estadísticas de bondad de ajuste, como la prueba de Anderson-Darling. Un valor p bajo en esta prueba indica que la hipótesis de que los datos se ajustan a la distribución especificada es incorrecta, lo que obliga a reevaluar el modelo (SPC para Excel sobre cómo decidir qué distribución se ajusta a tus datos).

Si trabajas en entornos que dependen de las hojas de cálculo antes de trasladar la lógica a un almacén de datos o a un flujo de trabajo de notebooks, la guía de análisis de Excel de Breaker es un puente práctico para los equipos que aún validan hipótesis en Excel.

Usa pruebas para cuestionar tus hipótesis

En la práctica diaria, hay dos pruebas de gran importancia.

La de Shapiro-Wilk es la prueba estándar de normalidad cuando deseas saber si es probable que una muestra proceda de una distribución normal. Es un filtro útil antes de aplicar métodos que asumen un comportamiento de curva de campana.

La de Anderson-Darling ofrece más solidez cuando deseas evaluar el ajuste con respecto a una distribución especificada y te importa el comportamiento de las colas. Eso la hace muy relevante en el monitoreo de calidad, donde las colas a menudo contienen los incidentes.

Una forma sencilla de interpretar el valor p es la siguiente: si el valor p es bajo, los datos no respaldan tu hipótesis con suficiente fuerza. Deberías dejar de forzar el modelo y elegir una descripción más adecuada.

Esto es lo que funciona en la práctica:

• Usa primero gráficos: Los histogramas, los diagramas de caja y las comparaciones de tipo probabilístico detectan problemas evidentes.

• Usa Shapiro-Wilk para la normalidad: Es adecuada cuando tu principal pregunta es "¿Puedo tratar esto como una distribución normal?".

• Usa Anderson-Darling para el ajuste: Es mejor cuando la elección de la distribución define los umbrales o la lógica de alertas.

• Revisa las estadísticas de resumen: Si falla la prueba de normalidad, la mediana y el IQR suelen convertirse en la opción más segura.

Las pruebas estadísticas no deben sustituir al criterio profesional. Deben evitar que los equipos asuman como válida una hipótesis por mera conveniencia.

Hay otro factor de compensación que resulta importante. Un conjunto de datos puede no superar una prueba de normalidad formal y, aun así, ser suficiente para algunos fines prácticos. La pregunta correcta no es "¿Es esto perfectamente normal?", sino "¿Es esta distribución lo suficientemente cercana como para admitir el umbral o el modelo que voy a implementar?". Esa es una pregunta de producción, no del salón de clases.

Cómo identificar e interpretar los valores atípicos y la asimetría

Los valores atípicos y la asimetría son aspectos en los que fallan muchas estrategias de monitoreo. Los equipos saben que deben prestar atención a las anomalías, pero aplican la misma regla en todas partes. Por lo general, esto implica utilizar la desviación estándar en datos que nunca se han aproximado a una distribución normal.

Analiza la asimetría antes de elegir una estadística de resumen

La asimetría te indica qué lado de la distribución tiene la cola más larga. En la práctica, los datos con asimetría a la derecha son habituales en el valor de las transacciones, los tiempos de ejecución de trabajos, la latencia de las API y muchas métricas operativas. Una pequeña cantidad de valores muy grandes estira la distribución.

Esto es relevante porque los promedios pueden resultar engañosos. En datos con asimetría positiva (a la derecha), la media se ve arrastrada hacia arriba. En datos con asimetría negativa (a la izquierda), se ve arrastrada hacia abajo. La mediana suele funcionar mejor para describir lo que es típico.

Una guía de interpretación rápida:

• Asimetría a la derecha: Cola larga en el extremo superior. La media se sitúa por encima de la mediana.

• Asimetría a la izquierda: Cola larga en el extremo inferior. La media se sitúa por debajo de la mediana.

• Simetría aproximada: La media y la mediana suelen estar lo suficientemente cerca como para reflejar una historia similar.

h3 id="192">Elige la regla de valores atípicos que se adapte a los datos

El método eficaz para datos asimétricos es la regla del IQR. El rango intercuartílico (IQR) se utiliza específicamente para identificar valores atípicos en distribuciones asimétricas donde la desviación estándar no es confiable; los valores atípicos se definen típicamente como aquellos que se sitúan por debajo de Q1 - 1.5×IQR o por encima de Q3 + 1.5×IQR. Este método es más apropiado que la regla empírica (68-95-99.7), la cual asume una distribución normal (Artículo de PMC sobre descripción de distribuciones y detección de valores atípicos).

Usa la regla del IQR cuando:

• Los datos sean asimétricos: Las colas no están equilibradas, por lo que la desviación estándar puede resultar engañosa.

• Esperes valores extremos ocasionales: El intervalo medio ofrece un punto de referencia más estable.

• Te importe la fiabilidad de las alertas: Reduce los falsos positivos producidos por datos con colas pesadas.

La alternativa más conocida es la regla de las 3 sigmas, que se adapta a datos normales. En el monitoreo, esto significa marcar los valores que se sitúan más allá de tres desviaciones estándar del centro esperado. Resulta útil, pero solo cuando la hipótesis de la curva de campana es defendible.

No te preguntes si un valor atípico es "real" antes de comprobar si tu regla de detección de valores atípicos se ajusta a la forma de los datos.

En sistemas activos, la interpretación importa tanto como la detección. Un valor atípico puede significar un registro con formato incorrecto, un evento de negocio inusual pero legítimo o el inicio de una desviación más amplia. Es por eso que el trabajo de detección de anomalías debe conectar la lógica de distribución con los flujos de trabajo de análisis de causa raíz. Los equipos que necesitan esa capa operativa suelen recurrir a la creación o el uso de herramientas enfocadas en anomalías de datos, no simplemente en informes descriptivos estáticos.

Aplicación del análisis de distribución para el monitoreo continuo de datos

Describir un único conjunto de datos resulta de utilidad. Describir cómo cambia una distribución a lo largo del tiempo es lo que mantiene la confiabilidad en las canalizaciones.

En producción, la pregunta no es "¿Cuál es el centro y la dispersión de esta columna?". Es "¿Se movió el centro esta mañana, aumentó la dispersión esta semana y cambió la forma en comparación con el modelo de referencia aprendido?". Ese cambio de perspectiva convierte las estadísticas descriptivas en señales de Observability.

Convierte las estadísticas descriptivas en señales de monitoreo

La forma práctica de operacionalizar el análisis de distribución consiste en hacer un seguimiento del comportamiento del resumen a lo largo del tiempo. En lugar de un único histograma, mantén una serie temporal de métricas como el centro, la dispersión, los recuentos y los cuantiles seleccionados. Esto te permite detectar cambios en lugar de limitarte a describir instantáneas.

Para métricas con comportamiento normal, existe una regla común que resulta directa. En el monitoreo de datos de series temporales, una regla común consiste en marcar los valores que superen las 3 desviaciones estándar (±3σ) con respecto a la media móvil. Esto captura aproximadamente el 99.7 % de los puntos de datos normales bajo una distribución gaussiana, lo que hace que las desviaciones fuera de este rango sean valores atípicos estadísticamente significativos que alertan sobre una anomalía (Descripción general de digna sobre monitoreo de anomalías).

Esto funciona bien para métricas que se aproximan a una distribución gaussiana. Sin embargo, no funciona de manera correcta cuando la métrica es asimétrica, dispersa o multimodal. En esos casos, los resúmenes resilientes y los modelos de referencia adaptados a las distribuciones ofrecen un rendimiento superior que un único umbral genérico.

Primero establece un modelo de referencia, luego las alertas

El patrón robusto para el monitoreo continuo se estructura de la siguiente manera:

• Aprende el modelo de referencia: Comprende cómo es la variabilidad normal para cada métrica y tabla.

• Sigue la desviación a lo largo del tiempo: Observa los cambios en el centro, la dispersión, la forma y el comportamiento de los recuentos.

• Aplica la regla adecuada: Utiliza umbrales basados en la distribución normal solo en los casos en que el ajuste tenga sentido.

• Revisa los cambios en su contexto: La partición, el sistema de origen, la ventana de ingesta de datos y el historial de esquemas son elementos relevantes.

En esta etapa, el análisis estático de distribución evoluciona hacia una disciplina de monitoreo. Las mismas ideas que sustentan el enfoque SOCS siguen siendo aplicables, pero ahora se repiten de forma continua en todos los lotes, flujos y ciclos de negocio. Ya no estás describiendo simplemente datos. Estás describiendo el estado de salud del proceso que los produce.

Si deseas pasar del análisis puntual al monitoreo continuo, digna - propio sitio web está diseñado para esa capa operativa. Ayuda a los equipos a detectar cambios en la distribución, anomalías, modificaciones de esquema y retrasos en la disponibilidad dentro de su propio entorno, facilitando la investigación sobre el comportamiento de los datos antes de que los paneles de visualización rotos, los informes desactualizados o los modelos inestables acaben forzando el problema.