Construya la solución de Observability de plataforma que su organización necesita.
Las plataformas de datos modernas evolucionan continuamente. Las cargas de trabajo cambian, los volúmenes de datos crecen, las consultas se vuelven más complejas y el consumo de recursos cambia.
digna es una plataforma de data observability que le ofrece capacidades modulares para monitorear, analizar y comprender cómo se comportan sus plataformas de datos a lo largo del tiempo.
digna Data Anomalies →
Detecte cambios inesperados en el comportamiento de la plataforma y de la carga de trabajo.
digna Data Analytics →
Comprenda las tendencias y cómo evoluciona el comportamiento de la plataforma a lo largo del tiempo.
Supervise si los datos requeridos de la plataforma llegan de acuerdo con los patrones de entrega esperados.
Defina un límite de consumo y reciba alertas cuando el uso supere el umbral establecido.
Combine estas y otras capacidades de digna para crear la solución de Observability que mejor se adapte a su entorno. Monitoree lo que importa. Detecte cambios inesperados. Comprenda cómo está evolucionando su plataforma antes de que las incidencias se conviertan en problemas operativos.
Por qué es importante la Observability de las plataformas de datos
Las plataformas de datos rara vez se vuelven ineficientes de la noche a la mañana. Las plataformas empresariales como Databricks, Snowflake y Teradata están diseñadas para escalar, pero el escalamiento también introduce complejidad.
Complejidad creciente
Nuevas cargas de trabajo, volúmenes de datos crecientes y consultas más complejas.
Cambiando recursos
La evolución de los patrones de uso y los requisitos de computación alteran el comportamiento de la plataforma.
Riesgo gradual
El desvío de costes y la inestabilidad en el tiempo de ejecución pueden surgir sin que se produzca un fallo del sistema.
Cambio sin fallos
El desvío de costos, la inestabilidad en el tiempo de ejecución, la mayor duración de las consultas y la ineficiencia de los recursos pueden surgir gradualmente sin que se produzca un fallo del sistema.
Más allá de la salud en un momento puntual
El monitoreo tradicional informa si un sistema o trabajo está en buen estado. La Observability explica cómo cambia el comportamiento de la plataforma a lo largo del tiempo.
De las métricas a la comprensión del comportamiento
Las métricas brutas te dicen qué pasó. El análisis de comportamiento te ayuda a entender qué cambió.
El valor de una sola métrica proporciona un contexto limitado. Una consulta tardó 18 minutos. ¿Es eso un problema? Depende de lo que ocurra normalmente.
Si la misma consulta normalmente tarda 3 minutos, el cambio es significativo. Si normalmente tarda 20 minutos, puede ser completamente normal. digna Data Anomalies identifica desviaciones inesperadas; digna Data Analytics muestra cómo evoluciona la métrica subyacente a lo largo del tiempo.
Consumo
Calcula el consumo de computación, el consumo de DBU, los créditos y la utilización de recursos.
Rendimiento
Tiempos de ejecución de trabajos, duración de consultas y características de ejecución de consultas.
Carga de trabajo
Volúmenes de carga de trabajo, volúmenes de datos, concurrencia y otras métricas específicas de la plataforma.
MÉTRICAS EN UN MOMENTO DADO
¿Qué pasó?
Una métrica muestra un evento: una consulta tardó 18 minutos, el uso de cómputo aumentó o un trabajo finalizó. Por sí solo, ese valor tiene un contexto limitado.
ANÁLISIS DE COMPORTAMIENTO
¿Qué cambió?
digna establece el comportamiento normal, encuentra desviaciones inesperadas y revela si un cambio está aislado, es recurrente o forma parte de una tendencia a largo plazo.
¿Qué puedes observar?
Monitoree las señales que importan para su plataforma.
Rendimiento de la carga de trabajo
Entienda cómo evolucionan los tiempos de ejecución de trabajos y consultas. Utilice digna Data Analytics para analizar las tendencias de tiempo de ejecución y digna Data Anomalies para identificar comportamientos de ejecución inusuales. Identifique las cargas de trabajo que se vuelven más lentas, menos predecibles o cada vez más variables.
Consumo de recursos
Supervise el uso de cómputo y recursos a lo largo del tiempo. Utilice digna Data Analytics para comprender las tendencias de consumo y digna Data Anomalies para identificar incrementos inesperados. Busque cargas de trabajo en las que el consumo de recursos cambie sin que se produzca un cambio correspondiente en los requisitos empresariales o técnicos.
Comportamiento de los costos
Realice un seguimiento de las métricas de costes específicas de la plataforma. Utilice digna Data Analytics para comprender la evolución de los costes y digna Data Anomalies para identificar picos o desviaciones inesperados. Identifique tanto la desviación gradual de los costes como los cambios repentinos.
Estabilidad de la carga de trabajo
Monitoree la consistencia de la ejecución de la carga de trabajo. Utilice digna Data Analytics para comprender cómo se desarrolla la variabilidad del tiempo de ejecución y digna Data Anomalies para identificar comportamientos de ejecución inusuales.
Utilización de la plataforma
Comprenda cómo cambia el uso de la plataforma a medida que crecen las cargas de trabajo y los volúmenes de datos. Analice las tendencias de utilización e identifique cambios inesperados con las capacidades de digna.
Volumen de datos y crecimiento de la carga de trabajo
Monitoree los volúmenes de datos y la actividad de la carga de trabajo que puedan explicar los cambios en el rendimiento o el costo. Distinga el crecimiento legítimo de la plataforma de los cambios inesperados.
Entrega de datos de la plataforma
Use digna Timeliness para monitorear si los datos esenciales de la plataforma llegan según lo previsto y detectar datos faltantes, retrasos inesperados o cambios en los patrones de entrega.
Límites de consumo
Utilice digna Data Validation para definir los umbrales de consumo aceptables y recibir alertas cuando el uso de la plataforma supere los límites establecidos.
Escenarios comunes de Observability de la plataforma de datos
Detecte cambios antes de que se conviertan en problemas operativos.
Detección de desviaciones de costos
Una carga de trabajo que cuesta 500 € al mes puede aumentar gradualmente a 700 €, luego a 900 €, sin generar ningún fallo del sistema. Utilice digna Data Analytics para realizar un seguimiento del consumo de la plataforma a lo largo del tiempo y, a continuación, digna Data Anomalies para detectar cambios inesperados o desviaciones del patrón establecido.
Monitoreo de la estabilidad del tiempo de ejecución
Un trabajo puede seguir completándose correctamente mientras su tiempo de ejecución se vuelve cada vez más variable. Utilice digna Data Analytics para comprender cómo evoluciona el comportamiento del tiempo de ejecución y digna Data Anomalies para identificar patrones de ejecución inusuales.
Identificación de cargas de trabajo ineficientes
Algunas cargas de trabajo consumen recursos desproporcionadamente altos en comparación con su comportamiento histórico o la carga de trabajo prevista. Compare el consumo de recursos a lo largo del tiempo y detecte patrones de consumo inusuales.
Degradación del rendimiento, crecimiento y anomalías
Un aumento gradual en el tiempo de ejecución puede indicar un cambio en el comportamiento de la carga de trabajo, el crecimiento de los datos o la presión sobre los recursos. A medida que crecen los conjuntos de datos, los flujos de trabajo, los usuarios y las cargas de trabajo, digna Data Analytics establece la tendencia subyacente, mientras que digna Data Anomalies identifica las desviaciones, lo que ayuda a separar el crecimiento legítimo del comportamiento inesperado de la plataforma.
Monitoreo de la entrega de datos de la plataforma
Utilice digna Timeliness para recibir alertas cuando los datos requeridos de la plataforma falten, se retrasen o lleguen fuera de su patrón de entrega esperado. Esto ayuda a los equipos a identificar problemas de entrega ascendentes antes de que los datos incompletos o desactualizados afecten a las cargas de trabajo, los informes y las decisiones descendentes.
Establecer límites de consumo
Use digna Data Validation para definir un límite de consumo y recibir alertas cuando el uso supere el umbral establecido. Utilícelo para establecer medidas de protección operativas para las cargas de trabajo clave y responder antes de que un consumo inesperado se convierta en un coste evitable.
Por qué el monitoreo tradicional no es suficiente
Un trabajo exitoso no significa necesariamente una carga de trabajo saludable. El monitoreo tradicional se enfoca en el tiempo de actividad, el éxito o fracaso del trabajo, la utilización de recursos en un momento dado y las alertas de umbral.
Estos controles son importantes, pero pueden pasar por alto cambios de comportamiento, aumentos graduales de costos, variabilidad en el tiempo de ejecución, ineficiencias ocultas, desviaciones en la carga de trabajo y patrones de rendimiento cambiantes. El análisis de datos muestra cómo evoluciona el comportamiento; las anomalías de datos identifican cuándo este se vuelve inesperado.
MONITOREO TRADICIONAL
Tiempo de actividad del sistema · Éxito o fallo del trabajo · Utilización de recursos en un momento dado · Alertas cuando se superan los límites
DIGNA OBSERVABILITY
Cambio de comportamiento con el tiempo · Incrementos graduales de costes · Variabilidad en el tiempo de ejecución · Ineficiencias ocultas · Desviación de la carga de trabajo · Patrones de rendimiento cambiantes
Una plataforma.
Cree su propia solución de Observability.
Use los módulos que necesite. Combínelos cuando los requiera. Cada organización tiene diferentes plataformas de datos, cargas de trabajo y prioridades operativas. Puede enfocarse en el costo, el rendimiento o la relación entre el crecimiento de la carga de trabajo, el consumo de recursos y el comportamiento de la plataforma.
digna Data Anomalies detecta cambios inesperados. Data Analytics explica tendencias. Timeliness monitorea la disponibilidad de los datos. El Python SDK extiende los flujos de trabajo y las aplicaciones. Use módulos individuales de forma independiente o combínelos en una solución de Observability más amplia.
Data Platform Observability conecta el comportamiento de la plataforma, la calidad de los datos y el impacto empresarial, desde las cargas de trabajo y el consumo de recursos hasta las reglas de datos y los KPI empresariales.
Detecta cambios inesperados.
Comprenda las tendencias y el comportamiento.
Monitorear la disponibilidad de los datos.
Amplía tus flujos de trabajo.
Explore los whitepapers de Platform Observability
Información práctica para las plataformas de datos modernas. Aprenda a identificar anomalías de costos, desviaciones en la carga de trabajo y patrones de rendimiento cambiantes en todas las tecnologías que utiliza.
Detección de anomalías de costos de Databricks
Comprenda cómo surgen las anomalías de costos y cómo digna Data Anomalies detecta picos, desviaciones graduales de costos y cargas de trabajo inestables.
Integre la Observability de la plataforma en sus propios flujos de trabajo. El SDK de Python de digna permite a los equipos trabajar con digna mediante programación en aplicaciones, canalizaciones y flujos de trabajo operativos.
Automatice las interacciones, cree monitoreos y automatizaciones personalizados, incorpore digna en aplicaciones basadas en Python y amplíe sus procesos de datos e ingeniería.
Entienda cómo se comporta su plataforma de datos
Pase de un monitoreo reactivo a un control proactivo. A medida que las plataformas de datos escalan, digna ayuda a los equipos a comprender cómo cambian las cargas de trabajo, el rendimiento y el consumo de recursos a lo largo del tiempo.
Utilice digna Data Analytics para comprender las tendencias y digna Data Anomalies para detectar comportamientos inesperados. Combine las capacidades de digna y el SDK de Python de digna para crear la solución de Observability que mejor se adapte a su entorno.