La mayoría de las empresas que intentan orientarse hacia los datos citan la mala calidad de los datos como uno de los 5 principales retos. Invesp publicó un informe en el que descubrió que el 54% de las empresas culpan a los datos incompletos y a la mala calidad de los datos como el mayor reto para el marketing basado en datos.
Los líderes empresariales comprenden la importancia de utilizar los datos en varios departamentos funcionales. Pero los datos de hoy son mucho más complejos que los de hace 10 años. Es multivariable, lo que hace que se mida en múltiples dimensiones; también cambia con frecuencia y ha aumentado exponencialmente su volumen. Las organizaciones se están dando cuenta de que las simples técnicas de gestión de la calidad de los datos no son suficientes. Necesitan implantar un marco de calidad de datos de principio a fin que corrija los errores actuales y evite los futuros.
En este blog, veremos los procesos de calidad de datos más comunes y cruciales. Puede utilizar esta información para ver qué puede beneficiar a su caso.
Procesos de calidad de datos frente a marco/ciclo de vida de la calidad de datos
Antes de continuar, es importante mencionar que este blog destaca los procesos individuales e independientes que pueden utilizarse para mejorar la calidad de sus datos. El orden en que deben aplicarse no se discute aquí. Aquí es donde un marco de calidad de datos puede ser útil.
Un marco de calidad de datos le indica el número exacto y el orden de los procesos que debe realizar en sus datos para mejorar su calidad. Por ejemplo, puede comenzar el ciclo de vida de la calidad de los datos perfilando los errores y encontrando posibles oportunidades de limpieza. Del mismo modo, puede terminar el ciclo de vida con la elaboración de perfiles de datos también, sólo para ver si queda algún error. Esto es algo que define un marco de calidad de datos.
A continuación, examinamos los procesos individuales que se utilizan al aplicar un marco de calidad de datos. El marco en sí depende de la naturaleza de sus datos, su estado de calidad actual, la tecnología utilizada y lo que desea conseguir.
Procesos de calidad de datos
1. Perfiles de datos
La elaboración de perfiles de datos significa simplemente comprender el estado actual de sus datos descubriendo detalles ocultos sobre su estructura y contenido. Un algoritmo de perfilado de datos analiza las columnas del conjunto de datos y calcula las estadísticas de varias dimensiones, como:
- Análisis de integridad: Porcentaje de campos ausentes o incompletos.
- Análisis de unicidad: Porcentaje de valores no duplicados o distintos en una columna.
- Análisis de frecuencia: Recuento de los valores más frecuentes en una columna.
- Análisis de caracteres: Recuento de los valores que contienen letras, números o ambos, así como signos de puntuación, espacios iniciales y finales, caracteres no imprimibles, etc.
- Análisis estadístico: Mínimo, máximo, media, mediana y moda para las columnas numéricas.
- Análisis de patrones: Recuento de valores que siguen el patrón y el formato correctos.
- Análisis general: Recuento de valores que siguen el tipo de dato correcto y se encuentran entre un rango aceptable de longitud de caracteres.
Un informe detallado sobre el perfil de los datos que contenga esta información puede hacer maravillas en su iniciativa de gestión de la calidad de los datos. Se puede realizar en múltiples etapas de su ciclo de vida para entender cómo los procesos de calidad de datos están afectando a los datos.
Para saber más sobre la elaboración de perfiles de datos, lea este blog: Qué es el perfilado de datos: Alcance, técnicas y desafíos.
2. Depuración y normalización de datos
La limpieza y estandarización de datos es el proceso de eliminar la información incorrecta e inválida presente en un conjunto de datos para conseguir una visión coherente y utilizable en todas las fuentes de datos.
Algunas actividades comunes de limpieza y estandarización de datos incluyen:
- Elimine y sustituya los valores vacíos, los espacios iniciales y finales, los caracteres y números específicos, las puntuaciones, etc.
- Analizar columnas agregadas o más largas en subcomponentes más pequeños, como el campo Dirección en Número de Calle, Nombre de Calle, Ciudad, etc.
- Transforme los casos de las letras (de mayúsculas a minúsculas o de minúsculas a mayúsculas) para garantizar una visión coherente y estandarizada.
- Combinar columnas iguales o similares para evitar columnas duplicadas.
- Transformar los valores de una columna para que sigan el patrón y el formato correctos.
- Realice operaciones(marcar, reemplazar, eliminar) en las palabras más repetitivas de una columna para eliminar el ruido en bloque.
Para saber más sobre la limpieza de datos y la estandarización, lea este blog: La guía completa de herramientas de limpieza de datos, soluciones y mejores prácticas para el nivel empresarial.
3. Correspondencia de datos
Elcotejo de datos (también conocido como vinculación de registros y resolución de entidades) es el proceso de comparar dos o más registros e identificar si pertenecen a la misma entidad.
Un proceso de cotejo de datos suele contener estos pasos:
- Asigne columnas de varias fuentes de datos para hacer coincidir los duplicados entre los conjuntos de datos.
- Seleccione las columnas con las que va a coincidir; para una coincidencia avanzada, puede seleccionar varias columnas y darles prioridad para aumentar la precisión de los resultados de la coincidencia.
- Ejecute algoritmos de coincidencia de datos; si su conjunto de datos contiene identificadores únicos, puede realizar una coincidencia exacta que le indique exactamente si dos registros coinciden o no. En ausencia de identificadores únicos, tendrá que realizar una coincidencia difusa que calcule la probabilidad de que dos registros sean similares.
- Analice las puntuaciones de coincidencia que indican el grado de duplicación de dos o más registros.
- Ajustar los algoritmos de coincidencia para minimizar el número de falsos positivos y negativos.
Para saber más sobre la concordancia de datos, lea estos blogs:
- Comparación difusa 101: limpieza y vinculación de datos desordenados
- Guía rápida del software de vinculación de registros
- Una guía detallada sobre el uso de herramientas de resolución de entidades para proyectos de datos empresariales
4. Deduplicación de datos
La deduplicación de datos es el proceso de eliminar múltiples registros que pertenecen a la misma entidad. Es uno de los mayores retos a los que se enfrenta la gestión de la calidad de los datos. Este proceso le ayuda a conservar la información correcta y a eliminar los registros duplicados.
El proceso de eliminación de duplicados incluye:
- Analizar los grupos duplicados para identificar el disco de oro
- Marcar el resto de los registros como sus duplicados
- Eliminar los registros duplicados
Para saber más sobre la deduplicación de datos, lea estos blogs:
- El temor a los datos duplicados – Una guía para la deduplicación de datos.
- ¿Por qué existen los duplicados y cómo deshacerse de ellos?
5. Fusión de datos y supervivencia
La fusión de datos y la supervivencia es el proceso de creación de reglas que fusionan los registros duplicados mediante la selección condicional y la sobrescritura. Esto le ayuda a evitar la pérdida de datos y a conservar la máxima información de los duplicados.
Este proceso incluye:
- Defina reglas para la selección de registros maestros basadas en una columna que califica para una determinada operación (por ejemplo, el registro maestro es el que tiene el nombre más largo).
- Definir reglas para sobrescribir los datos de los registros duplicados en el registro maestro (por ejemplo, sobrescribir el código postal más corto de los duplicados en el registro maestro).
- Ejecutar las reglas crea para la selección y sobrescritura condicional del registro maestro.
- Ajuste la configuración de las reglas para evitar la pérdida de información importante.
Para saber más sobre la fusión de datos y la supervivencia, lea este blog: Una guía rápida para la depuración de la fusión de datos.
Procesos adicionales
Además de los procesos mencionados anteriormente, hay un par de procesos más que son una parte necesaria del ciclo de vida de la gestión de la calidad de los datos.
1. Integración de datos
La integración de datos es el proceso de conectar y combinar datos de múltiples fuentes dispares -incluyendo formatos de archivo, bases de datos relacionales, almacenamiento en la nube y API- y fusionarlos para obtener datos limpios y estandarizados.
Es una parte importante del marco de gestión de la calidad de los datos, ya que los datos procedentes de diferentes fuentes deben reunirse antes de poder transformarse para lograr una visión coherente y estandarizada.
Para saber más sobre la integración de datos, lea este blog: Fusión de datos de múltiples fuentes: retos y soluciones.
2. Exportación o carga de datos
La exportación de datos es el proceso de carga de los datos depurados, estandarizados, cotejados, deduplicados y fusionados a la fuente de destino. Al igual que la integración de datos, la exportación/carga de datos también es una parte importante del marco de gestión de la calidad de los datos, ya que los datos deben cargarse en una fuente central que esté disponible para su uso por cualquiera que los necesite.
Hay que tener en cuenta algunos factores cruciales antes de cargar los datos en una fuente de destino. Por ejemplo, si la fuente tiene datos antiguos que puedan causar conflictos durante el proceso de carga, así como evaluar el modelo de datos que sigue la fuente y asegurarse de que los datos entrantes están diseñados en consecuencia.
Para saber más sobre la exportación/carga de datos, lea este blog: Su guía completa para una migración de datos exitosa.
Conclusión:
Ahí lo tiene: una lista de los principales procesos de calidad de datos que debe conocer antes de su próxima iniciativa de DQM. Dependiendo del estado actual de la calidad de los datos, así como de la visión de los datos que desee alcanzar, puede seleccionar los procesos necesarios, diseñarlos en un marco de gestión de la calidad de los datos e implementarlo en el canal de datos.
Una herramienta de calidad de datos que facilite estos procesos de calidad de datos puede mejorar exponencialmente el rendimiento y la productividad de su equipo de calidad de datos. DataMatch Enterprise es una de esas herramientas que es capaz de realizar todos los procesos de calidad de datos mencionados anteriormente en menos de 12 minutos para 2 millones de registros. Si está interesado en saber más, puede descargar una prueba de nuestro software o reservar una demostración con nuestros expertos.
Además, he enlazado algunas buenas lecturas para usted a continuación que le ayudarán en su viaje DQM.
