A medida que avanzamos en la revolución industrial de los datos, las empresas empiezan a darse cuenta de la inadecuación de las herramientas tradicionales de gestión de datos para manejar las complejidades de los datos modernos. Muchos han tenido que experimentar duras llamadas de atención con iniciativas de migración o transformación fallidas causadas por datos deficientes, ausencia de sistemas de gestión de la calidad de los datos y dependencia de métodos anticuados que ya no son eficaces.
En Data Ladder, vemos la calidad de los datos como un proceso necesario y continuo que debe integrarse dentro y entre los sistemas y departamentos. Además, el control de los datos debe equilibrarse entre los informáticos y los usuarios de la empresa, ya que estos últimos son los verdaderos propietarios de los datos de los clientes y, por tanto, deben contar con sistemas que les permitan perfilar y limpiar los datos sin depender de los informáticos para su preparación.
Laelaboración de perfiles de datos y la limpieza de datos son las dos funciones o componentes fundamentales de la solución de gestión de calidad de datos de Data Ladder y el punto de partida de cualquier iniciativa de gestión de datos. En pocas palabras, para arreglar los datos, hay que saber qué es lo que falla.
Este post cubre todo lo que necesita saber sobre la diferencia entre el perfilado de datos y la limpieza de datos.
Vamos a profundizar.
Perfiles de datos y limpieza de datos: ¿cuál es la diferencia clave?
En un sistema de calidad de datos, la elaboración de perfiles de datos es una forma poderosa de analizar millones de filas de datos para identificar errores, información faltante y cualquier anomalía que pueda afectar a la calidad de la información. Al perfilar los datos, se pueden ver todos los problemas subyacentes de los datos que, de otro modo, no se podrían ver.
La limpieza de datos es el segundo paso después de la elaboración de perfiles. Una vez que identifique los defectos en sus datos, podrá tomar las medidas necesarias para limpiarlos. Por ejemplo, en la fase de elaboración de perfiles, usted descubre que más de 100 de sus registros tienen números de teléfono a los que les faltan los códigos de país. A continuación, puede escribir una regla dentro de su plataforma DQM para insertar los códigos de país en todos los números de teléfono que carezcan de ellos.
La diferencia clave entre los dos procesos es sencilla: uno comprueba si hay errores y el otro permite limpiarlos.
La elaboración de perfiles de datos y la limpieza de datos no son conceptos nuevos. Sin embargo, se han limitado en gran medida a procesos manuales dentro de los sistemas de gestión de datos. Por ejemplo, la elaboración de perfiles de datos siempre ha sido realizada por expertos en informática y datos que utilizan una combinación de fórmulas y códigos para identificar errores de nivel básico. El mero proceso de elaboración de perfiles llevaría semanas y, aun así, se pasarían por alto errores críticos. La limpieza de datos fue otra pesadilla. Puede llevar meses limpiar una base de datos, incluida la eliminación de duplicados (con un índice de precisión muy bajo). Mientras que estos métodos pueden haber funcionado para estructuras de datos simples, es casi imposible aplicar los mismos métodos en formatos de datos modernos.
Este es un ejemplo de perfilado de datos con Microsoft Visual Studio. Los responsables de TI tendrían que configurar manualmente este flujo de trabajoow sólo para identificar errores en una fuente de datos.
Imagínese utilizar este flujo de trabajo para datos complejos e incoherentes de terceros, como los de las redes sociales. Imagínese que tiene múltiples fuentes de datos procedentes de varias aplicaciones, plataformas (en línea y fuera de línea), vendedores, proveedores, etc. Imagine recrear este flujo de trabajo para cada tipo diferente de fuente de datos. Esto no sólo lleva mucho tiempo, sino que es ineficaz para manejar grandes cantidades de datos.
Utilizando el mismo ejemplo, supongamos que el nombre se introdujo incorrectamente en la fase de entrada de datos y se escribe como Johnnathan Smith en el CRM. Si el equipo que maneja estos datos no realiza una comprobación del perfil, no sabría que se trata de un error y procedería a enviar un correo electrónico al cliente con la ortografía incorrecta. Les dejo que imaginen las consecuencias de ello.
Por lo tanto, la elaboración de perfiles de datos ayuda a la empresa a identificar este error ortográfico desde el principio del proceso. La limpieza de datos permite entonces al usuario corregir este error sustituyéndolo por el nombre correcto.
Cómo se hacía tradicionalmente la elaboración de perfiles de datos y por qué es importante recurrir a la automatización
La elaboración de perfiles de datos es una parte crucial de los proyectos de almacén de datos y de inteligencia empresarial, donde se identifican los problemas de calidad de los datos en las fuentes de datos. Además, la elaboración de perfiles de datos permite a los usuarios descubrir nuevos requisitos para un sistema objetivo. Pero hasta hace poco, la elaboración de perfiles de datos ha sido un proceso agotador que implica tareas manuales como:
- Creación de reglas de validación de datos y fórmulas para abordar los problemas de errores de datos más comunes
- Calcular estadísticas como mínimo, máximo, recuento y suma
- Análisis de columnas cruzadas para identificar dependencias
- Identificación de incoherencias en el formato
Dependiendo del volumen de datos y de la naturaleza de los problemas, este paso puede tardar días en realizarse. Una vez descubiertas, se añaden nuevas normas a la lista de reglas que se aplican en una fase de limpieza. Por ejemplo, tras descubrir que el patrón más frecuente para una fecha es (AAAA/MM/DD), este patrón se transforma en una regla (realizada mediante codificación) para que todos los números tengan el formato correspondiente. Esta regla podría tener que invertirse posteriormente si otro conjunto de datos (como el formato de un nuevo CRM) requiere que las fechas sean (DD/MM/AAAA).
En su configuración tradicional, la elaboración de perfiles de datos no es trivial: es complejo desde el punto de vista computacional descubrir los problemas de los datos, es prácticamente imposible determinar todas las restricciones que afectan a las columnas y, por último, a menudo se realiza sobre un gran volumen de conjuntos de datos que pueden no caber en la memoria principal, lo que limita la capacidad de procesar un número exponencial de datos.
Se han introducido varias herramientas y algoritmos para hacer frente a estos retos, como el uso de consultas SQL para perfilar los datos en el SGBD. Si bien estas herramientas han mejorado considerablemente el proceso, todavía tienen carencias en la elaboración de perfiles interactivos y en el manejo de las complejidades de los big data. Aquí es donde entra en juego la necesidad de herramientas de autoservicio automatizadas.
Una herramienta automatizada de perfilado de datos de autoservicio como DataMatch Enterprise de Data Ladder realiza complejos procesos computacionales utilizando tecnologías de aprendizaje automático y algoritmos de coincidencia difusa. Con una interfaz fácil de usar, los usuarios empresariales pueden conectar fácilmente su fuente de datos y dejar que el software haga todo el análisis computacional basado en reglas empresariales incorporadas (creadas a través de aprendizajes históricos de los tipos de errores más comunes en una fuente de datos).
Caso de uso 1
– Perfilado de los valores perdidos
La elaboración de perfiles de datos automatizados le ayuda a llegar al problema más rápidamente. Por ejemplo, si el perfil revela que faltan apellidos o números de teléfono en la base de datos, puede identificar fácilmente la causa de ese problema. ¿Su formulario web obliga a introducir números de teléfono con códigos de país? ¿Dispone de protocolos y normas de introducción de datos? La automatización le permite centrarse en lo que más importa: resolver la causa raíz del problema en lugar de perder el tiempo fijándose en el problema.
Cómo justificar la limpieza automatizada de datos
¿Cómo se limpian los datos desordenados de esta manera?
En un entorno tradicional de ETL o Excel, limpiar este nivel de datos sucios le llevaría días. Habría que ejecutar scripts, desglosar los datos, moverlos, manejar grupos de datos, abordar un problema a la vez antes de poder transformar esto en un formato estandarizado.
Ahora, si utiliza una solución de limpieza de datos automatizada, podrá transformar estos datos simplemente
haciendo clic en las casillas de verificación.
- Normalizar el estilo del texto.
- Eliminar los caracteres no deseados
- Eliminar las erratas accidentales durante la introducción de datos (¡son difíciles de detectar!)
- Limpiar los espacios entre letras/palabras
- Transformar los apodos en nombres reales (Juan en lugar de Johnny)
Intenta hacer lo mismo con Excel y tardarás horas sólo en normalizar las letras.
Los trabajadores de la inteligencia empresarial pasan entre
50 – 90%
de su tiempo en la preparación de los datos para el análisis. No es que la limpieza o la preparación de los datos no forme parte de su trabajo, pero si se están atascando con lo que podría lograrse mediante la automatización, es una pérdida de tiempo. Los científicos de datos y los trabajadores de la inteligencia empresarial necesitan ayuda para dar sentido a los datos y eso viene en forma de una potente solución automatizada.
Caso práctico 2 – Perfilado y limpieza de datos en acción
P.D.: Obtenga nuestra HOJA DE CHEAT gratuita para la elaboración de perfiles de datos y evalúe sus datos en busca de incoherencias básicas.
Caso práctico – Lamb Financial
Lamb Financial Group es uno de los corredores de seguros de más rápido crecimiento del país, que presta servicios financieros exclusivamente a organizaciones sin ánimo de lucro y de servicios sociales en todo el país. Con sede en Nueva York, la organización trabaja con compañías especializadas en organizaciones sin ánimo de lucro y benéficas, proporcionando seguros de indemnización por accidentes laborales, responsabilidad civil, responsabilidad profesional, propiedad, automóvil, directores y funcionarios, salud colectiva y discapacidad.
Con tantas fuentes de datos diferentes que cuidar, y siendo la precisión el elemento más crítico de su negocio, los recursos de la empresa pasaban días en la limpieza y estandarización de datos. Con la entrada de más negocios y datos, cada vez más complejos, la empresa ya no podía permitirse limpiar y estandarizar manualmente.
DataMatch Enterprise™ proporcionó una solución de limpieza de datos más sencilla para la organización. Pudieron utilizar rápidamente nuestra función Wordsmith™, que es una herramienta de estandarización para crear configuraciones de bibliotecas personalizadas. Esto les permitió depurar los datos y encontrar la mejor coincidencia posible. El software se ha convertido en una parte importante de su proceso a la hora de importar nuevos datos a su CRM.
¿Desea conocer el producto? Reserve una demostración con nosotros y deje que nuestros expertos le ayuden a obtener datos limpios.
