En esta gu\u00eda, cubrir\u00e9 temas sobre:<\/p>\n
- \n
- El verdadero significado de los datos duplicados y sus tipos<\/li>\n
- Algunas causas comunes de los registros duplicados<\/li>\n
- Desaf\u00edos a los que se enfrentan los usuarios al limpiar\/eliminar duplicados<\/li>\n
- \u00bfQu\u00e9 es la deduplicaci\u00f3n de datos y c\u00f3mo funciona?<\/li>\n
- \u00bfExiste una manera m\u00e1s f\u00e1cil de desduplicar los datos?<\/li>\n
- C\u00f3mo ayuda DataMatch Enterprise<\/li>\n<\/ul>\n
Entremos de lleno.<\/p>\n
Datos duplicados, sus tipos y por qu\u00e9 se producen<\/h2>\n
La definici\u00f3n f\u00e1cil: una copia de un registro original es un duplicado. Si as\u00ed fuera, la resoluci\u00f3n de duplicados nunca habr\u00eda sido un problema.<\/p>\n
Los datos duplicados son mucho m\u00e1s complejos de lo que podemos imaginar. A continuaci\u00f3n se presentan algunos tipos y ejemplos relevantes para ayudarle a comprender el alcance de los problemas de duplicaci\u00f3n de datos.<\/p>\n
Tipo 1: Duplicados exactos en la misma fuente<\/h3>\n
Esto se debe a errores de introducci\u00f3n de datos, como copiar\/pegar informaci\u00f3n de una fuente a otra. Por ejemplo, si est\u00e1 copiando informaci\u00f3n de una herramienta de marketing de terceros en el CRM, podr\u00eda registrar la misma informaci\u00f3n dos veces. Los duplicados exactos son f\u00e1ciles de detectar.<\/p>\n
Ejemplo: <\/strong><\/p>\n
Las filas 1 y 5 del registro CRM tienen duplicados en los que el \u00faltimo registro tiene una letra adicional en el nombre.<\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-1-1024x266.png\")
<\/p>\nF\u00edjese en que la \u00faltima fila tambi\u00e9n tiene una errata accidental. El nombre es Mary S<\/strong>, en lugar de Mary.<\/p>\n
Tipo 2: Duplicados exactos en m\u00faltiples fuentes<\/h3>\n
La copia de seguridad de los datos suele ser la principal causa de duplicados exactos en m\u00faltiples fuentes. Las empresas suelen resistirse a eliminar los datos, por lo que tienden a guardar las listas en m\u00faltiples formatos y fuentes. Por ejemplo, las carpetas locales de la empresa pueden contener una hoja de Excel obsoleta de registros que se crearon cuando la empresa intent\u00f3 migrar una fuente de datos del ERP a un CRM. Con el tiempo, las copias de estos datos causan importantes problemas de almacenamiento en disco y de rendimiento del sistema. Una de las motivaciones m\u00e1s importantes para que los usuarios de TI deduzcan los datos es liberar espacio de almacenamiento.<\/p>\n
Ejemplo: <\/strong><\/p>\n
Duplicados exactos en el CRM y en la base de datos de la empresa. Observe c\u00f3mo la estructura de la base de datos es diferente a la del CRM. Cuando los datos se trasladan del CRM a la base de datos, pueden encontrarse con estos problemas, lo que da lugar a datos inexactos y duplicados que son dif\u00edciles de detectar. <\/strong><\/p>\n
Datos de CRM: <\/u><\/strong><\/p>\n
<\/p>\nBase de datos de la empresa: <\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-2-1024x261.png\")
<\/p>\nTipo 3: Duplicados con informaci\u00f3n variable en varias fuentes<\/h3>\n
En este caso, la informaci\u00f3n variable del mismo usuario se almacena en m\u00faltiples fuentes. Esto ocurre cuando la entidad se registra como una nueva entrada debido a un nuevo ID de correo electr\u00f3nico, una nueva direcci\u00f3n o un nuevo cargo.<\/p>\n
Ejemplo: <\/strong><\/p>\n
Utilicemos el ejemplo anterior con informaci\u00f3n actualizada. <\/strong><\/p>\n
Datos de CRM:<\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-3-1024x273.png\")
<\/p>\n![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-4-1024x242.png\")
<\/p>\nEn el primer caso, Mar\u00eda puede haber sido una antigua clienta cuyos registros se almacenaron en la base de datos de la empresa pero nunca se actualizaron. En el CRM, la informaci\u00f3n es nueva. Suponiendo que la empresa quiera actualizar su base de datos, el registro de la Sra. Mary Sue es un duplicado. Cuando las empresas tienen m\u00faltiples fuentes de datos dispares y cada una de ellas almacena la informaci\u00f3n de forma diferente, son frecuentes las duplicidades de este tipo.<\/p>\n
Tipo 4: Duplicados no exactos<\/h3>\n
Este es el problema m\u00e1s com\u00fan y tambi\u00e9n el m\u00e1s dif\u00edcil de detectar. Esto ocurre cuando la informaci\u00f3n de una entidad se escribe de m\u00faltiples maneras.<\/p>\n
Suponiendo que el nombre completo de Mary Sue es Mary Susan Sue, as\u00ed es como se introducir\u00e1n sus datos en los registros m\u00faltiples.<\/p>\n
CRM: <\/strong>Mary J. Sue<\/p>\n
Registros de marketing: <\/strong>Mary Jane<\/p>\n
Escritura accidental de un atajo por parte de un representante de ventas en un registro departamental: <\/strong>MJ Sue.<\/p>\n
Ahora, asumamos que Mary Jane Sue es una doctora. Algunos registros tendr\u00e1n su t\u00edtulo como Sra. mientras que otros Dr. Si las reglas de entrada de datos de la organizaci\u00f3n s\u00f3lo permiten Sra. \/ Sr. \/ Sr., su t\u00edtulo como Dr. no puede ser a\u00f1adido.<\/p>\n
Para hacerlo m\u00e1s dif\u00edcil, \u00bfqu\u00e9 pasa si ha cambiado de n\u00famero, de direcci\u00f3n de correo electr\u00f3nico o de lugar de trabajo dos veces en dos a\u00f1os? Y cada vez que hace negocios con la empresa, queda registrada como un nuevo cliente.<\/p>\n
Causas de los duplicados<\/h2>\n
Los duplicados de los tipos 3 y 4 no son f\u00e1ciles de detectar mediante t\u00e9cnicas de comparaci\u00f3n de datos<\/a> exactos que dependen de que los campos tengan valores exactos para detectar una coincidencia. Incluso si tiene una estrategia de deduplicaci\u00f3n de datos, se producir\u00e1n duplicados.<\/p>\n
He aqu\u00ed algunas razones:<\/p>\n
Duplicaci\u00f3n causada por las fusiones y adquisiciones <\/strong><\/p>\n
Cuando las empresas fusionan datos<\/a> de m\u00faltiples fuentes para realizar una migraci\u00f3n masiva, el nivel de duplicaci\u00f3n se complica peligrosamente. La estructura de datos de ambas empresas puede ser diferente aunque compartan la misma informaci\u00f3n sobre los clientes.<\/p>\n
Por ejemplo, un usuario de Microsoft es tambi\u00e9n un usuario de LinkedIn y ambas plataformas pueden tener casi los mismos datos individuales. Por lo tanto, los duplicados pueden producirse a un nivel m\u00e1s profundo si las empresas fusionan sus datos sin una s\u00f3lida estrategia de calidad de datos que implique la preparaci\u00f3n<\/a>, la limpieza<\/a>, la consolidaci\u00f3n y la deduplicaci\u00f3n de los mismos.<\/p>\n
Procesos de entrada de datos deficientes y falta de gobernanza de los datos <\/strong><\/p>\n
Las organizaciones que no aplican pol\u00edticas estrictas de gobernanza de datos o no cuentan con sistemas estrat\u00e9gicos de calidad de datos suelen acabar con datos sucios y duplicados.<\/p>\n
No es raro que varios miembros de un equipo accedan al CRM y rellenen\/editen\/personalicen los datos a voluntad. Esto significa que no hay responsabilidad ni trazabilidad, ni indicaci\u00f3n de qui\u00e9n es el responsable de la introducci\u00f3n de datos exactos, ni directrices sobre c\u00f3mo introducir los datos correctamente.<\/p>\n
Todo esto lleva a problemas como la duplicaci\u00f3n o las m\u00faltiples entradas de un mismo registro que no garantizan la exactitud. Cuando los datos se vayan a utilizar para obtener informaci\u00f3n o informes, el responsable tendr\u00e1 que devanarse los sesos tratando de dar sentido a todos los datos. Las malas pr\u00e1cticas en la fase de introducci\u00f3n de datos tienen serias implicaciones en las aplicaciones posteriores que afectan a la ineficacia y tambi\u00e9n son la principal causa de conflictos departamentales.<\/p>\n
Datos de terceros e integraciones con portales de socios <\/strong><\/p>\n
Los datos de terceros, como los obtenidos de portales, redes o comunidades de socios, o incluso de formularios de registro de sitios web, provocan niveles de duplicaci\u00f3n significativamente altos. A menudo, las personas que rellenan un formulario pueden utilizar varios identificadores de correo electr\u00f3nico o n\u00fameros de tel\u00e9fono, lo que da lugar a m\u00faltiples entradas de una persona. Por otro lado, los datos externos pueden tener una versi\u00f3n diferente de la misma entidad, pero la misma informaci\u00f3n no se actualiza en los registros existentes y en su lugar se crea un nuevo registro. Si bien esto no parece ser un problema en el momento, m\u00e1s tarde resulta en un an\u00e1lisis sesgado.<\/p>\n
Por ejemplo, una empresa puede creer que ha conseguido 100 clientes potenciales con una campa\u00f1a, pero debido a que las entradas se han duplicado, puede que s\u00f3lo sean 60 clientes potenciales v\u00e1lidos, y los 40 restantes est\u00e9n incompletos, duplicados o sean inexactos.<\/p>\n
Suponiendo que cada pista vale 100 d\u00f3lares x 40 = 4.000 d\u00f3lares <\/strong><\/p>\n
Suponiendo que el coste de cada pista es de 50 d\u00f3lares x 40 = 2.000<\/strong><\/p>\n
P\u00e9rdida: \u00a16 mil d\u00f3lares en total! <\/strong><\/p>\n
Errores de software y del sistema <\/strong><\/p>\n
Los fallos de software y los errores administrativos o del sistema en el CRM y en las aplicaciones asociadas pueden dar lugar a miles de registros duplicados. Esto es algo habitual durante las actividades de migraci\u00f3n de sistemas o datos y, aunque se puede rectificar, supone un grave problema de calidad de los datos.<\/p>\n
Todas las fuentes de datos contienen cierta cantidad de datos duplicados. Los expertos creen que hasta un 5% de duplicaci\u00f3n es tolerable. Todo lo que est\u00e9 por encima de eso supone una amenaza para las aplicaciones posteriores. Los informes se vuelven enga\u00f1osos. Los clientes se molestan. Los usuarios y los empleados se frustran. Seg\u00fan el CIO, \u00ablos sistemas con un 25% de registros duplicados<\/a> pueden amenazar las carreras\u00bb. <\/strong><\/p>\n
Seg\u00fan Natik Ameen, experto en marketing de Canz Marketing<\/a>, la duplicaci\u00f3n de datos en el CRM de la empresa se debe a una serie de razones, ‘<\/strong>desde un error humano hasta que los clientes proporcionen informaci\u00f3n ligeramente diferente en distintos momentos de la base de datos de la organizaci\u00f3n. Por ejemplo, un consumidor pone su nombre como Jonathan Smith en un formulario y Jon Smith en el otro. El reto se ve agravado por una base de datos cada vez mayor. A menudo es cada vez m\u00e1s dif\u00edcil para los administradores hacer un seguimiento de la base de datos y tambi\u00e9n de los datos relevantes. Cada vez es m\u00e1s dif\u00edcil garantizar que la base de datos de la organizaci\u00f3n sea precisa<\/em>‘.<\/p>\n
Se necesita una estrategia de deduplicaci\u00f3n de datos para hacer frente a los desaf\u00edos de los datos duplicados.<\/p>\n
\u00bfQu\u00e9 es la deduplicaci\u00f3n de datos y c\u00f3mo funciona?<\/h2>\n
La deduplicaci\u00f3n de datos es el proceso de comparar, cotejar y eliminar duplicados para crear un registro consolidado. La deduplicaci\u00f3n de datos consta de tres pasos:<\/p>\n
Comparaci\u00f3n y cotejo: <\/strong>Se comparan y cotejan diferentes listas y registros para detectar duplicados exactos y no exactos. Por ejemplo, una lista de CRM se coteja con una lista de la base de datos interna para garantizar que los mismos registros no se carguen dos veces en la base de datos central.<\/p>\n
Tratamiento de los registros obsoletos: <\/strong>Los registros duplicados obsoletos se actualizan con nueva informaci\u00f3n o se eliminan. En otros casos, los datos se consolidan (si un registro tiene mangos de redes sociales y el otro no) y se crean nuevas reglas o columnas para almacenar esta informaci\u00f3n adicional.<\/p>\n
Creaci\u00f3n de registros consolidados: <\/strong>Una vez eliminados los duplicados, se crea un registro consolidado formado por datos limpios y tratados que puede utilizarse como \u00abregistro de oro\u00bb, a partir del cual se pueden modelar los registros existentes.<\/p>\n
Las herramientas como Excel pueden ser excelentes para eliminar los duplicados exactos dentro de la misma fuente de datos, sin embargo, fallan a la hora de identificar duplicados similares.<\/p>\n
Para ver c\u00f3mo puede eliminar los duplicados exactos en Excel, siga esta gu\u00eda:<\/p>\n
https:\/\/www.excel-easy.com\/examples\/remove-duplicates.html<\/a> <\/strong><\/p>\n
Para eliminar duplicados en Python, puede utilizar la biblioteca Dedupe para encontrar registros en conjuntos de datos que pertenezcan a la misma entidad. Aqu\u00ed hay una excelente gu\u00eda sobre la deduplicaci\u00f3n de datos usando Python:<\/p>\n
https:\/\/recordlinkage.readthedocs.io\/en\/latest\/notebooks\/data_deduplication.html<\/a> <\/strong><\/p>\n
\u00bfExiste una forma m\u00e1s f\u00e1cil de deduplicar los datos?<\/h2>\n
Python, aunque es potente, consume mucho tiempo.<\/p>\n
Por ejemplo, para hacer coincidir un simple registro entre dos fuentes, hay que cargar o importar m\u00f3dulos, hacer pares de registros (lo cual es un proceso que lleva mucho tiempo en s\u00ed mismo), y luego crear un c\u00f3digo para comparar registros a nivel de atributos. Entonces tendr\u00e1 que revisar manualmente cada instancia de la comparaci\u00f3n para identificar qu\u00e9 registro pertenece a la misma persona.<\/p>\n
Este proceso debe modificarse y repetirse para cada nuevo requisito a nivel de atributos.<\/p>\n
Si usted es un analista de datos responsable de los datos de una empresa, no puede tardar meses en desduplicar los datos. <\/strong><\/p>\n
Tampoco puedes arriesgarte a perder datos, lo que es una posibilidad real cuando intentas probar diferentes c\u00f3digos para conseguir la coincidencia correcta.<\/p>\n
Eric McGee, Ingeniero de Redes Senior, en TRG DataCenters<\/a>, cree que el mayor problema al limpiar\/eliminar datos es la posibilidad de perder datos al racionalizar los campos de datos. Tambi\u00e9n cree que, a nivel empresarial, la exactitud del cotejo de datos puede llegar a ser muy importante, o toda la pr\u00e1ctica puede comprometer datos cruciales.<\/p>\n
Una forma m\u00e1s sencilla, pero a la que no muchos ingenieros de sistemas est\u00e1n dispuestos a adaptarse, es el uso de una herramienta de deduplicaci\u00f3n de datos<\/a>, especialmente si no forma parte de su plataforma de gesti\u00f3n de datos. El problema es que la mayor\u00eda de las plataformas de gesti\u00f3n de datos no cuentan con s\u00f3lidas capacidades de cotejo de datos<\/a> que puedan ayudar a los usuarios a identificar los duplicados. Los analistas e ingenieros acaban desduplicando manualmente los datos, lo que supone una importante p\u00e9rdida de tiempo.<\/p>\n
Las mejores herramientas de deduplicaci\u00f3n de datos utilizan algoritmos avanzados de coincidencia difusa<\/a> y algoritmos propios para hacer coincidir los datos a un nivel m\u00e1s profundo, una capacidad que no ofrecen todas las soluciones de gesti\u00f3n de datos. Por este motivo, la mayor\u00eda de los clientes de nivel empresarial y de la lista Fortune 500 con los que hemos trabajado prefieren utilizar una herramienta como
\nDataMatch para empresas<\/strong>
\n<\/a> junto con sus plataformas de gesti\u00f3n de datos.<\/p>\nGracias a su facilidad de integraci\u00f3n y a sus potentes algoritmos de coincidencia difusa, DataMatch Enterprise ha sido la herramienta preferida por la mayor\u00eda de las organizaciones para desduplicar datos dentro de su plataforma de bases de datos.<\/p>\n
Si quiere saber m\u00e1s sobre las empresas a las que hemos ayudado con la deduplicaci\u00f3n de datos, visite nuestros casos pr\u00e1cticos.<\/p>\n
Por ejemplo, vea c\u00f3mo trabajamos con el Bell Bank<\/a> para eliminar los duplicados y consolidar los datos de los clientes procedentes de m\u00faltiples fuentes.<\/p>\n
\n\n
\n \n ![\"Bell](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Bell-Bank-Case-Study-300x300.png\")
<\/a>Estudio de caso de Bell Bank<\/figcaption><\/figure><\/td>\n \n
![\"Cleveland](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Cleveland-Brothers-Case-Study-300x300.png\")
<\/a>