{"id":62227,"date":"2021-11-15T11:23:47","date_gmt":"2021-11-15T11:23:47","guid":{"rendered":"https:\/\/dataladder.com\/por-que-existen-los-duplicados-y-como-deshacerse-de-ellos\/"},"modified":"2021-12-22T10:56:02","modified_gmt":"2021-12-22T10:56:02","slug":"por-que-existen-los-duplicados-y-como-deshacerse-de-ellos","status":"publish","type":"post","link":"https:\/\/dataladder.com\/es\/por-que-existen-los-duplicados-y-como-deshacerse-de-ellos\/","title":{"rendered":"\u00bfPor qu\u00e9 existen los duplicados y c\u00f3mo deshacerse de ellos?"},"content":{"rendered":"\n

Seg\u00fan Natik Ameen, experto en marketing de Canz Marketing<\/a>, la duplicaci\u00f3n de datos en el CRM de la empresa se debe a una serie de razones: <\/p>\n\n

\u00abdesde un error humano hasta que los clientes proporcionen informaci\u00f3n ligeramente diferente en distintos momentos de la base de datos de la organizaci\u00f3n. Por ejemplo, un consumidor pone su nombre como Jonathan Smith en un formulario y Jon Smith en el otro. El reto se ve agravado por una base de datos cada vez mayor. A menudo es cada vez m\u00e1s dif\u00edcil para los administradores hacer un seguimiento de la base de datos y tambi\u00e9n de los datos relevantes. Cada vez es m\u00e1s dif\u00edcil garantizar que la base de datos de la organizaci\u00f3n sea precisa<\/em>\u00ab. <\/p><\/blockquote>\n\n

La deduplicaci\u00f3n de datos<\/a> se produce cuando se almacena informaci\u00f3n sobre la misma entidad varias veces, en lugar de actualizar un \u00fanico registro. En esta gu\u00eda, discutiremos algunos conceptos b\u00e1sicos relacionados con la duplicaci\u00f3n de datos y una lista de t\u00e9cnicas y algoritmos que se utilizan habitualmente para solucionarla. <\/p>\n\n

\u00bfPor qu\u00e9 existen los duplicados? <\/h3>\n\n

Los datos tienen m\u00faltiples representaciones, es decir, los mismos datos pueden representarse de diferentes maneras. Esta es la principal raz\u00f3n por la que existen registros duplicados en una base de datos. Tanto si los registros se fusionan a partir de fuentes de datos independientes, como si se introducen en una \u00fanica base de datos a lo largo del tiempo, ambos conducen al complejo problema de la duplicaci\u00f3n de datos. <\/p>\n\n

Lo ideal es que cada registro de una base de datos represente una \u00fanica entidad. Pero debido a una serie de razones (las m\u00e1s comunes se mencionan a continuaci\u00f3n), observamos que la informaci\u00f3n de una entidad abarca varios registros. <\/p>\n\n

1. Falta de identificadores \u00fanicos <\/strong><\/h4>\n\n

Tener identificadores \u00fanicos en su base de datos es la mejor manera de evitar el almacenamiento de duplicados. Un identificador \u00fanico es un campo de datos que siempre es \u00fanico para una entidad (por ejemplo, el n\u00famero de la Seguridad Social (SSN<\/em> ) para los datos de los clientes, el n\u00famero de pieza del fabricante (MPN) <\/em> para los datos de los productos, etc.). En cada nueva entrada de datos, puede comprobar si existe un registro con el mismo identificador \u00fanico. Y si existe, puede simplemente actualizarlo o fusionarlo, y evitar almacenar un nuevo registro para la misma entidad. Pero si su base de datos no contiene ese identificador \u00fanico, el proceso de relacionar las nuevas entidades entrantes con las existentes se convierte en una tarea compleja. <\/p>\n\n

2. Falta de controles de validaci\u00f3n y restricciones de integridad <\/strong><\/h4>\n\n

Incluso con la presencia de identificadores \u00fanicos, puede terminar con duplicados en su base de datos. Esto ocurre cuando los identificadores \u00fanicos no se ajustan a patrones v\u00e1lidos (por ejemplo, AAA-GG-SSSS<\/em> para el SSN<\/em>), o no tienen restricciones estrictas de integridad (por ejemplo, l\u00edmite de 11 caracteres<\/em> para el SSN<\/em>). <\/p>\n\n

3. Errores en la introducci\u00f3n de datos <\/strong><\/h4>\n\n

La tasa de error en la introducci\u00f3n de datos es de 400 por cada 10.000 entradas<\/a>, lo cual es una cifra importante. As\u00ed, incluso con la presencia de identificadores \u00fanicos, comprobaciones de validaci\u00f3n y restricciones de integridad, existe la posibilidad de que el error humano intervenga y permita la existencia de duplicados en su base de datos. <\/p>\n\n

Dificultad en la comparaci\u00f3n de datos – Heterogeneidad de los datos<\/strong> <\/h3>\n\n

Para deshacerse de los duplicados en su base de datos, debe comparar los registros y evaluar cu\u00e1les pertenecen a la misma entidad. Pero cuando se comparan los registros de datos (ya sea en la misma base de datos o pertenecientes a bases de datos diferentes), se observa que tienen algunas diferencias sistem\u00e1ticas, lo que dificulta su comparaci\u00f3n exacta. Esto suele conocerse como heterogeneidad de los datos<\/strong>. <\/p>\n\n

En t\u00e9rminos generales, se pueden clasificar los datos heterog\u00e9neos como: <\/p>\n\n

1. Heterogeneidad estructural <\/strong><\/h4>\n\n

Este tipo de diferencia se produce cuando los campos de diferentes bases de datos representan la misma informaci\u00f3n de manera estructuralmente diferente. Por ejemplo, una base de datos podr\u00eda almacenar el nombre de un contacto como Nombre de Contacto<\/em>, mientras que en una segunda base de datos, se almacena en m\u00faltiples columnas como, Saludo,<\/em> Nombre<\/em>, Segundo Nombre<\/em> y, Apellido.<\/em> <\/p>\n\n

2. Heterogeneidad l\u00e9xica <\/strong><\/h4>\n\n

Este tipo de diferencia se produce cuando los campos de diferentes bases de datos son estructuralmente iguales, pero representan la misma informaci\u00f3n de forma sint\u00f3nica diferente. Por ejemplo, dos o m\u00e1s bases de datos pueden tener el mismo campo Direcci\u00f3n <\/em>, pero una puede tener un valor de direcci\u00f3n 32 E St. 4<\/em>, mientras que la otra puede tener 32 East, 4<\/em>\n th<\/sup>\n<\/em> Street<\/em>. <\/p>\n\n

Proceso de deduplicaci\u00f3n de datos<\/strong> <\/h3>\n\n

En pocas palabras, el proceso de deduplicaci\u00f3n implica: <\/p>\n\n

  1. Preparaci\u00f3n de los datos mediante la normalizaci\u00f3n de los campos<\/strong> en todas las bases de datos<\/li>
  2. Asignaci\u00f3n de los campos<\/strong> que representan la misma informaci\u00f3n <\/li>
  3. Elecci\u00f3n de una t\u00e9cnica de comparaci\u00f3n de campos adecuada<\/strong> (en funci\u00f3n de la naturaleza de los datos) y, a continuaci\u00f3n, c\u00e1lculo de la similitud entre los campos de datos <\/li><\/ol>\n\n

    En las pr\u00f3ximas secciones, entraremos en un poco m\u00e1s de detalle de los pasos mencionados anteriormente. <\/p>\n\n

    1. Preparaci\u00f3n de los datos <\/strong><\/h4>\n\n

    El primer paso en el proceso es garantizar la uniformidad en todas las bases de datos en t\u00e9rminos de estructura de datos y campos. Este proceso reduce la heterogeneidad estructural de las bases de datos, al menos hasta cierto punto. Se trata de seguir dos pasos:<\/p>\n\n

    a. Depuraci\u00f3n<\/a> y normalizaci\u00f3n de<\/a> datos<\/a> <\/strong><\/h5>\n\n

    Se trata de eliminar cualquier error o variaci\u00f3n en los formatos y tipos de datos de los valores, o en la estructura de las bases de datos. Esto puede lograrse mediante: <\/p>\n\n

    1. An\u00e1lisis de cadenas largas<\/strong> para identificar componentes de datos importantes. Un ejemplo de esto es cuando se tiene toda la direcci\u00f3n en un solo campo. El an\u00e1lisis del campo Direcci\u00f3n<\/em> le proporcionar\u00e1 sus componentes de datos subsiguientes, como el nombre de la calle<\/em>, el n\u00famero de la calle<\/em>, el c\u00f3digo postal<\/em>, la ciudad<\/em>, el estado<\/em> y el pa\u00eds<\/em>. La b\u00fasqueda de coincidencias se hace m\u00e1s f\u00e1cil en estos elementos analizados, en comparaci\u00f3n con la b\u00fasqueda de coincidencias en todo el campo. <\/li>
    2. Transformaci\u00f3n de los valores de los datos<\/strong> para conseguir tipos de datos similares, convenciones de nomenclatura, etc. Esto puede hacerse convirtiendo los tipos de datos (por ejemplo, de cadena a n\u00famero), renombrando los nombres de las columnas o fusionando los campos. <\/li>
    3. Estandarizaci\u00f3n de patrones<\/strong> para todos los valores contenidos en un campo de datos, de modo que se espera que cada valor siga el patr\u00f3n especificado. Un ejemplo de esto es cuando se estandariza el patr\u00f3n del campo N\u00famero de tel\u00e9fono<\/em> a XXX-XXX-XXXX<\/em>. De este modo, las comparaciones y los cotejos son m\u00e1s f\u00e1ciles y precisos. <\/li><\/ol>\n\n
      b. Asignaci\u00f3n de campos de datos <\/strong><\/h5>\n\n

      Una vez estandarizadas las bases de datos (en la medida de lo posible), el siguiente paso es asignar los campos que representan la misma informaci\u00f3n. Esto se hace manualmente (por ejemplo, Dirigirse<\/em> a Direcci\u00f3n<\/em>, N\u00famero<\/em> de tel\u00e9fono para N\u00famero de tel\u00e9fono<\/em>, etc.), o bien ejecutar comprobaciones para identificar los valores de los campos que se solapan con los de la otra base de datos. Para conjuntos de datos m\u00e1s peque\u00f1os, la primera t\u00e9cnica es \u00fatil, pero si tiene conjuntos de datos grandes en los que las columnas tienen nombres diferentes, la segunda es bastante \u00fatil. <\/p>\n\n

      2. C\u00e1lculo de la similitud mediante t\u00e9cnicas de comparaci\u00f3n de campos <\/h4>\n\n

      Una vez hecho esto, ahora los datos est\u00e1n en una forma relativamente mejor para comparar e identificar duplicados. Pero siguen existiendo errores ortogr\u00e1ficos, errores tipogr\u00e1ficos humanos y variaciones convencionales. Por ello, las t\u00e9cnicas de comparaci\u00f3n exacta no son \u00fatiles en este caso, y necesitamos t\u00e9cnicas que tengan en cuenta estos aspectos de los datos al calcular las puntuaciones para evaluar la similitud entre los valores individuales y, por tanto, el registro completo. <\/p>\n\n

      a. M\u00e9tricas de similitud basadas en los caracteres <\/strong><\/h5>\n\n

      Dado que la mayor\u00eda de los errores tipogr\u00e1ficos se producen en las cadenas, en esta secci\u00f3n veremos las t\u00e9cnicas m\u00e1s comunes para cotejar la similitud entre cadenas. <\/p>\n\n

      i. Editar la distancia<\/strong> <\/h6>\n\n

      Este algoritmo calcula la distancia entre dos cadenas, computada car\u00e1cter por car\u00e1cter. La distancia se calcula contando el n\u00famero de ediciones necesarias para transformar la primera cadena en la segunda. Y luego se define un umbral que clasifica dos cadenas como coincidentes (si la distancia < umbral<\/em>) o no coincidentes (si la distancia > umbral<\/em>). Hay tres tipos de ediciones permitidas para calcular la distancia: insertar <\/em>un car\u00e1cter en la cadena, eliminar <\/em>un car\u00e1cter de una cadena, sustituir <\/em>un car\u00e1cter por otro en la cadena. <\/p>\n\n

      Normalmente, el recuento de una operaci\u00f3n de edici\u00f3n se considera \u00ab1\u00bb. Pero los distintos modelos proponen un coste<\/em> diferente de cada edici\u00f3n. Por ejemplo, la distancia Levenshtein<\/strong> considera el coste de cada edici\u00f3n como 1, mientras que Needleman y Wunsch<\/strong> explicaron que el coste de cada edici\u00f3n depende de la naturaleza de la misma (sustituir O por 0 tiene un coste menor, luego sustituir T por M). <\/p>\n\n

      ii. Distancia de separaci\u00f3n af\u00edn <\/strong><\/h6>\n\n

      El algoritmo de la distancia de edici\u00f3n no funciona bien con cadenas que tienen iniciales o formas cortas. Por ejemplo, la distancia de edici\u00f3n podr\u00eda clasificar a Jennifer Lily Stevens<\/em> y Jen L. Stevens<\/em> como no coincidentes. Aqu\u00ed es donde la distancia af\u00edn a la brecha puede ser \u00fatil, ya que introduce dos operaciones m\u00e1s de edici\u00f3n llamadas: <\/p>\n\n