{"id":63044,"date":"2020-07-17T00:00:00","date_gmt":"2020-07-17T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/evolucion-de-la-concordancia-como-encontrar-coincidencias-en-toda-la-empresa-y-afinar-los-resultados-a-la-manera-moderna\/"},"modified":"2022-03-08T19:49:19","modified_gmt":"2022-03-08T19:49:19","slug":"evolucion-de-la-concordancia-como-encontrar-coincidencias-en-toda-la-empresa-y-afinar-los-resultados-a-la-manera-moderna","status":"publish","type":"post","link":"https:\/\/dataladder.com\/es\/evolucion-de-la-concordancia-como-encontrar-coincidencias-en-toda-la-empresa-y-afinar-los-resultados-a-la-manera-moderna\/","title":{"rendered":"Evoluci\u00f3n de la concordancia: C\u00f3mo encontrar coincidencias en toda la empresa y afinar los resultados a la manera moderna"},"content":{"rendered":"


\n
\nA<\/span>
\n<\/span>
\n<\/span>
\n
\nmedida que los datos <\/span>
\n<\/span>
\n<\/span>
\n
\nsufren un cambio de paradigma<\/span>
\n<\/span>
\n<\/span>
\n
\ntambi\u00e9n lo hacen <\/span>
\n<\/span>
\n<\/span> los sistemas, procesos y enfoques implicados. Los sistemas heredados est\u00e1n muriendo. <\/span><\/span>Lote <\/span><\/span><\/span>Las tuber\u00edas<\/span> ETL se est\u00e1n quedando poco a poco <\/span>obsoletas. La propiedad<\/span> se est\u00e1 alejando de <\/span> De la TI a la empresa.
\nFunciones como el cotejo de datos y la preparaci\u00f3n de datos est\u00e1n <\/span>
\n<\/span>
\n
\nevolucionando<\/span>
\n<\/span>
\n<\/span>
\n de manuales, basadas en consultas, program\u00e1ticas a automatizadas, de apuntar y hacer clic, centradas en el negocio.<\/span>
\n<\/span>
\n
\n-centrado en el negocio<\/span>
\n<\/span>
\n<\/span>
\n<\/p>\n

<\/span>
\n<\/span>
\ncentrados en el negocio. <\/span>
\n<\/span> <\/span><\/span><\/span><\/span><\/span><\/p>\n

Existe un enfoque moderno para el cotejo de datos, que promete altos \u00edndices de precisi\u00f3n, bajos niveles de falsos positivos y que s\u00f3lo lleva minutos en lugar de semanas y meses. <\/span><\/p>\n

Esta gu\u00eda sobre el cotejo moderno de datos explica los procesos implicados, los diferentes tipos de escenarios en los que este enfoque ahorra tiempo a la vez que aumenta la eficiencia y, por \u00faltimo, c\u00f3mo los usuarios pueden ajustar los par\u00e1metros de cotejo para obtener las mejores coincidencias posibles. <\/span><\/p>\n

\u00bfQu\u00e9 es la concordancia de datos?<\/span><\/b><\/h2>\n

Elcotejo de datos<\/a> compara los datos de varios registros para determinar los campos que se refieren a la misma entidad. En pocas palabras, el cotejo de datos permite al usuario detectar registros duplicados y\/o fusionar registros id\u00e9nticos. Se realiza mediante algoritmos establecidos que est\u00e1n dise\u00f1ados para comparar diferentes tipos de datos, como cadenas, fechas y n\u00fameros enteros. Dado que la naturaleza de los datos es cada vez m\u00e1s compleja, el cotejo ya no se limita a comparar dos registros, sino que implica procesos clave como la elaboraci\u00f3n de perfiles de datos<\/a>, la integridad de los datos<\/a>, la precisi\u00f3n de los mismos<\/a>, etc. <\/span><\/p>\n

Conceptos b\u00e1sicos – Emparejamiento determinista y probabil\u00edstico<\/span><\/b><\/p>\n

Conocida por m\u00faltiples t\u00e9rminos, vinculaci\u00f3n de registros o datos<\/a>, resoluci\u00f3n de entidades<\/a>, identificaci\u00f3n de objetos o correspondencia de campos; la correspondencia de datos es la tarea de identificar, cotejar y fusionar registros<\/a> que se refieren a la misma entidad desde dentro o a trav\u00e9s de varias bases de datos. <\/span><\/p>\n

Tradicionalmente, el cotejo de datos se realizaba mediante la ejecuci\u00f3n de consultas que utilizaban complejos algoritmos y f\u00f3rmulas para cotejar los registros. Las coincidencias deterministas y probabil\u00edsticas son los dos enfoques de coincidencia de datos m\u00e1s comunes que hacen uso de algoritmos como la distancia de edici\u00f3n, Soundex, distancia Levenshtein para hacer coincidir las cadenas y devolver un resultado de coincidencia. <\/span><\/p>\n

El m\u00e9todo determinista es sencillo. Si tiene dos campos de datos que tienen las mismas propiedades, puede utilizar este m\u00e9todo para encontrar coincidencias. La condici\u00f3n es que sus datos deben estar limpios y estandarizados. Los identificadores \u00fanicos, como los n\u00fameros de la seguridad social, del permiso de conducir o del pasaporte, deben ser precisos. Es m\u00e1s f\u00e1cil decirlo que hacerlo, sobre todo porque siempre existe la posibilidad de que el usuario cometa errores. Adem\u00e1s, al tratarse de informaci\u00f3n confidencial, hay pocas posibilidades de que las empresas puedan poner sus manos en esta informaci\u00f3n. Entonces recurren a los n\u00fameros de tel\u00e9fono, las direcciones de correo electr\u00f3nico como identificadores \u00fanicos. Por otra parte, estos datos siempre est\u00e1n plagados de errores, valores nulos y otros problemas de calidad de los datos. <\/span><\/p>\n

Un buen ejemplo de cotejo determinista<\/strong> es cuando un banco coteja los n\u00fameros de cuenta de los consumidores con sus nombres y fecha de nacimiento para confirmar las identidades o cuando las tiendas minoristas utilizan los n\u00fameros de las facturas para cotejarlos con los n\u00fameros de los productos para confirmar las ventas de los mismos. <\/span><\/p>\n

La concordancia determinista funciona bien cuando las reglas est\u00e1n definidas, los datos est\u00e1n limpios y se est\u00e1 seguro de que los identificadores \u00fanicos son precisos. <\/span><\/p>\n

Pero los datos que tenemos hoy en d\u00eda apenas cumplen estas normas. <\/span><\/p>\n

De ah\u00ed la necesidad de la concordancia probabil\u00edstica. <\/span><\/p>\n

El cotejo probabil\u00edstico utiliza un enfoque estad\u00edstico para medir la probabilidad de que dos registros de clientes representen al mismo individuo. Esta metodolog\u00eda utiliza varios algoritmos de coincidencia difusa para determinar una coincidencia, una no coincidencia o una posible coincidencia. Al igual que una coincidencia determinista, la coincidencia probabil\u00edstica requiere que los datos est\u00e9n limpios y estandarizados, pero no tiene que ser \u00abexacta\u00bb. <\/span><\/p>\n

Si Juan est\u00e1 escrito como Juanito, una soluci\u00f3n inteligente de cotejo de datos deber\u00eda ser capaz de detectar esto como una posible coincidencia basada en ciertas reglas de negocio que suelen estar predefinidas en una soluci\u00f3n comercial. <\/span><\/p>\n

Un buen ejemplo de concordancia probabil\u00edstica<\/strong> es cuando una empresa tiene varias direcciones de correo electr\u00f3nico y n\u00fameros de tel\u00e9fono (m\u00f3vil\/oficina\/domicilio) de la misma persona sin identificadores \u00fanicos para determinar la identidad. En este caso, la empresa tendr\u00e1 que ejecutar varios algoritmos para determinar las identidades a partir de cadenas y valores enteros. <\/span><\/p>\n

Aqu\u00ed es donde entran en juego los algoritmos de coincidencia difusa. <\/span><\/p>\n

En lugar de marcar los registros como \u00abcoincidentes\u00bb o \u00abno coincidentes\u00bb, la concordancia difusa identifica<\/a> la probabilidad de que dos registros sean realmente coincidentes en funci\u00f3n de si coinciden o no en los distintos identificadores.<\/span> A continuaci\u00f3n se presenta una lista de las distintas t\u00e9cnicas de concordancia difusa que se utilizan en la actualidad:<\/span><\/p>\n