{"id":67431,"date":"2022-04-25T09:40:01","date_gmt":"2022-04-25T13:40:01","guid":{"rendered":"https:\/\/dataladder.com\/api-de-calidad-de-datos-funciones-arquitectura-y-beneficios\/"},"modified":"2022-05-19T10:38:36","modified_gmt":"2022-05-19T10:38:36","slug":"api-de-calidad-de-datos-funciones-arquitectura-y-beneficios","status":"publish","type":"post","link":"https:\/\/dataladder.com\/es\/api-de-calidad-de-datos-funciones-arquitectura-y-beneficios\/","title":{"rendered":"API de calidad de datos: Funciones, arquitectura y beneficios"},"content":{"rendered":"\n

Al encuestar a 1.900 equipos de datos, m\u00e1s del 60%<\/a> cit\u00f3 el exceso de fuentes de datos y la incoherencia de los mismos como el mayor problema de calidad de los datos que encuentran. Pero cuando se enfrentan a la tarea de arreglar la calidad de los datos, los l\u00edderes de datos a menudo se encuentran en un punto dif\u00edcil, ya que hay que tomar decisiones cruciales. Una de las decisiones m\u00e1s importantes que hay que tomar es: \u00bfen qu\u00e9 momento del ciclo de vida de los datos debemos probar y arreglar la calidad de los mismos?<\/em><\/p>\n\n

Para responder a esta pregunta, hay que tener en cuenta algunos aspectos. Dado que muchas empresas producen regularmente enormes cantidades de datos y los utilizan sistem\u00e1ticamente en toda la organizaci\u00f3n, un enfoque reactivo -en el que los datos se limpian despu\u00e9s de ser almacenados- puede no ser la mejor opci\u00f3n, ya que afecta a la fiabilidad y disponibilidad de los datos. El despliegue de un cortafuegos central de calidad de datos -en el que los datos se comprueban y tratan antes de ser almacenados en la base de datos- podr\u00eda ser una mejor opci\u00f3n en estos casos.<\/p>\n\n

Para saber m\u00e1s sobre las diferencias entre ambos enfoques, consulte nuestro \u00faltimo blog: Procesamiento por lotes versus validaci\u00f3n de la calidad de los datos en tiempo real<\/a>.<\/p>\n\n

En la mayor\u00eda de los enfoques reactivos, los administradores de datos u otros miembros del equipo de calidad de datos<\/a> utilizan una interfaz de software para probar y corregir la calidad de los datos. Pero en un enfoque proactivo, esta tarea se suele gestionar a trav\u00e9s de una API. En este blog, veremos diferentes aspectos a tener en cuenta a la hora de desplegar un cortafuegos de calidad de datos utilizando dichas APIs. Empecemos.<\/p>\n\n

\u00bfQu\u00e9 es una API de calidad de datos?<\/h2>\n\n

Sencillamente, una API (Application Programming Interface) es un intermediario de software que permite que las aplicaciones se comuniquen entre s\u00ed. Una API reside entre dos aplicaciones de software y maneja las solicitudes\/respuestas que se transmiten. Normalmente, cuando se quiere integrar o conectar dos sistemas, se hace con la ayuda de una API.<\/p>\n\n

Del mismo modo, una API de calidad de datos significa:<\/p>\n\n

Un intermediario de software que atiende solicitudes\/respuestas para varias funciones de calidad de datos.<\/strong><\/p>\n\n

Implementaci\u00f3n arquitect\u00f3nica de una API de calidad de datos<\/h2>\n\n

Una API de calidad de datos recibe a menudo diferentes nombres. Por ejemplo, cortafuegos de calidad de datos, validaci\u00f3n de calidad de datos en tiempo real, motor central de calidad de datos, etc. Estos nombres se dan ya que la API funciona entre la aplicaci\u00f3n que captura los datos y la base de datos que los almacena.<\/p>\n\n

Las APIs de calidad de datos (al igual que cualquier otra API) est\u00e1n construidas sobre una arquitectura basada en eventos. Se activan cuando se produce un evento. As\u00ed, cada vez que llegan nuevos datos a trav\u00e9s de una aplicaci\u00f3n conectada o se actualizan los datos existentes, pasan primero por la API (donde se verifica la calidad de los datos) y luego se dirigen a la base de datos de origen. Esto hace que la API act\u00fae como una pasarela entre una aplicaci\u00f3n de captura de datos y una fuente de almacenamiento de datos que garantiza que no se migren errores de calidad de datos del primer extremo al segundo.<\/p>\n\n

Ejemplo de validaci\u00f3n de la calidad de los datos en tiempo real para los datos de los clientes<\/h3>\n\n

Cuando se despliega un cortafuegos central de calidad de datos, se comprueba la calidad de los datos entrantes casi en tiempo real. Por ejemplo, cuando se realiza un cambio en cualquier registro de cliente o cuando se crea un nuevo registro de cliente en cualquier aplicaci\u00f3n conectada, la actualizaci\u00f3n se env\u00eda primero al motor central de calidad de datos. Aqu\u00ed, el cambio se verifica con respecto a la definici\u00f3n de calidad de datos configurada, como por ejemplo, asegur\u00e1ndose de que los campos obligatorios no est\u00e9n en blanco, que los valores sigan el formato y el patr\u00f3n est\u00e1ndar, que un nuevo registro de cliente no coincida posiblemente con un registro de cliente existente, etc.<\/p>\n\n

Si se encuentran errores de calidad de datos, se ejecuta una lista de reglas de transformaci\u00f3n para limpiar los datos. En algunos casos, puede ser necesario que un administrador de la calidad de los datos intervenga y tome decisiones cuando los valores de los datos son ambiguos y no pueden ser bien procesados por los algoritmos configurados. Por ejemplo, podr\u00eda haber un 60% de posibilidades de que un nuevo registro de cliente sea un duplicado, y alguien tendr\u00eda que verificar y resolver manualmente el problema. Una vez hecho esto, el registro de datos limpiado, cotejado y verificado se env\u00eda a una fuente de destino, que puede ser un conjunto de datos maestros, un almac\u00e9n de datos, un sistema de inteligencia empresarial, etc.<\/p>\n\n

A continuaci\u00f3n se muestra un ejemplo de esta arquitectura:<\/p>\n\n

<\/div>\n\n
\"\"<\/figure>\n\n
<\/div>\n\n

Funciones de una API de calidad de datos<\/h2>\n\n

Una buena API de calidad de datos es capaz de ejecutar diferentes tipos de funciones de calidad de<\/a> datos en los datos entrantes. Dependiendo de los procesos incluidos en su marco de calidad de datos<\/a>, puede suscribirse a las funciones necesarias a trav\u00e9s de la API. Pero como la mayor\u00eda de las organizaciones no pueden permitirse el lujo de dejar que cualquier problema de calidad de datos, ya sea recurrente o nuevo, se suscriba a todas las t\u00e9cnicas de validaci\u00f3n y fijaci\u00f3n de la calidad de datos que ofrece la API.<\/p>\n\n

Las funciones m\u00e1s comunes expuestas por una API de calidad de datos incluyen:<\/p>\n\n

1. Conectar con las fuentes de datos<\/h3>\n\n

Esta es la funcionalidad principal y m\u00e1s beneficiosa que ofrece una API de calidad de datos. Las organizaciones utilizan m\u00faltiples aplicaciones de generaci\u00f3n de datos, por ejemplo, herramientas de seguimiento de sitios web, herramientas de automatizaci\u00f3n de marketing, CRM, etc. Por esta raz\u00f3n, una API de calidad de datos debe ser capaz de conectarse y hablar con estas diferentes aplicaciones<\/a>, as\u00ed como con la base de datos de destino donde suelen acabar los datos entrantes.<\/p>\n\n

2. Realizaci\u00f3n de controles de calidad de los datos<\/h3>\n\n

Cada vez que se produce un evento en una aplicaci\u00f3n conectada (se crea un nuevo registro o se actualiza uno existente), la API puede evaluar y perfilar los datos entrantes<\/a> en busca de errores de calidad de datos. Para ello, se ejecutan algoritmos estad\u00edsticos que eval\u00faan los datos entrantes y validan si se ajustan a la definici\u00f3n de calidad de los datos. Estos controles incluyen garantizar que:<\/p>\n\n