Nota: este blog es la segunda parte de una serie de tres. Si quieres, consulta el blog anterior en el que hablamos de la necesidad de una gestión de datos sistemática y centralizada.
La demostración de la necesidad de un centro de datos sistemático y centralizado nos lleva a la gestión de datos maestros. Los que estamos algo familiarizados con este término sabemos que la calidad de los datos y la gestión de los datos maestros están estrechamente integrados entre sí. De hecho, la calidad de los datos se considera el principal motor y el subproducto de las soluciones MDM.
Por ello, muchos proveedores de datos venden hoy en día diversas variantes de estas líneas de productos. Pero para que entienda cuál se adapta mejor a las necesidades de su negocio, primero debe saber qué significa cada una de estas disciplinas.
Ya tenemos algo publicado que cubre en profundidad las capacidades de una herramienta de gestión de calidad de datos. Puede comprobarlo aquí.
En cuanto a la gestión de datos maestros, en este blog trataremos su significado básico, sus componentes y su proceso. El próximo blog -el final de la serie- comparará una a una ambas soluciones/tecnologías, y le ayudará a evaluar cuál elegir.
Así que, ¡comencemos!
¿Qué son los datos maestros?
Los procesos o transacciones que tienen lugar en una empresa siempre implican un determinado conjunto de entidades o conceptos. Dependiendo de la línea de operaciones de una empresa, estas entidades pueden diferir, pero en general, incluyen los siguientes activos de datos:
- Cliente
- Producto
- Empleado
- Ubicación
- Otros
- Vendedor
- Proveedor
- Contacte con
- Partida contable / Factura
- Política
Estos elementos suelen denominarse datos maestros. Todas las tareas, procesos o transacciones que se realizan en una empresa implican uno o varios de estos objetos de datos maestros.
Ejemplo de objetos de datos maestros
Como ejemplo, considere esta transacción:
El cliente A compra el producto X en el establecimiento Y.
Para que esta transacción se procese con precisión, una empresa debe tener la información de sus clientes, productos y ubicación; a pesar de que estos datos probablemente estén almacenados en tres aplicaciones o bases de datos diferentes.
¿Qué es la gestión de datos maestros?
El término gestión de datos maestros (MDM) se describe mejor como:
Una colección de buenas prácticas para gestionar los datos que:
- Apoyar la captura de datos, la integración y el intercambio entre fuentes de datos dispares,
- Garantizar la calidad de los datos (como la exactitud, la coherencia y la exhaustividad), y,
- Implementar reglas de gobierno de datos para permitir el acceso autorizado, la gestión de la información y otros flujos de trabajo de administración.
A partir de esta definición, quedan claros los tres elementos esenciales de la gestión de datos: la gobernanza de los datos (acceso, políticas e infraestructura), las acciones de los datos (captura, integración y compartición) y la calidad de los datos (preferiblemente, las diez métricas de calidad de los datos).
Vamos a tratar cada uno de ellos con más detalle. Pero antes de seguir adelante, hablemos primero de algo que suele confundir a la gente cuando se trata de MDM.
Proceso de gestión de datos maestros
El proceso de implantación de una solución MDM puede ser bastante complejo y requiere la participación de todas las partes interesadas. En pocas palabras, consiste en seguir 7 pasos:
1. Planificación de la gestión de datos maestros
Al poner en marcha una iniciativa a nivel de toda la empresa como la MDM, se necesita la participación de las partes interesadas importantes, especialmente las que están en contacto con los datos en su empresa.
Antes de poder desplegar las prácticas y herramientas de MDM, es necesario construir un plan de MDM, que implica:
- Identificar a las personas que son generadoras y receptoras de datos maestros en su empresa.
- Coordinarse con las partes interesadas para comprender el estado actual de los datos.
- Construir un caso que justifique el impacto de la iniciativa MDM en apoyo de los objetivos empresariales.
- Preparar planes integrales para:
- Modelos de objetos de datos maestros,
- Estilo arquitectónico MDM,
- Plan de integración o migración de datos a/desde las bases de datos implicadas.
- Conseguir que los planes propuestos sean aprobados por las partes interesadas.
2. Coordinación con las partes interesadas en los datos
Hay muchas personas en la empresa que se consideran partes interesadas importantes y que deben participar en esta fase. Entre estas personas se encuentran:
- Ejecutivos de desarrollo empresarial
- Directivos de alto nivel
- Arquitectos de la información
- Responsables de datos
- Analistas de metadatos
- Profesionales de la calidad de los datos
- Especialistas en gobernanza de datos
- Desarrolladores y arquitectos de sistemas
- Consultores de implantación y adaptación de aplicaciones
- Personal de operaciones de entrada de datos
3. Modelado de objetos de datos maestros
El paso principal en MDM -después de la planificación y la participación de las partes interesadas- es construir el modelo de datos de MDM. Este paso consiste en saber:
- ¿Qué activos de datos son fundamentales para las operaciones de su empresa?
- ¿Qué información necesita realmente conservar sobre estos activos de datos básicos?
- ¿Cómo se relacionan estos activos de datos básicos entre sí?
Por lo tanto, un modelo de datos es simplemente una representación gráfica o lógica de todos los objetos de datos maestros, sus atributos importantes y la relación entre ellos. La preparación de estos modelos apoyará los pasos posteriores de integración, calidad, sincronización y gobernanza de los datos.
Repasemos los principales pasos del modelado de datos:
a. Identificación de los objetos de datos maestros
Como se ha mencionado anteriormente, uno de los pasos más significativos para MDM es la identificación de los objetos de datos maestros, es decir, las entidades de datos que suelen implicar las operaciones y transacciones de su empresa. Normalmente, estos incluyen (pero no se limitan a): clientes, productos, ubicaciones, empleados, etc.
b. Identificación de atributos para los objetos de datos maestros
Una vez identificados los objetos de datos maestros, ahora hay que seleccionar los atributos importantes para estos objetos. Al hacer las selecciones, recuerde incluir un atributo de identificación única para cada activo de datos. Por ejemplo, en el caso de los productos, pueden ser SKUs, o un ID único para los clientes, etc.
En ausencia de atributos de identificación única, es posible que tenga que incluir una combinación de atributos que posiblemente puedan actuar como una identidad única cuando se juntan.
c. Identificación de las relaciones entre los objetos de datos maestros
Ahora es el momento de definir la jerarquía y la relación entre los objetos de datos maestros. Normalmente, se pueden crear los siguientes tipos de relaciones entre los objetos de datos, dependiendo de cómo se permitan las transacciones comerciales en una empresa:
- Uno a uno
- Ejemplo: Un cliente sólo puede tener una ubicación a la vez
- De uno a muchos
- Ejemplo: Un cliente puede hacer muchas compras
- Muchos a uno
- Ejemplo: Muchos clientes pueden ser de una misma localidad
- Muchos a muchos
- Ejemplo: Muchos clientes pueden comprar muchos productos.
d. Construir el modelo en MDM
Una vez realizadas estas tareas, es el momento de diseñar o construir el modelo finalizado en MDM. Esto garantiza que cuando se cargue o añada cualquier dato nuevo en el repositorio de datos maestros de MDM, éste deberá ajustarse al modelo de datos diseñado. Esto significa:
- Los registros de datos próximos deben pertenecer a cualquiera de los objetos de datos maestros modelados.
- Los valores próximos deben ser válidos, estandarizados y con el formato definido para cada atributo.
- Los próximos valores deben ajustarse a las relaciones impuestas en el modelo diseñado.
Si no se cumplen estas condiciones, MDM lanzará un error y no permitirá que se almacenen los datos hasta que se rectifiquen de acuerdo con el diseño modelado.
Ejemplo de modelo de objetos de datos maestros
4. Integrar los datos en el repositorio principal
Este paso imita el proceso ETL (extraer, transformar, cargar) para gestionar los almacenes de datos. En el contexto de MDM, implica los siguientes pasos:
a. Conectando
Se trata de conectar la herramienta de software MDM a todas las fuentes que contengan datos maestros (como se había previsto en la fase inicial). Esto puede implicar la conexión a un CRM (para la información de los clientes), un software financiero (para las facturas), un PCM (para los productos), un HRM (para los empleados), etc.
b. Extracción de
Se trata de extraer los registros anteriores de las fuentes conectadas en MDM, pero no de cargarlos en el repositorio de datos maestros todavía, este paso viene después de la consolidación.
La extracción se realiza para poder limpiar y fusionar los registros anteriores antes de cargarlos en el repositorio de datos maestros. También puede optar por filtrar el proceso de extracción: por períodos de tiempo específicos o por cualquier otro atributo. Por ejemplo, puede querer extraer registros de datos que se remontan a diez años atrás, o tal vez sólo extraer los registros que fueron creados por una fuente válida.
c. Consolidación de
Una vez que haya extraído los registros de datos necesarios de todas las fuentes conectadas, es el momento de consolidarlos (limpiar, normalizar, hacer coincidir y fusionar). Asegúrese de que los registros consolidados:
- Representar una visión única y unificada de los datos maestros
- Conforme al modelo de datos MDM diseñado durante la tercera fase, de lo contrario no podrá cargarlos en el repositorio de datos maestros.
Dado que la mayoría de las aplicaciones de datos en silos presentan numerosos problemas de calidad de datos, se recomienda seguir un marco de calidad de datos adecuado para la consolidación de los registros; hablaremos más de ello en la siguiente sección.
d. Cargando
Una vez extraídos y consolidados los registros, ya están listos para ser cargados en el repositorio maestro. En caso de que los registros de datos no se ajusten al modelo de datos diseñado, MDM podría arrojar errores durante el proceso de carga.
5. Incorporación de controles de calidad de los datos
Durante el proceso de integración (consolidación), se implementan una serie de procesos de calidad de datos para estandarizar los registros de datos de acuerdo con el modelo diseñado. En adelante, cada vez que se actualice una base de datos conectada, este nuevo cambio debe ser migrado al repositorio de datos MDM.
Pero antes de poder migrar este cambio, los datos actualizados deben pasar por un proceso sistemático que garantice la idoneidad de la calidad. Por eso, un proceso o marco de calidad de datos continuo siempre forma parte de la arquitectura MDM.
Este marco suele incluir los siguientes pasos:
- Perfiles de datos: Evaluar el estado actual de sus datos e identificar oportunidades de limpieza.
- Limpieza y estandarización de datos: Realización de diversas operaciones de limpieza de datos 3 y obtención de una visión estandarizada en todas las fuentes de datos importadas.
- Configuración de coincidencia de datos: Configurar y ejecutar algoritmos de correspondencia de datos propios o líderes en el sector, y ajustarlos según los requisitos de sus datos para obtener resultados óptimos.
- Análisis de los resultados de las coincidencias de datos : Evaluar los resultados de las coincidencias y sus niveles de confianza para marcar las falsas coincidencias y determinar el registro maestro. Esto puede requerir la participación de los administradores de datos para tomar la decisión final.
- Fusión dedatos y supervivencia: Diseño de reglas de fusión y supervivencia para sobrescribir automáticamente todos los campos de datos de mala calidad y recuperar el registro de oro.
6. Habilitación de la sincronización lineal de datos
Los requisitos de sincronización de datos dependen exclusivamente del estilo arquitectónico de MDM elegido. Los estilos de concentradores MDM, como la coexistencia, suelen requerir complejas técnicas de sincronización para garantizar que los datos se mantengan actualizados en MDM, así como en todas las aplicaciones de origen conectadas.
Para comprender la sincronización en toda su extensión, en esta sección nos centraremos principalmente en el estilo de concentrador de coexistencia.
Una parte esencial de MDM es su capacidad para actuar como un centro activo e inteligente que:
- Sirve las solicitudes de datos entrantes de las fuentes conectadas.
- Proporciona acceso al repositorio de datos maestros.
- Controla los cambios que se realizan en cualquier registro en la fuente conectada.
- Fusiona los nuevos cambios en los registros de datos maestros, garantizando la calidad de los datos.
- Devuelve los registros de datos maestros actualizados al origen o a otras aplicaciones.
Para garantizar una sincronización de datos sin problemas, una solución MDM debe estar equipada con la lógica y las reglas de procesamiento adecuadas, como por ejemplo
- Puntualidad: Se refiere a la propagación de los cambios y a la realización de actualizaciones de manera oportuna para que el MDM pueda ser considerado como un sistema siempre activo / siempre listo.
- Latencia: Se refiere a la minimización del tiempo de duración entre la solicitud de información en una fuente conectada y el momento en que finalmente se pone a disposición.
- Consistencia: Se refiere a la replicación de cualquier/todos los cambios a través de las fuentes conectadas. Esto puede depender de su estilo de arquitectura MDM (si mantiene actualizadas todas las fuentes conectadas o sólo el MDM).
- Coherencia: Se refiere a la implementación de transacciones en orden de ocurrencia, como las solicitudes de lectura/escritura hacia y desde diferentes fuentes conectadas.
- Determinismo: Se refiere a garantizar que la misma consulta dé los mismos resultados, si se ejecuta más de una vez.
7. Establecimiento de normas de gobernanza de datos
Una última parte de la MDM, pero igual de importante, es la gobernanza de los datos. El término gobierno de los datos suele referirse a un conjunto de funciones, políticas, flujos de trabajo, normas y métricas que garantizan un uso eficiente de la información y su seguridad, y permiten a una empresa alcanzar sus objetivos empresariales.
El gobierno de los datos en MDM suele considerarse como la capacidad de:
- Crear roles de datos y asignar permisos.
- Diseñar flujos de trabajo para verificar las actualizaciones de la información.
- Limita el uso y el intercambio de datos.
- Colaborar y coordinar en la fusión de múltiples activos de datos.
- Proteger los datos y ajustarse a las normas de cumplimiento, como HIPAA, GDPR, etc.
- Garantizar que los datos están a salvo de los riesgos de seguridad.
Estrategia de gestión de datos maestros
Después de implantar el proceso de MDM, muchas organizaciones siguen luchando por cumplir sus KPI de datos. La falta de una estrategia de MDM suele ser la culpable de estos problemas.
La implementación de un MDM completo puede ser bastante compleja, ya que requiere mucha planificación y coordinación entre los equipos y las partes interesadas. Para alcanzar con éxito sus objetivos de MDM, su plan debe estar respaldado por una estrategia sólida, o será más difícil de mantener con el tiempo.
A continuación, analizamos qué es una estrategia de MDM, por qué es importante, y qué áreas clave necesita para elaborar una estrategia antes de iniciar el proceso de MDM.
¿Qué es la estrategia de gestión de datos maestros?
Una estrategia de gestión de datos maestros puede definirse como:
Una colección de mejores prácticas que deben integrarse en el proceso de MDM para ayudar a alcanzar el estado deseado de los datos y mantenerlo en el tiempo para cumplir los objetivos de datos a largo plazo.
Mientras que el proceso se centra en la implementación de las funciones de MDM (como el modelado de datos y las reglas de gobierno de datos), una estrategia de MDM está más centrada en el negocio e identifica el esfuerzo necesario para salvar la brecha entre el estado actual de los datos y cómo debe ser en un futuro próximo.
Casi todas las empresas adoptan una solución MDM con la esperanza de que sus datos empresariales sean precisos, coherentes y completos. Pero hay que medir hasta qué punto los resultados de los datos se ajustan a los KPI definidos, y qué prácticas estratégicas pueden ayudarle a llegar antes.
¿Por qué es importante la estrategia de MDM?
Diseñar una estrategia de MDM es tan importante como implementar el proceso. De lo contrario, podría tener la sensación de que su empresa está llegando a alguna parte con sus esfuerzos de MDM, pero sin saber necesariamente dónde. Una estrategia de MDM le ayudará a comprender de forma holística cómo los distintos componentes de MDM están trabajando juntos para lograr el resultado deseado. Esto, a su vez, establece una dirección a largo plazo en su mente, permitiéndole decidir cómo puede alcanzar sus objetivos de datos futuros.
Por lo tanto, una estrategia de MDM le permite no sólo implementar, sino también supervisar y pivotar constantemente sus funciones de MDM siempre que los resultados esperados no cumplan con la marca.
¿Cómo planificar su estrategia de MDM?
Todo esto es más fácil de decir que de hacer. Es posible que todavía se pregunte cómo es exactamente una estrategia de MDM y cuáles son algunos ejemplos de estrategia de MDM. A continuación, examinaremos las disciplinas más comunes que toda estrategia de MDM debe incorporar para garantizar el máximo rendimiento de los esfuerzos de MDM.
1. Centrarse en los problemas de calidad de los datos a largo plazo
Los datos empresariales son propensos a tener diferentes tipos de problemas de calidad de datos, como campos no válidos, información inexacta, registros duplicados y vistas incoherentes. Es importante que su estrategia de limpieza y normalización de datos no se centre únicamente en los problemas actuales, sino que tenga un enfoque estratégico de cara al futuro, en el que también se aborden los problemas de datos que puedan surgir en un futuro próximo.
Muchos líderes sólo quieren acabar con los proyectos de MDM que se han alargado demasiado. Acaban solucionando los problemas de manera ad hoc, sin entender realmente el núcleo de estos problemas, lo que los llevó al sistema y qué otros problemas pueden resultar a largo plazo. Una estrategia global no sólo se ocupa de lo que está en marcha, sino que también planifica la rectificación de lo que pueda surgir en el futuro.
2. No subestime la participación de los líderes
Un plan de implementación de MDM está incompleto sin la participación de las partes interesadas y de los líderes. Una de las razones por las que se considera que los proyectos de MDM son de larga duración es que el consejo ejecutivo o directivo no está realmente convencido del valor del proyecto. Es posible que tenga que enfrentarse a retrasos o solicitudes de aclaración al tratar de obtener la aprobación de determinados asuntos.
La falta de implicación de la dirección también puede dar lugar a reacciones negativas por parte de varias unidades de negocio, lo que imposibilitaría la ejecución y el mantenimiento de MDM a lo largo del tiempo.
3. Tratar el MDM como algo más que una tecnología
Por lo general, el MDM se considera una tecnología o una herramienta de software. Pero, en realidad, debería tratarse como un concepto técnico que es controlado y estrategizado por profesionales de la empresa, con la ayuda de herramientas de software.
La herramienta de software debe soportar las operaciones de MDM, como el modelado de datos, la integración, la elaboración de perfiles, la gestión de la calidad de los datos, el gobierno de los datos, etc. Pero es responsabilidad de los profesionales de una empresa diseñar la solución de datos adecuada -no sólo técnicamente, sino estratégicamente- que facilite las metas y objetivos del negocio.
Por ello, si desea añadir un MDM a la infraestructura de datos de su empresa, debe tratarlo como una disciplina y no sólo como una tecnología. Esto significa que, además de una instalación completa de MDM, debe reevaluar y reestructurar los procesos existentes que manejan y controlan los datos en su empresa. Una iniciativa de este tipo puede requerir mucha planificación, coordinación e idas y venidas entre varios equipos. Pero una vez que lo haga bien, su empresa podrá cosechar los beneficios durante años.
4. Hacer que las personas sean responsables y rindan cuentas
Dado que el proceso de MDM requiere la participación de muchas personas designadas en diversas funciones de una organización, puede resultar bastante abrumador. Cuando hay varios roles implicados en la consecución de un resultado común, siempre es crucial identificar el nivel de contribución que tiene cada rol. Muchos directivos prefieren crear equipos de gestión de datos que se encarguen de la ejecución de MDM.
Aquí es donde un modelo RACI puede ser muy útil. Un modelo o matriz RACI identifica si un rol es Responsable, Contable, Consultado o Informado sobre las tareas necesarias para completar con éxito un objetivo. Cuando se trata de gestionar la calidad de los datos, hay que identificar las funciones que son:
- Responsable de completar la tarea.
- Responsable de los resultados de la tarea.
- Consultado para obtener opiniones sobre la realización de tareas.
- Informado sobre el progreso de la tarea.
5. Seleccione el estilo arquitectónico de MDM adecuado
Dependiendo del propósito que un MDM sirva para una organización, una solución MDM puede ser implementada en diferentes estilos de arquitectura o de centro. A continuación se mencionan los más comunes:
- Estilo de registro: Con este estilo, los datos no se copian ni se trasladan a un hub central, sino que el MDM mantiene un índice (o un registro) que apunta a los registros maestros almacenados en los sistemas distribuidos.
- Estilo consolidado: Con este estilo, los registros de datos se consolidan en MDM pero no se sincronizan ni se retroalimentan a las aplicaciones de origen, sino que se envían a las apps posteriores que utilizan los datos para la elaboración de informes u otros fines de BI.
- Coexistencia/estilo híbrido: Con este estilo, los registros de datos maestros o consolidados se mantienen en el MDM, pero también se retroalimentan a las aplicaciones de origen.
- Estilo centralizado: Con este estilo, los registros de datos maestros o consolidados se guardan de forma centralizada sólo en el MDM, y las aplicaciones de origen pueden acceder a ellos según sea necesario.
6. Piensa en la escalabilidad
Intente no diseñar un modelo de MDM que sólo funcione con el conjunto actual de fuentes de datos, tipos y formatos, y activos de datos maestros. La escalabilidad debe ser una de las principales preocupaciones a la hora de implantar soluciones de MDM, ya que se desea algo que no sólo funcione hoy, sino que también funcione en los próximos años. Las empresas que piensan en la escalabilidad -en términos de diseño y arquitectura de MDM- experimentan una mayor posibilidad de éxito en la consecución de sus objetivos de forma consistente en el tiempo.
7. Mantener la gobernanza de los datos en el centro de MDM
Ya hemos hablado de establecer reglas de gobierno de datos en el proceso de MDM, pero es importante mencionar aquí que el gobierno de datos es el pegamento que mantiene unido el MDM. La gobernanza de los datos define cómo deben controlarse y autorizarse los distintos activos de datos. Su organización debe contar con políticas y normas de gobierno de datos, independientemente de que tenga o no un MDM. Su importancia se desprende del hecho de que todos los componentes de MDM requieren un gobierno de los datos para su óptima ejecución.
8. Definir y medir la eficacia
Otro aspecto importante de la estrategia de MDM es la medición de la eficacia del proceso. Esto le ayuda a comprender el rendimiento del proceso diseñado y de sus componentes. Una forma de medir la eficacia del proceso es examinar los datos depurados y consolidados en busca de errores. Dependiendo de lo que signifique la calidad de los datos para su empresa, puede optar por medir las características de los datos que indican niveles de calidad aceptables.
A continuación se ofrece una lista de dimensiones de datos comunes:
- Precisión: ¿Son precisos los valores de los datos en MDM?
- Linaje: ¿Los valores de los datos fueron actualizados por fuentes autorizadas?
- Semántica: ¿Los valores de los datos son fieles a su significado?
- Estructura: ¿Existen los valores de los datos en el patrón y/o formato correcto?
- Integridad: ¿Falta algún atributo de datos crucial?
- Consistencia: ¿Produce el MDM sistemáticamente los mismos resultados para la misma consulta?
- Moneda: ¿Produce el MDM datos que estén aceptablemente actualizados?
- Puntualidad: ¿Con qué rapidez sirve el MDM los datos solicitados?
- Razonabilidad: ¿Los valores de los datos tienen el tipo y el tamaño correctos?
- Identificabilidad: ¿Cada registro representa una identidad única y no es un duplicado?
Con esto, concluimos la segunda parte de nuestra serie de blogs. Consulte nuestro siguiente y último blog de la serie que compara DQM y MDM, y le ayuda a decidir cuál elegir para su empresa.
