Breve descripci\u00f3n del ETL<\/strong><\/h2>\nEl proceso de extracci\u00f3n, carga y transformaci\u00f3n (ETL) apenas necesita presentaci\u00f3n. Desarrollada en la d\u00e9cada de 1970, esta tecnolog\u00eda se utiliz\u00f3 para mezclar datos de m\u00faltiples fuentes. Siendo las principales acciones:<\/p>\n
Extraer: <\/strong>Derivar, copiar o extraer datos de una fuente del sistema<\/p>\nTransformaci\u00f3n: <\/strong>Reformatear los datos para utilizarlos en un nuevo sistema<\/p>\nCarga: <\/strong>Introducci\u00f3n de datos en el nuevo sistema<\/p>\n![\"Illustration](\"https:\/\/d33wubrfki0l68.cloudfront.net\/73f464eaeb06d40e6d7efedb55892af06b7bcf11\/da0b2\/images\/illustrations\/asset-etl-traditional.png\")
Fuente: Stitch Data<\/figcaption><\/figure>\nLas soluciones ETL ayudaron a las empresas a consolidar los datos procedentes de m\u00faltiples fuentes, especialmente durante los a\u00f1os 80 y 90, cuando se populariz\u00f3 el almacenamiento de datos, el ETL se utiliz\u00f3 para integrar los datos procedentes de m\u00faltiples sistemas (mainframes, PC, hojas de c\u00e1lculo, etc.) en una base de datos. \u00bfEl problema? A medida que aumentaba la complejidad de los datos, las empresas comenzaron a utilizar diferentes herramientas ETL para gestionar distintos tipos de almacenes de datos.<\/p>\n
Con el tiempo, a medida que los formatos de datos, los sistemas y las fuentes se ampliaban, tanto en complejidad como en volumen, los m\u00e9todos tradicionales de ETL ya no eran capaces de resistir. Aunque el proceso b\u00e1sico de ETL sigue siendo un componente esencial del ecosistema de datos, sus retos han dado lugar a nuevos enfoques y procesos.<\/p>\n
Desaf\u00edos con el ETL: <\/strong><\/h2>\nUn sistema ETL t\u00edpico es eficaz cuando los datos est\u00e1n estructurados, orientados a lotes y se han actualizado regularmente. Sin embargo, con los datos en flujo sensibles al tiempo, los sistemas ETL tienden a fallar a menos que el sistema se ajuste mediante programaci\u00f3n personalizada. Incluso entonces, un sistema ETL en un entorno de tiempo real tendr\u00e1 que hacer frente a los requisitos de baja latencia y alta disponibilidad.<\/p>\n
El proceso ETL en s\u00ed mismo se volvi\u00f3 cada vez m\u00e1s complejo, especialmente porque los formatos de datos se ampliaron y se necesitaron m\u00faltiples scripts y APIs para analizar los datos en cada formato. Esto implicaba que, si no se dispon\u00eda de API o controladores compatibles, los especialistas en ETL ten\u00edan que codificar espec\u00edficamente un proceso de ETL, una tarea tediosa si se tiene en cuenta que una fuente de datos de una empresa media tendr\u00eda millones de filas de datos.<\/p>\n
Aunque hay muchas herramientas ETL disponibles en el mercado, capaces de manejar datos complejos y superar los retos de la ETL, siguen necesitando una importante curva de aprendizaje y la implementaci\u00f3n de procesos adicionales para que los datos sean utilizables.<\/p>\n
Introduce soluciones de preparaci\u00f3n de datos.<\/p>\n
\u00bfQu\u00e9 es la preparaci\u00f3n de datos y en qu\u00e9 se diferencia del ETL? <\/strong><\/h2>\nLa ETL y la preparaci\u00f3n de datos se confunden a menudo como un solo proceso. Aunque hay algo de verdad en esto, ya que la preparaci\u00f3n de datos implica el proceso de extracci\u00f3n y transformaci\u00f3n de datos y la resoluci\u00f3n de los mismos problemas, hay caracter\u00edsticas distintas que hacen de la preparaci\u00f3n de datos un m\u00e9todo m\u00e1s flexible que el ETL.<\/p>\n
Lapreparaci\u00f3n de los datos<\/a> puede describirse como el proceso de \u00abpreparar\u00bb o poner a punto los datos para el an\u00e1lisis y la elaboraci\u00f3n de informes. Aunque es similar al ETL, se trata de una soluci\u00f3n visual, de autoservicio y f\u00e1cil de usar que ofrece al usuario de la empresa la posibilidad de preparar los datos, en comparaci\u00f3n con el ETL, que era principalmente un proceso de TI manejado exclusivamente por el equipo de TI.<\/p>\nSeg\u00fan Jon Pikington de Dataversity<\/a>, la preparaci\u00f3n de datos es,
\n\u00abla tecnolog\u00eda que permite a los administradores tomar decisiones m\u00e1s r\u00e1pidas y mejores a trav\u00e9s de la calidad y el acceso a los datos\u00bb. <\/em>
\n<\/strong><\/p>\nLas empresas utilizan la preparaci\u00f3n de datos para:<\/p>\n
\n- Facilitar a los usuarios de la empresa la preparaci\u00f3n de sus datos seg\u00fan los requisitos de an\u00e1lisis<\/li>\n
- Reducir la carga de los inform\u00e1ticos y convertir la preparaci\u00f3n de los datos en un proceso automatizado<\/li>\n
- Dar sentido a los datos complejos<\/li>\n
- Coteje, consolida, limpia y soluciona los problemas con los datos sin exigir conocimientos t\u00e9cnicos o de programaci\u00f3n.<\/li>\n<\/ul>\n
As\u00ed, aunque el ETL es un proceso t\u00e9cnico implementado para mover datos, carece de las caracter\u00edsticas adicionales que suelen ofrecer las soluciones de preparaci\u00f3n de datos. Algunas de las principales ventajas de utilizar la preparaci\u00f3n de datos son<\/p>\n
\n- Los datos los preparan quienes mejor los conocen <\/strong><\/li>\n<\/ol>\n
La principal ventaja de la preparaci\u00f3n de datos es el hecho de que los datos pueden ser preparados por los usuarios de la empresa que mejor los conocen. Por ejemplo, los usuarios empresariales del departamento de marketing pueden utilizar una herramienta de preparaci\u00f3n de datos para identificar a sus usuarios m\u00e1s activos en las redes sociales, algo que si se dejara en manos del departamento de TI no dar\u00eda un resultado preciso. Los datos son algo m\u00e1s que n\u00fameros y texto: hay un contexto inherente en cada conjunto de datos que s\u00f3lo puede ser entendido e identificado por las personas que van a utilizar esos datos.<\/p>\n
\n- Facilitar el an\u00e1lisis predictivo <\/strong><\/li>\n<\/ol>\n
El an\u00e1lisis predictivo se refiere al proceso de predecir el comportamiento y las expectativas de las entidades (clientes) mediante el estudio o an\u00e1lisis de conjuntos de datos actuales. Las empresas necesitan cotejar m\u00faltiples fuentes de datos, como fuentes de medios sociales, encuestas en l\u00ednea, comportamientos de compra, historial de compras, historial de entradas, etc., para obtener una imagen de su audiencia, lo que les permite hacer predicciones.<\/p>\n
El ETL no permite este nivel de combinaci\u00f3n<\/a> y consolidaci\u00f3n inteligente de datos, por lo que resulta in\u00fatil para cualquier empresa que desee obtener informaci\u00f3n estrat\u00e9gica. Por otro lado, las herramientas de preparaci\u00f3n de datos permiten a las empresas cotejar campos de datos complejos dentro de varios conjuntos de datos o entre ellos, y crear una \u00fanica fuente de verdad consolidada sin necesidad de tener conocimientos t\u00e9cnicos.<\/p>\n\n- Flexibilidad en la limpieza de datos<\/strong><\/li>\n<\/ol>\n
Las herramientas ETL se basan en reglas y flujos de trabajo estructurados. Cuestiones como los nombres abreviados, los caracteres adicionales, las faltas de ortograf\u00eda o incluso las puntuaciones en los n\u00fameros de tel\u00e9fono deben estar predefinidas para que el ETL las detecte. Sin embargo, la mayor\u00eda de las veces, algunos errores son de naturaleza tan enga\u00f1osa (por ejemplo, el uso de apodos frente a nombres reales) que es dif\u00edcil predefinirlos y crear reglas para ellos. En segundo lugar, la ETL implica que un usuario debe conocer los defectos de sus datos antes de poder solucionarlos, pero hay muchos casos en los que un usuario simplemente no conoce los problemas que plagan sus datos.<\/p>\n
Las herramientas de preparaci\u00f3n de datos no imponen esas reglas a los usuarios. De hecho, las mejores herramientas de preparaci\u00f3n de datos del mercado tienen algoritmos predefinidos que capturan todos los posibles problemas de un campo de datos y permiten al usuario ver los problemas de sus datos. La herramienta ofrece al usuario una representaci\u00f3n visual de la salud de sus datos: las columnas con datos que faltan o no son v\u00e1lidos, los campos con errores ortogr\u00e1ficos o de caracteres, los espacios de m\u00e1s entre los caracteres, etc., pueden ser vistos y corregidos por el usuario antes de hacer uso de los datos.<\/p>\n
Como puede ver ahora, el ETL y la preparaci\u00f3n de datos, aunque realizan esencialmente las mismas funciones, tienen usos distintos. Mientras que el ETL es un proceso de extracci\u00f3n de datos en el back-end, una herramienta de preparaci\u00f3n de datos es una herramienta de negocio que permite a los usuarios refinar y preparar sus datos para el uso de la empresa.<\/p>\n
Uso de la API de una herramienta de preparaci\u00f3n de datos con una tuber\u00eda ETL – Un ejemplo <\/strong><\/h2>\nMuchas empresas utilizan tanto el ETL como la preparaci\u00f3n de datos para gestionar eficazmente sus datos. Esto es posible gracias a la integraci\u00f3n de la API de la herramienta de preparaci\u00f3n de datos en la tuber\u00eda ETL del ecosistema de datos de la organizaci\u00f3n. De este modo, los datos en tiempo real se limpian y cotejan antes de que la herramienta ETL cargue esos datos en una nueva fuente de datos.<\/p>\n
Este es un peque\u00f1o ejemplo de uno de los clientes de Data Ladder que utiliza tanto ETL como nuestro software de preparaci\u00f3n de datos para lograr sus objetivos.<\/p>\n
Piense en un escenario de ETL en el que la organizaci\u00f3n tiene una tonelada de datos centrales\/maestros, y est\u00e1n procesando miles, decenas de miles, cientos de miles o millones de transacciones diarias\/semanales, etc. y quieren transmitir estos datos contra sus datos centrales, enriqueciendo sus datos centrales con los detalles de las transacciones.<\/p>\n
El caso de uso del streaming es el an\u00e1lisis predictivo. La organizaci\u00f3n dispone de datos b\u00e1sicos, pero tambi\u00e9n est\u00e1 introduciendo grandes cantidades de datos adicionales para enriquecer sus datos b\u00e1sicos, como los intereses de los consumidores, la puntuaci\u00f3n de cr\u00e9dito o la informaci\u00f3n de geolocalizaci\u00f3n. etc., las soluciones ETL no hacen muy bien la correspondencia. As\u00ed que quieren enriquecer estos datos principales con toneladas de datos nuevos, en tiempo real, sobre la marcha, y no funcionar\u00e1 si el nombre de su base de datos principal es Peggy Sheridan y el nombre de estos nuevos datos es Margaret Sheridan.<\/p>\n
La tuber\u00eda ETL de la organizaci\u00f3n puede utilizar la API de Data Ladder para invocar la limpieza<\/a> y la coincidencia para extraer el identificador \u00fanico de sus datos principales, a\u00f1adiendo ese identificador \u00fanico a los nuevos datos coincidentes, para actualizar sus datos principales con estos nuevos atributos.<\/p>\n\u00bfC\u00f3mo ayuda Data Ladder a preparar los datos?<\/strong><\/h2>\nEl software estrella deData Ladder, DataMatch Enterprise, facilita la preparaci\u00f3n de datos al permitir a los usuarios:<\/p>\n
Integrar datos: <\/strong>Integre datos de m\u00e1s de 150 aplicaciones y obtenga los conjuntos de datos que necesita para sus an\u00e1lisis e informes.<\/p>\nDatos del perfil: <\/strong>Identifique las fallas con sus datos visualmente. Puede ver los problemas que afectan a sus datos, como errores ortogr\u00e1ficos, num\u00e9ricos, de puntuaci\u00f3n y mucho m\u00e1s.<\/p>\n
Transformaci\u00f3n: <\/strong>Reformatear los datos para utilizarlos en un nuevo sistema<\/p>\n Carga: <\/strong>Introducci\u00f3n de datos en el nuevo sistema<\/p>\n Las soluciones ETL ayudaron a las empresas a consolidar los datos procedentes de m\u00faltiples fuentes, especialmente durante los a\u00f1os 80 y 90, cuando se populariz\u00f3 el almacenamiento de datos, el ETL se utiliz\u00f3 para integrar los datos procedentes de m\u00faltiples sistemas (mainframes, PC, hojas de c\u00e1lculo, etc.) en una base de datos. \u00bfEl problema? A medida que aumentaba la complejidad de los datos, las empresas comenzaron a utilizar diferentes herramientas ETL para gestionar distintos tipos de almacenes de datos.<\/p>\n Con el tiempo, a medida que los formatos de datos, los sistemas y las fuentes se ampliaban, tanto en complejidad como en volumen, los m\u00e9todos tradicionales de ETL ya no eran capaces de resistir. Aunque el proceso b\u00e1sico de ETL sigue siendo un componente esencial del ecosistema de datos, sus retos han dado lugar a nuevos enfoques y procesos.<\/p>\n Un sistema ETL t\u00edpico es eficaz cuando los datos est\u00e1n estructurados, orientados a lotes y se han actualizado regularmente. Sin embargo, con los datos en flujo sensibles al tiempo, los sistemas ETL tienden a fallar a menos que el sistema se ajuste mediante programaci\u00f3n personalizada. Incluso entonces, un sistema ETL en un entorno de tiempo real tendr\u00e1 que hacer frente a los requisitos de baja latencia y alta disponibilidad.<\/p>\n El proceso ETL en s\u00ed mismo se volvi\u00f3 cada vez m\u00e1s complejo, especialmente porque los formatos de datos se ampliaron y se necesitaron m\u00faltiples scripts y APIs para analizar los datos en cada formato. Esto implicaba que, si no se dispon\u00eda de API o controladores compatibles, los especialistas en ETL ten\u00edan que codificar espec\u00edficamente un proceso de ETL, una tarea tediosa si se tiene en cuenta que una fuente de datos de una empresa media tendr\u00eda millones de filas de datos.<\/p>\n Aunque hay muchas herramientas ETL disponibles en el mercado, capaces de manejar datos complejos y superar los retos de la ETL, siguen necesitando una importante curva de aprendizaje y la implementaci\u00f3n de procesos adicionales para que los datos sean utilizables.<\/p>\n Introduce soluciones de preparaci\u00f3n de datos.<\/p>\n La ETL y la preparaci\u00f3n de datos se confunden a menudo como un solo proceso. Aunque hay algo de verdad en esto, ya que la preparaci\u00f3n de datos implica el proceso de extracci\u00f3n y transformaci\u00f3n de datos y la resoluci\u00f3n de los mismos problemas, hay caracter\u00edsticas distintas que hacen de la preparaci\u00f3n de datos un m\u00e9todo m\u00e1s flexible que el ETL.<\/p>\n Lapreparaci\u00f3n de los datos<\/a> puede describirse como el proceso de \u00abpreparar\u00bb o poner a punto los datos para el an\u00e1lisis y la elaboraci\u00f3n de informes. Aunque es similar al ETL, se trata de una soluci\u00f3n visual, de autoservicio y f\u00e1cil de usar que ofrece al usuario de la empresa la posibilidad de preparar los datos, en comparaci\u00f3n con el ETL, que era principalmente un proceso de TI manejado exclusivamente por el equipo de TI.<\/p>\n Seg\u00fan Jon Pikington de Dataversity<\/a>, la preparaci\u00f3n de datos es, Las empresas utilizan la preparaci\u00f3n de datos para:<\/p>\n As\u00ed, aunque el ETL es un proceso t\u00e9cnico implementado para mover datos, carece de las caracter\u00edsticas adicionales que suelen ofrecer las soluciones de preparaci\u00f3n de datos. Algunas de las principales ventajas de utilizar la preparaci\u00f3n de datos son<\/p>\n La principal ventaja de la preparaci\u00f3n de datos es el hecho de que los datos pueden ser preparados por los usuarios de la empresa que mejor los conocen. Por ejemplo, los usuarios empresariales del departamento de marketing pueden utilizar una herramienta de preparaci\u00f3n de datos para identificar a sus usuarios m\u00e1s activos en las redes sociales, algo que si se dejara en manos del departamento de TI no dar\u00eda un resultado preciso. Los datos son algo m\u00e1s que n\u00fameros y texto: hay un contexto inherente en cada conjunto de datos que s\u00f3lo puede ser entendido e identificado por las personas que van a utilizar esos datos.<\/p>\n El an\u00e1lisis predictivo se refiere al proceso de predecir el comportamiento y las expectativas de las entidades (clientes) mediante el estudio o an\u00e1lisis de conjuntos de datos actuales. Las empresas necesitan cotejar m\u00faltiples fuentes de datos, como fuentes de medios sociales, encuestas en l\u00ednea, comportamientos de compra, historial de compras, historial de entradas, etc., para obtener una imagen de su audiencia, lo que les permite hacer predicciones.<\/p>\n El ETL no permite este nivel de combinaci\u00f3n<\/a> y consolidaci\u00f3n inteligente de datos, por lo que resulta in\u00fatil para cualquier empresa que desee obtener informaci\u00f3n estrat\u00e9gica. Por otro lado, las herramientas de preparaci\u00f3n de datos permiten a las empresas cotejar campos de datos complejos dentro de varios conjuntos de datos o entre ellos, y crear una \u00fanica fuente de verdad consolidada sin necesidad de tener conocimientos t\u00e9cnicos.<\/p>\n Las herramientas ETL se basan en reglas y flujos de trabajo estructurados. Cuestiones como los nombres abreviados, los caracteres adicionales, las faltas de ortograf\u00eda o incluso las puntuaciones en los n\u00fameros de tel\u00e9fono deben estar predefinidas para que el ETL las detecte. Sin embargo, la mayor\u00eda de las veces, algunos errores son de naturaleza tan enga\u00f1osa (por ejemplo, el uso de apodos frente a nombres reales) que es dif\u00edcil predefinirlos y crear reglas para ellos. En segundo lugar, la ETL implica que un usuario debe conocer los defectos de sus datos antes de poder solucionarlos, pero hay muchos casos en los que un usuario simplemente no conoce los problemas que plagan sus datos.<\/p>\n Las herramientas de preparaci\u00f3n de datos no imponen esas reglas a los usuarios. De hecho, las mejores herramientas de preparaci\u00f3n de datos del mercado tienen algoritmos predefinidos que capturan todos los posibles problemas de un campo de datos y permiten al usuario ver los problemas de sus datos. La herramienta ofrece al usuario una representaci\u00f3n visual de la salud de sus datos: las columnas con datos que faltan o no son v\u00e1lidos, los campos con errores ortogr\u00e1ficos o de caracteres, los espacios de m\u00e1s entre los caracteres, etc., pueden ser vistos y corregidos por el usuario antes de hacer uso de los datos.<\/p>\n Como puede ver ahora, el ETL y la preparaci\u00f3n de datos, aunque realizan esencialmente las mismas funciones, tienen usos distintos. Mientras que el ETL es un proceso de extracci\u00f3n de datos en el back-end, una herramienta de preparaci\u00f3n de datos es una herramienta de negocio que permite a los usuarios refinar y preparar sus datos para el uso de la empresa.<\/p>\n Muchas empresas utilizan tanto el ETL como la preparaci\u00f3n de datos para gestionar eficazmente sus datos. Esto es posible gracias a la integraci\u00f3n de la API de la herramienta de preparaci\u00f3n de datos en la tuber\u00eda ETL del ecosistema de datos de la organizaci\u00f3n. De este modo, los datos en tiempo real se limpian y cotejan antes de que la herramienta ETL cargue esos datos en una nueva fuente de datos.<\/p>\n Este es un peque\u00f1o ejemplo de uno de los clientes de Data Ladder que utiliza tanto ETL como nuestro software de preparaci\u00f3n de datos para lograr sus objetivos.<\/p>\n Piense en un escenario de ETL en el que la organizaci\u00f3n tiene una tonelada de datos centrales\/maestros, y est\u00e1n procesando miles, decenas de miles, cientos de miles o millones de transacciones diarias\/semanales, etc. y quieren transmitir estos datos contra sus datos centrales, enriqueciendo sus datos centrales con los detalles de las transacciones.<\/p>\n El caso de uso del streaming es el an\u00e1lisis predictivo. La organizaci\u00f3n dispone de datos b\u00e1sicos, pero tambi\u00e9n est\u00e1 introduciendo grandes cantidades de datos adicionales para enriquecer sus datos b\u00e1sicos, como los intereses de los consumidores, la puntuaci\u00f3n de cr\u00e9dito o la informaci\u00f3n de geolocalizaci\u00f3n. etc., las soluciones ETL no hacen muy bien la correspondencia. As\u00ed que quieren enriquecer estos datos principales con toneladas de datos nuevos, en tiempo real, sobre la marcha, y no funcionar\u00e1 si el nombre de su base de datos principal es Peggy Sheridan y el nombre de estos nuevos datos es Margaret Sheridan.<\/p>\n La tuber\u00eda ETL de la organizaci\u00f3n puede utilizar la API de Data Ladder para invocar la limpieza<\/a> y la coincidencia para extraer el identificador \u00fanico de sus datos principales, a\u00f1adiendo ese identificador \u00fanico a los nuevos datos coincidentes, para actualizar sus datos principales con estos nuevos atributos.<\/p>\n El software estrella deData Ladder, DataMatch Enterprise, facilita la preparaci\u00f3n de datos al permitir a los usuarios:<\/p>\n Integrar datos: <\/strong>Integre datos de m\u00e1s de 150 aplicaciones y obtenga los conjuntos de datos que necesita para sus an\u00e1lisis e informes.<\/p>\n Datos del perfil: <\/strong>Identifique las fallas con sus datos visualmente. Puede ver los problemas que afectan a sus datos, como errores ortogr\u00e1ficos, num\u00e9ricos, de puntuaci\u00f3n y mucho m\u00e1s.<\/p>\nDesaf\u00edos con el ETL: <\/strong><\/h2>\n
\u00bfQu\u00e9 es la preparaci\u00f3n de datos y en qu\u00e9 se diferencia del ETL? <\/strong><\/h2>\n
\n\u00abla tecnolog\u00eda que permite a los administradores tomar decisiones m\u00e1s r\u00e1pidas y mejores a trav\u00e9s de la calidad y el acceso a los datos\u00bb. <\/em>
\n<\/strong><\/p>\n\n
\n
\n
\n
Uso de la API de una herramienta de preparaci\u00f3n de datos con una tuber\u00eda ETL – Un ejemplo <\/strong><\/h2>\n
\u00bfC\u00f3mo ayuda Data Ladder a preparar los datos?<\/strong><\/h2>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2018\/09\/data-profiling-1024x487.png\")
Adem\u00e1s, puede utilizar DataMatch Enterprise para perfilar y arreglar sus datos bas\u00e1ndose en reglas predefinidas o en reglas empresariales adicionales que desee crear. \u00bfY lo mejor? No es necesario conocer ning\u00fan lenguaje de programaci\u00f3n para preparar los datos con DataMatch Enterprise.<\/p>\n