{"id":63221,"date":"2018-10-23T00:00:00","date_gmt":"2018-10-23T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/como-la-calidad-de-los-datos-es-un-reto-importante-para-la-ingestion-de-los-lagos-de-datos-y-que-puede-hacer-para-asegurar-que-su-proyecto-de-lago-de-datos-sea-un-exito\/"},"modified":"2022-03-17T16:00:57","modified_gmt":"2022-03-17T16:00:57","slug":"como-la-calidad-de-los-datos-es-un-reto-importante-para-la-ingestion-de-los-lagos-de-datos-y-que-puede-hacer-para-asegurar-que-su-proyecto-de-lago-de-datos-sea-un-exito","status":"publish","type":"post","link":"https:\/\/dataladder.com\/es\/como-la-calidad-de-los-datos-es-un-reto-importante-para-la-ingestion-de-los-lagos-de-datos-y-que-puede-hacer-para-asegurar-que-su-proyecto-de-lago-de-datos-sea-un-exito\/","title":{"rendered":"C\u00f3mo la calidad de los datos es un reto importante para la ingesti\u00f3n de los lagos de datos y qu\u00e9 puede hacer para asegurar que su proyecto de lago de datos sea un \u00e9xito"},"content":{"rendered":"

Loslagos de datos surgieron como una soluci\u00f3n para almacenar datos no estructurados, una alternativa a la naturaleza restrictiva de los almacenes de datos. Pero esta facilidad viene acompa\u00f1ada de su propio conjunto de desaf\u00edos \u00fanicos que las organizaciones est\u00e1n encontrando dif\u00edcil de superar.<\/p>\n

De hecho, algunos retos de los lagos de datos son tan dif\u00edciles de superar que las organizaciones est\u00e1n abandonando la idea de mantener un lago de datos.<\/p>\n

Las principales empresas de an\u00e1lisis llevan tiempo citando tasas de fracaso de los lagos de<\/em> datos del 85%. (Teradata)<\/a><\/p><\/blockquote>\n

\u00bfCu\u00e1les son estos desaf\u00edos \u00fanicos y hay una manera de que las organizaciones mantengan su lago de datos y cumplan el prop\u00f3sito para el que fue dise\u00f1ado?<\/p>\n

Descubramos m\u00e1s.<\/p>\n

\u00bfPor qu\u00e9 los lagos de datos y no los almacenes de datos? <\/strong><\/h2>\n

Una organizaci\u00f3n de nivel empresarial est\u00e1 conectada con al menos 464 aplicaciones. La cantidad de informaci\u00f3n que llega desde todas esas aplicaciones debe almacenarse en alg\u00fan lugar. Hablamos de todo tipo de datos estructurados y semiestructurados que se recogen a trav\u00e9s de m\u00faltiples fuentes de datos; aplicaciones m\u00f3viles, aplicaciones web, registros de actividad, registros telef\u00f3nicos, redes sociales y cientos de otras fuentes.<\/p>\n

Todos estos datos combinados conforman la inteligencia empresarial que las organizaciones necesitan para tomar decisiones comerciales estrat\u00e9gicas.<\/p>\n

Los almacenes de datos, que eran los m\u00e9todos tradicionales de almacenamiento de datos empresariales, requieren que los datos est\u00e9n estructurados. No se pod\u00edan volcar los datos en un almac\u00e9n de datos sin ordenarlos o alinearlos con la estructura definida.<\/p>\n

Los lagos de datos superaron esta limitaci\u00f3n. Con la implementaci\u00f3n de pipelines de datos, todas las fuentes de datos pod\u00edan ser transportadas al lago y mantenerse all\u00ed hasta que la empresa necesitara datos para el an\u00e1lisis, la elaboraci\u00f3n de informes y el BI.<\/p>\n

Aunque los lagos de datos resolvieron el problema de la conservaci\u00f3n de los datos, plantearon un reto importante: el de la calidad de los datos. <\/strong><\/p>\n

Dado que los datos se introducen simplemente en el sistema, parece que los analistas no tienen forma de determinar la calidad de los datos. No se realiz\u00f3 una revisi\u00f3n inicial. Adem\u00e1s, el mayor reto a la luz de la reciente normativa es la privacidad y el cumplimiento de los datos. Sin nadie que d\u00e9 cuenta de la calidad de los datos, las organizaciones est\u00e1n perdidas cuando tratan con datos brutos.<\/p>\n

Introduce la ingesta de datos.<\/p>\n

\u00bfC\u00f3mo ayuda la ingesta de datos a los retos del lago de datos? <\/strong><\/h2>\n

La ingesta de datos es la capa entre las fuentes de datos y el propio lago de datos. Esta capa se introdujo para acceder a los datos sin procesar de las fuentes de datos, optimizarlos y luego ingerirlos en el lago de datos<\/a>.<\/p>\n

Sin embargo, es sorprendente ver que la ingesta de datos se utiliza como una idea tard\u00eda o despu\u00e9s de la inserci\u00f3n de los datos en el lago. De hecho, la mayor\u00eda de las organizaciones pasan por alto el proceso de ingesti\u00f3n de datos, ya que subestiman la complejidad de trasladar los datos desde las fuentes de datos al lago de datos. S\u00f3lo en un momento cr\u00edtico, cuando necesitan datos, se dan cuenta de que tienen un reto importante entre manos.<\/p>\n

Si nos fijamos, el objetivo de tener un lago de datos es almacenar datos que puedan utilizarse posteriormente sin preocuparse de su estructura, pero eso no significa literalmente que se ingieran en el sistema sin limpiarlos o asegurarse de que aportan valor.<\/p>\n

Si los datos no se gestionan, el lago de datos se convierte en un pantano de datos, donde se tienen datos confusos en un repositorio que no se pueden utilizar ni analizar. Esto contradice el prop\u00f3sito de un lago de datos, por lo que es la principal causa del fracaso de la mayor\u00eda de los proyectos de lago de datos.<\/p>\n

Repit\u00e1moslo:<\/p>\n

La ingesti\u00f3n es un proceso planificado y que debe realizarse por separado antes de introducir los datos en el sistema. Este proceso planificado debe seguir el objetivo de disponer de datos completos, precisos y coherentes a lo largo del tiempo. <\/strong><\/p><\/blockquote>\n

Tenga en cuenta que la ingesti\u00f3n de datos no significa el perfeccionamiento de los datos en bruto. Simplemente permite mantener una organizaci\u00f3n b\u00e1sica en la que se eliminan los duplicados y se destaca la informaci\u00f3n incompleta o nula, lo que facilita que cualquier conjunto de datos est\u00e9 disponible para su an\u00e1lisis inmediato.<\/p>\n

Funciones de ingesti\u00f3n de datos <\/strong><\/h3>\n

Aunque la mayor\u00eda de los lagos de datos actuales incorporan la ingesta de datos, a menudo se pasan por alto funciones clave. A continuaci\u00f3n se presentan tres funciones importantes de la ingesta que deben implementarse para que un lago de datos tenga datos \u00fatiles y valiosos.<\/p>\n

    \n
  1. El proceso de recogida de datos:<\/strong> El objetivo principal de la ingesta de datos es recoger datos de m\u00faltiples fuentes en m\u00faltiples formatos -estructurados, no estructurados, semiestructurados o multiestructurados-, ponerlos a disposici\u00f3n en forma de flujo o lotes y trasladarlos al lago de datos.<\/li>\n
  2. El proceso de filtrado: <\/strong>En esta primera etapa del ciclo de vida de los datos, \u00e9stos pasan por un proceso b\u00e1sico de filtrado y saneamiento en el que se realizan actividades de an\u00e1lisis y desduplicaci\u00f3n. Otras operaciones complejas, como la identificaci\u00f3n y eliminaci\u00f3n de valores de datos no v\u00e1lidos o nulos, tambi\u00e9n pueden realizarse mediante scripts.<\/li>\n
  3. El proceso de transporte: <\/strong>El transporte de los datos a sus respectivos almacenes dentro del lago de datos es un proceso que depende de la claridad de las reglas de enrutamiento y de los procedimientos de automatizaci\u00f3n que se establezcan.<\/li>\n<\/ol>\n

    Ingesti\u00f3n por lotes o por streaming <\/strong><\/h3>\n

    Hay dos tipos de modelos de ingesti\u00f3n y ambos dependen del tipo de requisitos o expectativas que las empresas tengan de sus datos.<\/p>\n

    Procesamiento por lotes: <\/strong>Es el tipo de ingesta de datos m\u00e1s com\u00fan en el que se recogen peri\u00f3dicamente grupos de datos de origen y se env\u00edan al sistema de destino. Puede haber una programaci\u00f3n sencilla en la que los datos de origen se agrupen seg\u00fan un orden l\u00f3gico o determinadas condiciones. El procesamiento por lotes suele ser m\u00e1s f\u00e1cil de gestionar mediante la automatizaci\u00f3n y tambi\u00e9n es un modelo asequible.<\/p>\n

    Streaming: <\/strong>Se basa en un procesamiento en tiempo real que no implica ninguna agrupaci\u00f3n. Los datos se cargan en cuanto aparecen y son reconocidos por la capa de ingesti\u00f3n. Aunque se trata de un modelo caro y m\u00e1s complejo, funciona eficazmente para las organizaciones que necesitan datos inmediatos, continuos y actualizados.<\/p>\n

    Desaf\u00edos de la ingesti\u00f3n del lago de datos <\/strong><\/h2>\n

    Aunque la ingesta de datos intenta resolver los retos de los lagos de datos, no est\u00e1 exenta de desaf\u00edos. Algunas dificultades pueden afectar a la capa de ingesti\u00f3n, lo que a su vez repercute en el rendimiento del lago de datos.<\/p>\n

    Veamos algunos de los principales retos.<\/p>\n

    Gestionar el volumen de datos entrantes con rapidez <\/strong><\/h3>\n

    Los vol\u00famenes de datos se han disparado y, a medida que el ecosistema global est\u00e9 m\u00e1s conectado e integrado, los vol\u00famenes de datos aumentar\u00e1n exponencialmente. Adem\u00e1s, las propias fuentes de datos evolucionan constantemente, lo que significa que los lagos de datos y las capas de ingesti\u00f3n de datos tienen que ser lo suficientemente robustos como para ingerir este volumen y diversidad de datos. El reto es a\u00fan m\u00e1s dif\u00edcil de superar cuando las organizaciones implementan un proceso de ingesti\u00f3n de datos en tiempo real que requiere que los datos se actualicen e ingieran a gran velocidad.<\/p>\n

    Dado que la ingesti\u00f3n de datos y los lagos de datos son tecnolog\u00edas bastante nuevas, a\u00fan no han alcanzado una velocidad vertiginosa. Dependiendo de la aplicaci\u00f3n, el procesamiento de datos en tiempo real puede tardar hasta 10 minutos en cada actualizaci\u00f3n.<\/p>\n

    Cumplir con las nuevas directrices de cumplimiento de datos <\/strong><\/h3>\n

    El cumplimiento legal de los datos por parte de pa\u00edses de todo el mundo ha dificultado a las empresas la clasificaci\u00f3n de sus datos de acuerdo con los cumplimientos normativos. Las empresas tienen que cumplir con el GDPR de Europa, as\u00ed como con docenas de otras normas de cumplimiento en los Estados Unidos. Por lo tanto, los datos deben clasificarse de acuerdo con estas normas en la capa de ingesti\u00f3n para evitar cualquier problema en el futuro. Esto exige una planificaci\u00f3n integral de la ingesta de datos.<\/p>\n

    Limpieza de datos para la preparaci\u00f3n de datos <\/strong><\/h3>\n

    Este es un reto muy olvidado de los lagos de datos. De alguna manera, se supone que el proceso de limpieza s\u00f3lo debe tener lugar cuando los datos son necesarios para el an\u00e1lisis. Este enfoque no s\u00f3lo provoca importantes cuellos de botella, sino que tambi\u00e9n deja a la empresa expuesta a los otros dos retos de la privacidad y la seguridad de los datos mencionados anteriormente.<\/p>\n

    Lo ideal es que la limpieza de los datos para la preparaci\u00f3n de los mismos<\/a> comience antes de que se ingieran en el lago. Realizar la depuraci\u00f3n b\u00e1sica evitar\u00e1 que el equipo de datos pierda su tiempo intentando dar sentido a los datos en bruto. En esta fase, los datos brutos deben filtrarse para detectar duplicados, campos incompletos e inv\u00e1lidos, etc. Una vez hecho esto, los analistas pueden optar por realizar m\u00e1s ajustes u optimizaciones para su prop\u00f3sito.<\/p>\n

    Calidad de los datos en la ingesti\u00f3n del lago de datos <\/strong><\/h3>\n

    Ya sea durante la fase de ingesta de datos o en la fase de transformaci\u00f3n de los mismos, se necesitar\u00e1 una soluci\u00f3n de calidad de datos para procesar los datos antes de que se utilicen para el an\u00e1lisis. Cuando hablamos de calidad de datos, nos centramos principalmente en:<\/p>\n