{"id":63206,"date":"2018-10-23T00:00:00","date_gmt":"2018-10-23T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/comment-la-qualite-des-donnees-est-un-defi-important-pour-lingestion-du-lac-de-donnees-et-ce-que-vous-pouvez-faire-pour-assurer-le-succes-de-votre-projet-de-lac-de-donnees\/"},"modified":"2022-04-08T13:04:15","modified_gmt":"2022-04-08T13:04:15","slug":"comment-la-qualite-des-donnees-est-un-defi-important-pour-lingestion-du-lac-de-donnees-et-ce-que-vous-pouvez-faire-pour-assurer-le-succes-de-votre-projet-de-lac-de-donnees","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/comment-la-qualite-des-donnees-est-un-defi-important-pour-lingestion-du-lac-de-donnees-et-ce-que-vous-pouvez-faire-pour-assurer-le-succes-de-votre-projet-de-lac-de-donnees\/","title":{"rendered":"Comment la qualit\u00e9 des donn\u00e9es est un d\u00e9fi important pour l’ingestion du lac de donn\u00e9es et ce que vous pouvez faire pour assurer le succ\u00e8s de votre projet de lac de donn\u00e9es."},"content":{"rendered":"

Leslacs de donn\u00e9es<\/a> ont \u00e9t\u00e9 cr\u00e9\u00e9s comme une solution au stockage de donn\u00e9es non structur\u00e9es, une alternative \u00e0 la nature restrictive des entrep\u00f4ts de donn\u00e9es. Mais cette facilit\u00e9 s’accompagne d’une s\u00e9rie de d\u00e9fis uniques que les organisations ont du mal \u00e0 surmonter.<\/p>\n

En fait, certains d\u00e9fis li\u00e9s au lac de donn\u00e9es sont si difficiles \u00e0 surmonter que les organisations abandonnent l’id\u00e9e de maintenir un lac de donn\u00e9es.<\/p>\n

Les principaux cabinets d’analyse citent depuis un certain temps d\u00e9j\u00e0 des taux de d\u00e9faillance des lacs de donn\u00e9es<\/em> de 85 %. (Teradata)<\/a><\/p><\/blockquote>\n

Quels sont ces d\u00e9fis uniques et existe-t-il un moyen pour les organisations de maintenir leur lac de donn\u00e9es et de r\u00e9pondre \u00e0 l’objectif pour lequel il a \u00e9t\u00e9 con\u00e7u ?<\/p>\n

D\u00e9couvrons-en davantage.<\/p>\n

Pourquoi des lacs de donn\u00e9es et non des entrep\u00f4ts de donn\u00e9es ? <\/strong><\/h2>\n

Une organisation de niveau entreprise est connect\u00e9e \u00e0 au moins 464 applications. La quantit\u00e9 d’informations qui affluent de toutes ces applications doit \u00eatre stock\u00e9e quelque part. Nous parlons de toutes sortes de donn\u00e9es structur\u00e9es et semi-structur\u00e9es qui sont collect\u00e9es \u00e0 partir de multiples sources de donn\u00e9es : applications mobiles, applications web, journaux d’activit\u00e9, journaux t\u00e9l\u00e9phoniques, m\u00e9dias sociaux et des centaines d’autres sources.<\/p>\n

Toutes ces donn\u00e9es combin\u00e9es constituent la veille \u00e9conomique dont les organisations ont besoin pour prendre des d\u00e9cisions commerciales strat\u00e9giques.<\/p>\n

Les entrep\u00f4ts de donn\u00e9es, qui \u00e9taient les m\u00e9thodes traditionnelles de stockage des donn\u00e9es d’entreprise, exigent que les donn\u00e9es soient structur\u00e9es. Vous ne pouviez pas d\u00e9verser des donn\u00e9es dans un entrep\u00f4t de donn\u00e9es sans les trier ou les aligner sur la structure d\u00e9finie.<\/p>\n

Les lacs de donn\u00e9es ont permis de surmonter cette limitation. Gr\u00e2ce \u00e0 la mise en \u0153uvre de pipelines de donn\u00e9es, toutes les sources de donn\u00e9es pouvaient \u00eatre transport\u00e9es vers le lac et y rester jusqu’\u00e0 ce que l’entreprise ait besoin de donn\u00e9es pour l’analyse, le reporting et la BI.<\/p>\n

Si les lacs de donn\u00e9es ont r\u00e9solu le probl\u00e8me de la r\u00e9tention des donn\u00e9es, ils ont pos\u00e9 un d\u00e9fi de taille, celui de la qualit\u00e9 des donn\u00e9es. <\/strong><\/p>\n

Comme les donn\u00e9es sont simplement d\u00e9vers\u00e9es dans le syst\u00e8me, les analystes ne semblent avoir aucun moyen de d\u00e9terminer la qualit\u00e9 des donn\u00e9es. Un contr\u00f4le initial n’a pas \u00e9t\u00e9 effectu\u00e9. En outre, le plus grand d\u00e9fi \u00e0 la lumi\u00e8re des r\u00e9centes r\u00e9glementations est la confidentialit\u00e9 des donn\u00e9es et la conformit\u00e9 des donn\u00e9es. Sans personne pour rendre compte de la qualit\u00e9 des donn\u00e9es, les organisations sont perdues lorsqu’elles traitent des donn\u00e9es brutes.<\/p>\n

Entre dans l’ingestion de donn\u00e9es.<\/p>\n

Comment l’ingestion de donn\u00e9es aide-t-elle \u00e0 relever les d\u00e9fis du lac de donn\u00e9es ? <\/strong><\/h2>\n

L’ingestion de donn\u00e9es est la couche entre les sources de donn\u00e9es et le lac de donn\u00e9es lui-m\u00eame. Cette couche a \u00e9t\u00e9 introduite pour acc\u00e9der aux donn\u00e9es brutes des sources de donn\u00e9es, les optimiser et les ing\u00e9rer ensuite dans le lac de donn\u00e9es.<\/p>\n

Pourtant, il est surprenant de constater que l’ingestion de donn\u00e9es est utilis\u00e9e comme une r\u00e9flexion apr\u00e8s coup ou apr\u00e8s l’insertion des donn\u00e9es dans le lac. En fait, la plupart des entreprises passent compl\u00e8tement \u00e0 c\u00f4t\u00e9 du processus d’ingestion des donn\u00e9es car elles sous-estiment la complexit\u00e9 du transfert des donn\u00e9es des sources de donn\u00e9es vers le lac de donn\u00e9es. Ce n’est qu’au moment critique o\u00f9 ils ont besoin de donn\u00e9es qu’ils se rendent compte qu’ils ont un d\u00e9fi important \u00e0 relever.<\/p>\n

Si l’on y r\u00e9fl\u00e9chit bien, l’objectif d’un lac de donn\u00e9es est de stocker des donn\u00e9es qui peuvent \u00eatre utilis\u00e9es ult\u00e9rieurement sans se soucier de leur structure – mais cela ne signifie pas litt\u00e9ralement qu’il faut les ing\u00e9rer dans le syst\u00e8me sans les nettoyer ou s’assurer qu’elles apportent une valeur ajout\u00e9e.<\/p>\n

Si les donn\u00e9es ne sont pas g\u00e9r\u00e9es, le lac de donn\u00e9es devient un mar\u00e9cage de donn\u00e9es, o\u00f9 des donn\u00e9es confuses se trouvent dans un r\u00e9f\u00e9rentiel qui ne peut \u00eatre ni utilis\u00e9 ni analys\u00e9. Cela va \u00e0 l’encontre de l’objectif d’un lac de donn\u00e9es, et c’est donc la principale cause d’\u00e9chec de la plupart des projets de lac de donn\u00e9es.<\/p>\n

R\u00e9p\u00e9tons-le :<\/p>\n

L’ingestion est un processus planifi\u00e9 qui doit \u00eatre effectu\u00e9 s\u00e9par\u00e9ment avant l’entr\u00e9e des donn\u00e9es dans le syst\u00e8me. Ce processus planifi\u00e9 doit suivre l’objectif de disposer de donn\u00e9es compl\u00e8tes, pr\u00e9cises et coh\u00e9rentes dans le temps. <\/strong><\/p><\/blockquote>\n

Notez que l’ingestion de donn\u00e9es ne signifie pas le perfectionnement des donn\u00e9es brutes. Il permet simplement de maintenir une organisation de base o\u00f9 les doublons sont supprim\u00e9s, les informations incompl\u00e8tes ou nulles sont mises en \u00e9vidence – ce qui facilite la disponibilit\u00e9 de tout ensemble de donn\u00e9es pour une analyse imm\u00e9diate.<\/p>\n

Fonctions d’ingestion de donn\u00e9es <\/strong><\/h3>\n

Si la plupart des lacs de donn\u00e9es int\u00e8grent aujourd’hui l’ingestion de donn\u00e9es, des fonctions cl\u00e9s sont souvent omises. Voici trois fonctions importantes de l’ingestion qui doivent \u00eatre mises en \u0153uvre pour qu’un lac de donn\u00e9es dispose de donn\u00e9es utilisables et pr\u00e9cieuses.<\/p>\n

    \n
  1. Le processus de collecte des donn\u00e9es :<\/strong> L’objectif principal de l’ingestion de donn\u00e9es est de collecter des donn\u00e9es provenant de sources multiples dans des formats multiples – structur\u00e9s, non structur\u00e9s, semi-structur\u00e9s ou multi-structur\u00e9s, de les rendre disponibles sous forme de flux ou de lots et de les d\u00e9placer dans le lac de donn\u00e9es.<\/li>\n
  2. Le processus de filtrage : <\/strong>\u00c0 ce stade pr\u00e9coce du cycle de vie des donn\u00e9es, les donn\u00e9es passent par un processus de filtrage et d’assainissement de base au cours duquel des activit\u00e9s d’analyse et de d\u00e9duplication sont effectu\u00e9es. D’autres op\u00e9rations complexes, telles que l’identification et la suppression des valeurs de donn\u00e9es invalides ou nulles, peuvent \u00e9galement \u00eatre effectu\u00e9es \u00e0 l’aide de scripts.<\/li>\n
  3. Le processus de transport : <\/strong>Le transport des donn\u00e9es vers leurs magasins respectifs au sein du lac de donn\u00e9es est un processus qui d\u00e9pend de la clart\u00e9 des r\u00e8gles de routage et des proc\u00e9dures d’automatisation mises en place.<\/li>\n<\/ol>\n

    Ingestion par lots ou en continu <\/strong><\/h3>\n

    Il existe deux types de mod\u00e8les d’ingestion, qui d\u00e9pendent tous deux du type d’exigences ou d’attentes des entreprises vis-\u00e0-vis de leurs donn\u00e9es.<\/p>\n

    Traitement par lots : <\/strong>Il s’agit du type le plus courant d’ingestion de donn\u00e9es o\u00f9 des groupes de donn\u00e9es sources sont p\u00e9riodiquement collect\u00e9s et envoy\u00e9s au syst\u00e8me de destination. Il peut s’agir d’un simple calendrier dans lequel les donn\u00e9es sources sont regroup\u00e9es en fonction d’un ordre logique ou de certaines conditions. Le traitement par lots est g\u00e9n\u00e9ralement plus facile \u00e0 g\u00e9rer via l’automatisation et constitue \u00e9galement un mod\u00e8le abordable.<\/p>\n

    Streaming : <\/strong>Il s’agit d’un traitement en temps r\u00e9el qui n’implique aucun regroupement. Les donn\u00e9es sont charg\u00e9es d\u00e8s qu’elles apparaissent et sont reconnues par la couche d’ingestion. Bien qu’il s’agisse d’un mod\u00e8le co\u00fbteux et plus complexe, il fonctionne efficacement pour les organisations qui ont besoin de donn\u00e9es imm\u00e9diates, continues et rafra\u00eechies.<\/p>\n

    Les d\u00e9fis de l’ingestion du lac de donn\u00e9es <\/strong><\/h2>\n

    Si l’ingestion de donn\u00e9es tente de r\u00e9soudre les probl\u00e8mes li\u00e9s aux lacs de donn\u00e9es, elle n’est pas sans poser son lot de difficult\u00e9s. Certaines difficult\u00e9s peuvent avoir un impact sur la couche d’ingestion, ce qui se r\u00e9percute sur les performances du lac de donn\u00e9es.<\/p>\n

    Examinons quelques d\u00e9fis majeurs.<\/p>\n

    G\u00e9rer le volume de donn\u00e9es entrantes avec rapidit\u00e9 <\/strong><\/h3>\n

    Les volumes de donn\u00e9es ont explos\u00e9 et, \u00e0 mesure que l’\u00e9cosyst\u00e8me mondial devient plus connect\u00e9 et int\u00e9gr\u00e9, les volumes de donn\u00e9es vont augmenter de mani\u00e8re exponentielle. De plus, les sources de donn\u00e9es elles-m\u00eames \u00e9voluent constamment, ce qui signifie que les lacs de donn\u00e9es et les couches d’ingestion de donn\u00e9es doivent \u00eatre suffisamment robustes pour ing\u00e9rer ce volume et cette diversit\u00e9 de donn\u00e9es. Le d\u00e9fi est encore plus difficile \u00e0 relever lorsque les organisations mettent en \u0153uvre un processus d’ingestion de donn\u00e9es en temps r\u00e9el qui exige que les donn\u00e9es soient mises \u00e0 jour et ing\u00e9r\u00e9es \u00e0 une vitesse rapide.<\/p>\n

    L’ingestion de donn\u00e9es et les lacs de donn\u00e9es \u00e9tant des technologies relativement r\u00e9centes, elles doivent encore atteindre une vitesse fulgurante. Selon l’application, le traitement des donn\u00e9es en temps r\u00e9el peut prendre jusqu’\u00e0 10 minutes pour chaque mise \u00e0 jour.<\/p>\n

    Respecter les nouvelles directives en mati\u00e8re de conformit\u00e9 des donn\u00e9es <\/strong><\/h3>\n

    La conformit\u00e9 des donn\u00e9es l\u00e9gales des pays du monde entier a rendu difficile pour les entreprises de trier leurs donn\u00e9es en fonction des conformit\u00e9s r\u00e9glementaires. Les entreprises doivent se conformer au GDPR europ\u00e9en ainsi qu’\u00e0 des dizaines d’autres r\u00e8glements de conformit\u00e9 aux \u00c9tats-Unis. Les donn\u00e9es doivent donc \u00eatre tri\u00e9es en fonction de ces r\u00e9glementations au niveau de la couche d’ingestion pour \u00e9viter tout probl\u00e8me en aval. Cela n\u00e9cessite une planification globale de l’ingestion des donn\u00e9es.<\/p>\n

    Nettoyage des donn\u00e9es pour la pr\u00e9paration des donn\u00e9es <\/strong><\/h3>\n

    C’est un d\u00e9fi tr\u00e8s n\u00e9glig\u00e9 des lacs de donn\u00e9es. D’une certaine mani\u00e8re, on suppose que le processus de nettoyage ne doit avoir lieu que lorsque les donn\u00e9es sont n\u00e9cessaires \u00e0 l’analyse. Non seulement cette approche provoque d’importants goulets d’\u00e9tranglement, mais elle expose l’entreprise aux deux autres d\u00e9fis susmentionn\u00e9s que sont la confidentialit\u00e9 et la s\u00e9curit\u00e9 des donn\u00e9es.<\/p>\n

    Le nettoyage des donn\u00e9es pour la pr\u00e9paration des donn\u00e9es<\/a> doit id\u00e9alement commencer avant que les donn\u00e9es ne soient ing\u00e9r\u00e9es dans le lac. En effectuant un nettoyage de base, l’\u00e9quipe charg\u00e9e des donn\u00e9es ne perdra pas son temps \u00e0 essayer de donner un sens \u00e0 des donn\u00e9es brutes. \u00c0 ce stade, les donn\u00e9es brutes doivent \u00eatre filtr\u00e9es pour \u00e9viter les doublons, les champs incomplets ou invalides, etc. Une fois cette \u00e9tape franchie, les analystes peuvent choisir d’effectuer d’autres r\u00e9glages ou optimisations en fonction de leur objectif.<\/p>\n

    Qualit\u00e9 des donn\u00e9es dans l’ingestion du lac de donn\u00e9es <\/strong><\/h3>\n

    Que ce soit lors de la phase d’ingestion des donn\u00e9es ou de leur transformation, une solution de qualit\u00e9 des donn\u00e9es sera n\u00e9cessaire pour traiter les donn\u00e9es avant qu’elles ne soient utilis\u00e9es pour l’analyse. Quand nous parlons de qualit\u00e9 des donn\u00e9es, nous nous concentrons principalement sur :<\/p>\n