Un bref aper\u00e7u de l’ETL<\/strong><\/h2>\nL’extraction, le chargement et la transformation (ETL) n’ont gu\u00e8re besoin d’\u00eatre pr\u00e9sent\u00e9s. D\u00e9velopp\u00e9e dans les ann\u00e9es 1970, cette technologie de pointe \u00e9tait utilis\u00e9e pour m\u00e9langer des donn\u00e9es provenant de sources multiples. Les actions primaires \u00e9tant :<\/p>\n
Extraction : <\/strong>D\u00e9river, copier ou extraire des donn\u00e9es d’une source du syst\u00e8me.<\/p>\nTransformer : <\/strong>Reformater les donn\u00e9es pour les utiliser dans un nouveau syst\u00e8me.<\/p>\nChargement : <\/strong>Introduire les donn\u00e9es dans le nouveau syst\u00e8me<\/p>\n![\"Illustration](\"https:\/\/d33wubrfki0l68.cloudfront.net\/73f464eaeb06d40e6d7efedb55892af06b7bcf11\/da0b2\/images\/illustrations\/asset-etl-traditional.png\")
Source : Stitch Data<\/figcaption><\/figure>\nLes solutions ETL ont aid\u00e9 les entreprises \u00e0 consolider les donn\u00e9es provenant de sources multiples, en particulier dans les ann\u00e9es 1980 et 1990, lorsque l’entreposage de donn\u00e9es est devenu populaire. L’ETL \u00e9tait utilis\u00e9 pour int\u00e9grer les donn\u00e9es<\/a> de plusieurs syst\u00e8mes – ordinateurs centraux, PC, tableurs, etc. dans une seule base de donn\u00e9es. Le probl\u00e8me ? \u00c0 mesure que la complexit\u00e9 des donn\u00e9es augmentait, les entreprises ont commenc\u00e9 \u00e0 utiliser diff\u00e9rents outils ETL pour g\u00e9rer diff\u00e9rents types d’entrep\u00f4ts de donn\u00e9es.<\/p>\nAu fil du temps, les formats de donn\u00e9es, les syst\u00e8mes et les sources se sont d\u00e9velopp\u00e9s – en complexit\u00e9 et en volume – et les m\u00e9thodes ETL traditionnelles n’ont plus tenu le coup. Bien que le processus ETL de base reste un \u00e9l\u00e9ment essentiel de l’\u00e9cosyst\u00e8me des donn\u00e9es, ses d\u00e9fis ont donn\u00e9 lieu \u00e0 des approches et des processus plus r\u00e9cents.<\/p>\n
Les d\u00e9fis de l’ETL : <\/strong><\/h2>\nUn syst\u00e8me ETL typique est efficace lorsque les donn\u00e9es sont structur\u00e9es, orient\u00e9es vers le traitement par lots et ont \u00e9t\u00e9 r\u00e9guli\u00e8rement mises \u00e0 jour. Cependant, avec des donn\u00e9es en continu sensibles au temps, les syst\u00e8mes ETL ont tendance \u00e0 \u00e9chouer, \u00e0 moins que le syst\u00e8me ne soit modifi\u00e9 par une programmation personnalis\u00e9e. M\u00eame dans ce cas, un syst\u00e8me ETL dans un environnement en temps r\u00e9el sera confront\u00e9 aux exigences de faible latence et de haute disponibilit\u00e9.<\/p>\n
Le processus ETL lui-m\u00eame est devenu de plus en plus complexe, notamment en raison de l’expansion des formats de donn\u00e9es et de la n\u00e9cessit\u00e9 d’utiliser plusieurs scripts et API pour chaque format afin d’analyser les donn\u00e9es. Cela impliquait que si des API ou des pilotes compatibles n’\u00e9taient pas disponibles, les sp\u00e9cialistes ETL devaient coder sp\u00e9cifiquement un processus ETL – une t\u00e2che fastidieuse si l’on consid\u00e8re qu’une source de donn\u00e9es d’une entreprise moyenne comporte des millions de lignes de donn\u00e9es.<\/p>\n
Bien qu’il existe de nombreux outils ETL disponibles sur le march\u00e9, capables de traiter des donn\u00e9es complexes et de surmonter les d\u00e9fis de l’ETL, ils n\u00e9cessitent toujours une courbe d’apprentissage importante et la mise en \u0153uvre de processus suppl\u00e9mentaires pour rendre les donn\u00e9es exploitables.<\/p>\n
Saisir les solutions de pr\u00e9paration des donn\u00e9es.<\/p>\n
Qu’est-ce que la pr\u00e9paration des donn\u00e9es et en quoi est-elle diff\u00e9rente de l’ETL ? <\/strong><\/h2>\nL’ETL et la pr\u00e9paration des donn\u00e9es sont souvent confondus comme un seul processus. Bien qu’il y ait une part de v\u00e9rit\u00e9 \u00e0 cela, puisque la pr\u00e9paration des donn\u00e9es implique le processus d’extraction et de transformation des donn\u00e9es et la r\u00e9solution des m\u00eames probl\u00e8mes, il existe des caract\u00e9ristiques distinctes qui font de la pr\u00e9paration des donn\u00e9es une m\u00e9thode plus flexible que l’ETL.<\/p>\n
Lapr\u00e9paration des donn\u00e9es<\/a> peut \u00eatre d\u00e9crite comme le processus consistant \u00e0 \u00ab\u00a0pr\u00e9parer\u00a0\u00bb ou \u00e0 rendre les donn\u00e9es pr\u00eates pour l’analyse et le rapport. Bien qu’elle soit similaire \u00e0 l’ETL, il s’agit d’une solution visuelle, en libre-service et facile \u00e0 utiliser qui donne \u00e0 un utilisateur professionnel la possibilit\u00e9 de pr\u00e9parer des donn\u00e9es, contrairement \u00e0 l’ETL qui \u00e9tait avant tout un processus informatique g\u00e9r\u00e9 exclusivement par l’\u00e9quipe informatique.<\/p>\nSelon Jon Pikington de Dataversity<\/a>, la pr\u00e9paration des donn\u00e9es est ,
\n\u00ab\u00a0la technologie qui permet aux administrateurs de prendre plus rapidement de meilleures d\u00e9cisions gr\u00e2ce \u00e0 la qualit\u00e9 des donn\u00e9es et \u00e0 leur acc\u00e8s.\u00a0\u00bb <\/em>
\n<\/strong><\/p>\nLes entreprises utilisent la pr\u00e9paration des donn\u00e9es pour :<\/p>\n
\n- Permettre aux utilisateurs de pr\u00e9parer facilement leurs donn\u00e9es en fonction des exigences de l’analyse.<\/li>\n
- R\u00e9duire la charge de l’informatique et faire de la pr\u00e9paration des donn\u00e9es un processus automatis\u00e9.<\/li>\n
- Donner du sens \u00e0 des donn\u00e9es complexes<\/li>\n
- Faites correspondre, consolidez, nettoyez et r\u00e9solvez les probl\u00e8mes li\u00e9s aux donn\u00e9es sans exiger d’expertise technique ou de programmation.<\/li>\n<\/ul>\n
Ainsi, si l’ETL est un processus technique mis en \u0153uvre pour d\u00e9placer les donn\u00e9es, il ne dispose pas des fonctionnalit\u00e9s suppl\u00e9mentaires que les solutions de pr\u00e9paration des donn\u00e9es tendent \u00e0 offrir. Voici quelques-uns des principaux avantages de la pr\u00e9paration des donn\u00e9es :<\/p>\n
\n- Les donn\u00e9es sont pr\u00e9par\u00e9es par ceux qui les connaissent le mieux <\/strong><\/li>\n<\/ol>\n
Le principal avantage de la pr\u00e9paration des donn\u00e9es est le fait que les donn\u00e9es peuvent \u00eatre pr\u00e9par\u00e9es par les utilisateurs professionnels qui les connaissent le mieux. Par exemple, les utilisateurs professionnels du d\u00e9partement marketing peuvent utiliser un outil de pr\u00e9paration des donn\u00e9es pour identifier les utilisateurs de m\u00e9dias sociaux les plus actifs qui, s’ils \u00e9taient confi\u00e9s \u00e0 l’informatique, ne donneraient pas un r\u00e9sultat pr\u00e9cis. Les donn\u00e9es ne sont pas que des chiffres et du texte. Chaque ensemble de donn\u00e9es comporte un contexte inh\u00e9rent qui ne peut \u00eatre compris et identifi\u00e9 que par les personnes qui utiliseront ces donn\u00e9es.<\/p>\n
\n- Faciliter l’analyse pr\u00e9dictive <\/strong><\/li>\n<\/ol>\n
L’analyse pr\u00e9dictive fait r\u00e9f\u00e9rence au processus de pr\u00e9vision du comportement et des attentes des entit\u00e9s (clients) par l’\u00e9tude ou l’analyse d’ensembles de donn\u00e9es actuelles. Les entreprises doivent faire correspondre plusieurs sources de donn\u00e9es telles que les m\u00e9dias sociaux, les enqu\u00eates en ligne, les comportements d’achat, l’historique des achats, l’historique des billets, etc. pour obtenir une image de leur public, ce qui leur permet de faire des pr\u00e9dictions.<\/p>\n
L’ETL ne permet pas ce niveau de rapprochement<\/a> et de consolidation intelligents des donn\u00e9es<\/a>, ce qui le rend inutile pour toute entreprise qui souhaite obtenir des informations strat\u00e9giques. Les outils de pr\u00e9paration des donn\u00e9es, quant \u00e0 eux, permettent aux entreprises de faire correspondre des champs de donn\u00e9es complexes dans ou entre plusieurs ensembles de donn\u00e9es et de cr\u00e9er une source de v\u00e9rit\u00e9 unique et consolid\u00e9e sans avoir besoin de comp\u00e9tences ou de connaissances techniques.<\/p>\n\n- Flexibilit\u00e9 dans le nettoyage des donn\u00e9es<\/strong><\/li>\n<\/ol>\n
Les outils ETL reposent sur des r\u00e8gles et des flux de travail structur\u00e9s. Les probl\u00e8mes tels que les noms abr\u00e9g\u00e9s, les caract\u00e8res suppl\u00e9mentaires, les fautes d’orthographe ou m\u00eame les ponctuations dans les num\u00e9ros de t\u00e9l\u00e9phone doivent \u00eatre pr\u00e9d\u00e9finis pour que l’ETL les d\u00e9tecte. La plupart du temps, cependant, certaines erreurs sont si trompeuses par nature (par exemple l’utilisation de surnoms par rapport aux vrais noms) qu’il est difficile de les pr\u00e9d\u00e9finir et de cr\u00e9er des r\u00e8gles pour elles. Deuxi\u00e8mement, l’ETL implique qu’un utilisateur doit conna\u00eetre les failles de ses donn\u00e9es avant de pouvoir les corriger – mais il existe de nombreux cas o\u00f9 un utilisateur ne conna\u00eet tout simplement pas les probl\u00e8mes qui affectent ses donn\u00e9es.<\/p>\n
Les outils de pr\u00e9paration des donn\u00e9es n’imposent pas de telles r\u00e8gles aux utilisateurs. En fait, les meilleurs outils de pr\u00e9paration des donn\u00e9es du march\u00e9 ont des algorithmes pr\u00e9d\u00e9finis qui capturent tous les probl\u00e8mes possibles d’un champ de donn\u00e9es et permettent \u00e0 l’utilisateur de voir les probl\u00e8mes de ses donn\u00e9es. L’outil donne \u00e0 l’utilisateur une repr\u00e9sentation visuelle de la sant\u00e9 de ses donn\u00e9es – les colonnes contenant des donn\u00e9es manquantes ou invalides, les champs comportant des fautes d’orthographe ou de caract\u00e8res, les espaces suppl\u00e9mentaires entre les caract\u00e8res, etc. peuvent tous \u00eatre vus et corrig\u00e9s par l’utilisateur avant d’utiliser les donn\u00e9es.<\/p>\n
Comme vous pouvez maintenant le constater, l’ETL et la pr\u00e9paration des donn\u00e9es, bien qu’ils remplissent essentiellement les m\u00eames fonctions, ont des utilisations distinctes. Alors que l’ETL est un processus d’extraction de donn\u00e9es en arri\u00e8re-plan, un outil de pr\u00e9paration des donn\u00e9es est un outil commercial qui permet aux utilisateurs d’affiner et de pr\u00e9parer leurs donn\u00e9es pour une utilisation commerciale.<\/p>\n
Utilisation de l’API d’un outil de pr\u00e9paration de donn\u00e9es avec un tube ETL – Un exemple <\/strong><\/h2>\nDe nombreuses entreprises utilisent \u00e0 la fois l’ETL et la pr\u00e9paration des donn\u00e9es pour g\u00e9rer efficacement leurs donn\u00e9es. Cela est possible en int\u00e9grant l’API de l’outil de pr\u00e9paration des donn\u00e9es au tuyau ETL de l’\u00e9cosyst\u00e8me de donn\u00e9es de l’organisation. De cette fa\u00e7on, les donn\u00e9es en temps r\u00e9el sont nettoy\u00e9es et appari\u00e9es avant que l’outil ETL ne charge ces donn\u00e9es dans une nouvelle source de donn\u00e9es.<\/p>\n
Voici un petit exemple d’un des clients de Data Ladder qui utilise \u00e0 la fois l’ETL et notre logiciel de pr\u00e9paration de donn\u00e9es pour atteindre ses objectifs.<\/p>\n
Pensez \u00e0 un sc\u00e9nario ETL dans lequel l’organisation dispose d’une tonne de donn\u00e9es de base\/ma\u00eetresses, et traite des milliers, des dizaines de milliers, des centaines de milliers ou des millions de transactions par jour\/semaine, etc. et souhaite diffuser ces donn\u00e9es en continu par rapport \u00e0 ses donn\u00e9es de base, en enrichissant ces derni\u00e8res avec les d\u00e9tails des transactions.<\/p>\n
Le cas d’utilisation du streaming est l’analyse pr\u00e9dictive. L’organisation dispose de donn\u00e9es de base, mais elle recueille \u00e9galement de grandes quantit\u00e9s de donn\u00e9es suppl\u00e9mentaires, afin d’enrichir ses donn\u00e9es de base, telles que les int\u00e9r\u00eats des consommateurs, le score de cr\u00e9dit, les informations de g\u00e9olocalisation. etc., les solutions ETL ne font pas tr\u00e8s bien le rapprochement. Ils veulent donc enrichir ces donn\u00e9es de base avec des tonnes de nouvelles donn\u00e9es, en temps r\u00e9el, \u00e0 la vol\u00e9e, et cela ne fonctionnera pas si le nom de leur base de donn\u00e9es de base est Peggy Sheridan et le nom de ces nouvelles donn\u00e9es est Margaret Sheridan.<\/p>\n
Le tube ETL de l’organisation peut utiliser l’API de Data Ladder pour invoquer le nettoyage<\/a> et la correspondance afin d’extraire l’identifiant unique de leurs donn\u00e9es de base, d’ajouter cet identifiant unique aux nouvelles donn\u00e9es correspondantes et de mettre \u00e0 jour leurs donn\u00e9es de base avec ces nouveaux attributs.<\/p>\nComment Data Ladder aide-t-il \u00e0 la pr\u00e9paration des donn\u00e9es ?<\/strong><\/h2>\nLe logiciel phare deData Ladder<\/a>, DataMatch Enterprise, permet de pr\u00e9parer facilement les donn\u00e9es en permettant aux utilisateurs de :<\/p>\nInt\u00e9grer des donn\u00e9es : <\/strong>Int\u00e9grez les donn\u00e9es de plus de 150 applications et obtenez les ensembles de donn\u00e9es dont vous avez besoin pour vos analyses et rapports.<\/p>\nProfil des donn\u00e9es : <\/strong>Identifiez visuellement les failles de vos donn\u00e9es. Vous pouvez voir les probl\u00e8mes qui affectent vos donn\u00e9es, notamment les fautes d’orthographe, les erreurs de chiffres, les probl\u00e8mes de ponctuation et bien plus encore.<\/p>\n
Transformer : <\/strong>Reformater les donn\u00e9es pour les utiliser dans un nouveau syst\u00e8me.<\/p>\n Chargement : <\/strong>Introduire les donn\u00e9es dans le nouveau syst\u00e8me<\/p>\n Les solutions ETL ont aid\u00e9 les entreprises \u00e0 consolider les donn\u00e9es provenant de sources multiples, en particulier dans les ann\u00e9es 1980 et 1990, lorsque l’entreposage de donn\u00e9es est devenu populaire. L’ETL \u00e9tait utilis\u00e9 pour int\u00e9grer les donn\u00e9es<\/a> de plusieurs syst\u00e8mes – ordinateurs centraux, PC, tableurs, etc. dans une seule base de donn\u00e9es. Le probl\u00e8me ? \u00c0 mesure que la complexit\u00e9 des donn\u00e9es augmentait, les entreprises ont commenc\u00e9 \u00e0 utiliser diff\u00e9rents outils ETL pour g\u00e9rer diff\u00e9rents types d’entrep\u00f4ts de donn\u00e9es.<\/p>\n Au fil du temps, les formats de donn\u00e9es, les syst\u00e8mes et les sources se sont d\u00e9velopp\u00e9s – en complexit\u00e9 et en volume – et les m\u00e9thodes ETL traditionnelles n’ont plus tenu le coup. Bien que le processus ETL de base reste un \u00e9l\u00e9ment essentiel de l’\u00e9cosyst\u00e8me des donn\u00e9es, ses d\u00e9fis ont donn\u00e9 lieu \u00e0 des approches et des processus plus r\u00e9cents.<\/p>\n Un syst\u00e8me ETL typique est efficace lorsque les donn\u00e9es sont structur\u00e9es, orient\u00e9es vers le traitement par lots et ont \u00e9t\u00e9 r\u00e9guli\u00e8rement mises \u00e0 jour. Cependant, avec des donn\u00e9es en continu sensibles au temps, les syst\u00e8mes ETL ont tendance \u00e0 \u00e9chouer, \u00e0 moins que le syst\u00e8me ne soit modifi\u00e9 par une programmation personnalis\u00e9e. M\u00eame dans ce cas, un syst\u00e8me ETL dans un environnement en temps r\u00e9el sera confront\u00e9 aux exigences de faible latence et de haute disponibilit\u00e9.<\/p>\n Le processus ETL lui-m\u00eame est devenu de plus en plus complexe, notamment en raison de l’expansion des formats de donn\u00e9es et de la n\u00e9cessit\u00e9 d’utiliser plusieurs scripts et API pour chaque format afin d’analyser les donn\u00e9es. Cela impliquait que si des API ou des pilotes compatibles n’\u00e9taient pas disponibles, les sp\u00e9cialistes ETL devaient coder sp\u00e9cifiquement un processus ETL – une t\u00e2che fastidieuse si l’on consid\u00e8re qu’une source de donn\u00e9es d’une entreprise moyenne comporte des millions de lignes de donn\u00e9es.<\/p>\n Bien qu’il existe de nombreux outils ETL disponibles sur le march\u00e9, capables de traiter des donn\u00e9es complexes et de surmonter les d\u00e9fis de l’ETL, ils n\u00e9cessitent toujours une courbe d’apprentissage importante et la mise en \u0153uvre de processus suppl\u00e9mentaires pour rendre les donn\u00e9es exploitables.<\/p>\n Saisir les solutions de pr\u00e9paration des donn\u00e9es.<\/p>\n L’ETL et la pr\u00e9paration des donn\u00e9es sont souvent confondus comme un seul processus. Bien qu’il y ait une part de v\u00e9rit\u00e9 \u00e0 cela, puisque la pr\u00e9paration des donn\u00e9es implique le processus d’extraction et de transformation des donn\u00e9es et la r\u00e9solution des m\u00eames probl\u00e8mes, il existe des caract\u00e9ristiques distinctes qui font de la pr\u00e9paration des donn\u00e9es une m\u00e9thode plus flexible que l’ETL.<\/p>\n Lapr\u00e9paration des donn\u00e9es<\/a> peut \u00eatre d\u00e9crite comme le processus consistant \u00e0 \u00ab\u00a0pr\u00e9parer\u00a0\u00bb ou \u00e0 rendre les donn\u00e9es pr\u00eates pour l’analyse et le rapport. Bien qu’elle soit similaire \u00e0 l’ETL, il s’agit d’une solution visuelle, en libre-service et facile \u00e0 utiliser qui donne \u00e0 un utilisateur professionnel la possibilit\u00e9 de pr\u00e9parer des donn\u00e9es, contrairement \u00e0 l’ETL qui \u00e9tait avant tout un processus informatique g\u00e9r\u00e9 exclusivement par l’\u00e9quipe informatique.<\/p>\n Selon Jon Pikington de Dataversity<\/a>, la pr\u00e9paration des donn\u00e9es est , Les entreprises utilisent la pr\u00e9paration des donn\u00e9es pour :<\/p>\n Ainsi, si l’ETL est un processus technique mis en \u0153uvre pour d\u00e9placer les donn\u00e9es, il ne dispose pas des fonctionnalit\u00e9s suppl\u00e9mentaires que les solutions de pr\u00e9paration des donn\u00e9es tendent \u00e0 offrir. Voici quelques-uns des principaux avantages de la pr\u00e9paration des donn\u00e9es :<\/p>\n Le principal avantage de la pr\u00e9paration des donn\u00e9es est le fait que les donn\u00e9es peuvent \u00eatre pr\u00e9par\u00e9es par les utilisateurs professionnels qui les connaissent le mieux. Par exemple, les utilisateurs professionnels du d\u00e9partement marketing peuvent utiliser un outil de pr\u00e9paration des donn\u00e9es pour identifier les utilisateurs de m\u00e9dias sociaux les plus actifs qui, s’ils \u00e9taient confi\u00e9s \u00e0 l’informatique, ne donneraient pas un r\u00e9sultat pr\u00e9cis. Les donn\u00e9es ne sont pas que des chiffres et du texte. Chaque ensemble de donn\u00e9es comporte un contexte inh\u00e9rent qui ne peut \u00eatre compris et identifi\u00e9 que par les personnes qui utiliseront ces donn\u00e9es.<\/p>\n L’analyse pr\u00e9dictive fait r\u00e9f\u00e9rence au processus de pr\u00e9vision du comportement et des attentes des entit\u00e9s (clients) par l’\u00e9tude ou l’analyse d’ensembles de donn\u00e9es actuelles. Les entreprises doivent faire correspondre plusieurs sources de donn\u00e9es telles que les m\u00e9dias sociaux, les enqu\u00eates en ligne, les comportements d’achat, l’historique des achats, l’historique des billets, etc. pour obtenir une image de leur public, ce qui leur permet de faire des pr\u00e9dictions.<\/p>\n L’ETL ne permet pas ce niveau de rapprochement<\/a> et de consolidation intelligents des donn\u00e9es<\/a>, ce qui le rend inutile pour toute entreprise qui souhaite obtenir des informations strat\u00e9giques. Les outils de pr\u00e9paration des donn\u00e9es, quant \u00e0 eux, permettent aux entreprises de faire correspondre des champs de donn\u00e9es complexes dans ou entre plusieurs ensembles de donn\u00e9es et de cr\u00e9er une source de v\u00e9rit\u00e9 unique et consolid\u00e9e sans avoir besoin de comp\u00e9tences ou de connaissances techniques.<\/p>\n Les outils ETL reposent sur des r\u00e8gles et des flux de travail structur\u00e9s. Les probl\u00e8mes tels que les noms abr\u00e9g\u00e9s, les caract\u00e8res suppl\u00e9mentaires, les fautes d’orthographe ou m\u00eame les ponctuations dans les num\u00e9ros de t\u00e9l\u00e9phone doivent \u00eatre pr\u00e9d\u00e9finis pour que l’ETL les d\u00e9tecte. La plupart du temps, cependant, certaines erreurs sont si trompeuses par nature (par exemple l’utilisation de surnoms par rapport aux vrais noms) qu’il est difficile de les pr\u00e9d\u00e9finir et de cr\u00e9er des r\u00e8gles pour elles. Deuxi\u00e8mement, l’ETL implique qu’un utilisateur doit conna\u00eetre les failles de ses donn\u00e9es avant de pouvoir les corriger – mais il existe de nombreux cas o\u00f9 un utilisateur ne conna\u00eet tout simplement pas les probl\u00e8mes qui affectent ses donn\u00e9es.<\/p>\n Les outils de pr\u00e9paration des donn\u00e9es n’imposent pas de telles r\u00e8gles aux utilisateurs. En fait, les meilleurs outils de pr\u00e9paration des donn\u00e9es du march\u00e9 ont des algorithmes pr\u00e9d\u00e9finis qui capturent tous les probl\u00e8mes possibles d’un champ de donn\u00e9es et permettent \u00e0 l’utilisateur de voir les probl\u00e8mes de ses donn\u00e9es. L’outil donne \u00e0 l’utilisateur une repr\u00e9sentation visuelle de la sant\u00e9 de ses donn\u00e9es – les colonnes contenant des donn\u00e9es manquantes ou invalides, les champs comportant des fautes d’orthographe ou de caract\u00e8res, les espaces suppl\u00e9mentaires entre les caract\u00e8res, etc. peuvent tous \u00eatre vus et corrig\u00e9s par l’utilisateur avant d’utiliser les donn\u00e9es.<\/p>\n Comme vous pouvez maintenant le constater, l’ETL et la pr\u00e9paration des donn\u00e9es, bien qu’ils remplissent essentiellement les m\u00eames fonctions, ont des utilisations distinctes. Alors que l’ETL est un processus d’extraction de donn\u00e9es en arri\u00e8re-plan, un outil de pr\u00e9paration des donn\u00e9es est un outil commercial qui permet aux utilisateurs d’affiner et de pr\u00e9parer leurs donn\u00e9es pour une utilisation commerciale.<\/p>\n De nombreuses entreprises utilisent \u00e0 la fois l’ETL et la pr\u00e9paration des donn\u00e9es pour g\u00e9rer efficacement leurs donn\u00e9es. Cela est possible en int\u00e9grant l’API de l’outil de pr\u00e9paration des donn\u00e9es au tuyau ETL de l’\u00e9cosyst\u00e8me de donn\u00e9es de l’organisation. De cette fa\u00e7on, les donn\u00e9es en temps r\u00e9el sont nettoy\u00e9es et appari\u00e9es avant que l’outil ETL ne charge ces donn\u00e9es dans une nouvelle source de donn\u00e9es.<\/p>\n Voici un petit exemple d’un des clients de Data Ladder qui utilise \u00e0 la fois l’ETL et notre logiciel de pr\u00e9paration de donn\u00e9es pour atteindre ses objectifs.<\/p>\n Pensez \u00e0 un sc\u00e9nario ETL dans lequel l’organisation dispose d’une tonne de donn\u00e9es de base\/ma\u00eetresses, et traite des milliers, des dizaines de milliers, des centaines de milliers ou des millions de transactions par jour\/semaine, etc. et souhaite diffuser ces donn\u00e9es en continu par rapport \u00e0 ses donn\u00e9es de base, en enrichissant ces derni\u00e8res avec les d\u00e9tails des transactions.<\/p>\n Le cas d’utilisation du streaming est l’analyse pr\u00e9dictive. L’organisation dispose de donn\u00e9es de base, mais elle recueille \u00e9galement de grandes quantit\u00e9s de donn\u00e9es suppl\u00e9mentaires, afin d’enrichir ses donn\u00e9es de base, telles que les int\u00e9r\u00eats des consommateurs, le score de cr\u00e9dit, les informations de g\u00e9olocalisation. etc., les solutions ETL ne font pas tr\u00e8s bien le rapprochement. Ils veulent donc enrichir ces donn\u00e9es de base avec des tonnes de nouvelles donn\u00e9es, en temps r\u00e9el, \u00e0 la vol\u00e9e, et cela ne fonctionnera pas si le nom de leur base de donn\u00e9es de base est Peggy Sheridan et le nom de ces nouvelles donn\u00e9es est Margaret Sheridan.<\/p>\n Le tube ETL de l’organisation peut utiliser l’API de Data Ladder pour invoquer le nettoyage<\/a> et la correspondance afin d’extraire l’identifiant unique de leurs donn\u00e9es de base, d’ajouter cet identifiant unique aux nouvelles donn\u00e9es correspondantes et de mettre \u00e0 jour leurs donn\u00e9es de base avec ces nouveaux attributs.<\/p>\n Le logiciel phare deData Ladder<\/a>, DataMatch Enterprise, permet de pr\u00e9parer facilement les donn\u00e9es en permettant aux utilisateurs de :<\/p>\n Int\u00e9grer des donn\u00e9es : <\/strong>Int\u00e9grez les donn\u00e9es de plus de 150 applications et obtenez les ensembles de donn\u00e9es dont vous avez besoin pour vos analyses et rapports.<\/p>\n Profil des donn\u00e9es : <\/strong>Identifiez visuellement les failles de vos donn\u00e9es. Vous pouvez voir les probl\u00e8mes qui affectent vos donn\u00e9es, notamment les fautes d’orthographe, les erreurs de chiffres, les probl\u00e8mes de ponctuation et bien plus encore.<\/p>\nLes d\u00e9fis de l’ETL : <\/strong><\/h2>\n
Qu’est-ce que la pr\u00e9paration des donn\u00e9es et en quoi est-elle diff\u00e9rente de l’ETL ? <\/strong><\/h2>\n
\n\u00ab\u00a0la technologie qui permet aux administrateurs de prendre plus rapidement de meilleures d\u00e9cisions gr\u00e2ce \u00e0 la qualit\u00e9 des donn\u00e9es et \u00e0 leur acc\u00e8s.\u00a0\u00bb <\/em>
\n<\/strong><\/p>\n\n
\n
\n
\n
Utilisation de l’API d’un outil de pr\u00e9paration de donn\u00e9es avec un tube ETL – Un exemple <\/strong><\/h2>\n
Comment Data Ladder aide-t-il \u00e0 la pr\u00e9paration des donn\u00e9es ?<\/strong><\/h2>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2018\/09\/data-profiling-1024x487.png\")
En outre, vous pouvez utiliser DataMatch Enterprise pour profiler et corriger vos donn\u00e9es en fonction de r\u00e8gles pr\u00e9d\u00e9finies ou de r\u00e8gles commerciales suppl\u00e9mentaires que vous souhaitez cr\u00e9er. Le meilleur ? Il n’est pas n\u00e9cessaire de conna\u00eetre un quelconque langage de programmation pour pr\u00e9parer vos donn\u00e9es \u00e0 l’aide de DataMatch Enterprise.<\/p>\n