{"id":63026,"date":"2020-08-21T00:00:00","date_gmt":"2020-08-21T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/profilage-des-donnees-et-nettoyage-des-donnees-principales-differences-cas-dutilisation-et-importance-dans-les-environnements-commerciaux-actuels\/"},"modified":"2022-03-29T06:58:26","modified_gmt":"2022-03-29T06:58:26","slug":"profilage-des-donnees-et-nettoyage-des-donnees-principales-differences-cas-dutilisation-et-importance-dans-les-environnements-commerciaux-actuels","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/profilage-des-donnees-et-nettoyage-des-donnees-principales-differences-cas-dutilisation-et-importance-dans-les-environnements-commerciaux-actuels\/","title":{"rendered":"Profilage des donn\u00e9es et nettoyage des donn\u00e9es – Principales diff\u00e9rences, cas d’utilisation et importance dans les environnements commerciaux actuels"},"content":{"rendered":"

Alors que nous traversons la r\u00e9volution industrielle des donn\u00e9es, les entreprises commencent \u00e0 se rendre compte de l’inad\u00e9quation des outils traditionnels de gestion des donn\u00e9es pour g\u00e9rer la complexit\u00e9 des donn\u00e9es modernes. Nombreux sont ceux qui ont d\u00fb faire l’exp\u00e9rience de l’\u00e9chec d’initiatives de migration ou de transformation dues \u00e0 des donn\u00e9es de mauvaise qualit\u00e9, \u00e0 l’absence de syst\u00e8mes de gestion de la qualit\u00e9 des donn\u00e9es et au recours \u00e0 des m\u00e9thodes d\u00e9pass\u00e9es qui ne sont plus efficaces. <\/span><\/p>\n

Chez Data Ladder<\/a>, nous consid\u00e9rons la qualit\u00e9 des donn\u00e9es comme un processus n\u00e9cessaire et continu qui doit \u00eatre int\u00e9gr\u00e9 dans et entre les syst\u00e8mes et les d\u00e9partements. En outre, le contr\u00f4le des donn\u00e9es doit \u00eatre \u00e9quilibr\u00e9 entre l’informatique et les utilisateurs professionnels, car ces derniers sont les v\u00e9ritables propri\u00e9taires des donn\u00e9es clients et doivent donc \u00eatre \u00e9quip\u00e9s de syst\u00e8mes leur permettant de profiler et de nettoyer les donn\u00e9es sans d\u00e9pendre de l’informatique pour leur pr\u00e9paration<\/a>. <\/span><\/p>\n

Leprofilage<\/a> et le nettoyage des<\/a>donn\u00e9es<\/a> sont les deux fonctions ou composants fondamentaux de la solution de gestion de la qualit\u00e9 des donn\u00e9es de Data Ladder et le point de d\u00e9part de toute initiative de gestion des donn\u00e9es. En d’autres termes, pour r\u00e9parer vos donn\u00e9es, vous devez savoir ce qui ne va pas. <\/span><\/p>\n

Cet article couvre tout ce que vous devez savoir sur la diff\u00e9rence entre le profilage et le nettoyage des donn\u00e9es. <\/span><\/p>\n

Allons-y. <\/span><\/p>\n

Profilage des donn\u00e9es ou nettoyage des donn\u00e9es – Quelle est la principale diff\u00e9rence ? <\/span><\/h2>\n

Dans un syst\u00e8me de qualit\u00e9 des donn\u00e9es, le profilage des donn\u00e9es est un moyen puissant d’analyser des millions de lignes de donn\u00e9es pour identifier les erreurs, les informations manquantes et toutes les anomalies susceptibles d’affecter la qualit\u00e9 des informations. En profilant les donn\u00e9es, vous pouvez voir tous les probl\u00e8mes sous-jacents de vos donn\u00e9es que vous ne pourriez pas voir autrement. <\/span><\/p>\n

Le nettoyage des donn\u00e9es est la deuxi\u00e8me \u00e9tape apr\u00e8s le profilage. Une fois que vous avez identifi\u00e9 les failles dans vos donn\u00e9es, vous pouvez prendre les mesures n\u00e9cessaires pour les nettoyer. Par exemple, lors de la phase de profilage, vous d\u00e9couvrez que plus de 100 de vos enregistrements ont des num\u00e9ros de t\u00e9l\u00e9phone auxquels il manque l’indicatif du pays. Vous pouvez alors \u00e9crire une r\u00e8gle dans votre plateforme DQM pour ins\u00e9rer les codes pays dans tous les num\u00e9ros de t\u00e9l\u00e9phone qui en sont d\u00e9pourvus. <\/span><\/p>\n

La diff\u00e9rence essentielle entre les deux processus est simple : l’un v\u00e9rifie les erreurs et l’autre vous permet de les corriger. <\/span><\/b><\/p>\n

Le profilage et le nettoyage des donn\u00e9es ne sont pas des concepts nouveaux. Cependant, ils ont \u00e9t\u00e9 largement limit\u00e9s \u00e0 des processus manuels au sein des syst\u00e8mes de gestion des donn\u00e9es. Par exemple, le profilage des donn\u00e9es a toujours \u00e9t\u00e9 effectu\u00e9 par des experts en informatique et en donn\u00e9es qui utilisent une combinaison de formules et de codes pour identifier les erreurs de base. Le simple processus de profilage prendrait des semaines et m\u00eame alors, des erreurs critiques seraient manqu\u00e9es. Le nettoyage des donn\u00e9es \u00e9tait un autre cauchemar. Le nettoyage d’une base de donn\u00e9es, y compris la suppression des doublons (avec un taux de pr\u00e9cision tr\u00e8s faible), peut prendre des mois. Si ces m\u00e9thodes ont pu fonctionner pour des structures de donn\u00e9es simples, il est pratiquement impossible d’appliquer les m\u00eames m\u00e9thodes aux formats de donn\u00e9es modernes. <\/span><\/p>\n

Voici un exemple de profilage de donn\u00e9es \u00e0 l’aide de Microsoft Visual Studio. Les responsables informatiques devraient configurer manuellement ce flux de travail.<\/span>ow juste pour identifier les erreurs dans une source de donn\u00e9es. <\/span><\/p>\n

\"Data
Flux de travail pour le profilage des donn\u00e9es via Microsoft Visual Studio<\/figcaption><\/figure>\n

Imaginez l’utilisation de ce flux de travail pour des donn\u00e9es tierces complexes et incoh\u00e9rentes telles que celles des m\u00e9dias sociaux ! Imaginez que vous ayez de multiples sources de donn\u00e9es provenant de plusieurs applications, plateformes (en ligne et hors ligne), vendeurs, fournisseurs, etc. Imaginez recr\u00e9er ce flux de travail pour chaque type diff\u00e9rent de source de donn\u00e9es. Non seulement cela prend du temps, mais c’est inefficace pour traiter de grandes quantit\u00e9s de donn\u00e9es. <\/span><\/span><\/p>\n

En reprenant le m\u00eame exemple, supposons que le nom a \u00e9t\u00e9 mal saisi lors de l’entr\u00e9e des donn\u00e9es et qu’il est orthographi\u00e9 comme Johnnathan Smith dans le CRM. Si l’\u00e9quipe qui traite ces donn\u00e9es ne proc\u00e8de pas \u00e0 une v\u00e9rification du profil, elle ne saura pas qu’il s’agit d’une erreur et enverra au client un courrier \u00e9lectronique contenant la mauvaise orthographe. Je vous laisse imaginer les cons\u00e9quences de cette situation. <\/span><\/p>\n

Le profilage des donn\u00e9es aide donc l’entreprise \u00e0 identifier cette erreur d’orthographe d\u00e8s le d\u00e9but du processus. Le nettoyage des donn\u00e9es permet ensuite \u00e0 l’utilisateur de corriger cette erreur en la rempla\u00e7ant par le bon nom. <\/span><\/b><\/p>\n

Comment le profilage des donn\u00e9es \u00e9tait traditionnellement effectu\u00e9 et pourquoi il est important de se tourner vers l’automatisation <\/span><\/span><\/h2>\n

Le profilage des donn\u00e9es est une partie cruciale des projets d’entrep\u00f4t de donn\u00e9es et de business intelligence, o\u00f9 les probl\u00e8mes de qualit\u00e9 des sources de donn\u00e9es sont identifi\u00e9s. En outre, le profilage des donn\u00e9es permet aux utilisateurs de d\u00e9couvrir de nouvelles exigences pour un syst\u00e8me cible. Mais jusqu’\u00e0 r\u00e9cemment, le profilage des donn\u00e9es \u00e9tait un processus \u00e9puisant qui impliquait des t\u00e2ches manuelles comme.. : <\/span><\/span><\/p>\n