{"id":63143,"date":"2019-05-03T00:00:00","date_gmt":"2019-05-03T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/nettoyage-des-donnees-dans-lentrepot-de-donnees-lapproche-automatisee-et-sans-code-pour-maintenir-votre-source-unique-de-verite\/"},"modified":"2022-04-08T09:32:47","modified_gmt":"2022-04-08T09:32:47","slug":"nettoyage-des-donnees-dans-lentrepot-de-donnees-lapproche-automatisee-et-sans-code-pour-maintenir-votre-source-unique-de-verite","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/nettoyage-des-donnees-dans-lentrepot-de-donnees-lapproche-automatisee-et-sans-code-pour-maintenir-votre-source-unique-de-verite\/","title":{"rendered":"Nettoyage des donn\u00e9es dans l’entrep\u00f4t de donn\u00e9es : L’approche automatis\u00e9e et sans code pour maintenir votre source unique de v\u00e9rit\u00e9"},"content":{"rendered":"

Les donn\u00e9es sont partout, et le volume total devrait <\/span>
\nd\u00e9passer 44 trillions de Go d’ici 2020<\/span>
\n<\/a>mais elle est rarement utile. Seulement <\/span>27%<\/span><\/a> des organisations ayant mis en place des initiatives d’analyse des donn\u00e9es font \u00e9tat d’un succ\u00e8s significatif, tandis qu’\u00e0 peine 8% d\u00e9crivent leurs efforts comme \u00ab\u00a0tr\u00e8s r\u00e9ussis\u00a0\u00bb. Ces chiffres sont faibles non pas parce que les entreprises ne disposent pas des donn\u00e9es n\u00e9cessaires, mais parce qu’elles ne disposent pas de donn\u00e9es de qualit\u00e9 sur lesquelles travailler, ce qui signifie que les donn\u00e9es dont elles disposent sont, \u00e0 toutes fins utiles, inutiles.<\/span><\/p>\n

La disponibilit\u00e9 ne suffit pas, il faut rendre les donn\u00e9es utiles.<\/span><\/p>\n

Lorsque vous construisez votre entrep\u00f4t de donn\u00e9es, il est essentiel de vous assurer que vous disposez de donn\u00e9es propres, sinon vous risquez d’\u00eatre confront\u00e9 \u00e0 la… <\/span>\u00ab\u00a0<\/span>
\ngarbage in, garbage out<\/span>
\n<\/a>\u00ab\u00a0<\/span> ph\u00e9nom\u00e8ne. Mais en quoi consiste exactement le nettoyage des donn\u00e9es, et en avez-vous vraiment besoin dans votre conception sp\u00e9cifique d’entrep\u00f4t de donn\u00e9es ?<\/span><\/p>\n

Si vous int\u00e9grez des donn\u00e9es provenant d’une source unique, vous pouvez constater que les enregistrements sources contiennent des informations manquantes, des fautes d’orthographe datant de la saisie initiale des donn\u00e9es, des donn\u00e9es non valides, etc. Ces probl\u00e8mes sont omnipr\u00e9sents dans les bases de donn\u00e9es et sont souvent transf\u00e9r\u00e9s aux rapports analytiques – \u00e0 moins que vous ne mettiez en \u0153uvre des techniques de nettoyage et d’\u00e9puration des<\/a> donn\u00e9es au pr\u00e9alable. Le probl\u00e8me est amplifi\u00e9 lorsque vous traitez des sources de donn\u00e9es disparates pour construire des r\u00e9f\u00e9rentiels de donn\u00e9es centralis\u00e9s comme un entrep\u00f4t de donn\u00e9es, un syst\u00e8me d’information global ou un syst\u00e8me f\u00e9d\u00e9r\u00e9 de bases de donn\u00e9es op\u00e9rationnelles. <\/span><\/p>\n

Lorsque vous traitez avec une source unique, vous devez faire face \u00e0 des inexactitudes dans les donn\u00e9es. Avec des sources disparates, vous devrez \u00e9galement faire face \u00e0 des diff\u00e9rences dans la mani\u00e8re dont les donn\u00e9es sont stock\u00e9es et structur\u00e9es, ainsi qu’\u00e0 des probl\u00e8mes de redondance des donn\u00e9es entre les multiples repr\u00e9sentations des donn\u00e9es dans chaque source.<\/span><\/p>\n

Prenons un exemple. Supposons que vous ayez une entit\u00e9 nomm\u00e9e ‘John Smith’ avec le champ Ville rempli comme ‘Londres’ dans une base de donn\u00e9es. Une autre base de donn\u00e9es pourrait avoir une colonne suppl\u00e9mentaire pour le \u00ab\u00a0pays\u00a0\u00bb, et lorsque les deux bases de donn\u00e9es seront fusionn\u00e9es, vous n’aurez aucun moyen facile de remplir le champ \u00ab\u00a0ville\u00a0\u00bb pour l’ancien enregistrement \u00ab\u00a0Jean Dupont\u00a0\u00bb. Apr\u00e8s tout, il y a environ <\/span>12 Londres diff\u00e9rentes dans le monde <\/span><\/a>. <\/span><\/p>\n

Il s’agit d’un exemple ; il pourrait y avoir une myriade de probl\u00e8mes, comme des noms concat\u00e9n\u00e9s dans une base de donn\u00e9es et des colonnes distinctes pour le Pr\u00e9nom et le Nom dans une autre, ou des colonnes distinctes pour le Num\u00e9ro de maison et le Nom de rue, alors qu’une autre base de donn\u00e9es n’a qu’une seule colonne Adresse. <\/span><\/p>\n

L’une des fa\u00e7ons de corriger la qualit\u00e9 des donn\u00e9es consiste \u00e0 analyser et \u00e0 corriger manuellement les erreurs, mais cela devient vite impraticable lorsque l’on a affaire \u00e0 des donn\u00e9es volumineuses. L’autre solution consiste \u00e0 utiliser un logiciel de qualit\u00e9 des donn\u00e9es sp\u00e9cialement con\u00e7u pour permettre \u00e0 l’entreprise de se concentrer sur la qualit\u00e9 des donn\u00e9es. <\/span>le nettoyage de donn\u00e9es le plus rapide et le plus pr\u00e9cis<\/span> pour votre entrep\u00f4t de donn\u00e9es.<\/span><\/p>\n

Nettoyage des donn\u00e9es dans l’entrep\u00f4t de donn\u00e9es<\/span><\/h2>\n

Votre entrep\u00f4t de donn\u00e9es doit disposer de donn\u00e9es coh\u00e9rentes, pr\u00e9cises et d\u00e9dupliqu\u00e9es pour alimenter les applications d’analyse en aval et les autres syst\u00e8mes de l’entreprise. Dans un sc\u00e9nario typique, vous aurez besoin d’une zone de transit distincte o\u00f9 vous importerez des donn\u00e9es depuis la source, puis transformerez et manipulerez vos donn\u00e9es \u00e0 des fins de normalisation<\/a> et de nettoyage. Les logiciels modernes de nettoyage des donn\u00e9es<\/a> prennent en charge le traitement en m\u00e9moire, o\u00f9 les donn\u00e9es sources sont import\u00e9es dans une m\u00e9moire temporaire plut\u00f4t que dans une base de donn\u00e9es physique. Vous pouvez tester vos configurations de nettoyage et de d\u00e9duplication dans la m\u00e9moire temporaire, puis la r\u00e9exporter une fois que vous \u00eates satisfait des r\u00e9sultats.<\/span><\/p>\n

Lorsque vous d\u00e9cidez d’une approche de nettoyage des donn\u00e9es pour votre entrep\u00f4t de donn\u00e9es, assurez-vous que la m\u00e9thode choisie peut :<\/span><\/p>\n