Dans ce guide, je traiterai des sujets suivants :<\/p>\n
- \n
- La v\u00e9ritable signification des donn\u00e9es dupliqu\u00e9es et leurs types<\/li>\n
- Quelques causes courantes de doublons<\/li>\n
- Difficult\u00e9s rencontr\u00e9es par les utilisateurs pour nettoyer\/supprimer les doublons<\/li>\n
- Qu’est-ce que la d\u00e9duplication des donn\u00e9es et comment fonctionne-t-elle ?<\/li>\n
- Existe-t-il un moyen plus simple de d\u00e9duire des donn\u00e9es ?<\/li>\n
- Comment DataMatch Enterprise aide-t-il<\/li>\n<\/ul>\n
Allons-y.<\/p>\n
Les donn\u00e9es dupliqu\u00e9es, leurs types et pourquoi elles se produisent<\/h2>\n
La d\u00e9finition simple – une copie d’un document original est un duplicata. Si tel \u00e9tait le cas, la r\u00e9solution des doublons n’aurait jamais \u00e9t\u00e9 un probl\u00e8me.<\/p>\n
La duplication des donn\u00e9es est beaucoup plus complexe que ce que l’on peut imaginer. Voici quelques types et exemples pertinents pour vous aider \u00e0 comprendre l’\u00e9tendue des probl\u00e8mes de donn\u00e9es dupliqu\u00e9es.<\/p>\n
Type 1 : Duplicatas exacts dans la m\u00eame source<\/h3>\n
Cela est d\u00fb \u00e0 des erreurs de saisie de donn\u00e9es, notamment le copier\/coller d’informations d’une source \u00e0 l’autre. Par exemple, si vous copiez des informations d’un outil de marketing tiers dans le CRM, vous risquez d’enregistrer deux fois la m\u00eame information. Les doublons exacts sont faciles \u00e0 d\u00e9tecter.<\/p>\n
Exemple : <\/strong><\/p>\n
Les enregistrements CRM de la rang\u00e9e 1 et de la rang\u00e9e 5 ont des doublons o\u00f9 le dernier enregistrement a une lettre suppl\u00e9mentaire dans le pr\u00e9nom.<\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-1-1024x266.png\")
<\/p>\nRemarquez que la derni\u00e8re ligne comporte \u00e9galement une faute de frappe accidentelle. Le pr\u00e9nom est Mary S<\/strong>, au lieu de Mary.<\/p>\n
Type 2 : Duplicatas exacts dans des sources multiples<\/h3>\n
La sauvegarde des donn\u00e9es est souvent la principale cause de doublons exacts dans des sources multiples. Les entreprises sont souvent r\u00e9ticentes \u00e0 l’id\u00e9e de supprimer des donn\u00e9es. Elles ont donc tendance \u00e0 conserver des listes dans de multiples formats et sources. Par exemple, les dossiers locaux de l’entreprise peuvent contenir une feuille Excel p\u00e9rim\u00e9e d’enregistrements cr\u00e9\u00e9s lorsque l’entreprise a essay\u00e9 de migrer une source de donn\u00e9es de l’ERP vers un CRM. Au fil du temps, les copies de ces donn\u00e9es causent d’importants probl\u00e8mes de stockage sur le disque et de performances du syst\u00e8me. L’une des principales motivations des utilisateurs informatiques pour d\u00e9duire des donn\u00e9es est de lib\u00e9rer de l’espace de stockage !<\/p>\n
Exemple : <\/strong><\/p>\n
Duplicatas exacts dans la base de donn\u00e9es de la CRM et des entreprises. Remarquez que la structure de la base de donn\u00e9es est diff\u00e9rente de celle du CRM. Lorsque les donn\u00e9es sont d\u00e9plac\u00e9es du CRM vers la base de donn\u00e9es, elles peuvent rencontrer ces probl\u00e8mes, ce qui entra\u00eene des donn\u00e9es inexactes et dupliqu\u00e9es difficiles \u00e0 d\u00e9tecter. <\/strong><\/p>\n
Donn\u00e9es CRM : <\/u><\/strong><\/p>\n
<\/p>\nBase de donn\u00e9es de l’entreprise : <\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-2-1024x261.png\")
<\/p>\nType 3 : doublons avec des informations variables dans plusieurs sources<\/h3>\n
Dans ce cas, les diff\u00e9rentes informations d’un m\u00eame utilisateur sont stock\u00e9es dans plusieurs sources. Cela se produit lorsque l’entit\u00e9 est enregistr\u00e9e comme une nouvelle entr\u00e9e en raison d’une nouvelle adresse \u00e9lectronique, d’une nouvelle adresse ou d’un nouvel intitul\u00e9 de poste.<\/p>\n
Exemple : <\/strong><\/p>\n
Reprenons l’exemple ci-dessus avec des informations actualis\u00e9es. <\/strong><\/p>\n
Donn\u00e9es CRM :<\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-3-1024x273.png\")
<\/p>\n![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-4-1024x242.png\")
<\/p>\nDans le premier cas, Marie peut \u00eatre un ancien client dont les donn\u00e9es ont \u00e9t\u00e9 stock\u00e9es dans la base de donn\u00e9es de l’entreprise mais n’ont jamais \u00e9t\u00e9 mises \u00e0 jour. Dans le CRM, l’information est nouvelle. En supposant que l’entreprise veuille mettre \u00e0 jour sa base de donn\u00e9es, l’enregistrement de Mme Mary Sue est un doublon. Lorsque les entreprises disposent de plusieurs sources de donn\u00e9es disparates et que chacune d’entre elles stocke les informations diff\u00e9remment, les doublons de cette nature sont fr\u00e9quents.<\/p>\n
Type 4 : Duplicatas non exacts<\/h3>\n
C’est le probl\u00e8me le plus courant et aussi le plus difficile \u00e0 attraper. Cela se produit lorsque les informations d’une entit\u00e9 sont \u00e9crites de plusieurs fa\u00e7ons.<\/p>\n
Supposons que le nom complet de Mary Sue soit Mary Susan Sue, voici comment ses donn\u00e9es seront saisies dans des enregistrements multiples.<\/p>\n
CRM : <\/strong>Mary J. Sue<\/p>\n
Dossiers de commercialisation : <\/strong>Mary Jane<\/p>\n
Saisie accidentelle d’un raccourci par un commercial dans une fiche d\u00e9partementale : <\/strong>MJ Sue.<\/p>\n
Maintenant, supposons que Mary Jane Sue est un m\u00e9decin. Si les r\u00e8gles de saisie des donn\u00e9es de l’organisation n’autorisent que Ms\/Mrs\/Mr, son titre de Dr. ne peut pas \u00eatre ajout\u00e9 !<\/p>\n
Pour corser le tout, que faire si elle a chang\u00e9 de num\u00e9ro, d’adresse \u00e9lectronique ou de lieu de travail deux fois en deux ans ? Et chaque fois qu’elle fait affaire avec l’entreprise, elle est enregistr\u00e9e comme un nouveau client.<\/p>\n
Causes des doublons<\/h2>\n
Les doublons comme ceux de type 3 et 4 ne sont pas faciles \u00e0 d\u00e9tecter par les techniques de comparaison de donn\u00e9es<\/a> exactes qui reposent sur des champs ayant des valeurs exactes pour d\u00e9tecter une correspondance. M\u00eame si vous avez mis en place une strat\u00e9gie de d\u00e9duplication des donn\u00e9es, il y aura toujours des doublons.<\/p>\n
Voici quelques raisons pour lesquelles :<\/p>\n
Duplication caus\u00e9e par les fusions et acquisitions <\/strong><\/p>\n
Lorsque les entreprises fusionnent des donn\u00e9es<\/a> provenant de sources multiples pour effectuer une migration massive, le niveau de duplication devient dangereusement compliqu\u00e9. La structure des donn\u00e9es des deux entreprises peut diff\u00e9rer, m\u00eame si elles partagent les m\u00eames informations sur les clients.<\/p>\n
Par exemple, un utilisateur de Microsoft est aussi un utilisateur de LinkedIn et les deux plateformes peuvent avoir presque les m\u00eames donn\u00e9es individuelles. Par cons\u00e9quent, les doublons peuvent se produire \u00e0 un niveau plus profond si les entreprises fusionnent leurs donn\u00e9es sans mettre en place une solide strat\u00e9gie de qualit\u00e9 des donn\u00e9es qui implique la pr\u00e9paration des donn\u00e9es<\/a>, leur nettoyage<\/a>, leur consolidation et leur d\u00e9duplication.<\/p>\n
Mauvais processus de saisie des donn\u00e9es et manque de gouvernance des donn\u00e9es <\/strong><\/p>\n
Les organisations qui ne mettent pas en \u0153uvre des politiques strictes de gouvernance des donn\u00e9es ou qui ne disposent pas de syst\u00e8mes strat\u00e9giques de qualit\u00e9 des donn\u00e9es se retrouvent souvent avec des donn\u00e9es sales et dupliqu\u00e9es.<\/p>\n
Il n’est pas rare que plusieurs membres d’une \u00e9quipe puissent acc\u00e9der au CRM et remplir\/modifier\/personnaliser les donn\u00e9es \u00e0 volont\u00e9. Cela signifie qu’il n’y a pas d’obligation de rendre des comptes ou de tra\u00e7abilit\u00e9, pas d’indication de la personne responsable de la saisie exacte des donn\u00e9es, pas de directives sur la mani\u00e8re de saisir correctement les donn\u00e9es.<\/p>\n
Tout cela entra\u00eene des probl\u00e8mes tels que des entr\u00e9es doubles ou multiples pour un seul enregistrement qui ne garantissent pas l’exactitude. Lorsque les donn\u00e9es doivent \u00eatre utilis\u00e9es pour des analyses ou des rapports, la personne responsable devra se creuser les m\u00e9ninges pour essayer de donner un sens \u00e0 toutes ces donn\u00e9es. Les mauvaises pratiques en mati\u00e8re de donn\u00e9es lors de la phase d’entr\u00e9e des donn\u00e9es ont de graves r\u00e9percussions sur les applications en aval qui affectent l’inefficacit\u00e9 et sont \u00e9galement la principale cause des conflits entre d\u00e9partements.<\/p>\n
Donn\u00e9es de tiers et int\u00e9grations avec les portails de partenaires <\/strong><\/p>\n
Les donn\u00e9es provenant de tiers, telles que les donn\u00e9es obtenues \u00e0 partir de portails, de r\u00e9seaux ou de communaut\u00e9s de partenaires, ou m\u00eame \u00e0 partir de formulaires d’inscription \u00e0 des sites web, sont \u00e0 l’origine d’un nombre \u00e9lev\u00e9 de doublons. Souvent, les personnes qui remplissent un formulaire peuvent utiliser plusieurs identifiants de messagerie ou num\u00e9ros de t\u00e9l\u00e9phone, ce qui entra\u00eene des entr\u00e9es multiples pour une seule personne. D’autre part, les donn\u00e9es externes peuvent avoir une version diff\u00e9rente de la m\u00eame entit\u00e9, mais les m\u00eames informations ne sont pas mises \u00e0 jour dans les enregistrements existants et un nouvel enregistrement est cr\u00e9\u00e9 \u00e0 la place. Bien que cela ne semble pas \u00eatre un probl\u00e8me sur le moment, cela entra\u00eene par la suite des analyses fauss\u00e9es.<\/p>\n
Par exemple, une entreprise peut croire qu’elle a obtenu 100 pistes gr\u00e2ce \u00e0 une campagne, mais comme les entr\u00e9es ont \u00e9t\u00e9 dupliqu\u00e9es, il ne s’agit peut-\u00eatre que de 60 pistes valides, les 40 autres \u00e9tant incompl\u00e8tes, dupliqu\u00e9es ou inexactes.<\/p>\n
En supposant que chaque piste vaut 100 $ x 40 = 4 000 $. <\/strong><\/p>\n
En supposant que le co\u00fbt de chaque piste est de 50 $ x 40 = 2 000 $.<\/strong><\/p>\n
Perte : 6 000 $ au total ! <\/strong><\/p>\n
Bugs logiciels et erreurs syst\u00e8me <\/strong><\/p>\n
Les bogues logiciels et les erreurs administratives ou de syst\u00e8me dans le CRM et dans les applications associ\u00e9es peuvent entra\u00eener des milliers d’enregistrements en double. Cette situation est fr\u00e9quente lors des activit\u00e9s de migration de syst\u00e8mes ou de donn\u00e9es et, bien qu’elle puisse \u00eatre rectifi\u00e9e, elle pose un s\u00e9rieux probl\u00e8me de qualit\u00e9 des donn\u00e9es.<\/p>\n
Chaque source de donn\u00e9es contient une certaine quantit\u00e9 de donn\u00e9es en double. Les experts estiment que jusqu’\u00e0 5% de duplication est tol\u00e9rable. Tout ce qui d\u00e9passe ce seuil constitue une menace pour les applications en aval. Les rapports deviennent trompeurs. Les clients s’\u00e9nervent. Les utilisateurs et les employ\u00e9s deviennent frustr\u00e9s. Selon le DSI, \u00ab\u00a0les syst\u00e8mes comportant 25 % d’enregistrements en double<\/a> peuvent menacer des carri\u00e8res <\/strong>\u00a0\u00bb . <\/strong><\/p>\n
Selon Natik Ameen, expert en marketing chez Canz Marketing<\/a>, les donn\u00e9es en double dans le CRM de l’entreprise sont dues \u00e0 toute une s\u00e9rie de raisons.<\/strong>d’une erreur humaine \u00e0 des clients fournissant des informations l\u00e9g\u00e8rement diff\u00e9rentes \u00e0 diff\u00e9rents moments dans la base de donn\u00e9es de l’organisation. Par exemple, un consommateur inscrit son nom en tant que Jonathan Smith sur un formulaire et Jon Smith sur l’autre. Le d\u00e9fi est exacerb\u00e9 par une base de donn\u00e9es en pleine expansion. Il est souvent de plus en plus difficile pour les administrateurs d’assurer le suivi de la DB ainsi que celui des donn\u00e9es pertinentes. Il est de plus en plus difficile de s’assurer que la BD de l’organisation reste exacte.<\/em>‘.<\/p>\n
Vous avez besoin d’une strat\u00e9gie de d\u00e9duplication des donn\u00e9es pour relever le d\u00e9fi des donn\u00e9es dupliqu\u00e9es.<\/p>\n
Qu’est-ce que la d\u00e9duplication des donn\u00e9es et comment fonctionne-t-elle ?<\/h2>\n
La d\u00e9duplication des donn\u00e9es est le processus de comparaison, de rapprochement et de suppression des doublons pour cr\u00e9er un enregistrement consolid\u00e9. La d\u00e9duplication des donn\u00e9es se fait en trois \u00e9tapes :<\/p>\n
Comparaison et mise en correspondance : <\/strong>diff\u00e9rentes listes et diff\u00e9rents enregistrements sont compar\u00e9s et mis en correspondance pour d\u00e9tecter les doublons exacts et non exacts. Par exemple, une liste CRM est mise en correspondance avec une liste de base de donn\u00e9es interne afin de s’assurer que les m\u00eames enregistrements ne sont pas t\u00e9l\u00e9charg\u00e9s deux fois dans la base de donn\u00e9es centrale.<\/p>\n
Traitement des enregistrements obsol\u00e8tes : <\/strong>Les enregistrements en double obsol\u00e8tes sont soit mis \u00e0 jour avec de nouvelles informations, soit supprim\u00e9s. Dans d’autres cas, les donn\u00e9es sont consolid\u00e9es (si un enregistrement a des poign\u00e9es de m\u00e9dias sociaux alors que l’autre n’en a pas) et de nouvelles r\u00e8gles ou colonnes sont cr\u00e9\u00e9es pour stocker ces informations suppl\u00e9mentaires.<\/p>\n
Cr\u00e9ation d’enregistrements consolid\u00e9s : <\/strong>Une fois que les doublons ont \u00e9t\u00e9 supprim\u00e9s, un enregistrement consolid\u00e9 compos\u00e9 de donn\u00e9es propres et trait\u00e9es est cr\u00e9\u00e9 et peut \u00eatre utilis\u00e9 comme \u00ab\u00a0enregistrement d’or\u00a0\u00bb, sur la base duquel les enregistrements existants peuvent \u00eatre model\u00e9s.<\/p>\n
Des outils tels qu’Excel peuvent \u00eatre excellents pour supprimer les doublons exacts au sein d’une m\u00eame source de donn\u00e9es, mais ils ne parviennent pas \u00e0 identifier les doublons similaires.<\/p>\n
Pour voir comment supprimer les doublons exacts dans Excel, suivez ce guide :<\/p>\n
https:\/\/www.excel-easy.com\/examples\/remove-duplicates.html<\/a> <\/strong><\/p>\n
Pour supprimer les doublons en Python, vous pouvez utiliser la biblioth\u00e8que Dedupe pour trouver des enregistrements dans des ensembles de donn\u00e9es appartenant \u00e0 la m\u00eame entit\u00e9. Voici un excellent guide sur la d\u00e9duplication des donn\u00e9es \u00e0 l’aide de Python :<\/p>\n
https:\/\/recordlinkage.readthedocs.io\/en\/latest\/notebooks\/data_deduplication.html<\/a> <\/strong><\/p>\n
Existe-t-il un moyen plus simple de d\u00e9dupliquer des donn\u00e9es ?<\/h2>\n
Python, bien que puissant, prend beaucoup de temps.<\/p>\n
Par exemple, pour faire correspondre un simple enregistrement entre deux sources, vous devez charger ou importer des modules, cr\u00e9er des paires d’enregistrements (ce qui est un processus long en soi), puis cr\u00e9er un code pour comparer les enregistrements au niveau des attributs. Vous devrez alors examiner manuellement chaque instance de la comparaison pour identifier quel enregistrement appartient \u00e0 la m\u00eame personne.<\/p>\n
Ce processus doit \u00eatre modifi\u00e9 et r\u00e9p\u00e9t\u00e9 pour chaque nouvelle exigence au niveau des attributs.<\/p>\n
Si vous \u00eates un analyste de donn\u00e9es responsable des donn\u00e9es d’une entreprise, vous ne pouvez pas prendre des mois pour d\u00e9duire des donn\u00e9es. <\/strong><\/p>\n
Vous ne pouvez pas non plus risquer de perdre des donn\u00e9es, ce qui est une possibilit\u00e9 r\u00e9elle lorsque vous essayez de tester diff\u00e9rents codes pour trouver la bonne correspondance.<\/p>\n
Eric McGee, ing\u00e9nieur r\u00e9seau senior chez TRG DataCenters<\/a>, pense que le plus gros probl\u00e8me lors du nettoyage\/suppression des donn\u00e9es est la possibilit\u00e9 de perdre des donn\u00e9es lors de la rationalisation des champs de donn\u00e9es. Il pense \u00e9galement qu’au niveau de l’entreprise, l’exactitude de la correspondance des donn\u00e9es peut devenir tr\u00e8s importante, ou l’ensemble du cabinet peut compromettre des donn\u00e9es cruciales.<\/p>\n
Une solution plus simple, mais \u00e0 laquelle peu d’ing\u00e9nieurs syst\u00e8me sont pr\u00eats \u00e0 s’adapter, consiste \u00e0 utiliser un outil de d\u00e9duplication des donn\u00e9es<\/a>, surtout s’il ne fait pas partie de leur plateforme de gestion des donn\u00e9es. Le probl\u00e8me est que la plupart des plateformes de gestion des donn\u00e9es ne disposent pas de solides capacit\u00e9s de rapprochement des donn\u00e9es<\/a> qui peuvent aider les utilisateurs \u00e0 identifier les doublons. Les analystes et les ing\u00e9nieurs finissent par d\u00e9duire manuellement les donn\u00e9es, ce qui repr\u00e9sente une perte de temps consid\u00e9rable.<\/p>\n
Les meilleurs outils de d\u00e9duplication des donn\u00e9es utilisent des algorithmes avanc\u00e9s de correspondance floue<\/a> et des algorithmes propri\u00e9taires pour faire correspondre les donn\u00e9es \u00e0 un niveau plus profond – une capacit\u00e9 que toutes les solutions de gestion des donn\u00e9es n’offrent pas. C’est pourquoi la plupart des entreprises et des clients du Fortune 500 avec lesquels nous avons travaill\u00e9 pr\u00e9f\u00e8rent utiliser un outil tel que
\nDataMatch Enterprise<\/strong>
\n<\/a> en conjonction avec leurs plateformes de gestion de donn\u00e9es.<\/p>\nEn raison de ses capacit\u00e9s d’int\u00e9gration faciles et de ses puissants algorithmes de correspondance floue, DataMatch Enterprise a \u00e9t\u00e9 l’outil pr\u00e9f\u00e9r\u00e9 de la plupart des organisations pour d\u00e9duire les donn\u00e9es au sein de leur plate-forme de base de donn\u00e9es.<\/p>\n
Si vous souhaitez en savoir plus sur les entreprises que nous avons aid\u00e9es en mati\u00e8re de d\u00e9duplication des donn\u00e9es, consultez nos \u00e9tudes de cas.<\/p>\n
Par exemple, voyez comment nous avons travaill\u00e9 avec Bell Bank<\/a> pour supprimer les doublons et consolider les donn\u00e9es clients provenant de sources multiples.<\/p>\n
\n\n
\n \n ![\"Bell](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Bell-Bank-Case-Study-300x300.png\")
<\/a>\u00c9tude de cas de la Banque Bell<\/figcaption><\/figure><\/td>\n \n
![\"Cleveland](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Cleveland-Brothers-Case-Study-300x300.png\")
<\/a>