{"id":62243,"date":"2021-11-15T11:23:47","date_gmt":"2021-11-15T11:23:47","guid":{"rendered":"https:\/\/dataladder.com\/pourquoi-les-doublons-existent-ils-et-comment-sen-debarrasser\/"},"modified":"2021-12-21T13:52:49","modified_gmt":"2021-12-21T13:52:49","slug":"pourquoi-les-doublons-existent-ils-et-comment-sen-debarrasser","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/pourquoi-les-doublons-existent-ils-et-comment-sen-debarrasser\/","title":{"rendered":"Pourquoi les doublons existent-ils et comment s’en d\u00e9barrasser ?"},"content":{"rendered":"\n

Selon Natik Ameen, expert en marketing chez Canz Marketing<\/a>, les donn\u00e9es en double dans le CRM de l’entreprise sont dues \u00e0 toute une s\u00e9rie de raisons : <\/p>\n\n

\u00ab\u00a0d’une erreur humaine \u00e0 des clients fournissant des informations l\u00e9g\u00e8rement diff\u00e9rentes \u00e0 diff\u00e9rents moments dans la base de donn\u00e9es de l’organisation. Par exemple, un consommateur inscrit son nom en tant que Jonathan Smith sur un formulaire et Jon Smith sur l’autre. Le d\u00e9fi est exacerb\u00e9 par une base de donn\u00e9es en pleine expansion. Il est souvent de plus en plus difficile pour les administrateurs d’assurer le suivi de la DB ainsi que celui des donn\u00e9es pertinentes. Il est de plus en plus difficile de s’assurer que la BD de l’organisation reste exacte.<\/em>\u00ab\u00a0. <\/p><\/blockquote>\n\n

Lad\u00e9duplication des donn\u00e9es<\/a> se produit lorsque vous stockez des informations sur la m\u00eame entit\u00e9 plusieurs fois, au lieu de mettre \u00e0 jour un seul enregistrement. Dans ce guide, nous aborderons quelques concepts de base concernant la duplication des donn\u00e9es et une liste de techniques et d’algorithmes couramment utilis\u00e9s pour y rem\u00e9dier. <\/p>\n\n

Pourquoi les doublons existent-ils ? <\/h3>\n\n

Les donn\u00e9es ont des repr\u00e9sentations multiples – ce qui signifie que les m\u00eames donn\u00e9es peuvent \u00eatre repr\u00e9sent\u00e9es de diff\u00e9rentes mani\u00e8res. C’est la principale raison pour laquelle des enregistrements en double existent dans une base de donn\u00e9es. Que les enregistrements soient fusionn\u00e9s \u00e0 partir de sources de donn\u00e9es ind\u00e9pendantes ou qu’ils soient saisis dans une base de donn\u00e9es unique au fil du temps, tous deux conduisent au probl\u00e8me complexe de la duplication des donn\u00e9es. <\/p>\n\n

Id\u00e9alement, chaque enregistrement d’une base de donn\u00e9es devrait repr\u00e9senter une entit\u00e9 unique. Mais pour un certain nombre de raisons (les plus courantes sont mentionn\u00e9es ci-dessous), nous remarquons que les informations d’une entit\u00e9 s’\u00e9tendent sur plusieurs enregistrements. <\/p>\n\n

1. Manque d’identifiants uniques <\/strong><\/h4>\n\n

Disposer d’identifiants uniques dans votre base de donn\u00e9es est le meilleur moyen d’\u00e9viter de stocker des doublons. Un identifiant unique est un champ de donn\u00e9es qui est toujours unique pour une entit\u00e9 (par exemple, le num\u00e9ro de s\u00e9curit\u00e9 sociale (SSN)<\/em> pour les donn\u00e9es relatives aux clients, le num\u00e9ro de pi\u00e8ce du fabricant (MPN) <\/em>, etc. pour les donn\u00e9es relatives aux produits, etc.) \u00c0 chaque nouvelle entr\u00e9e de donn\u00e9es, vous pouvez v\u00e9rifier si un enregistrement avec le m\u00eame identifiant unique existe. Et si c’est le cas, vous pouvez simplement le mettre \u00e0 jour ou le fusionner, et \u00e9viter de stocker un nouvel enregistrement pour la m\u00eame entit\u00e9. Mais si votre base de donn\u00e9es ne contient pas un tel identifiant unique, le processus de mise en relation des nouvelles entit\u00e9s entrantes avec les entit\u00e9s existantes devient une t\u00e2che complexe. <\/p>\n\n

2. Absence de contr\u00f4les de validation et de contraintes d’int\u00e9grit\u00e9 <\/strong><\/h4>\n\n

M\u00eame avec la pr\u00e9sence d’identifiants uniques, vous pouvez vous retrouver avec des doublons dans votre base de donn\u00e9es. Cela se produit lorsque les identificateurs uniques ne sont pas conformes \u00e0 des mod\u00e8les valides (par exemple, AAA-GG-SSSS<\/em> pour le SSN<\/em>), ou n’ont pas de contraintes d’int\u00e9grit\u00e9 strictes (par exemple, limite de 11 caract\u00e8res<\/em> pour le SSN<\/em>). <\/p>\n\n

3. Erreurs de saisie des donn\u00e9es <\/strong><\/h4>\n\n

Le taux d’erreur de saisie des donn\u00e9es est de 400 pour 10 000 entr\u00e9es<\/a>, ce qui est un chiffre important. Ainsi, m\u00eame avec la pr\u00e9sence d’identifiants uniques, de contr\u00f4les de validation et de contraintes d’int\u00e9grit\u00e9, il est possible que l’erreur humaine intervienne et permette la pr\u00e9sence de doublons dans votre base de donn\u00e9es. <\/p>\n\n

Difficult\u00e9 de comparaison des donn\u00e9es – H\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des donn\u00e9es<\/strong> <\/h3>\n\n

Pour \u00e9liminer les doublons dans votre base de donn\u00e9es, vous devez comparer les enregistrements et \u00e9valuer ceux qui appartiennent \u00e0 la m\u00eame entit\u00e9. Mais lorsque vous comparez des enregistrements de donn\u00e9es (soit dans la m\u00eame base de donn\u00e9es, soit appartenant \u00e0 des bases de donn\u00e9es diff\u00e9rentes), vous remarquerez qu’ils pr\u00e9sentent certaines diff\u00e9rences syst\u00e9matiques, ce qui rend difficile leur comparaison exacte. C’est ce qu’on appelle g\u00e9n\u00e9ralement l’ h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des donn\u00e9es<\/strong>. <\/p>\n\n

De mani\u00e8re g\u00e9n\u00e9rale, on peut classer les donn\u00e9es h\u00e9t\u00e9rog\u00e8nes comme suit : <\/p>\n\n

1. H\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 structurelle <\/strong><\/h4>\n\n

Ce type de diff\u00e9rence se produit lorsque des champs de diff\u00e9rentes bases de donn\u00e9es repr\u00e9sentent la m\u00eame information d’une mani\u00e8re structurellement diff\u00e9rente. Par exemple, une base de donn\u00e9es peut stocker le nom d’un contact en tant que Nom du contact<\/em>, tandis que dans une autre base de donn\u00e9es, il est stock\u00e9 dans plusieurs colonnes telles que Salutation,<\/em> Pr\u00e9nom<\/em>, Second pr\u00e9nom<\/em> et Nom de famille.<\/em> <\/p>\n\n

2. H\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 lexicale <\/strong><\/h4>\n\n

Ce type de diff\u00e9rence se produit lorsque les champs de diff\u00e9rentes bases de donn\u00e9es sont structurellement les m\u00eames, mais qu’ils repr\u00e9sentent la m\u00eame information d’une mani\u00e8re syntaxiquement diff\u00e9rente. Par exemple, deux bases de donn\u00e9es ou plus peuvent avoir le m\u00eame champ Adresse <\/em>, mais l’une peut avoir une valeur d’adresse : 32 E St. 4<\/em>, alors que l’autre peut avoir pour valeur 32 East, 4<\/em>\n th<\/sup>\n<\/em> rue<\/em>. <\/p>\n\n

Processus de d\u00e9duplication des donn\u00e9es<\/strong> <\/h3>\n\n

En termes simples, le processus de d\u00e9duplication implique : <\/p>\n\n

  1. Pr\u00e9parer les donn\u00e9es en normalisant les champs<\/strong> dans toutes les bases de donn\u00e9es<\/li>
  2. Mise en correspondance des champs<\/strong> qui repr\u00e9sentent la m\u00eame information <\/li>
  3. choisir une technique appropri\u00e9e de mise en correspondance des champs<\/strong> (en fonction de la nature des donn\u00e9es), puis calculer la similarit\u00e9 entre les champs de donn\u00e9es <\/li><\/ol>\n\n

    Dans les prochaines sections, nous d\u00e9taillerons un peu plus les \u00e9tapes mentionn\u00e9es ci-dessus. <\/p>\n\n

    1. Pr\u00e9paration des donn\u00e9es <\/strong><\/h4>\n\n

    La premi\u00e8re \u00e9tape du processus consiste \u00e0 assurer l’uniformit\u00e9 de toutes les bases de donn\u00e9es en termes de structure de donn\u00e9es et de champs. Ce processus r\u00e9duit l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 structurelle des bases de donn\u00e9es, du moins dans une certaine mesure. Il s’agit de suivre deux \u00e9tapes :<\/p>\n\n

    a. Nettoyage<\/a> et normalisation<\/a> des donn\u00e9es<\/a> <\/strong><\/h5>\n\n

    Il s’agit de supprimer toute erreur ou variation dans les formats et les types de donn\u00e9es des valeurs, ou dans la structure des bases de donn\u00e9es. Ceci peut \u00eatre r\u00e9alis\u00e9 par : <\/p>\n\n

    1. Analyse syntaxique des longues cha\u00eenes de caract\u00e8res<\/strong> pour identifier les composants importants des donn\u00e9es. C’est le cas, par exemple, lorsque vous avez l’adresse compl\u00e8te dans un seul champ. L’analyse du champ Adresse<\/em> permet d’obtenir les \u00e9l\u00e9ments de donn\u00e9es suivants : nom de la rue<\/em>, num\u00e9ro de la rue<\/em>, code postal<\/em>, ville<\/em>, \u00c9tat<\/em> et pays<\/em>. L’appariement devient plus facile sur ces \u00e9l\u00e9ments analys\u00e9s, par rapport \u00e0 l’appariement sur le champ entier. <\/li>
    2. Transformer les valeurs des donn\u00e9es<\/strong> pour obtenir des types de donn\u00e9es, des conventions de d\u00e9nomination, etc. similaires. Cela peut se faire en convertissant les types de donn\u00e9es (par exemple, une cha\u00eene de caract\u00e8res en un nombre), en renommant les noms des colonnes ou en fusionnant les champs. <\/li>
    3. Normalisation des mod\u00e8les<\/strong> pour toutes les valeurs contenues dans un champ de donn\u00e9es, de sorte que chaque valeur est cens\u00e9e suivre le mod\u00e8le sp\u00e9cifi\u00e9. Par exemple, vous pouvez normaliser le mod\u00e8le du champ \u00a0\u00bb Num\u00e9ro de t\u00e9l\u00e9phone\u00a0\u00bb<\/em> \u00e0 XXX-XXX-XXXX<\/em>. Les comparaisons et les rapprochements sont donc plus faciles et plus pr\u00e9cis. <\/li><\/ol>\n\n
      b. Cartographie des champs de donn\u00e9es <\/strong><\/h5>\n\n

      Une fois que les bases de donn\u00e9es sont normalis\u00e9es (autant que possible), l’\u00e9tape suivante consiste \u00e0 mettre en correspondance les champs qui repr\u00e9sentent les m\u00eames informations. Cela se fait soit manuellement (par exemple, Adresse<\/em> \u00e0 Adresse<\/em>, Num\u00e9ro de t\u00e9l\u00e9phone<\/em> \u00e0 Num\u00e9ro de t\u00e9l\u00e9phone<\/em>, etc.), ou en effectuant des v\u00e9rifications pour identifier les valeurs des champs qui se chevauchent avec les champs de l’autre base de donn\u00e9es. Pour les petits ensembles de donn\u00e9es, la premi\u00e8re technique est utile, mais si vous avez de grands ensembles de donn\u00e9es o\u00f9 les colonnes sont nomm\u00e9es diff\u00e9remment, la seconde est tr\u00e8s utile. <\/p>\n\n

      2. Calcul de la similarit\u00e9 \u00e0 l’aide de techniques de comparaison de champs <\/h4>\n\n

      Une fois cette \u00e9tape franchie, les donn\u00e9es sont relativement plus faciles \u00e0 comparer et \u00e0 identifier les doublons. Mais les fautes d’orthographe, les erreurs typographiques humaines et les variations conventionnelles existent toujours. C’est pourquoi les techniques de correspondance exacte ne sont pas utiles ici, et nous avons besoin de techniques qui prennent en compte ces aspects des donn\u00e9es tout en calculant des scores pour \u00e9valuer la similarit\u00e9 entre les valeurs individuelles, et donc, l’enregistrement entier. <\/p>\n\n

      a. M\u00e9triques de similarit\u00e9 bas\u00e9es sur les caract\u00e8res <\/strong><\/h5>\n\n

      \u00c9tant donn\u00e9 que la plupart des erreurs typographiques se produisent dans des cha\u00eenes de caract\u00e8res, nous examinerons dans cette section les techniques les plus courantes de recherche de similitude entre cha\u00eenes de caract\u00e8res. <\/p>\n\n

      i. Distance d’\u00e9dition<\/strong> <\/h6>\n\n

      Cet algorithme calcule la distance entre deux cha\u00eenes de caract\u00e8res, calcul\u00e9e caract\u00e8re par caract\u00e8re. La distance est calcul\u00e9e en comptant le nombre d’\u00e9ditions n\u00e9cessaires pour transformer la premi\u00e8re cha\u00eene en la deuxi\u00e8me cha\u00eene. Ensuite, on d\u00e9finit un seuil qui permet de classer deux cha\u00eenes de caract\u00e8res comme concordantes (si la distance est de < <\/em>) ou non concordantes (si la distance est de > <\/em>). Trois types de modifications sont autoris\u00e9s pour calculer la distance : l’insertion d’<\/em>un caract\u00e8re dans la cha\u00eene, la suppression d’<\/em>un caract\u00e8re de la cha\u00eene, le remplacement d’<\/em>un caract\u00e8re par un autre dans la cha\u00eene. <\/p>\n\n

      Normalement, le compte d’une op\u00e9ration d’\u00e9dition est consid\u00e9r\u00e9 comme \u00e9tant \u00e9gal \u00e0 \u00ab\u00a01\u00a0\u00bb. Mais les diff\u00e9rents mod\u00e8les proposent un co\u00fbt<\/em> diff\u00e9rent pour chaque montage. Par exemple, la distance de Levenshtein<\/strong> consid\u00e8re que le co\u00fbt de chaque modification est \u00e9gal \u00e0 1, alors que Needleman et Wunsch<\/strong> expliquent que le co\u00fbt de chaque modification d\u00e9pend de la nature de la modification (remplacer O par 0 a un co\u00fbt plus faible, puis remplacer T par M). <\/p>\n\n

      ii. Distance affine de l’\u00e9cart <\/strong><\/h6>\n\n

      L’algorithme de distance d’\u00e9dition ne fonctionne pas bien avec les cha\u00eenes de caract\u00e8res qui ont des initiales ou des formes courtes. Par exemple, la distance d’\u00e9dition peut classer Jennifer Lily Stevens<\/em> et Jen L. Stevens<\/em> comme non concordantes. C’est l\u00e0 que la distance d’\u00e9cart affine peut \u00eatre utile car elle introduit deux op\u00e9rations d’\u00e9dition suppl\u00e9mentaires appel\u00e9es : <\/p>\n\n