{"id":62233,"date":"2021-12-02T09:36:01","date_gmt":"2021-12-02T09:36:01","guid":{"rendered":"https:\/\/dataladder.com\/mesure-de-la-qualite-des-donnees-quand-faut-il-sinquieter\/"},"modified":"2021-12-21T13:52:45","modified_gmt":"2021-12-21T13:52:45","slug":"mesure-de-la-qualite-des-donnees-quand-faut-il-sinquieter","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/mesure-de-la-qualite-des-donnees-quand-faut-il-sinquieter\/","title":{"rendered":"Mesure de la qualit\u00e9 des donn\u00e9es : Quand faut-il s’inqui\u00e9ter ?"},"content":{"rendered":"\n

En mars 2017, le Rescue 116 s’est \u00e9cras\u00e9 contre un obstacle de 282 pieds<\/a> – l’\u00eele Blackrock au large de la c\u00f4te du comt\u00e9 de Mayo. Des enqu\u00eates plus approfondies ont r\u00e9v\u00e9l\u00e9 que l’exploitant de l’h\u00e9licopt\u00e8re du CHC Ireland n’avait pas mis en place un syst\u00e8me \u00ab\u00a0formalis\u00e9, normalis\u00e9, contr\u00f4l\u00e9 ou p\u00e9riodique\u00a0\u00bb. De ce fait, la base de donn\u00e9es utilis\u00e9e par l’op\u00e9rateur pour examiner les itin\u00e9raires de vol ne contenait pas de d\u00e9tails sur l’\u00eele de Blackrock. Il a \u00e9t\u00e9 rapport\u00e9 que l’\u00e9quipage n’a \u00e9t\u00e9 averti de cet obstacle sur sa route de vol qu’\u00e0 13 secondes de celui-ci. Le pire est qu’une plainte a \u00e9t\u00e9 d\u00e9pos\u00e9e au sujet de cette inexactitude de la base de donn\u00e9es des garde-c\u00f4tes irlandais 4 ans avant l’incident, mais aucune mesure corrective n’a \u00e9t\u00e9 prise.<\/p>\n\n

Dans un monde o\u00f9 chaque action est guid\u00e9e par les donn\u00e9es (que ce fait soit officiellement reconnu ou non), ces incidents prouvent que le co\u00fbt d’une mauvaise qualit\u00e9 des donn\u00e9es est fortement sous-estim\u00e9. Mais le plus grand d\u00e9fi rencontr\u00e9 lors de l’\u00e9valuation de la qualit\u00e9 des donn\u00e9es est le manque de mesures rapides et opportunes qui peuvent alerter les parties prenantes lorsque la qualit\u00e9 de leurs donn\u00e9es passe en dessous d’un seuil acceptable.<\/p>\n\n

<\/div>\n\n

Dix dimensions de l’\u00e9valuation de la qualit\u00e9 des donn\u00e9es<\/strong><\/h3>\n\n

En d’autres termes, la qualit\u00e9 des donn\u00e9es est assur\u00e9e lorsque les donn\u00e9es peuvent \u00eatre utilis\u00e9es pour l’objectif pr\u00e9vu sans rencontrer d’erreurs. La qualit\u00e9 des donn\u00e9es est g\u00e9n\u00e9ralement mesur\u00e9e \u00e0 l’aide de ces dix dimensions critiques :<\/a><\/p>\n\n

<\/div>\n\n
\"\"<\/figure>\n\n
<\/div>\n\n

Mais on se demande souvent avec quelle rapidit\u00e9 ces dimensions peuvent \u00eatre mesur\u00e9es – et \u00e0 quel niveau – afin que les \u00e9quipes puissent \u00eatre alert\u00e9es \u00e0 temps de la d\u00e9t\u00e9rioration de la qualit\u00e9 des donn\u00e9es et de son impact sur les co\u00fbts d’exploitation des donn\u00e9es.<\/p>\n\n

<\/div>\n\n

Mesure du vendredi apr\u00e8s-midi (FAM) – \u00c9valuation rapide de la qualit\u00e9 des donn\u00e9es<\/strong><\/h3>\n\n

Tom Redman a propos\u00e9 la m\u00e9thode de mesure du vendredi apr\u00e8s-midi (FAM)<\/a> qui r\u00e9pond rapidement et puissamment \u00e0 la question : Dois-je me pr\u00e9occuper de la qualit\u00e9 des donn\u00e9es ?<\/p>\n\n

Cette m\u00e9thode fournit une m\u00e9thode de calcul rapide et efficace qui peut \u00eatre r\u00e9alis\u00e9e en une heure environ un vendredi apr\u00e8s-midi, lorsque le rythme de travail a ralenti – d’o\u00f9 son nom. Cette m\u00e9thode permet d’\u00e9valuer la qualit\u00e9 des donn\u00e9es sur une base hebdomadaire, de sorte que les signaux d’alarme peuvent \u00eatre lev\u00e9s avant que la situation ne devienne incontr\u00f4lable. Selon le FAM, la qualit\u00e9 des donn\u00e9es peut \u00eatre mesur\u00e9e comme suit :<\/p>\n\n

<\/div>\n\n

\u00c9tape 1 : Rassembler les donn\u00e9es r\u00e9centes<\/strong><\/h4>\n\n

Commencez par rassembler des \u00e9chantillons de donn\u00e9es provenant des activit\u00e9s les plus r\u00e9centes li\u00e9es aux donn\u00e9es qui ont eu lieu dans votre service. Par exemple, pour le d\u00e9partement des ventes, il peut s’agir des 100 derni\u00e8res entr\u00e9es d’enregistrement dans votre CRM. Ici, vous pouvez utiliser les donn\u00e9es qui ont \u00e9t\u00e9 r\u00e9cemment cr\u00e9\u00e9es ou r\u00e9cemment utilis\u00e9es. Une fois que vous avez ces 100 enregistrements, s\u00e9lectionnez 10 \u00e0 15 \u00e9l\u00e9ments de donn\u00e9es ou attributs – en fait, les informations les plus importantes concernant ces enregistrements.<\/p>\n\n

<\/div>\n\n

\u00c9tape 2 : Marquer les enregistrements d\u00e9fectueux et les enregistrements sans d\u00e9faut<\/strong><\/h4>\n\n

Invitez quelques personnes de votre \u00e9quipe qui ont des connaissances sur les donn\u00e9es consid\u00e9r\u00e9es et demandez-leur de participer \u00e0 une r\u00e9union de deux heures avec vous. Passez en revue les enregistrements s\u00e9lectionn\u00e9s et leurs attributs, et marquez toutes les valeurs pour lesquelles vous rencontrez une erreur de qualit\u00e9 des donn\u00e9es (c’est-\u00e0-dire que la valeur est nulle, invalide, mal orthographi\u00e9e, etc.)<\/p>\n\n

Cette activit\u00e9 ne prend g\u00e9n\u00e9ralement pas beaucoup de temps, car les erreurs de qualit\u00e9 des donn\u00e9es sont g\u00e9n\u00e9ralement \u00e9videntes. Mais il peut y avoir un petit nombre d’enregistrements qui n\u00e9cessitent des discussions plus approfondies entre les membres de l’\u00e9quipe pour analyser les probl\u00e8mes de qualit\u00e9 des donn\u00e9es.<\/p>\n\n

Lorsque vous avez marqu\u00e9 ces divergences dans tous les enregistrements, vous \u00eates maintenant pr\u00eat \u00e0 ajouter une nouvelle colonne dans l’ensemble de donn\u00e9es de l’\u00e9chantillon intitul\u00e9e \u00ab\u00a0Enregistrement parfait ?\u00a0\u00bb, et \u00e0 remplir les valeurs de la colonne selon qu’une erreur a \u00e9t\u00e9 rencontr\u00e9e pour un enregistrement ou non. \u00c0 la fin, vous pouvez ajouter et calculer le nombre d’enregistrements d\u00e9fectueux et sans d\u00e9faut marqu\u00e9s dans l’ensemble de donn\u00e9es d’\u00e9chantillon.<\/p>\n\n

\"\"<\/figure>\n\n
<\/div>\n\n

\u00c9tape 3 : Mesurer la qualit\u00e9 des donn\u00e9es en pourcentage<\/strong><\/h4>\n\n

Il est maintenant temps de mettre les choses en perspective et d’obtenir des r\u00e9sultats concluants. Disons que, sur les 100 derniers enregistrements cr\u00e9\u00e9s ou utilis\u00e9s par votre \u00e9quipe, seuls 62 se sont av\u00e9r\u00e9s totalement parfaits, tandis que les 38 autres comportaient une ou plusieurs erreurs de qualit\u00e9 des donn\u00e9es. Un taux d’erreur de 38 % dans un ensemble de donn\u00e9es r\u00e9cemment collect\u00e9es\/utilis\u00e9es d\u00e9clenche un signal d’alarme et confirme que votre service a un probl\u00e8me de qualit\u00e9 des donn\u00e9es.<\/p>\n\n

<\/div>\n\n

\u00c9tape 4 : Calculer le co\u00fbt d’une mauvaise qualit\u00e9 des donn\u00e9es en appliquant la r\u00e8gle des dix (RdT)<\/strong><\/h4>\n\n

La m\u00e9thode ne s’arr\u00eate pas l\u00e0. Il va plus loin en calculant le co\u00fbt estim\u00e9 d’une mauvaise qualit\u00e9 des donn\u00e9es, afin que votre \u00e9quipe – et les cadres dirigeants – puissent comprendre l’impact des mauvaises donn\u00e9es. Ce calcul des co\u00fbts tient compte de la r\u00e8gle des dix : Il co\u00fbte dix fois plus cher de r\u00e9aliser une unit\u00e9 de travail lorsque les donn\u00e9es sont d\u00e9fectueuses que lorsqu’elles sont parfaites.<\/p>\n\n

Ainsi, par exemple, si le co\u00fbt d’une seule unit\u00e9 de travail est de 1 $ lorsque les donn\u00e9es sont parfaites, le co\u00fbt total peut \u00eatre calcul\u00e9 comme suit :<\/p>\n\n

Co\u00fbt total<\/strong> = (62$1) + (38$1*10) = 62$ + 380$ = 442$<\/strong>.<\/p>\n\n

Cela montre que les enregistrements de donn\u00e9es d\u00e9fectueux vous co\u00fbtent environ quatre fois plus cher<\/strong> que si les donn\u00e9es \u00e9taient parfaites. Maintenant que vous savez que vous avez un probl\u00e8me de qualit\u00e9 des donn\u00e9es et que vous connaissez le co\u00fbt de son impact, vous pouvez maintenant prendre des mesures correctives pour corriger ces erreurs.<\/p>\n\n

\"\"<\/figure><\/div>\n\n
<\/div>\n\n

Mise en \u0153uvre de FAM avec DataMatch Enterprise – Le meilleur logiciel de qualit\u00e9 des donn\u00e9es de sa cat\u00e9gorie<\/strong><\/h3>\n\n

La m\u00e9thode FAM s’est av\u00e9r\u00e9e \u00eatre une m\u00e9thode tr\u00e8s efficace en termes de co\u00fbts et de temps, puisqu’elle donne des r\u00e9sultats en une r\u00e9union de 2 heures entre deux \u00e0 trois membres de l’\u00e9quipe. Pourtant, ce temps peut \u00eatre r\u00e9duit \u00e0 seulement 3-5 minutes, impliquant un seul membre de l’\u00e9quipe, en utilisant un outil logiciel de qualit\u00e9 des donn\u00e9es en libre-service.<\/p>\n\n

DataMatch Enterprise (DME<\/a> ) est un outil complet de gestion de la qualit\u00e9 des donn\u00e9es qui utilise une vari\u00e9t\u00e9 d’algorithmes statistiques pour profiler, nettoyer, faire correspondre et d\u00e9duire vos donn\u00e9es. Il est dot\u00e9 de capacit\u00e9s de profilage<\/a> \u00e9tendues qui cr\u00e9ent un rapport instantan\u00e9 \u00e0 360\u00b0 de la qualit\u00e9 de vos donn\u00e9es en identifiant les valeurs vides, les formats et types de donn\u00e9es incorrects, les mod\u00e8les invalides et d’autres statistiques descriptives.<\/p>\n\n

<\/div>\n\n

\u00c9tiquetage automatique des enregistrements parfaits et imparfaits en quelques secondes<\/strong><\/h4>\n\n

Au lieu d’identifier et de marquer manuellement les divergences pr\u00e9sentes dans votre ensemble de donn\u00e9es, votre \u00e9quipe peut, \u00e0 elle seule, g\u00e9n\u00e9rer un rapport qui \u00e9tiquette et num\u00e9rote les enregistrements parfaits et imparfaits en quelques secondes seulement, m\u00eame avec un \u00e9chantillon de 2 millions d’enregistrements.<\/p>\n\n

Les performances de DataMatch Enterprise sur un jeu de donn\u00e9es contenant 2M d’enregistrements ont \u00e9t\u00e9 enregistr\u00e9es comme suit :<\/p>\n\n

<\/div>\n\n
\"\"<\/figure>\n\n
<\/div>\n\n

G\u00e9n\u00e9ration et filtrage de profils d\u00e9taill\u00e9s de qualit\u00e9 des donn\u00e9es <\/strong><\/h4>\n\n

Voici un exemple de profil g\u00e9n\u00e9r\u00e9 \u00e0 l’aide de DME en moins de 10 secondes pour environ 2000 enregistrements : <\/p>\n\n

\"\"<\/figure>\n\n
<\/div>\n\n

Ce profil de donn\u00e9es concis met en \u00e9vidence les d\u00e9tails du contenu et de la structure de tous les attributs de donn\u00e9es choisis. En outre, vous pouvez \u00e9galement naviguer vers des \u00e9l\u00e9ments sp\u00e9cifiques, tels que la liste des 12% d’enregistrements auxquels il manque le deuxi\u00e8me pr\u00e9nom du contact. <\/p>\n\n

\"\"<\/figure>\n\n
<\/div>\n\n

Prochaine \u00e9tape – De l’\u00e9valuation de la qualit\u00e9 des donn\u00e9es \u00e0 la fixation de la qualit\u00e9 des donn\u00e9es<\/strong><\/h3>\n\n

Les caract\u00e9ristiques et les capacit\u00e9s de DME ne s’arr\u00eatent pas \u00e0 l’\u00e9valuation de la qualit\u00e9 des donn\u00e9es ; il est plut\u00f4t con\u00e7u pour utiliser les r\u00e9sultats de l’\u00e9valuation afin de r\u00e9soudre les probl\u00e8mes de qualit\u00e9 des donn\u00e9es :<\/p>\n\n