{"id":67415,"date":"2022-04-25T09:40:01","date_gmt":"2022-04-25T13:40:01","guid":{"rendered":"https:\/\/dataladder.com\/api-de-qualite-des-donnees-fonctions-architecture-et-avantages\/"},"modified":"2022-05-19T10:38:30","modified_gmt":"2022-05-19T10:38:30","slug":"api-de-qualite-des-donnees-fonctions-architecture-et-avantages","status":"publish","type":"post","link":"https:\/\/dataladder.com\/fr\/api-de-qualite-des-donnees-fonctions-architecture-et-avantages\/","title":{"rendered":"API de qualit\u00e9 des donn\u00e9es : Fonctions, architecture et avantages"},"content":{"rendered":"\n

Lors d’une enqu\u00eate men\u00e9e aupr\u00e8s de 1900 \u00e9quipes charg\u00e9es des donn\u00e9es, plus de 60 %<\/a> ont cit\u00e9 le nombre trop \u00e9lev\u00e9 de sources de donn\u00e9es et l’incoh\u00e9rence des donn\u00e9es comme \u00e9tant le principal probl\u00e8me de qualit\u00e9 des donn\u00e9es qu’elles rencontrent. Mais lorsqu’ils sont confront\u00e9s \u00e0 la t\u00e2che d’am\u00e9liorer la qualit\u00e9 des donn\u00e9es, les responsables des donn\u00e9es se trouvent souvent dans une situation difficile, car ils doivent prendre des d\u00e9cisions cruciales. L’une des d\u00e9cisions les plus importantes \u00e0 prendre est la suivante : \u00e0 quel moment du cycle de vie des donn\u00e9es doit-on tester et corriger la qualit\u00e9 des donn\u00e9es ?<\/em><\/p>\n\n

Pour r\u00e9pondre \u00e0 cette question, quelques aspects doivent \u00eatre pris en compte. \u00c9tant donn\u00e9 que de nombreuses entreprises produisent r\u00e9guli\u00e8rement d’\u00e9normes quantit\u00e9s de donn\u00e9es et les utilisent de mani\u00e8re constante dans toute l’organisation, une approche r\u00e9active – o\u00f9 les donn\u00e9es sont nettoy\u00e9es apr\u00e8s leur stockage – n’est peut-\u00eatre pas le meilleur choix, car elle a un impact sur la fiabilit\u00e9 et la disponibilit\u00e9 des donn\u00e9es. Le d\u00e9ploiement d’un pare-feu central pour la qualit\u00e9 des donn\u00e9es – o\u00f9 les donn\u00e9es sont test\u00e9es et trait\u00e9es avant d’\u00eatre stock\u00e9es dans la base de donn\u00e9es – pourrait \u00eatre une meilleure option dans de tels cas.<\/p>\n\n

Pour en savoir plus sur les diff\u00e9rences entre ces deux approches, consultez notre dernier blog : Traitement par lots versus validation de la qualit\u00e9 des donn\u00e9es en temps r\u00e9el<\/a>.<\/p>\n\n

Dans la plupart des approches r\u00e9actives, les responsables des donn\u00e9es ou d’autres membres de l’\u00e9quipe charg\u00e9e de la qualit\u00e9 des donn\u00e9es<\/a> utilisent une interface logicielle pour tester et corriger la qualit\u00e9 des donn\u00e9es. Mais dans une approche proactive, cette t\u00e2che est g\u00e9n\u00e9ralement g\u00e9r\u00e9e par une API. Dans ce blog, nous examinerons les diff\u00e9rents aspects \u00e0 prendre en compte lors du d\u00e9ploiement d’un pare-feu de qualit\u00e9 des donn\u00e9es utilisant ces API. Commen\u00e7ons.<\/p>\n\n

Qu’est-ce qu’une API de qualit\u00e9 des donn\u00e9es ?<\/h2>\n\n

En termes simples, une API (interface de programmation d’applications) est un interm\u00e9diaire logiciel qui permet aux applications de communiquer entre elles. Une API r\u00e9side entre deux applications logicielles et g\u00e8re les demandes\/r\u00e9ponses transmises. Habituellement, lorsque vous souhaitez int\u00e9grer ou connecter deux syst\u00e8mes, vous le faites \u00e0 l’aide d’une API.<\/p>\n\n

De m\u00eame, une API de qualit\u00e9 des donn\u00e9es signifie :<\/p>\n\n

Un interm\u00e9diaire logiciel qui sert les demandes\/r\u00e9ponses pour diverses fonctions de qualit\u00e9 des donn\u00e9es.<\/strong><\/p>\n\n

Mise en \u0153uvre architecturale d’une API de qualit\u00e9 des donn\u00e9es<\/h2>\n\n

Une API de qualit\u00e9 des donn\u00e9es est souvent d\u00e9sign\u00e9e par diff\u00e9rents noms. Par exemple, pare-feu de qualit\u00e9 des donn\u00e9es, validation de la qualit\u00e9 des donn\u00e9es en temps r\u00e9el, moteur central de qualit\u00e9 des donn\u00e9es, etc. Ces noms sont donn\u00e9s car l’API fonctionne entre l’application qui saisit les donn\u00e9es et la base de donn\u00e9es qui les stocke.<\/p>\n\n

Les API de qualit\u00e9 des donn\u00e9es (comme toute autre API) reposent sur une architecture pilot\u00e9e par les \u00e9v\u00e9nements. Ils sont d\u00e9clench\u00e9s lorsqu’un \u00e9v\u00e9nement se produit. Ainsi, chaque fois que de nouvelles donn\u00e9es arrivent par une application connect\u00e9e ou que des donn\u00e9es existantes sont mises \u00e0 jour, elles passent d’abord par l’API (o\u00f9 la qualit\u00e9 des donn\u00e9es est v\u00e9rifi\u00e9e), puis elles sont dirig\u00e9es vers la base de donn\u00e9es source. L’API fait ainsi office de passerelle entre une application de capture des donn\u00e9es et une source de stockage des donn\u00e9es, ce qui garantit qu’aucune erreur de qualit\u00e9 des donn\u00e9es n’est transf\u00e9r\u00e9e de la premi\u00e8re extr\u00e9mit\u00e9 \u00e0 la seconde.<\/p>\n\n

Exemple de validation de la qualit\u00e9 des donn\u00e9es en temps r\u00e9el pour les donn\u00e9es clients<\/h3>\n\n

Lorsque vous d\u00e9ployez un pare-feu central pour la qualit\u00e9 des donn\u00e9es, la qualit\u00e9 des donn\u00e9es entrantes est v\u00e9rifi\u00e9e en quasi temps r\u00e9el. Par exemple, lorsqu’une modification est apport\u00e9e \u00e0 un enregistrement client ou lorsqu’un nouvel enregistrement client est cr\u00e9\u00e9 dans une application connect\u00e9e, la mise \u00e0 jour est d’abord envoy\u00e9e au moteur central de qualit\u00e9 des donn\u00e9es. Ici, la modification est v\u00e9rifi\u00e9e par rapport \u00e0 la d\u00e9finition de la qualit\u00e9 des donn\u00e9es configur\u00e9e, en s’assurant par exemple que les champs obligatoires ne sont pas vides, que les valeurs respectent le format et le mod\u00e8le standard, qu’un nouvel enregistrement client ne peut pas correspondre \u00e0 un enregistrement client existant, etc.<\/p>\n\n

Si des erreurs de qualit\u00e9 de donn\u00e9es sont trouv\u00e9es, une liste de r\u00e8gles de transformation est ex\u00e9cut\u00e9e pour nettoyer les donn\u00e9es. Dans certains cas, vous pouvez avoir besoin d’un responsable de la qualit\u00e9 des donn\u00e9es pour intervenir et prendre des d\u00e9cisions lorsque les valeurs des donn\u00e9es sont ambigu\u00ebs et ne peuvent pas \u00eatre bien trait\u00e9es par les algorithmes configur\u00e9s. Par exemple, il se peut qu’il y ait 60 % de chances qu’un nouvel enregistrement client soit un doublon, et quelqu’un devra v\u00e9rifier manuellement et r\u00e9soudre le probl\u00e8me. Une fois cette op\u00e9ration effectu\u00e9e, l’enregistrement de donn\u00e9es nettoy\u00e9, appari\u00e9 et v\u00e9rifi\u00e9 est ensuite envoy\u00e9 \u00e0 une source de destination, qui peut \u00eatre un ensemble de donn\u00e9es de base, un entrep\u00f4t de donn\u00e9es, un syst\u00e8me de veille \u00e9conomique, etc.<\/p>\n\n

Un exemple d’une telle architecture est repr\u00e9sent\u00e9 sch\u00e9matiquement ci-dessous :<\/p>\n\n

<\/div>\n\n
\"\"<\/figure>\n\n
<\/div>\n\n

Fonctions d’une API de qualit\u00e9 des donn\u00e9es<\/h2>\n\n

Une bonne API de qualit\u00e9 des donn\u00e9es est capable d’ex\u00e9cuter diff\u00e9rents types de fonctions de qualit\u00e9 des donn\u00e9es<\/a> sur les donn\u00e9es entrantes. En fonction des processus inclus dans votre cadre de qualit\u00e9 des donn\u00e9es<\/a>, vous pouvez vous abonner aux fonctions requises via l’API. Mais comme la plupart des organisations ne peuvent se permettre de laisser passer des probl\u00e8mes r\u00e9currents ou nouveaux de qualit\u00e9 des donn\u00e9es, elles souscrivent le plus souvent \u00e0 un maximum de techniques de validation et de correction de la qualit\u00e9 des donn\u00e9es offertes par l’API.<\/p>\n\n

Les fonctions les plus courantes expos\u00e9es par une API de qualit\u00e9 des donn\u00e9es sont les suivantes :<\/p>\n\n

1. Se connecter aux sources de donn\u00e9es<\/h3>\n\n

Il s’agit de la fonctionnalit\u00e9 principale et la plus avantageuse qu’offre une API de qualit\u00e9 des donn\u00e9es. Les organisations utilisent de multiples applications g\u00e9n\u00e9rant des donn\u00e9es, par exemple, des outils de suivi de site web, des outils d’automatisation du marketing, des CRM, etc. C’est pourquoi une API de qualit\u00e9 des donn\u00e9es doit \u00eatre capable de se connecter et de dialoguer avec ces diff\u00e9rentes applications<\/a>, ainsi qu’avec la base de donn\u00e9es de destination o\u00f9 aboutissent g\u00e9n\u00e9ralement les donn\u00e9es entrantes.<\/p>\n\n

2. Effectuer des contr\u00f4les de qualit\u00e9 des donn\u00e9es<\/h3>\n\n

Chaque fois qu’un \u00e9v\u00e9nement se produit dans une application connect\u00e9e (un nouvel enregistrement est cr\u00e9\u00e9 ou un enregistrement existant est mis \u00e0 jour), l’API peut \u00e9valuer et profiler les donn\u00e9es entrantes<\/a> pour d\u00e9tecter les erreurs de qualit\u00e9 des donn\u00e9es. Pour ce faire, il ex\u00e9cute des algorithmes statistiques qui \u00e9valuent les donn\u00e9es entrantes et v\u00e9rifient si elles sont conformes \u00e0 la d\u00e9finition de la qualit\u00e9 des donn\u00e9es. Ces contr\u00f4les consistent notamment \u00e0 s’assurer que :<\/p>\n\n