Pour la plupart des entreprises, les entrées en double peuvent être le signe d’un manque à gagner potentiel, d’une perception négative de la marque et d’une faible réaction aux campagnes. Pour les organismes publics, en revanche, cela peut signifier l’incapacité de gérer la pression croissante exercée sur les machines virtuelles ou le matériel de stockage et les initiatives de reprise après sinistre et de sauvegarde qui, autrement, pourraient entraîner des pertes financières considérables.
C’est pourquoi la déduplication est essentielle non seulement pour faire face aux volumes croissants d’informations du secteur public, mais aussi pour permettre aux organismes de réaliser des économies afin de soutenir leurs opérations quotidiennes.
Dans cet article, nous examinerons le problème des données en double et comment un logiciel de déduplication peut être utilisé pour le résoudre.
Que signifie la déduplication des données pour les institutions publiques ?
La déduplication des données désigne le processus consistant à supprimer les copies doubles et redondantes d’enregistrements uniques afin de réduire l’espace de stockage et de concilier les enregistrements contradictoires. La déduplication des données aide les organisations à s’assurer qu’elles n’ont qu’une seule fiche ou valeur à traiter, ce qui réduit leur empreinte de données et, en fin de compte, les coûts de stockage.
Grâce à la déduplication, les entreprises peuvent identifier et déduire toutes les valeurs répétées provenant de sources de données disparates et multiples, notamment les bases de données, Excel, les applications web et même les API. Pour plus d’informations, consultez le guide sur la déduplication des données.
Pourquoi la qualité des données est-elle essentielle pour les agences ?
La qualité des données est d’une importance capitale pour les agences fédérales en raison de la loi sur la qualité des données (DQA ) entrée en vigueur en 2000. Les gouvernements successifs ont renforcé les normes de qualité ainsi que d’autres mandats tels que l’initiative « Gouvernement ouvert » et la campagne d’optimisation des centres de données afin de garantir l’exactitude des données partagées et diffusées.
L’AQD exige que les données de toute agence fédérale soient conformes aux normes de qualité les plus élevées et répondent aux trois directives suivantes :
- Utilité : l’information partagée ou diffusée est utile et pertinente pour l’utilisateur final.
- Intégrité : les informations ne sont pas partagées sans autorisation et ne sont pas corrompues ou falsifiées.
- Objectivité : les informations présentées doivent être exactes, complètes et fiables pour l’utilisateur final.
En outre, il est essentiel de disposer de données propres et précises pour atteindre divers objectifs commerciaux. Par exemple :
- Des données transparentes et fiables peuvent empêcher les agences d’effectuer des paiements indus aux contractants
- Les agences chargées de la réglementation peuvent mieux appliquer les règlements en disposant de données actualisées et sans doublons.
- L’attribution des financements et des subventions peut également être plus rationnelle grâce à des processus efficaces de résolution des entités et de liaison des enregistrements.
Pour ces raisons, les agences fédérales doivent s’assurer que leurs données sont exemptes d’erreurs, notamment de valeurs en double, afin de se conformer aux lignes directrices.
Conséquences des données dupliquées
Bien que les mesures législatives puissent pousser les agences à adopter des mesures plus strictes d’amélioration des données, y parvenir peut être un défi majeur ; la présence de systèmes hérités, de sources de données disparates et d’informations cloisonnées peut conduire à l’accumulation d’enregistrements en double.
Voici quelques défis que les données dupliquées peuvent créer si elles ne sont pas traitées :
- Coûts de stockage plus élevés: les entrées dupliquées augmentent l’empreinte des données dans les systèmes, ce qui accroît les besoins en capacité de stockage. Cela peut éventuellement conduire les agences à acheter du matériel supplémentaire, ce qui peut faire grimper les frais généraux.
- Augmente les exigences en matière de capacité de sauvegarde : le fait de disposer d’un plus grand nombre de copies d’enregistrements uniques exerce une pression accrue sur les fenêtres de sauvegarde. Cela peut ralentir la vitesse à laquelle les documents peuvent être récupérés, ce qui peut également mettre à rude épreuve les machines virtuelles.
- Une plus grande exposition aux catastrophes: étant donné que les organismes auront davantage de dossiers redondants et répétés à traiter, la création rapide de sauvegardes deviendra difficile, ce qui les exposera effectivement à une attaque DDoS, à des pannes de centre de données et à des défaillances matérielles, etc.
- Augmentation de la durée du cycle : un plus grand nombre d’enregistrements peut entraîner une augmentation de la largeur de bande, car davantage de données seront transmises sur le réseau, ce qui peut augmenter le temps nécessaire au traitement des enregistrements et à la conservation des données.
- Mauvaise gestion des fonds: en l’absence de données précises, les agences peuvent ne pas avoir un aperçu approprié des données financières et comptables réelles, ce qui peut entraîner des paiements excessifs aux contractants, des rapports insuffisants ou excessifs et des retards dans le recouvrement des créances.
Comment un logiciel de déduplication répond-il aux problèmes de duplication ?
Selon le site CTOLabs.com, près de 9 agences fédérales sur 10 considéraient la déduplication des données comme une priorité élevée et la conservation et la récupération des données étaient les plus grandes préoccupations.
Un logiciel de déduplication peut agir comme un outil puissant pour aider les organisations à minimiser les besoins en capacité de stockage en réduisant ou en éliminant les enregistrements redondants et en réconciliant les identités contradictoires.
Dans un cadre, une stratégie et une feuille de route appropriés, un logiciel de déduplication peut permettre aux agences d’atteindre les objectifs suivants :
- Identifier et corriger les enregistrements erronés : des fonctions sophistiquées de profilage, de nettoyage et de normalisation des données peuvent permettre aux agences de localiser les doublons ainsi que les enregistrements manquants,
- Supprimez les doublons dans plusieurs systèmes : lorsque vous gérez des données provenant de sources disparates, il est possible que des enregistrements en double ou redondants se glissent dans d’autres sources. Ainsi, les outils de déduplication peuvent se connecter à divers systèmes sources et garantir que tout processus de déduplication est suffisamment approfondi pour inclure toutes les sources possibles.
- Gagner du temps : la recherche et la suppression des enregistrements en double peut être un processus laborieux de plusieurs jours. Un logiciel de déduplication dédié peut cependant trouver les valeurs répétées des enregistrements et les supprimer en quelques heures seulement.
Exemple de dédoublonnage dans une agence fédérale
Le ministère de la justice (DOJ) reçoit et traite des milliers de demandes en vertu de la loi sur la liberté d’information, dont chacune doit être correctement interprétée, communiquée au demandeur et faire l’objet de recherches approfondies. Grâce à un logiciel de déduplication, l’agence a pu réduire un champ de 4 millions à 3 millions d’enregistrements, qui ont ensuite été réduits à 4 000 enregistrements après filtrage. L’ensemble de l’activité de déduplication n’a duré que quatre heures, ce qui aurait pris plusieurs semaines si elle avait été effectuée manuellement.
Dédoublonnage d’enregistrements avec DataMatch Enterprise
DataMatch Enterprise (DME ) de Data Ladder est un outil industriel de rapprochement et de dédoublonnage conçu pour réconcilier les entités non résolues et dédoublonner les enregistrements redondants et répétés afin d’aider les organismes à réduire considérablement leur empreinte de données.
Pour plus d’informations sur l’utilisation de DME comme logiciel de déduplication pour trouver et supprimer les doublons, n’hésitez pas à nous contacter dès aujourd’hui.
