Pour traiter les donn\u00e9es avec pr\u00e9cision, relier les enregistrements et d\u00e9dupliquer les entr\u00e9es redondantes dans le secteur bancaire, la correspondance floue des noms est une approche populaire.<\/p>\n
Dans ce billet, nous allons voir pourquoi la logique d’appariement floue est vitale pour le secteur bancaire.<\/p>\n
Le paysage de l’industrie bancaire<\/b><\/h3>\nChamp d’application des donn\u00e9es<\/b><\/h4>\n
Au niveau macro, les banques doivent superviser des quantit\u00e9s consid\u00e9rables de donn\u00e9es provenant de multiples canaux tels que les achats aux points de vente, les guichets automatiques, les paiements en ligne et les donn\u00e9es relatives au profil des clients.<\/p>\n
\u00c0 cela s’ajoutent plusieurs couches et types de donn\u00e9es financi\u00e8res que les banques doivent conserver, concernant les paiements, les revenus, le cr\u00e9dit, les pr\u00eats, la d\u00e9pr\u00e9ciation, l’administration des comptes, les pr\u00eats anti-usure, etc. Toutes ces donn\u00e9es sont g\u00e9n\u00e9ralement organis\u00e9es en silos et sont orient\u00e9es vers le produit (par opposition au client), ce qui signifie qu’il est complexe d’obtenir une vue pr\u00e9cise de l’entit\u00e9 unique.<\/p>\n
R\u00e9glementation bancaire<\/b><\/h4>\n
Outre la gestion de tonnes de donn\u00e9es, les banques doivent se conformer \u00e0 toute une s\u00e9rie de r\u00e8gles de conformit\u00e9 impos\u00e9es par le Federal Reserve Board et l’Office of the Comptroller of the Currency, ainsi que par d’autres autorit\u00e9s. Il s’agit notamment de :<\/p>\n
- \n
- USA Patriot Act<\/li>\n
- AML (Anti Money Laundering)<\/li>\n
- KYC (Know Your Customer)<\/li>\n
- R\u00e8glement CFT (Counter Financing of Terrorism)<\/li>\n
- BSA (Bank Secrecy Act) & Currency and Foreign Transactions Reporting Act et plus encore.<\/li>\n<\/ol>\n
D\u00e9fis en mati\u00e8re de donn\u00e9es<\/b><\/h4>\n
Au fil des ans, les banques ont investi massivement dans la transformation num\u00e9rique, l’IA et le Big Data afin d’\u00eatre mieux \u00e9quip\u00e9es pour traiter de grandes quantit\u00e9s de donn\u00e9es. Cependant, malgr\u00e9 cela, il existe de nombreux d\u00e9fis tels que :<\/p>\n
- \n
- Infrastructure informatique d\u00e9pass\u00e9e ou obsol\u00e8te :<\/b> Les donn\u00e9es financi\u00e8res des banques reposent toujours sur des syst\u00e8mes mainframe obsol\u00e8tes, \u00e0 tel point que plus de 90 % des 100 premi\u00e8res banques mondiales s’en servent encore. Cette situation est aggrav\u00e9e par le fait que les entreprises transf\u00e8rent leurs donn\u00e9es entre les syst\u00e8mes sur site et les applications en nuage, ce qui accro\u00eet la pression sur les initiatives de conversion des donn\u00e9es.<\/li>\n
- 80 % des donn\u00e9es bancaires sont non structur\u00e9es :<\/b> Contrairement aux donn\u00e9es structur\u00e9es qui sont stock\u00e9es dans un format relationnel plus facile \u00e0 consulter et \u00e0 travailler, les donn\u00e9es non structur\u00e9es – stock\u00e9es sous forme de bases de donn\u00e9es NoSQL, de documents Word, de PDF et d’e-mails – sont beaucoup plus difficiles \u00e0 interpr\u00e9ter et \u00e0 analyser. Il en r\u00e9sulte qu’un grand nombre de donn\u00e9es restent inutilis\u00e9es alors qu’elles pourraient \u00eatre exploit\u00e9es pour comprendre et anticiper l’\u00e9volution des pr\u00e9f\u00e9rences des clients en temps r\u00e9el.<\/li>\n
- Manque de technologies adapt\u00e9es au nettoyage des Big Data :<\/b> Les banques utilisent les technologies de la plateforme open-source Hadoop telles que HBase, HDFS, Spark et bien d’autres. Cependant, l’ingestion de donn\u00e9es provenant de tous ces syst\u00e8mes ainsi que de bases de donn\u00e9es SQL reste un d\u00e9fi en raison de la pr\u00e9sence d’ensembles de donn\u00e9es disparates en silo et de la difficult\u00e9 \u00e0 d\u00e9dupliquer et \u00e0 r\u00e9soudre les entit\u00e9s de milliards d’enregistrements.<\/li>\n<\/ol>\n
Des donn\u00e9es financi\u00e8res m\u00e9diocres – un obstacle majeur pour les banques<\/b><\/h3>\n
L’adage \u00ab\u00a0les donn\u00e9es sont le nouveau p\u00e9trole\u00a0\u00bb est vrai. Mais pour s’assurer que les donn\u00e9es sont une ressource aussi pr\u00e9cieuse que le p\u00e9trole, il faut investir le temps et les efforts n\u00e9cessaires \u00e0 la consolidation, au profilage, \u00e0 l’analyse, \u00e0 la d\u00e9duplication et \u00e0 la r\u00e9solution d’entit\u00e9s des enregistrements pour obtenir une source unique de v\u00e9rit\u00e9.<\/p>\n
Les banques sont tenues de conserver des informations \u00e0 jour sur leurs clients pour diverses r\u00e9glementations (en particulier KYC) et utilisations (notation de cr\u00e9dit FICO, pr\u00e9diction de faillite financi\u00e8re) pendant des d\u00e9cennies, qui, si elles ne sont pas prises en charge, peuvent rapidement devenir corrompues ou obsol\u00e8tes.<\/p>\n
En outre, les donn\u00e9es collect\u00e9es aupr\u00e8s des banques sont tr\u00e8s susceptibles de contenir des anomalies r\u00e9sultant d’erreurs de saisie manuelle, de doublons cr\u00e9\u00e9s par le syst\u00e8me, et bien plus encore. Dans ce contexte, il est essentiel que les professionnels de l’informatique mettent en place des strat\u00e9gies pour d\u00e9tecter et corriger rapidement les erreurs avant qu’elles ne se transforment en scandales de blanchiment d’argent et en controverses sur la fraude par carte de cr\u00e9dit.<\/p>\n
Correspondance de noms flous – Qu’est-ce que c’est ?<\/b><\/h3>\n
La correspondance floue est un algorithme de correspondance probabiliste qui permet de faire correspondre deux ou plusieurs entr\u00e9es sur la base de la probabilit\u00e9 de leur similarit\u00e9. Elle diff\u00e8re grandement de la correspondance d\u00e9terministe dans laquelle les correspondances sont identifi\u00e9es ou signal\u00e9es sur la base d’une logique de \u00ab\u00a0oui\u00a0\u00bb ou de \u00ab\u00a0non\u00a0\u00bb en pr\u00e9sence d’un identifiant unique tel que l’adresse, le SSN ou d’autres champs.<\/p>\n
La correspondance floue de noms est la plus adapt\u00e9e aux requ\u00eates de noms pour identifier les correspondances avec une probabilit\u00e9 inf\u00e9rieure \u00e0 100 % lorsqu’aucun identifiant unique n’est pr\u00e9sent. Il peut y avoir plusieurs variantes de noms de clients au sein des banques sous la forme de :<\/p>\n
- \n
- Fautes d’orthographe<\/li>\n
- Abr\u00e9viations<\/li>\n
- Format incoh\u00e9rent du pr\u00e9nom, du second pr\u00e9nom et du nom de famille<\/li>\n
- Surnoms<\/li>\n
- Majuscules et minuscules<\/li>\n
- Acronymes<\/li>\n
- Espaces de d\u00e9but et de fin de ligne, etc.<\/li>\n<\/ul>\n
De ce fait, il peut y avoir plusieurs identit\u00e9s de client, chacune avec des variantes de nom diff\u00e9rentes. Les banques peuvent collecter des donn\u00e9es refl\u00e9tant plusieurs parcours clients d’une m\u00eame personne et finir par offrir une mauvaise exp\u00e9rience client, perdre plus de temps \u00e0 identifier les comptes clients, perdre des revenus sous forme de nouvelles opportunit\u00e9s commerciales.<\/p>\n
Pour plus d’informations, veuillez lire : Guide de l’appariement flou 101<\/a>.<\/p>\n
Correspondance floue de noms pour les cas d’utilisation bancaire<\/b><\/h3>\n
La correspondance floue a des applications consid\u00e9rables pour identifier les correspondances non exactes, supprimer les enregistrements en double dans les applications de donn\u00e9es volumineuses et r\u00e9soudre les probl\u00e8mes d’entit\u00e9s contradictoires. Cela peut permettre aux institutions financi\u00e8res, petites et grandes, d’atteindre divers objectifs tels que :<\/p>\n
- \n
- Pr\u00e9vention de la fraude :<\/b> la correspondance floue peut aider \u00e0 rapprocher plusieurs comptes clients et \u00e0 identifier les personnes qui ont d\u00e9pos\u00e9 \u00e0 tort des demandes d’indemnisation afin de d\u00e9tecter les fraudes et d’\u00e9viter que la r\u00e9putation de l’entreprise ne soit entach\u00e9e par l’omission de signaler un comportement frauduleux.<\/li>\n
- Credit scoring :<\/b> les algorithmes flous peuvent \u00e9galement permettre de d\u00e9terminer le score de cr\u00e9dit FICO de ses clients afin de peser les risques de pr\u00eater de l’argent \u00e0 des clients cl\u00e9s ou d’identifier et de minimiser les pertes dues aux mauvaises cr\u00e9ances.<\/li>\n
- Approbation des pr\u00eats : <\/b>lecouplage<\/a> et la d\u00e9duplication des <\/a>enregistrements<\/a> peuvent aider les banques \u00e0 s\u00e9lectionner les clients qui ont le droit de recevoir un pr\u00eat en cr\u00e9ant des identifiants uniques pour les clients et en consolidant toutes les informations \u00e9parses sur les clients dans une vue unique.<\/li>\n<\/ol>\n
La correspondance floue des noms est-elle suffisamment efficace ?<\/b><\/h4>\n
\u00c9tant donn\u00e9 la nature probabiliste de ses algorithmes de mise en correspondance, la mise en correspondance floue comporte un certain degr\u00e9 d’impr\u00e9cision et d’incertitude. Selon la puissance de l’algorithme de mise en correspondance, la logique floue peut aboutir \u00e0 des correspondances incorrectes (faux positifs) ou ne pas trouver de correspondances correctes (faux n\u00e9gatifs).<\/p>\n
Une fa\u00e7on de les minimiser consiste \u00e0 \u00e9tablir un profil complet de vos sources de donn\u00e9es avant de proc\u00e9der \u00e0 tout type de rapprochement. \u00c0 ce stade, le profilage des donn\u00e9es peut r\u00e9v\u00e9ler l’\u00e9tendue des donn\u00e9es erron\u00e9es qui peuvent \u00eatre nettoy\u00e9es davantage pour obtenir un meilleur score de correspondance. Pour plus d’informations, veuillez lire : L’importance du profilage des donn\u00e9es pour la gestion des donn\u00e9es<\/a>.<\/p>\n
Comment DME utilise la correspondance floue de noms pour les<\/b> cas d’utilisation bancaire<\/b><\/h3>\n
DataMatch Enterprise (DME) de Data Ladder est un outil de qualit\u00e9 des donn\u00e9es qui utilise une solution de correspondance floue des noms de<\/a> niveau entreprise pour aider les banques et les compagnies d’assurance \u00e0 trouver des correspondances non exactes en temps r\u00e9el et en mode batch.<\/p>\n
Contrairement \u00e0 d’autres outils de correspondance floue, DME est livr\u00e9 avec des biblioth\u00e8ques de surnoms pr\u00e9-construites pour aider \u00e0 relier les enregistrements avec des approximations de noms proches pour une plus grande pr\u00e9cision de correspondance et l’attribution de niveaux et de poids pour minimiser les faux positifs et les faux n\u00e9gatifs.<\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2021\/04\/6.-Match-Definitions-p7fozxfwvb3zxdg2glhhtgy7elxb4c1nlada8tl0zm-300x156.png\")
Figure 1<\/figcaption><\/figure>\n Comme indiqu\u00e9 ci-dessus, les niveaux de DME vous permettent de choisir entre une correspondance floue, phon\u00e9tique, exacte et num\u00e9rique et de modifier le niveau de seuil pour contr\u00f4ler le degr\u00e9 de pr\u00e9cision de la correspondance afin de minimiser les faux positifs et n\u00e9gatifs.<\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2021\/04\/7.-Match-Results-300x141.png\")
Figure 2<\/figcaption><\/figure>\n Une fois l’appariement effectu\u00e9, tous les r\u00e9sultats sont mis en parall\u00e8le selon chaque groupe avec le score d’appariement pour aider \u00e0 identifier les enregistrements en or.
\nPour plus d’informations sur la correspondance de noms flous pour le secteur bancaire, consultez nos solutions pour la finance et l’assurance<\/a> ou t\u00e9l\u00e9chargez l’essai<\/a> pour commencer d\u00e8s aujourd’hui.
\n![\"\"](\"http:\/\/staging-dataladdercom.kinsta.cloud\/wp-content\/uploads\/2019\/05\/fuzzy-whitepaper2.png\")
<\/p>\nComment fonctionnent les meilleures solutions de correspondance floue de leur cat\u00e9gorie : Combinaison d’algorithmes \u00e9tablis et exclusifs<\/b><\/p>\n
- Credit scoring :<\/b> les algorithmes flous peuvent \u00e9galement permettre de d\u00e9terminer le score de cr\u00e9dit FICO de ses clients afin de peser les risques de pr\u00eater de l’argent \u00e0 des clients cl\u00e9s ou d’identifier et de minimiser les pertes dues aux mauvaises cr\u00e9ances.<\/li>\n
- Pr\u00e9vention de la fraude :<\/b> la correspondance floue peut aider \u00e0 rapprocher plusieurs comptes clients et \u00e0 identifier les personnes qui ont d\u00e9pos\u00e9 \u00e0 tort des demandes d’indemnisation afin de d\u00e9tecter les fraudes et d’\u00e9viter que la r\u00e9putation de l’entreprise ne soit entach\u00e9e par l’omission de signaler un comportement frauduleux.<\/li>\n
- 80 % des donn\u00e9es bancaires sont non structur\u00e9es :<\/b> Contrairement aux donn\u00e9es structur\u00e9es qui sont stock\u00e9es dans un format relationnel plus facile \u00e0 consulter et \u00e0 travailler, les donn\u00e9es non structur\u00e9es – stock\u00e9es sous forme de bases de donn\u00e9es NoSQL, de documents Word, de PDF et d’e-mails – sont beaucoup plus difficiles \u00e0 interpr\u00e9ter et \u00e0 analyser. Il en r\u00e9sulte qu’un grand nombre de donn\u00e9es restent inutilis\u00e9es alors qu’elles pourraient \u00eatre exploit\u00e9es pour comprendre et anticiper l’\u00e9volution des pr\u00e9f\u00e9rences des clients en temps r\u00e9el.<\/li>\n
- Infrastructure informatique d\u00e9pass\u00e9e ou obsol\u00e8te :<\/b> Les donn\u00e9es financi\u00e8res des banques reposent toujours sur des syst\u00e8mes mainframe obsol\u00e8tes, \u00e0 tel point que plus de 90 % des 100 premi\u00e8res banques mondiales s’en servent encore. Cette situation est aggrav\u00e9e par le fait que les entreprises transf\u00e8rent leurs donn\u00e9es entre les syst\u00e8mes sur site et les applications en nuage, ce qui accro\u00eet la pression sur les initiatives de conversion des donn\u00e9es.<\/li>\n