In diesem Leitfaden behandle ich Themen wie:<\/p>\n
- \n
- Die wahre Bedeutung von Datenduplikaten und deren Typen<\/li>\n
- Einige h\u00e4ufige Ursachen f\u00fcr doppelte Datens\u00e4tze<\/li>\n
- Herausforderungen bei der Bereinigung\/Entfernung von Duplikaten<\/li>\n
- Was ist Datendeduplizierung und wie funktioniert sie?<\/li>\n
- Gibt es eine einfachere M\u00f6glichkeit, Daten zu dedizieren?<\/li>\n
- Wie DataMatch Enterprise hilft<\/li>\n<\/ul>\n
Fangen wir gleich damit an.<\/p>\n
Doppelte Daten, ihre Arten und Gr\u00fcnde f\u00fcr ihr Auftreten<\/h2>\n
Die einfache Definition: Eine Kopie eines Originaldatensatzes ist ein Duplikat. Wenn das der Fall w\u00e4re, w\u00e4re die Aufl\u00f6sung von Duplikaten nie ein Problem gewesen.<\/p>\n
Doppelte Daten sind viel komplexer, als wir uns vorstellen k\u00f6nnen. Im Folgenden finden Sie einige Arten und relevante Beispiele, die Ihnen helfen, das Ausma\u00df von Problemen mit doppelten Daten zu verstehen.<\/p>\n
Typ 1: Exakte Duplikate in derselben Quelle<\/h3>\n
Dies ist auf Fehler bei der Dateneingabe zur\u00fcckzuf\u00fchren, z. B. durch Kopieren\/Einf\u00fcgen von Informationen aus einer Quelle in eine andere. Wenn Sie beispielsweise Informationen aus einem Marketing-Tool eines Drittanbieters in das CRM-System kopieren, kann es sein, dass Sie dieselben Informationen doppelt erfassen. Exakte Duplikate sind leicht zu erkennen.<\/p>\n
Beispiel: <\/strong><\/p>\n
CRM-Datensatz Zeile 1 und Zeile 5 enthalten Duplikate, wobei der letzte Datensatz einen zus\u00e4tzlichen Buchstaben im Vornamen enth\u00e4lt.<\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-1-1024x266.png\")
<\/p>\nBeachten Sie, dass die letzte Zeile ebenfalls einen versehentlichen Tippfehler enth\u00e4lt. Der Vorname lautet Mary S<\/strong>., statt Mary.<\/p>\n
Typ 2: Exakte Duplikate in mehreren Quellen<\/h3>\n
Die Datensicherung ist h\u00e4ufig die Hauptursache f\u00fcr exakte Duplikate in mehreren Quellen. Unternehmen sind oft nicht gewillt, Daten zu l\u00f6schen, weshalb sie dazu neigen, Listen in verschiedenen Formaten und Quellen zu speichern. Die lokalen Ordner des Unternehmens k\u00f6nnen beispielsweise eine veraltete Excel-Tabelle mit Datens\u00e4tzen enthalten, die erstellt wurden, als das Unternehmen versuchte, eine Datenquelle vom ERP zu einem CRM zu migrieren. Im Laufe der Zeit verursachen die Kopien dieser Daten erhebliche Probleme mit dem Plattenspeicher und der Systemleistung. Einer der wichtigsten Beweggr\u00fcnde f\u00fcr IT-Anwender, Daten zu dedizieren, ist die Freigabe von Speicherplatz!<\/p>\n
Beispiel: <\/strong><\/p>\n
Exakte Duplikate in CRM und Unternehmensdatenbank. Beachten Sie, dass sich die Struktur der Datenbank von derjenigen des CRM unterscheidet. Wenn Daten vom CRM in die Datenbank verschoben werden, k\u00f6nnen diese Probleme auftreten, was zu ungenauen und doppelten Daten f\u00fchrt, die schwer zu erkennen sind. <\/strong><\/p>\n
CRM-Daten: <\/u><\/strong><\/p>\n
<\/p>\nUnternehmensdatenbank: <\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-2-1024x261.png\")
<\/p>\nTyp 3: Duplikate mit variierenden Informationen in mehreren Quellen<\/h3>\n
In diesem Fall werden unterschiedliche Informationen desselben Benutzers in mehreren Quellen gespeichert. Dies geschieht, wenn die Entit\u00e4t aufgrund einer neuen E-Mail-ID, einer neuen Adresse oder einer neuen Berufsbezeichnung als neuer Eintrag erfasst wird.<\/p>\n
Beispiel: <\/strong><\/p>\n
Nehmen wir das obige Beispiel mit aktualisierten Informationen. <\/strong><\/p>\n
CRM-Daten:<\/u><\/strong><\/p>\n
![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-3-1024x273.png\")
<\/p>\n![\"\"](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL-_Table-4-1024x242.png\")
<\/p>\nIm ersten Fall k\u00f6nnte es sich bei Maria um eine alte Kundin handeln, deren Daten in der Datenbank des Unternehmens gespeichert, aber nie aktualisiert wurden. Im CRM sind die Informationen neu. Angenommen, das Unternehmen m\u00f6chte seine Datenbank aktualisieren, dann ist der Datensatz von Frau Mary Sue ein Duplikat. Wenn Unternehmen \u00fcber mehrere unterschiedliche Datenquellen verf\u00fcgen und jede dieser Quellen Informationen auf unterschiedliche Weise speichert, kommt es h\u00e4ufig zu Duplikaten dieser Art.<\/p>\n
Typ 4: Nicht exakte Duplikate<\/h3>\n
Dies ist das h\u00e4ufigste Problem und auch das am schwierigsten zu l\u00f6sende. Dies ist der Fall, wenn die Informationen eines Unternehmens auf mehrere Arten geschrieben werden.<\/p>\n
Angenommen, der vollst\u00e4ndige Name von Mary Sue lautet Mary Susan Sue, so werden ihre Daten in mehreren Datens\u00e4tzen eingegeben.<\/p>\n
CRM: <\/strong>Mary J. Sue<\/p>\n
Marketingunterlagen: <\/strong>Mary Jane<\/p>\n
Versehentliches Eintippen einer Abk\u00fcrzung durch einen Handelsvertreter in einem Abteilungsdatensatz: <\/strong>MJ Sue.<\/p>\n
Nehmen wir einmal an, Mary Jane Sue ist \u00c4rztin. In einigen Datens\u00e4tzen wird ihr Titel Frau, in anderen Frau Dr. lauten. Wenn die Dateneingabevorschriften der Organisation nur Frau\/Frau\/Herr zulassen, kann ihr Titel Frau Dr. nicht hinzugef\u00fcgt werden!<\/p>\n
Was w\u00e4re, wenn sie innerhalb von zwei Jahren zweimal ihre Telefonnummer, E-Mail-Adresse oder ihren Arbeitsplatz gewechselt hat? Und jedes Mal, wenn sie mit dem Unternehmen Gesch\u00e4fte macht, wird sie als neuer Kunde registriert.<\/p>\n
Ursachen f\u00fcr Duplikate<\/h2>\n
Duplikate wie Typ 3 und 4 sind mit exakten Datenabgleichstechniken<\/a>, die darauf angewiesen sind, dass die Felder exakte Werte haben, nicht leicht zu erkennen. Selbst wenn Sie eine Strategie zur Datendeduplizierung haben, werden Duplikate auftreten.<\/p>\n
Hier sind einige Gr\u00fcnde daf\u00fcr:<\/p>\n
\u00dcberschneidungen aufgrund von Fusionen und \u00dcbernahmen <\/strong><\/p>\n
Wenn Unternehmen Daten<\/a> aus mehreren Quellen zusammenf\u00fchren<\/a>, um eine umfangreiche Migration durchzuf\u00fchren, wird das Ausma\u00df der Duplizierung gef\u00e4hrlich kompliziert. Die Datenstruktur der beiden Unternehmen kann sich unterscheiden, auch wenn sie dieselben Kundeninformationen haben.<\/p>\n
Ein Microsoft-Nutzer ist zum Beispiel auch ein LinkedIn-Nutzer, und beide Plattformen k\u00f6nnen fast die gleichen individuellen Daten haben. Daher k\u00f6nnen Duplikate auf einer tieferen Ebene auftreten, wenn die Unternehmen ihre Daten ohne eine solide Datenqualit\u00e4tsstrategie zusammenf\u00fchren, die Datenaufbereitung<\/a>, Datenbereinigung<\/a>, Datenkonsolidierung und Datendeduplizierung umfasst.<\/p>\n
Schlechte Dateneingabeprozesse und fehlende Data Governance <\/strong><\/p>\n
Unternehmen, die keine strengen Data-Governance-Richtlinien einf\u00fchren oder keine strategischen Datenqualit\u00e4tssysteme einsetzen, haben oft schmutzige, doppelte Daten.<\/p>\n
Es ist nicht ungew\u00f6hnlich, dass mehrere Mitglieder eines Teams auf das CRM zugreifen und Daten nach Belieben eingeben\/bearbeiten\/anpassen. Das bedeutet, dass es keine Rechenschaftspflicht oder R\u00fcckverfolgbarkeit gibt, keinen Hinweis darauf, wer f\u00fcr die korrekte Dateneingabe verantwortlich ist, und keine Richtlinien f\u00fcr die korrekte Dateneingabe.<\/p>\n
All dies f\u00fchrt zu Problemen wie doppelten oder mehrfachen Eintr\u00e4gen f\u00fcr einen einzigen Datensatz, die keine Genauigkeit garantieren. Wenn die Daten f\u00fcr Einblicke oder Berichte verwendet werden sollen, muss sich die verantwortliche Person den Kopf zerbrechen, um aus all den Daten einen Sinn zu machen. Schlechte Praktiken bei der Dateneingabe haben schwerwiegende Auswirkungen auf nachgelagerte Anwendungen, die sich auf die Ineffizienz auswirken und auch die Hauptursache f\u00fcr Konflikte zwischen Abteilungen sind.<\/p>\n
Daten von Drittanbietern und Integrationen mit Partnerportalen <\/strong><\/p>\n
Daten von Drittanbietern, z. B. von Partnerportalen, Netzwerken oder Communities, oder auch von Website-Registrierungsformularen f\u00fchren zu einer erheblichen Anzahl von Duplikaten. Oftmals k\u00f6nnen Personen, die ein Formular ausf\u00fcllen, mehrere E-Mail-IDs oder Telefonnummern verwenden, was zu mehreren Eintr\u00e4gen einer Person f\u00fchrt. Andererseits k\u00f6nnen externe Daten eine andere Version derselben Entit\u00e4t enthalten, aber dieselben Informationen werden in den bestehenden Datens\u00e4tzen nicht aktualisiert und stattdessen wird ein neuer Datensatz erstellt. W\u00e4hrend dies zu diesem Zeitpunkt kein Problem zu sein scheint, f\u00fchrt es sp\u00e4ter zu verzerrten Analysen.<\/p>\n
So kann ein Unternehmen beispielsweise glauben, mit einer Kampagne 100 Leads gewonnen zu haben. Da die Eintr\u00e4ge jedoch dupliziert wurden, handelt es sich m\u00f6glicherweise nur um 60 g\u00fcltige Leads, w\u00e4hrend die restlichen 40 entweder unvollst\u00e4ndig, dupliziert oder ungenau sind.<\/p>\n
Angenommen, jede Spur ist $100 x 40 = $4K wert. <\/strong><\/p>\n
Angenommen, die Kosten f\u00fcr jedes Blei betragen 50 $ x 40 = 2K<\/strong><\/p>\n
Verlust: $6k insgesamt! <\/strong><\/p>\n
Software-Bugs und Systemfehler <\/strong><\/p>\n
Software-Bugs und Verwaltungs- oder Systemfehler im CRM und in den damit verbundenen Anwendungen k\u00f6nnen zu Tausenden von doppelten Datens\u00e4tzen f\u00fchren. Dies kommt h\u00e4ufig bei System- oder Datenmigrationen vor und kann zwar behoben werden, stellt aber eine ernsthafte Herausforderung f\u00fcr die Datenqualit\u00e4t dar.<\/p>\n
Jede Datenquelle enth\u00e4lt einen gewissen Anteil an doppelten Daten. Experten halten bis zu 5 % Doppelungen f\u00fcr tolerierbar. Alles, was dar\u00fcber hinausgeht, stellt eine Gefahr f\u00fcr nachgelagerte Anwendungen dar. Berichte werden irref\u00fchrend. Die Kunden sind ver\u00e4rgert. Nutzer und Mitarbeiter werden frustriert. Dem CIO zufolge k\u00f6nnen „Systeme mit 25 % doppelten Datens\u00e4tzen<\/a> Karrieren gef\u00e4hrden <\/strong>“ . <\/strong><\/p>\n
Laut Natik Ameen, Marketingexperte bei Canz Marketing<\/a>, sind doppelte Daten im CRM des Unternehmens auf eine Reihe von Gr\u00fcnden zur\u00fcckzuf\u00fchren.<\/strong>von menschlichem Versagen bis hin zu Kunden, die zu unterschiedlichen Zeitpunkten leicht abweichende Informationen in die Unternehmensdatenbank eingeben. Ein Verbraucher gibt beispielsweise auf einem Formular seinen Namen als Jonathan Smith und auf dem anderen als Jon Smith an. Die Herausforderung wird durch eine wachsende Datenbank noch versch\u00e4rft. F\u00fcr Administratoren wird es immer schwieriger, den \u00dcberblick \u00fcber die DB zu behalten und die relevanten Daten zu erfassen. Es wird immer schwieriger, sicherzustellen, dass die DB der Organisation korrekt bleibt.<\/em>‚.<\/p>\n
Sie ben\u00f6tigen eine Strategie zur Datendeduplizierung, um das Problem der doppelten Daten zu l\u00f6sen.<\/p>\n
Was ist Daten-Deduplizierung und wie funktioniert sie?<\/h2>\n
Bei der Datendeduplizierung werden Duplikate verglichen, abgeglichen und entfernt, um einen konsolidierten Datensatz zu erstellen. Die Deduplizierung von Daten erfolgt in drei Schritten:<\/p>\n
Vergleich und Abgleich: <\/strong>Verschiedene Listen und Datens\u00e4tze werden verglichen und abgeglichen, um exakte und nicht exakte Duplikate zu erkennen. So wird beispielsweise eine CRM-Liste mit einer internen Datenbankliste abgeglichen, um sicherzustellen, dass die gleichen Datens\u00e4tze nicht zweimal in die zentrale Datenbank hochgeladen werden.<\/p>\n
Behandlung veralteter Datens\u00e4tze: <\/strong>Veraltete doppelte Datens\u00e4tze werden entweder mit neuen Informationen aktualisiert oder entfernt. In anderen F\u00e4llen werden Daten konsolidiert (wenn ein Datensatz Handles f\u00fcr soziale Medien enth\u00e4lt, der andere aber nicht) und neue Regeln oder Spalten erstellt, um diese zus\u00e4tzlichen Informationen zu speichern.<\/p>\n
Erstellen konsolidierter Datens\u00e4tze: <\/strong>Nach dem Entfernen von Duplikaten wird ein konsolidierter Datensatz mit sauberen, aufbereiteten Daten erstellt, der als „goldener Datensatz“ verwendet werden kann, auf dessen Grundlage bestehende Datens\u00e4tze nachgebildet werden k\u00f6nnen.<\/p>\n
Tools wie Excel eignen sich hervorragend zum Entfernen von exakten Duplikaten innerhalb derselben Datenquelle, versagen jedoch bei der Identifizierung \u00e4hnlicher Duplikate.<\/p>\n
Wie Sie exakte Duplikate in Excel entfernen k\u00f6nnen, erfahren Sie in dieser Anleitung:<\/p>\n
https:\/\/www.excel-easy.com\/examples\/remove-duplicates.html<\/a> <\/strong><\/p>\n
Um Duplikate in Python zu entfernen, k\u00f6nnen Sie die Dedupe Library verwenden, um Datens\u00e4tze in Datens\u00e4tzen zu finden, die zur gleichen Entit\u00e4t geh\u00f6ren. Hier finden Sie einen hervorragenden Leitfaden zum Deduplizieren von Daten mit Python:<\/p>\n
https:\/\/recordlinkage.readthedocs.io\/en\/latest\/notebooks\/data_deduplication.html<\/a> <\/strong><\/p>\n
Gibt es eine einfachere M\u00f6glichkeit, Daten zu deduplizieren?<\/h2>\n
Python ist zwar leistungsstark, aber zeitaufw\u00e4ndig.<\/p>\n
Um beispielsweise einen einfachen Datensatz zwischen zwei Quellen abzugleichen, m\u00fcssen Sie Module laden oder importieren, Datensatzpaare bilden (was an sich schon ein zeitaufw\u00e4ndiger Prozess ist) und dann einen Code zum Vergleich von Datens\u00e4tzen auf Attributsebene erstellen. Sie m\u00fcssen dann jede Instanz des Vergleichs manuell \u00fcberpr\u00fcfen, um festzustellen, welcher Datensatz zu derselben Person geh\u00f6rt.<\/p>\n
Dieser Prozess muss f\u00fcr jede neue Anforderung auf Attributsebene ge\u00e4ndert und wiederholt werden.<\/p>\n
Wenn Sie als Datenanalyst f\u00fcr die Daten eines Unternehmens verantwortlich sind, k\u00f6nnen Sie sich <\/strong>nicht monatelang Zeit nehmen, um Daten abzuziehen. <\/strong><\/p>\n
Sie k\u00f6nnen auch nicht riskieren, Daten zu verlieren, was eine reale M\u00f6glichkeit ist, wenn Sie versuchen, verschiedene Codes zu testen, um die richtige \u00dcbereinstimmung zu finden.<\/p>\n
Eric McGee, Senior Network Engineer bei TRG DataCenters<\/a>, sieht das gr\u00f6\u00dfte Problem beim Bereinigen\/L\u00f6schen von Daten darin, dass bei der Verschlankung von Datenfeldern Daten verloren gehen k\u00f6nnen. Er ist au\u00dferdem der Meinung, dass auf Unternehmensebene die Genauigkeit des Datenabgleichs sehr wichtig werden kann, da sonst die gesamte Praxis wichtige Daten gef\u00e4hrden k\u00f6nnte.<\/p>\n
Ein einfacherer Weg, auf den sich jedoch nicht viele Systemingenieure einlassen wollen, ist die Verwendung eines Tools zur Datendeduplizierung<\/a>, insbesondere wenn es nicht Teil ihrer Datenverwaltungsplattform ist. Das Problem ist, dass die meisten Datenverwaltungsplattformen nicht \u00fcber robuste Datenabgleichsfunktionen<\/a> verf\u00fcgen, die den Benutzern bei der Ermittlung von Duplikaten helfen k\u00f6nnen. Analysten und Ingenieure m\u00fcssen die Daten schlie\u00dflich manuell deduplizieren, was eine erhebliche Zeitverschwendung darstellt.<\/p>\n
Die besten Tools zur Datendeduplizierung nutzen fortschrittliche Fuzzy-Matching-Algorithmen<\/a> und propriet\u00e4re Algorithmen, um Daten auf einer tieferen Ebene abzugleichen – eine F\u00e4higkeit, die nicht alle Datenmanagementl\u00f6sungen bieten. Aus diesem Grund bevorzugen die meisten Unternehmen und Fortune-500-Kunden, mit denen wir zusammengearbeitet haben, die Verwendung eines Tools wie
\nDataMatch Enterprise<\/strong>
\n<\/a> in Verbindung mit ihren Datenmanagement-Plattformen.<\/p>\nAufgrund seiner einfachen Integrationsf\u00e4higkeit und seiner leistungsstarken Fuzzy-Matching-Algorithmen ist DataMatch Enterprise f\u00fcr die meisten Unternehmen ein bevorzugtes Werkzeug zur Deduktion von Daten innerhalb ihrer Datenbankplattform.<\/p>\n
Wenn Sie mehr \u00fcber die Unternehmen erfahren m\u00f6chten, denen wir bei der Datendeduplizierung geholfen haben, besuchen Sie unsere Fallstudien.<\/p>\n
Sehen Sie zum Beispiel, wie wir mit der Bell Bank<\/a> zusammengearbeitet haben, um Duplikate zu entfernen und Kundendaten aus verschiedenen Quellen zu konsolidieren.<\/p>\n
\n\n
\n \n
![\"Bell](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Bell-Bank-Case-Study-300x300.png\")
<\/a>![\"Cleveland](\"https:\/\/dataladder.com\/wp-content\/uploads\/2020\/10\/DL_Cleveland-Brothers-Case-Study-300x300.png\")
<\/a>