{"id":63043,"date":"2020-07-17T00:00:00","date_gmt":"2020-07-17T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/matching-evolution-unternehmensweites-finden-von-uebereinstimmungen-und-moderne-feinabstimmung-der-ergebnisse\/"},"modified":"2022-04-15T20:13:46","modified_gmt":"2022-04-15T20:13:46","slug":"matching-evolution-unternehmensweites-finden-von-uebereinstimmungen-und-moderne-feinabstimmung-der-ergebnisse","status":"publish","type":"post","link":"https:\/\/dataladder.com\/de\/matching-evolution-unternehmensweites-finden-von-uebereinstimmungen-und-moderne-feinabstimmung-der-ergebnisse\/","title":{"rendered":"Matching Evolution: Unternehmensweites Finden von \u00dcbereinstimmungen und moderne Feinabstimmung der Ergebnisse"},"content":{"rendered":"


\n
\nA<\/span><\/span><\/span>ie Daten<\/span><\/span><\/span>einem Paradigmenwechsel unterliegt<\/span><\/span><\/span>so auch <\/span><\/span><\/span>die beteiligten Systeme, Verfahren und Ans\u00e4tze. Die alten Systeme sterben aus. <\/span><\/span>Stapel <\/span><\/span><\/span>ETL-Pipelines<\/span> werden langsam <\/span>obsolet. Die Eigent\u00fcmerschaft<\/span> verlagert sich von <\/span> IT an Unternehmen.
\nFunktionen wie Datenabgleich und Datenaufbereitung werden <\/span><\/span>entwickeln sich weiter<\/span><\/span><\/span>
\n Funktionen wie Datenabgleich und Datenaufbereitung entwickeln sich von manuellen, abfragebasierten, programmatischen zu automatisierten, gesch\u00e4ftsorientierten Point-and-Click-Funktionen.<\/span>
\n<\/span>
\n
\n-zentrierten <\/span><\/span><\/span>Prozesse. <\/span>
\n<\/span> <\/span><\/span><\/span><\/span><\/span><\/p>\n

Es gibt einen modernen Ansatz f\u00fcr den Datenabgleich, der hohe Genauigkeitsraten und geringe Fehlalarme verspricht und nur Minuten statt Wochen und Monate dauert. <\/span><\/p>\n

Dieser Leitfaden zum modernen Datenabgleich erl\u00e4utert die damit verbundenen Prozesse, die verschiedenen Arten von Szenarien, in denen dieser Ansatz Zeit spart und gleichzeitig die Effizienz steigert, und schlie\u00dflich, wie die Benutzer die Abgleichsparameter anpassen k\u00f6nnen, um die bestm\u00f6glichen \u00dcbereinstimmungen zu erzielen. <\/span><\/p>\n

Was ist Datenabgleich?<\/span><\/b><\/h2>\n

DerDatenabgleich<\/a> vergleicht Daten aus mehreren Datens\u00e4tzen, um Felder zu ermitteln, die sich auf dieselbe Entit\u00e4t beziehen. Einfach ausgedr\u00fcckt, erm\u00f6glicht<\/a> der Datenabgleich<\/a> dem Benutzer, doppelte Datens\u00e4tze zu erkennen oder\/und identische Datens\u00e4tze zusammenzuf\u00fchren. Dabei werden bew\u00e4hrte Algorithmen verwendet, die f\u00fcr den Vergleich verschiedener Datentypen wie Zeichenketten, Datumsangaben und ganze Zahlen ausgelegt sind. Da die Art der Daten immer komplexer wird, geht es beim Abgleich nicht mehr nur um den Vergleich zweier Datens\u00e4tze, sondern um Schl\u00fcsselprozesse wie Datenprofilierung<\/a>, Datenvollst\u00e4ndigkeit<\/a>, Datengenauigkeit<\/a> und mehr. <\/span><\/p>\n

Die Grundlagen – Deterministischer und probabilistischer Abgleich<\/span><\/b><\/p>\n

Bekannt unter den Begriffen Datensatz- oder Datenverkn\u00fcpfung<\/a>, Entit\u00e4tsaufl\u00f6sung<\/a>, Objektidentifizierung oder Feldabgleich; Datenabgleich ist die Aufgabe der Identifizierung, des Abgleichs und der Zusammenf\u00fchrung von Datens\u00e4tzen<\/a>, die sich auf dieselbe Entit\u00e4t innerhalb oder \u00fcber mehrere Datenbanken hinweg beziehen. <\/span><\/p>\n

Traditionell wurde der Datenabgleich durch die Ausf\u00fchrung von Abfragen unter Verwendung komplexer Algorithmen und Formeln zum Abgleich von Datens\u00e4tzen durchgef\u00fchrt. Deterministischer und probabilistischer Abgleich sind die beiden g\u00e4ngigsten Ans\u00e4tze f\u00fcr den Datenabgleich, bei denen Algorithmen wie die Edit-Distanz, Soundex und Levenshtein-Distanz verwendet werden, um Zeichenfolgen abzugleichen und ein entsprechendes Ergebnis zu liefern. <\/span><\/p>\n

Die deterministische Methode ist einfach. Wenn Sie zwei Datenfelder haben, die exakt die gleichen Eigenschaften haben, k\u00f6nnen Sie diese Methode verwenden, um \u00dcbereinstimmungen zu finden. Die Bedingung ist, dass Ihre Daten blitzsauber und standardisiert sein m\u00fcssen. Eindeutige Identifikatoren wie Sozialversicherungsnummern, F\u00fchrerschein- und Reisepassnummern m\u00fcssen korrekt sein. Leichter gesagt als getan, zumal es immer die M\u00f6glichkeit von Benutzerfehlern gibt. Da es sich um vertrauliche Informationen handelt, ist die Wahrscheinlichkeit gering, dass die Unternehmen diese Informationen in die H\u00e4nde bekommen. Sie greifen dann auf Telefonnummern und E-Mail-Adressen als eindeutige Identifikatoren zur\u00fcck. Andererseits sind diese Daten immer mit Fehlern, Nullwerten und anderen Problemen der Datenqualit\u00e4t behaftet. <\/span><\/p>\n

Ein gutes Beispiel f\u00fcr einen deterministischen Abgleich<\/strong> ist der Abgleich von Kontonummern mit Namen und Geburtsdatum, um Identit\u00e4ten zu best\u00e4tigen, oder der Abgleich von Rechnungsnummern mit Produktnummern in Einzelhandelsgesch\u00e4ften, um Produktverk\u00e4ufe zu best\u00e4tigen. <\/span><\/p>\n

Der deterministische Abgleich funktioniert gut, wenn Regeln definiert sind, die Daten sauber sind und Sie sicher sind, dass die eindeutigen Bezeichner korrekt sind. <\/span><\/p>\n

Aber die Daten, die wir heute haben, erf\u00fcllen diese Regeln kaum. <\/span><\/p>\n

Daher die Notwendigkeit eines probabilistischen Abgleichs. <\/span><\/p>\n

Der probabilistische Abgleich verwendet einen statistischen Ansatz zur Messung der Wahrscheinlichkeit, dass zwei Kundendatens\u00e4tze dieselbe Person darstellen. Diese Methode verwendet mehrere Fuzzy-Matching-Algorithmen, um eine \u00dcbereinstimmung, Nicht-\u00dcbereinstimmung oder m\u00f6gliche \u00dcbereinstimmung festzustellen. Wie ein deterministischer Abgleich setzt auch der probabilistische Abgleich saubere und standardisierte Daten voraus, aber er muss nicht „exakt“ sein. <\/span><\/p>\n

Wenn John als Johnny geschrieben wird, sollte eine intelligente Datenabgleichsl\u00f6sung in der Lage sein, dies auf der Grundlage bestimmter Gesch\u00e4ftsregeln, die in der Regel in einer kommerziellen L\u00f6sung vordefiniert sind, als m\u00f6gliche \u00dcbereinstimmung zu erkennen. <\/span><\/p>\n

Ein gutes Beispiel f\u00fcr einen probabilistischen Abgleich<\/strong> ist, wenn ein Unternehmen \u00fcber mehrere E-Mail-Adressen und Telefonnummern (Handy\/B\u00fcro\/Heim) ein und derselben Person verf\u00fcgt, ohne dass eindeutige Identifikatoren zur Bestimmung der Identit\u00e4t vorliegen. In diesem Fall muss das Unternehmen mehrere Algorithmen ausf\u00fchren, um die Identit\u00e4t anhand von Zeichenketten und Ganzzahlwerten zu ermitteln. <\/span><\/p>\n

Hier kommen die Fuzzy-Matching-Algorithmen ins Spiel. <\/span><\/p>\n

Anstatt Datens\u00e4tze als „\u00fcbereinstimmend“ oder „nicht \u00fcbereinstimmend“ zu kennzeichnen, ermittelt<\/a> der unscharfe Abgleich<\/a> die Wahrscheinlichkeit, dass zwei Datens\u00e4tze tats\u00e4chlich \u00fcbereinstimmen, und zwar auf der Grundlage der \u00dcbereinstimmung oder Nicht\u00fcbereinstimmung der verschiedenen Identifikatoren.<\/span> Hier finden Sie eine Liste der verschiedenen Fuzzy-Matching-Techniken, die heute verwendet werden:<\/span><\/p>\n