{"id":62241,"date":"2021-11-15T11:23:47","date_gmt":"2021-11-15T11:23:47","guid":{"rendered":"https:\/\/dataladder.com\/warum-gibt-es-duplikate-und-wie-wird-man-sie-los\/"},"modified":"2021-12-21T13:52:48","modified_gmt":"2021-12-21T13:52:48","slug":"warum-gibt-es-duplikate-und-wie-wird-man-sie-los","status":"publish","type":"post","link":"https:\/\/dataladder.com\/de\/warum-gibt-es-duplikate-und-wie-wird-man-sie-los\/","title":{"rendered":"Warum gibt es Duplikate und wie wird man sie los?"},"content":{"rendered":"\n

Laut Natik Ameen, Marketingexperte bei Canz Marketing<\/a>, sind doppelte Daten im CRM des Unternehmens auf eine Reihe von Gr\u00fcnden zur\u00fcckzuf\u00fchren: <\/p>\n\n

„von menschlichem Versagen bis hin zu Kunden, die zu unterschiedlichen Zeitpunkten leicht abweichende Informationen in die Unternehmensdatenbank eingeben. Ein Verbraucher gibt beispielsweise auf einem Formular seinen Namen als Jonathan Smith und auf dem anderen als Jon Smith an. Die Herausforderung wird durch eine wachsende Datenbank noch versch\u00e4rft. F\u00fcr Administratoren wird es immer schwieriger, den \u00dcberblick \u00fcber die DB zu behalten und die relevanten Daten zu erfassen. Es wird immer schwieriger, sicherzustellen, dass die DB der Organisation korrekt bleibt.<\/em>„. <\/p><\/blockquote>\n\n

EineDatendeduplizierung<\/a> findet statt, wenn Sie Informationen \u00fcber ein und dieselbe Entit\u00e4t mehrfach speichern, anstatt einen einzigen Datensatz zu aktualisieren. In diesem Leitfaden werden einige grundlegende Konzepte im Zusammenhang mit der Datenduplizierung sowie eine Liste von Techniken und Algorithmen er\u00f6rtert, die \u00fcblicherweise zur Behebung dieser Probleme eingesetzt werden. <\/p>\n\n

Warum gibt es Duplikate? <\/h3>\n\n

Daten haben mehrere Darstellungen – das hei\u00dft, dieselben Daten k\u00f6nnen auf unterschiedliche Weise dargestellt werden. Dies ist der Hauptgrund, warum doppelte Datens\u00e4tze in einer Datenbank existieren. Unabh\u00e4ngig davon, ob die Datens\u00e4tze aus unabh\u00e4ngigen Datenquellen zusammengef\u00fchrt oder im Laufe der Zeit in eine einzige Datenbank eingegeben werden, f\u00fchrt beides zu dem komplexen Problem der Datenduplizierung. <\/p>\n\n

Im Idealfall sollte jeder Datensatz in einer Datenbank eine einzige, eindeutige Entit\u00e4t darstellen. Aus verschiedenen Gr\u00fcnden (die h\u00e4ufigsten werden im Folgenden genannt) stellen wir jedoch fest, dass sich die Informationen eines Unternehmens \u00fcber mehrere Datens\u00e4tze erstrecken. <\/p>\n\n

1. Fehlen eindeutiger Identifikatoren <\/strong><\/h4>\n\n

Eindeutige Bezeichner in Ihrer Datenbank sind der beste Weg, um die Speicherung von Duplikaten zu vermeiden. Ein eindeutiger Bezeichner ist ein Datenfeld, das f\u00fcr eine Einheit immer eindeutig ist (z. B. Sozialversicherungsnummer (SSN)<\/em> f\u00fcr Kundendaten, Hersteller-Teilenummer (MPN) <\/em> f\u00fcr Produktdaten, usw.). Bei jeder neuen Dateneingabe k\u00f6nnen Sie pr\u00fcfen, ob ein Datensatz mit demselben eindeutigen Bezeichner existiert. Wenn dies der Fall ist, k\u00f6nnen Sie ihn einfach aktualisieren oder zusammenf\u00fchren und vermeiden, einen neuen Datensatz f\u00fcr dieselbe Entit\u00e4t zu speichern. Wenn Ihre Datenbank jedoch keinen solchen eindeutigen Bezeichner enth\u00e4lt, wird der Prozess der Zuordnung neu eingehender Entit\u00e4ten zu bestehenden zu einer komplexen Aufgabe. <\/p>\n\n

2. Fehlen von Validierungspr\u00fcfungen und Integrit\u00e4tsbeschr\u00e4nkungen <\/strong><\/h4>\n\n

Selbst bei Vorhandensein eindeutiger Identifikatoren kann es zu Duplikaten in Ihrer Datenbank kommen. Dies ist der Fall, wenn die eindeutigen Bezeichner nicht mit g\u00fcltigen Mustern \u00fcbereinstimmen (z. B. AAA-GG-SSSS<\/em> f\u00fcr SSN<\/em>) oder keine strengen Integrit\u00e4tsbeschr\u00e4nkungen aufweisen (z. B. 11 Zeichen<\/em> f\u00fcr SSN<\/em>). <\/p>\n\n

3. Fehler bei der Dateneingabe <\/strong><\/h4>\n\n

Die Fehlerquote bei der Dateneingabe liegt bei 400 pro 10.000 Eintr\u00e4ge<\/a>, was eine beachtliche Zahl ist. Selbst wenn eindeutige Bezeichner, Validierungspr\u00fcfungen und Integrit\u00e4tsbeschr\u00e4nkungen vorhanden sind, besteht also die M\u00f6glichkeit, dass menschliches Versagen eingreift und Duplikate in Ihrer Datenbank zul\u00e4sst. <\/p>\n\n

Schwieriger Datenvergleich – Heterogenit\u00e4t der Daten<\/strong> <\/h3>\n\n

Um die Duplikate in Ihrer Datenbank loszuwerden, m\u00fcssen Sie die Datens\u00e4tze vergleichen und bewerten, welche zur gleichen Entit\u00e4t geh\u00f6ren. Wenn Sie jedoch Datens\u00e4tze vergleichen (entweder in derselben Datenbank oder in verschiedenen Datenbanken), werden Sie feststellen, dass sie einige systematische Unterschiede aufweisen, die einen genauen Vergleich erschweren. Dies wird gew\u00f6hnlich als Datenheterogenit\u00e4t<\/strong> bezeichnet. <\/p>\n\n

Im Gro\u00dfen und Ganzen k\u00f6nnen Sie heterogene Daten als solche klassifizieren: <\/p>\n\n

1. Strukturelle Heterogenit\u00e4t <\/strong><\/h4>\n\n

Diese Art von Unterschieden tritt auf, wenn Felder verschiedener Datenbanken dieselbe Information auf strukturell unterschiedliche Weise darstellen. Eine Datenbank k\u00f6nnte beispielsweise den Namen eines Kontakts als Kontaktname<\/em> speichern, w\u00e4hrend er in einer zweiten Datenbank in mehreren Spalten wie Anrede,<\/em> Vorname<\/em>, mittlerer Name<\/em> und Nachname<\/em>gespeichert wird .<\/em> <\/p>\n\n

2. Lexikalische Heterogenit\u00e4t <\/strong><\/h4>\n\n

Diese Art von Unterschieden tritt auf, wenn die Felder verschiedener Datenbanken strukturell gleich sind, aber dieselben Informationen auf unterschiedliche Art und Weise darstellen. So k\u00f6nnen beispielsweise zwei oder mehr Datenbanken dasselbe Adressfeld <\/em>haben, aber eine kann einen Adresswert haben: 32 E St. 4<\/em>, w\u00e4hrend in der anderen der Wert 32 East, 4<\/em>\n th<\/sup>\n<\/em> Stra\u00dfe<\/em>. <\/p>\n\n

Prozess der Datendeduplizierung<\/strong> <\/h3>\n\n

Einfach ausgedr\u00fcckt, beinhaltet der Prozess der Deduplizierung: <\/p>\n\n

  1. Aufbereitung der Daten durch Standardisierung der Felder<\/strong> in allen Datenbanken<\/li>
  2. Zuordnung der Felder<\/strong>, die dieselbe Information darstellen <\/li>
  3. Auswahl einer geeigneten Feldabgleichstechnik<\/strong> (je nach Art der Daten) und anschlie\u00dfende Berechnung der \u00c4hnlichkeit zwischen Datenfeldern <\/li><\/ol>\n\n

    In den n\u00e4chsten Abschnitten werden wir die oben genannten Schritte etwas ausf\u00fchrlicher erl\u00e4utern. <\/p>\n\n

    1. Datenaufbereitung <\/strong><\/h4>\n\n

    Der erste Schritt in diesem Prozess besteht darin, die Einheitlichkeit aller Datenbanken in Bezug auf die Datenstruktur und die Felder zu gew\u00e4hrleisten. Dieses Verfahren verringert die strukturelle Heterogenit\u00e4t der Datenbanken – zumindest bis zu einem gewissen Grad. Dabei sind zwei Schritte zu beachten:<\/p>\n\n

    a. Datenbereinigung<\/a> und -standardisierung<\/a> <\/strong><\/h5>\n\n

    Dies beinhaltet die Beseitigung von Fehlern oder Abweichungen in Formaten und Datentypen von Werten oder in der Struktur von Datenbanken. Dies kann erreicht werden durch: <\/p>\n\n

    1. Parsing langer Zeichenketten<\/strong> zur Identifizierung wichtiger Datenkomponenten. Ein Beispiel hierf\u00fcr ist, wenn Sie die gesamte Adresse in einem Feld haben. Durch die Analyse des Adressfeldes<\/em> erhalten Sie die nachfolgenden Datenkomponenten wie Stra\u00dfenname<\/em>, Hausnummer<\/em>, Postleitzahl<\/em>, Ort<\/em>, Bundesland<\/em> und Land<\/em>. Der Abgleich ist bei diesen geparsten Elementen wesentlich einfacher als beim Abgleich des gesamten Feldes. <\/li>
    2. Umwandlung von Datenwerten<\/strong>, um \u00e4hnliche Datentypen, Benennungskonventionen usw. zu erreichen. Dies kann durch die Umwandlung von Datentypen (z. B. Zeichenkette in Zahl), die Umbenennung von Spaltennamen oder die Zusammenf\u00fchrung von Feldern geschehen. <\/li>
    3. Standardisierung von Mustern<\/strong> f\u00fcr alle in einem Datenfeld enthaltenen Werte, so dass erwartet wird, dass jeder Wert dem angegebenen Muster entspricht. Ein Beispiel hierf\u00fcr ist, wenn Sie das Muster des Feldes Telefonnummer<\/em> auf XXX-XXX-XXXX<\/em> standardisieren. Dadurch werden Vergleiche und Abgleiche einfacher und genauer. <\/li><\/ol>\n\n
      b. Zuordnung der Datenfelder <\/strong><\/h5>\n\n

      Sobald die Datenbanken (so weit wie m\u00f6glich) standardisiert sind, besteht der n\u00e4chste Schritt darin, Felder zuzuordnen, die dieselben Informationen darstellen. Dies geschieht entweder manuell (z. B., Adresse<\/em> an Adresse<\/em>, Rufnummer<\/em> an Telefonnummer<\/em> usw.), oder die Durchf\u00fchrung von Pr\u00fcfungen, um festzustellen, welche Feldwerte sich mit den Feldern der anderen Datenbank \u00fcberschneiden. Bei kleineren Datenbest\u00e4nden ist die erste Technik n\u00fctzlich, bei gro\u00dfen Datenbest\u00e4nden, bei denen die Spalten unterschiedlich benannt sind, ist die zweite Technik sehr hilfreich. <\/p>\n\n

      2. Berechnung der \u00c4hnlichkeit mit Hilfe von Feld\u00fcbereinstimmungstechniken <\/h4>\n\n

      Sobald dies geschehen ist, sind die Daten in einem relativ besseren Zustand, um sie zu vergleichen und Duplikate zu identifizieren. Aber es gibt immer noch Rechtschreibfehler, menschliche Schreibfehler und konventionelle Varianten. Aus diesem Grund sind exakte Abgleichtechniken hier nicht sinnvoll, und wir ben\u00f6tigen Techniken, die diese Aspekte der Daten bei der Berechnung von Punktzahlen ber\u00fccksichtigen, um die \u00c4hnlichkeit zwischen einzelnen Werten und somit dem gesamten Datensatz zu bewerten. <\/p>\n\n

      a. Zeichenbasierte \u00c4hnlichkeitsmetriken <\/strong><\/h5>\n\n

      Da die meisten Tippfehler in Zeichenketten auftreten, werden in diesem Abschnitt die gebr\u00e4uchlichsten Techniken zum Abgleich der \u00c4hnlichkeit von Zeichenketten vorgestellt. <\/p>\n\n

      i. Entfernung bearbeiten<\/strong> <\/h6>\n\n

      Dieser Algorithmus berechnet den Abstand zwischen zwei Zeichenketten, und zwar Zeichen f\u00fcr Zeichen. Der Abstand wird berechnet, indem die Anzahl der Bearbeitungen gez\u00e4hlt wird, die erforderlich sind, um die erste Zeichenfolge in die zweite Zeichenfolge umzuwandeln. Dann wird ein Schwellenwert festgelegt, der zwei Zeichenfolgen als \u00fcbereinstimmend (wenn der Abstand < Schwellenwert<\/em>) oder nicht \u00fcbereinstimmend (wenn der Abstand > Schwellenwert<\/em>) klassifiziert. F\u00fcr die Berechnung des Abstands sind drei Arten von \u00c4nderungen zul\u00e4ssig: Einf\u00fcgen <\/em>eines Zeichens in die Zeichenfolge, L\u00f6schen <\/em>eines Zeichens aus einer Zeichenfolge, Ersetzen <\/em>eines Zeichens durch ein anderes in der Zeichenfolge. <\/p>\n\n

      Normalerweise wird der Z\u00e4hler eines Bearbeitungsvorgangs als „1“ betrachtet. Die verschiedenen Modelle sehen jedoch unterschiedliche Kosten<\/em> f\u00fcr jede Bearbeitung vor. Bei der Levenshtein-Distanz<\/strong> zum Beispiel werden die Kosten f\u00fcr jede Bearbeitung mit 1 angesetzt, w\u00e4hrend Needleman und Wunsch<\/strong> erkl\u00e4rten, dass die Kosten f\u00fcr jede Bearbeitung von der Art der Bearbeitung abh\u00e4ngen (das Ersetzen von O durch 0 hat geringere Kosten als das Ersetzen von T durch M). <\/p>\n\n

      ii. Affiner Spaltabstand <\/strong><\/h6>\n\n

      Der Editierabstandsalgorithmus funktioniert nicht gut bei Zeichenketten, die Initialen oder Kurzformen enthalten. Die Editierdistanz k\u00f6nnte zum Beispiel Jennifer Lily Stevens<\/em> und Jen L. Stevens<\/em> als Nicht\u00fcbereinstimmung klassifizieren. Hier kann der affine L\u00fcckenabstand n\u00fctzlich sein, da er zwei weitere Bearbeitungsoperationen einf\u00fchrt: <\/p>\n\n