Da wir unseren Kunden seit über einem Jahrzehnt Lösungen für die Bereinigung von Seriendrucken anbieten, betrachten wir die Bereinigung von Seriendrucken als eine wesentliche Funktion in Geschäftsabläufen wie Direktmailing, Entitätsauflösung und dem Erhalt von Single Source of Truth-Versionen. In vielen Unternehmen bleibt der Bereinigungsprozess jedoch auf Excel-Funktionen und -Techniken beschränkt, die den immer komplexeren Datenanforderungen kaum gerecht werden.
Dieser Leitfaden, der sich an IT- und Geschäftsanwender richtet, entmystifiziert den Prozess des Zusammenführens und Bereinigens und hilft Ihnen zu verstehen, warum sich Ihre Teams nicht mehr auf das Zusammenführen und Bereinigen mit Excel verlassen können. Die wichtigsten Erkenntnisse aus diesem Leitfaden werden sein:
-
- Was ist „Merge Purge“?
- Wie wird die Bereinigung traditionell durchgeführt?
- Erstellung einer durchdachten Strategie zur Bereinigung von Fusionen
- Geschäftsprozesse, die mit Merge Purge verbessert werden können
- Schaffung der Goldenen Schallplatte durch Datenüberlebensfähigkeit
- Bewährte Praktiken bei der Datenzusammenführung und -bereinigung
Lasst uns eintauchen!
Was ist eine Merge Purge Funktion oder ein Prozess?
Wie der Begriff schon sagt, bezieht sich die Bereinigung von Daten auf den Prozess der Kombination mehrerer Datenquellen bei gleichzeitiger Entfernung von Duplikaten und schlechten Datensätzen aus der Datenquelle.
Sehen Sie sich zum Beispiel das folgende Bild an:
Beachten Sie, dass Sie drei doppelte Datensätze mit mehreren Datenqualitätsproblemen für eine Person haben. Wenn eine Datenbereinigungsfunktion auf diesen Datensatz angewendet wird, wandelt sie ihn um und gibt eine saubere, einzigartige Version zurück, wie in der folgenden Abbildung dargestellt:
An diesen Datensatz wurde eine neue Spalte [Industry] angehängt, die in einer anderen Datenquelle gespeichert war. Nach dem Zusammenführen und Bereinigen von Duplikaten aus zwei Datenquellen ist das Ergebnis eine konsolidierte Ansicht des Entitätsdatensatzes.
Das Ergebnis einer Bereinigungsfunktion ist die Erstellung von Datensätzen, die eindeutige Namen, Adressen und zusätzliche Informationen enthalten, die dem Geschäftszweck der Daten dienen. In diesem speziellen Fall dienen die oben genannten Daten nach ihrer Optimierung als zuverlässiger Datensatz für Vermarkter, der für Mailing-Kampagnen verwendet werden kann.
Wie wird die Bereinigung von Fusionen traditionell durchgeführt?
In den meisten Unternehmen verwenden die Teams heute noch Excel, um ihre Unterlagen zu verwalten. Geschäftsanwender müssen mehrere Datenspalten aus unterschiedlichen Quellen manuell ausschneiden, einfügen und verketten, um genaue Datensätze zu erstellen. Tage und Wochen werden mit dem Zusammenführen und Bereinigen von Hunderttausenden von Datensätzen verschwendet. Dabei werden menschliche Fehler, die bei der Zusammenführung/Bereinigung passieren, oder schädliche Ereignisse wie Softwareabstürze nicht berücksichtigt.
Abgesehen von der betrieblichen Ineffizienz ist der wichtigste Faktor, der die Verwendung von Excel kontraproduktiv macht, die zunehmende Komplexität der Daten. Unternehmen haben heute mit mehr als nur grundlegenden Kontaktdaten zu tun. Eine Entität kann zusätzliche Datensätze haben als:
- Titel
- Beruf
- Industrie
- Konten in sozialen Medien
- Mehrere E-Mail-Konten
- Informationen zu Haushaltsdaten
Und so weiter.
Es ist nahezu unmöglich, all diese verschiedenen Nuancen von Daten durch manuelle Implementierung von Excel-Funktionen und -Formeln zu verwalten. Daher ist es notwendig, den Excel-Zug zu verlassen und sich andere Optionen anzusehen, die eine komplizierte Datenzusammenführung und -bereinigung ermöglichen, ohne die betriebliche Effizienz zu beeinträchtigen.
Eine durchdachte Strategie zur Bereinigung von Fusionen
Das Zusammenführen und Bereinigen einer Datenbank kann eine zeitaufwändige und fehleranfällige Aufgabe sein, weshalb eine durchdachte Strategie erforderlich ist, bevor man sie umsetzt.
Hier ist eine kurze Schritt-für-Schritt-Anleitung:
- Integration von Daten aus mehreren Quellen: Die Zusammenführung verschiedener Datenbanken aus unterschiedlichen Quellen (SQL-Server, MySQL, Excel, ODBC usw.) und die Kombination zu einer gemeinsamen Struktur ist der erste Schritt im Zusammenführungsprozess. Sie benötigen ein Bereinigungstool wie DataMatch Enterprise , um die gängigsten Datenbankformate zu importieren, zu kombinieren und zu exportieren. Darüber hinaus können Sie auch ähnliche Felder aus verschiedenen Datenquellen automatisch zusammenführen.
- Identifizierung von Duplikaten: Die größte Gefahr für die Datengenauigkeit sind doppelte Daten. Es erfordert Wachsamkeit, um Duplikate – entweder von Einzelpersonen, Haushalten oder Unternehmen – aus Ihrer Datenbank herauszuhalten, insbesondere wenn Sie mehrere Listen für ein Mailing kombinieren. Duplikate werden identifiziert durch die Verwendung von Fuzzy-Matching, Akronym-Erkennung (z. B. International Business Machines zu IBM), Reinigung und Standardisierung von Daten vor dem Abgleich und Anwendung von Bibliotheken für die Standardisierung, insbesondere für Vornamen wie (Jon, Jonathan, Johny usw.) Wenn Sie ein automatisiertes Tool zum Zusammenführen und Bereinigen verwenden, müssen Sie sich nicht um die manuelle Implementierung dieser Mechanismen kümmern.
- Datenabgleich zum Zusammenführen und Bereinigen: Excel ist schlecht im Datenabgleich. Es kann zwar eindeutige, exakte Übereinstimmungen herausfiltern, aber keine wahrscheinlichen Einträge wie die Verwendung von Spitznamen für eine Person erkennen. Die Werkzeuge der Zusammenführungsfunktion verfügen über fortschrittliche Datenabgleichsfunktionen, die den Abgleich von Datensätzen ermöglichen, selbst wenn Vor- und Nachname unterschiedlich sind. Zum Beispiel kann John Smit dieselbe Person sein wie Johnny S. In Fällen, in denen Schreibweisen und Abkürzungen unmittelbar vorkommen, müssen Sie die Daten zunächst aufbereiten , bevor Sie sie einem Abgleich unterziehen.
- Wissen, welche Datensätze zu behalten sind: Nachdem Sie Datensätze als Duplikate gekennzeichnet und Ihre Daten bereinigt und standardisiert haben, können Sie entscheiden, welche Datensätze Sie behalten und welche Sie „bereinigen“ wollen. Dieser Prozess, der auch als „Data Survivorship“ bezeichnet wird, ermöglicht es Ihnen, saubere, endgültige Datensätze zu erstellen.
- Optimieren Sie Ihre Liste weiter: Die Bereinigung der Liste ist keine einmalige Angelegenheit. Wenn Sie Daten aus verschiedenen Quellen erfassen und das Kundenbild weiter ausbauen, müssen Sie Ihre Datensätze immer wieder zusammenführen und bereinigen. Sobald Sie den Hauptdatensatz haben, müssen Sie ihn nur noch mit Datensatz 2, 3, 4 usw. abgleichen, um Ihre Daten weiter anzureichern.
Eine Bereinigungssoftware hilft Ihnen bei der Umsetzung dieser Strategie. Unserer Erfahrung nach ist es jedoch am besten, wenn Sie die benötigten Datensätze im Voraus definieren und das Tool einfach zum Abgleichen, Deduplizieren und Bereinigen verwenden. Je genauer Sie Ihre Ziele für das Zusammenführen/Bereinigen definieren, desto effizienter können Sie das Tool einsetzen, um diese Ziele schnell und effizient zu erreichen.
Wie Merge Purge Processing Marketing und Direktvertrieb optimiert
Die Zusammenführung/Bereinigung ist eine der wichtigsten Datenverarbeitungsfunktionen, die sich unmittelbar auf die Marketingziele, Aufgaben und Zielsetzungen eines Unternehmens auswirkt. Es liegt auf der Hand, dass Sie angesichts der zunehmenden Datenkomplexität Ihre Listen und Datensätze optimieren müssen, um die Ziele in den Bereichen Kundenmarketing, Service und Personalisierung zu erreichen.
Im Laufe der Jahre haben wir mit mehreren Fortune-500-Kunden zusammengearbeitet, um ihre Daten zu verarbeiten und ihnen dabei zu helfen, das Optimum aus einem Merge/Purge-Ziel herauszuholen. Unternehmen, die ein Bereinigungstool verwenden, können ihre Marketing- und Direktvertriebslisten auf verschiedene Arten optimieren, wie unten beschrieben:
1. Segmentierung ihrer Listen bis zum T
Beim Zusammenführen/Bereinigen geht es nicht nur um das Kombinieren und Deduplizieren von Datensätzen. Es geht hauptsächlich um die Optimierung von Listen. Sie möchten die Möglichkeit haben, verschiedene Segmente zu testen, verschiedene Listen und Datensätze zusammenzuführen und zu bereinigen und festzustellen, welche Ihrer Listen zu den erwarteten ROIs und Marketingzielen beiträgt.
Sie könnten zum Beispiel Ihre E-Mail-Marketingliste in Produkt- oder Dienstleistungskategorien aufteilen. Nehmen wir an, Sie haben eine aktive Liste von Abonnenten, die sich für die technischen Produkte Ihrer E-Commerce-Website interessieren, dann eine andere Liste, die sich für Erziehungsprodukte interessiert und so weiter. Mit den Tools zum Zusammenführen und Bereinigen können Sie segmentieren, neue Datensätze erstellen, alte Datensätze speichern und sie ohne Einschränkungen testen.
2. Erstellen Sie Ihre eigenen Zusammenführungsregeln und Übereinstimmungsdefinitionen
Zusammenführungsregeln beziehen sich auf Anweisungen, die angeben, ob Sie Duplikate auf individueller Ebene (d. h. dieselbe Person an derselben Adresse), auf Haushaltsebene (Personen mit demselben Nachnamen und derselben Adresse) oder auf Adressebene (alle Personen an dieser Adresse unabhängig vom Nachnamen) abgleichen möchten. Darüber hinaus können Sie auch Ihre eigenen Regeln erstellen, wenn Sie auf verschiedenen Ebenen abgleichen möchten, die für Ihr Geschäftsziel relevant sind. Einige Geschäftskunden möchten beispielsweise ihre Liste auf Gemeindeebene, auf Organisationsebene (alle Namen in der Organisation) oder sogar auf Einkommensebene abgleichen.
Indem Sie verschiedene Zusammenführungsregeln und Definitionen zuweisen, treffen Sie fundierte Entscheidungen, anstatt einen Dartpfeil ins Ungewisse zu werfen. Darüber hinaus helfen Ihnen diese Regeln auch, die Lücken in Ihren Daten zu verstehen, und ermöglichen es Ihnen, eine echte Zahl zu erhalten (z. B. kann es sein, dass Ihre Liste nach der Bereinigung nur 4.000 Namen enthält, während Sie mit 7.000 Namen gerechnet haben).
3. Abgleich von Listen mit Daten-Compliance-Vorschriften
Datensicherheit ist einer der Hauptgründe, warum Unternehmen Tools für die Zusammenführung und Bereinigung von Daten benötigen. Es gibt zahlreiche Beispiele für große Namen, die von der Regierung mit Geldstrafen belegt wurden, weil sie ihre Listen nicht mit den US-Sanktionslisten und anderen zugelassenen Datenbanken abgeglichen haben.
Wenn Sie also eine Liste von Abonnenten haben, die keine E-Mails erhalten oder deren Cookies nicht gespeichert werden sollen, können Sie nicht dagegen verstoßen und ihnen E-Mails schicken. Für kleine und mittelständische Unternehmen ist die Einhaltung der Datenvorschriften von entscheidender Bedeutung.
4. Prüfen und validieren Sie Ihre Adressdaten mit einer autorisierten Datenbank
Adressdaten sind eine der schwierigsten Komponenten einer Datenquelle. Um die Authentizität Ihrer Daten zu gewährleisten, müssen Sie Ihre Adressliste unbedingt mit einer autorisierten Datenbank (wie z. B. der USPS) abgleichen. Außerdem ist es nicht ungewöhnlich, dass ein Unternehmen mehrere Adressen hat, von denen die meisten gefälscht, nicht verifiziert und ungültig sein können. Es ist daher sinnvoll, sie während des Zusammenführungs- und Bereinigungsprozesses zu validieren und zu überprüfen, damit Sie die veralteten Daten loswerden und die richtigen Daten für die Verwendung erhalten können.
Wir haben ausführlich darüber berichtet, wie Sie die perfekte Mailing-Liste erhalten können, die Sie sich ansehen können.
5. Senkung der Marketingkosten und Steigerung der Effizienz
Das Ziel jeder Datenverarbeitung ist es, die Kosten zu senken, den ROI zu erhöhen und die betriebliche Effizienz zu maximieren. Das Marketing ist die Abteilung in einem Unternehmen, die die meisten Kosten verursacht – in Form von Mailing-Kampagnen, Social-Media-Kampagnen, Newsletter-Kampagnen, Postkampagnen und vielem mehr. Sie können die Kosten für diese Kampagnen erheblich senken, indem Sie ausgewählte Listen ansprechen und Duplikate eliminieren.
So ist es zum Beispiel eine Verschwendung, drei Mails an einen Benutzer an drei verschiedene Adressen zu senden oder eine Mail an drei Benutzer an dieselbe Adresse zu senden, was auch einen enormen Anstieg der Betriebskosten bedeutet. Allein die Rücksendungen kosten Sie Millionen von Dollar, ganz zu schweigen von verärgerten Kunden, die es nicht mögen, wenn sie mehrere Werbe-Newsletter oder -E-Mails von einem Unternehmen erhalten.
Das Zusammenführen und Bereinigen von Daten ist mehr als nur ein schnelles De-Duple. Um das Beste aus Ihren Daten herauszuholen, müssen Sie alle verfügbaren Instrumente nutzen und im Voraus planen. Je mehr Sie planen und Ihre Listen mit Ihren Zielen verknüpfen, desto mehr werden Sie von Ihrer nächsten Zusammenführung/Säuberung haben.
Datenüberlebensdauer und Erstellung der Goldenen Schallplatte
Mit dem Bereinigungsprozess können Sie Duplikate identifizieren und entfernen, so dass Sie saubere Datensätze erhalten. Aber woher wissen Sie, welcher Datensatz gespeichert und welcher verschoben werden soll?
Woher wissen Sie zum Beispiel, welche Adresse die richtige ist, wenn eine Einrichtung drei verschiedene Adressen hat? Die Antwort auf diese Frage lautet: „Intelligente“ Regelsetzung. In diesem Fall können Sie eine Regel für das jüngste Ereignis aufstellen. Jede Adresse, die die zuletzt aufgezeichnete der Entität ist, wird unter Verwendung der neuesten Regel aktualisiert.
Dieser Teil der Datenzusammenführung ist einfach.
Die größte Schwierigkeit besteht darin, diese Informationen über mehrere Datenbanken hinweg zu replizieren, die möglicherweise aus alten Adressen bestehen. Wie würden Sie sicherstellen, dass die Adresse Ihres Unternehmens im CRM, im ERP und in anderen Datenquellen innerhalb Ihrer Organisation aktualisiert wird?
Während dies früher eine weitere Runde des Zusammenführens/Bereinigens bedeutete, ist es mit der Verfügbarkeit von Data Survivorship-Optionen in den meisten Zusammenführungs-/Bereinigungswerkzeugen einfach geworden.
Sie wählen einfach die Spalten aus, die Sie speichern möchten, sowie die Quellen, in denen Sie die Daten speichern möchten, und die Plattform ermöglicht es Ihnen, diese Daten in Ihren neuen Datensätzen zu überschreiben. Das Überleben von Daten mit einer Plattform wie DataMatch Enterprise ist nicht nur einfacher geworden, sondern spart auch Zeit und Zugänglichkeit.
Diese Fähigkeit, einen genauen, vollständigen und aktuellen Überblick über Ihren Kundendatensatz zu erhalten, wird oft als Golden Record bezeichnet und ist das wichtigste Ziel der Datenmanagementziele eines Unternehmens. Und es ist sehr viel einfacher geworden, diese Möglichkeit zu schaffen.
Wie man Bereinigungsdaten zusammenführt, um Goldene Datensätze zu erstellen
Erfahren Sie mehr darüber, wie wir Unternehmen dabei geholfen haben, Daten aus verschiedenen Quellen zu kombinieren, um den perfekten Datensatz zu erstellen.
Bewährte Praktiken bei der Datenzusammenführung und -bereinigung
Unabhängig von Ihrem Geschäft, Ihrer Branche oder Ihrer Unternehmensgröße dient eine Merge/Purge-Initiative als Grundlage für Ihre datengesteuerten Ziele. Während das Zusammenführen/Bereinigen in der Vergangenheit nur auf das Kombinieren und Eliminieren beschränkt war, hat es sich heute zu einem leistungsstarken Mechanismus entwickelt, der es den Benutzern ermöglicht, tief in ihre Datensätze einzutauchen.
Obwohl der Prozess durch den Einsatz fortschrittlicher Bereinigungstools weitgehend automatisiert wurde, müssen die Benutzer weiterhin bewährte Verfahren anwenden. Wir empfehlen unseren Kunden:
- Konzentrieren Sie sich immer auf die Qualität ihrer Daten: Schlechte Daten sind eine Herausforderung. Sie können Ihre Daten nicht sinnvoll nutzen, wenn sie mit Tippfehlern, gefälschten Anmeldedaten, ungültigen Adressen und unordentlichen Inhalten gespickt sind. Bevor Sie überhaupt daran denken, eine Zusammenführung und Bereinigung durchzuführen, müssen Sie die Daten immer bereinigen und standardisieren. Das erleichtert den Deduplizierungsprozess. Wenn Sie zuerst deduzieren, ohne die Daten zu bereinigen, werden Sie am Ende frustriert und enttäuscht über die Ergebnisse sein.
- Haben Sie immer einen realistischen Plan: Wir haben den Plan bereits mehrfach erwähnt, aber wir können nicht umhin, diesen Punkt zu wiederholen – Sie müssen einen Plan für die Zusammenführung/Säuberung haben. Wenn die einfache Zusammenführung von Daten nicht das ist, was Sie wollen, und Sie die grenzenlosen Möglichkeiten der Verwendung eines Tools für die n-te Listensegmentierung verstehen, dann müssen Sie einen Plan erstellen, der die Art der Datensätze bewertet, die Sie zusammenführen und bereinigen wollen.
- Optimieren Sie Ihr Modell: In der Regel haben Sie nach der ersten Runde der Zusammenführung/Bereinigung eine bessere Vorstellung von Ihrem Datenmodell. Sie können zum Beispiel erfahren, welche Namen am häufigsten abgekürzt oder in Spitznamen umgewandelt werden. Sie erfahren etwas über die Abgleichskriterien und ob Sie den Abgleich lockern oder verschärfen wollen (z. B. individueller Abgleich vs. Abgleich mit derselben Adresse). Sobald Sie ein vorläufiges Verständnis dieses Modells haben, können Sie diese Informationen nutzen, um Angaben zur Kampagnenleistung und zu den KPIs zu machen und den Zeitaufwand für die nächste Merge/Purge-Aktivität zu reduzieren.
- Führen Sie Aufzeichnungen über Ihre Listen: Eine Liste zu bereinigen bedeutet nicht, sie vollständig zu löschen. Mit Software und Tools zum Zusammenführen und Bereinigen von Daten können Sie Ihre Datensätze speichern und eine Datenbank mit allen Änderungen, die Sie an Ihrer Liste vorgenommen haben, führen. In einem Datensatz kann Ihr Kunde beispielsweise die Adresse A haben und nach seiner Heirat umgezogen sein. In Ihren Datensätzen für dieselbe Person wird Adresse B angezeigt. Bedeutet das, dass Sie Adresse A löschen? Nein. Stattdessen werden Sie Ihre Datensätze aktualisieren, indem Sie entweder Adresse B in eine neue Spalte mit der Bezeichnung Aktuelle Adresse einfügen. Sie können auch Adresse A löschen und einen neuen Datensatz mit Adresse B erstellen, während der alte Datensatz gespeichert bleibt. Diese wachsende Intelligenz kann Ihnen dabei helfen, das demografische Verhalten zu verstehen.
- Versuchen Sie, eine einzige Quelle der Wahrheit zu erhalten: Uneinheitliche Informationen über Ihre Benutzerdaten bedeuten für Sie und Ihr Team eine Verschwendung von Zeit und Mühe. Die beste Verwendung einer Zusammenführungs-/Bereinigungsfunktion besteht darin, eine einzige Quelle der Wahrheit oder eine einzige Kundenansicht zu erstellen, die alles enthält, was Sie über den Kunden wissen, und die immer auf dem neuesten Stand gehalten werden muss. Sie erhalten Informationen über Ihre Benutzer aus mehreren Datensilos, weshalb Sie sicherstellen müssen, dass die alten und die neuen Daten gut aufeinander abgestimmt sind.
Diese einzige Quelle der Wahrheit kann durch den Abgleich und die Zusammenführung von Daten über mehrere Datensätze hinweg, innerhalb von Datensätzen und zwischen Datensätzen gewonnen werden. Das heißt, Sie können den Datensatz A [customer name] aus Datensatz 1 [Billing data] mit Datensatz A zu verschmelzen [customer name] aus Datensatz 2 [Sales data] oder Datensatz A [customer name] mit Datensatz B [customer surname] aus Datensatz 1 und so weiter.
Verwendung eines Selbstbedienungswerkzeugs zum Zusammenführen und Bereinigen
Eine der effektivsten und am weitesten verbreiteten Lösungen zur Erstellung des Golden Record sind Bereinigungstools, mit deren Hilfe Sie alte Datensätze mit neuen Informationen überschreiben können, indem Sie eine Datenüberlebensfunktion verwenden.
Eine Selbstbedienungssoftware für die Datenbereinigung ermöglicht es Geschäftsanwendern und Fachleuten in Unternehmen, ihre Daten einfach zusammenzuführen/zu bereinigen, ohne dass eine steile Lernkurve oder Programmiersprachen erforderlich sind.
Das Tool wurde entwickelt, um Geschäftsanwendern zu helfen:
- Bereiten Sie die Daten vor, indem Sie die Daten auf Fehler und Informationskonsistenz prüfen.
- Bereinigung und Normalisierung von Daten nach festgelegten Geschäftsregeln>
- Abgleich mehrerer Listen mit einer Kombination aus proprietären und bewährten Algorithmen
- Entfernen Sie Duplikate mit einer Genauigkeitsrate von 95 – 100%.
- Erstellen Sie Golden Records und erhalten Sie eine einzige Quelle der Wahrheit
und vieles mehr.
Diese Tools werden zum Aushängeschild für die Lösung eines uralten Problems, nämlich der Abhängigkeit von komplexen IT-Prozessen zur Zusammenführung/Bereinigung von Daten. In einer Zeit, in der Automatisierung der Schlüssel zum Geschäftserfolg ist, können sich Unternehmen diese Abhängigkeit und Verzögerung bei der Datenoptimierung nicht leisten.
Fazit – Verwenden Sie eine Merge Purge-Lösung, um die perfekte Quelle der Wahrheit zu schaffen
Ihre Daten sind ein wertvolles Gut, und wie jedes Gut muss es gepflegt werden. Unternehmen sind heute sehr darauf bedacht, mehr Daten zu erfassen und ihre „Sammlung“ zu erweitern. Wenn die Daten jedoch schlummern und teuren Speicher- oder CRM-Platz beanspruchen, müssen sie bereinigt werden. Sie können einen komplexen Prozess vereinfachen, indem Sie eine Software zur Bereinigung von Daten aus einer Hand verwenden, mit der Sie Ihre Datenquellen zusammenführen und wertvolle Datensätze erstellen können.
Wie die besten Fuzzy-Matching-Lösungen funktionieren: Kombination von bewährten und eigenen Algorithmen
Starten Sie noch heute Ihren kostenlosen Test
Oops! Wir konnten dein Formular nicht lokalisieren.
