Blog

8 bewährte Verfahren zur Gewährleistung der Datenqualität auf Unternehmensebene

Im Februar 2020 übergab Facebook einen anonymisierten Datensatz an Social Science One – mit dem Ziel, Erkenntnisse über die Kommunikation und das Verhalten in den sozialen Medien zu gewinnen. Der Datensatz enthielt Informationen über 38 Millionen URLs, die mehr als 100 Mal öffentlich geteilt wurden.

Am 20. September 2021 räumte Facebook gegenüber drei Dutzend Forschern ein, dass der Datensatz schwerwiegende Fehler aufwies, und entschuldigte sich für die negativen Auswirkungen auf ihre Forschung. Es stellte sich heraus, dass Facebook es versäumt hatte, die Daten der Hälfte seiner US-Nutzer einzubeziehen, da diese im Vergleich zu den Nutzern insgesamt weniger politisch polarisiert waren. Eine Facebook-Sprecherin erklärte, dass dieser Vorfall auf einen technischen Fehler in ihrem URL-Shares-Datensatz zurückzuführen sei.

Heutzutage sind Daten zweifellos einer der größten Vermögenswerte eines Unternehmens. Sie wird überall eingesetzt – vom Tagesgeschäft eines Unternehmens bis hin zu Business-Intelligence-Initiativen – oder, wie im Fall von Facebook, zur Unterstützung von mehr als 100 Recherchen. Wenn jedoch Techniken und bewährte Verfahren für die Datenqualität fehlen (mit denen Datenqualitätsprobleme rechtzeitig erkannt und behoben werden), kann ein Unternehmen viel Geld verlieren und Gefahr laufen, ins Hintertreffen zu geraten.

In diesem Blog befassen wir uns mit einer Reihe von Best Practices und Prozessen zur Datenqualität, die eine hohe Datenqualität auf Unternehmensebene ermöglichen können. Ich werde nicht nur aufzeigen, was benötigt wird, sondern auch die Maßnahmen nennen, die Ihnen helfen können, diesen Zustand zu erreichen.

Darüber hinaus führen die unten genannten Praktiken zu den besten Ergebnissen, wenn sie in regelmäßigen Abständen in einem Unternehmen durchgeführt werden. Daten (in ihrer Definition und Verwendung) sind dem Wandel unterworfen. Wenn Ihr Unternehmen also diese Praktiken ständig überprüft, können Sie definitiv bessere und dauerhafte Ergebnisse erzielen.

Fangen wir an.

1. Ermitteln Sie den Zusammenhang zwischen Daten und Unternehmensleistung

Wir beginnen mit dieser Praxis, da sie der wichtigste und grundlegendste Teil einer ordnungsgemäßen Datenverwaltung, -übernahme und -nutzung in jedem Unternehmen ist. Zuallererst müssen Sie verstehen, wie Daten zu Ihren Unternehmenszielen beitragen.

Wie sieht sie aus?

Dies kann sowohl eine Analyse der Rolle von Daten auf hoher Ebene (z. B. Hervorhebung von Bereichen, in denen Daten genutzt werden) als auch eine detaillierte Analyse von Einzelheiten (z. B. der Rolle von Daten im Tagesgeschäft, in Geschäftsprozessen, beim Informationsaustausch zwischen Abteilungen usw.) umfassen.

Wenn Sie das erkannt haben, ist es an der Zeit, folgende Frage zu stellen: Wenn diese Prozesse oder Bereiche nicht durch Qualitätsdaten unterstützt wurden, welche Auswirkungen kann das auf die daraus resultierenden KPIs haben?

Ein Beispiel für eine solche Situation ist, wenn die Geschäftsleitung das Umsatzziel für das nächste Quartal auf der Grundlage der Verkaufsdaten des letzten Quartals festlegt, aber dann feststellt, dass der Datensatz, der für die Prognose des künftigen Ziels verwendet wurde, schwerwiegende Probleme mit der Datenqualität aufweist, was dazu führt, dass Ihre Verkaufsabteilung einem willkürlichen Wert nachjagt, der keine konkrete Bedeutung hat. Die daraus resultierende Situation hat massive negative Auswirkungen auf die Geschäftstätigkeit und den Ruf des Unternehmens, z. B. indem unrealistische Erwartungen an die Vertriebsmitarbeiter gestellt werden, ungenaue Umsatzzahlen versprochen werden und so weiter.

Wie hilft es?

Wenn Sie verstehen, welche Rolle Daten in allen laufenden Prozessen eines Unternehmens spielen, haben Sie immer ein Argument zur Hand, um Daten und ihrer Qualität Priorität einzuräumen. Dies wird Ihnen auch dabei helfen, die notwendige Zustimmung und Aufmerksamkeit der Beteiligten zu erhalten – etwas, das für die Durchführung und das Vorschlagen von Änderungen an bestehenden Prozessen entscheidend ist.

2. Messung und Pflege der Definition der Datenqualität

Sobald Sie wissen, welche Auswirkungen Daten auf Ihr Unternehmen haben, besteht der nächste Schritt darin, Datenqualität für alle Datensätze in Ihrem Unternehmen zu erreichen. Doch bevor wir das tun können, ist es wichtig, die Definition von Datenqualität zu verstehen, da sie für jedes Unternehmen etwas anderes bedeutet.

Die Datenqualität ist definiert als der Grad, in dem die Daten den beabsichtigten Zweck erfüllen. Um die Bedeutung der Datenqualität in Ihrem Fall zu verstehen, müssen Sie also wissen, was der beabsichtigte Zweck ist.

Wie sieht sie aus?

Um die Datenqualität für Ihr Unternehmen zu definieren, müssen Sie damit beginnen, die Daten zu identifizieren:

  • Quellen, die Daten erzeugen, speichern oder manipulieren,
  • Von jeder Quelle gespeicherte Attribute,
  • Metadaten-Glossar, das jedes Attribut definiert,
  • Akzeptanzkriterien für die in den Attributen gespeicherten Datenwerte, und
  • Datenqualitätsmetriken, die die Qualität der gespeicherten Daten messen.

Ein Beispiel für die Definition der Datenqualität in Ihrem Unternehmen ist die Erstellung von Datenmodellen, in denen die notwendigen Datenbestandteile hervorgehoben werden (die Menge und Qualität der Daten, die als gut genug angesehen werden). Die folgende Abbildung zeigt, wie ein Datenmodell für ein Einzelhandelsunternehmen aussehen kann:

Außerdem müssen Sie nicht nur Datenmodelle entwerfen, sondern auch Datenqualitätsmetriken ermitteln, die das Vorhandensein eines akzeptablen Qualitätsniveaus in Ihren Datensätzen bestätigen. So können Sie beispielsweise verlangen, dass Ihr Datensatz genauer und zuverlässiger als vollständig ist.

Wie hilft es?

Eine standardisierte Definition von Datenqualität hilft dabei, alle Beteiligten auf den gleichen Stand zu bringen, damit sie verstehen, was Datenqualität bedeutet, wie sie aussieht und wie sie gemessen werden kann. Dies ermöglicht es jedem Einzelnen, die Anforderungen an die Datenqualität zu verstehen und zu erfüllen.

3. Festlegung von Rollen und Zuständigkeiten für Daten in der gesamten Organisation

Es wird allgemein davon ausgegangen, dass die Sicherstellung der Datenqualität auf Unternehmensebene die Beteiligung oder Zustimmungder obersten Führungsebene erfordert. Die Wahrheit ist, dass Sie nicht nur bestimmte Personen in Silo-Umgebungen einbeziehen, sondern Mitarbeiter in die bestehenden Prozesse einbinden und ihnen die Verantwortung für die Erreichung und Aufrechterhaltung der Datenqualität übertragen müssen – von der obersten Führungsebene bis hin zum Betriebspersonal.

Wie sieht sie aus?

Einige häufige, aber wichtige Datenrollen und ihre Zuständigkeiten sind:

  • Chief Data Officer (CDO): Ein Datenbeauftragter der obersten Führungsebene, der für die Entwicklung von Strategien zur Gewährleistung eines effektiven Datenmanagements, der Verfolgung der Datenqualität und der Datenübernahme im gesamten Unternehmen verantwortlich ist.
  • Datenverwalter: ein für die Datenqualität Verantwortlicher, der die Eignung der Daten für den vorgesehenen Zweck sicherstellt und die Metadaten verwaltet.
  • Data and Analytics (D&A) Leader: ein Data Player, der für die Sicherstellung der Datenkompetenz im gesamten Unternehmen verantwortlich ist und dafür sorgt, dass Daten einen Mehrwert schaffen.

Wie hilft es?

Wenn Daten als Hauptquelle für zentrale Geschäftsprozesse behandelt werden, kommt es zu einem unternehmensweiten Wandel. Die Zuweisung von Rollen und Zuständigkeiten im Bereich der Daten und die Erteilung von Befugnissen an die Mitarbeiter, um Einfluss auf wichtige Datenfragen zu nehmen und sich zu diesen zu äußern, können eine wichtige Rolle bei der Gewährleistung einer erfolgreichen Datenkultur in jedem Unternehmen spielen.

4. Schulung und Aufklärung der Teams über Daten

In einer Umfrage unter 9000 Mitarbeitern, die verschiedene Funktionen in einem Unternehmen ausüben, waren nur 21 % von ihren Datenkenntnissen überzeugt.

Die Einführung von Datenrollen und -verantwortlichkeiten kann sich sehr positiv auf Ihr Unternehmen auswirken. Dennoch ist es wichtig zu bedenken, dass an einem modernen Arbeitsplatz jeder Einzelne im Rahmen seiner täglichen Arbeit Daten generiert, manipuliert oder mit ihnen umgeht. Aus diesem Grund ist es zwar wichtig, bestimmten Personen die Verantwortung für die Durchführung von Korrekturmaßnahmen zu übertragen, aber ebenso wichtig ist es, alle Teams im Umgang mit Unternehmensdaten zu schulen und zu schulen.

Wie sieht sie aus?

Dies kann die Erstellung von Plänen zur Datenkompetenz und die Entwicklung von Kursen beinhalten, die die Teams in die Unternehmensdaten einführen und erklären:

  • Was es enthält,
  • Was die einzelnen Datenattribute bedeuten,
  • Welches sind die Akzeptanzkriterien für seine Qualität?
  • Was ist der falsche und was der richtige Weg für die Eingabe/Manipulation von Daten?
  • Welche Daten sind zu verwenden, um ein bestimmtes Ergebnis zu erzielen?

Außerdem können diese Kurse je nach Häufigkeit der Datennutzung durch bestimmte Rollen (täglich, wöchentlich oder jährlich) erstellt werden.

Wie hilft es?

Die Fähigkeit, Daten auf allen Ebenen korrekt und genau zu lesen, zu verstehen und zu analysieren, versetzt jeden Mitarbeiter in die Lage, die richtigen Fragen zu stellen – und zwar auf die bestmögliche Weise. Es gewährleistet auch die operative Effizienz Ihrer Mitarbeiter und reduziert Fehler bei der Kommunikation von Daten.

5. Kontinuierliche Überwachung des Datenzustands durch Datenprofiling

Datenqualität zu erreichen und sie über einen längeren Zeitraum aufrechtzuerhalten sind zwei verschiedene Dinge. Aus diesem Grund müssen Sie einen systematischen Prozess einführen, der den Zustand der Daten kontinuierlich überwacht und Profile erstellt, um verborgene Details über ihre Struktur und ihren Inhalt aufzudecken.

Der Umfang und der Prozess der Datenprofilerstellung können je nach der Definition der Datenqualität in Ihrem Unternehmen und der Art und Weise, wie sie gemessen wird, festgelegt werden.

Wie sieht sie aus?

Dies kann durch die Konfiguration und Planung von täglichen/wöchentlichen Datenprofilberichten erreicht werden. Darüber hinaus können Sie benutzerdefinierte Workflows entwerfen, um die Datenverantwortlichen in Ihrem Unternehmen zu alarmieren, wenn die Datenqualität unter einen akzeptablen Schwellenwert sinkt.

Ein Datenprofilbericht hebt in der Regel eine Reihe von Dingen über die untersuchten Datensätze hervor, zum Beispiel:

  • Der Prozentsatz der fehlenden und unvollständigen Datenwerte,
  • Die Anzahl der Datensätze, die möglicherweise Duplikate voneinander sind,
  • Auswertung von Datentypen, -größen und -formaten zur Aufdeckung ungültiger Datenwerte,
  • Statistische Analyse von numerischen Datenspalten zur Bewertung von Verteilungen.

Wie hilft es?

Auf diese Weise können Sie Datenfehler frühzeitig erkennen und verhindern, dass diese bis zum Kunden durchdringen. Darüber hinaus kann es den Chief Data Officers helfen, den Überblick über das Datenqualitätsmanagement zu behalten und die richtigen Entscheidungen zu treffen, z. B. wann und wie die in den Datenprofilen hervorgehobenen Probleme behoben werden sollen.

Lesen Sie mehr über Data Profiling: Umfang, Techniken und Herausforderungen.

6. Entwicklung und Pflege von Datenpipelines, um eine einzige Quelle der Wahrheit zu erhalten

Eine Datenpipeline bezieht sich auf einen systematischen Prozess, der Daten aus einer Quelle aufnimmt, die notwendigen Verarbeitungs- und Umwandlungstechniken an den Daten durchführt und sie dann in einen Zielspeicher lädt.

Es ist wichtig, dass Rohdaten eine Reihe von Validierungsprüfungen durchlaufen, bevor sie als brauchbar eingestuft und allen Benutzern im Unternehmen zur Verfügung gestellt werden können.

Wie sieht sie aus?

Um eine Datenpipeline zu erstellen, müssen Sie auf die in diesem Blog erwähnte Praxis Nr. 02 zurückgreifen: Definieren und pflegen Sie die Definition von Datenqualität. Entsprechend dieser Definition müssen Sie eine Liste von Operationen festlegen, die an den eingehenden Daten durchgeführt werden müssen, um das definierte Qualitätsniveau zu erreichen.

Eine Beispielliste von Vorgängen, die innerhalb Ihrer Datenpipeline durchgeführt werden können, umfasst

  • Ersetzen von Null- oder Leerwerten durch einen Standardbegriff, z. B. „Nicht verfügbar“.
  • Umwandlung von Datenwerten nach dem festgelegten Muster und Format.
  • Parsing von Feldern in zwei oder mehr Spalten.
  • Ersetzen von Abkürzungen durch richtige Wörter.
  • Ersetzen von Spitznamen durch Eigennamen.
  • Falls der eingehende Datensatz als potenzielles Duplikat vermutet wird, wird er mit dem bestehenden Datensatz zusammengeführt, anstatt als neuer Datensatz angelegt zu werden.

Wie hilft es?

Eine Datenpipeline fungiert als Firewall für die Datenqualität Ihrer Unternehmensdatenbestände. Die Entwicklung einer Datenpipeline trägt dazu bei, die Datenkonsistenz über alle Quellen hinweg zu gewährleisten und eventuelle Diskrepanzen zu beseitigen – noch bevor die Daten in die Zielquelle geladen werden.

7. Durchführung einer Ursachenanalyse von Datenqualitätsfehlern

Bisher haben wir uns vor allem darauf konzentriert, wie wir die Datenqualität nachverfolgen und vermeiden können, dass Fehler in die Datensätze gelangen, aber die Wahrheit ist: Trotz all dieser Bemühungen werden wahrscheinlich einige Fehler in das System gelangen. Sie müssen sie nicht nur beheben, sondern vor allem verstehen, wie diese Fehler entstanden sind, damit solche Szenarien verhindert werden können.

Wie sieht sie aus?

Eine Ursachenanalyse für Datenqualitätsfehler kann beinhalten, dass Sie sich den neuesten Datenprofilbericht besorgen und mit Ihrem Team zusammenarbeiten, um Antworten auf Fragen wie diese zu finden:

  • Welche Datenqualitätsfehler sind aufgetreten?
  • Woher stammen sie?
  • Wann sind sie entstanden?
  • Warum sind sie trotz aller Prüfungen der Datenqualität im System gelandet? Haben wir etwas verpasst?
  • Wie können wir verhindern, dass solche Fehler erneut im System auftauchen?

Wie hilft es?

Wenn man den Problemen der Datenqualität auf den Grund geht, lassen sich Fehler langfristig vermeiden. Sie müssen nicht immer reaktiv arbeiten und Fehler beheben, sobald sie auftreten. Mit einem proaktiven Ansatz können Sie es Ihren Teams ermöglichen, ihren Aufwand für die Behebung von Datenqualitätsfehlern zu minimieren – und 99 % der Probleme im Zusammenhang mit Daten durch die verfeinerten Datenqualitätsprozesse beheben zu lassen.

8. Einsatz von Technologie zur Erreichung und Erhaltung der Datenqualität

Dies bringt uns zu unserer letzten Best Practice: die Nutzung von Technologie zur Erreichung eines nachhaltigen Datenqualitätsmanagement-Lebenszyklus. Kein Prozess verspricht eine gute Leistung und den besten ROI, wenn er nicht mit Hilfe von Technologie automatisiert und optimiert wird.

Wie sieht sie aus?

Investieren Sie in ein technologisches System, das über alle Funktionen verfügt, die Sie benötigen, um die Datenqualität in allen Datenbeständen zu gewährleisten. Zu diesen Funktionen gehört die Möglichkeit,:

Zusätzlich zu den oben erwähnten Funktionen für das Datenqualitätsmanagement investieren einige Unternehmen in Technologien, die auch zentralisierte Datenverwaltungsfunktionen bieten. Ein Beispiel für ein solches System ist die Stammdatenverwaltung (MDM). Obwohl es sich bei einem MDM um eine vollständige Datenverwaltungslösung mit Datenqualitätsfunktionen handelt, benötigen nicht alle Unternehmen die umfangreiche Liste von Funktionen, die ein solches System bietet.

Um zu beurteilen, welche Art von Technologie für Sie die richtige Entscheidung ist, müssen Sie Ihre geschäftlichen Anforderungen kennen. Lesen Sie diesen Blog, um die wichtigsten Unterschiede zwischen einer MDM- und einer DQM-Lösung zu erfahren.

Wie hilft es?

Der Einsatz von Technologie bei der Umsetzung von Prozessen, die konsequent wiederholt werden müssen, um dauerhafte Ergebnisse zu erzielen, bietet zahlreiche Vorteile. Wenn Sie Ihrem Team Self-Service-Tools für das Datenqualitätsmanagement zur Verfügung stellen, können Sie die betriebliche Effizienz steigern, Doppelarbeit vermeiden, die Kundenerfahrung verbessern und zuverlässige Geschäftseinblicke gewinnen.

Schlussfolgerung

Die Implementierung konsistenter, automatisierter und wiederholbarer Datenqualitätsmaßnahmen kann Ihrem Unternehmen dabei helfen, Datenqualität über alle Datensätze hinweg zu erreichen und zu erhalten.

Data Ladder bietet seinen Kunden seit über einem Jahrzehnt Datenqualitätslösungen an. DataMatch Enterprise ist eines der führenden Datenqualitätsprodukte des Unternehmens, das sowohl als eigenständige Anwendung als auch als integrierbare API verfügbar ist und ein durchgängiges Datenqualitätsmanagement ermöglicht, einschließlich Datenprofilierung, -bereinigung, -abgleich, -deduplizierung und -bereinigung.

Sie können die kostenlose Testversion noch heute herunterladen oder eine persönliche Sitzung mit unseren Experten vereinbaren, um zu erfahren, wie unser Produkt bei der Implementierung der besten Verfahren zur Erreichung und Aufrechterhaltung der Datenqualität auf Unternehmensebene helfen kann.

In this blog, you will find:

Try data matching today

No credit card required

*“ zeigt erforderliche Felder an

Hidden
Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Want to know more?

Check out DME resources

Merging Data from Multiple Sources – Challenges and Solutions

Oops! Wir konnten dein Formular nicht lokalisieren.