{"id":63147,"date":"2019-05-03T00:00:00","date_gmt":"2019-05-03T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/datenbereinigung-im-data-warehouse-der-code-freie-automatisierte-ansatz-zur-pflege-ihrer-single-source-of-truth\/"},"modified":"2022-05-02T06:41:02","modified_gmt":"2022-05-02T06:41:02","slug":"datenbereinigung-im-data-warehouse-der-code-freie-automatisierte-ansatz-zur-pflege-ihrer-single-source-of-truth","status":"publish","type":"post","link":"https:\/\/dataladder.com\/de\/datenbereinigung-im-data-warehouse-der-code-freie-automatisierte-ansatz-zur-pflege-ihrer-single-source-of-truth\/","title":{"rendered":"Datenbereinigung im Data Warehouse: Der Code-freie, automatisierte Ansatz zur Pflege Ihrer Single Source of Truth"},"content":{"rendered":"

Daten sind \u00fcberall, und das Gesamtvolumen wird voraussichtlich <\/span>
\nbis 2020 mehr als 44 Billionen GBs<\/span>
\n<\/a>aber selten ist sie n\u00fctzlich. Nur <\/span>27%<\/span><\/a> der Unternehmen mit Datenanalyse-Initiativen berichten von einem nennenswerten Erfolg, w\u00e4hrend nur 8 % ihre Bem\u00fchungen als „sehr erfolgreich“ bezeichnen. Diese Zahlen sind nicht deshalb so niedrig, weil die Unternehmen nicht \u00fcber die erforderlichen Daten verf\u00fcgen, sondern weil sie nicht \u00fcber qualitativ hochwertige Daten verf\u00fcgen, d. h. die Daten, die sie haben, sind im Grunde genommen nutzlos.<\/span><\/p>\n

Die Verf\u00fcgbarkeit reicht nicht aus, man muss die Daten auch nutzbar machen.<\/span><\/p>\n

Beim Aufbau Ihres Data Warehouse ist es entscheidend, dass Sie \u00fcber saubere Daten verf\u00fcgen, da Sie sonst Gefahr laufen, die <\/span>„<\/span>
\nGarbage in, Garbage out<\/span>
\n<\/a>„<\/span> Ph\u00e4nomen. Doch was genau beinhaltet die Datenbereinigung, und ist sie f\u00fcr Ihr spezifisches Data Warehouse-Design wirklich erforderlich?<\/span><\/p>\n

Wenn Sie Daten aus einer einzigen Quelle integrieren, kann es vorkommen, dass Quelldatens\u00e4tze fehlende Informationen, Rechtschreibfehler von der urspr\u00fcnglichen Dateneingabe, ung\u00fcltige Daten usw. enthalten. Diese Probleme sind in Datenbanken allgegenw\u00e4rtig und werden h\u00e4ufig auf die analytische Berichterstattung \u00fcbertragen – es sei denn, Sie implementieren zuvor Datenbereinigungs- und Daten-Scrubbing-Techniken<\/a>. Das Problem wird noch gr\u00f6\u00dfer, wenn Sie mit unterschiedlichen Datenquellen zu tun haben, um zentralisierte Datenspeicher wie ein Data Warehouse, ein globales Informationssystem oder ein f\u00f6deriertes System von Betriebsdatenbanken aufzubauen. <\/span><\/p>\n

Wenn Sie mit einer einzigen Quelle arbeiten, m\u00fcssen Sie mit Ungenauigkeiten in den Daten rechnen. Bei unterschiedlichen Quellen m\u00fcssen Sie sich auch mit Unterschieden bei der Speicherung und Strukturierung der Daten sowie mit Problemen der Datenredundanz bei den verschiedenen Darstellungen der Daten in den einzelnen Quellen auseinandersetzen.<\/span><\/p>\n

Betrachten wir ein Beispiel. Angenommen, Sie haben eine Entit\u00e4t mit dem Namen „John Smith“, deren Stadtfeld in einer Datenbank mit „London“ gef\u00fcllt ist. Eine andere Datenbank k\u00f6nnte eine zus\u00e4tzliche Spalte f\u00fcr „Land“ haben, und wenn die beiden Datenbanken zusammengef\u00fchrt werden, haben Sie keine einfache M\u00f6glichkeit, das Feld „Stadt“ f\u00fcr den ehemaligen Datensatz „John Smith“ zu f\u00fcllen. Immerhin gibt es etwa<\/span> 12 verschiedene Londons auf der Welt<\/span><\/a>. <\/span><\/p>\n

Dies ist nur ein Beispiel; es k\u00f6nnte unz\u00e4hlige Probleme geben, wie z. B. verkettete Namen in einer Datenbank und getrennte Spalten f\u00fcr Vor- und Nachname in einer anderen, oder getrennte Spalten f\u00fcr Hausnummer und Stra\u00dfenname, w\u00e4hrend eine andere Datenbank eine einzige Adressspalte hat. <\/span><\/p>\n

Eine M\u00f6glichkeit, die Datenqualit\u00e4t zu verbessern, besteht darin, Fehler manuell zu \u00fcberpr\u00fcfen und zu beheben, aber das wird schnell unpraktisch, wenn man es mit gro\u00dfen Datenmengen zu tun hat. Der andere Weg ist die Verwendung von Datenqualit\u00e4tssoftware, die speziell f\u00fcr die <\/span>schnellste und genaueste Datenbereinigung<\/span> f\u00fcr Ihr Data Warehouse.<\/span><\/p>\n

Datenbereinigung im Data Warehouse<\/span><\/h2>\n

Ihr Data Warehouse muss \u00fcber konsistente, genaue, deduplizierte Daten verf\u00fcgen, um nachgelagerte Analyseanwendungen und andere Systeme im gesamten Unternehmen zu versorgen. In einem typischen Szenario ben\u00f6tigen Sie einen separaten Staging-Bereich, in den Sie Daten aus der Quelle importieren und dann umwandeln und anderweitig Ihre Daten f\u00fcr die Standardisierung<\/a> und Bereinigung aufbereiten. Moderne Datenbereinigungssoftware<\/a> unterst\u00fctzt die In-Memory-Verarbeitung, bei der die Quelldaten in den tempor\u00e4ren Speicher und nicht in eine physische Datenbank importiert werden. Sie k\u00f6nnen Ihre Bereinigungs- und Deduplizierungskonfigurationen im tempor\u00e4ren Speicher testen und dann wieder exportieren, wenn Sie mit den Ergebnissen zufrieden sind.<\/span><\/p>\n

Wenn Sie sich f\u00fcr einen Datenbereinigungsansatz f\u00fcr Ihr Data Warehouse entscheiden, stellen Sie sicher, dass die gew\u00e4hlte Methode dies kann:<\/span><\/p>\n