{"id":68421,"date":"2022-09-05T11:03:59","date_gmt":"2022-09-05T15:03:59","guid":{"rendered":"https:\/\/dataladder.com\/leitfaden-zur-datenstandardisierung-arten-vorteile-und-verfahren\/"},"modified":"2022-09-13T09:01:09","modified_gmt":"2022-09-13T09:01:09","slug":"leitfaden-zur-datenstandardisierung-arten-vorteile-und-verfahren","status":"publish","type":"post","link":"https:\/\/dataladder.com\/de\/leitfaden-zur-datenstandardisierung-arten-vorteile-und-verfahren\/","title":{"rendered":"Leitfaden zur Datenstandardisierung: Arten, Vorteile und Verfahren"},"content":{"rendered":"\n

Wenn Sie Daten aus verschiedenen Anwendungen im gesamten Unternehmen abrufen, erwarten Sie eine einheitliche Definition und ein einheitliches Format der gleichen Informationen. In der Realit\u00e4t ist dies jedoch selten der Fall. Die Unterschiede in den Datens\u00e4tzen – \u00fcber verschiedene Anwendungen hinweg und sogar innerhalb derselben Anwendung – machen es fast unm\u00f6glich, Daten f\u00fcr jeden Zweck zu nutzen – von Routinevorg\u00e4ngen bis hin zu Business Intelligence.<\/p>\n\n

Ein durchschnittliches Unternehmen nutzt heute mehrere SaaS- und interne Anwendungen. Jedes System hat seine eigenen Anforderungen, Einschr\u00e4nkungen und Begrenzungen. Aus diesem Grund sind bei Daten, die in verschiedenen Anwendungen gehostet werden, Diskrepanzen vorprogrammiert. Und wenn wir Rechtschreibfehler, Abk\u00fcrzungen, Spitznamen und Tippfehler in Betracht ziehen, stellen wir fest, dass ein und derselbe Wert Hunderte von verschiedenen Darstellungen haben kann. An dieser Stelle ist es zwingend erforderlich, Daten zu standardisieren, um sie f\u00fcr jeden beabsichtigten Zweck nutzbar zu machen.<\/p>\n\n

In diesem Blog erfahren Sie alles \u00fcber die Datenstandardisierung: was sie ist, warum und wann Sie sie brauchen und wie Sie sie durchf\u00fchren k\u00f6nnen. Fangen wir an.<\/p>\n\n

Was ist Datenstandardisierung?<\/h2>\n\n

In der Datenwelt bezieht sich ein Standard auf ein Format oder eine Darstellung, der jeder Wert eines bestimmten Bereichs entsprechen muss. Standardisierung von Daten bedeutet also:<\/p>\n\n

Der Prozess der Umwandlung einer falschen oder inakzeptablen Darstellung von Daten in eine akzeptable Form.<\/mark><\/strong><\/p>\n\n

Der einfachste Weg, um herauszufinden, was „akzeptabel“ ist, besteht darin, Ihre gesch\u00e4ftlichen Anforderungen zu verstehen. Im Idealfall m\u00fcssen Unternehmen sicherstellen, dass das Datenmodell, das von den meisten – wenn nicht sogar allen – Anwendungen verwendet wird, ihren Gesch\u00e4ftsanforderungen entspricht. Der beste Weg zur Standardisierung von Daten ist die Anpassung der Datendarstellung, -struktur und -definition an die organisatorischen Anforderungen.<\/p>\n\n

Arten und Beispiele von Datenstandardisierungsfehlern<\/h2>\n\n

Im Folgenden werden einige Beispiele daf\u00fcr angef\u00fchrt, wie nicht standardisierte Daten in das System gelangen k\u00f6nnen:<\/p>\n\n

  1. Die Telefonnummer des Kunden <\/em>wird in einem System als Zeichenkette gespeichert, w\u00e4hrend sie in einem anderen System nur als 8-stellige Zahl zul\u00e4ssig ist, was zu Inkonsistenzen beim Datentyp<\/strong> f\u00fchrt.<\/li>
  2. Der Kundenname <\/em>wird in einem System als ein einziges Feld gespeichert, w\u00e4hrend er in einem anderen System in drei separaten Feldern f\u00fcr Vor-, Mittel- und Nachnamen erfasst wird, was zu struktureller Inkonsistenz<\/strong> f\u00fchrt.<\/li>
  3. Das Geburtsdatum des Kunden<\/em> hat in einem System das Format MM\/TT\/JJJ, w\u00e4hrend es in einem anderen System das Format Monat-Tag-Jahr hat, was zu Formatinkonsistenz<\/strong> f\u00fchrt.<\/li>
  4. Das Geschlecht des Kunden<\/em> wird in einem System als „weiblich“ oder „m\u00e4nnlich“ gespeichert, w\u00e4hrend es in einem anderen System als „F“ oder „M“ gespeichert wird, was zu einer Inkonsistenz der Dom\u00e4nenwerte<\/strong> f\u00fchrt.<\/li><\/ol>\n\n

    Abgesehen von diesen h\u00e4ufigen Szenarien k\u00f6nnen Rechtschreibfehler, Transkriptionsfehler und fehlende Validierungsbeschr\u00e4nkungen die Datenstandardisierungsfehler in Ihren Datens\u00e4tzen erh\u00f6hen.<\/p>\n\n

    Warum m\u00fcssen Sie Daten standardisieren?<\/h2>\n\n

    Jedes System hat seine eigenen Beschr\u00e4nkungen und Einschr\u00e4nkungen, die zu einzigartigen Datenmodellen und deren Definitionen f\u00fchren. Aus diesem Grund m\u00fcssen Sie die Daten m\u00f6glicherweise umwandeln, bevor sie von einem Gesch\u00e4ftsprozess korrekt verarbeitet werden k\u00f6nnen.<\/p>\n\n

    Normalerweise wissen Sie, dass es an der Zeit ist, Daten zu standardisieren, wenn Sie dies wollen:<\/p>\n\n

    1. Konformit\u00e4t eingehender oder ausgehender Daten<\/h3>\n\n

    Ein Unternehmen hat viele Schnittstellen, \u00fcber die Datenpunkte von externen Akteuren, wie z. B. Lieferanten oder Partnern, ausgetauscht werden. Wann immer Daten in ein Unternehmen gelangen oder aus einem Unternehmen exportiert werden, ist es notwendig, die Daten an den erforderlichen Standard anzupassen, da sonst das nicht standardisierte Datenchaos immer gr\u00f6\u00dfer wird.<\/p>\n\n

    2. Daten f\u00fcr BI oder Analytik vorbereiten<\/h3>\n\n

    Dieselben Daten k\u00f6nnen auf verschiedene Weise dargestellt werden, aber die meisten BI-Tools sind nicht darauf spezialisiert, alle m\u00f6glichen Darstellungen von Datenwerten zu verarbeiten, und es kann vorkommen, dass Daten mit derselben Bedeutung unterschiedlich behandelt werden. Dies kann zu verzerrten oder ungenauen BI-Ergebnissen f\u00fchren. Bevor Sie also Daten in Ihre BI-Systeme einspeisen k\u00f6nnen, m\u00fcssen diese bereinigt, standardisiert und dedupliziert<\/a> werden, damit Sie korrekte, wertvolle Erkenntnisse gewinnen k\u00f6nnen.<\/p>\n\n

    3. Konsolidierung von Einheiten zur Beseitigung von Doppelspurigkeiten<\/h3>\n\n

    Die Duplizierung von Daten ist eine der gr\u00f6\u00dften Gefahren f\u00fcr die Datenqualit\u00e4t, mit der Unternehmen zu k\u00e4mpfen haben. F\u00fcr einen effizienten und fehlerfreien Gesch\u00e4ftsbetrieb m\u00fcssen Sie doppelte Datens\u00e4tze<\/a>, die zur selben Entit\u00e4t geh\u00f6ren, eliminieren<\/a> (sei es f\u00fcr einen Kunden, ein Produkt, einen Standort oder einen Mitarbeiter), und ein effektiver Datendeduplizierungsprozess<\/a> erfordert die Einhaltung von Datenqualit\u00e4tsstandards.<\/p>\n\n

    4. Datenaustausch zwischen Abteilungen<\/h3>\n\n

    Damit die Daten zwischen den Abteilungen interoperabel sind, m\u00fcssen sie in einem Format vorliegen, das f\u00fcr alle verst\u00e4ndlich ist. Meistens haben Unternehmen Kundeninformationen in CRMs, die von den Vertriebs- und Marketingmitarbeitern verstanden werden. Dies kann zu Verz\u00f6gerungen bei der Erledigung von Aufgaben und zu Produktivit\u00e4tseinbu\u00dfen im Team f\u00fchren.<\/p>\n\n

    Datenbereinigung versus Datenstandardisierung<\/h2>\n\n

    Die Begriffe “ Datenbereinigung“<\/em> und “ Datenstandardisierung<\/em> “ werden in der Regel synonym verwendet. Es gibt jedoch einen kleinen Unterschied zwischen den beiden.<\/p>\n\n

    Bei der Datenbereinigung werden fehlerhafte oder unsaubere Daten identifiziert und durch korrekte Werte ersetzt, w\u00e4hrend bei der Datenstandardisierung die Datenwerte von einem inakzeptablen Format in ein akzeptables Format umgewandelt werden.<\/p>\n\n

    Zweck und Ergebnis dieser beiden Prozesse sind \u00e4hnlich: Sie wollen Ungenauigkeiten und Inkonsistenzen in Ihren Datens\u00e4tzen beseitigen. Beide Prozesse sind f\u00fcr Ihre Initiative zum Datenqualit\u00e4tsmanagement unerl\u00e4sslich und m\u00fcssen Hand in Hand gehen.<\/p>\n\n

    Wie k\u00f6nnen Daten standardisiert werden?<\/h2>\n\n

    Ein Datenstandardisierungsprozess besteht aus vier einfachen Schritten: definieren, testen, transformieren und erneut testen. Gehen wir die einzelnen Schritte etwas ausf\u00fchrlicher durch.<\/p>\n\n

    1. Definieren Sie eine Norm<\/h3>\n\n

    In einem ersten Schritt m\u00fcssen Sie herausfinden, welcher Standard den Anforderungen Ihres Unternehmens entspricht. Der beste Weg, einen Standard zu definieren, ist der Entwurf eines Datenmodells f\u00fcr Ihr Unternehmen. Dieses Datenmodell stellt den idealsten Zustand dar, dem die Datenwerte f\u00fcr eine bestimmte Entit\u00e4t entsprechen m\u00fcssen. Ein Datenmodell kann wie folgt gestaltet werden:<\/p>\n\n

    1. Identifizieren Sie die <\/strong>f\u00fcr Ihren Gesch\u00e4ftsbetrieb wichtigen Datenbest\u00e4nde <\/strong>. Die meisten Unternehmen erfassen und verwalten zum Beispiel Daten \u00fcber Kunden, Produkte, Mitarbeiter, Standorte usw.<\/li>
    2. Definieren Sie die Datenfelder <\/strong>jedes identifizierten Verm\u00f6genswerts und entscheiden Sie auch \u00fcber die strukturellen Details. Sie m\u00f6chten beispielsweise den Namen, die Adresse, die E-Mail-Adresse und die Telefonnummer eines Kunden speichern, wobei sich das Feld „Name“ \u00fcber drei Felder und das Feld „Adresse“ \u00fcber zwei Felder erstreckt.<\/li>
    3. Weisen<\/strong> Sie jedem im Asset identifizierten Feld einen Datentyp zu<\/strong>. Das Feld „Name“ ist beispielsweise eine Zeichenkette, „Telefonnummer“ ist eine ganze Zahl usw.<\/li>
    4. Definieren Sie Zeichengrenzen<\/strong> (Minimum und Maximum) f\u00fcr jedes Feld. Zum Beispiel darf ein Name nicht l\u00e4nger als 15 Zeichen und eine Telefonnummer nicht l\u00e4nger als 8 Ziffern sein, usw.<\/li>
    5. Definieren Sie das Muster<\/strong>, dem die Felder entsprechen m\u00fcssen – dies gilt m\u00f6glicherweise nicht f\u00fcr alle Felder. Zum Beispiel sollte die E-Mail-Adresse eines jeden Kunden der Regex entsprechen: [chars]@[chars].[chars].<\/li>
    6. Definieren Sie das Format<\/strong>, in dem bestimmte Datenelemente in ein Feld eingef\u00fcgt werden m\u00fcssen. Das Geburtsdatum eines Kunden sollte zum Beispiel als MM\/TD\/JJJJ angegeben werden.<\/li>
    7. Definieren Sie die Messeinheit <\/strong>f\u00fcr numerische Werte (falls zutreffend). Zum Beispiel wird das Alter des Kunden in Jahren gemessen.<\/li>
    8. Definieren Sie den Wertebereich<\/strong> f\u00fcr Felder, die aus einer bestimmten Menge von Werten abgeleitet werden m\u00fcssen. Zum Beispiel muss das Alter des Kunden eine Zahl zwischen 18 und 50 sein, das Geschlecht muss m\u00e4nnlich oder weiblich sein, und so weiter.<\/li><\/ol>\n\n

      Ein entworfenes Datenmodell kann dann in ein ERD-Klassendiagramm eingef\u00fcgt werden, um den definierten Standard f\u00fcr jeden Datenbestand und dessen Beziehung zueinander zu veranschaulichen. Ein Beispiel f\u00fcr ein Datenmodell f\u00fcr ein Einzelhandelsunternehmen ist unten dargestellt:<\/p>\n

      \n
      \"\"<\/figure><\/div>\n

      2. Test f\u00fcr Standard<\/h3>\n\n

      Datenstandardisierungstechniken beginnen mit dem zweiten Schritt, da sich der erste Schritt auf die Definition dessen konzentriert, was sein soll – etwas, das einmalig gemacht oder inkrementell \u00fcberpr\u00fcft und von Zeit zu Zeit aktualisiert wird.<\/p>\n\n

      Sie haben den Standard definiert, und nun ist es an der Zeit zu pr\u00fcfen, inwieweit die aktuellen Daten mit diesem \u00fcbereinstimmen. Im Folgenden werden einige Techniken erl\u00e4utert, mit denen Datenwerte auf Standardisierungsfehler gepr\u00fcft und ein Standardisierungsbericht erstellt werden kann, der zur Behebung der Probleme verwendet werden kann.<\/p>\n\n

      a. Parsing von Datens\u00e4tzen und Attributen<\/h4>\n\n

      Der Entwurf eines Datenmodells ist der wichtigste Teil der Datenverwaltung. Doch leider entwerfen viele Unternehmen nicht rechtzeitig Datenmodelle und legen gemeinsame Datenstandards fest, oder die von ihnen verwendeten Anwendungen verf\u00fcgen nicht \u00fcber anpassbare Datenmodelle, was dazu f\u00fchrt, dass sie Daten mit unterschiedlichen Feldnamen und Strukturen erfassen.<\/p>\n\n

      Wenn Sie Informationen aus verschiedenen Systemen abfragen, stellen Sie vielleicht fest, dass einige Datens\u00e4tze den Namen eines Kunden als ein einziges Feld zur\u00fcckgeben, w\u00e4hrend andere drei oder sogar vier Felder f\u00fcr den Namen eines Kunden zur\u00fcckgeben. Aus diesem Grund m\u00fcssen Sie, bevor ein Datensatz auf Fehler gepr\u00fcft werden kann, zun\u00e4chst die Datens\u00e4tze und Felder analysieren, um die Komponenten zu ermitteln, die auf Standardisierung gepr\u00fcft werden m\u00fcssen.<\/p>\n\n

      b. Bericht zum Geb\u00e4udedatenprofil<\/h4>\n\n

      Der n\u00e4chste Schritt besteht darin, die geparsten Komponenten durch ein Profiling-System laufen zu lassen. Ein Datenprofilierungstool<\/a> liefert verschiedene Statistiken \u00fcber Datenattribute, wie z. B.<\/p>\n\n