{"id":63218,"date":"2018-10-23T00:00:00","date_gmt":"2018-10-23T04:00:00","guid":{"rendered":"https:\/\/dataladder.com\/wie-datenqualitaet-eine-wichtige-herausforderung-bei-der-data-lake-ingestion-ist-und-was-sie-tun-koennen-damit-ihr-data-lake-projekt-ein-erfolg-wird\/"},"modified":"2022-05-09T06:58:17","modified_gmt":"2022-05-09T06:58:17","slug":"wie-datenqualitaet-eine-wichtige-herausforderung-bei-der-data-lake-ingestion-ist-und-was-sie-tun-koennen-damit-ihr-data-lake-projekt-ein-erfolg-wird","status":"publish","type":"post","link":"https:\/\/dataladder.com\/de\/wie-datenqualitaet-eine-wichtige-herausforderung-bei-der-data-lake-ingestion-ist-und-was-sie-tun-koennen-damit-ihr-data-lake-projekt-ein-erfolg-wird\/","title":{"rendered":"Wie Datenqualit\u00e4t eine wichtige Herausforderung bei der Data Lake-Ingestion ist und was Sie tun k\u00f6nnen, damit Ihr Data Lake-Projekt ein Erfolg wird"},"content":{"rendered":"

Data Lakes<\/a> wurden als L\u00f6sung f\u00fcr die Speicherung unstrukturierter Daten entwickelt – eine Alternative zur restriktiven Natur von Data Warehouses. Diese Erleichterung bringt jedoch eine Reihe einzigartiger Herausforderungen mit sich, die von den Unternehmen nur schwer zu bew\u00e4ltigen sind.<\/p>\n

Tats\u00e4chlich sind einige Herausforderungen des Data Lake so schwer zu bew\u00e4ltigen, dass Unternehmen die Idee, einen Data Lake zu unterhalten, aufgeben.<\/p>\n

F\u00fchrende Analystenfirmen geben schon seit einiger Zeit Ausfallraten<\/em> von 85 % f\u00fcr Data Lakes<\/em> an. (Teradata)<\/a><\/p><\/blockquote>\n

Worin bestehen diese besonderen Herausforderungen und gibt es eine M\u00f6glichkeit f\u00fcr Unternehmen, ihren Data Lake zu pflegen und den Zweck zu erf\u00fcllen, f\u00fcr den er konzipiert wurde?<\/p>\n

Lassen Sie uns mehr entdecken.<\/p>\n

Warum Data Lakes und nicht Data Warehouses? <\/strong><\/h2>\n

Eine Organisation auf Unternehmensebene ist mit mindestens 464 Anwendungen verbunden. Die Menge an Informationen, die von all diesen Anwendungen hereinstr\u00f6mt, muss irgendwo gespeichert werden. Wir sprechen \u00fcber alle Arten von strukturierten und halbstrukturierten Daten, die \u00fcber verschiedene Datenquellen gesammelt werden: mobile Anwendungen, Webanwendungen, Aktivit\u00e4tsprotokolle, Telefonprotokolle, soziale Medien und Hunderte anderer Quellen.<\/p>\n

Alle diese Daten zusammen bilden die Business Intelligence, die Unternehmen ben\u00f6tigen, um strategische Gesch\u00e4ftsentscheidungen zu treffen.<\/p>\n

Data Warehouses, die traditionellen Methoden zur Speicherung von Unternehmensdaten, erfordern eine Strukturierung der Daten. Sie k\u00f6nnen die Daten nicht in ein Data Warehouse einspeisen, ohne sie zu sortieren oder an der definierten Struktur auszurichten.<\/p>\n

Mit Data Lakes wurde diese Einschr\u00e4nkung \u00fcberwunden. Mit der Implementierung von Datenpipelines konnten alle Datenquellen in den See transportiert und dort aufbewahrt werden, bis das Unternehmen Daten f\u00fcr Analysen, Berichte und BI ben\u00f6tigte.<\/p>\n

Data Lakes l\u00f6sten zwar das Problem der Datenhaltung, stellten aber auch eine gro\u00dfe Herausforderung dar – die der Datenqualit\u00e4t. <\/strong><\/p>\n

Da die Daten einfach in das System eingespeist werden, scheint es f\u00fcr die Analysten keine M\u00f6glichkeit zu geben, die Datenqualit\u00e4t zu bestimmen. Eine Erstuntersuchung wurde nicht durchgef\u00fchrt. Dar\u00fcber hinaus ist die gr\u00f6\u00dfte Herausforderung angesichts der j\u00fcngsten Vorschriften der Datenschutz und die Einhaltung der Datenschutzbestimmungen. Ohne jemanden, der f\u00fcr die Qualit\u00e4t der Daten verantwortlich ist, sind Unternehmen beim Umgang mit Rohdaten aufgeschmissen.<\/p>\n

Erm\u00f6glicht die Aufnahme von Daten.<\/p>\n

Wie hilft Data Ingestion bei der Bew\u00e4ltigung von Data Lake-Herausforderungen? <\/strong><\/h2>\n

Die Dateneingabe ist die Schicht zwischen den Datenquellen und dem Data Lake selbst. Diese Schicht wurde eingef\u00fchrt, um auf Rohdaten aus Datenquellen zuzugreifen, sie zu optimieren und sie dann in den Data Lake<\/a> einzuspeisen.<\/p>\n

Dennoch ist es \u00fcberraschend zu sehen, dass die Dateneingabe erst im Nachhinein oder nach dem Einf\u00fcgen der Daten in den See erfolgt. Tats\u00e4chlich verpassen die meisten Unternehmen den Prozess der Datenaufnahme v\u00f6llig, da sie die Komplexit\u00e4t der \u00dcbertragung von Daten aus Datenquellen in den Data Lake untersch\u00e4tzen. Erst in einem kritischen Moment, in dem sie Daten ben\u00f6tigen, wird ihnen bewusst, dass sie vor einer gro\u00dfen Herausforderung stehen.<\/p>\n

Wenn man es genau betrachtet, besteht der Zweck eines Data Lake darin, Daten zu speichern, die sp\u00e4ter verwendet werden k\u00f6nnen, ohne sich um ihre Struktur zu k\u00fcmmern – aber das bedeutet nicht, dass sie buchst\u00e4blich in das System eingespeist werden, ohne sie zu bereinigen oder sicherzustellen, dass sie einen Mehrwert bieten.<\/p>\n

Wenn die Daten nicht verwaltet werden, wird der Datensee zu einem Datensumpf, in dem un\u00fcbersichtliche Daten in einem Repository liegen, die weder verwendet noch analysiert werden k\u00f6nnen. Dies widerspricht dem Zweck eines Data Lakes und ist somit die Hauptursache f\u00fcr das Scheitern der meisten Data-Lake-Projekte.<\/p>\n

Lassen Sie uns das wiederholen:<\/p>\n

Die \u00dcbernahme ist ein geplanter Prozess, der separat durchgef\u00fchrt werden muss, bevor die Daten in das System eingegeben werden. Dieser geplante Prozess muss das Ziel verfolgen, im Laufe der Zeit \u00fcber vollst\u00e4ndige, genaue und konsistente Daten zu verf\u00fcgen. <\/strong><\/p><\/blockquote>\n

Beachten Sie, dass die Datenaufnahme nicht gleichbedeutend ist mit der Perfektionierung der Rohdaten. Es erm\u00f6glicht einfach die Pflege einer grundlegenden Organisation, bei der Duplikate entfernt und unvollst\u00e4ndige oder ung\u00fcltige Informationen hervorgehoben werden, so dass jeder Datensatz sofort f\u00fcr eine Analyse zur Verf\u00fcgung steht.<\/p>\n

Funktionen zur Daten\u00fcbernahme <\/strong><\/h3>\n

Obwohl die meisten Data Lakes heute \u00fcber eine Dateneingabe verf\u00fcgen, werden wichtige Funktionen oft \u00fcbersehen. Hier sind drei wichtige Funktionen der Datenaufnahme, die implementiert werden m\u00fcssen, damit ein Data Lake \u00fcber brauchbare, wertvolle Daten verf\u00fcgt.<\/p>\n

    \n
  1. Der Prozess der Datenerfassung:<\/strong> Der Hauptzweck der Datenaufnahme besteht darin, Daten aus verschiedenen Quellen in verschiedenen Formaten – strukturiert, unstrukturiert, halbstrukturiert oder multistrukturiert – zu sammeln, sie in Form von Datenstr\u00f6men oder Stapeln verf\u00fcgbar zu machen und sie in den Data Lake zu \u00fcbertragen.<\/li>\n
  2. Der Filtrationsprozess: <\/strong>In dieser fr\u00fchen Phase des Datenlebenszyklus durchlaufen die Daten einen grundlegenden Filter- und Bereinigungsprozess, bei dem Parsing- und Deduplizierungsaktivit\u00e4ten durchgef\u00fchrt werden. Auch andere komplexe Vorg\u00e4nge wie das Erkennen und Entfernen ung\u00fcltiger oder ung\u00fcltiger Datenwerte k\u00f6nnen mit Skripten durchgef\u00fchrt werden.<\/li>\n
  3. Der Transportprozess: <\/strong>Der Transport der Daten in ihre jeweiligen Speicher innerhalb des Data Lake ist ein Prozess, der von der Klarheit der Routing-Regeln und den eingerichteten Automatisierungsverfahren abh\u00e4ngt.<\/li>\n<\/ol>\n

    Batch vs. Streaming Ingestion <\/strong><\/h3>\n

    Es gibt zwei Arten von Ingestionsmodellen, und beide h\u00e4ngen von den Anforderungen oder Erwartungen ab, die Unternehmen an ihre Daten stellen.<\/p>\n

    Stapelverarbeitung: <\/strong>Dies ist die h\u00e4ufigste Art der Datenaufnahme, bei der Gruppen von Quelldaten regelm\u00e4\u00dfig gesammelt und an das Zielsystem gesendet werden. Es k\u00f6nnte ein einfacher Zeitplan erstellt werden, in dem die Quelldaten nach einer logischen Reihenfolge oder bestimmten Bedingungen gruppiert werden. Die Stapelverarbeitung ist in der Regel durch Automatisierung einfacher zu handhaben und zudem ein kosteng\u00fcnstiges Modell.<\/p>\n

    Streaming: <\/strong>Hierbei handelt es sich um eine Echtzeitverarbeitung, die keine Gruppierung vorsieht. Die Daten werden geladen, sobald sie erscheinen und von der Ingestion-Schicht erkannt werden. Dies ist zwar ein teures und komplexeres Modell, aber f\u00fcr Unternehmen, die sofortige, kontinuierliche und aktualisierte Daten ben\u00f6tigen, funktioniert es gut.<\/p>\n

    Data Lake Ingestion-Herausforderungen <\/strong><\/h2>\n

    W\u00e4hrend die Datenaufnahme versucht, die Herausforderungen des Data Lake zu l\u00f6sen, ist sie nicht ohne eine Reihe von Herausforderungen. Bestimmte Schwierigkeiten k\u00f6nnen sich auf die Ingestion-Ebene auswirken, was wiederum die Leistung des Data Lake beeintr\u00e4chtigt.<\/p>\n

    Werfen wir einen Blick auf einige der wichtigsten Herausforderungen.<\/p>\n

    Schnelle Bew\u00e4ltigung der eingehenden Datenmenge <\/strong><\/h3>\n

    Die Datenmengen sind explodiert, und mit der zunehmenden Vernetzung und Integration des globalen \u00d6kosystems werden die Datenmengen exponentiell ansteigen. Au\u00dferdem entwickeln sich die Datenquellen selbst st\u00e4ndig weiter, was bedeutet, dass Data Lakes und Dateneingabeebenen robust genug sein m\u00fcssen, um diese Datenmenge und -vielfalt aufzunehmen. Diese Herausforderung ist noch schwieriger zu bew\u00e4ltigen, wenn Unternehmen einen Echtzeit-Dateningestionsprozess implementieren, der eine schnelle Aktualisierung und Ingestion der Daten erfordert.<\/p>\n

    Da es sich bei der Datenerfassung und den Data Lakes um relativ neue Technologien handelt, m\u00fcssen sie erst noch eine rasante Geschwindigkeit erreichen. Je nach Anwendung kann die Verarbeitung von Echtzeitdaten bis zu 10 Minuten f\u00fcr jede Aktualisierung dauern.<\/p>\n

    Erf\u00fcllung der neuen Richtlinien zur Dateneinhaltung <\/strong><\/h3>\n

    Die Einhaltung gesetzlicher Datenvorschriften in L\u00e4ndern rund um den Globus hat es f\u00fcr Unternehmen schwierig gemacht, ihre Daten entsprechend den gesetzlichen Vorschriften zu sortieren. Unternehmen m\u00fcssen die europ\u00e4ische Datenschutz-Grundverordnung (GDPR) sowie Dutzende anderer Compliance-Vorschriften in den USA einhalten. Daher m\u00fcssen die Daten auf der Ingestionsebene nach diesen Vorschriften sortiert werden, um sp\u00e4tere Probleme zu vermeiden. Dies erfordert eine ganzheitliche Planung der Dateneingabe.<\/p>\n

    Bereinigung von Daten f\u00fcr die Datenaufbereitung <\/strong><\/h3>\n

    Dies ist eine h\u00e4ufig \u00fcbersehene Herausforderung von Data Lakes. Irgendwie geht man davon aus, dass der Bereinigungsprozess nur dann stattfinden sollte, wenn die Daten f\u00fcr die Analyse ben\u00f6tigt werden. Dieser Ansatz f\u00fchrt nicht nur zu erheblichen Engp\u00e4ssen, sondern setzt das Unternehmen auch den beiden anderen oben genannten Herausforderungen des Datenschutzes und der Datensicherheit aus.<\/p>\n

    Das Bereinigen von Daten f\u00fcr die Datenaufbereitung<\/a> muss idealerweise beginnen, bevor die Daten in den See eingespeist werden. Die Durchf\u00fchrung der grundlegenden Bereinigung erspart es dem Datenteam, seine Zeit mit dem Versuch zu verschwenden, aus den Rohdaten einen Sinn zu machen. In diesem Stadium sollten die Rohdaten auf Duplikate, unvollst\u00e4ndige und ung\u00fcltige Felder usw. gefiltert werden. Danach k\u00f6nnen die Analysten weitere Anpassungen oder Optimierungen f\u00fcr den beabsichtigten Zweck vornehmen.<\/p>\n

    Datenqualit\u00e4t im Data Lake Ingestion <\/strong><\/h3>\n

    Ob in der Phase der Datenaufnahme oder der Datentransformation, eine Datenqualit\u00e4tsl\u00f6sung<\/a> ist erforderlich, um Daten zu verarbeiten, bevor sie f\u00fcr Analysen verwendet werden. Wenn wir \u00fcber Datenqualit\u00e4t sprechen, geht es in erster Linie um Folgendes:<\/p>\n