Einführung von Big Data Automation - BDA Teil 2

Eine der wichtigsten Erkenntnisse im Zusammenhang mit Big Data Automation (BDA) ist, dass menschliches Talent in IT-Organisationen knapp ist. Dadurch müssen Prioritäten gesetzt werden, welche internen und externen Kunden der Organisation am wertvollsten wahrgenommen werden und für welche neue Werte geschaffen werden.

Schwierig ist das vor allem, wenn IT-Teams ihre meiste Zeit mit intern ausgerichteten Routineaufgaben verbringen (meist für nach außen unsichtbare interne Geschäftskunden), von denen viele entweder automatisiert werden können (sodass keine menschliche Arbeit benötigt wird) oder beschleunigt werden können (so dass weniger menschliche Arbeitskraft aufgewendet wird).

Dem zu Folge lautet die wichtigste Regel der Big Data Automation: Setzen Sie menschliches Talent dort ein, wo es den vom Kunden wahrgenommenen Wert erhöht.

Automatisierte Datenintegration

Die Automatisierung von Big Data setzt muss strategisch präsent sein und geplant eingeführt werden. Vorausgesetzt wird für eine erfolgreiche Big Data Automation ein Verständnis für:

• die entscheidende Rolle, die Big Data und die damit verbundenen Technologien in der Infrastruktur vieler Unternehmen spielen und künftigen spielen werden.
• die Arbeit, die in das Integrieren, richtig Konfigurieren und Code schreiben der Big Data Technologie fließt und ein Eingeständnis, dass diese komplexen Aufgaben viel manuelle Arbeit erfordern.
• den Druck des Marktes, der Unternehmen in Zukunft dazu zwingen wird, logische Data Warehouse Architekturen und eine komplexe, hybride Infrastruktur zu betreiben. All die Data Warehouses, Data Marts, zweckgebundene Datenanwendungen und Datenpools müssen zusammenarbeiten, um eine effiziente Daten-Umgebung zu schaffen.

Um die Umstellung auf Big Data und fortschrittliche Analysen zu meistern, müssen Unternehmen ihre besten und einfallsreichsten Experten für datengesteuerte Entscheidungsfindung einsetzen. Auch in der IT-Abteilung müssen die Ressourcen umgeschichtet werden, um eine noch schnellere und gründlichere Automatisierung der Data Warehouse Aufgaben zu erreichen und eine integrierte Automatisierungsplattform zu schaffen.

Integrierte BDA-Plattform

Eine integrierte Big-Data-Automatisierungsplattform umfasst mindestens Folgendes:

• Mechanismen für die Verwaltung aller Metadaten, die mit dem Big-Data-"Datenpool" verbunden sind. Diese beinhalten Informationen dazu, wo sich die Datensätze befinden, wie sie in den Pool gelangt sind, in welche datentechnischen Abläufe sie eingebunden sind, für welche Arten von Algorithmen und Entscheidungsfindungsprozessen die Datensätze geeignet (und ungeeignet) sind, welche Arten von Governance-, Regulierungs- und Compliance-Beschränkungen (GRC) mit den Datensätzen verbunden sind, und so weiter. Dies ist ein Technologiebereich, der heute in generischen Open-Source-basierten Big-Data-Distributionen völlig fehlt.
• Mechanismen zum Ausdrücken, Verwalten, Versionieren, Ausführen und Überwachen von Daten-Engineering-Arbeitsströmen.
• Mechanismen zum Ausdrücken, Verwalten, Versionieren, Ausführen und Überwachen des Einsatzes von Modellen und Algorithmen und der Nutzung von Daten aus dem Datenpool und aus Data Warehouses und Data Marts über Industriestandards wie Predictive Modeling Markup Language (PMML).
• Mechanismen zur Orchestrierung von Datenflüssen, die die logische Grenze zwischen dem Datenpool und dem Data Warehouse überschreiten, unabhängig davon, wo diese Ströme ihren Ursprung oder ihr Ende haben, oder wie oft sie diese logische Grenze überschreiten.

Die relativ sauberen, relativ gut dokumentierten, relativ stabilen Umgebungen, die wir bei der konventionellen Data Warehouses genossen haben, sind in der Big Data-Welt weitgehend nicht vorhanden. Man kann schließlich nicht feststellen, woher bestimmte Daten im Datenpool stammen, geschweige denn, ob diese Daten korrekt oder für bestimmte analytische Zwecke sicher sind. Wir können nicht ohne großen Aufwand feststellen, welche Prozesse und Gruppen einen bestimmten Datensatz für welche Zwecke nutzen oder welche Auswirkungen oder Änderungen der Verlust dieses Datensatzes auf die Entscheidungsfähigkeit des Unternehmens haben würden.

Der Übergang zur Big-Data-Automatisierung

Zu den Schlüsselfaktoren für einen erfolgreichen Übergang von handwerklichen Big Data-Pilotprojekten zur Big Data-Automatisierung auf Produktionsniveau gehören:

• die sorgfältige Auswahl der anfänglichen Projektziele.
• die Verbreitung von Erfolgen innerhalb der IT und innerhalb des Unternehmens durch bewusste interne Kommunikation, Interaktion und Zusammenarbeit.
• die Erweiterung und Vertiefung der Anwendung von BDA-Methoden und -Werkzeugen innerhalb der IT-Organisation, und zwar konsequent und über einen längeren Zeitraum.

Erfolgreiche Verhaltensweisen von Big Data Automation-Teams

Erfolgreiche BDA-Teams weisen in ihrer Interaktion mit ihren internen Kunden bestimmte grundlegende gemeinsame Verhaltensweisen auf:

• Unterversprechen und Übererfüllung: Erfolgreiche BDA-Teams setzen bei ihren Kunden im Unternehmen Erwartungen, von denen sie wissen, dass sie sie übertreffen können, und kommunizieren kontinuierlich mit den Beteiligten im Unternehmen über diese Erwartungen.
• Kontinuierliche Einbindung: Erfolgreiche BDA-Teams nutzen ihre Big Data-Automatisierungsmethoden und -Tools, um die Vordenker des Unternehmens in den Design- und Entwicklungsprozess einzubinden und ihnen frühzeitig und häufig zu zeigen, was möglich ist und wie Erfolg aussieht.
• Dokumentation und Kommunikation: Erfolgreiche BDA-Teams führen gründliche Projektnachbesprechungen mit ihren Geschäftskunden durch, in denen nicht nur der gelieferte Wert, sondern auch die Zeit bis zur Wertschöpfung und die Rolle der Big Data-Automatisierung der IT-Organisation bei der Schaffung des vom Kunden wahrgenommenen Wertes hervorgehoben (und nachgewiesen) wird.

Automatisierung ist der richtige Weg

Big Data-Technologien werden zu einem immer wichtigeren Bestandteil der Umgebungen für die Entscheidungsunterstützung in Unternehmen - sei es als Staging-Area, Data-Engineering-Umgebung, Sandbox für Data Scientists und fortgeschrittene Analyseprojekte oder als Datenmanagement-Plattform.

Um aus dieser gesamten Infrastruktur Big Data Automation zu schaffen, benötigen Sie Experten, die mit all diesen Bestandteilen vertraut sind. Wir bei dataformers sind gerne Ihr Ansprechpartner für alle Fragen rund um Big Data Automatisierung und Data Warehouse Automatisierung.

Kontaktieren Sie uns gerne und vereinbaren Sie ein unverbindliches Gespräch.

Noch mehr Informationen zu Big Data Automation erhalten Sie hier.