In jeder Branche ist es sinnvoll, Best Practices zu folgen. Data Warehouse Best Practices sind da... » weiterlesen
Die Schaffung einer qualitativ hochwertigen Datenressource war schon immer das Ziel von Data Warehousing. Und darum geht es auch bei der Automatisierung - nur schneller, besser und flexibler als herkömmliche Tools.
Mit Automatisierung können wir von dem alten Bedürfnis - oder der Notwendigkeit - der IT, alles zu kontrollieren, dazu übergehen, dass die Mitarbeiter die Daten in einem Umfang nutzen können, der für sie sinnvoll ist. Das Unternehmen definiert welche Daten benötigt werden und wie sie iterativ analysiert werden sollen, während die IT die Geschäftsanforderungen erfasst. Danach werden Daten konsolidiert, vermengt, bereinigt sowie für die Nutzung zertifiziert und erst dann können User darauf zugreifen.
Big Data Automation (BDA) ist:
- Teil einer größer werdenden Bewegung in der der Technologiebranche, die sich auf die automatisierte Datenintegration (ADI) sowohl für traditionelle Data Warehousing-Infrastruktur als auch neue Big Data-Infrastruktur spezialisiert.
- eine integrierte Plattform von Tools zur Automatisierung von IT-Routineaufgaben im Zusammenhang mit Entwurf, Aufbau, Betrieb und Änderung von Big Data-Infrastruktur und -Anwendungen, und zur Beschleunigung von Aufgaben, die nicht vollständig automatisiert werden können.
- eine neue Denkweise darüber, wie Big Data-Infrastrukturen und Anwendungen entwickelt werden, und in kommerziellen Umgebungen eingesetzt werden.
- eine Managementdisziplin mit Schwerpunkt auf Einfallsreichtum: Anwendung von IT-Talent und Innovation, um Werte zu schaffen, die von internen Kunden wahrgenommen und belohnt werden.
Logical Data Warehouse und Big Data Technologien
Das Logical Data Warehouse (LDW) ist eine neue Datenmanagement-Architektur für Analytics, die die Stärken von traditionellen Repository-Warehouses mit alternativen Datenmanagement und Zugriffsstrategie kombiniert. Dieses neue Architekturmodell vereint die Verarbeitung von traditionellen Daten aus transaktionalen Systemen mit den sogenannten „unstrukturierten“ Datensätzen, die von außen in das Unternehmen gelangen. Dazu gehören insbesondere Marktdaten, Daten aus sozialen Medien und eine große Menge von sensorbasierten Daten aus IoT-Anwendungen – insgesamt also Big Data.
Diese neue architektonische Vorlage wird von manchen das logischen Data Warehouse genannt, andere ähnliche Modelle werden als adaptives Daten-Ökosystem, hybrides Enterprise Data Warehousing usw. bezeichnet. Was aber alle diese Architekturmodelle gemeinsam haben, ist die Annahme, dass in Zukunft unternehmensweite Anwendungen zur Entscheidungsunterstützung eine hochgradig angepasste Mischung aus traditionellen Data Warehouses und Data Marts, sowie zweckgebundenen Data Warehousing Appliances und Big Data Technologien sein werden.
Vom Konzept her ist das logische Data Warehousing ein pragmatischer und sinnvoller Ansatz für die Entwicklung, den Aufbau und den Betrieb großer kommerzieller Entscheidungsunterstützungssysteme. Demgegenüber bieten Big Data Technologien Unternehmen attraktive, kostengünstige Alternativen zu herkömmlichen Daten Staging- und ETL-Verarbeitungsumgebungen, und bieten zudem Möglichkeiten zur Verarbeitung von Streaming-Daten, zur Durchführung komplexer statistischer Analysen und für maschinelles Lernen. Aus diesem Grund ist die Kombination der beiden Ökosysteme, einschließlich proprietärer Data Warehousing Anwendungen, die sinnvollste Lösung für die Entwicklung und Implementierung von Systemen zur Entscheidungsunterstützung in Zusammenhang mit Big Data.
Herausforderung von Big Data Technologien
Die Einführung von Big Data Technologien wirft jedoch Herausforderungen auf für Organisationen, die die Weisheit der Data Warehouse Automation und der Automatisierung von Datenlagern (DWA) erkannt haben.
Big Data Technologien sind oft vollständig handwerklich: Technologien, für und von Menschen, die alles von Hand programmieren und konfigurieren, alles manuell überprüfen. Keine Governance-Mechanismen. Keine Metadatenverwaltung. Keine Konfiguration und Änderungskontrolle. Keine Sicherheitsinfrastruktur. Dadurch wird verhindert, dass Unternehmen rechtzeitig auf die allgegenwärtige Nachfrage der Enduser reagieren können.
Was ist also zu tun?
dataformers glaubt, dass es für Unternehmen unerlässlich ist Big Data Automatisierung und Data Warehouse Automatisierung gleichzeitig zu verfolgen. Eine Automatisierung von Design, Entwicklung, Bereitstellung und Renovierung des gesamten logischen Data Warehouse, um in einer Zeit des architektonischen Wandels und des rasant steigenden Nutzerbedarfs mithalten zu können.
Kontaktieren Sie uns gerne für die gesamtheitliche Begleitung Ihres Big Data und Data Warehouse Projekts.
Hier finden Sie noch mehr Infos:
