MENÜ
Hintergrundbild
Azure Batch Banner

Microsoft Azure Batch

Für skalierende Auftragsplanung und Verwaltung von Rechenleistung in der Cloud

Müssen Sie häufig umfangreiche Datenmengen verarbeiten? Diese Datenverarbeitung lässt sich automatisieren und parallelisieren? Dann ist Microsoft Azure Batch genau das Richtige für Sie. In diesem Artikel erfahren Sie, wie das funktioniert und wie Sie bei nicht zeitkritischen Aufgaben auch noch Geld sparen können.

Was ist Batchverarbeitung

Batchverarbeitung wird auf Deutsch auch Stapelverarbeitung genannt und beschreibt die Arbeitsweise von Computerprogrammen. Dabei wird eine bereitgestellte Menge an Aufgaben vollständig, automatisch und meist sequenziell für einen oder mehrere Datensätze durchgeführt.

Mit Microsoft Azure Batch können diese Aufgaben parallel von mehreren Rechnern gemeinsam abgearbeitet werden. Das führt zu einer deutlichen kürzeren Bearbeitungszeit und dass ohne eigene Hardware Ressourcen einzusetzen oder zu beschaffen.

Das funktioniert besonders gut mit leicht unterteilbaren Aufgaben, die so gleichzeitig auf mehreren Computern ausgeführt werden können.

Batch kann auch parallele Berechnungen mit abschließendem Reduzierungsschritt und komplexe HPC (High-Performance Computing) Aufgaben ausführen. High-Performance Computing ist computergestütztes Hochleistungsrechnen. Das Umfasst alle Rechenarbeiten, deren Bearbeitung eine hohe Rechenleistung oder Speicherkapazität benötigt.

Vorteile von Microsoft Azure Batch

Sind Aufgaben parallelisier- und automatisierbar, bietet Batch viele Vorteile:

  • Die Umgebung kann auf bis zu tausende von virtuellen Computern skaliert werden. So können auch umfangreiche Aufträge rasch abgearbeitet werden. (HPC)
  • Automatische Skalierung unabhängig von den Aufgaben in der Warteschlange möglich.
  • Die Applikationen müssen nur einmal in den zentralen Speicher hochgeladen werden. Die einzelnen virtuellen Computer holen sich die Applikation von dort, um sie zu installieren.
  • Zu bearbeitende Daten werden im zentralen Speicher aufbewahrt, auf den die virtuellen Computer zugreifen.
  • Geringe Kosten bei nicht zeitkritischen Aufgaben.
  • Nur bezahlen was wirklich genutzt wird – ohne große Investitionen.

Anwendungsfälle für Batch

Batch ist ein verwalteter Azure-Dienst für Batchverarbeitung. Dabei werden große Mengen ähnlicher Aufgaben ausgeführt, um das gewünschte Ergebnis zu erzielen. Batchcomputing wird am häufigsten von Unternehmen eingesetzt, die regelmäßig große Mengen an Daten verarbeiten, transformieren und analysieren.

Beispiele die häufig damit verarbeitet werden:

  • Risikomodellierung im Finanzbereich
  • Datenanalysen für die Bereiche Klima und Hydrologie
  • Bildrendering, -analyse und -verarbeitung
  • Mediencodierung und-transcodierung
  • Analyse genetischer Sequenzen
  • Belastungsanalysen für den Maschinenbau
  • Testen von Software

Beispiel für einen Batch-Workflow

Im folgenden Diagramm ist ein gängiger Batch-Workflow dargestellt, bei dem eine Clientanwendung oder ein gehosteter Dienst Batch zum Ausführen einer parallelen Arbeit verwendet.

  1. Eingabedateien und die Anwendung in das Azure Storage-Konto hochladen. Eingabedateien können alle Daten sein die von Ihrer Anwendung verarbeitet werden.
  2. Batch-Pool mit Computerknoten im Batch-Konto erstellen. Dabei folgenden Eigenschaften der virtuellen Computer bestimmen:
    - Knotengröße
    - Betriebssystem
    - Speicherort für zu installierende Anwendungen

    Für den Pool kann bei Bedarf eine automatische Skalierung konfiguriert werden. Dabei wird die Anzahl an Computerknoten im Pool dynamisch an den Arbeitsaufwand angepasst.

  3. Batch Auftrag erstellen um die Arbeit im Pool mit den Computerknoten auszuführen.
  4. Dem Auftrag Aufgaben zuordnen die der Batch-Dienst automatisch für die Ausführung auf den Computerknoten im Pool einplant.
    • Bevor eine Aufgabe Ausgeführt wird, können die zu verarbeitenden Daten auf den zugewiesenen Computerknoten heruntergeladen werden. Falls Anwendungen noch nicht auf den Knoten installiert wurden, können diese ebenfalls heruntergeladen werden.
  5. Während der Ausführung der Aufgaben können Sie über Batch den Fortschritt des Auftrags überwachen.
  6. Nach abgeschlossener Ausführung können die Ergebnisdaten in den Azure-Storage hochgeladen, oder direkt auf dem Computerknoten abgerufen werden.
  7. Nach Abschluss der Aufgaben können Ausgabedateien zur weiteren Verarbeitung oder Auswertung heruntergeladen werden.

Dieser Anwendungsfall verwendet nur einige der verfügbaren Features von Batch, ist jedoch am häufigsten. Der folgende praktische Anwendungsfall verwendet Batch genau auf diese Art.

Konkreter Anwendungsfall: Gesammelte Maschinendaten konvertieren. 

Maschinen sammeln inzwischen große Mengen an Daten, werden jedoch selten im richtigen Datenformat für anschließende Auswertungen gespeichert. Für diesen Umbau großer Datenmengen sind entweder umfangreiche Rechenressourcen im eigenen Unternehmen nötig, oder der Auftrag dauert monatelang.

Um diesen Datenumbau in einem aktuellen Kundenprojekt mit einem Maschinenhersteller aber rasch und unkompliziert umzusetzen, haben wir von dataformers einen Azure Batch-Dienst eingerichtet. Dieser funktioniert mit folgendem Batch-Workflow.

  1. Die zu konvertierenden Maschinendaten werden hochgeladen
  2. Der benötigten Computerressourcen (Batch-Pool) werden ausgewählt.
  3. Batch Auftrag erstellen
  4. Die nötigen Aufgaben für den Datenumbau programmieren und dem Auftrag zuordnen
  5. Fortschritt überwachen
  6. Umgebaute Daten vom Azure-Storage herunterladen

So konnten wir auch umfangreiche Aufgaben (in diesem Projekt etwa drei Terabyte) in kurzer Zeit abarbeiten. An externen Kosten fällt nur die konkret benötigte Rechenleistung an. Bei nicht zeitkritischen Aufgaben erhält man zudem noch einen erheblichen Kostenvorteil. Mehr dazu unter dem Punkt „Azure Batch Preise“.

Microsoft Azure

Azure ist die Cloud-Computing-Plattform von Microsoft die sich in erster Linie an Softwareentwickler richtet. Azure ist dabei die einzige konsistente Hybrid Cloud auf dem Markt, mit der Apps entwickelt und auf verschiedensten Plattformen bereitgestellt werden können. Sie kann folgendermaßen genutzt werden:

  • Infrastructure as a Service (IaaS)
  • Platform as a Service (PaaS)
  • Software as a Service (SaaS)

Mehr dazu finden Sie HIER.

 

Datensicherheit

Um der allgemeinen Cloud Skepsis im deutschsprachigen Raum entgegenzuwirken, hat Microsoft das branchenweit einzigartige Versprechen gegeben, alle Daten uneingeschränkt zu schützen. Das spiegelt sich in folgenden Tätigkeiten wieder:

  • Microsoft Azure ist der erste Cloudanbieter, bei dem die die für Datenschutz zuständigen EU-Behörden die Verpflichtung zur Einhaltung der strikten EU-Datenschutzgesetze anerkannt haben.
  • Zudem hat Microsoft als erster großer Cloudanbieter den neuen internationalen Standard für Clouddatenschutz ISO 27018 umgesetzt.
  • Microsoft betreibt mehrere Rechenzentren in der EU
  • Microsoft Azure wurde außerdem nach einer strengen, unabhängigen Prüfung der Sicherheitslage die CSA STAR-Bescheinigung zuerkannt.

Azure Batch Preise

Das Azure Batch Konto ist kostenlos. Nur die verwendeten Azure Computerressourcen, sowie der Speicherplatz des Azure-Storage wird berechnet.

Virtuelle Computer mit niedriger Priorität können die Kosten Batch Anwendungen erheblich reduzieren. Details zu Preisinformationen für Microsoft Azure Batch finden Sie HIER.

Weitere Schritte
Haben Sie einen eigenen Anwendungsfall für Azure Batch? dataformers ist Microsoft Gold Partner und setzt Anforderung schnell und kompetent um.

 

Interesse? Wir unterhalten uns gerne mit Ihnen!
Neueste Beiträge
Gesichtserkennung mit Microsoft Face API
Ganz nach dem Motto: Zeig mir dein Gesicht – und die Maschine sagt dir wer du bist.
Es hat einen Hauch von Science-Fiction-Technologie, wenn ein Computer ein Gesicht erkennt und alle möglichen Merkmale wie Alter, Geschlecht, Emotionen, aber auch den Namen der Person ausgibt. Solche Möglichkeiten,... mehr dazu
Vergleich von Chatbot Plattformen und NLP
Eine umfangreiche Bestandsaufnahme der Technologien von Microsoft, Facebook und Google.
Chatbots werden immer beliebter, weil die Technik dahinter immer ausgereifter wird. So erleichtern Chatbot-Frameworks die Entwicklung von virtuellen Kommunikationspartnern, während mithilfe von Natural... mehr dazu
dataformers <3 KEBA
KEBA wird 50! Ein Nachbar gratuliert.
Seit mittlerweile 50 Jahren steht das Linzer Elektronikunternehmen KEBA für Erfolg durch Innovation, und das weltweit:Mit heute mehr als 1.100 Mitarbeitern – davon fast 800 im Linzer Gewerbepark Urfahr... mehr dazu