Bausteine ​​für Echtzeitanalysen in einer Hybrid Cloud-Umgebung

Klicken Sie hier, um mehr über den Autor Mahendraprabu Sundarraj zu erfahren.

Im letzten Jahrzehnt wurden Echtzeitanalysen dank Fortschritten wie Big Data, verteilter Datenverarbeitung und einfach skalierbarer Cloud in zahlreichen Branchen Realität Infrastruktur.

Während E-Commerce- und Tech-Unternehmen aufgrund ihrer Fähigkeit, den größten Teil ihrer IT-Infrastruktur in der Cloud zu halten, weiterhin schneller als jede andere Branche von den Vorteilen der Echtzeitanalyse profitieren, stehen Unternehmen der industriellen Fertigung weiterhin vor der Herausforderung, echte Anforderungen zu erfüllen Analytics-Reife. Eine typische Fabrik muss über On-Premise-Systeme wie MES (Manufacturing Execution System) und Edge-Device-Anwendungen verfügen, um hohe Verfügbarkeits- und Datensicherheitsanforderungen zu erfüllen. Daher wird die Hybrid Cloud (On-Premise + Cloud) allgemein als Referenzarchitektur für intelligente Fabriken akzeptiert. Aus diesem Grund bieten alle Cloud-Anbieter wie AWS, Azure und Google Cloud IoT-basierte Cloudlet-Lösungen an, um Daten von lokalen IT-Anwendungen in die Cloud zu übertragen.

In einer Hybridwolke legen Daten eine größere Entfernung zurück als in einer
Cloud-native Infrastruktur, die die gesamte Systemlatenz in Echtzeit erhöht
Analytics-Anwendungen. Die wichtigsten Herausforderungen in der Hybrid Cloud sind Echtzeit zu erreichen
Analytics kann in drei Kategorien eingeteilt werden:

• Netzwerkgeschwindigkeit: Netzwerk
  Die Bandbreite bestimmt, wie schnell die Daten von der lokalen Kante übertragen werden
  Gerät zu Cloud. In einem globalen Fertigungsunternehmen müssen die Daten häufig übertragen werden
  von einem Kontinent zum anderen, auch wenn in der Nähe eine Wolkenregion verfügbar ist
  zu einer bestimmten Fabrik. Die Vorteile des Streaming von Infrastruktur- oder In-Memory-Daten
  Verarbeitungsplattformen sind begrenzt, wenn Daten große Entfernungen zurücklegen müssen.
• Rechenleistung .
  Um die Rechenleistung des lokalen Rechenzentrums zu erhöhen, sind erhebliche Investitionen erforderlich
  und Zeit. Wenn eine intelligente Fabrik die Produktion steigert, wächst das Datenvolumen und der Bedarf
  Auch die Rechenleistung der lokalen Infrastruktur steigt. Wenn Sie rechnen
  Die Leistung wird nicht kontinuierlich gesteigert, sondern die Echtzeitanalyse wird weiterhin eine wichtige Rolle spielen
  Traum.
• Verfügbarkeit .
  Die meisten Edge-Gerätedaten müssen vor der Erstellung der Datei sorgfältig vorbereitet werden
  Daten verfügbar, um nützliche Muster zu analysieren und zu finden. Somit auch Datenaufbereitung
  Erhöht die Systemlatenz zusätzlich zu den oben genannten Herausforderungen.

Nachfolgend sind die Bausteine ​​für die Erstellung von Echtzeitdaten aufgeführt
Analytics in einer Hybrid-Cloud-Umgebung. Diese Bausteine ​​beseitigen oder
Reduzieren Sie die Auswirkungen der oben genannten Herausforderungen.

Vorbereiten
quellnahe Daten. Datenaufbereitung ist besser gemacht
in der Nähe der Datenquelle. Typische Edge-Geräte in einer Smart Factory
Daten in Form einer kleinen Datentasche in festgelegten Zeitintervallen oder einer fortlaufenden erzeugen
Strom. In beiden Fällen werden die Daten in einem festen Zeitintervall konsolidiert und
Die Aufbereitung der Daten in lokalen Rechenzentren wird in erheblichem Maße dazu beitragen, die
Gesamtsystem Latenz. Es könnte sich anhören, als würden wir eine weitere Charge einführen
Verarbeitungsschicht, die die gesamte Systemlatenz erhöhen könnte. Jedoch,
Aufbereiten der Daten in kleinen Stapeln und Übertragen in die Cloud entfällt
oder reduziert die Datenvorbereitung am zentralen Cloud-Datensee. Konsolidierung
Durch die Datenaufbereitung in der Cloud wird nicht nur die Systemlatenz erhöht, sondern auch
erhöht auch die Rechenkosten in der Cloud. Bitte beachten Sie, dass die Lagerung im Internet günstiger ist
Wolke aber nicht berechnen.

Format
Daten. Big Data-Dateisysteme und Cloud Data Lakes funktionieren
Effizient mit optimierten Datenformaten für Spalten. Im Rahmen der Daten
Vorbereitung in der Nähe der Quelle, kann jede Datentasche in eine Spalte umgewandelt werden
formatieren, bevor Sie in die Cloud übertragen werden. Optimierte Formate reduzieren die
Dateigröße um die Hälfte oder ein Viertel. Somit können die Daten in weniger übertragen werden
als die Hälfte der Zeit, die es normalerweise dauert.

Katalogdaten. Datenkataloge (Metadaten zu den in einem verteilten Cluster gespeicherten Daten) erleichtern das Abrufen von Daten erheblich. Es ist, als ob die Daten von einem einzelnen Knoten stammen. Wenn ein Großteil der Datenvorbereitung vor dem Eintreffen in die Cloud erfolgt, sind die Daten sofort für nachgelagerte Analyseanwendungen verfügbar, sobald die Daten den Cloud-Datensee erreichen. Datenkataloge vereinfachen den Datenabruf weiter und steigern die Effizienz von In-Memory-Datenverarbeitungssystemen.

Be
in der Lage, eine Vielzahl von Arbeitslasten zu bewältigen. Daten werden normalerweise verbraucht
in einer Vielzahl von Möglichkeiten – APIs, verteilte Abfrage-Engines, Visual Analytics-Anwendungen,
und maschinelles Lernen. Wenn die Daten auf mehrere Datenspeicherplattformen kopiert werden
Um diese Vielzahl von Workloads bewältigen zu können, wird die Latenz erhöht. Daten
Die Lagerung muss sorgfältig ausgewählt werden, um eine Vielzahl von Analysen durchführen zu können
Arbeitsbelastung.

Diese Bausteine ​​werden der Industrie helfen
Hersteller bauen in Echtzeit oder in der Nähe von Echtzeitanalysen
Anwendungen auch mit einer hybriden Cloud-Infrastruktur.

Der Beitrag Bausteine ​​für Echtzeitanalysen in einer Hybrid Cloud-Umgebung erschien zuerst auf Business Intelligence Online.

Weiterlesen: https://ift.tt/2Q1sYRy