07 Feb 2018

Edge Analytics out of the Box

Edge Analytics Container für MICA

IBM und HARTING bündeln Technologien zur dezentralen Datenanalyse auf der MICA. IBM verpackt dafür zwei schlagkräftige Software-Lösungen in ein einen neuen Edge Analytics Container: Apache Edgent unterstützt bei der Verarbeitung von Datenströmen; mit IBM Informix steht eine speziell für Zeitreihen optimierte und besonders effiziente Datenbank bereit. Damit können große Datenmengen, wie sie häufig in IoT-Projekten anfallen, direkt im Shopfloor verarbeitet werden.

In der verarbeitenden Industrie zeichnet sich immer mehr ein Trend zur Verarbeitung von Produktionsdaten nahe an den Datenquellen ab. Diese Vor-Ort-Verarbeitung in der Fertigungshalle, auch als „Edge Analytics“ bezeichnet, ergänzt ganz hervorragend eine selektive, zentrale Speicherung dieser Daten zur Weiterverarbeitung on Premises oder in der Cloud. In bestimmten Einsatzszenarien können Edge Analytics Gateways wie die HARTING MICA auch als lokale „Micro Cloud“ im produktionsnahen Umfeld konfiguriert werden. Dadurch erhält der Kunde sowohl einen near-Realtime-Zugriff auf seine Daten als auch eine optimale Kontrolle über die Datenhoheit in seinem Produktionsumfeld.

Zentrale Anforderungen in diesem Kontext sind das Verarbeiten und Speichern von Datenströmen und Zeitreihen. Um dem Anwender die effiziente Entwicklung entsprechender Lösungen zu ermöglichen, finden sich die benötigten Werkzeuge nun vorkonfiguriert paketiert, nahtlos integriert im neuen Analytics Container:

  • Near-Realtime „im-Fluss“-Verarbeitung von Sensordaten durch den Einsatz von Apache Edgent
  • Lokale, optimierte Speicherung und Analyse von Sensor-, Geo- und JSON-Daten basierend auf IBM Informix
  • Optionale Realisierung von lokalen MICA Analytics Clustern („Manufacturing Cloud“) mit Hilfe von IBM Queryplex

Warum wurden gerade diese Technologien gebundelt und wie können sie im konkreten Projekt genutzt werden? Die folgenden Absätze bieten dazu einige ergänzende Informationen.

APACHE EDGENT FÜR DIE „IN-FLUSS“-VERARBEITUNG

Das vom IBM Streams Entwicklungsteam gestartete OpenSource Projekt „Apache Edgent“, erlaubt eine hoch performante und parallele Verarbeitung von Sensordaten auf der MICA. Dabei können diese Daten z.­B. über ein gleitendes Zeitfenster aggregiert werden, es können Filterbedingungen angewandt und/oder werteabhängige Aktionen ausgelöst werden. Edgent kann dabei auch leicht mit der IBM Informix Datenbank lokal auf der MICA verknüpft werden, um z.­B. einkommende Sensordaten mit Daten vom z.­B. dem Tag oder der Woche zuvor zu vergleichen.

Neben der Anbindung an Informix (via JDBC), kommt Edgent mit weiteren Konnektoren, um z.­B. eine direkte Anbindung an MQTT, Kafka, HTTP, Web Sockets, IBMs IoT Plattform usw. einfach zu realisieren.

IBM INFORMIX ALS SENSORDATEN HISTORIAN

Die hybride IoT/Industrie 4.0 Datenbank auf der HARTING MICA
Die hybride IoT/Industrie 4.0 Datenbank auf der HARTING MICA

IBM positioniert die Informix Datenbank besonders im Bereich IoT und Industrie 4.0, sowohl für den Einsatz im Bereich Edge Analytics, aber auch in der Cloud und On-Premises. Informix bietet als eine der wenigen relationalen SQL Datenbanken eine integrierte und optimierte Unterstützung von Zeitreihendaten (d.­h. Sensordaten).

 

Zeitreihendaten werden in Informix ähnlich wie ein Vektor abgelegt, so dass z.­B. die Messwerte für jeweils einen Sensor physikalisch zusammenliegen. Zusätzlich spart sich Informix bei der Speicherung von Sensordaten, die in regelmäßigen Abständen anfallen, die Speicherung der Zeitstempel, was eine deutliche Ersparnis beim belegten Speicherplatz bedeutet – ein entscheidender Vorteil beim Einsatz auf ressourcenbeschränkten Edge Devices wie der MICA. Nicht zuletzt bedeutet geringeres Datenvolumen auch schnellere Operationen auf diesen Daten. JSON formatierte Sensordaten können auch in einer Informix Zeitreihe abgelegt werden und dies ermöglicht eine sehr hohe Flexibilität beim Einbinden unterschiedlichster Sensoren ohne nachträgliche Änderung des Datenmodells.

Bei Bedarf kann Informix im Sinne einer Round-Robin Datenbank konfiguriert werden, so dass die Sensordaten automatisch nach einem frei konfigurierbaren Zeitrahmen (z.­B. 30 Tage) von der MICA gelöscht werden.

GROSSE DATENMENGEN SEHR SCHNELL IN DATENBANK ÜBERNEHMEN

Besonderer Wert wurde auch auf die schnelle Verarbeitung dieser Daten gelegt. Neben mehr als 100 vordefinierten SQL-Funktionen auf den Zeitreihendaten (z.­B. Aggregationsfunktionen, gleitende Mittelwertberechnungen, Mustererkennung, spatiotemporale Zeitreihendatenverarbeitung usw.), hat man die Möglichkeit, eigene Funktionen basierend auf einer C-Programmierschnittstelle im Datenbankserver direkt an den Daten auszuführen. Durch entsprechend optimierte Datenübernahme-Schnittstellen in Informix wird natürlich auch sichergestellt, dass die großen Datenmengen, wie sie z.­B. bei IoT-Projekten anfallen, sehr schnell in die Datenbank übernommen werden können.

Auch eine Verknüpfung mit Produkten zur Streams Verarbeitung (z.­B. mit Apache Edgent oder IBM Streams) ist leicht realisierbar und häufig in einem solchen Kontext notwendig. Da das grundlegende Datenmodell in Informix relational ist, lassen sich sehr leicht vorhandene Stammdaten mit den Sensordaten in Abfragen kombinieren, ohne dabei auf die Performance der Sensordaten verzichten zu müssen. Für Anwendungen, die nur auf klassisch relationale Tabellen zugreifen können, bietet Informix die Möglichkeit virtuelle Tabellensichten zu definieren, allerdings unter Beibehaltung der Informix Sensordaten Performance. Um die Anwendungsentwicklung im IoT Kontext zu erleichtern, bietet Informix eine Vielzahl von Schnittstellen wie z.­B. MongoDB, REST, MQTT, DRDA. JDBC, ODBC, .NET, SQL u.­a.

MIT IBM QUERYPLEX WIRD MICA ZUR MICRO CLOUD

IBM Queryplex ist eine innovative Technologie, die es erlaubt, mehrere MICAs zu einer Art Micro Cloud bzw. zu einem MICA Cluster zu verknüpfen. Ein Anwendungsfall kann dabei sein, eine ganzheitliche Sicht auf alle bereits auf den MICAs in Informix erfassten Sensordaten für komplexere Auswertungen zu erhalten, ohne dabei alle Daten vorher an einem zentralen Ort konsolidieren zu müssen. Eine weitere mögliche Anwendung ist, den MICA Cluster als Computing Cluster für komplexere Machine Learning Modelle zu nutzen.