JANE ETL – SMF Parser
Mainframe-Daten
Mainframe Logs kommen als komplexe und verschachtelte Binärdaten daher, die ohne passende Verarbeitungsanleitung nicht oder nur schwer nutzbar gemacht werden können. Für ihre Verarbeitung in JANE kommen spezialisierte SMF-Parser zum Einsatz, die auf die jeweilige Quelle abgestimmt sind.
JANE erkennt den Datentyp und stellt automatisch den passenden Parser für die Verarbeitung bereit.
Die Aufbereitung der Mainframe-Daten kann zyklisch – auch mehrfach täglich – stattfinden und dauert nur wenige Minuten. Das versetzt JANE in die Lage, die Daten in Neartime zu verarbeiten und für Auswertungen wie Performance- oder Fehleranalysen verfügbar zu machen.
Dadurch können unserer Kunden die Mainframe-Daten neben dem klassischen Reporting sogar als Grundlage für Monitoring-Instrumente wie Dashboards nutzen.
Mehr als 50 SMF-Datentypen in JANE verfügbar
Stand heute unterstützt JANE schon mehr als 50 Parser für SMF und weitere Standard-Datentypen. Unter anderem können DB2, CICS, MQ, TASK (SMF 30), WLM (SMF 72), IMS, IMF und viele mehr gelesen sowie relational verfügbar gemacht werden.
Die vollständige Liste aller unterstützter Datentypen finden Sie hier.
Realtime-Datafeeds
Auch die Verarbeitung von Realtime-Datafeeds ist mit JANE möglich. Hierzu können beispielsweise RMF-Daten direkt vom Distributed Data Server (DDS) gesammelt werden.
Dafür nutzt JANE die HTTP-API des DDS und kann so unter anderem die Performance-Daten des RMF Monitor III direkt verarbeiten.
Modulares Konzept
Die Parser sind das Herzstück bei der Datenaufbereitung mit JANE. Sie sind auf die Verarbeitung bestimmter Datentypen spezialisiert und können bei Bedarf flexibel erweitert werden, wenn zu Beispiel weitere Datensatztypen ausgewertet werden sollen. Mit jeder Integration weiterer Parser wachsen die Möglichkeiten für unsere Kunden, Mainframe-Daten für ihren Informationsbedarf nutzbar zu machen.
Performance
Um die Leistungsfähigkeit der JANE-Parser und des gesamten Systems zu verdeutlichen, sind in der folgenden Tabelle verarbeitete Datensätze sowie deren Laufzeit pro Tag aus einem realen Kundensystem dargestellt.
| Typ | Anzahl verarbeitete Records pro Tag * | Gesamtlaufzeit des Parsers |
| IMS | 55 Mio. | 233 Minuten |
| CICS | 82 Mio. | 346 Minuten |
| DB2 | 110 Mio. | 452 Minuten |
* Laufzeit abhängig von der eingesetzten Hardware und gewählter Konfiguration.