Während vieler Kundenprojekte konnte der Converter einerseits seine praxistauglichkeit unter Beweis stellen, zum anderen sind zahlreiche Standardfunktionen im Rahmen dieser Projekte entstanden oder weiterentwickelt worden.

Durch sein modulares Plugin-Konzept bringt er viele im Alltag benötigte Funktionen bereits mit, ist aber auch offen für Erweiterungen, um neue Problemstellungen zu lösen.

Die Voraussetzungen für den Basis-Einsatz des Converters sind bewusst niedrig gehalten, die

Zum Betrieb reichen ein Linux-OS oder ein Docker-Container aus. Damit ist der Converter bereit für die Integration in moderne betriebliche Infrastrukturen.
Zusätzlich ist das Werkzeug für wirklich grosse Datenmengen konzipiert und optimiert.
Wenn für Sie Big Data nicht nur ein Buzzword ist, dann ist der Converter die richtige Software für Sie.

Der Converter ist Bestandteil der Software-suiten JANE und LARS aus dem Hause NextStride und erfüllt sowohl innerhalb des Unternehmens als auch bei dessen Kunden diverse Aufageben.

Die Funktionen

Die Funktionen

Der NextStride Converter bezieht seine Daten aus relationialen Daten-banksystemen, REST-Interfaces, Elastic Search oder csv-Files. Daten von REST-Quellen können in den Formaten XML, JSON oder csv gelesen werden.

Die Verarbeitung der jeweiligen Quellen übernehmen spezialisierte Handler, die den Umgang mit der Quelle bestens beherrschen.

Um die Quelldaten sinnvoll miteinander kombinieren zu können, bietet der Converter diverse Methoden an Input-Daten zu verarbeiten.

Diese Operationen machen auch vor Systemrenzen nicht halt, sondern sind in der Lage, mehrere unterschiedliche Quellsysteme miteinander zu kombinieren und zu verarbeiten. So werden aus Daten wertvolle Informationen.

Plugins übernehmen die Verarbeitung

Das Default-Plugin

Die Verarbeitung der Daten im NextStride Converter wird durch ein ausgeklügeltes Plugin-Konzept gesteuert. Je nach Verarbeitung kommen unterschiedliche Komponenten zum Einsatz, die sich nahezu beliebig miteinander kombinieren lassen.

 Das Default-Plugin ist das Herzstück der Verarbeitung. Es bietet unteranderem die Möglichkeit, JavaScript-Operationen auf Feldebene zu verwenden; JavaScript wegen seiner einfachen Handhabung und seines hohen Bekanntheitsgrades.

 Unter Zuhilfenahme des Formatmanagers können einfache oder verschachtelte Anreichungen von Strukturdaten, beispielsweise die Zuordnung von Servernamen zu Organisationsheiten, umgesetzt werden.

Ergänzend können hier auch Regular Expressions und Pattern-Matching zum Einsatz gebracht werden. Unserer Mainfame-Herkunft ist die Unterstützung von SAS geschuldet.

 Eine weitere Funktion des Default-Plugins ist der Repository-Manager, der die Anreicherung mit historischen Datenbeständen ermöglicht. Er sorgt dafür, dass die Anreichung ausschliesslich mit Daten geschieht, die zum Zeitpunkt der Entstehung gültig waren.

 Ebenfalls im Leistungsumfang des Default-Plugins befindet sich eine Funktion, um Zeitstempel zu harmonisieren. Diese ist immer dann nützlich, wenn die Bereitstellung von Timestamps aus unterschiedlichen Quellen in unterschiedlicher Genauigkeit passiert. In diesen Fällen können diese mittels Gruppierung oder Rundung in Einklang gebracht werden.

 Zum guten Schluss bietet das Default-plugin die Möglichkeit einer Filterfunktion, so dass unerwünschte Datensätze gar nicht erst zur Verarbeitung gelangen.

Weitere Plugins

Wenn die Funktionen des Default-Plugins nicht ausreichend sind, stehen spezialisierte Plugins zur Verfügung, die zur Lösung konkreter Aufgabenstellungen herangezogen werden können.

Wie funktioniert die Ablaufsteuerung?

Abläufe in NextStride Converter können entweder zeitgesteuert periodisch per Scheduler gestartet werden oder als dauerhafter Prozess laufen, der die Verarbeitung inkrementell mit Checkpoint-Handling durchführt.

Batch oder Datastream? Sie entscheiden.

Daten von verschiedenen Quellen können jedezeit, durch JOIN oder UNION Operationen, miteinander verknüft werden.

Die Behandlung von Zwischenergebnissen

(Zwischen-) Ergebnisse können in NextStride Converter jederzeit für die weitere Verarbeitung gespeichert werden. Als Ziele für die Persistierung der Egebnisse steht ein interner Datenspeicher zur Verfügung.

Die Weitergabe von Ergebnissen ist nicht nur auf einen Konsumenten beschränkt. Mittels Target-Handler können

(Teil-) Ergebnisse auch ohne vorherige Persistierung an mehrere Konsumenten parallel zur weiteren Verarbeitung weitergegeben werden.

… und wenn es einmal nicht funktioniert?

Fehlerfall

Abbrüche und Fehlersituation können während der Verabeitung aus vielerei Gründen auftreten. Korrupte oder unvollständige Files, eine nicht verfügbare Datenbankverbindung; die Liste lässt sich beliebig fortsetzen. Damit eine solche Situation beherrschbar bleibt und nicht zu erheblichen manuellen Bereinungsaktivitäten führt, beinhaltet der NextStride Converter ein ausgeklügeltes Restart-Verfahren und eine Duplicate-Key-Überachung, mit der geprüft werden kann, ob ein Datensatz bereits verarbeitet wurde.

So ist es möglich, Datenlücken zu schliessen, ohne ganze Bereiche vorgängig bereinigen zu müssen.

Was passiert mit den gewonnenen Informationen?

Nach Anreicherung und Transformation der Daten werden die gewonnenen Informationen üblicherweise für weitere Prozesse wie Reporting oder als Eingabedaten für nachgelagerte Verarbeitungsschritte bereitgestellt.

NextStride Converter unterstützt dabei folgende Senken:

 Relationale Datenbanksysteme mittels JDBC oder „local load Funktion“

• (Oracle, MySQL, PostGres, DB2, MSSQL,…)
• Elastic Search
• Cassandra (nicht-relationale cloudbasierte Datenbank)
• CSV, mittels File-Transfer auch direkt auf remote Systems übertragbar
  (FTP, FTPS, SFTP, CIFS…)

Wie lässt sich die Verarbeitung überwachen?

NextStride Converter kann die Verarbeitung überwachen und bei Auftreten definierter Ereignisse Alarme generieren. So ist zum Beispiel eine Alarmierung aufgrund von Schwellwertüberschreitungen denkbar.

Cockpit

Interessierte Anwender können sich in solchen Fällen per Email oder SNMP-Trap über das Ereignis informieren lassen. Die Benachrichtigungform ist dabei nicht nur auf die genannten Möglichkeiten beschränkt.

Auch Real-Time Alerting mit Web-Hooks wird unterstützt. So können automatisierte Reaktionen auf gemeldete Ereignisse implementiert werden.

Auch ausserhalb von Ausnahmesituationen kann es erforderlich sein, interessierte Konsumenten über den Fortschritt der Verbeitung zu informieren. Der Converter unterstützt dies zum Beispiel durch die Gerenerierung und den Versand von Emails.

Was kann der Scheduler?

Scheduler

Der integrierte Scheduler ermöglicht die Definition von Jobketten mit vordefinierten Bedingungen. Das bedeutet, dass ein Job erst seinen Dienst aufnimmt, wenn alle definierten Voraussetzungen erfüllt sind. So kann gewährleistet werden, dass die Daten aller Vorsysteme bereitstehen, bevor die eigentliche Verarbeitung begonnen wird.

Der Scheduler übernimmt das Jobmmanagement inklusive Altering im Fehlerfall. Zur weiteren Analyse und Kontrolle steht für jeden Job ein Task-Log zur Verfügung.

Für das Job-Operating wurde ein webbasierten GUI erstellt, dass die Arbeit des Opertings zielgerichtet führt und die Komplexität reduziert.

Anwendungsbeispiele

Im folgenden einige Beipiele, wie der NextStride Converter von unseren Kunden täglich eingesetzt wird.

• Eine Versicherung liest mittels Converter täglich Strukturdaten aus der hauseigenen Configuration Management Datenbank aus (CMDB) und stellt auf diese Weise zentral Stammdaten (zum Beispiel Verrechnungsinformationen) für weitere Verarbeitungsschritte bereit.
• Ein Kunde aus dem Bankenumfeld nutzt den Converter, um Daten aus einem Datawarehouse zu exportieren und zu importieren. Er ermöglicht einen einfachen Transport der Daten von A nach B.
• Bei diversen Kunden sind komplexe ETL-Abläufe mit verschachtelten JOINs mittels Converter umgesetzt worden.
• Ebenfalls bei einem Bankenkunden werden aus Performance-Gründen In-Memeory-Aggreationen von bis zu 250.000 Datensätzen pro Minute für ein Realtime-Dashboard im Converter durchgeführt.
• Einige Kunden nutzen den Converter, um SAP-Buchungsmappen zum Beispiel für Accounting-Aufgaben zu erstellen und automatisiert zur Verbuchung einzureichen.
• Das Operating eines Bankenkunden nutz die Alarmierungsfunktion des Converters, um SNMP-Traps zu generieren und so frühzeitig über Probleme informiert zu werden.
• Die Ergebnisse der Verabeitung des Converters werden inzwischen verstärkt zur Bewirtschaftung von Data-Lakes genutzt. Hier bedienen sich interessierte Anwender, um ihre eigenen Fragestellungen beantworten zu können.
• Auch zur Archivierung von Quelldaten kann der Converter genutzt werden.

Warum NextStride Converter?

Projekte müssen im Spannungsfeld von Kosten, Qualität und zeitlichen Vorgaben umgesetzt werden. Deshalb ist es wichtig zu wissen, worauf man sich verlassen kann. Im Folgenden gehen wir auf die Key-Features noch einmal ein:

NextStride Converter…

• bietet stabile automatisierte Aufbereitung und Verfügbarkeit von Informationen zu Abläufen und technischen Kennzahlen
• ist Restart-fähig und bietet Duplicate Checking
• erlaubt die Anbindung und Verarbeitung unterschiedlicher Quellen und Transformation der Daten
• ist geeignet um Legacy-Systeme in moderne Infrastrukturen zu integrieren
• unterstützt das einfache Management von ETL-Prozessen
• bietet Erweiterbarkeit durch ein modulares Plugin-Konzept (Source-Handler, Converter-Plugins und Target-Handler)
• bietet einfache Bedienbarkeit durch webbasiertes User Interface
• ist bereit für den Einsatz in Cloud-Umgebungen
• bietet ausgereifte und verlässliche Technologie mit starker Nutzung bei Kunden und führt zu
  hoher Kundenzufriedenheit!
• ist für BigData optimiert

Welche Bedingungen müssen erfüllt sein?

Damit NextStride Converter problemlos in Ihren Umgebungen eingesetzt werden kann, haben wir darauf geachtet, die Anforderungen so gering wie möglich zu halten:

Der Betrieb von NextStride Converter erfordert ledigilich ein Linux-OS oder Docker-Container,
eine Java-Runtime sowie die Verfügbakeit von Ressourcen in Abhängigkeit abhängig von der Datenmenge und genutzer Funktionen.

Beim Sizing unterstützen wir Sie gerne!

Schematische Darstellung