Neu-Zuordnung / Reformatierung

 

Ändern von Feld- und Datensatzlayouts während der Transformation

Herausforderungen
 

Datentransformation, Umformatierung und Berichterstellung erfolgen oft in langsamen und getrennten Schritten: z.B. sortieren, dann verbinden oder aggregieren, dann in einer Flat-File anhalten die an einen Daten-Scrubbing-Prozess übergeben wird. Dann wird das Ergebnis dieser Prozesse in einem Data Mart, BI-Tool usw. geöffnet. Alle diese I/O-Pässe summieren sich.

 

Manchmal werden komplexe Sprachen wie Perl oder Python verwendet, um Daten neu zu erstellen. Sie können schwer zu programmieren oder im Laufe der Zeit zu warten sein und im hohen Volumen laufen sie zu langsam.

Lösungen

 

Das Datentransformationsprogramm SortCL im Datenmanipulationsprodukt IRI CoSort oder in der Datenmanagement-Plattform IRI Voracity bildet Daten mit Quellfeldnamen als symbolische Referenzen auf die Ausgabe ab. Auf diese Weise können Sie Daten im selben Job (und I/O) mit ETL- oder anderen Datenmigrationsoperationen formatieren, replizieren, berichten und sogar virtualisieren (zusammenführen). Hier finden Sie die unterstützten Datenquellen (und Ziele).

Insbesondere, wenn SortCL Felder mit fester oder variabler Position von der Eingabe auf die Ausgabe abbildet, kann es die Werte neu zuordnen (d.h. neu positionieren, neu dimensionieren, ausrichten, trim, pad) und typkonvertieren. Zusätzliche benutzerdefinierte Layoutoptionen beinhalten das Ändern von Layouts mit fester Position in variable (floating) Layouts und umgekehrt.

Hier sind einige andere Dinge, die Sie gleichzeitig tun können:

    Parsen, Entfernen oder Umschreiben von Header-Records auf der Ausgabe. Fügen Sie spezielle Formatierungszeichen und Umgebungsvariablen ein, einschließlich Markup Language-Befehlen für webfähige Berichte.

    Durchführen mathematischer Ausdrücke (Querberechnung) zwischen Felddaten oder auf zusammengeführten und/oder aggregierten Werten, um neue Detail- oder Summenberichtswerte abzuleiten und auszugeben.

    Erstellen Sie so viele Ausgabeziele und -formate, wie Sie benötigen, im gleichen Auftragsskript und I/O-Pass.
    Formatieren Sie Dateien von einem Typ zum anderen. Gehen Sie beispielsweise von einer COBOL-Indexdatei zu CSV und umgekehrt.

    Fügen Sie jedem sortierten Datensatz ein "Sequenzer"-Feld hinzu, damit Sie ihn anhand von Indexwerten in mehreren Tabellen oder Dateien vergleichen können.

    Füllen Sie Ziele direkt über ODBC, Pipes oder Prozeduren oder geben Sie ihnen Flat Files zum Laden oder zur weiteren Integration.