Neuzuordnung und Neuformatierung von Daten
Layouts und Berichte bei der Datentransformation ändern der Transformation
Datentransformation, Data Remapping, Datenumformatierung und Berichterstellung werden oft in langsamen, separaten Schritten durchgeführt: z. B. Sortieren, dann Zusammenführen oder Aggregieren, dann Übergabe einer flachen Datei an ein Datenqualitäts- oder Datenverarbeitungswerkzeug. Dann wird das Ergebnis dieser Prozesse in einem Data Mart, BI-Tool usw. geöffnet. All diese E/A-Durchläufe summieren sich.
Manchmal werden komplexe Sprachen wie Perl oder Python verwendet, um Daten umzuwandeln. Ihre Datenumwandlungstechnik ist möglicherweise schwer zu kodieren oder im Laufe der Zeit zu pflegen und läuft im Volumen zu langsam.
Lösungen
Das Datentransformationsprogramm SortCL im Datenmanipulationsprodukt IRI CoSort oder in der Datenmanagement-Plattform IRI Voracity (ETL)-Plattform ordnet Daten unter Verwendung von Quellspalten (Feldnamen) als symbolische Referenzen für die Zuordnung von Daten zur Ausgabe zu. In Kombination mit umfangreichen, integrierten Datenformatierungsfunktionen ermöglicht dieser Mapping-Durchgang auch die Neuformatierung, Replikation, Berichterstellung und sogar die Virtualisierung (Federation) von Daten.
Mit anderen Worten: Sie können Daten im selben einfachen Jobskript (und schnellen E/A-Durchlauf) mit ETL- oder anderen Datenmigrations-, Maskierungs-, Bereinigungs- und Verwirrungsoperationen neu formatieren und darüber berichten. Hier finden Sie alle unterstützten Datenquellen (und -ziele) und diesen Beispieljob in der IRI Workbench GUI, die auf Eclipse basiert:
Insbesondere kann SortCL beim Zuordnen von Feldern mit fester oder variabler Position von der Eingabe zur Ausgabe die Werte neu zuordnen (d. h. neu positionieren, neu skalieren, ausrichten, trimmen, auffüllen) und typkonvertieren. Zu den zusätzlichen benutzerdefinierten Layout-Optionen gehört das Ändern von Layouts mit fester Position in variable (gleitende) und umgekehrt.
Im Folgenden finden Sie einige Dinge, die IRI-Software-Benutzer gleichzeitig mit den Daten tun können, die sie neu zuordnen:
Transformieren: Filtern, Sortieren, Verknüpfen, Aggregieren, Nachschlagen, Cross-Calculate
Bereinigen: bereinigen, de-duplizieren, validieren, anreichern, standardisieren
Schützen: Verschlüsseln, Schwärzen, Pseudonymisieren oder anderweitiges Verschleiern, Anonymisieren oder De-Identifizieren von PII mithilfe von Maskierungsregeln
Parsen, Entfernen oder Umschreiben von Kopfzeilensätzen bei der Ausgabe. Einfügen von speziellen Formatierungszeichen und Umgebungsvariablen, einschließlich Markup Language-Befehlen für webfähige Berichte
Mathematische Ausdrücke (Kreuzberechnungen) zwischen Felddaten oder auf verbundenen und/oder aggregierten Werten durchführen, um neue Detail- oder Summenberichtswerte abzuleiten und auszugeben Erstellen Sie so viele Ausgabeziele und -formate, wie Sie benötigen, im selben Auftragsskript und E/A-Durchlauf Formatieren Sie Dateien von einem Typ in einen anderen um. Zum Beispiel von einer COBOL-Indexdatei zu CSV und umgekehrt Anhängen eines „Sequenzer“-Feldes an jeden sortierten Datensatz, so dass Sie Querverweise nach Indexwerten über mehrere Tabellen oder Dateien hinweg vornehmen können Befüllen Sie Ziele direkt über ODBC, Pipes oder Prozeduren, oder füttern Sie sie mit flachen Dateien zum Laden oder zur weiteren Integration
Verwandte Lösungen
