Beschleunigen oder verlassen Sie DataStage


Schnellere Transformationen. Einfachere Sicherheit. Enorme Einsparungen.

Überblick
DataStage
ETI*Lösung
Informatica
OWB & ODI
Pentaho
Talend
Andere

Herausforderungen

 

Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.

 

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

 

Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.

Lösungen

Beschleunigen Sie Sortierungen, Joins und Aggregationen in DataStage mit einer One-Pass-Operation durch den Aufruf von CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an.

Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.

Daten, die in Tabellen und Flat Files in DataStage gespeichert sind, können sensibel sein und personenbezogene Informationen enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterworfen sind. SortCL, das in CoSort lizenziert ist - oder über kompatible IRI FieldShield-Datenmaskierungsprodukte oder IRI Voracity-Datenmanagement- (und ETL-) Plattformoperationen - kann Spalten-/Feldwerte in jeder ODBC-verbundenen Datenbank oder eigenständigen Flat-File-Quelle schützen.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen. Voracity beinhaltet auch Datenbank-Subsetting und Maskierung für das Testen in niedrigeren Umgebungen.

Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager (Analytix DS) oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.

Blog Links

Other Resources