Kombinieren Sie Datentransformationen

 

Arbeiten Sie mit bestehenden Anwendungen und beschleunigen Sie diese.

Wie transformieren Sie Ihre Daten heute?

 

ETL-Tools, Perl-Skripte, benutzerdefinierte Programme und SQL-Verfahren können langsam, kostspielig und/oder schwer zu warten sein. Komplexe GUIs und Codiersyntax erschweren die Spezifikation und die Laufzeiten leiden unter dem Gewicht großer Datenmengen.

Transformieren Sie große Datenmengen, ohne Ihre DB zu verwenden oder Ihre IT-Struktur zu verändern, z.B. ohne Hadoop, NoSQL oder eine ELT-Appliance?

 

Nutzen Sie mehrere CPUs und Kerne für große Aufträge, führen Sie mehrere Aufgaben im selben I/O aus und weisen Sie dynamisch Ressourcen zu, um die Leistung zu optimieren?

 

Verstehen, teilen und ändern Sie Ihre Daten und Arbeitsdefinitionen einfach und ohne große Lernkurve?

 

Das SortCL-Programm innerhalb des IRI CoSort Pakets und der IRI Voracity Plattform ist ein langjährig bewährtes (und jetzt Eclipse-unterstütztes) 4GL, das die Datentransformation in den weltweit größten Data Warehouses, operativen Datenspeichern, Kernbankanwendungen, Clickstream-Daten-Webhouses und mehr übernimmt.

NEU:

Voracity-Benutzer können auch die gleichen Transformationen, die in SortCL-Aufträgen definiert sind, nahtlos in Hadoop MapReduce, Spark, Spark Stream, Storm und Tez über die IRI Workbench GUI ausführen.

Konsolidieren Sie die Aufgaben

Optimieren Sie ETL-Operationen indem Sie Sortierungen, Joins und Aggregate in einem einzigen Job-Skript, einer Partition und einem I/O-Pass kombinieren. Gleichzeitig ist de-duplizieren und filtern, konvertieren und re-mapen, nachschlagen, rangieren, (de-)normalisieren, berechnen, verschieben, verschlüsseln, schützen und maskieren möglich.

Transformieren Sie große Datenmengen in vielen verschiedenen Tabellen- und Dateiquellen gemeinsam. Entdecken, definieren und präsentieren Sie Ihre Daten- und Manipulationsdefinitionen in einfachen Textdatei-Metadaten-Repositorys, die Sie in der kostenlosen und auf Eclipse basierenden IRI Workbench GUI verwalten können. Verwenden Sie benannte Felder für die Zuordnungen:

Zuordnung von Quellen zu Zielen

Reduzieren Sie Skriptgrößen und Erstellungszeiten.

Erleichterung des Reorg- und ETL-Betriebs

Produzieren von Load- und File-Compare-Metadaten

 

Erweitern Sie die Möglichkeiten

Machen Sie weiterhin die Transformationen, die langsamere und komplexere SQL-Prozeduren oder ETL-Tools durchführen:

    Änderungsdatenerfassung
    Rotation der Zeilenspalte (pivot/unpivot)
    Sich langsam ändernde Dimensionsberichterstattung
    Stern- (oder Schneeflocken-) Schema, das auf das Ziel ausgerichtet ist.
    Statische, strukturierte, laufende und Aggregate
    Diskrete und operative Werte-Lookups
    Format Massen- und andere Werteänderungen
    Datenbereinigung
    Datenschutz (Maskierung, Verschlüsselung, Pseudonymisierung, etc.)

Erstellen Sie benutzerdefinierte Berichte und übergeben Sie vorverarbeitete Teilmengen an die Dateien, Tabellen und Verbundansichten, die Ihre Anwendungen, Data Marts und BI-Benutzer sofort nutzen können.

Verwenden Sie vorhandene Metadaten

SortCL und verwandte Einrichtungen im CoSort-Paket akzeptieren viele Datenlayouts von Drittanbietern, z.B. DB DDL, COBOL Copybooks, CSV-, LDIF- und XML-Dateien, CLF- und ELF-Weblogs und SQL*Loader Control File-Metadaten. SortCL-Jobskripte enthalten SQL-vertraute Befehle, die die Layouts verwenden und/oder referenzieren. Seine GUI erkennt und generiert diese Layouts automatisch.

Sie interagieren & beschleunigen

SortCL-Transformationen arbeiten Hand in Hand mit Datenextraktions- und Ladeprogrammen. SortCL kann Piped-Daten von IRI FACT (Fast Extract) übernehmen und in Datenbank-Ladeprogramme wie SQL*Loader vorsortieren. SortCL kann sich auch über ODBC mit anderen Datenbanken und Excel verbinden, um Daten zu erfassen und zu liefern.

SortCL-Transformationen können zusammen mit ETL-Tools wie Informatica und DataStage ausgeführt werden, um deren Leistung zu optimieren. SortCL-Aufträge werden auf der Befehlszeile in Batch-Skripten, aus 3GL-Programmen, über API-Aufrufe oder in der IRI Workbench GUI, die auf Eclipse™ basiert, ausgeführt. Integrieren Sie diese Transformationen einfach um Ihre Anwendungen zu beschleunigen.

SortCL nutzt die granulare Geschwindigkeitsanpassung von CoSort und die flexible CPU-Lizenzierung. Die kontinuierliche Innovation von IRI in den Bereichen parallele Datenbewegung, I/O- und Speicherverwaltung, Datenmanipulationsfunktionen und -konsolidierung sowie unsere sinnvollen Industriepartnerschaften halten Sie an der Spitze der Big-Data-Transformation.