Hochgeschwindigkeits-Datentransformationen

 

Kombinieren Sie Aufgaben in Voracity oder beschleunigen Sie bestehende ETL-Jobs

Überblick
Aggregation
Querberechnungen
Benutzerdefinierte Transformationen
Formate/Schlüssel
Lookups
Match/Join
Pivot/Unpivot
Neuzuordnung/Neuformatierung
Scrubbing/Bereinigung
Select/Filtern
Sort/Merge
Substrings
Dateitypkonvertierung

Suchen Sie nach Tools zur Datentransformation?

 

ETL-Tools, Perl-Skripte, benutzerdefinierte Programme und SQL-Prozeduren können langsame, kostspielige und komplexe Datenumwandlungslösungen sein. Ungewohnte Benutzeroberflächen und Kodierung erschweren die Auftragsspezifikation, und die Laufzeiten leiden unter der Last großer Datenmengen. Können Sie das?

  • riesige Datenmengen umwandeln, ohne Ihre DB zu nutzen oder Ihre IT-Struktur zu ändern, z. B. ohne Hadoop, NoSQL oder eine ELT-Appliance?
  • mehrere CPUs und Kerne für große Aufgaben nutzen, mehrere Aufgaben in derselben E/A ausführen und Ressourcen dynamisch zuweisen, um die Leistung zu optimieren?
  • Ihre Daten und Auftragsdefinitionen ohne großen Lernaufwand verstehen, gemeinsam nutzen und ändern können?

 

Das 4GL SortCL-Programm innerhalb des IRI CoSort Pakets und der IRI Voracity Plattform ist eine seit langem bewährte (und visuell konfigurierbare) Big-Data-Transformations-Engine, die in den weltweit größten Data Warehouses, Betriebsdatenspeichern, Kernbankanwendungen, Clickstream-Daten-Webhouses, Data Lakes und anderen Anwendungen die Schwerstarbeit übernimmt.

Und wenn Sie Hadoop verwenden, können Sie viele der in SortCL-Aufträgen definierten Transformationen auch nahtlos in MapReduce, Spark, Spark Stream, Storm und Tez ausführen.

Optimieren Sie ETL-Vorgänge, indem Sie Sortierungen, Joins und Aggregate in einem einzigen Auftragsskript, einer Partition und einem E/A-Durchlauf kombinieren. Gleichzeitig können Sie Duplikate entfernen und filtern, konvertieren und neu zuordnen, nachschlagen, einordnen, (de-)normalisieren, berechnen, verschieben, verschlüsseln und schützen sowie maskieren und neu zuordnen.

Transformieren Sie große Datenmengen in vielen verschiedenen Tabellen- und Dateiquellen gemeinsam. Entdecken, definieren und präsentieren Sie Ihre Daten- und Manipulationsdefinitionen in einfachen Textdatei-Metadaten-Repositorys, die Sie in der kostenlosen und auf Eclipse basierenden IRI Workbench GUI verwalten können. Verwenden Sie benannte Felder für die Zuordnungen:

  • Zuordnung von Quellen zu Zielen
  • Verringerung der Skriptgröße und der Erstellungszeiten
  • Erleichterung von Reorg- und ETL-Vorgängen
  • Erstellung von Metadaten für das Laden und den Dateivergleich

Machen Sie weiterhin die Transformationen, die langsamere und komplexere SQL-Prozeduren oder ETL-Tools durchführen:

  • Änderungsdatenerfassung
  • Rotation der Zeilenspalte (pivot/unpivot)
  • Sich langsam ändernde Dimensionsberichterstattung
  • Stern- (oder Schneeflocken-) Schema, das auf das Ziel ausgerichtet ist.
  • Statische, strukturierte, laufende und Aggregate
  • Diskrete und operative Werte-Lookups
  • Format Massen- und andere Werteänderungen
  • Datenbereinigung
  • Datenschutz (Maskierung, Verschlüsselung, Pseudonymisierung, etc.)

Erstellen Sie benutzerdefinierte Berichte und übergeben Sie vorverarbeitete Teilmengen an die Dateien, Tabellen und Verbundansichten, die Ihre Anwendungen, Data Marts und BI-Benutzer sofort nutzen können.

SortCL und verwandte Einrichtungen im CoSort-Paket akzeptieren viele Datenlayouts von Drittanbietern, z.B. DB DDL, COBOL Copybooks, CSV-, LDIF- und XML-Dateien, CLF- und ELF-Weblogs und SQL*Loader Control File-Metadaten. SortCL-Jobskripte enthalten SQL-vertraute Befehle, die die Layouts verwenden und/oder referenzieren. Seine GUI erkennt und generiert diese Layouts automatisch.

SortCL-Transformationen arbeiten Hand in Hand mit Datenextraktions- und Ladedienstprogrammen. So kann SortCL beispielsweise VLDB-Daten, die von IRI FACT (Fast Extract) entladen wurden, flachlegen und vorsortiert in Datenbankladeprogramme wie SQL*Loader leiten. SortCL kann auch eine Verbindung zu anderen Dateien, Tabellen und Tabellenblättern vor Ort oder in der Cloud herstellen, um Daten zu erfassen und zu liefern.

SortCL-Transformationen können zusammen mit ETL-Tools wie Informatica und DataStage ausgeführt werden, um deren Leistung zu optimieren. SortCL-Jobs können über die Befehlszeile, in Batch-Skripten, aus 3GL-Programmen, über API-Aufrufe oder in der auf Eclipse™ basierenden IRI Workbench GUI ausgeführt werden. Sie können diese Transformationen einfach einbetten, um Ihre Anwendungen zu beschleunigen, so wie es Kalido, Terastream, General Dynamics und Minsait tun, um nur einige zu nennen.

SortCL nutzt die granulare Geschwindigkeitsanpassung von CoSort und die flexible CPU-Lizenzierung. Die kontinuierliche Innovation von IRI in den Bereichen parallele Datenbewegung, I/O- und Speicherverwaltung, Datenmanipulationsfunktionen und -konsolidierung sowie unsere sinnvollen Industriepartnerschaften halten Sie an der Spitze der Big-Data-Transformation.

Verwandte Lösungen

Produktlinks

Blog-Link

Produktbewertungen