Beschleunigen Sie Ihr DI-Tool


Optimierung der Extraktion, Transformation und Ladeleistung

Herausforderungen

 

Die meisten ETL- und ELT-Tools sowie die von ihnen verwendeten Datenbankmodule können große Datenmengen nicht effizient transformieren ohne:

 

· eine teure Parallelverarbeitungs-Edition

· Entnahme von Datenbank- oder Systemressourcen von Dritten

· eine komplexe, schwer zu wartende Hadoop-Umgebung

· eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades

· das Problem auf eine noch teurere Datenbank zu übertragen

 

 Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die zu lange dauern können. Auch nachfolgende Aufgaben wie das Laden, Analysieren oder BI-Displays leiden. Und diese E-, T- und L-Schritte werden typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt.

Lösungen

Wenn Sie andere ETL- oder ELT-Software verwenden, können IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort - oder die IRI Voracity ETL- und Datenmanagement-Plattform, die sie unterstützt - innerhalb anderer ETL-Tools ausgeführt werden, die auf Unix-, Linux- oder Windows-Hardware laufen.

 

https://www.iri.com/assets/uploads/editor/graphics/Legacy-ETL-Acceleration.png

Operation

IRI Produkt

Ünterstützung

Vorteile

Extraktion

IRI FACT (Fast Extract)

Oracle, DB2, Sybase, MySQL, SQL Server, Altibase, Greenplum, Teradata, Tibero

Native DB-Treiber, paralleles Entladen, tragbare Flat-File-Ausgabedaten, einfache Jobskripte, einfach aufrufbar

Transformation

IRI CoSort oder IRI Voracity

DB-agnostisch, alle Flat Files, Informatica, DataStage und alle Aufrufe von 'system command'.

Multi-Threading, Aufgaben- und I/O-Konsolidierung, lokale und entfernte Ausführung in LUW-Dateisystemen oder Hadoop, sowie automatische Metadaten und Joberstellung.

Laden

CoSort 

Alle RDBMS-Lader, ODBC und JDBC

Streaming vorkoordinierter Daten nach E- oder T-Aufträgen zur Reduzierung der Ladezeit um bis zu 90%.

ETL & ELT

Voracity

Mehr als 125 alte und moderne kleine und große Datenquellen und Ziele.

Alle oben genannten in einer umfassenden Datenverwaltungsumgebung, die Datenerfassung, -integration, -migration, -steuerung und -analyse in Eclipse kombiniert.

 

Optimieren Sie Sortier-, Joint- und Aggregationstransformationen in Inormatica, DataStage, Talend, Pentaho, ODI und anderen Tools mit der SortCL-Engine im CoSort Produkt oder der Voracity-Plattform. Viele SortCL-Aufträge können auch nahtlos in Hadoop ausgeführt werden und werden mit anderen Tools auf API- oder Skriptebene aufgerufen, z.B. in Kalido, ETI, Software AG Natural, SAS und TeraStream.

Verwenden Sie die Metadaten und Workflows die Sie haben und rufen Sie die IRI-Software einfach von Ihrem Tool aus auf, um die Geschwindigkeit zu erhöhen und/oder Entladen, Datentransformationen und Operationen wie:

· Sortierungen

· Joins

· Aggregate

· Lookups

· Perl-kompatible reguläre Ausdrücke

· Datentyp- und Dateiformatkonvertierungen

· Feld-/Spaltenverschlüsselung und Maskierung

· Detail-, Delta- (CDC) und Summenberichte

· Pivoting von Zeilen und Spalten

· Slowly Changing Dimensions

· Generierung von Testdaten

Sie können IRI-Jobs auch von der Shell aus (als Batch-Ausführung oder ETL-Tool-Befehl) über API oder Eclipse GUI aufrufen und Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen lassen. In der GUI-Umgebung der IRI Workbench können Sie die einzelnen Job-Spezifikationen oder komplette ELT- oder ELT-Flüsse erstellen, die CoSort (und FACT) mit Ihren Quellen und Zielen verbinden.

Erwin (AnalytiX DS) und Meta Integration Model Bridge (MIMB) Software oder Dienste können auch Metadaten, die in gängigen ETL-Tools (wie Informatica's.xml und DataStage.dsx Repositories) definiert sind in gleichwertige Voracity-Daten- (und/oder Job-) Spezifikationen konvertieren, wenn Sie diese Mappings in Voracity umplatzieren möchten um Geld und Zeit zu sparen. Diese automatische Metadatenreplikation bewahrt Ihre bestehenden Designinvestitionen, erleichtert die Schaffung von Arbeitsplätzen und reduziert die Migrationskosten.