Optimierung der OWB- und ODI-Leistung


Beschleunigung von Oracle-Entladungen, -Ladungen und -Transformationen

Herausforderungen

 

Die Oracle DataPump- und Exportwerkzeuge können Daten aus Oracle entladen, aber nicht viel mehr. Die Geschwindigkeit der Datenerfassung aus anderen Quellen kann unzureichend sein.

 
Transformationen in einer einzigen Datenbank sind ineffizient. Große Aufträge verbrauchen Datenbankressourcen und können die Abfrageleistung beeinträchtigen. OWB- und ODI-Datenmappings können komplex sein und können SQL-Prozeduren zur Änderung erfordern.

 
Oracle erkennt an, dass "Flat-Files häufig für die einfache und leistungsstarke Datenbewegung in ETL-Anwendungen verwendet werden". Oracle ist jedoch kein Spezialist für die Bewegung oder Sortierung von Flat-File-Daten und kann daher Massenladungen allein nicht beschleunigen.

 
Abgesehen von Leistungs- und Funktionsbedenken kann die ODI-Preisgestaltung unerschwinglich sein, insbesondere im Vergleich zu moderneren, agilen Data-Warehousing-Plattformen von Anbietern, die mehr Datenquellen unterstützen und mehr Datenverwaltungsfunktionen bieten.

Lösungen

Bulk Extrakt zu Flat-Files

Die IRI FACT (Fast Extract) Software beschleunigt das Entladen von Oracle und anderen sehr großen Datenbanken (VLDB). Dies ist sowohl in ETL- als auch in ELT-Umgebungen wichtig. FACT ist schneller und unkomplizierter als die "Paralleltabellenfunktion" in der OWB. Details hier: Blog > VLDB > Entladen großer Datenmengen von Oracle et al.

Beschleunigung von ETL- und SQL-Transformationen

Die IRI CoSort Software führt die gleichen Transformationen wie SQL durch, nur 10x schneller. Das Programm CoSort SortCL wird im Dateisystem ausgeführt und umgeht eine oder mehrere Transformationsstufen in OWB und ODI, einschließlich Sortieren, Verbinden und Aggregieren.

Entfernen Sie den Overhead der Massendatentransformation aus Oracle, indem Sie diese Operationen in einem einzigen SortCL-Jobskript und I/O-Pass spezifizieren und kombinieren. Weitere Informationen finden Sie unter: Blog > Strukturierte Datentransformationen

Zusätzlich zur Effizienz sind die Daten- und Mapping-Definitionen in SortCL in einfachen 4GL-Textdateien enthalten, die jeder verstehen und leicht ändern kann. Die Sprache von SortCL ist auch in der IRI Workbench GUI modelliert, die auf Eclipse basiert. Metadaten und die Erstellung von Job-Skripten werden ebenfalls automatisiert und in dieser umfangreichen, vertrauten IDE unterstützt.

Die Datenmanagement-Plattform IRI Voracity, zu der auch CoSort gehört, wird von SortCL in Full-On Data Warehouse ETL-Operationen betrieben und bietet Unterstützung für die Erkennung, Integration, Migration, Verwaltung und Analyse von Oracle und anderen Datenbank- und Dateiquellen, einschließlich Grafik- und Metadatenunterstützung für die Konfiguration und Ausführung von FACT in ETL und anderen Datenübertragungsvorgängen.

Beschleunigung der Bulk-Loads in Oracle und andere RDBs

Jedes der im IRI CoSort-Paket enthaltenen Sortierprogramme beschleunigt Massenladungen in die meisten relationalen DBs, einschließlich Oracle, DB2, MySQL, PostgreSQL, Sybase und SQL*Server. Weitere Informationen zur Beschleunigung von Oracle-Loads finden Sie unter: Blog > VLDB Operations > High Speed DB Loading (Hochgeschwindigkeits-DB-Laden)

Re-Plattform der ODI ETL Operationen

Sie können ETL-Aufträge in ODI nach Voracity nun automatisch über die AnalytiX DS (jetzt Erwin) Code-Automation Frameworks (CATfx) Technologie migrieren. Sowohl Informatica- als auch Voracity-Metadaten werden in erwin DS Mapping Manager modelliert, so dass Sie Projekte problemlos zwischen den beiden Plattformen verschieben können. Vorkapazität ist sowohl um ein Vielfaches schneller als ODI als auch kostengünstiger, und mit der bewährten erwin CATfx-Technologie und den Lite Speed Conversion Services ist es endlich möglich (und kostengünstig) zu wechseln.