Match / Join

 

Schneller Quelldatenvergleich & Reporting

Herausforderungen
 

Der Abgleich von Daten zwischen großen Tabellen für Abfrage-, Berichts- oder Virtualisierungszwecke kann sehr lange dauern. SQL-Join-Funktionen sind in der Regel ineffizient in großen Datenintegrations- (Vereinigung-)Operationen. Benutzerdefinierte Programme die darauf ausgelegt sind nicht verknüpfte Elemente zusammenzuführen, können ebenfalls langsam oder schwierig zu warten sein.

 

Möglicherweise benötigen Sie auch eine schnelle und einfache Möglichkeit, zwei oder mehr Dateien über ein oder mehrere Felder zu vergleichen. Wie macht man das und identifiziert die Änderungen, die zwischen zwei Dateien stattgefunden haben (Einfügen, Aktualisieren, Löschen), insbesondere wenn sich die Daten in verschiedenen Dateiformaten befinden, oder zwischen Tabellen in verschiedenen Datenbanken?

Lösungen

 

Das Programm Sort Control Language (SortCL) im IRI CoSort Datentransformationspaket und die IRI Voracity Datenmanagement (ETL)-Plattform können gleichzeitig mehrere Tabellen- und Dateiquellen auf einmal filtern, sortieren, zusammenfügen, aggregieren und neu formatieren.

SortCL verwendet einfache und explizite 4GL-Textdateien um Datenquellen, Ziele und Transformationen zu definieren. Automatische Skripterstellung, plattformübergreifende Ausführung, Änderung und Verwaltung werden in der kostenlosen Eclipse GUI, IRI Workbench, unterstützt.

SortCL unterstützt Inner- und Outer-Join-Funktionalität, um kombinierte Ausgaben zu erzeugen und Dateivergleiche basierend auf bestimmten Bedingungen. Eine oder mehrere vorsortierte oder unsortierte Tabellen und/oder Dateien eingeben, zusammenführen und ausgeben.

Eliminieren Sie die Ergebnisse der inneren Verbindung aus einer äußeren Verbindung. Eliminieren und formatieren Sie Nullsätze.

Im gleichen einfachen Job-Skript und I/O-Pass sind Querberechnungen und eine Ableitung neuer Werte aus übereinstimmenden Ergebnissen möglich. Hinzufügen von Maskierungsfunktionen auf Feldebene für sensible Felder. Für die Ausgabe können Sie mehrere Detail- und Übersichtsberichtsziele definieren und ausgewählte Informationen in verschiedenen Formaten an Datenvisualisierungstools übergeben.

Das Fazit? Das Zusammenführen großer Daten in SortCL ermöglicht es Ihnen, Dateien und Tabellendaten extern zu vergleichen, geänderte Daten zu erfassen (CDC), daraus Business Intelligence zu erstellen und den Aufwand für Datenbankabfragen und Aktualisierungen zu reduzieren.

Wussten Sie, dass IRI CoSort das erste Datenmanagement-Produkt war das Flat-Files zusammenführte?
IRI hat 1999 Joins in SortCL eingeführt.