Match und Join

 

Schneller Datenabgleich und Vergleichsberichte

Herausforderungen

 

Der Datenabgleich zwischen großen Tabellen zu Abfrage-, Berichts- oder Virtualisierungszwecken kann viel Zeit in Anspruch nehmen. SQL-Verknüpfungsoperationen sind in der Regel ineffizient bei groß angelegten Datenintegrationsoperationen (Vereinheitlichung). Benutzerdefinierte Programme, die nicht verknüpfte Elemente zusammenführen sollen, können ebenfalls langsam oder schwer zu warten sein.

 

Vielleicht brauchen Sie auch eine schnelle und einfache Möglichkeit, zwei oder mehr Dateien über ein oder mehrere Felder zu vergleichen. Wie können Sie dies tun und die Änderungen (Einfügungen, Aktualisierungen, Löschungen) zwischen zwei Dateien erkennen, insbesondere wenn die Daten in unterschiedlichen Dateiformaten oder in Tabellen verschiedener Datenbanken vorliegen?

Lösungen

 

Das Programm Sort Control Language (SortCL) im IRI CoSort Datentransformationspaket und die IRI Voracity Datenmanagement (ETL)-Plattform können gleichzeitig mehrere Tabellen- und Dateiquellen auf einmal filtern, sortieren, zusammenfügen, aggregieren und neu formatieren.

SortCL verwendet einfache und explizite 4GL-Textdateien um Datenquellen, Ziele und Transformationen zu definieren. Automatische Skripterstellung, plattformübergreifende Ausführung, Änderung und Verwaltung werden in der kostenlosen Eclipse GUI, IRI Workbench, unterstützt.

SortCL unterstützt Inner- und Outer-Join-Funktionalität, um kombinierte Ausgaben zu erzeugen und Dateivergleiche basierend auf bestimmten Bedingungen. Mit SortCL können Sie:

  1. Eingabe, Verknüpfung und Ausgabe einer oder mehrerer vorsortierter oder unsortierter Tabellen und/oder Dateien
  2. Inner Join-Ergebnisse aus einem Outer Join eliminieren
  3. Null-Datensätze eliminieren und neu formatieren

Im gleichen, einfachen Jobskript und E/A-Durchlauf mit Datenverknüpfung können Sie auch:

  1. Cross-Calculate und Ableitung neuer Werte aus dem übereinstimmenden Ergebnis
  2. Datenmaskierungsfunktionen auf Feldebene für sensible Felder (PII) hinzufügen
  3. Mehrere Ziele für Detail- und Zusammenfassungsberichte individuell definieren
  4. Ausgewählte Informationen in verschiedenen Formaten für Datenvisualisierungstools weitergeben.

Das Fazit? Die in SortCL Join-Operationen unterstützten Big-Data-Matching-Techniken ermöglichen es Ihnen, übereinstimmende Daten aus unterschiedlichen Quellen zusammenzuführen, Nicht-Übereinstimmungen auszuschließen, Dateien und Tabellendaten extern zu vergleichen, geänderte Daten zu erfassen (CDC), daraus Business Intelligence zu erstellen und den Aufwand für Datenbankabfragen und -aktualisierungen zu reduzieren.

Wussten Sie, dass IRI CoSort das erste Datenmanagement-Produkt war das Flat-Files zusammenführte?
IRI hat 1999 Joins in SortCL eingeführt.