Select / Filtern

 

Nur Verarbeitung und Ausgabe der Daten, die Sie benötigen

Herausforderungen
 
Sie müssen doppelte Datensätze entfernen oder speichern und Datensätze, die auf Geschäftsregeln basieren, aus einer Vielzahl von Gründen ein- oder ausschließen, einschließlich:
 

    Datenbankaktualisierungen, einschließlich der Erfassung von Änderungsdaten und "Slowly Changing Dimensions" (SCD)
    Business Intelligence, einschließlich Kundendatenintegration und Segmentierung
    Datenbank-Subsetting, zur Maskierung von Produktionsdaten
    Datenmigration, Replikation und Föderation
    Massendatenreduktion, Datenforensik und Datenqualitätsinitiativen

 

SQL Select-Anweisungen eignen sich hervorragend für "normale" Tabellengrößen der Datenbank, können aber im Volumen (und abhängig von den Schlüsselbeziehungen) sehr lange dauern. Sie sind auch datenbankspezifisch und können Massenentlade- und Abfragevorgänge behindern, wenn sie für Daten-Subsetting durchgeführt werden.

 

Die Filterung über eine Datenbank hinaus kann insbesondere im Rahmen einer heterogenen Datenintegration schwierig sein. Komplexe ETL-Arbeiten oder benutzerdefinierter Code können erforderlich sein. Daher können sowohl die Spezifikation als auch die Ausführung ineffizient sein.

Lösungen

 

Das Programm SortCL in IRI CoSort (und IRI Voracity) bietet mehrere horizontale (Datensatz-/Zeilenebene) und vertikale (Feld-/Spaltenebene) Auswahlmöglichkeiten für einen beliebigen Satz von strukturierten Datenquellen. CoSort/SortCL Spin-off-Produkte - darunter IRI FieldShield (zur Datenmaskierung), IRI NextForm (zur Datenmigration und -replikation) und IRI RowGen (zur Testdatengenerierung) - verfügen alle über die gleichen Funktionen zur Zeilen- und Spaltenauswahl (Filterung).

Verwalten Sie die Datensatzgröße, -anzahl und -fluss vor, während und nach der Datentransformation. Eliminieren, reduzieren oder übergeben Sie Datensätze für eine schnelle, SQL-orientierte Datenfilterung während der Ein- und Ausgabe. Die Massendatenreduktion erhöht die Effizienz von SortCL-Transformationen, Berichten, Lasten und anderen nachgelagerten Prozessen.

Verwenden Sie die Bedingungslogik (z.B. "if-then-else"-Ausdrücke), um Datensätze während der Transformation, des Berichtswesens und/oder des Schutzes aufzunehmen, wegzulassen und neu zu formatieren. Filtern Sie Datensätze durch Deduplizierung und byte-, header- und datensatzbezogene Befehle. Geben Sie beispielsweise an, welche Wertebereiche gültig sind und geben Sie nur Datensätze außerhalb dieser Werte aus.

Validieren Sie Zeichenformulare und führen Sie andere Datenintegritätsprüfungen durch, um fehlerhafte Datensätze abzulehnen oder zu isolieren, bevor Sie sie in eine Datenbank laden.

Basieren Sie Spezifikationen auf Ihrer Geschäftslogik und speichern Sie sie in Textskripten, die in Eclipse verwaltet werden, um sie einfach zu modifizieren und wiederzuverwenden.