Tabellen- und Datei-Lookups

 

Mehrdimensionale Lookups ersetzen Werte schnell

Herausforderungen
 
Komplexe Berechnungen - einschließlich Multitabellen-Joins, Pseudonymisierung (Substitution) und analytische Ausgabe - können teuer und langsam sein. Wenn ein einfaches Nachschlagen eine Laufzeitberechnung ersetzen kann, kann der Leistungsgewinn erheblich sein, da das Abrufen eines Wertes im Speicher schneller sein kann als das Berechnen dieses Wertes.

 

Lookups treten typischerweise in ETL-Tools und Datenbanken auf. Lookup-Transformationen müssen speziell konfiguriert werden und es können zusätzliche Schritte erforderlich sein, um ihre Leistung im Volumen zu verbessern.

 

In der Zwischenzeit war die analoge Funktionalität im Dateisystem nicht verfügbar, da dort mehr Geschwindigkeit, Ressourcen und gleichzeitige Funktionalität verfügbar sein können.

Lösungen

Die Funktionalität der mehrdimensionalen Lookup-Tabelle ist nun auch in externen Dateiumgebungen verfügbar. Die Softwareprodukte IRI CoSort (Datentransformation und Reporting) und IRI FieldShield (Datenmaskierung) sowie die Datenmanagement-Plattform IRI Voracity unterstützen alle Lookup-Transformationen in der Voraktions- und Ziel-Layout-Definitionsphase ihrer Jobs.

Substitutionen werden aus Spaltenwerten in einer begrenzten Mengendatei vorgenommen. Dieser Ansatz umgeht das Datenbank-Tuning und die Integritätsprobleme, die es zu lösen gilt:

    Diskrete Lösungen (eine Wertabfragemethode)
    Ein Pseudonymisierungsverfahren zur Datensicherheit
    Eine Alternative zu Joins in vielen Tabellen

Indem Sie Lookups im Dateisystem durch Set-Dateien und ein explizites Job-Skript ausführen, können Sie weniger Zeit damit verbringen sich auf die Vorbereitung und das Erhalten von Ergebnissen aus Ihren Datenersetzungsquellen zu konzentrieren.

Darüber hinaus können Sie:

    Kombinieren von Lookups mit anderen Prozessen im gleichen I/O-Pass
    Verarbeitung der resultierenden Werte im gleichen Job (SortCL-Skript)
    Die Lookup-Ergebnisse sofort verschlüsseln oder anderweitig schützen
    Gleichzeitiges Formatieren der Lookup-Ergebnisse in benutzerdefinierten Berichten