Tabellen Lookups

 

Verwenden Sie Lookup-Tabellen (LUT) oder Set-Dateien zum Ersetzen von Werten

Herausforderungen
 
Komplexe Berechnungen - einschließlich Multitabellen-Joins, Pseudonymisierung (Substitution) und analytische Ausgabe - können teuer und langsam sein. Wenn ein einfaches Nachschlagen eine Laufzeitberechnung ersetzen kann, kann der Leistungsgewinn erheblich sein, da das Abrufen eines Wertes im Speicher schneller sein kann als das Berechnen dieses Wertes.

 

Lookups treten typischerweise in ETL-Tools und Datenbanken auf. Lookup-Transformationen müssen speziell konfiguriert werden und es können zusätzliche Schritte erforderlich sein, um ihre Leistung im Volumen zu verbessern.

 

In der Zwischenzeit war die analoge Funktionalität im Dateisystem nicht verfügbar, da dort mehr Geschwindigkeit, Ressourcen und gleichzeitige Funktionalität verfügbar sein können.

Lösungen

Mehrdimensionale Datentabellen können sowohl in RDB- als auch in Flat-File-Umgebungen nachgeschlagen werden. Die Softwareprodukte IRI CoSort (Datentransformation und Reporting) und IRI FieldShield (Datenmaskierung) sowie die Datenmanagement-Plattform IRI Voracity unterstützen alle Lookup-Transformationen in der Voraktions- und Ziel-Layout-Definitionsphase ihrer Jobs.

Substitutionen (Ersetzungstransformationen) werden aus Spaltenwerten in einer Datenbank oder aus Werten in einer externen tabulatorgetrennten Datei (Set) vorgenommen. Die Funktionen für die Tabellensuche umgehen die Probleme der Datenbankabstimmung und -integrität und liefern:

  • Diskrete Lösungen (eine Wertabfragemethode)
  • Ein Pseudonymisierungsverfahren zur Datensicherheit
  • Eine Alternative zu Joins in vielen Tabellen

Indem Sie Lookups im Dateisystem durch Set-Dateien und ein explizites Job-Skript ausführen, können Sie weniger Zeit damit verbringen sich auf die Vorbereitung und das Erhalten von Ergebnissen aus Ihren Datenersetzungsquellen zu konzentrieren.

Darüber hinaus können Sie:

  • Kombinieren von Lookups mit anderen Prozessen im gleichen I/O-Pass
  • Verarbeitung der resultierenden Werte im gleichen Job (SortCL-Skript)Die
  • Lookup-Ergebnisse sofort verschlüsseln oder anderweitig schützen
  • Gleichzeitiges Formatieren der Lookup-Ergebnisse in benutzerdefinierten Berichten