Slowly Changing Dimensions


Verwenden Sie "Fuzzy Logic" Lookups für diskrete Reporting-Lösungen

Herausforderungen

 

Slowly Changing Dimensions, kurz SCD, sind das Problem im Data Warehousing, wenn es darum geht, Veränderungen in den Werten (Fakten) eines Datums zu verfolgen. "Langsam" impliziert Zeit, aber nicht unbedingt "langsame" Zeit; die Konzepte sind die gleichen, wenn Veränderungen in Sekunden oder Jahrhunderten stattfinden. Das Intervall zwischen den Änderungen muss nicht einheitlich sein. Das/die Suchargument(e) müssen eindeutig sein, und der resultierende Wert ist diskret.

 

Slowly Changing Dimensions werden an zahlreichen Stellen unter Bezugnahme auf die bekannten Techniken zur Speicherung und zum Zugriff auf solche Daten diskutiert. Grundsätzlich kann der Benutzer Änderungen ignorieren, den bestehenden Fakt überschreiben, den gespeicherten Datensatz erweitern oder zusätzliche Datensätze (Tupel-Versionierung) mit Hilfe von Ersatzschlüsseln erstellen. Dies ist oft ein komplexer Prozess in ETL-Tools oder SQL.

Lösungen

IRI ging einen neuen Weg, um über Slowly Changing Dimensions zu berichten. Das SortCL-Programm des CoSort-Produkts verwendet eine leistungsstarke, "Fuzzy Logiksuche" nach Fakten in Set-Dateien.

 Aus dieser Kernfunktion kommt nun auch ein neuer visueller SCD-Job-Erstellungsassistent für die Typen 1, 2, 3, 4 und 6, den IRI Voracity-Anwender kostenlos in der IRI Workbench GUI, die auf Eclipse™ basiert, nutzen können.

 Abfrage nach diskreten Werten basierend auf sich ändernden Informationen wie Datum und Uhrzeit. Wenn Sie beispielsweise ein beliebiges Suchdatum angeben, finden und zeigen Sie die Adresse, die vor, am oder nach diesem Datum gültig war.

 Da Sie mit Daten in Feldern arbeiten die sich zu unterschiedlichen Zeiten ändern, können Sie mehr als ein Suchargument verwenden, um den zurückgegebenen Wert zu bestimmen.

Grundlegend bietet der Dateisystemansatz von IRI für Slowly Changing Dimesionen Möglichkeiten für Einfachheit, reduzierten Speicherplatz, Geschwindigkeit und erhöhte Leistungsfähigkeit. Es ermöglicht:

  • sehr schnelle Nachschlageleistung
  • SCD-Typen 0-6 Update-Reporting
  • sucht nach streng steigenden Werten
  • komplexe, mehrstufige Suchkriterien
  • einfache Pflege und Freigabe von Job-Skripten
  • neue Werte, die schnell angewendet und integriert werden sollen
  • Unterstützung für eingebaute Kommentare
  • die Eliminierung von DB-Overheads, Reorgs, etc.

Durch die Verwendung von SortCL-Skripten oder des Voracity-Assistenten in Eclipse für SCD-Berichte können Sie auch Sortierung, Ausdrucksauswertung, Aggregation, neue Formatierung, Verschlüsselung usw. integrieren. - alle im gleichen Jobskript und I/O-Pass. Hier die Blog-Serie für weitere Details.