Snowflake ETL und PII-Maskierung

 

Schnelles, kostengünstiges Datenmapping & Verwaltung

Überblick
Cassandra
DB2 UDB
MongoDB
MySQL
Oracle
PostgreSQL
SAP HANA
Snowflake
SQL Server
Sybase
Teradata

Herausforderungen

 

Möglicherweise sind Sie mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit Snowflake konfrontiert:

 

· Datensuche, -profilierung und/oder -klassifizierung

· Integration oder Daten-Wrangling für DW/BI-Ops

· Datenbewegung/Migration zu/von Tabellen

· Transformieren oder Laden großer Tabellen

· Datenerfassung oder -replikation ändern

· Clustering oder Abfrage der Performance

· Generierung intelligenter und sicherer Testdaten

· Maskierung sensibler Daten

 

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange.

Lösungen

Mit IRI CoSort können können Sie Flat-Files für Bulk Loads und Inserts vorsortieren und langsamere datenbankinterne Transformationen wie Sortieren, Verbinden und Filtern umgehen, indem Sie das externe Datenverarbeitungsprogramm CoSort SortCL für Snowflake-Daten verwenden. Dadurch wird der Overhead dieser Arbeit von Snowflake entfernt, wenn sie erforderlich ist, und die Leistung von Clustering und häufig durchgeführten Abfragen verbessert.

IRI Voracity nutzt die Multithreading-, speicheroptimierte und aufgabenkonsolidierende Leistung von CoSort, um ETL-Operationen durchzuführen und als Produktionsanalyseplattform zu fungieren, um gleichzeitig Daten vorzubereiten, zu verpacken (und sogar Berichte zu erstellen). Weitere Informationen finden Sie auf den Registerkarten hier.

IRI NextForm Database Edition zum Erfassen, Neuzuordnen, Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration von und nach Snowflake. Sie können auch NextForm oder das Programm SortCL in CoSort verwenden, um Daten in Snowflake neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

IRI FieldShield zur Maskierung sensibler Daten in Snowflake, wie persönlich identifizierbare Informationen (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere de-identifizierende Funktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield zur Einhaltung von Datenschutzgesetzen wie HIPAA, PCI DSS, FERPA und GDPR.

IRI RowGen, um Snowflake-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet Ihre Datenmodelle, um die Testdaten automatisch für eine gesamte Datenbank mit referenzieller Integrität zu generieren. IRI RowGen, FieldShield und Subsetting-Operationen sind außerdem eng mit dem ValueLabs Test Data Hub für das Testdatenmanagement (TDM) in Snowflake integriert.