Snowflake ETL und PII-Maskierung

 

Schnelles, kostengünstiges Datenmapping & Verwaltung

Überblick
Cassandra
DB2 UDB
MongoDB
MySQL/MariaDB
Oracle
PostgreSQL
SAP HANA
Snowflake
SQL Server
Sybase
Teradata

Herausforderungen

 

Möglicherweise sind Sie mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit Snowflake konfrontiert:

 

· Datensuche, -profilierung und/oder -klassifizierung

· Integration oder Daten-Wrangling für DW/BI-Ops

· Datenbewegung/Migration zu/von Tabellen

· Transformieren oder Laden großer Tabellen

· Datenerfassung oder -replikation ändern

· Clustering oder Abfrage der Performance

· Generierung intelligenter und sicherer Testdaten

· Maskierung sensibler Daten

 

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange.

Lösungen

Mit IRI CoSort können können Sie Flat-Files für Bulk Loads und Inserts vorsortieren und langsamere datenbankinterne Transformationen wie Sortieren, Verbinden und Filtern umgehen, indem Sie das externe Datenverarbeitungsprogramm CoSort SortCL für Snowflake-Daten verwenden. Dadurch wird der Overhead dieser Arbeit von Snowflake entfernt, wenn sie erforderlich ist, und die Leistung von Clustering und häufig durchgeführten Abfragen verbessert.

IRI Voracity nutzt die Multithreading-, speicheroptimierte und aufgabenkonsolidierende Leistung von CoSort, um ETL-Operationen durchzuführen und als Produktionsanalyseplattform zu fungieren, um gleichzeitig Daten vorzubereiten, zu verpacken (und sogar Berichte zu erstellen). Weitere Informationen finden Sie auf den Registerkarten hier.

IRI NextForm Database Edition zum Erfassen, Neuzuordnen, Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration von und nach Snowflake. Sie können auch NextForm oder das Programm SortCL in CoSort verwenden, um Daten in Snowflake neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

IRI FieldShield zum Klassifizieren, Finden und Maskieren von strukturierten Daten (oder IRI DarkShield für semi/unstrukturierte Daten) in Snowflake-Spalten, wie z. B. persönlich identifizierbare Informationen (PII) oder geschützte Gesundheitsinformationen (PHI). Wenden Sie Schwärzung, Verschlüsselung, Pseduonymisierung, Unschärfe und andere De-Identifizierungsfunktionen an, um Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten und DevOps zu unterstützen. Für strukturierte Daten erfahren Sie hier, wie Sie eine Verbindung zu Snowflake herstellen können, und hier, wie Sie Daten in Snowflake maskieren und zuordnen können.

IRI RowGen, um Snowflake-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet relationale Datenmodelle, um automatisch realistische Testdaten für eine gesamte Datenbank oder DataVault 2.0-Modelle mit referenzieller (oder Business-Key-) Integrität zu generieren. IRI RowGen, FieldShield und Subsetting-Operationen sind außerdem eng mit dem ValueLabs Test Data Hub für das Testdatenmanagement (TDM) in Snowflake integriert.