Datenbank-Subsetting
Test mit kleineren, maskierten Schemas
Herausforderungen
Entwickler von Datenbankanwendungen verlassen sich zum Testen oft auf Daten in Produktionstabellen. Aber es gibt mehrere Nachteile dieses Ansatzes, einschließlich der:
1.Vertraulichkeit der Daten in diesen Tabellen
2.Kosten für die Migration, Maskierung, Aktualisierung und/oder Speicherung replizierter Datenbanken zum Testen
3.Redundanz der Produktionsdaten, was zu Platzverschwendung und unzureichender Testabdeckung führt
4.nur kleine Datenmengen für spezifische Testfälle benötigt werden
Manchmal werden auch kleinere, maskierte Teilmengen großer Dateien benötigt, um Anwendungen mit anonymisierten Daten schnell zu testen. Die meisten Datenmaskierungstools können das Volumen und die Vielfalt der betreffenden Flat Files nicht unterstützen.
Lösungen
Zusätzlich zu den leistungsstarken Datenbankparsing-, -generierungs- und -populationsfunktionen, die IRI RowGen für die Synthese strukturell und referenziell korrekter Testdaten bietet, können Sie jetzt auch referenziell intakte Datenbank-Teilmengen aus relationalen Standardquellen sowie aus komplexen und/oder sehr großen Datenbanken (VLDB) erzeugen (und maskieren).
Ein bewährter, leistungsfähiger Datenbank-Subsetting-Assistent für relationale Datenbanken befindet sich in der IRI Workbench, der Eclipse-IDE für die IRI Voracity Testdatenmanagement-Plattform oder den Testdaten-Sicherheitswerkzeugen der IRI Data Protector Suite (IRI FieldShield für Datenmaskierung und/oder RowGen für Testdatengenerierung). Mit diesem ergonomischen Dienstprogramm für die Testdatenunterteilung können Sie schnell benutzerdefinierte Untermengen von überschaubaren, referenziell korrekten Daten erstellen, die von Ihrer Master-Tabelle (übergeordnete Tabelle) bestimmt werden, und gleichzeitig konsistente Datenmaskierungs- und/oder Mapping-Regeln auf alle Untertabellen (untergeordnete Tabellen) anwenden.
Es ist auch möglich, Daten aus einzelnen Tabellen auf einer Ad-hoc-Basis zu Testzwecken selektiv zu unterteilen und zu maskieren, indem man das gleiche IRI-Metadaten-Framework verwendet. Dazu schreiben Sie einfach ein FieldShield-Jobskript mit den Tabellendetails oder verwenden einen Assistenten zur automatischen Erstellung eines solchen Skripts und fügen entweder eine SQL SELECT-Syntax direkt in den Eingabebereich ein oder erstellen und verwenden benutzerdefinierte /INCOLLECT-Zeilenfilter und/oder qualitative /INCLUDE- oder /OMIT-Anweisungen, um die Größe und den Inhalt der einzelnen Teilmengen zu definieren.
Sie können die DB-Subsets auf verschiedene Weise für Testdatenbenutzer bereitstellen, die vor Ort oder in der Cloud arbeiten. Zu diesen Optionen für die Verwaltung von Datenbank-Subsets gehören: neue persistente oder virtuelle (föderierte) Testschemata, Flat-File-Ziele und DevOps-Piplelines (siehe dieses Beispiel).
Zusätzlich zu den Datenbank-Teilmengen können Sie auch Testdateien-Teilmengen erstellen. Verwenden Sie RowGen, um synthetische, äußerst realistische Testdateien in jedem Format und jeder Größe zu erstellen. Verwenden Sie FieldShield, um Testdaten-Subsets aus strukturierten (flachen) Dateien in fester Position oder in einem begrenzten Format zu extrahieren (und zu maskieren), indem Sie die integrierten Auswahl- und Filterfunktionen nutzen. FieldShield basiert auf der gleichen Big-Data-Engine wie Voracity (dem IRI CoSort SortCL-Programm) und kann daher auch strukturierte Dateien mit beliebigem Volumen verarbeiten.
Subsetting-Strategien wie diese minimieren nicht nur das Risiko der Offenlegung von PII und der Verletzung von Datenschutzgesetzen, sondern senken auch drastisch die Kosten von Datenbank- und Anwendungstestinfrastrukturen ... manche sprechen von bis zu 50.000 US-Dollar pro Datenbank. Hier erfahren Sie, wie Sie in Workbench Testdaten-Subsetting-Jobs automatisch einrichten und erstellen können.