Virtualisierung von Testdaten
Erstellen, Bereitstellen und Verwalten von virtuellen Testdaten
Was ist Testdatenvirtualisierung?
Die Testdatenvirtualisierung kombiniert die Generierung von Testdaten - sei es durch Datenmaskierung, Subsetting oder Synthese - mit einer effizienten Testdatenbereitstellung. Das entscheidende Wort ist Effizienz, da die meisten Testdatenbereitstellungen heute immer noch die Erstellung vieler physischer Kopien von Testtabellen oder -dateien beinhalten, anstatt weniger, konsistenterer, aktueller goldener Kopien von Testdaten, auf die leicht zugegriffen und die zurückgesetzt werden können.
Manuelle, datenbankzentrierte und handelsübliche Ansätze zur Testdatenvirtualisierung haben sich als zeit- und kostenaufwändig erwiesen, was zu unzureichenden Tests oder datenbankzentrierten Ansätzen führt, die SLA-/Liefertermine verzögern. Und das Testen mit den neuesten, noch unmaskierten Produktionsdaten als Ausfallsicherung ist einfach unsicher.
Das ultimative Ziel ist die Bereitstellung dynamischer, mehr oder weniger bedarfsgerechter (Self-Service) Testdaten für die Entwicklung von Datenbanken und Softwareanwendungen, Systemtests und Outsourcing. Die Erstellung und Verwaltung virtueller Testumgebungen mit sicheren, intelligenten Testdaten ist nach wie vor ein lästiger Teil der Qualitätssicherungs- und Entwicklungszyklen.
Lösungen
Indem Sie die seit langem bewährten Fähigkeiten des IRI RowGen-Werkzeugs zur Erzeugung synthetischer Testdaten und zum Subsetting nutzen - oder die FieldShield- und DarkShield-Datenmaskierungswerkzeuge, die ebenfalls in der IRI Voracity-Datenmanagementplattform enthalten sind - können Sie mehrere Anforderungen an das Testdatenmanagement erfüllen. Sie können auch viele Ihrer Anforderungen an die Testdatenbereitstellung durch virtuelle Testumgebungen erfüllen, ohne die Kosten oder die Komplexität, die mit kommerziellen Testdatenvirtualisierungslösungen verbunden sind.
Einer der inhärenten Vorteile der IRI Voracity Datenmanagement-Plattform ist die Kombination aus robuster Datenintegration, Testdatengenerierung und Datenreplikationsfunktionen. Zusammen ermöglichen sie es Ihnen, maßgeschneiderte, virtuelle Testdatenlösungen für DevOps schnell und einfach zu erstellen und bereitzustellen.
Voracity kann statisches und Streaming ETL oder inkrementelle Datenbankreplikation in Echtzeit mit Datenmaskierung, Subsetting, Synthese, Datentransformation und kundenspezifischer Formatierung kombinieren. Ohne Live-Systeme zu beeinträchtigen oder auf eine bestimmte Datenbank oder Cloud-Plattform beschränkt zu sein, können Voracity-Anwender die Erfassung, Manipulation und Bereitstellung sowohl von ad-hoc (virtuellen) als auch von persistenten Testdatensätzen nutzen und automatisieren, die: die Eigenschaften der Produktionsdaten widerspiegeln, die Daten und die referenzielle Integrität unternehmensweit (nicht nur datenbankweit) bewahren, PII anonymisieren und nicht veralten.
Vorschläge
Überlegen Sie zunächst, nach welchen Geschäftsregeln Sie eine Ad-hoc-Lösung benötigen. IRI gibt Ihnen in dieser Artikelserie zum Testdatenmanagement Ratschläge, wie Sie diese Regeln berücksichtigen können, und stellt Ihnen verschiedene Funktionen zur Verfügung, die Ihnen helfen, die Daten, mit denen Sie arbeiten müssen, in solchen Quellen zu finden, d. h. in Dateien, Datenbanken und Dark Data-Dokumenten.
Als Nächstes sollten Sie sich überlegen, welche Art von Testdaten Sie benötigen, je nachdem, wer sie braucht und wie und wo sie verwendet werden sollen. Möglicherweise müssen Sie kreativ sein; einige Testziele profitieren von einer Kombination aus Datenmaskierung und -synthese wie dieser. Oder Sie möchten Daten maskieren und so realistische Testdaten erzeugen, während Sie
- eine Untermenge aus einer Datenbankumgebung wie hier, oder eine Replikation wie hier
- die Integration von SQL- und Dateiquellen wie hier, oder die Vorschau von ETL-Jobs wie hier
- Einspeisung in eine DevOps-Pipeline (CI/CD) zur Testautomatisierung wie hier
- Auffrischen einer virtuellen Testdatenbank in Echtzeit wie hier
- Streaming von einem IoT-Datenbroker, wie hier
Beachten Sie auch, dass jeder Voracity Testdaten-Generierungsprozess Ihnen erlaubt, mehrere, unterschiedlich formatierte persistente und virtuelle Ziele gleichzeitig zu definieren. Diese Effizienz und Flexibilität ist besonders wertvoll für DevOps-Teams, die parallel arbeiten müssen.
Sobald die Techniken und Ziele festgelegt sind, können Sie auch wählen, wie Sie den/die Job(s) entwerfen, modifizieren und/oder freigeben, und wie und wo Sie sie ausführen wollen. Voracity unterstützt mehrere Job-Design- und Laufzeit-Methoden; siehe den Abschnitt IRI Workbench auf dieser Seite.
Weitere Vorteile
Im Gegensatz zu anderen virtuellen TDM-Lösungen müssen Sie mit IRI keine Datenbanken klonen, keine virtuelle TDM-Appliance einrichten und auch sonst nichts derartig Komplexes (oder Teures) tun. Testdateningenieure können so viele persistente oder virtuelle Kopien bereitstellen, wie sie benötigen, und die Repositories ihrer Tester sofort auffüllen, wenn die Testdaten generiert werden. Wenn Sie jedoch einen vollständig maskierten oder synthetischen Datenbankklon wünschen, können IRI FieldShield- und RowGen-Jobs als Skripte ausgeführt werden, die gleichzeitig von Actifio-, Commvault- und Windocks-Operationen (virtualisierte Container-Images) aufgerufen werden!
IRI-Subsetting-, Maskierungs- und Syntheseaufträge für strukturierte Daten werden auch in den TDM-Portalen von Cigniti und Value Lab unterstützt, mit denen Sie On-Demand-Testdatensätze für Datei-, DB- und API-Ziele erstellen und verwalten können. Für TDM mit halbstrukturierten (z. B. HL7, JSON und XML) und unstrukturierten Text- oder Dateiquellen (z. B. PDF, MS Office und Bilddaten) können Sie IRI DarkShield verwenden, um sie zu maskieren oder echte Werte in ihnen durch Testdaten zu ersetzen, die von IRI RowGen generiert wurden; siehe diesen Artikel.
Schließlich kann die Kontrolle von Testdaten genauso wichtig sein wie die Kontrolle Ihrer Produktionsdaten. Zusätzlich zu der inhärenten Datensicherheits-Governance in den vielen statischen Datenmaskierungsfunktionen von Voracity, ermöglichen Ihnen mehrere Datenqualitätsfunktionen die Validierung und Stabilisierung Ihrer Testdatensammlungen, ob virtuell oder nicht. Workflow-Diagramme und die automatische Erzeugung von Batch-Dateien unterstützen die grafische Gestaltung von unabhängigen und abhängigen Arbeitsketten. Außerdem werden mehrere Optionen für die Daten- und Metadatenabfolge unterstützt, sodass Sie die Änderungen an den Quelldaten und Ihren Testdatenprojekten verfolgen können.
