Werfen Sie einen genaueren Blick auf RowGen
Erstellen Sie intelligente und sichere Testdaten für mehrere Ziele
IRI RowGen ist ein hochmodernes, zweckmäßiges Softwareprodukt, das von Datenbank- und DataVault-Experten für die schnelle, zuverlässige Erstellung und Verwaltung von sicheren und intelligenten Testdaten für mehrere Ziele, groß und klein, vor Ort oder in der Cloud, entwickelt wurde. RowGen liefert Testdaten für anspruchsvolle Interessengruppen an DevOps-, DB- und DW-ETL-Prototypen, Benchmarking und Demonstration.
RowGen ist in der IRI Workbench, der kostenlosen und vertrauten Eclipse™ IDE zum Entwerfen, Ändern und Ausführen von Testdatenaufträgen in Skript- oder Grafikform, enthalten. RowGen ist als eigenständiges Produkt erhältlich, als Paket in einer IRI Datenmanagement Suite mit mehreren Produkten oder automatisch in allen Abonnements der IRI Voracity Datenmanagement-Plattform enthalten.
Testen von Datenbankzielen
Die meisten Anwender sind an der Fähigkeit von RowGen interessiert, strukturell und referenziell korrekte Testdaten für sehr große relationale Datenbanken zu erstellen und zu laden. Anstatt sich auf den Zugriff auf Produktionsdaten und Maskierungsoperationen zu verlassen (verfügbar für IRI FieldShield- und Voracity-Anwender), verwendet RowGen bestehende oder vom Kunden bereitgestellte DDLs, um realistische Daten von Grund auf neu zu generieren:
Oracle
Sybase
DB2 UDB
PostgreSQL
MySQL
Snowflake
SQL Server
Teradata
und gepackte Anwendungen (z.B. Dynamics, PeopleSoft, Informatica, SAP ECC) mit den oben genannten RDBs. Es unterstützt auch die Generierung von synthetischen Subsets, bei denen Sie die Einschluss- oder Auslassungskriterien für jedes Ziel auswählen (und speichern). Wenn Sie Voracity verwenden, gibt es auch einen DB Subset Wizard, der das Maskieren als alternativen Ansatz unterstützt.
Verwenden Sie den Assistenten "Create DB Test Data" in der IRI Workbench für RowGen, um die folgenden Schritte automatisch durchzuführen:
Parsen
Tabellenbeschreibungen und Integritätsbeschränkungen werden in Testdatengenerierungsdefinitionen übersetzt, die Quellstrukturen, Datentypen und Abhängigkeiten widerspiegeln.
Generieren
Vorsortierte Flat-Files mit den Testdaten werden zum Laden erstellt, während die Definitionsskripte zur einfachen Modifikation und Wiederverwendung erhalten bleiben.
Populieren
Zieltabellen werden schnell in der erforderlichen Reihenfolge geladen, um die gleichen Tabellenbeziehungen (referentielle Integrität) aufrechtzuerhalten, die in der Produktion existieren.
Testen von Reportingzielen
Erstellen Sie benutzerdefinierte Berichte mit Testdaten im Inneren. RowGen verfügt über die gleichen Berichtsfunktionen für Testdaten wie SortCL für echte Daten, siehe Details hier.
RowGen ist auch ideal für das Franchising (Vorbereitung transformierter) Testdaten für spezielle BI-Tools und für die Bereitstellung besserer, schnellerer und größerer Testdaten für Anwendungen wie SAP und SalesForce.
Testen von Dateizielen
RowGen gibt Ihnen die volle Kontrolle über die Erstellung von Testzielformaten.
Verwenden Sie den Assistenten "Create Custom Test Data" in der IRI Workbench GUI für RowGen, oder arbeiten Sie direkt mit den Jobskripten der RowGen Control Language (RCL), die der Assistent erstellt, um die Datengenerierung und -formatierung zu kombinieren.
RCL-Skripte verwenden die Daten- und Auftragsdefinitions-Syntax des IRI-Programms SortCL, um genaues Layout, Größe und Inhalt der Zieldatei(en) zu beschreiben.
Geben Sie die Größe, Position, Trennzeichen und den Datentyp jedes Feldelements an. Definieren Sie bedingte Auswahlkriterien oder Bereiche für eingestellte Dateiwerte. Siehe die Diskussion über die Anpassung von Feldwerten weiter unten.
Erstellen Sie eine oder mehrere Testdateien gleichzeitig in diesen Formaten:
CSV (oder andere getrennte)
ELF (W3C Extended Log Format)
JSON
LDIF (LDAP)
Liniensequentiell
Mainframe variabel geblockt
MF I-SAM & (Acucobol) Vision
MF Variable Länge (klein/groß)
Record sequenziell
Text, fixiert oder begrenzt
Variable sSequentiell
XML
Erzeugen Sie so viele Datensätze pro Datei und so viele Dateien, wie Sie angeben. Formatieren Sie jede Ausgabe in benutzerdefinierten Feld-, Datensatz- und Berichtslayouts. Führen Sie Transformationen wie Sortierung, Aggregation und Querberechnung während der Generierung durch. Siehe Intelligente Spalten-(Feld-)Werte unten.
*Sie können RCL-Jobskripte mit jedem Texteditor, im syntaxfähigen Skripteditor der RowGen GUI oder über GUI-Dialoge, die mit dem Skript interagieren, schreiben und ändern.
Integration von Applikationen
RowGen-Benutzer finden viele verschiedene Integrationspunkte in ihren aktuellen Betrieb.
RowGen-Jobs lassen sich problemlos in Anwendungen und Batch-Streams integrieren. RowGen Control Language (.RCL) Spezifikationen sind in Textskripten, die von der Befehlszeile aus aufgerufen werden. Die Jobs sind einfach zu bearbeiten und laufen überall dort, wo RowGen lizenziert ist.
Die Integration von RowGen ist auch aufgrund der selbstdokumentierenden Natur und der Kreuzkompatibilität der Metadaten einfacher. Das von RowGen verwendete Datendefinitions-Dateiformat (.DDF) ist für alle IRI-Softwaretools gleich und wird von der gesamten IRI Workbench GUI unterstützt, die auf Eclipse™ basiert. Metadatenerkennungs- und Konvertierungsfunktionen erzeugen neue DDFs, die RowGen und andere IRI-Tools verwenden können*, sowie kostenlose Versionskontroll-Plugins in Eclipse-Unterstützung für die Datenablage und Metadatenauswirkungsanalyse.
Die Universalität der Metadaten in der gesamten IRI-Produktlinie ermöglicht Ihnen auch den einfachen Übergang zwischen der Generierung von Testdaten und der realen Datenverarbeitung. Aufträge in CoSort SortCL (Datentransformation und Reporting), FieldShield und NextForm verwenden das gleiche DDF.
RowGen DDF wird auch von AnalytiX DS Mapping Manager und Meta Integration Technology Inc.'s Meta Integration Model Bridge (MIMB) unterstützt. Benutzer dieser Pakete können die Metadaten in ihrer DB, ETL, Modellierung und verwandten Anwendungen automatisch in RowGen DDF konvertieren. Dadurch wird es einfacher, bestehende Anwendungen mit Testtabellen, Dateien und Berichten zu füllen, die in der Produktion verwendet werden, und mit noch breiteren Wertebereichen für Stresstests.
Verwenden Sie die integrierten Datentransformationsfunktionen von RowGen, wie Ausdrücke und Aggregation, um die Funktionalität Ihrer Anwendungen zu testen. Vergleichen Sie beispielsweise die Ergebnisse der Aggregationsroutine Ihres Programms mit den Summenwerten, die RowGen während der Erstellung der Testdaten erzeugt hat. Siehe auch diese Fallstudie.
Testziele können Dateien, benannte oder unbenannte Pipes (stdout), eine oder mehrere benutzerdefinierte Ausgabeverfahren und ODBC sein. Direkte Dateiausgabe an Datenbanklader (vorsortiert!) oder Ihre Anwendungen. Auch hier kann die RowGen-Ausgabe von einfachen, einfeldrigen Flat-Files über EDW-Datenbanken bis hin zu aufwändig formatierten HTML-Berichten mit Echtzeit-Systemdaten reichen.
*RowGen DDFs werden auch mit dem IRI-Tool Fast Extract (FACT) und mit von IRI bereitgestellten Metadatenkonvertern für COBOL-Copybooks, CSV-Dateiheader, SQL*Loader-Steuerdateien und ELF-Weblogdateien erstellt.
Intelligente Werte
Erzeugen Sie eine beliebige Anzahl von Zeilen mit einer beliebigen Anzahl von Spalten an fester oder begrenzter Position. Wählen Sie aus diesen Gruppen den Datentyp aus, der für jedes Feld generiert werden soll:
- ASCII & EBCDIC Merkmale
- Numerisch, Währung, IP-Adresse
- Alpha & EBCDIC Ziffern
- RM und MF COBOL Numerik
- Andere Binäre Numerik
- US, Europe, ISO, Japan Zeitstempel
- Unicode & Multi-Byte
Definieren Sie neue Datentypen mit dem Compound (Composite) Datenwert-Assistenten in der IRI Workbench GUI für RowGen, geben Sie Feldwerte aus einer oder mehreren Real-Set-Dateien oder Literalwerte und Bereiche an oder wählen Sie sie zufällig aus. Wählen Sie eine Häufigkeitsverteilung aus und sehen Sie sich das Muster in Gnuplot an.
Wenn Sie Set-Dateien verwenden, wählen Sie aus mehreren zufälligen Auswahlmethoden (einschließlich der Permutation zwischen Spalten). Dies liefert sowohl Realismus als auch De-Identifikation, wenn Mengen echte Namen enthalten.
Siehe Regeln auf Feldebene für das Anpassen und Anwenden von Informationen auf Feldebene auf die Testdaten. Sie können auch die Zufallsgenerierung und -auswahl kombinieren, um die Testdaten zu optimieren. Tatsächlich hat RowGen viele Möglichkeiten, den Realismus zu verbessern, ohne echte Daten zu verwenden, siehe Details hier.
Regeln auf Feldebenen
Standardmäßig erzeugt RowGen zufällig Feld-(Spalten-)Werte basierend auf dem angegebenen Datentyp, ohne Rücksicht auf den Bereich (obwohl dies durch Bedingungsanweisungen gesteuert werden kann). Aber dort beginnt die Sache erst richtig.
Für strukturierte (oder teilstrukturierte) Ziele können Sie auch die Ausgabegröße, Feldtrennzeichen und Indexwerte definieren. Und vor allem können Sie auf einfache Weise Regeln auf Feldebene auf eine oder mehrere Zieltabellen oder Dateien anwenden und ändern:
- zufällige Auswahl von Daten aus Mengendateien (benutzerdefiniert, einspaltig, tabulatorisch getrennt oder datenbankspaltenextrahiert)
- enthalten spezifizierte Zeichenkettendaten (Literalwerte)
- Daten aus jedem beliebigen numerischen Bereich in bereitgestellten (linear, normal, prozentual) oder benutzerdefinierten Verteilungen beziehen
- Anzeige benutzerdefinierter "zusammengesetzter Datenwerte", die jeweils eine Komponente nach der anderen erstellt wurden (z.B. Telefonnummerformat)
Wenden Sie diese gleichen Generierungsregeln auf einzelne Tabellen-, Flat-File- und benutzerdefinierte Berichtsziele an. Verwenden Sie den Assistenten "Create Custom Test Data" der RowGen-GUI, oder schreiben Sie die Felddefinitionen direkt.
Unabhängig davon, ob sie von der Benutzeroberfläche oder von Hand erstellt werden, stehen RowGen-Jobs für die Wiederverwendung, Integration und Batch-Ausführung zur Verfügung.
