JSON-Dateien

 

 

Konvertieren, Transformieren, Maskieren, Berichten, Testen

Herausforderungen

 

JSON ist eine beliebte Datensprache und ein semi-strukturiertes Dateiaustauschformat, das in großen Datenanwendungen, NoSQL-Datenbanksammlungen und IoT-Datenströmen üblich ist. Konvertierungen zwischen Legacy-Index oder Flat-Files und JSON basieren jedoch auf Slow-Parsing-Technologien, die nicht gleichzeitig die Verarbeitung ermöglichen.

 

Andere JSON-Abfrage- oder Transformationswerkzeuge auf dem Markt können große Mengen an JSON-Daten nicht oder nur unzureichend in analytische Teilmengen umwandeln oder Informationen schnell oder gar nicht sammeln. Es gab keine effiziente Möglichkeit, riesige JSON-Dateien schnell zu konvertieren, zu verarbeiten, zu schützen oder zu erstellen.

 

Beispielsweise kann es erforderlich sein:

 

· Sortieren einer riesigen JSON-Datei

· Extrahieren von Daten oder Berichten aus einer JSON-Datei

· Konvertieren einer CSV-, LDIF- oder anderen Datei in JSON

· Konvertieren Sie JSON in Text, CSV, LDIF, ISAM, etc.

· Daten in einer JSON-Datei mit einer anderen JSON- oder einer anderen Quelle verknüpfen

· Maskieren, Verschlüsseln oder anderweitiges Deidentifizieren von PII in einer JSON-Datei

· Laden von JSON-Daten in eine Tabellenkalkulation oder Datenbank

· Erstellen einer JSON-Datei aus einer Alt- oder Extraktdatei

· Generierung von Testdaten in JSON-Dateiformaten

 
Möglicherweise müssen Sie sogar mehr als eine dieser Funktionen gleichzeitig ausführen, und zwar bei vielen massiven Quell- und Zieldateien.

Lösungen

Ab CoSort v10 liefert IRI JSON-Datenkonvertierungs- und Verarbeitungsfunktionen in mehreren Produkten. Wählen Sie nach Bedarf:

Verwenden Sie das IRI NextForm, um JSON-Dateien* in DB-Tabellen zu verschieben, eine JSON-Datei in ein anderes Dateiformat (wie CSV, LDIF, COBOL, XML, etc.) zu konvertieren oder von einem anderen Dateiformat in JSON zu konvertieren.

NextForm enthält einen JSON-Dateiparser, um automatisch die in den Dateikonvertierungsskripten verwendeten Feldlayouts zu erstellen. NextForm unterstützt auch die Datentypkonvertierung auf Feldebene und die Neuzuordnung von Datensatzlayouts. NextForm-Auftragsdefinitionen funktionieren auch in SortCL-kompatiblen Produkten wie Voracity, wenn Sie später aktualisieren.

* Es gibt zunächst bekannte Einschränkungen bei der Behandlung von Funktionsaufrufen und mehreren Array-Elementen in unstrukturierten JSON-Dateien. Geben Sie dem IRI einen Probe zur Analyse, wenn möglich.

Verwenden Sie das Programm SortCL in der IRI Voracity-Plattform oder im IRI CoSort-Paket, um JSON-Dateien und andere Ziele, die strukturierte Daten darstellen, zu konvertieren, zu transformieren, zu maskieren, zu berichten und neu zu erstellen.

Deklarieren Sie eine oder mehrere JSON- und Nicht-JSON-Dateien für die Ein- und Ausgabe als Teil eines jeden SortCL-Jobs, der Daten beinhaltet:

Filterung (Auswahl, Scrubbing, Links zu DQ-Tools)
Transformation (Sortierung, Zusammenführung, Aggregation, Berechnung, etc.)
Konvertierung (Datentyp- und Dateiformat-Migrationen)
Berichterstattung (CDC, Detail- und Zusammenfassungsformate)

Schutz (Feldverschlüsselung, De-ID, Maskierung)

SortCL stellt all diese Funktionen, eine oder mehrere auf einmal, Datenarchitekten zur Verfügung, die mit JSON und anderen Quellen arbeiten müssen.

Verwenden Sie IRI FieldShield, um Werte in strukturierten JSON-Dateien zu verschlüsseln, zu maskieren oder anderweitig zu de-identifizieren, oder IRI DarkShield, wenn die Daten, die Sie in ihnen finden und maskieren müssen, oder NoSQL DBs weniger strukturiert sind. FieldShield und DarkShield befinden sich beide innerhalb der IRI Voracity-Plattform.

Verwenden Sie IRI RowGen, wenn Sie Testdaten in JSON-Dateiformaten benötigen. RowGen ist in IRI Voracity enthalten und verwendet die gleichen Layout-Metadaten wie CoSort, NextForm und FieldShield, so dass Sie problemlos zwischen der Generierung von Testdaten und der Transformation echter Daten wechseln können.