JSON-Dateien

 

 

Konvertieren, Transformieren, Maskieren, Berichten, Testen

Herausforderungen

 

JSON ist eine beliebte Datensprache und ein semi-strukturiertes Dateiaustauschformat, das in großen Datenanwendungen, NoSQL-Datenbanksammlungen und IoT-Datenströmen üblich ist. Konvertierungen zwischen Legacy-Index oder Flat-Files und JSON basieren jedoch auf Slow-Parsing-Technologien, die nicht gleichzeitig die Verarbeitung ermöglichen.

 

Andere JSON-Abfrage- oder Transformationswerkzeuge auf dem Markt können große Mengen an JSON-Daten nicht oder nur unzureichend in analytische Teilmengen umwandeln oder Informationen schnell oder gar nicht sammeln. Es gab keine effiziente Möglichkeit, riesige JSON-Dateien schnell zu konvertieren, zu verarbeiten, zu schützen oder zu erstellen.

 

Beispielsweise kann es erforderlich sein:

 

· Sortieren einer riesigen JSON-Datei

· Extrahieren von Daten oder Berichten aus einer JSON-Datei

· Konvertieren einer CSV-, LDIF- oder anderen Datei in JSON

· Konvertieren Sie JSON in Text, CSV, LDIF, ISAM, etc.

· Daten in einer JSON-Datei mit einer anderen JSON- oder einer anderen Quelle verknüpfen

· Maskieren, Verschlüsseln oder anderweitiges Deidentifizieren von PII in einer JSON-Datei

· Laden von JSON-Daten in eine Tabellenkalkulation oder Datenbank

· Erstellen einer JSON-Datei aus einer Alt- oder Extraktdatei

· Generierung von Testdaten in JSON-Dateiformaten

 
Möglicherweise müssen Sie sogar mehr als eine dieser Funktionen gleichzeitig ausführen, und zwar bei vielen massiven Quell- und Zieldateien.

Lösungen

Ab CoSort v10 liefert IRI JSON-Datenkonvertierungs- und Verarbeitungsfunktionen in mehreren Produkten. Wählen Sie nach Bedarf:

Nur JSON-Dateikonvertierung

Verwenden Sie das IRI NextForm, um JSON-Dateien* in DB-Tabellen zu verschieben, eine JSON-Datei in ein anderes Dateiformat (wie CSV, LDIF, COBOL, XML, etc.) zu konvertieren oder von einem anderen Dateiformat in JSON zu konvertieren.

NextForm enthält einen JSON-Dateiparser, um automatisch die in den Dateikonvertierungsskripten verwendeten Feldlayouts zu erstellen. NextForm unterstützt auch die Datentypkonvertierung auf Feldebene und die Neuzuordnung von Datensatzlayouts. NextForm-Auftragsdefinitionen funktionieren auch in SortCL-kompatiblen Produkten wie Voracity, wenn Sie später aktualisieren.

* Es gibt zunächst bekannte Einschränkungen bei der Behandlung von Funktionsaufrufen und mehreren Array-Elementen in unstrukturierten JSON-Dateien. Geben Sie dem IRI einen Probe zur Analyse, wenn möglich.

JSON-Dateikonvertierung, Transformation, Maskierung und/oder Berichterstellung

Verwenden Sie das Programm SortCL in der IRI Voracity-Plattform oder im IRI CoSort-Paket, um JSON-Dateien und andere Ziele, die strukturierte Daten darstellen, zu konvertieren, zu transformieren, zu maskieren, zu berichten und neu zu erstellen.

Deklarieren Sie eine oder mehrere JSON- und Nicht-JSON-Dateien für die Ein- und Ausgabe als Teil eines jeden SortCL-Jobs, der Daten beinhaltet:

Filterung (Auswahl, Scrubbing, Links zu DQ-Tools)
Transformation (Sortierung, Zusammenführung, Aggregation, Berechnung, etc.)
Konvertierung (Datentyp- und Dateiformat-Migrationen)
Berichterstattung (CDC, Detail- und Zusammenfassungsformate)

Schutz (Feldverschlüsselung, De-ID, Maskierung)

SortCL stellt all diese Funktionen, eine oder mehrere auf einmal, Datenarchitekten zur Verfügung, die mit JSON und anderen Quellen arbeiten müssen.

JSON Datenschutz

Verwenden Sie IRI FieldShield, um Werte in strukturierten JSON-Dateien zu verschlüsseln, zu maskieren oder anderweitig zu de-identifizieren, oder IRI DarkShield, wenn die Daten, die Sie in ihnen finden und maskieren müssen, oder NoSQL DBs weniger strukturiert sind. FieldShield und DarkShield befinden sich beide innerhalb der IRI Voracity-Plattform.

JSON Testdaten

Verwenden Sie IRI RowGen, wenn Sie Testdaten in JSON-Dateiformaten benötigen. RowGen ist in IRI Voracity enthalten und verwendet die gleichen Layout-Metadaten wie CoSort, NextForm und FieldShield, so dass Sie problemlos zwischen der Generierung von Testdaten und der Transformation echter Daten wechseln können.