Excel-Daten migrieren und verarbeiten

 

 

Konvertieren, Bereinigen, Integrieren und Maskieren von Tabellenkalkulationen

Überblick
CLF/ELF
CSV
Excel
JSON
LDIF
LS-RS-VS
MF-ISAM
MFVL
Text
Variabel geblockt
Vision
VSAM
XML

Herausforderungen

 

Excel-Tabellen sind allgegenwärtige Quellen und Ziele für strukturierte Daten und Prozesse, aber die Daten in diesen Tabellen beginnen und enden selten dort. Daten, die sich in anderen Formaten wie externen Dateien, Datenbanktabellen und URLs befinden, müssen zu Analyse- und Austauschzwecken in Tabellenkalkulationen eingespeist werden. Umgekehrt müssen die in Excel gespeicherten Daten in diese Quellen integriert oder in Anwendungen verwendet werden, die eine Verbindung zu diesen Quellen herstellen.

 

Das Problem ist, dass die Import- und Exportfunktionen von Excel zwar hilfreich, aber funktional begrenzt sind und manuelle Eingriffe und separate Schritte erfordern, um Datenkonvertierungsaufgaben zu bewältigen. Außerdem kann dieses Dienstprogramm nur Dateien mit Trennzeichen verarbeiten oder erzeugen, nicht aber Dateien mit festen Positionen, Datenbanken, Pipes oder Nachrichtenwarteschlangen.

 

Abgesehen von der Herausforderung der Datenmigration fehlt es Excel selbst an anderen wichtigen Datenintegrations- und Governance-Funktionen, und es kann seine eigenen Datenmanipulationsfunktionen nicht auf andere Quellen anwenden.

Lösungen

Ab CoSort v10 bieten die IRI Voracity Plattformsoftware und die unten verlinkten eigenständigen Komponentenprodukte Excel-Datenkonvertierungs- und -verarbeitungsfunktionen in mehreren Produkten. Wählen Sie je nach Bedarf:

Verwenden Sie das Produkt IRI NextForm, um Daten aus XLS- und XLSX-Dateien in DB-Tabellen zu verschieben, Blätter oder Bereiche in andere Dateiformate (wie CSV, LDIF, COBOL, JSON, XML usw.) oder aus anderen Formaten in Excel zu konvertieren. NextForm enthält einen XLS/X-Dateiparser, um automatisch die Feldlayouts (Und Sie können auf der Grundlage von Zeilen- oder Spaltenangaben in beide Richtungen gehen, so dass Sie auch Datenlayouts transponieren können) zu erstellen, die in Ihren Skripten für die Dateikonvertierung verwendet werden.

NextForm unterstützt auch die Konvertierung von Datentypen auf Feldebene und die Neuzuordnung von Datensatzlayouts. NextForm-Auftragsdefinitionen funktionieren auch in SortCL-kompatiblen Produkten wie Voracity, wenn Sie später ein Upgrade durchführen.

Verwenden Sie das SortCL-Programm in der IRI Voracity-Plattform oder im IRI CoSort-Paket, um Excel-Tabellen und andere strukturierte Datenziele zu konvertieren, zu transformieren, zu maskieren, Berichte daraus zu erstellen und neue zu erstellen.

Deklarieren Sie eine oder mehrere Excel- und Nicht-Excel-Dateien für die Ein- und Ausgabe als Teil eines SortCL-Jobs, der Daten beinhaltet:

  • CSV-Dateien transformieren (z.B. Sortieren, Verbinden, Aggregieren, Querrechnen, etc.)
  • CSV-Dateien in andere Dateiformate konvertieren und erstellen Sie CSV-Dateien aus diesen Formaten.
  • Bericht aus CSV-Dateiquellen

mit einem einfachen 4GL für Layout- und Manipulationsdefinitionen oder einer leistungsfähigen freien GUI auf Eclipse-Basis.

SortCL stellt Datenarchitekten, die mit Excel und anderen Quellen arbeiten müssen, alle diese Funktionen zur Verfügung, eine oder mehrere auf einmal. In dieser Artikelserie finden Sie weitere Details!

Verwenden Sie IRI CellShield oder IRI FieldShield, um Werte in Excel-Dateien zu verschlüsseln, zu maskieren oder anderweitig zu de-identifizieren, oder IRI DarkShield, wenn die Daten, die Sie in Ihren Tabellenblättern finden und maskieren müssen, weniger strukturiert sind (wie eingebettete Bilder oder Diagramme mit sensiblen Daten). Sehen Sie sich diesen Artikel an, in dem sie verglichen werden!

Verwenden Sie IRI RowGen, wenn Sie Ihr(e) Spreadhseet(s) mit realen, aber synthetischen Testdaten auffüllen müssen. Siehe Beispiel Nr. 1 in diesem Artikel. RowGen ist in IRI Voracity enthalten und verwendet dieselben Layout-Metadaten wie CoSort, NextForm und FieldShield, so dass Sie problemlos zwischen der Erzeugung von Testdaten und der Transformation von realen Daten, der Maskierung, der Berichterstellung usw. wechseln können.

Alle der oben genannten (und viele andere!) Anwendungsfälle werden über dieselben einfachen 4GL-Job-Skript-Metadaten für das Dateilayout und die Feldbearbeitung durchgeführt. Automatisches Erstellen, grafisches Ändern und Teamteilen dieser Metadaten-Assets in einer kostenlosen, vertrauten IDE auf Eclipse™ namens IRI Workbench.

      Produktlinks