Höchste Effizienz

Architektonische Herausforderungen

IRI Lösungen

Strukturierte Big Data Integrations-, Bereinigungs- und Konvertierungsaufgaben dauern zu lange oder beruhen auf komplexen Transformationen in:

· Aufwändige ETL- oder Sortierwerkzeuge

· Shell- oder 3GL-Programme

· SQL Joins oder Prozeduren

· Datenqualität oder BI-Applikationen

IRI Voracity, die gesamte Datenmanagement-Plattform auf Basis von CoSort, Hadoop und Eclipse.

Die Metadaten-Definitions-Sprache und die Standardverarbeitungs-Engine für die Datenmanipulation in Voracity und der gesamten IRI-Software ist das Programm Sort Control Language (SortCL), das ursprünglich für IRI CoSort-Anwender entwickelt wurde. SortCL verwendet eine offene Sprache der vierten Generation (4GL), um Transformationen und Zuordnungen im selben Jobskript und I/O-Pass zu definieren, zu kombinieren und zu optimieren.

Sie können SortCL auch für die Datenbereinigung (Datenqualität) und die Maskierung von PII-Daten sowie für das Reporting (und begrenzte Analysen) oder die Datenaufbereitung für Ihre BI-Plattform verwenden.

Erstellen Sie SortCL-Aufträge automatisch in der kostenlosen Eclipse-GUI (IRI Workbench), und ändern Sie sie grafisch und visuell in der ETL-Palette. Planen und Ausführen von Aufträgen innerhalb oder außerhalb der Benutzeroberfläche und teilen Sie sie im Team in Repositories wie EGit. Voracity Großdatenbenutzer können SortCL-Transformationsaufträge auch nahtlos in Hadoop MapReduce 2, Spark, Spark Stream, Storm und Tez steuern. Benutzer von Legacy ETL-Tools können ihre Aufträge über die AnalytiX DS-Technologie in Voracity umwandeln.

Das eigenständige NextForm-Produkt von IRI ist ein SortCL-Spin-off, das speziell für die Konvertierung entwickelt wurde: Datentypen, Endianess, Datensatzlayouts, Dateiformate und Datenbanken. Die auf Eclipse™ basierende IRI Workbench GUI unterstützt auch Voracity ETL- und eigenständige SortCL-Aufträge sowie NextForm-Datenmigration, FieldShield-Datenmaskierung und RowGen-Testdatenoperationen.

Changed data capture (CDC) und andere Reports in getrennten Schritten oder Produkten laufen. Bei hohem Volumen sind sie zu langsam.

Verwenden Sie den Multi-Source-Assistenten zur Erfassung von Bulk-/Change Data Capture in Voracity und planen Sie seine Aufträge in nahezu Echtzeit mit einer hochauflösenden Einstellung im Taskplaner für die inkrementelle Datenreplikation.

Sie können auch SortCL-Aufträge erstellen, die Daten in benutzerdefinierten Detail- und Übersichtsberichte transformieren und neu zuordnen. Die Berichte können verwendet werden für:

· Abrechnung und Kundendatenintegration

· Clickstream und andere Analysen (BI)

· Markieren und Bearbeiten von Einfügungen, Updates, Löschungen und keine Änderungen

· Slowly Changing Dimensions (SCD)

· Verwendung von Lookups und Fuzzy-Logic-Kriterien zur Erkennung von Trends

SortCL führt auch BIRT-Reports im Speicher innerhalb der Eclipse GUI, IRI Workbench oder Splunk mit einem Voracity-Add-on.

Die meisten Verschlüsselungsmethoden schützen nur Daten in einer Datenbank oder weit mehr als nur die Felder, die Sie schützen müssen. Umgekehrt tun die meisten Datenmaskierungsprodukte zu wenig.

Voracity- oder SortCL-Aufträge, die Daten transformieren, migrieren und melden (oben), können gleichzeitig auch gefährdete Daten schützen. Wenden Sie Verschlüsselung auf Feldebene, Canned- und benutzerdefinierte Datenmaskierung, De-ID, Hashing, Randomisierung, Substring, Ausdruck, Pseudonymisierung, Verschiebung und benutzerdefinierte Funktionen an. Bestimmen Sie das Re-ID-Risiko mit von Kollegen genehmigten Statistikfunktionen und Scores. Nutzen Sie auch Schlüsselverwaltung, Tokenisierung und Auditierung.

Sensible Tools zur Datenklassifizierung, -erkennung und -maskierung in der IRI Datenschutz Suite - IRI FieldShield, DarkShield und IRI CellShield - unterstützen die Einhaltung der Vorschriften des Datenschutzgesetzes (CCPA, GDPR, HIPAA, PCI-DSS.).

Testdaten müssen echt aussehen, aber die Verwendung von Produktionsdaten für Tests ist unsicher, nicht verfügbar oder anderweitig inakzeptabel. Andere Tools erfordern Sub-Einstellung und Maskierung und haben keine große Datengeschwindigkeit und Vielseitigkeit.

Voracity oder SortCL-Aufträge, die Daten transformieren, migrieren, berichten und sichern (oben), können auch verwendet werden, um sichere, intelligente Testdaten zu erzeugen, ohne echte Datenbanken oder Dateien zu benötigen. Das gleiche 4GL hinter SortCL-Datendefinitionen und -manipulationen steckt hinter dem IRI RowGen Testdatenpaket (das in Voracity enthalten ist und auch Testdaten für ETL-Aufgabenvorschauen bereitstellt!).

Wechseln Sie einfach zwischen der Generierung von Testdaten und der Verarbeitung und Präsentation von realen Daten. Verwenden Sie in der IRI-Workbench (Eclipse GUI) SortCL oder RowGen, um strukturell und referenziell korrekte Testdaten für Datenbanktabellen sowie benutzerdefinierte Datei- und Berichtsformate mit einer Mischung aus zufällig ausgewählten/generierten Daten zu erstellen.

Weitere Funktionen sind:

· Test von All-Pairs und verbundenen (gültigen) Paaren

· Canned- und benutzerdefinierte Wertevorkommen (Häufigkeit) Verteilung

· zusammengesetzte (oder Stamm-)Datentyp-Konstruktion

· automatisierte Parsing, Generierungs- und DB-Populationsaufträge, die auf jeder Plattform ausgeführt werden können.

Master Data Management (MDM)-Hubs sind zu teuer und komplex.

Sie können auch Referenzdaten und Metadaten, Stammdaten und Stammdaten vereinfachen durch: die gemeinsame Syntax von SortCL und seinem DDF-Format (Data Definition File), die Funktion SortCL /TEMPLATE (composite value) und den zukünftigen grafischen IRI Workbench Hub für:

· Referenzdaten => Lokale und entfernte Dateien, DB-Tabellen, SET-Dateien

· Referenz-Metadaten => DDF-Dateien

· Stammdaten => Stammdatenwerte bereinigen, vereinheitlichen und anlegen

· Master-Metadaten => Masterdaten DDF- und/oder Fragmentdateien

· Transformations-, Schutz- und Testdatengenerierungsregeln

Sehr große Datenbank (VLDB) Utility-Operationen wie Entladen, Laden, Migration, Abfragen und Reorgs sind zu langsam.

Das IRI FACT (Fast Extract) Tool für Oracle, DB2, Sybase, SQL Server, MySQL, Tibero und Altibase entlädt Tabellen parallel in Flat-Files. FACT erstellt auch SortCL DDF- und Loader-Control-Datei-Metadaten für optionale ETL- oder Offline-Reorgan-Operationen (unload/sort/reload). CoSort sortiert Geschwindigkeitslasten vorab. Dies erleichtert die Pflege großer Faktentabellen in optimaler Reihenfolge der Abfragen, was zu einer schnelleren Nachschlage- und Antwortleistung führt.

Ein altes Sortierwerkzeug ist zu langsam, teuer oder unflexibel.

IRI CoSort hat Plug'n'Play-Sortierersätze, Sortierroutinen zur Parm-Konvertierung und/oder geschäftliche Anreize, um Ihren aktuellen Sort zu verlassen.