Implementierung der Datenintegration


Ausgewählte operative Fähigkeiten

ETL & darüber hinaus

 

Macht Ihr ETL-Tool alles, was Sie benötigen und zwar auf eine Weise, die sich nahtlos in andere wichtige Datenverwaltungsaktivitäten integriert?

 

· Wenn ja, und Sie sind nicht zufrieden mit Geschwindigkeit und Preis; oder:

· Wenn nicht, und Sie nach etwas Besserem´suchen.....

dann sollten Sie sich IRI Voracity ansehen!

 

Alle unten aufgeführten Funktionen werden von der Voracity Datenmanagement-Plattform und den enthaltenen IRI Paketen für Datensicherheit und für Datenmanagement unterstützt.

 

Die GUI bezieht sich auf die grafische Benutzeroberfläche der IRI Workbench für Voracity. IRI Workbench ist eine kostenlose integrierte Entwicklungsumgebung (IDE), die auf Eclipse™ basiert und für die Integration und Transformation von Daten mit SortCL oder nahtlosen Hadoop-Jobs, die in Voracity entwickelt und verwaltet werden, entwickelt wurde.

 

DTP bezieht sich auf das "Data Tools Plugin" (und den Data Source Explorer) in der IRI Workbench. DDF bezieht sich auf "Data Definition Files", die einfachen und offenen Metadaten von IRI für Quell- und Zieldatenlayouts.

Erfahren Sie, wie Voracity jedem wichtigen Datenintegrationsparadigma zugrunde liegt und es beschleunigt:

Voracity in DW/EDW

Weitere Details finden Sie hier.

Voracity in ODS/EDH

Weitere Details finden Sie hier.

Voracity in LDW/VDW

Weitere Details finden Sie hier.

Voracity im Data Lake

Weitere Details finden Sie hier.

Voracity produktionsanalytische Plattform

Weitere Details finden Sie hier.

Operation

Beschreibung

Profile/Entdecken

Entdecken Sie Daten in Pattern, Fuzzy und Dictionary-Suchen durch DBs, Dateien oder "Dark Data" Dokumente. Führen Sie die traditionelle DB-Profilierung und E-R-Diagrammerstellung auf verbundenen Tabellen durch. Automatische Klassifizierung von Daten in Gruppen und Zuordnung zu Transformations-, Schutz- und anderen Regeln.

Design/Erstellen

Erstellen und ändern Sie Aufträge auf verschiedene Weisen: eine visuelle Workflow-Palette, End-to-End-Assistenten, GUI-Dialoge, batchfähige 4GL-Skripte und sogar eine Metadaten-API, die alle modelliert und im syntaxfähigen Editor der GUI skizziert sind.... und bearbeiten Sie sogar Ihre Flow- und Aufgabenskripte in jedem externen Texteditor.

Verbindungen

Verwalten Sie Ihre Datenbestände (einschließlich RDBs, LDIF, CSV, XML, COBOL und andere Dateien) im Eclipse Project Explorer, Data Source Explorer und Remote Systems Explorer. Unterstützt werden auch Mainframe-Indexdateien, unstrukturierte Datendateiformate, ASN.1-kompatible CDRs, mehrere Legacy/Proprietary-Formate sowie Big Data- und Cloud/SaaS-Plattformen; die vollständige Liste finden Sie hier.

Job-Assistenten

Automatisieren Sie die Generierung Ihrer ETL- oder eigenständigen Entlade-, Transformations- oder Ladeaufträge, plus sich langsam verändernde Dimensionen, Change Data Capture, Pivoting, Subsetting, Maskierung, Migration / Replikation und Testdatengenerierung / Populationsjobs. 

ETL

Hochleistungs-Einzel- oder kombinierte ETL-Operationen in Voracity, das heißt:

1. Extrakte aus ODBC (chirurgisch) oder IRI FACT (Parallel Bulk)

2. Optimierte und kombinierte IRI CoSort-Datentransformationen

3. ODBC (chirurgisch) oder DB Utility (vorsortierte Bulk-Ladevorgänge)

Wenn Sie einzelne Quellen >10TB haben, kann Voracity auch viele CoSort (SortCL)-Transformations-, Umformatierungs- und Maskierungsjobs nahtlos in Hadoop MapReduce2, Spark, Spark Stream, Storm oder Tez über das VGrid-Gateway zu Ihrer (Cloudera, HortonWorks, MapR oder generischen Apache) Distribution ausführen.

ELT

Hochleistung "E" und vorsortiert "L". Design/Management "T" in Voracity (oben) oder integrierte SQL-Operationen

BI & Analytik

Generieren Sie Detail- und Zusammenfassungsberichte im selben Durchgang, nutzen Sie BIRT oder Splunk durch Voracity oder übergeben Sie Daten an ein anderes Visualisierungstool.

Maskierung (Schutz)

Verschlüsseln, bearbeiten, pseudonymisieren, hash, randomisieren, tokenisieren oder anderweitig de-identifizieren Sie PII nahtlos.

Scrubbing/Bereinigung

Verbessern Sie die Datenqualität mit einer Vielzahl von Daten-Scrubbing- und Standardisierungstechniken.

Migration & Replication

Erfassen, Filtern, Subsetting, Neuzuordnen und/oder Kopieren von Daten aus alten in neue Datenspeicher

Team-Sharing

Aktualisieren, Check-In, Verwalten und Austauschen von Metadaten und Aufträgen in GIT, CVS, SVN, AnalytiX DS Mapping Manager, etc.

Repositorien

Speichern, Freigeben und Wiederverwenden von DDF-Metadaten, Stammdatenwörterbüchern, Geschäftsglossaren, Setup-Dateien (Lookup), Regeln, Flow- und Job-Skripten.

Datenansichten

Sehen und arbeiten Sie direkt mit Ihren Quell- und Zieldaten in Dateien und Tabellen in benutzerdefinierten Editor- und Zellenanzeigen.

Schema

Verwenden Sie statische, dynamische oder konvertierte Schemas über Ziel-Mapping und Tabellenerstellungsoptionen.

Verfolgung

Kostenlose Eclipse-Plugins unterstützen das Handbuch, und der AnalytiX DS Mapping-Manager unterstützt die visuelle Analyse, die Datenablage und die Wirkungsanalyse. Verfolgen und vergleichen Sie Metadaten und andere Ressourcen (Skripte, Regeln, Vorlagen) in Version Control Hubs.

Job-Fragmente

Speichern, Verweisen und Wiederverwenden von Auftrags- und Metadaten-Subsets in eigenständigen, portablen DDF-Dateien, Regelbibliotheken und anderen offenen Artefakten.

Pivoting

Transponieren Sie Zeilen in Spalten und Spalten in Zeilen, um Ihre Daten effizient über einen einfachen Assistenten zu de-normieren oder zu normalisieren.

Change Data Capture

Vergleichen Sie Dateien oder Tabellen, um Updates für kleinere Echtzeit-ETLs mit Hilfe eines intuitiven Jobassistenten zu identifizieren, zu berichten und zu übertragen.

Langsam verändernde Dimensionen (SCD)

Bericht über Werte aus der "fuzzy" Nachschlagelogik, wenn sie andere als gleiche Kriterien in allen gängigen Typen erfüllen, aus einem Assistenten.

Windowed-Aggregate

Aggregation innerhalb bestimmter Zeilenbereiche für eine faire Kostenrechnung und andere Anwendungen durchführen.

Regeln

Definition, Speicherung und Wiederverwendung von Geschäftsregeln auf Feldebene für die Datentransformation, den Schutz und die Generierung von Testdaten.

Prototyp & Test

Generieren und laden Sie sichere, realistische und referenzkorrekte Testdaten in Datei- oder Tabellenzielen - ohne echte Daten - für eine gesamte EDW in Voracity's eingebautem IRI RowGen-Assistenten. Oder verwenden Sie den integrierten DB-Subsetting-Assistenten von Voracity, um referenziell korrekte DB-Testsätze zu filtern und zu maskieren. Oder sehen Sie sich die Ausgabe von ETL und anderen Workflow-Aufgaben mit echten Daten oder sofort simulierten Testdaten im gleichen Format an.

BBBT Podcast

 

Wie IRI und Voracity in DW/BI helfen: jetzt anhören.