Lösungen zur Datenintegration

Implementieren, was andere ETL-Tools nicht können

Überblick
Analytik
CDC
Datenqualität
Federation
PII-Maskierung
MDM
Migration
SCD
ETL & darüber hinaus

Macht Ihr ETL-Tool alles, was Sie benötigen und zwar auf eine Weise, die sich nahtlos in andere wichtige Datenverwaltungsaktivitäten integriert?

  • Wenn ja, und Sie sind mit der Leistung, dem Preis oder der Komplexität unzufrieden
  • Wenn nicht, und Sie Ihre Strategie zur Datenintegration, -verwaltung oder -verarbeitung modernisieren müssen

dann sollten Sie Ihre Strategie für Datenintegrationslösungen überdenken und insbesondere die Big Data ETL-Tools der IRI Voracity-Plattform prüfen.

Alle unten aufgeführten Funktionen werden von der Voracity Datenmanagement-Plattform und den enthaltenen IRI Paketen für Datensicherheit und für Datenmanagement unterstützt.

Die GUI bezieht sich auf die grafische Benutzeroberfläche IRI Workbench für Voracity. IRI Workbench ist die weit verbreitete, benutzerfreundliche integrierte Entwicklungsumgebung (IDE), die auf Eclipse™ aufbaut, um Daten in Voracity zu integrieren und zu transformieren.

DTP bezieht sich auf das „Data Tools Plugin“ (und den Data Source Explorer) in der IRI Workbench. DDF bezieht sich auf „Data Definition Files“, die einfachen und offenen Metadaten von IRI für Quell- und Zieldatenlayouts.

Erfahren Sie, wie Voracity jedes wichtige Datenintegrations-Paradigma unterstützt und beschleunigt:

Voracity ist die einzige moderne, leistungsstarke Datenintegrations- und Datenlebenszyklus-Management-Plattform, die Data Discovery (Profiling), Integration, Migration, Governance und Analytik in Eclipse kombiniert. Voracity wird von IRI CoSort oder nahtlosen MapReduce 2, Spark, Spark Stream, Storm oder Tez Motoren angetrieben. Jetzt lesen.

Weitere Details finden Sie hier.

Weitere Details finden Sie hier.

Weitere Details finden Sie hier.

Weitere Details finden Sie hier.

Häufig gestellte Fragen (FAQ)

Datenintegration ist der Prozess, Daten aus verschiedenen Quellen zu einer einheitlichen Sicht zusammenzuführen, um Analysen, Reporting, KI und Geschäftsprozesse zu unterstützen. Sie ist entscheidend, um Datensilos zu beseitigen, die Datenqualität zu verbessern und schnellere, fundiertere Entscheidungen zu ermöglichen.
IRI Voracity vereint Hochgeschwindigkeits-ETL, Datenmaskierung, Datenbereinigung, Migration, Testdatengenerierung und Reporting im selben Job und I/O-Durchlauf. Diese Konsolidierung reduziert die Komplexität, steigert die Performance und senkt die Kosten im Vergleich zu Multi-Tool-ETL-Umgebungen.
Voracity unterstützt ODBC- und hochperformante FACT-basierte Extraktion, CoSort-gestützte Transformationen sowie ODBC- oder DB-native Bulk-Loads. Zudem unterstützt es textuelles ETL mittels DarkShield-Suchen in unstrukturierten Dateien sowie Hadoop- und Spark-Umgebungen über die Voracity-Option VGrid für horizontal skalierte ETL-Vorgänge.
Ja. Voracity kann für Extraktions- und Ladeaufgaben (E & L) eingesetzt werden, während Transformationen (T) über eingebettete Logik oder externes SQL verwaltet oder gestaltet werden. Diese Flexibilität unterstützt sowohl ETL- als auch ELT-Workflows, je nach den Anforderungen des Unternehmens.
Ja. Voracity unterstützt nahtlose Datenmaskierung – etwa Verschlüsselung, Pseudonymisierung, Redaktion und Tokenisierung – direkt innerhalb von ETL-Jobs. Sie können Datenschutzregeln on-the-fly als Teil desselben Job-Skripts und derselben Verarbeitungspipeline anwenden.
Voracity bietet umfassende Funktionen zur Datenbereinigung, darunter Validierung, Anreicherung, Formatierung, Standardisierung und Deduplizierung – alles innerhalb desselben Transformations-Workflows.
Voracity unterstützt eine breite Palette strukturierter und semi-strukturierter Formate, darunter relationale Datenbanken, LDIF, COBOL, CSV, XML, JSON und proprietäre Formate. Zudem verbindet es sich mit Cloud-, SaaS-, Mainframe-, Legacy- und Big-Data-Systemen.
IRI Workbench ist die Eclipse-basierte GUI für Voracity und bietet visuelle Workflows, Job-Assistenten sowie einen syntaxbewussten Editor für Job-Design, Datenprofilierung, Transformation, Maskierung und Analysen – alles in einer einheitlichen Umgebung.
Voracity enthält CDC-Job-Assistenten, die Dateien oder Tabellen vergleichen, um Änderungen zu erkennen und zu melden. Diese können inkrementelle Updates an nachgelagerte Systeme liefern oder kleinere, schnellere ETL-Workflows antreiben. Weitere Informationen zum IRI-Ripcurrent-CDC-Modul in Voracity für Echtzeit-Datenreplikation, inkrementelle Datenmaskierung und Schema-Änderungsbenachrichtigung finden Sie in diesem Artikel.
Ja. Voracity bietet einen Assistenten, der alle gängigen Arten langsam veränderlicher Dimensionen mithilfe von Fuzzy-Lookup-Logik verarbeitet, um die historische Nachverfolgung von Änderungen an dimensionalen Daten zu unterstützen und zu dokumentieren.
Voracity unterstützt eingebettete BI-Funktionen wie Reporting und Zusammenfassung, Feeds an Plattformen wie KNIME und Splunk sowie Ausgabeformatierung für Tools wie Tableau, Power BI und Qlik. Dadurch wird eine schnellere Time-to-Insight ermöglicht, da Aufbereitung und Transformation bereits vor externen Analyse-Tools erfolgen.
Voracity verwaltet Metadaten über offene DDF-Formate, unterstützt Versionskontrolle über Git, SVN und andere Tools und bietet Lineage-Tracking über kostenlose Eclipse-Plug-ins oder die Integration mit dem Erwin Mapping Manager.
Job-Assistenten in Voracity automatisieren die Erstellung gängiger Workflows – ETL, Datenmaskierung, Testdatengenerierung, Change Data Capture, Subsetting, Pivotierung und mehr – und reduzieren so Entwicklungszeit und Anwenderfehler.
Ja. Voracity enthält integrierte Assistenten für IRI RowGen, die sichere, realistische und referenziell korrekte Testdaten von Grund auf generieren. Zudem unterstützt es Maskierung und Subsetting für Testdaten aus bestehenden Datenbanken.
Voracity eignet sich ideal für Unternehmen, die ETL, Datenmaskierung, Datenqualität und Analytik auf einer Plattform modernisieren oder konsolidieren möchten – besonders dort, wo Performance, Wirtschaftlichkeit und Governance (Compliance) im Vordergrund stehen.

Operation

Beschreibung

Profile/Entdecken

Entdecken Sie Daten in Pattern, Fuzzy und Dictionary-Suchen durch DBs, Dateien oder „Dark Data“ Dokumente. Führen Sie die traditionelle DB-Profilierung und E-R-Diagrammerstellung auf verbundenen Tabellen durch. Automatische Klassifizierung von Daten in Gruppen und Zuordnung zu Transformations-, Schutz- und anderen Regeln.

Design/Erstellen

Erstellen und ändern Sie Aufträge auf verschiedene Weisen: eine visuelle Workflow-Palette, End-to-End-Assistenten, GUI-Dialoge, batchfähige 4GL-Skripte und sogar eine Metadaten-API, die alle modelliert und im syntaxfähigen Editor der GUI skizziert sind…. und bearbeiten Sie sogar Ihre Flow- und Aufgabenskripte in jedem externen Texteditor.

Verbindungen

Verwalten Sie Ihre Datenbestände (einschließlich RDBs, LDIF, CSV, XML, COBOL und andere Dateien) im Eclipse Project Explorer, Data Source Explorer und Remote Systems Explorer. Unterstützt werden auch Mainframe-Indexdateien, unstrukturierte Datendateiformate, ASN.1-kompatible CDRs, mehrere Legacy/Proprietary-Formate sowie Big Data- und Cloud/SaaS-Plattformen; die vollständige Liste finden Sie hier.

Job-Assistenten

Automatisieren Sie die Generierung Ihrer ETL- oder eigenständigen Entlade-, Transformations- oder Ladeaufträge, plus sich langsam verändernde Dimensionen, Change Data Capture, Pivoting, Subsetting, Maskierung, Migration / Replikation und Testdatengenerierung / Populationsjobs. 

ETL

Hochleistungs-Einzel- oder kombinierte ETL-Operationen in Voracity, das heißt:

  1. Extrakte aus ODBC (chirurgisch) oder IRI FACT (Parallel Bulk)
  2. Optimierte und kombinierte IRI CoSort–Datentransformationen
  3. ODBC (chirurgisch) oder DB Utility (vorsortierte Bulk-Ladevorgänge)

Wenn Sie einzelne Quellen >10TB haben, kann Voracity auch viele CoSort (SortCL)-Transformations-, Umformatierungs- und Maskierungsjobs nahtlos in Hadoop MapReduce2, Spark, Spark Stream, Storm oder Tez über das VGrid-Gateway zu Ihrer (Cloudera, HortonWorks, MapR oder generischen Apache) Distribution ausführen.

ELT

Hochleistung „E“ und vorsortiert „L“. Design/Management „T“ in Voracity (oben) oder integrierte SQL-Operationen

BI & Analytik

Nutzen Sie die eingebetteten BI- oder Datenverarbeitungsoptionen in Voracity, d.h.:

  1. Generierung von Detail- und Übersichtsberichten im gleichen Durchgang mit ETL u.a.
  2. Einspeisung von KNIME über unseren Voracity-Datenquellenknoten oder Indizierung von Splunk über Voracity-App, Add-on oder Universal Forwarder
  3. Übergeben Sie anzeigbare Teilmengen an ein anderes Visualisierungstool wie Cognos, Power BI, Qlik, R, Spotfire, Tableau und viele andere, um die Zeit bis zur Einsicht in ihrer Plattform zu verkürzen, wo Voracity die schwere Arbeit für sie erledigt hat

Erfahren Sie, warum der DW-Industrie-Guru Dr. Barry Devlin Voracity als Production Analytic Platform bezeichnet hat.

Maskierung (Schutz)

Verschlüsseln, bearbeiten, pseudonymisieren, hash, randomisieren, tokenisieren oder anderweitig de-identifizieren Sie PII nahtlos, d.h. Datenmaskierung während des laufenden Betriebs im selben Jobskript und E/A-Durchlauf mit allen auf dieser Seite aufgeführten ETL-, Bereinigungs-, Migrations- und Analyse-/Berichtsfunktionen. Die wahre „Magie“ und der Wert von Voracity ist genau diese Art der Aufgabenkonsolidierung.

Scrubbing/Bereinigung

Verbessern Sie die Datenqualität mit einer Vielzahl von Daten-Scrubbing- und Standardisierungstechniken.

Migration & Replication

Erfassen, Filtern, Subsetting, Neuzuordnen und/oder Kopieren von Daten aus alten in neue Datenspeicher

Team-Sharing

Aktualisieren, Check-In, Verwalten und Austauschen von Metadaten und Aufträgen in GIT, CVS, SVN, DataSwitch, MIMB, Quest (Erwin / AnalytiX DS) Mapping Manager, etc.

Repositorien

Speichern, Freigeben und Wiederverwenden von DDF-Metadaten, Stammdatenwörterbüchern, Geschäftsglossaren, Setup-Dateien (Lookup), Regeln, Flow- und Job-Skripten.

Datenansichten

Sehen und arbeiten Sie direkt mit Ihren Quell- und Zieldaten in Dateien und Tabellen in benutzerdefinierten Editor- und Zellenanzeigen.

Schema

Verwenden Sie statische, dynamische oder konvertierte Schemas über Ziel-Mapping und Tabellenerstellungsoptionen.

Verfolgung

Kostenlose Eclipse-Plugins unterstützen das Handbuch, und der AnalytiX DS Mapping-Manager unterstützt die visuelle Analyse, die Datenablage und die Wirkungsanalyse. Verfolgen und vergleichen Sie Metadaten und andere Ressourcen (Skripte, Regeln, Vorlagen) in Version Control Hubs.

Job-Fragmente

Speichern, Verweisen und Wiederverwenden von Auftrags- und Metadaten-Subsets in eigenständigen, portablen DDF-Dateien, Regelbibliotheken und anderen offenen Artefakten.

Pivoting

Transponieren Sie Zeilen in Spalten und Spalten in Zeilen, um Ihre Daten effizient über einen einfachen Assistenten zu de-normieren oder zu normalisieren.

Change Data Capture

Vergleichen Sie Dateien oder Tabellen, um Updates für kleinere Echtzeit-ETLs mit Hilfe eines intuitiven Jobassistenten zu identifizieren, zu berichten und zu übertragen.

Langsam verändernde Dimensionen (SCD)

Bericht über Werte aus der „fuzzy“ Nachschlagelogik, wenn sie andere als gleiche Kriterien in allen gängigen Typen erfüllen, aus einem Assistenten.

Windowed-Aggregate

Aggregation innerhalb bestimmter Zeilenbereiche für eine faire Kostenrechnung und andere Anwendungen durchführen.

Regeln

Definition, Speicherung und Wiederverwendung von Geschäftsregeln auf Feldebene für die Datentransformation, den Schutz und die Generierung von Testdaten.

Prototyp & Test

Generieren und laden Sie sichere, realistische und referenzkorrekte Testdaten in Datei- oder Tabellenzielen – ohne echte Daten – für eine gesamte EDW in Voracity’s eingebautem IRI RowGen-Assistenten. Oder verwenden Sie den integrierten DB-Subsetting-Assistenten von Voracity, um referenziell korrekte DB-Testsätze zu filtern und zu maskieren. Oder sehen Sie sich die Ausgabe von ETL und anderen Workflow-Aufgaben mit echten Daten oder sofort simulierten Testdaten im gleichen Format an.