Data Integration Solutions

Implement what other ETL tools cannot

ETL & furthermore

Does your ETL tool do everything you need in a way that seamlessly integrates with other critical data management activities?

  • If so, and you are dissatisfied with the performance, price, or complexity
  • Otherwise, and you need to modernize your data integration, management, or processing strategy

then you should rethink your strategy for data integration solutions, especially the Big Data ETL tools from IRI Voracity platform check.

All of the functions listed below are provided by the Voracity data management platform and its included IRI packages for Data security and for Data management supported.

The GUI refers to the graphical user interface IRI Workbench For Voracity. IRI Workbench is the widely used, user-friendly Integrated Development Environment (IDE) built on Eclipse™ to integrate and transform data in Voracity.

DTP refers to the „Data Tools Plugin“ (and the Data Source Explorer) in IRI Workbench. DDF refers to „Data Definition Files,“ which are simple and open Metadata from IRI for source and target data layouts.

Learn how Voracity supports and accelerates every major data integration paradigm:

Voracity is the only modern, high-performance data integration and data lifecycle management platform that combines data discovery (profiling), integration, migration, governance, and analytics in Eclipse. Voracity is powered by IRI CoSort or seamless MapReduce 2, Spark, Spark Stream, Storm, or Tez engines. Read now.

See more details here.

See more details here.

See more details here.

See more details here.

Frequently Asked Questions (FAQ)

Datenintegration ist der Prozess, Daten aus verschiedenen Quellen zu einer einheitlichen Sicht zusammenzuführen, um Analysen, Reporting, KI und Geschäftsprozesse zu unterstützen. Sie ist entscheidend, um Datensilos zu beseitigen, die Datenqualität zu verbessern und schnellere, fundiertere Entscheidungen zu ermöglichen.
IRI Voracity vereint Hochgeschwindigkeits-ETL, Datenmaskierung, Datenbereinigung, Migration, Testdatengenerierung und Reporting im selben Job und I/O-Durchlauf. Diese Konsolidierung reduziert die Komplexität, steigert die Performance und senkt die Kosten im Vergleich zu Multi-Tool-ETL-Umgebungen.
Voracity unterstützt ODBC- und hochperformante FACT-basierte Extraktion, CoSort-gestützte Transformationen sowie ODBC- oder DB-native Bulk-Loads. Zudem unterstützt es textuelles ETL mittels DarkShield-Suchen in unstrukturierten Dateien sowie Hadoop- und Spark-Umgebungen über die Voracity-Option VGrid für horizontal skalierte ETL-Vorgänge.
Ja. Voracity kann für Extraktions- und Ladeaufgaben (E & L) eingesetzt werden, während Transformationen (T) über eingebettete Logik oder externes SQL verwaltet oder gestaltet werden. Diese Flexibilität unterstützt sowohl ETL- als auch ELT-Workflows, je nach den Anforderungen des Unternehmens.
Ja. Voracity unterstützt nahtlose Datenmaskierung – etwa Verschlüsselung, Pseudonymisierung, Redaktion und Tokenisierung – direkt innerhalb von ETL-Jobs. Sie können Datenschutzregeln on-the-fly als Teil desselben Job-Skripts und derselben Verarbeitungspipeline anwenden.
Voracity bietet umfassende Funktionen zur Datenbereinigung, darunter Validierung, Anreicherung, Formatierung, Standardisierung und Deduplizierung – alles innerhalb desselben Transformations-Workflows.
Voracity unterstützt eine breite Palette strukturierter und semi-strukturierter Formate, darunter relationale Datenbanken, LDIF, COBOL, CSV, XML, JSON und proprietäre Formate. Zudem verbindet es sich mit Cloud-, SaaS-, Mainframe-, Legacy- und Big-Data-Systemen.
IRI Workbench ist die Eclipse-basierte GUI für Voracity und bietet visuelle Workflows, Job-Assistenten sowie einen syntaxbewussten Editor für Job-Design, Datenprofilierung, Transformation, Maskierung und Analysen – alles in einer einheitlichen Umgebung.
Voracity enthält CDC-Job-Assistenten, die Dateien oder Tabellen vergleichen, um Änderungen zu erkennen und zu melden. Diese können inkrementelle Updates an nachgelagerte Systeme liefern oder kleinere, schnellere ETL-Workflows antreiben. Weitere Informationen zum IRI-Ripcurrent-CDC-Modul in Voracity für Echtzeit-Datenreplikation, inkrementelle Datenmaskierung und Schema-Änderungsbenachrichtigung finden Sie in diesem Artikel.
Ja. Voracity bietet einen Assistenten, der alle gängigen Arten langsam veränderlicher Dimensionen mithilfe von Fuzzy-Lookup-Logik verarbeitet, um die historische Nachverfolgung von Änderungen an dimensionalen Daten zu unterstützen und zu dokumentieren.
Voracity unterstützt eingebettete BI-Funktionen wie Reporting und Zusammenfassung, Feeds an Plattformen wie KNIME und Splunk sowie Ausgabeformatierung für Tools wie Tableau, Power BI und Qlik. Dadurch wird eine schnellere Time-to-Insight ermöglicht, da Aufbereitung und Transformation bereits vor externen Analyse-Tools erfolgen.
Voracity verwaltet Metadaten über offene DDF-Formate, unterstützt Versionskontrolle über Git, SVN und andere Tools und bietet Lineage-Tracking über kostenlose Eclipse-Plug-ins oder die Integration mit dem Erwin Mapping Manager.
Job-Assistenten in Voracity automatisieren die Erstellung gängiger Workflows – ETL, Datenmaskierung, Testdatengenerierung, Change Data Capture, Subsetting, Pivotierung und mehr – und reduzieren so Entwicklungszeit und Anwenderfehler.
Ja. Voracity enthält integrierte Assistenten für IRI RowGen, die sichere, realistische und referenziell korrekte Testdaten von Grund auf generieren. Zudem unterstützt es Maskierung und Subsetting für Testdaten aus bestehenden Datenbanken.
Voracity eignet sich ideal für Unternehmen, die ETL, Datenmaskierung, Datenqualität und Analytik auf einer Plattform modernisieren oder konsolidieren möchten – besonders dort, wo Performance, Wirtschaftlichkeit und Governance (Compliance) im Vordergrund stehen.

Operation

Description

Profile/Discover

Discover Data In Pattern, fuzzy, and dictionary searches through DBs, files, or „dark data“ documents. Perform traditional DB profiling and ER diagramming on connected tables. Automatic classification of data into groups and assignment to transformation, protection, and other rules.

Design/Create

Create and change It handles orders in various ways: a visual workflow palette, end-to-end assistants, GUI dialogs, batchable 4GL scripts, and even a metadata API, all modeled and outlined in the GUI's syntax-aware editor... and even edit your flow and task scripts in any external text editor.

Connections

Manage your Databases (including RDBs, LDIF, CSV, XML, COBOL, and other files) in the Eclipse Project Explorer, Data Source Explorer, and Remote Systems Explorer. Also supported are mainframe index files, unstructured data file formats, ASN.1-compliant CDRs, multiple legacy/proprietary formats, as well as Big Data and cloud/SaaS platforms; see the full list here.

Job Assistant

Automate the generation of your ETL or standalone Extract, Transform, or Load jobs, plus Slowly Changing Dimensions, Change Data Capture, Pivoting, Subsetting, Masking, Migration/Replication, and Test Data Generation. Population of jobs. 

ETL

High-performance single or combined ETL operations in Voracity, that is to say:

  1. Extracts from ODBC (surgical) or IRI FACT (Bulk Parallel)
  2. Optimized and combined IRI CoSort–Data transformations
  3. ODBC (surgical) or DB Utility (pre-sorted bulk-Charging processes)

If you have individual sources >10TB, Voracity can also handle many CoSort (SortCL) transformation, reformatting, and masking jobs seamlessly in Hadoop MapReduce2, Spark, Spark Streaming, Storm, or Tez over the VGrid-Gateway run on your (Cloudera, HortonWorks, MapR, or generic Apache) distribution.

ELT

High performance „E“ and pre-sorted „L“. Design/Management „T“ in Voracity (above) or integrated SQL operations

BI & Analytics

Use the embedded BI or data processing options in Voracity, i.e.:

  1. Generation of Detailed and summary reports in the same pass with ETL, among others.
  2. Ingestion from KNIME via our Voracity data source node or indexing of Splunk via Voracity App, Add-on, or Universal Forwarder
  3. Pass displayable subsets to another visualization tool such as Cognos, Power BI, Qlik, R, Spotfire, Tableau, and many others, to shorten the time to insight on their platform, where Voracity has done the heavy lifting for them

Learn why the Industry Guru Dr. Barry Devlin Voracity, referred to as a production analytics platform.

Masking (Protection)

Encrypt, edit, pseudonymize, hash, randomize, tokenize, or otherwise de-identify PII seamlessly, i.e. data masking during runtime in the same job script and I/O pass with all ETL, cleansing, migration, and analysis/reporting functionalities listed on this page. The true „magic“ and value of Voracity is precisely this type of task consolidation.

Scrubbing/cleaning

Improve the Data quality with a variety of data scrubbing and standardization techniques.

Migration & Replication

Capturing, filtering, subsetting, remapping, and/or copying data from old to new data stores

Team-Sharing

Update, check-in, manage, and exchange metadata and orders in GIT, CVS, SVN, DataSwitch, MIMB, Quest (Erwin / AnalytiX DS) Mapping Manager, etc.

Repositories

Save, Share, and Reuse DDFMetadata, master data dictionaries, business glossaries, setup files (lookup), rules, flow and job scripts.

Data views

View and work directly with your source and target data in files and tables using custom editor and cell views.

Scheme

Use static, dynamic, or converted schemas about target mapping and table creation options.

Persecution

Free Eclipse plugins support the manual, and the AnalytiX DS Mapping Manager supports visual analysis, data staging, and impact analysis. Track and compare You metadevices and other resources (scripts, rules, templates) in Version Control Hubs.

Job Fragments

Storing, referencing, and reusing order and metadata subsets in standalone, portable DDF files, rule libraries, and other open artifacts.

Pivoting

Transpose Convert rows to columns and columns to rows to efficiently denormalize or normalize your data using a simple wizard.

Change Data Capture

Compare Identify, report, and transfer files or tables for updates to smaller real-time ETLs using an intuitive job wizard.

Slowly Changing Dimensions

Report using values from "fuzzy" reference logic, provided they meet criteria other than identical criteria in all common types, via a wizard.

Windowed-Aggregate

Perform aggregation within specific row ranges for fair cost accounting and other applications.

Rules

Definition, storage, and reuse of field-level business rules for data transformation, protection, and test data generation.

Prototype & Test

Generate and download secure, realistic, and reference-correct Test data in file or table targets - without actual data - for an entire EDW in Voracity's built-in IRI RowGen-assistants. Or use the built-in DB Subset Assistant from Voracity, to filter and mask referentially correct DB test sets. Or look at the output of ETL and other workflow tasks with real data or immediately with simulated test data in the same format.