Werfen Sie einen genaueren Blick auf FACT


Schnelles Entladen von Oracle und anderen VLDBs

IRI FACT™ (Fast Extract) lädt große Tabellen schnell in externe Dateien mit DB-nativen APIs, SQL SELECT-Syntax und einer Auswahl an Split-(parallelen) Abfragemethoden.

 

Im Gegensatz zu anderen Methoden des Datenbank-Entladens (z.B. Oracle Data Pump) erstellt FACT portable Flat-Files. Ihre "Dump-Table-to-File"-Daten sind somit für jeden Zweck schnell verfügbar, einschließlich: Reorgs, Transformationen, Preload-Sortierung, Migrationen, Änderungs- und Zusammenfassungsberichte, ETL, Replikation, Tests und Schutz.

 

Wenn Sie auch die IRI Voracity-Plattform oder das Produkt IRI CoSort verwenden, können Sie mit dem Programm SortCL alle diese Schritte nach der Extraktion auf einmal durchführen oder beschleunigen. Sie müssen aber nicht SortCL verwenden, d.h. sobald sich die Daten in Flat-Files befinden können Sie mit ihnen alles tun was Sie wollen.

Geschwindigkeit

Die Extraktleistung von FACT ist unübertroffen. Mit überlegenen Verbindungsprotokollen, parallelen Hinweisen und Abfragen und einer Vielzahl anderer proprietärer Techniken ist die Entladerate von FACT viel schneller als bei Datenbankspool- oder Exportfunktionen.

Benchmarks zeigen auch, dass Flat Files durch FACT um ein Vielfaches schneller erzeugt werden als durch SQL*Plus oder ODBC-Operationen. FACT verbraucht wenig Systemressourcen und erfordert keinen Lastausgleich.

Formatierung

FACT enthält mehrere nützliche Datei-Layout-Optionen, darunter:

    benutzerdefinierte Datums- und Zeitstempelformatierung
    Neuausrichtung numerischer Daten
    Formatierung von festen oder variablen Datensätzen
    Trennzeichen- und Rahmenzeichenauswahl
    Spaltenbeschnitt (mit Reduzierung)
    gepackt Dezimal in numerische Umwandlung
    Varchar Längenanzeigen
    Null-Nummer Casting
    Entfernen von Zeilenumbrüchen und Zeichen

Aufruf

Um eine unterstützte Datenbank zu entladen, führen Sie FACT von der Befehlszeile aus:

fact ini_file

oder von der kostenlosen IRI Workbench GUI, gebaut auf Eclipse™. Workbench-Benutzer der IRI Voracity-Plattform für ETL und andere Datenmanagement-Aktivitäten können die FACT-Spezifikation und -Ausführung auch über verschiedene Wizards oder modernste Workflow-Diagramme konfigurieren.

Die ini_file ist eine einfach zu bedienende Text- oder XML-Datei, die die Datenbank identifiziert, mit einem SQL SELECT-Befehl extrahiert und das Format und das Ziel des Entladeziels (Pipe oder Dateien) angibt.

FACT arbeitet auch mit dem Datentransformations- und Berichtsprogramm CoSort SortCL (via Metadatenerstellung) und mit Datenbank-Ladeprogrammen (wie Oracle SQL*Loader). Dadurch werden komplette Datenbankreorg oder Data Warehouse ETL-Prozesse zu Single-Pass-Betrieb zusammengefasst. Diese Benutzer können auch gleichzeitig Berichts-, Replikations-, Konvertierungs- und Zeilen-/Spaltensicherheitsoperationen durchführen.

Integrierter Reorg- und ETL-Betrieb

Mit FACT können DBAs und Data Warehouse-Architekten optional Massenentladungen über Pipelines durchführen, um sehr schnelle Offline-Reorg- oder ETL-Prozesse abzuschließen.

Führen Sie die Datei FACT.ini mit einem:

    CoSort SortCL Job Spezifikationsdatei (.scl), die auf die.ddf Metadaten verweist, die FACT automatisch erstellt
    SQL*Loader-Prozess, der die Steuerdatei-Metadaten verwendet, die FACT ebenfalls automatisch erstellt

oder als Teil eines kompletten ETL- oder Reorg-Workflows, der in der IRI Voracity-Plattform entworfen und ausgeführt wird und in derselben Eclipse IDE, IRI Workbench, unterstützt wird:

IRI ETL Workflow Diagram - Voracity (FACT, CoSort, DB Loaders, More)

Beispielsweise ist für Oracle die operative Vorlage:

fact -c ini_file; fact ini_file | sortcl /spec=transform.scl /spec=fact.ddf | sqlldr control=fact.ctl direct=true

Dieser Befehl leitet eine schnelle Tabellenextraktion ein und übergibt sie an das CoSort Sort SortCL-Programm. SortCL führt gleichzeitig Feldfilterung, Sortierung, Aggregation, Konvertierung, Schutz, Umformatierung, Replikation und/oder Reporting durch (transform.scl). Im Gegenzug kann eines der Ausgabeziele von SortCL (stdout.dat) in Indexreihenfolge an SQL*Loader übergeben und vorsortiert werden.

SortCL kann während dieses Prozesses auch andere Ausgaben erstellen, einschließlich: strukturierte Berichte, CSV-Tabellenreplikate, XML-Dateien, webfähige Berichte, BI-Tool (Würfel) Übergaben und so weiter. Keine andere ETL-Lösung bietet ein solches Maß an paralleler Verarbeitungsleistung, Vielseitigkeit oder Benutzerfreundlichkeit bei gleichzeitiger Entlastung der Datenbank von so viel Aufwand.

Zusammenfassung

 

IRI FACT ist der schnellste Weg, um gleichzeitig:

  • Entladen von sehr großen Datenbank-(VLDB)-Transaktions-(Fakten)-Tabellen
  • formatierte Flat-Files aus einer Tabelle erzeugen
  • Erstellen der Steuerdatei-Metadaten für Datenbank-Massenladeprogramme
  • Erstellen von IRI CoSort (oder Voracity ETL) Metadaten für Transformationen, Rollups, Delta-Berichte und Preload-Sortierungen.
  • Erstellen von IRI NextForm-Metadaten zur Konvertierung der exportierten Daten und Dateitypen
  • Erstellung von IRI FieldShield-Metadaten zur Spaltenverschlüsselung, De-Identifizierung und Maskierung von Spalten
  • Erstellen von IRI RowGen-Metadaten zur Generierung sicherer Testdaten im Tabellenformat