Beschleunigung & Schutz von Sybase

 

Optimierung von ETL & Reorgs, PII-Maskierung, Datenreplikation

Herausforderungen

 

Als SAP Sybase IQ oder ASE DBA können Sie mit einem oder mehreren dieser Performance- oder Schutzprobleme konfrontiert sein:

  • Entladen und Laden von großen Sybase-Tabellen
  • Langsame Hilfsoperationen (z.B. Reorgs) oder Abfragen
  • Ungeschützte personenbezogene Daten (PII)
  • Lästige Datenbankmigration oder -replikation
  • Generierung von oder Zugriff auf Testdatensätze

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Spezielle Tools zur Datenmaskierung und zum Testdatenmanagement sind teuer und zu schwer zu bedienen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.

Lösungen

Beschleunigung der Sybase-Entladung

IRI FACT (Fast Extract), um Transaktionstabellen parallel zu Flat Files auszugeben. FACT unterstützt Sybase IQ und ASE, OCS 15 und höher. FACT ist um ein Vielfaches schneller als andere Extraktionsmethoden und wird in der IRI Workbench für den eigenständigen Einsatz oder mit anderen IRI-Operationen wie ETL, Reorg und Migration unterstützt.

Geschwindigkeitstransformationen, Abfragen und Laden von Daten

Verwenden Sie das Programm SortCL im Produkt IRI CoSort  oder in der IRI Voracity-Plattform, um die Extrakte parallel zu filtern, zu sortieren, zu verbinden und zu aggregieren. Das Sybase SQL Server Referenzhandbuch empfiehlt eine externe Vorsortierung, um die Indexerstellung beim Laden der Datenbank zu beschleunigen. Mehrere Tabellen, die schnell in der Abfrage-Indexreihenfolge erstellt werden, sollten helfen, Abfragen zu beschleunigen.

Wie man Sybase-Ladungen beschleunigt: "CoSorting" von Daten im Dateisystem vor dem Laden von Sybase kann:

  •    Geschwindigkeitslastleistung 2 und 10X
  •    Entfernen Sie den Sortieraspekt der Ladung
  •    Reduzierung des Datenbank- und Festplatten-Overheads
  •    Erhöhung der Verarbeitungsrate (Zeilen pro Stunde)

Die empfohlene Technik besagt, dass Flat-Files auf dem geclusterten Indexschlüssel vorsortiert werden sollten. CoSort wurde entwickelt, um große Dateien parallel zu sortieren, wobei die Leistung linear im Volumen skaliert wird. Sie sollten einen geclusterten Index erstellen. Aber zuerst sollten Sie die Indizes eliminieren, indem Sie Tabellen ohne Indizes oder Trigger erstellen oder sie aus der zu ladenden Tabelle entfernen. Dann können Sie:

  •    CoSort der Daten nach dem Primärschlüsselindex
  •    bcp lädt die sortierte Tabelle mit schnellem bcp-Pfad (da es keine Indizes auf der Tabelle gibt).
  •    Verwenden Sie den SQL-Befehl "CREATE INDEX" unter Verwendung der Option "SORTED_DATA", um   den Cluster-Index zu erstellen.

Das SortCL-Programm von CoSort kann auch Daten für Datenbankmigrationen und benutzerdefinierte (Detail-, Zusammenfassungs- und Delta-) Berichte transformieren und neu formatieren und sensible Daten auf Feldebene mit einer Vielzahl von Verschlüsselungs-, Maskierungs- und anderen Funktionen schützen.

Beschleunigung der Sybase-Reorgs

Beschleunigen Sie Reorgs, indem Sie sie offline ausführen, d.h. verwenden Sie das Dateisystem, anstatt die Datenbank zu belasten. Der Offline-DB-Reorganisationsassistent, der den Benutzern von FACT und CoSort (oder der Plattform Voracity) in der IRI Workbench zur Verfügung steht, kombiniert FACT, CoSort und bcp in Batch-Operationen, die Sie innerhalb oder außerhalb der Workbench-GUI planen und ausführen können.

Migration und Replikation von Sybase-Datenbanken

Verschieben Sie Daten in und aus Sybase und anderen Datenquellen mit IRI NextForm DB Edition oder der Plattform Voracity. Führen Sie komplexe ETL-, Change Data Capture- und Replikationsoperationen in Voracity durch.

PII-Maskierung in Sybase

Finden und klassifizieren Sie PII mithilfe integrierter Tools zur Datenerkennung und Profilerstellung. Erstellen Sie dann statische Datenmaskierungsaufträge für Sybase, SAP HANA und andere mit JDBC und ODBC verbundene Quellen mit dem eigenständigen IRI FieldShield-Paket oder der Voracity-Plattform. Sie können auch das Risiko einer erneuten Identifizierung anhand der verbleibenden Quasi-Identifikatoren in Ihrem Datensatz bewerten.

Für die dynamische Datenmaskierung rufen Sie die FieldShield-Funktionen im SDK auf.

Generierung & Population von Sybase Testdaten

Um Sybase schnell mit sicheren Testdaten zu füllen, verwenden Sie den hochvolumigen Testdatengenerator IRI RowGen, der mit Hilfe Ihrer Datenmodelle die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch generiert und ebenfalls in die Voracity-Plattform integriert ist.

Blog-Links

Andere Ressourcen