Beschleunigung und Schutz von SQL Server
ETL/Reorgs optimieren, finden & schützen, migrieren & testen
Herausforderungen
Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud:
· Datenermittlung: Profilerstellung, Klassifizierung, ERDs
· Be- und Entladen großer Tabellen
· Routinemäßige Dienstprogrammoperationen (Reorgs)
· Langsame Abfragen, SSIS ETL-Aufträge oder Power BI-Anzeigen
· Datenmigration oder -replikation
· Schlechte Datenqualität oder Einheitlichkeit
· Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
· Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, usw.
Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.
Lösungen
Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung.
Unload-Beschleunigung
IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT's CLI oder GUI, um große Tabellen schnell in flache Dateien zu übertragen.
Geben Sie SELECT * FROM sehr große Tabellen an, damit Sie das Entladen nicht mit Qualifizierern wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten).... parallel, außerhalb der Datenbank.
Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.
Load-Beschleunigung
IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.
Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.
Reorgs- und Abfragebeschleunigung
Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.
Optimierung von Transformationen (ETL) und BI-Datenaufbereitung
IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall
Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen. Verwenden Sie auch CoSort oder Voracity, um Daten für Power BI zu verarbeiten.
Migration und Replikation von SQL Server-Datenbanken
IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.
Daten bereinigen und anreichern (Qualität)
Klassifizieren und Maskieren von sensiblen Daten
IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Außerdem lässt es sich optional mit Azure Key Vault für die Verwaltung von Verschlüsselungsschlüsseln integrieren. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.
SQL Server Testdaten generieren
IRI RowGen (oder Voracity), um SQL Server- oder SSIS-ETL-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet Ihre Datenmodelle, um automatisch die Testdaten für eine gesamte Datenbank mit referenzieller Integrität zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer verfügbarer Ansatz, der gleichzeitig auch FieldShield-Funktionen einbeziehen kann, um die Subset-Daten maskiert zu halten. Alle oben genannten IRI-Vorgänge sind befehlszeilengesteuert und können mit DB-Cloning-Tools wie Windocks ausgeführt werden, um virtualisierte Testdatenbanken in einem Cloud- oder On-Premise-Repository oder Container bereitzustellen. FieldShield und RowGen funktionieren auch innerhalb von Azure DevOps CI/CD-Pipelines.
