Sort / Merge Operationen
Schnelles Sortieren und Zusammenführen von großen, strukturierten Daten
Die Sortierung bleibt ein kritischer Bestandteil der Datenverarbeitung. Datensortierung ist Bestandteil von:
· Datenbank-Lade-, Index- und Abfrage-/Suchvorgänge
· Data Warehouse Sortierung, Verknüpfung und Aggregation von Transformationen
· Berichts-, Analyse- und Testumgebungen
Aber mit zunehmender Größe der Datenquellen, von Hunderten von Megabyte auf Terabyte-Ebene und darüber hinaus, kann die Sortierung einen exponentiellen Bedarf an Computerressourcen verursachen.
Mainframe-Sortier-/Merge-Dienstprogramme sind teuer in der Bedienung, verwenden eine kryptische JCL-Syntax und sind funktional begrenzt. Sortierfunktionen in Datenbanken, ETL- und BI-Berichtswerkzeuge, Betriebssysteme und Compiler sind einfach nicht für große Datenmengen ausgelegt.
|
Robustheitsprobleme |
Management Bedenken |
|
Sortiergeschwindigkeit und Skalierbarkeit im Volumen |
Sortierung und zugehörige Funktionalität |
|
Unterstützung von Daten und Dateitypen |
Einfachheit der GUI- und/oder Parm-Syntax |
|
Ereignisüberwachung und Fehlerbehandlung |
Metadaten-Rahmen |
|
Leistungsoptimierung und Protokollierung |
Preisgestaltung und Lizenzmodelle |
|
Plugin-Kompatibilität oder Genauigkeit der Parm-Konvertierung |
Geschwindigkeit des technischen Supports |
|
Interoperabilität von Hard- und Software von Drittanbietern |
Lieferantenfähigkeiten und Reputation |
|
Implementierungsparadigma |
Qualifikationslücke (z.B. Hadoop), Wartungskosten |
Lösungen
Mit steigendem Datenvolumen wächst auch der Wert von IRI CoSort. CoSort ist das weltweit erste kommerzielle Sortier- und Zusammenführungspaket für offene Systeme. Es wird weiterhin als robustes, kommerzielles und kreuzkompatibles Produkt verkauft:
· Unix Dateisortierprogramm
· Windows Sortierprogramm
· ETL, BI und DB Sortier Alternative
· Mainframe JCL Sortierung
· Zusammenführung Ersatz
mit modernster Leistung, branchenführender Funktionalität und den vertrautesten, intuitivsten Benutzeroberflächen.... und ohne zusätzlicher Hardware, Hadoop, speicherinterne DBs oder Appliances.
CoSort sortiert eine beliebige Anzahl, Größe und Art von strukturierten Feldern, Schlüsseln, Datensätzen und Dateien - einschließlich Mainframe-Binärdateien, IP-Adressen, asiatischen Multibyte-Zeichen, Unicode,... Die CoSort Engine skaliert linear im Volumen und ermöglicht eine granulare Abstimmung von CPU, Speicher, Festplatte und verwandten Ressourcen. Mehrere Gigabyte Sortierung in Sekundenschnelle auf Multi-CPU-Servern.
___________________________________________________________________________________
127,268,900 Zeilen * 405 Bytes/Zeile = 51.5GB Input-Datei
CoSort Job-Zeit w/20-byte sort key @ 131 Sekunden = 2m:11s
Plattform: x86 Linux Development Server mit 32 von 64 genutzen Cores
___________________________________________________________________________________
CoSort kann auch Sortierfunktionen von Drittanbietern durch bewährte Bibliotheken, Tools oder Dienste ersetzen oder konvertieren - das spart Zeit und Geld bei Batch-Operationen und Integrierte-Anwendungen. Fragen Sie nach speziellen Anreizen für die Migration von einem älteren Sortierprodukt und nach Rabatten für den integrierten Vertrieb.
Sortieren ist erst der Anfang
CoSort bietet auch die einzigartige Möglichkeit gefährdete Daten gleichzeitig zu transformieren, zu migrieren, zu reporten und zu schützen. Die CoSort Sort Sort Control Sprache (SortCL) kombiniert diese Funktionen im gleichen Jobskript und I/O-Pass. Ordnen Sie mehrere Quellen mehreren Zielen und Formaten zu, während Sie sortieren.
SortCL ist nur eine von mehreren Schnittstellen im CoSort-Paket, die für eigenständige oder integrierte Sortier-/Mergeoperationen verfügbar sind. Alle Sortier- und Transformationsaufträge können in der IRI Workbench GUI, die auf Eclipse™ basiert, geplant, überwacht, protokolliert, auditiert und anderweitig verwaltet werden.
Über das CoSort-Paket hinaus sind dieselben SortCL-gesteuerten Operationen auch integraler Bestandteil von CoSort - einschließlich der IRI Voracity-Datenmanagementplattform, bei der große Datenentdeckung, -integration, -migration, -verwaltung und -analyse durchgeführt und kombiniert werden. In Voracity werden die CoSort-Sortiermaschine (und die SortCL-Skripts) automatisch in (und für) verwendet: ETL, Änderungsdatenerfassung, DB-Subsetting, Pseudonymisierung, synthetische Testdaten, Datenfighting und DB-Massenladevorgänge.
