Sort / Merge Operationen

 

Schnelles Sortieren und Zusammenführen von großen, strukturierten Daten

Herausforderungen
 

Die Sortierung bleibt ein kritischer Bestandteil der Datenverarbeitung. Datensortierung ist Bestandteil von:

 

· Datenbank-Lade-, Index- und Abfrage-/Suchvorgänge

· Data Warehouse Sortierung, Verknüpfung und Aggregation von Transformationen

· Berichts-, Analyse- und Testumgebungen

 

Aber mit zunehmender Größe der Datenquellen, von Hunderten von Megabyte auf Terabyte-Ebene und darüber hinaus, kann die Sortierung einen exponentiellen Bedarf an Computerressourcen verursachen.

 

Mainframe-Sortier-/Merge-Dienstprogramme sind teuer in der Bedienung, verwenden eine kryptische JCL-Syntax und sind funktional begrenzt. Sortierfunktionen in Datenbanken, ETL- und BI-Berichtswerkzeuge, Betriebssysteme und Compiler sind einfach nicht für große Datenmengen ausgelegt.

 

 

Robustheitsprobleme

Management Bedenken

Sortiergeschwindigkeit und Skalierbarkeit im Volumen

Sortierung und zugehörige Funktionalität

Unterstützung von Daten und Dateitypen

Einfachheit der GUI- und/oder Parm-Syntax

Ereignisüberwachung und Fehlerbehandlung

Metadaten-Rahmen

Leistungsoptimierung und Protokollierung

Preisgestaltung und Lizenzmodelle

Plugin-Kompatibilität oder Genauigkeit der Parm-Konvertierung

Geschwindigkeit des technischen Supports

Interoperabilität von Hard- und Software von Drittanbietern

Lieferantenfähigkeiten und Reputation

Implementierungsparadigma

Qualifikationslücke (z.B. Hadoop), Wartungskosten

Lösungen

 

Mit steigendem Datenvolumen wächst auch der Wert von IRI CoSort. CoSort ist das weltweit erste kommerzielle Sortier- und Zusammenführungspaket für offene Systeme. Es wird weiterhin als robustes, kommerzielles und kreuzkompatibles Produkt verkauft:

· Unix Dateisortierprogramm

· Windows Sortierprogramm

· ETL, BI und DB Sortier Alternative

· Mainframe JCL Sortierung

· Zusammenführung Ersatz

mit modernster Leistung, branchenführender Funktionalität und den vertrautesten, intuitivsten Benutzeroberflächen.... und ohne zusätzlicher Hardware, Hadoop, speicherinterne DBs oder Appliances.

CoSort sortiert eine beliebige Anzahl, Größe und Art von strukturierten Feldern, Schlüsseln, Datensätzen und Dateien - einschließlich Mainframe-Binärdateien, IP-Adressen, asiatischen Multibyte-Zeichen, Unicode,... Die CoSort Engine skaliert linear im Volumen und ermöglicht eine granulare Abstimmung von CPU, Speicher, Festplatte und verwandten Ressourcen. Mehrere Gigabyte Sortierung in Sekundenschnelle auf Multi-CPU-Servern.

___________________________________________________________________________________

127,268,900 Zeilen * 405 Bytes/Zeile = 51.5GB Input-Datei

CoSort Job-Zeit w/20-byte sort key @ 131 Sekunden = 2m:11s

Plattform: x86 Linux Development Server mit 32 von 64 genutzen Cores

___________________________________________________________________________________

CoSort kann auch Sortierfunktionen von Drittanbietern durch bewährte Bibliotheken, Tools oder Dienste ersetzen oder konvertieren - das spart Zeit und Geld bei Batch-Operationen und Integrierte-Anwendungen. Fragen Sie nach speziellen Anreizen für die Migration von einem älteren Sortierprodukt und nach Rabatten für den integrierten Vertrieb.

Sortieren ist erst der Anfang

 

CoSort bietet auch die einzigartige Möglichkeit gefährdete Daten gleichzeitig zu transformieren, zu migrieren, zu reporten und zu schützen. Die CoSort Sort Sort Control Sprache (SortCL) kombiniert diese Funktionen im gleichen Jobskript und I/O-Pass. Ordnen Sie mehrere Quellen mehreren Zielen und Formaten zu, während Sie sortieren.

 

SortCL ist nur eine von mehreren Schnittstellen im CoSort-Paket, die für eigenständige oder integrierte Sortier-/Mergeoperationen verfügbar sind. Alle Sortier- und Transformationsaufträge können in der IRI Workbench GUI, die auf Eclipse™ basiert, geplant, überwacht, protokolliert, auditiert und anderweitig verwaltet werden.

 

Über das CoSort-Paket hinaus sind dieselben SortCL-gesteuerten Operationen auch integraler Bestandteil von CoSort - einschließlich der IRI Voracity-Datenmanagementplattform, bei der große Datenentdeckung, -integration, -migration, -verwaltung und -analyse durchgeführt und kombiniert werden. In Voracity werden die CoSort-Sortiermaschine (und die SortCL-Skripts) automatisch in (und für) verwendet: ETL, Änderungsdatenerfassung, DB-Subsetting, Pseudonymisierung, synthetische Testdaten, Datenfighting und DB-Massenladevorgänge.