Software für Datenverarbeitung (Big Data)
Datenverarbeitungs Software: Profilerstellung, Erfassung und Transformation von Daten
Software für Big Data Verarbeitung
Laut der Open Knowledge Foundation ist die Datenverarbeitung "eine einfache Möglichkeit, Sammlungen von Daten und deren Beschreibungen an einem Ort zu platzieren, so dass sie leicht ausgetauscht und verwendet werden können" und dass ein Datenpaket "in einem Format vorliegt, das sehr einfach, webfreundlich und erweiterbar ist".
Für IRI und viele Menschen in der Welt der Datenverarbeitung und Datenwissenschaft ist die Datenverarbeitung mittels Software eine Manifestation von Datenintegrations-, Staging- oder Wranglingoperationen, die über die Datentransformation und -filterung hinaus auch Aufgaben wie Konsolidierung, Bereinigung und Anonymisierung beinhalten können. IRI Datenverarbeitungs Software verarbeitet seit Jahrzehnten große Datenmengen in brauchbare und sinnvoll formatierte Ergebnismengen, schnell, zuverlässig und kostengünstig.
Berücksichtigen Sie die traditionelle Stärke von CoSort - schnelle Sortierung - und wie wichtig das für so viele große Daten-Staging-Prozesse ist, die auch Lookups, Joins, Aggregationen und Remapping beinhalten.
Heute können Sie die CoSort Engine oder austauschbare Hadoop-Engines (MR2, Spark, Spark Stream, Storm und Tez) innerhalb der IRI Voracity-Plattform für das vollständige Datenmanagement nutzen, um Daten in vielerlei Hinsicht zu verarbeiten. Kombinieren, Mungen, Reinigen, Maskieren und Minen Sie strukturierte und semistrukturierte interne und "offene" Quellen für Analytik, Governance und DevOps. Es gibt auch viele Dinge, die Sie mit unstrukturierten Daten tun können, die in Voracity entdeckt und extrahiert wurden.
Datenverarbeitung Software: Was kann ich konkret tun und wie mache ich es?
Genauer gesagt, können Sie die Datenverarbeitungs Software (IRI Voracity-Plattform) für totales Datenmanagement auf Basis von CoSort (oder Hadoop) nutzen, um unterschiedliche Datenquellen zu bündeln. Sie können verwandte Elemente zu mehreren, speziell angefertigten, benutzerdefinierten Zielen vereinheitlichen und destillieren, die für Forschung und Analytik geeignet sind. Mit Voracity können Sie all diese Dinge tun:
-
- Datenerfassung (Extraktion), Manipulation (Transformation) und Population (Laden)
- Datenfilterung, -bereinigung und -validierung (Verbesserung der Datenqualität)
- Datenkonsolidierung und -standardisierung (MDM)
- Datenföderation und Virtualisierung Datenintegration, inklusiver:
- Datenreporting (integrierte BI)
- Datenmigration und Replikation
- Datenklassifizierung, Scanning & Maskierung (siehe Big Data Schutz)
- Testdatengenerierung (siehe Big Data Schutz)
- Data Wrangling für BI-Tools wie Qlik und Tableau, oder Analysesoftware wie R oder KNIME (siehe auch die Registerkarte Big Data Bereitstellung oben).
Die meisten dieser Aktivitäten können spezifiziert und in Wizard-gesteuerten, aufgabenkonsolidierenden, Single-IO-Jobskripten oder gut strukturierten Batch-Workflows kombiniert werden, die sie enthalten. Mithilfe der intuitiven Diagramme oder der selbstdokumentierenden Textdateien, die sie veranschaulichen, können Sie Ihre Aufträge leicht verstehen, ändern, ausführen, planen und freigeben.
Sehen Sie sich das preisgekrönte IRI 4GL-Programm für Datenmanipulation (SortCL) und die grafische IDE an, die auf Eclipse (IRI Workbench) basiert, um Ihre Datenverpackungsaufträge zu erstellen, zu automatisieren und zu verwalten.... große oder kleine, einfache oder komplexe, lokale oder in der Cloud.
