CLF/ELF Weblog Konvertierung, Verarbeitung & Schutz

Allgemeine & erweiterte Weblogs

Konvertieren, Transformieren, Schützen und Berichten von Clickstream-Daten

Herausforderungen

NCSA Common und W3C Extended Log Formate (CLF und ELF) sind zwei beliebte Strukturen zur Protokollierung von Clickstream-Aktivitäten auf Websites. Die aufgezeichneten Besucherinformationen können die IP-Adresse, den Zeitstempel, die Seiten-URL, die Ein- und Ausgangsseiten usw. beinhalten.

Da diese Logs immer größer werden, kann die Verarbeitung sehr lange dauern. Sie sind möglicherweise nicht in Formaten verfügbar, die Ihre Anwendungen erkennen oder leicht unterstützen, und sie können personenbezogene Daten (PII) enthalten, die aus Konformität- oder anderen Gründen maskiert oder verschlüsselt werden müssen.

Lösungen

IRI verfügt über Technologien zur Konvertierung von Web-Log-Dateiformaten sowie zur Transformation, Konvertierung, zum Schutz und zur Berichterstattung von Web-Log-Daten für Clickstream-Analysen und Daten-Webhouse-Betrieb.

Die IRI-Software kann Daten in CLF-, ELF- und anderen strukturierten (sequentiellen) Webprotokollformaten adressieren, hat aber zusätzliche Arbeit geleistet um die Handhabung von CLF- und ELF-Dateien zu erleichtern.* Für Clickstream-Daten in unstrukturierten Textdateiformaten bietet IRI eine Datenumstrukturierungsfunktion, um gesuchte Zeichenketten zu extrahieren und in strukturierte Datenspeicher für die gleichen Aktivitäten wie im Folgenden zu übernehmen.

Die reine Konvertierungslösung liegt in der kostenlosen (lite) oder kostengünstigen (Datenbank) Version von IRI NextForm. NextForm kann CLF- und ELF-Dateien kostenlos in CSV- und andere Flat-File-Formate konvertieren.

Die Upgrade-Edition die sich mit Datenbanken verbindet, füllt Weblog-Daten direkt in relationale Tabellen. NextForm ermöglicht es Ihnen, Dateien im LDIF-Format in andere Formate wie CSV, XML, Text usw. zu konvertieren und umgekehrt. NextForm unterstützt auch die Datentypkonvertierung auf Feldebene und die Neuzuordnung von Datensatzlayouts.

NextForm-Dateidefinitionen funktionieren auch in SortCL, dem beliebten 4GL und dem Datentransformations- und Berichtsprogramm in IRI CoSort.

Über die Formatkonvertierung hinaus kann das CoSort SortCL-Programm diese riesigen Protokolldateien in CSV, LDIF, XML, Text, Index und andere strukturierte Dateiformate und DB-Tabellen verarbeiten (filtern, sortieren, verbinden, aggregieren, Scrubbing, neu formatieren usw.), schützen und aus diesen riesigen Protokolldateien berichten.

Mit einem einfachen 4GL zur Definition des Layouts und der Manipulation Ihrer Protokolldateien können Sie Daten ausführen und kombinieren:

    Transformation (Scrubbing, Sortieren, Verbinden, Gruppieren, Berechnen, Neuzuordnen, etc.)
    Konvertierung (Datentypen, Datensatzlayouts, Dateien)
    Maskierung (Verschlüsselung auf Feldebene, de-ID, etc.)
    Reporting (benutzerdefinierte Details, Delta und Zusammenfassungen)

plus Validierung, Suchen/Ersetzen, benutzerdefinierte Transformationen usw. im selben Auftragsskript und I/O-Pass. Mit SortCL können Sie eine oder mehrere Quellen in einem oder mehreren Formaten auf einen oder mehrere Detail- oder Zusammenfassungsberichte abbilden und/oder gefilterte Teilmengen an spezialisierte Clickstream-Analysetools weitergeben. Siehe diesen Blog-Artikel für ein Beispiel.

Um PII in Weblog-Dateien zu schützen, verwenden Sie SortCL oder IRI FieldShield. FieldShield bietet die branchenweit umfassendste Palette an Sicherheitsfunktionen auf Feldebene für Daten im Ruhezustand. Maskieren, verschlüsseln, pseudonymisieren, randomisieren oder anderweitig verschleieren und deidentifizieren Sie E-Mail- und IP-Adressen und andere dem Datenschutz unterliegende Elemente. Siehe diesen Blog-Artikel für ein Beispiel.

Benötigen Sie Testdaten in Protokolldateiformaten? IRI RowGen unterstützt die zufällige Generierung und Auswahl von Daten auf Feldebene, um benutzerdefinierte Dateien zu erstellen. RowGen verwendet die gleichen Layout-Metadaten wie NextForm, CoSort (SortCL) und FieldShield, so dass Sie problemlos zwischen der Testdatengenerierung und der realen Datenverarbeitung wechseln können.