Mehr als nur ein Datenseehaus

Die Namensgebung in dieser Branche ist manchmal etwas merkwürdig. Viele hören gerade, wie toll ein „Data Lakehouse“ sein soll, weil es die Vorteile eines Data Lakes mit denen eines Data Warehouses vereint. Wenn ich an ein Lakehouse denke, stelle ich mir einen tollen Ort zum Angeln und für ein paar Bier vor. Ich denke dabei ganz sicher nicht an einen Ort, an dem ich meine Analysen durchführe.

Das ist einer der Gründe, warum Vertica^® sich stattdessen als „Unified Analytics Platform“ bezeichnet. Unser Ziel war es außerdem, unterschiedliche Analysemethoden, Analystenteams und Architekturen zu vereinheitlichen. „Unified Analytics“ passt daher besser zu unseren Zielen. Wir sind zudem der Ansicht, dass die Analyse selbst im Vordergrund steht, nicht der Speicherort der Daten. Bedeutet das, dass Vertica nicht als Data Lakehouse fungieren kann? Nein, ganz im Gegenteil.

Vertica ist ein Data Lakehouse, geht aber weit über die grundlegenden Anforderungen eines solchen Unternehmens hinaus und bietet mehr als die meisten anderen Anbieter. Betrachten wir zunächst eine andere Definition eines Data Lakehouse, um zu zeigen, dass Vertica alle diese Kriterien erfüllt.

Suchen Sie nach jedem Abschnitt nach einer „ Darüber hinaus “-Ergänzung, die erläutert, wie Vertica auf der grundlegenden Basis aufbaut. Wo wird die Data-Lakehouse-Grundlage definiert?

Im Internet gibt es viele Definitionen, aber verwenden wir die von Databricks.

Traditionelles Data Warehouse

Der Effizienz halber gruppieren wir die Funktionen in Data-Warehouse- und Data-Lake-Funktionen und verwenden deren Definitionen wortwörtlich .

Transaktionsunterstützung: In einem unternehmensweiten Datenspeicher lesen und schreiben viele Datenpipelines häufig gleichzeitig Daten. Die Unterstützung von ACID-Transaktionen gewährleistet Datenkonsistenz, wenn mehrere Parteien gleichzeitig Daten lesen oder schreiben, typischerweise mithilfe von SQL.

Schema-Durchsetzung und -Governance: Das Lakehouse sollte die Durchsetzung und Weiterentwicklung von Schemata unterstützen und DW-Schemaarchitekturen wie Stern-/Schneeflockenschemata ermöglichen. Das System sollte die Datenintegrität gewährleisten und über robuste Governance- und Audit-Mechanismen verfügen.

Für einen Anbieter mit Erfahrung im Bereich Data Lakes mögen diese Funktionen neu, innovativ und zukunftsweisend erscheinen, für Vertica sind sie jedoch Standard. Vertica gewährleistet von Anfang an vollständige ACID-Konformität mit starker Konsistenz. Eventuelle Konsistenz war bei uns schon immer ein Tabu. Wenn Sie Vertica zweimal auf dieselben Daten abfragen, erhalten Sie garantiert dasselbe Ergebnis. Datenintegrität, Governance und Auditing sind für uns ebenfalls von grundlegender Bedeutung und kein unerreichbares Ziel. Hochleistungsfähige Business Intelligence in nahezu unbegrenztem Umfang ist seit Jahren unser Kerngeschäft.

Darüber hinaus: Vertica lässt sich mit nahezu allen am Markt erhältlichen BI- und Datenvisualisierungstools integrieren. Wir setzen alles daran, Ihre Analysemöglichkeiten niemals einzuschränken.

Traditioneller Data Lake

Okay, und was ist mit den Funktionen, die traditionell zu einem Data Lake gehören, wie zum Beispiel:

Speicher und Rechenleistung sind entkoppelt: In der Praxis bedeutet dies, dass Speicher und Rechenleistung separate Cluster nutzen. Dadurch können diese Systeme deutlich mehr gleichzeitige Nutzer und größere Datenmengen verarbeiten. Einige moderne Data Warehouses weisen diese Eigenschaft ebenfalls auf.

Eon Mode, die von Vertica entwickelte Architektur für getrennte Rechen- und Speicherprozesse, ist seit Jahren Bestandteil von Vertica. Sie bietet die einzigartige Möglichkeit, alle Vorteile dieser Cloud-nativen, elastischen Architektur unabhängig von der Infrastruktur, in jeder Cloud und sogar On-Premise bereitzustellen. Vertica Accelerator, unser Managed Service, wurde ebenfalls kürzlich veröffentlicht und basiert auf dieser Architektur.

Darüber hinaus: Wenn Vertica von gleichzeitigen Nutzern spricht, meinen wir weit mehr als nur zehn. Vertica-Kunden haben oft Hunderte oder sogar Tausende von Nutzern, die täglich auf die Daten zugreifen, um ihre Arbeitsentscheidungen zu treffen.

Unterstützung für vielfältige Workloads: darunter Data Science, maschinelles Lernen sowie SQL und Analysen. Zur Unterstützung all dieser Workloads können mehrere Tools erforderlich sein, die jedoch alle auf dasselbe Datenrepository zugreifen.

Wie bereits erwähnt, ist Vertica seit jeher für seine blitzschnelle Business Intelligence bekannt. Darüber hinaus unterstützt Vertica nicht nur den gesamten Data-Science-Workflow, sondern ermöglicht auch eine deutlich einfachere und schnellere Bereitstellung von Machine-Learning-Modellen vom Proof of Concept bis zur Produktion als jede andere Plattform. Und das alles, ohne dass Sie zusätzliche Tools oder teure Pakete erwerben müssen. Alle Data-Science-Funktionen von Vertica sind für die Datenbank optimiert und basieren auf unserer Engine. Sie sind skalierbar, parallelisierbar und extrem schnell. Zusammen bilden sie die Vertica Unified Analytics Platform. Und wenn Sie eigene Funktionen hinzufügen möchten, können Sie jederzeit einen Algorithmus oder eine Funktion erstellen und diese in unser UDx-Framework integrieren – für nahezu unbegrenzte Erweiterbarkeit.

Darüber hinaus unterstützt Vertica neben Business Intelligence und maschinellem Lernen auch viele weitere wichtige fortgeschrittene Analysefunktionen wie Geodatenanalyse, Ereignismustererkennung, Zeitreihenanalyse und Textanalyse.

Unterstützung für diverse Datentypen, von unstrukturierten bis hin zu strukturierten Daten: Mit The lakehouse lassen sich Datentypen speichern, verfeinern, analysieren und abrufen, die für viele neue Datenanwendungen benötigt werden, darunter Bilder, Videos, Audiodateien, semistrukturierte Daten und Texte.

Data Lakes befinden sich entweder auf einem Objektspeichersystem wie S3 oder dem Hadoop File System (HDFS). Der Vorteil dieser Systeme liegt darin, dass sich unterschiedlichste Datentypen speichern lassen: vom hochstrukturierten Format ROS (Read Optimized Storage), in dem Vertica seine Daten speichert, über spaltenorientierte Formate wie Parquet und ORC bis hin zu semistrukturierten Formaten wie JSON, Avro, CSV, Protokolldateien usw. und sogar völlig unstrukturierten Daten wie Bildern und Videos. Vertica analysiert zwar keine unstrukturierten Audio-, Bild- oder Videodateien, aber alle anderen Datentypen dieser Liste kann Vertica abfragen, mit denen ML-Modelle trainiert und die verknüpft werden können. Unsere Daten befinden sich im Objektspeicher direkt neben den Daten aller anderen, und wir analysieren sie alle.

Darüber hinaus fungiert Vertica als Abfrage-Engine und analysiert die Daten direkt am Speicherort. Im Gegensatz zu vielen anderen Technologien ist kein Import oder eine Übersetzung in ein eigenes Format vor der Analyse erforderlich. Sie müssen Ihre Daten also nicht erst in unser Produkt hochladen, bevor wir sie analysieren. Wir arbeiten unabhängig davon, wo sich Ihre Daten aktuell befinden. Vertica verfügt sogar über eine praktische integrierte Funktion namens INFER_EXTERNAL_TABLE_DDL, die Dateien wie Parquet analysiert und deren Struktur automatisch ermittelt. Diese Informationen können Sie dann für die Datenanalyse nutzen.

Offenheit: Die verwendeten Speicherformate sind offen und standardisiert, wie beispielsweise Parquet, und es wird eine API bereitgestellt, sodass eine Vielzahl von Tools und Engines, einschließlich Machine-Learning- und Python/R-Bibliotheken, effizient direkt auf die Daten zugreifen können.

Vertica unterstützt SQL und Python als vollwertige Schnittstellen und bietet Open-Source-Unterstützung für zahlreiche Bibliotheken und Dateitypen wie Parquet, ORC, JSON, Avro, CSV usw. sowie, wie bereits erwähnt, schnelle, bidirektionale Unterstützung für Spark. Unser internes Speicherformat ist zwar proprietär, wir unterstützen aber auch den offenen Austausch von ML-Modellen über PMML, eine speziell für die gemeinsame Nutzung von Modellen entwickelte Auszeichnungssprache. Darüber hinaus importieren wir unter anderem TensorFlow-Graphen.

Darüber hinaus: Da Sie alle über 650 Funktionen von Vertica via SQL, R oder Python nutzen können, ermöglicht dies auch Laien-Datenwissenschaftlern mit SQL-Kenntnissen, die Ihre Daten und Ihren Anwendungsfall verstehen, prädiktive Algorithmen einzusetzen. Ebenso muss der Data-Science-Experte, der mit Jupyter und Python vertraut ist, seine Umgebung nicht verlassen, um beispielsweise die Gesamtumsätze nach Regionen zu analysieren.

End-to-End-Streaming: Echtzeitberichte sind in vielen Unternehmen Standard. Die Unterstützung von Streaming macht separate Systeme für Echtzeitdatenanwendungen überflüssig.

Vertica ist sowohl Konsument als auch Produzent von Apache Kafka Topics, und viele unserer Kunden nutzen ähnliche Streaming-Technologien wie Amazon Kinesis und Apache Pulsar. Vertica unterstützt Streaming-Daten umfassend mit integriertem Event Pattern Matching, Windowing, gleitendem Durchschnitt und weiteren IoT- und Streaming-Funktionen. Vertica-Kunden benötigen häufig Reaktionszeiten im Bereich von Hunderten von Millisekunden – und wir erfüllen diese Anforderungen täglich.

Darüber hinaus: Wie bereits erwähnt, verarbeiten wir diverse Workloads gleichzeitig und mit hoher Parallelität. Dazu gehören die kontinuierliche Erfassung und Transformation eingehender Streaming-Daten. Wir können das leisten, einen Machine-Learning-Algorithmus trainieren, Ihre Dashboards bereitstellen, Ihre Anwendungen beschleunigen und gleichzeitig Ihre individuellen Anfragen beantworten. Alles parallel.

Ein weiterer Punkt, der in den Anforderungen an ein Data Lakehouse nicht erwähnt wird und den Vertica im Vergleich zu den meisten anderen Technologien in diesem Bereich etwas anders handhabt, ist die Lizenzierung. Entwicklungs-, Test- und Hochverfügbarkeitscluster sind bei Vertica identisch mit der Produktionsumgebung, da wir nur die Produktionsumgebung berechnen. Alles andere ist inklusive. Unsere ML- und Advanced-Analytics-Lösungen sind schnell und einfach zu bedienen, da sie in jeder Version enthalten sind. Es überrascht uns nicht, dass Ihr Unternehmen sowohl Business Intelligence als auch Data Science nutzen möchte; das ist heutzutage Standard. Ebenso wenig überrascht es uns, dass Sie neben einer Entwicklungsumgebung auch Test-, Disaster-Recovery- und Produktionsumgebungen benötigen. Für uns sind dies keine zusätzlichen Add-ons oder bahnbrechende Neuerungen, sondern einfach Bestandteil einer guten Analytics-Plattform.

Vertica ermöglicht es Ihnen, über ein reines Data Lakehouse hinauszugehen und wirklich einheitliche Analysen zu realisieren.