Neuerungen in Vertica^® 23.3

Diese Version enthält das Ergebnis mehrmonatiger Arbeit und zahlreiche Änderungen. Die erste Änderung, die Ihnen auffallen wird, betrifft das Versionssystem. Die letzte Vertica-Version war 12.0.4, daher hätten Sie vielleicht Version 13 erwartet. Rocket Releases erscheinen jedoch vierteljährlich und werden entsprechend Jahr und Quartal nummeriert – diese Vertica- Version trägt also die Versionsnummer 23.3 und erscheint nach dem dritten Quartal 2023. Sie werden außerdem feststellen, dass die Management Console und andere visuelle Elemente von Vertica farblich und mit einem neuen Logo versehen wurden, um unser neues Unternehmen und unsere neue Marke widerzuspiegeln.

Abgesehen von den kosmetischen Verbesserungen und sogar über all die Optimierungen in Bezug auf Leistung, Sicherheit und alles Weitere, was in jeder Vertica-Version enthalten ist, hinaus ermöglichen Ihnen wichtige neue Funktionen jetzt Folgendes:

• Führen Sie bei Bedarf eine erneute Shardierung Ihrer Vertica-Datenbank durch, wenn sich Daten und Arbeitslasten ändern.
• Speichern Sie Momentaufnahmen der Datenbank zu bestimmten Zeitpunkten, auf die Sie bei Bedarf zurückgreifen können, ohne Ihr Speicherbudget mit mehreren Kopien derselben Daten zu überlasten.
• Die Weiterleitung von Arbeitslasten an den Knoten oder Subcluster, der für diese Art von Arbeit am sinnvollsten ist, kann automatisiert werden .
• Mit dem neuen VerticaPyLab, das alle Abhängigkeiten, Beispiele und Lektionen in einer einzigen Installation mit einer benutzerfreundlichen JupyterLab-Oberfläche enthält, können Sie ganz einfach Machine-Learning-Workflows (ML) mit Vertica erstellen.

Insbesondere durch die Integration von Lese- und Analysefunktionen für externe Daten mithilfe von Apache Iceberg als semantischer Schicht ist Vertica nun ein vollwertiges Data Lakehouse . In früheren Versionen vereinte Vertica Business Intelligence, Machine Learning und andere Arten fortgeschrittener Analysen wie Geodaten-, Ereignismuster- und Zeitreihenanalyse in einer zentralen Anlaufstelle für alle Analysen. Vertica ermöglichte zudem die Analyse beliebiger Daten – von strukturierten Daten im eigenen ROS-Format bis hin zu semistrukturierten und komplexen Daten in externen Data-Lake-Formaten wie Parquet, JSON und ORC.

Die Analyse dieser Daten mit Vertica über die Apache Iceberg-Metadatenschicht bietet Ihnen den Vorteil der ACID-Konformität und der schnellen Auffindbarkeit der Daten im Data Lake. Vertica ermöglicht Ihnen die schnelle Analyse selbst komplexer Daten über Iceberg, selbst wenn diese seit der letzten Analyse von einer anderen Anwendung verändert wurden, beispielsweise durch Hinzufügen oder Entfernen von Spalten oder Ändern von Datentypen. Verticas Fokus auf hohe Leistungsfähigkeit bei großen Datenmengen bietet verschiedene Möglichkeiten zur Optimierung von Abfragen auf Data-Lake-Daten. Jede neue Version verbessert die Performance und nähert sie der rasanten Geschwindigkeit an, die Sie von Abfragen interner Vertica-ROS-Daten erwarten.

Verticas intelligenteres Data Lakehouse beseitigt die Grenzen der Analytik. 

Es ermöglicht Ihnen die Analyse Ihres Data Lakes mit der Geschwindigkeit und Parallelität, die Sie von einem Data Warehouse gewohnt sind. Hier einige der Möglichkeiten, die Vertica 23.3 Ihnen bietet:

Mit dem neuen VerticaPyLab gelingt der Einstieg ins maschinelle Lernen mit Vertica ganz einfach – VerticaPy wird schnell und mit allen Abhängigkeiten gleichzeitig installiert, und die benutzerfreundliche JupyterLab-Oberfläche ermöglicht die Auswahl von Anwendungen, Beispielen, Data-Science-Lektionen usw.

Neue Benutzer werden per Just-in-Time-Provisionierung über OAuth 2.0 authentifiziert. Die OAuth2-Identitätsprüfung der Organisation fügt automatisch einen neuen Vertica-Benutzer mit den angegebenen Rollen hinzu und spart Datenbankadministratoren so viel Zeit. Meldet sich ein Benutzer mit seinem vorkonfigurierten SSO-OAuth-Token bei Vertica an, müssen keine Benutzerkonten erstellt oder Rollen manuell zugewiesen werden. Zudem werden OAuth-Benutzer, die Vertica längere Zeit nicht genutzt haben, automatisch entfernt.

Bei der Ausführung langlaufender Abfragen wird durch mehrteilige Abfragepläne der Speicherverbrauch reduziert und die Wartezeit in der Warteschlange verkürzt. Vertica teilt langlaufende Abfragen in Teile auf und reserviert nur die Speicher- und Rechenressourcen, die für die Ausführung des größten Teils eines mehrteiligen Plans benötigt werden. Nicht verwendete Ressourcen innerhalb des reservierten Blocks werden zur weiteren Optimierung der Abfrage genutzt, wodurch die Gesamtausführungszeit verkürzt wird.

Starten Sie große Cluster schneller mit HTTPS statt SSH – Nutzen Sie schlanke Golang-Clients, die Cluster Operations Library (vclusterops) und vcluster.exe. Diese entkoppeln den Kubernetes-Operator von den Details der Clusteroperationen und erstellen Datenbanken, insbesondere große, schneller als mit Admintools. Viele Funktionen, darunter Administrationsvorgänge, die zuvor nur über SSH mit Admintools verfügbar waren, sind jetzt im Vertica-Server selbst integriert und können daher über HTTPS statt SSH genutzt werden. Es muss kein spezieller Client installiert werden. Die gesamte Verwaltung erfolgt über den NMA (Node Management Agent).

Automatisieren Sie die mehrstufige Datenbankwartung, Machine-Learning-Pipelines oder das Retraining von ML-Modellen, sobald ein Schwellenwert für sinkende Genauigkeit erreicht ist. Gespeicherte Prozeduren können nun Metafunktionen und verschachtelte gespeicherte Prozeduren bis zu einer Aufruftiefe von 100 aufrufen. Änderungen an Sitzungsparametern, die von gespeicherten Prozeduren vorgenommen werden, bleiben auch nach deren Abschluss erhalten.

Ausführen der Management Console (MC) unter Linux mit ADO.NET Core-Unterstützung – Nutzen Sie kostengünstigere Linux-Cloud-Instanzen, anstatt eine Windows-Instanz für MC verwenden zu müssen.

Mit Workload-Routing lässt sich dynamisch steuern, welche Hardware/Knoten/Instanzen für verschiedene Zwecke verwendet werden. Administratoren können Regeln erstellen, die die Ausführung von Client-Abfragen mit einer bestimmten Arbeitslast an einen separaten Subcluster weiterleiten. Dadurch wird die Verbindung von der Ausführung entkoppelt, sodass sich ein Client mit einem Knoten verbinden und die Abfrage auf einem anderen Knotensatz ausführen kann. Clients können einen Arbeitslastnamen festlegen, indem sie einen Arbeitslastparameter zu ihrer Verbindungszeichenfolge hinzufügen oder die Verbindung nachträglich per SQL-Syntax herstellen.

Stellen Sie einen früheren Zustand wieder her, indem Sie „Wiederherstellungspunkte“ speichern – Momentaufnahmen der Datenbank zu einem bestimmten Zeitpunkt. (Nur im Eon-Modus) – Speichern Sie eine Kopie des Katalogs und aller geänderten Daten, keine vollständige zusätzliche Datenkopie direkt vom Datenbankserver. VBR (Vertica Backup and Restoration Tool) ist nicht erforderlich.

Und das ist nur die Spitze des Eisbergs der vielen Verbesserungen in dieser neuesten Version von Vertica.