Novità di Vertica^® 23.3

Questa release racchiude diversi mesi di lavoro e numerose modifiche. La prima novità che noterete è il sistema di versioning. L'ultima release di Vertica era la 12.0.4, quindi potreste esservi aspettati che questa fosse la versione 13. Tuttavia, le release Rocket sono programmate per un trimestre all'anno e vengono numerate in base all'anno e al trimestre; pertanto, questa release di Vertica è la 23.3, successiva al terzo trimestre del 2023. Noterete inoltre che la Console di gestione e altri aspetti visivi di Vertica hanno cambiato colore e logo per rispecchiare la nostra nuova azienda e il nostro nuovo marchio.

Al di là dell'aspetto estetico, e persino al di là di tutti i miglioramenti che ti aspetti in termini di prestazioni, sicurezza e tutto il resto offerto in ogni versione di Vertica, le nuove importanti funzionalità ti consentono ora di:

• Esegui il re-sharding del tuo database Vertica ogni volta che è necessario, in base alle modifiche dei dati e dei carichi di lavoro.
• Salva istantanee del database in momenti specifici, a cui puoi tornare all'occorrenza, senza sovraccaricare il tuo spazio di archiviazione con più copie degli stessi dati.
• Automatizza l'instradamento dei carichi di lavoro verso il nodo o il sottocluster più adatto a quel tipo di lavoro.
• Inizia a creare flussi di lavoro di machine learning (ML) con Vertica in modo semplice grazie al nuovo VerticaPyLab, che include tutte le dipendenze, gli esempi e le lezioni in un'unica installazione con un'interfaccia JupyterLab intuitiva.

In particolare, con l'aggiunta delle funzionalità di lettura e analisi su dati esterni tramite Apache Iceberg come livello semantico, Vertica è ora un data lakehouse completo . Nelle versioni precedenti, Vertica unificava business intelligence, machine learning e altri tipi di analisi avanzate, come l'analisi di dati geospaziali, di pattern di eventi e di serie temporali, in un unico punto di contatto per qualsiasi analisi. Vertica offriva inoltre la possibilità di analizzare qualsiasi tipo di dato, dai dati strutturati nel nostro formato ROS, ai dati semi-strutturati e complessi in formati di data lake esterni come Parquet, JSON e ORC.

Analizzando questi dati con Vertica, attraverso il livello di metadati Apache Iceberg, si ottiene il vantaggio della conformità ACID e della rapida reperibilità dei dati nel data lake. Vertica consente di analizzare rapidamente anche dati complessi tramite Iceberg, persino se un'altra applicazione li ha modificati dall'ultima analisi, aggiungendo o rimuovendo colonne o cambiando i tipi di dati. L'attenzione di Vertica alle prestazioni su larga scala ha fornito diversi modi per ottimizzare le query sui dati del data lake. Ogni nuova versione porterà queste prestazioni sempre più vicine alla velocità fulminea che ci si aspetta dalle query sui dati ROS interni di Vertica.

Il data lakehouse più intelligente di Vertica elimina i limiti dell'analisi 

Consente di analizzare il data lake alla velocità e alla concorrenza a cui si è abituati in un data warehouse. Ecco alcune delle funzionalità ora disponibili in Vertica 23.3:

Inizia a usare Vertica Machine Learning con facilità grazie al nuovo VerticaPyLab: una nuova installazione rapida di VerticaPy con tutte le dipendenze incluse, e una semplice interfaccia JupyterLab per scegliere applicazioni, esempi, lezioni di data science e altro ancora.

Autentica i nuovi utenti con il provisioning just-in-time tramite OAuth2.0. La verifica dell'identità OAuth2 dell'organizzazione aggiungerà al volo un nuovo utente Vertica con i ruoli specificati, facendo risparmiare molto tempo agli amministratori del database. Quando una persona accede a Vertica tramite il proprio token SSO OAuth preconfigurato, non è necessario creare account utente o assegnare ruoli manualmente. Inoltre, gli utenti OAuth che non utilizzano Vertica da un po' di tempo vengono rimossi automaticamente.

Quando si eseguono query di lunga durata, è possibile utilizzare meno memoria e ridurre i tempi di attesa in coda per il rilascio delle risorse grazie ai piani di query multi-parte: Vertica ora suddivide le query di lunga durata in parti e alloca solo la memoria e le risorse di calcolo necessarie per eseguire la parte più consistente di un piano multi-parte. Le risorse non utilizzate all'interno del blocco allocato vengono impiegate per ottimizzare ulteriormente la query, consentendo un'esecuzione complessivamente più rapida.

Avvia cluster di grandi dimensioni più velocemente utilizzando HTTPS anziché SSH : sfrutta i client Golang leggeri, la Cluster Operations Library (vclusterops) e vcluster.exe, che disaccoppiano l'operatore Kubernetes dai dettagli delle operazioni del cluster e creano database, soprattutto quelli di grandi dimensioni, più velocemente rispetto ad admintools. Molte funzionalità, incluse le operazioni di amministrazione che in precedenza erano disponibili in admintools solo tramite SSH, sono ora integrate direttamente nel server Vertica, consentendone l'utilizzo tramite HTTPS anziché SSH. Non è necessario installare alcun client speciale. Tutto viene gestito tramite NMA (Node Management Agent).

Automatizza la manutenzione del database in più fasi, le pipeline di machine learning o il riaddestramento dei modelli ML quando viene raggiunta una soglia di accuratezza in calo. Le stored procedure possono ora richiamare meta-funzioni e stored procedure nidificate fino a una profondità di chiamata di 100, e le modifiche ai parametri di sessione apportate dalle stored procedure persistono anche dopo il completamento della procedura.

Esegui Management Console (MC) su Linux con supporto ADO.net Core : utilizza istanze cloud Linux meno costose, anziché essere obbligato a utilizzare un'istanza Windows per MC.

Controlla dinamicamente quali hardware/nodi/istanze vengono utilizzati per scopi diversi con il routing del carico di lavoro: gli amministratori possono creare regole che instradano l'esecuzione delle query provenienti da client con un particolare carico di lavoro a un sottocluster separato, disaccoppiando la connessione dall'esecuzione. Un client può connettersi a un nodo ed eseguire query su un set di nodi diverso. I client possono impostare un nome per il carico di lavoro aggiungendo un parametro alla stringa di connessione o con la sintassi SQL dopo la connessione.

Ripristina uno stato precedente salvando i "punti di ripristino", ovvero un'istantanea del database in un determinato momento. (Solo in modalità Eon) – Salva una copia del catalogo e di tutti i dati modificati, non una copia completa dei dati direttamente dal server del database. Non è necessario VBR (strumento di backup e ripristino di Vertica).

E questo è solo un piccolo assaggio dei numerosi miglioramenti introdotti in quest'ultima versione di Vertica.