Andare oltre un Data Lakehouse

In questo settore, il modo in cui vengono dati i nomi alle cose può essere piuttosto bizzarro. Molti hanno sentito parlare di quanto sia fantastico un "data lakehouse", perché combina la potenza di un data lake con quella di un data warehouse . Quando penso a un lakehouse, penso a un posto fantastico per andare a pescare e bere qualche birra. Di certo non penso a un posto dove fare le mie analisi.

Questo è uno dei motivi per cui Vertica^® ha scelto di definirsi una "piattaforma di analisi unificata". Inoltre, il nostro obiettivo è sempre stato quello di unificare diversi metodi di analisi, diversi team di analisti e diverse architetture, quindi "analisi unificata" si allinea meglio ai nostri obiettivi. In più, crediamo che l'analisi sia il punto cruciale, non il luogo in cui vengono archiviati i dati. Questo significa che Vertica non funzionerà come un data lakehouse? No, certamente sì.

Vertica è un data lakehouse, ma andiamo ben oltre i requisiti di base di un data lakehouse , offrendo qualcosa in più rispetto alle aziende che utilizzano questo termine. Iniziamo esaminando la definizione di data lakehouse fornita da qualcun altro per dimostrare che Vertica soddisfa tutti i criteri.

Dopo ogni sezione, cercate un supplemento " Approfondimenti " che spieghi come Vertica si basa sulle fondamenta di base. Dove viene definita la struttura di base del data lakehouse?

Su Internet se ne trovano molte, ma usiamo la definizione di Databricks.

Data warehouse tradizionale

Per motivi di efficienza, raggruppiamo le funzionalità in funzionalità di data warehouse e funzionalità di data lake e utilizziamo le loro definizioni alla lettera .

Supporto alle transazioni: in un data lakehouse aziendale, molte pipeline di dati leggono e scrivono dati contemporaneamente. Il supporto per le transazioni ACID garantisce la coerenza quando più parti leggono o scrivono dati contemporaneamente, in genere utilizzando SQL.

Applicazione e governance dello schema: Lakehouse dovrebbe disporre di un meccanismo per supportare l'applicazione e l'evoluzione dello schema, supportando architetture di schema di data warehouse come gli schemi a stella/fiocco di neve. Il sistema dovrebbe essere in grado di valutare l'integrità dei dati e dovrebbe disporre di solidi meccanismi di governance e audit.

Sebbene queste possano sembrare funzionalità nuove, innovative e all'avanguardia per un fornitore con una lunga esperienza nei data lake, per Vertica rappresentano il punto di partenza. Vertica ha sempre garantito la piena conformità ACID con una forte coerenza fin dalla sua nascita. La coerenza finale è sempre stata per noi un concetto tabù. Se si interroga Vertica due volte sugli stessi dati, si otterrà SEMPRE la stessa risposta. L'integrità dei dati, la governance e l'audit sono per noi fondamentali, non un obiettivo da raggiungere. La business intelligence ad alte prestazioni su scala praticamente illimitata è da anni il nostro pane quotidiano.

Inoltre, Vertica si integra con quasi tutti gli strumenti di business intelligence e visualizzazione dati presenti sul mercato. Il nostro obiettivo è quello di non porre mai limiti alle tue capacità di analisi.

Lago dei dati tradizionale

Okay, quindi, che dire delle funzionalità che tradizionalmente fanno parte di un data lake, come:

L'archiviazione è disaccoppiata dall'elaborazione: in pratica, ciò significa che l'archiviazione e l'elaborazione utilizzano cluster separati, consentendo a questi sistemi di scalare per gestire un numero molto maggiore di utenti simultanei e dimensioni di dati più grandi. Anche alcuni moderni data warehouse presentano questa caratteristica.

Eon Mode, l'architettura di Vertica che separa le risorse di calcolo e di storage, è entrata a far parte di Vertica diversi anni fa. Ha la capacità unica di offrire tutti i vantaggi di un'architettura cloud-native ed elastica, indipendentemente dall'infrastruttura, su qualsiasi cloud e persino on-premise. Anche Vertica Accelerator, il nostro servizio gestito, è stato rilasciato di recente ed è basato su questa architettura.

Inoltre: quando Vertica parla di utenti simultanei, intendiamo un numero ben superiore a dieci. I clienti di Vertica spesso hanno centinaia, o addirittura migliaia, di utenti che accedono quotidianamente ai dati per prendere decisioni in ambito lavorativo.

Supporto per diversi carichi di lavoro: tra cui data science, machine learning, SQL e analisi dati. Potrebbero essere necessari più strumenti per supportare tutti questi carichi di lavoro, ma tutti si basano sullo stesso repository di dati.

Come già accennato, Vertica è da sempre rinomata per la sua incredibile velocità nella Business Intelligence. Inoltre, Vertica non solo supporta l'intero flusso di lavoro di data science end-to-end, ma rende anche molto più semplice e veloce l'implementazione di modelli di machine learning, dalla fase di proof of concept alla produzione, rispetto a qualsiasi altra piattaforma. E tutto questo senza richiedere l'acquisto di numerosi strumenti aggiuntivi o di pacchetti costosi. Tutte le funzioni di data science di Vertica sono progettate per funzionare all'interno del database, sfruttando il nostro motore. Sono progettate per scalare, funzionare in parallelo e raggiungere velocità incredibili. Il tutto è integrato nella Vertica Unified Analytics Platform. E se desiderate aggiungerne di vostre, potete creare un algoritmo o una funzione e integrarla nel nostro framework UDx per un'estensibilità pressoché illimitata.

Oltre a ciò: Vertica, oltre alla business intelligence e al machine learning, supporta anche molte altre importanti funzionalità di analisi avanzata, come l'analisi geospaziale, il riconoscimento di modelli di eventi, l'analisi delle serie temporali e l'analisi del testo.

Supporto per diverse tipologie di dati, da quelli non strutturati a quelli strutturati: Lakehouse può essere utilizzato per archiviare, elaborare, analizzare e accedere ai tipi di dati necessari per numerose nuove applicazioni, tra cui immagini, video, audio, dati semi-strutturati e testo.

I data lake risiedono su un sistema di archiviazione a oggetti, come S3, o sull'Hadoop File System (HDFS). Il vantaggio di questi sistemi è la possibilità di archiviare un'ampia varietà di dati, dal formato altamente strutturato utilizzato da Vertica, ROS (Read Optimized Storage), ad altri formati a colonne come Parquet e ORC, a formati semi-strutturati come JSON, Avro, CSV, file di log, ecc., fino a dati completamente non strutturati come immagini e video. Vertica non analizza file audio, immagini o video non strutturati, ma è in grado di interrogare, addestrare modelli di machine learning, unire e gestire qualsiasi altro tipo di dato presente in questo elenco. I nostri dati risiedono su un sistema di archiviazione a oggetti, proprio accanto a quelli di tutti gli altri, e li analizziamo tutti.

Inoltre, Vertica funge da motore di query, analizzando i dati direttamente dove si trovano, anziché richiedere un'importazione/traduzione nel nostro formato prima dell'analisi, a differenza di molte altre tecnologie. Non ti chiediamo di inserire prima tutti i tuoi dati nel nostro prodotto per poi analizzarli. Lavoriamo ovunque si trovino attualmente i tuoi dati. Vertica dispone anche di una pratica funzione integrata chiamata INFER_EXTERNAL_TABLE_DDL, che analizza un file come Parquet e ne determina automaticamente la struttura, consentendoti di utilizzare queste informazioni per analizzare i dati.

Apertura: i formati di archiviazione che utilizzano sono aperti e standardizzati, come Parquet, e forniscono API in modo che una varietà di strumenti e motori, tra cui l'apprendimento automatico e le librerie Python/R, possano accedere ai dati direttamente in modo efficiente.

Vertica supporta SQL e Python come interfacce di primo livello, con supporto open-source per numerose librerie e tipi di file come Parquet, ORC, JSON, Avro, CSV, ecc., e, come accennato in precedenza, un supporto bidirezionale veloce per Spark. Sebbene il nostro formato di archiviazione interno sia proprietario, supportiamo anche lo scambio aperto di modelli di machine learning tramite PMML, un linguaggio di markup specificamente progettato per la condivisione di modelli. Importiamo anche grafi TensorFlow, tra gli altri.

Inoltre, grazie alla possibilità di utilizzare oltre 650 funzioni di Vertica tramite SQL, R o Python, è possibile consentire anche a un data scientist non esperto di SQL, che conosca i dati e il caso d'uso, di utilizzare algoritmi predittivi. Allo stesso modo, l'esperto di data science che ha familiarità con Jupyter e Python non avrà mai bisogno di uscire da questo ambiente per svolgere operazioni semplici come analizzare le vendite aggregate per regione.

Streaming end-to-end: i report in tempo reale sono la norma in molte aziende. Il supporto per lo streaming elimina la necessità di sistemi separati dedicati alla gestione di applicazioni con dati in tempo reale.

Vertica è sia un consumatore che un produttore di argomenti Apache Kafka e molti dei nostri clienti utilizzano tecnologie di streaming simili, come Amazon Kinesis e Apache Pulsar. Vertica supporta pienamente i dati in streaming con funzionalità integrate di corrispondenza di pattern di eventi, windowing, media mobile e altre funzionalità relative all'IoT e allo streaming. I clienti di Vertica spesso richiedono tempi di risposta nell'ordine delle centinaia di millisecondi e noi li soddisfiamo quotidianamente.

Oltre a ciò: quando ho accennato prima alla nostra capacità di gestire carichi di lavoro eterogenei con elevata concorrenza, intendevo l'acquisizione e la trasformazione continua di dati in streaming. Possiamo farlo, addestrare un algoritmo di machine learning, potenziare le vostre dashboard, rendere le vostre applicazioni velocissime e rispondere a qualsiasi query ad hoc possiate avere. Tutto contemporaneamente.

Un altro aspetto non menzionato nei requisiti per un data lakehouse , e che Vertica gestisce in modo leggermente diverso rispetto alla maggior parte delle altre tecnologie in questo settore, è la sua politica di licenze. Con Vertica, gli ambienti di sviluppo, test e i cluster ad alta disponibilità sono identici a quelli di produzione, perché addebitiamo solo per la produzione. Il resto è incluso. Le nostre funzionalità di machine learning e analisi avanzata sono veloci e facili da usare perché incluse in ogni versione. Non ci sorprende che la vostra azienda voglia utilizzare sia la business intelligence che la data science; è una prassi normale al giorno d'oggi. Né ci sorprende che desideriate un ambiente di sviluppo oltre a quelli di test, disaster recovery e produzione. Per noi, questi non sono componenti aggiuntivi o miglioramenti all'avanguardia; sono semplicemente parte integrante di una buona piattaforma di analisi.

Vertica ti permette di andare oltre un semplice data lakehouse e di raggiungere un'analisi dei dati veramente unificata.