Au-delà d'un lac de données

Dans ce secteur, la terminologie employée est parfois assez étrange. On entend beaucoup parler du concept novateur de « data lakehouse », qui combine la puissance d'un lac de données et celle d'un entrepôt de données . Personnellement, quand je pense à une maison au bord d'un lac, j'imagine un endroit idéal pour pêcher et boire quelques bières. Je ne pense certainement pas à un lieu où effectuer mes analyses.

C’est l’une des raisons pour lesquelles Vertica^® a choisi de se définir comme une « plateforme d’analyse unifiée ». De plus, notre objectif est d’unifier les différentes méthodes d’analyse, les différentes équipes d’analystes et les différentes architectures ; l’expression « analyse unifiée » correspond donc mieux à nos objectifs. Par ailleurs, nous pensons que l’analyse est le point central, et non le lieu de stockage des données. Cela signifie-t-il que Vertica ne fonctionnera pas comme un lac de données ? Absolument pas.

Vertica est un entrepôt de données, mais nous allons bien au-delà des exigences de base d'un tel entrepôt pour offrir des services plus complets que ceux des entreprises qui utilisent ce terme. Commençons par examiner la définition d'un entrepôt de données proposée par un tiers afin de démontrer que Vertica répond à tous les critères.

Après chaque section, recherchez le supplément « Pour aller plus loin » qui explique comment Vertica s'appuie sur les fondements de base. Où est définie l'architecture du lac de données ?

On en trouve beaucoup sur Internet, mais utilisons la définition de Databricks.

Entrepôt de données traditionnel

Par souci d’efficacité, regroupons les capacités en capacités d’entrepôt de données et de lac de données , et utilisons leurs définitions mot pour mot .

Gestion des transactions: Dans un système de gestion de données d’entreprise (lacune de données), de nombreux pipelines de données lisent et écrivent des données simultanément. La prise en charge des transactions ACID garantit la cohérence des données lorsque plusieurs parties y accèdent simultanément, généralement via SQL.

Application et gouvernance des schémas: Lakehouse doit permettre l’application et l’évolution des schémas, en prenant en charge les architectures de schémas d’entrepôt de données telles que les schémas en étoile ou en flocon de neige. Le système doit être capable de garantir l’intégrité des données et disposer de mécanismes robustes de gouvernance et d’audit.

Bien que ces fonctionnalités puissent paraître novatrices et de pointe pour un fournisseur ayant une longue expérience des lacs de données, elles sont, pour Vertica, un prérequis. Depuis sa création, Vertica garantit une conformité ACID totale et une forte cohérence. La cohérence éventuelle a toujours été un concept tabou chez nous. Si vous interrogez Vertica deux fois sur les mêmes données, vous obtiendrez systématiquement la même réponse. L'intégrité, la gouvernance et l'audit des données sont également des priorités absolues, et non un objectif à atteindre. L'informatique décisionnelle haute performance à une échelle quasi illimitée constitue notre cœur de métier depuis des années.

De plus, Vertica s'intègre à la quasi-totalité des outils de BI et de visualisation de données du marché. Nous nous efforçons de ne jamais limiter vos analyses.

Lac de données traditionnel

D'accord, alors, qu'en est-il des fonctionnalités qui font traditionnellement partie d'un lac de données, comme:

Le stockage est découplé du calcul: en pratique, cela signifie que le stockage et le calcul utilisent des clusters distincts, ce qui permet à ces systèmes de gérer un nombre beaucoup plus important d’utilisateurs simultanés et des volumes de données plus élevés. Certains entrepôts de données modernes présentent également cette caractéristique.

Eon Mode, l'architecture de calcul et de stockage séparée de Vertica, fait partie intégrante de Vertica depuis plusieurs années. Elle offre la capacité unique de fournir tous les avantages de cette architecture cloud native et élastique, quelle que soit l'infrastructure, sur n'importe quel cloud, et même sur site. Vertica Accelerator, notre service managé, a également été lancé récemment et repose sur cette architecture.

Au-delà de cela: lorsque Vertica parle d’utilisateurs simultanés, nous faisons référence à bien plus que dix personnes. Les clients de Vertica comptent souvent des centaines, voire des milliers, d’utilisateurs accédant quotidiennement aux données pour prendre leurs décisions professionnelles.

Prise en charge de charges de travail variées: science des données, apprentissage automatique, SQL et analytique. Plusieurs outils peuvent être nécessaires pour gérer ces charges de travail, mais ils reposent tous sur le même référentiel de données.

Comme mentionné précédemment, Vertica a toujours été reconnue pour sa BI ultra-rapide. De plus, Vertica prend en charge l'intégralité du flux de travail de la science des données et simplifie et accélère considérablement le déploiement des modèles d'apprentissage automatique, de la preuve de concept à la production, par rapport à toute autre plateforme. Et ce, sans nécessiter l'achat d'outils supplémentaires ou d'un progiciel coûteux. Toutes les fonctions de science des données de Vertica sont conçues pour fonctionner dans la base de données, grâce à notre moteur. Elles sont conçues pour évoluer, s'exécuter en parallèle et offrir une vitesse d'exécution exceptionnelle. Elles sont toutes intégrées à la plateforme d'analyse unifiée Vertica. Et si vous souhaitez ajouter vos propres fonctionnalités, n'hésitez pas à créer un algorithme ou une fonction et à l'intégrer à notre framework UDx pour une extensibilité quasi illimitée.

Par ailleurs: outre la BI et l’apprentissage automatique, Vertica prend également en charge de nombreuses autres fonctionnalités d’analyse avancée importantes telles que l’analyse géospatiale, la correspondance de modèles d’événements, l’analyse de séries temporelles et l’analyse de texte.

Prise en charge de divers types de données, des données non structurées aux données structurées: Lakehouse peut être utilisé pour stocker, affiner, analyser et accéder aux types de données nécessaires à de nombreuses nouvelles applications de données, notamment les images, la vidéo, l’audio, les données semi-structurées et le texte.

Les lacs de données résident soit sur un système de stockage objet, tel que S3, soit sur le système de fichiers Hadoop (HDFS). L'avantage de ces systèmes est qu'ils permettent de stocker une grande variété de données: du format hautement structuré utilisé par Vertica, ROS (Read Optimized Storage), à ​​d'autres formats colonnaires comme Parquet et ORC, en passant par des formats semi-structurés comme JSON, Avro, CSV, les fichiers journaux, etc., jusqu'aux données totalement non structurées comme les images et les vidéos. Vertica n'analyse pas les données audio, les images ou les vidéos non structurées, mais elle peut interroger, entraîner un modèle d'apprentissage automatique, effectuer des jointures, etc., tous les autres types de données de cette liste. Nos données sont stockées sur un système de stockage objet, au même titre que celles de tous les autres utilisateurs, et nous les analysons toutes.

De plus, Vertica fonctionne comme un moteur de requêtes, analysant les données directement dans leur format d'origine, contrairement à de nombreuses autres technologies qui nécessitent une importation ou une conversion préalable. Vous n'avez pas besoin d'importer toutes vos données dans notre produit avant de les analyser. Nous fonctionnons quel que soit l'emplacement de vos données. Vertica intègre même une fonction pratique, INFER_EXTERNAL_TABLE_DDL, qui analyse un fichier comme Parquet et détermine automatiquement sa structure, vous permettant ainsi d'exploiter ces informations pour l'analyse des données.

Ouverture: Les formats de stockage qu'ils utilisent sont ouverts et standardisés, tels que Parquet, et ils fournissent une API permettant à divers outils et moteurs, notamment les bibliothèques d'apprentissage automatique et Python/R, d'accéder efficacement et directement aux données.

Vertica prend en charge SQL et Python comme interfaces natives, avec une compatibilité open source pour de nombreuses bibliothèques et types de fichiers tels que Parquet, ORC, JSON, Avro, CSV, etc., et, comme mentionné précédemment, une prise en charge bidirectionnelle et rapide de Spark. Bien que notre format de stockage interne soit propriétaire, nous prenons également en charge l'échange ouvert de modèles d'apprentissage automatique via PMML, un langage de balisage spécifiquement conçu pour le partage de modèles. Nous importons également des graphes TensorFlow, entre autres.

De plus, grâce à la possibilité d'utiliser plus de 650 fonctions Vertica via SQL, R ou Python, même un data scientist non spécialisé, maîtrisant SQL et connaissant vos données et votre cas d'usage, peut exploiter des algorithmes prédictifs. Parallèlement, un expert en science des données à l'aise avec Jupyter et Python n'a plus besoin de quitter cet environnement pour effectuer des tâches simples comme l'analyse des ventes agrégées par région.

Diffusion en continu de bout en bout: les rapports en temps réel sont la norme dans de nombreuses entreprises. La prise en charge de la diffusion en continu élimine le besoin de systèmes distincts dédiés aux applications de données en temps réel.

Vertica est à la fois un consommateur et un producteur de sujets Apache Kafka, et nombre de nos clients utilisent des technologies de streaming similaires, telles qu'Amazon Kinesis et Apache Pulsar. Vertica prend pleinement en charge les données en flux continu grâce à des fonctionnalités intégrées de correspondance de modèles d'événements, de fenêtrage, de moyenne mobile et autres fonctionnalités liées à l'IoT et au streaming. Les clients de Vertica ont souvent des exigences de temps de réponse de l'ordre de la centaine de millisecondes, et nous y répondons quotidiennement.

Par ailleurs: lorsque j’ai mentionné précédemment notre capacité à gérer une forte concurrence sur des charges de travail variées, cela inclut l’ingestion et la transformation continues de données en flux continu. Nous pouvons ainsi gérer simultanément l’entraînement d’un algorithme d’apprentissage automatique, l’alimentation de vos tableaux de bord, l’optimisation de vos applications et la réponse à toutes vos requêtes ponctuelles.

Un autre point non mentionné dans les exigences d'un lac de données , et qui distingue Vertica de la plupart des autres technologies du secteur, concerne sa licence. Avec Vertica, les environnements de développement, de test et de haute disponibilité sont identiques à la production, car nous ne facturons que la production. Le reste est inclus. Nos outils d'apprentissage automatique et d'analyse avancée sont rapides et faciles à utiliser, car ils sont intégrés à chaque version. Nous ne sommes pas surpris que votre entreprise souhaite à la fois faire de la BI et de la science des données ; c'est une pratique courante aujourd'hui. De même, nous ne sommes pas étonnés que vous souhaitiez un environnement de développement, en plus des environnements de test, de reprise après sinistre et de production. Pour nous, il ne s'agit pas d'options supplémentaires ni de nouvelles innovations ; c'est simplement ce qui fait une bonne plateforme d'analyse.

Vertica vous permet d'aller au-delà d'un simple lac de données pour accéder à une analyse véritablement unifiée.