Más allá de un Data Lakehouse

En este sector, la forma en que se nombran las cosas puede ser bastante peculiar. Mucha gente ha oído hablar de lo genial que es un "data lakehouse", ya que combina la potencia de un lago de datos con la de un almacén de datos . Cuando pienso en un lakehouse, pienso en un lugar estupendo para ir a pescar y tomar unas cervezas. Desde luego, no pienso en un lugar para realizar mis análisis.

Esa es una de las razones por las que Vertica^® optó por llamarse «plataforma analítica unificada». Además, nuestro objetivo ha sido unificar diferentes métodos de análisis, equipos de analistas y arquitecturas, por lo que «analítica unificada» se ajusta mejor a nuestros objetivos. Asimismo, creemos que el análisis es fundamental, no el lugar donde se almacenan los datos. ¿Significa esto que Vertica no funcionará como un centro de datos? No, sin duda lo hará.

Vertica es un centro de datos en lago, pero vamos mucho más allá de los requisitos básicos de un centro de datos en lago, ofreciendo servicios que van más allá de los que utilizan las empresas que emplean este término. Comencemos analizando la definición de centro de datos en lago que ofrece otra empresa para demostrar que Vertica cumple con todos esos criterios.

Después de cada sección, busque un suplemento titulado " Más allá de eso " que explique cómo Vertica se basa en los fundamentos básicos. ¿Dónde se define la base del data lakehouse?

Existen muchas definiciones en Internet, pero utilicemos la de Databricks.

Almacén de datos tradicional

Para mayor eficiencia, agrupemos las capacidades en capacidades de almacenamiento de datos y capacidades de lago de datos , y usemos sus definiciones textualmente .

Soporte para transacciones: En un centro de datos empresarial, muchos flujos de datos leerán y escribirán datos simultáneamente. El soporte para transacciones ACID garantiza la coherencia cuando varias partes leen o escriben datos al mismo tiempo, normalmente mediante SQL.

Aplicación y gobernanza de esquemas: Lakehouse debe contar con un mecanismo para la aplicación y evolución de esquemas, compatible con arquitecturas de esquemas de DW como los esquemas de estrella/copo de nieve. El sistema debe ser capaz de razonar sobre la integridad de los datos y contar con mecanismos robustos de gobernanza y auditoría.

Si bien estas capacidades pueden parecer novedosas e innovadoras para un proveedor con experiencia en data lakes, para Vertica son requisitos básicos. Vertica ha cumplido con las propiedades ACID y ha mantenido una sólida consistencia desde sus inicios. La consistencia eventual siempre ha sido un tema delicado para nosotros. Si consulta Vertica dos veces sobre los mismos datos, obtendrá la misma respuesta. La integridad, la gobernanza y la auditoría de los datos son fundamentales para nosotros, no un objetivo ambicioso. La inteligencia empresarial de alto rendimiento a escala prácticamente ilimitada ha sido nuestra especialidad durante años.

Además, Vertica se integra con prácticamente todas las herramientas de inteligencia empresarial y visualización de datos del mercado. Nos esforzamos por no limitar nunca tus capacidades analíticas.

Lago de datos tradicional

Bien, entonces, ¿qué hay de las capacidades que tradicionalmente forman parte de un lago de datos, como por ejemplo:

El almacenamiento está desacoplado del procesamiento: en la práctica, esto significa que el almacenamiento y el procesamiento utilizan clústeres separados, lo que permite que estos sistemas escalen a muchos más usuarios concurrentes y a mayores volúmenes de datos. Algunos almacenes de datos modernos también poseen esta característica.

Eon Mode, la arquitectura de Vertica que separa el procesamiento y el almacenamiento, se integró a Vertica hace años. Ofrece la capacidad única de brindar todas las ventajas de esta arquitectura elástica y nativa de la nube, independientemente de la infraestructura, en cualquier nube e incluso en entornos locales. Vertica Accelerator, nuestro servicio gestionado, también se lanzó recientemente y está basado en esta arquitectura.

Además, cuando Vertica habla de usuarios concurrentes, nos referimos a muchos más que diez. Los clientes de Vertica suelen tener cientos, o incluso miles, de usuarios que acceden a los datos para tomar decisiones laborales a diario.

Compatibilidad con diversas cargas de trabajo: incluyendo ciencia de datos, aprendizaje automático, SQL y análisis. Es posible que se necesiten varias herramientas para dar soporte a todas estas cargas de trabajo, pero todas dependen del mismo repositorio de datos.

Como ya se mencionó, Vertica siempre se ha caracterizado por su velocidad excepcional en inteligencia empresarial (BI). Además, Vertica no solo admite todo el flujo de trabajo de ciencia de datos de principio a fin, sino que también facilita y agiliza la implementación de modelos de aprendizaje automático, desde la prueba de concepto hasta la producción, en comparación con cualquier otra plataforma. Y lo hace sin necesidad de adquirir herramientas adicionales ni paquetes costosos. Todas las funciones de ciencia de datos de Vertica están diseñadas para funcionar en la base de datos, impulsadas por nuestro motor. Están diseñadas para escalar, ejecutarse en paralelo y alcanzar velocidades increíbles. Todas se integran en la plataforma de análisis unificado de Vertica. Si desea agregar sus propias funcionalidades, puede crear un algoritmo o función e integrarlo en nuestro marco UDx para una extensibilidad prácticamente ilimitada.

Además de la inteligencia empresarial y el aprendizaje automático, Vertica también admite muchas otras capacidades importantes de análisis avanzado, como análisis geoespacial, coincidencia de patrones de eventos, análisis de series temporales y análisis de texto.

Compatibilidad con diversos tipos de datos, desde datos no estructurados hasta datos estructurados: Lakehouse se puede utilizar para almacenar, refinar, analizar y acceder a los tipos de datos necesarios para muchas aplicaciones de datos nuevas, incluidas imágenes, vídeo, audio, datos semiestructurados y texto.

Los lagos de datos residen en un sistema de almacenamiento de objetos, como S3, o en el Sistema de Archivos de Hadoop (HDFS). La ventaja de estos sistemas es que permiten almacenar una amplia variedad de datos, desde el formato altamente estructurado en el que Vertica almacena sus datos, ROS (Read Optimized Storage), hasta otros formatos columnares como Parquet y ORC, pasando por formatos semiestructurados como JSON, Avro, CSV, archivos de registro, etc., e incluso datos completamente no estructurados como imágenes y vídeo. Vertica no analiza sonido, imágenes ni vídeo no estructurados, pero puede consultar, entrenar modelos de aprendizaje automático, combinar, etc., cualquier otro tipo de dato de la lista . Nuestros datos se almacenan en un sistema de almacenamiento de objetos junto a los de los demás, y los analizamos todos.

Además, Vertica funciona como un motor de consultas, analizando los datos directamente en su ubicación, sin necesidad de importarlos ni convertirlos a nuestro formato antes del análisis, a diferencia de muchas otras tecnologías. No le pedimos que primero introduzca todos sus datos en nuestro producto para que luego los analicemos. Trabajamos dondequiera que se encuentren sus datos. Vertica incluso cuenta con una práctica función integrada llamada INFER_EXTERNAL_TABLE_DDL, que analiza archivos como Parquet y determina automáticamente su estructura, para que pueda utilizar esa información para analizar los datos.

Transparencia: Los formatos de almacenamiento que utilizan son abiertos y estandarizados, como Parquet, y proporcionan una API para que diversas herramientas y motores, incluidas las bibliotecas de aprendizaje automático y Python/R, puedan acceder a los datos de forma eficiente y directa.

Vertica admite SQL y Python como interfaces nativas, con soporte de código abierto para numerosas bibliotecas y tipos de archivo como Parquet, ORC, JSON, Avro, CSV, etc., y, como se mencionó anteriormente, soporte rápido y bidireccional para Spark. Si bien nuestro formato de almacenamiento interno es propietario, también admitimos el intercambio abierto de modelos de aprendizaje automático mediante PMML, un lenguaje de marcado diseñado específicamente para compartir modelos. Además, importamos grafos de TensorFlow, entre otros.

Además, gracias a que puedes usar cualquiera de las más de 650 funciones de Vertica mediante SQL, R o Python, puedes permitir que el científico de datos no especializado, que domina SQL y conoce tus datos y casos de uso, utilice algoritmos predictivos. Del mismo modo, el experto en ciencia de datos que se siente cómodo con Jupyter y Python no necesita salir de ese entorno para realizar tareas sencillas como analizar las ventas agregadas por región.

Transmisión de extremo a extremo: Los informes en tiempo real son la norma en muchas empresas. La compatibilidad con la transmisión elimina la necesidad de sistemas separados dedicados a las aplicaciones de datos en tiempo real.

Vertica es tanto consumidor como productor de temas de Apache Kafka, y muchos de nuestros clientes utilizan tecnologías de transmisión similares, como Amazon Kinesis y Apache Pulsar. Vertica ofrece soporte completo para datos en tiempo real con coincidencia de patrones de eventos, segmentación, promedio móvil y otras funcionalidades de IoT y transmisión integradas. Los clientes de Vertica suelen requerir tiempos de respuesta de cientos de milisegundos, y nosotros los cumplimos a diario.

Además: cuando mencioné anteriormente que manejamos alta concurrencia en diversas cargas de trabajo, me refería a la ingesta constante y la transformación de datos en flujos de datos entrantes. Podemos hacer eso, entrenar un algoritmo de aprendizaje automático, potenciar sus paneles de control, optimizar el rendimiento de sus aplicaciones y, al mismo tiempo, responder a cualquier consulta ad hoc que pueda surgir. Todo simultáneamente.

Otro aspecto que no se menciona en los requisitos para un data lakehouse , y que Vertica aborda de forma algo diferente a la mayoría de las tecnologías en este ámbito, es su licenciamiento. Los clústeres de desarrollo, pruebas y alta disponibilidad son iguales que los de producción con Vertica, ya que solo cobramos por producción. El resto está incluido. Nuestro aprendizaje automático y análisis avanzado son rápidos y fáciles de usar porque están incluidos en todas las versiones. No nos sorprende que su empresa quiera implementar tanto inteligencia empresarial como ciencia de datos; es algo habitual en el mundo empresarial actual. Tampoco nos sorprende que desee un entorno de desarrollo, además de entornos de prueba, recuperación ante desastres y producción. Para nosotros, no se trata de complementos adicionales ni de mejoras novedosas; simplemente forman parte de ser una buena plataforma de análisis.

Vertica te permite ir más allá de un simple repositorio de datos para lograr un análisis verdaderamente unificado.