Novidades do Vertica^® 23.3

Esta versão incorpora vários meses de trabalho e muitas mudanças. A primeira mudança que você notará é o sistema de versionamento. A última versão do Vertica foi a 12.0.4, então você poderia esperar que esta fosse a versão 13. No entanto, os lançamentos da Rocket são programados para um por trimestre a cada ano, e são numerados de acordo com o ano e o trimestre — portanto, esta versão do Vertica é a 23.3, após o 3º trimestre de 2023. Você também notará que o Console de Gerenciamento e outros aspectos visuais do Vertica mudaram de cor e logotipo para refletir nossa nova empresa e marca.

Além das melhorias estéticas, e mesmo além de todas as melhorias que você espera em desempenho, segurança e demais recursos presentes em cada versão do Vertica, novos recursos importantes agora permitem que você:

• Refragmente seu banco de dados Vertica sempre que necessário, conforme os dados e as cargas de trabalho mudem.
• Salve instantâneos do banco de dados em momentos específicos para que você possa reverter a partir deles quando necessário, sem sobrecarregar seu orçamento de armazenamento com várias cópias dos mesmos dados.
• Automatize o roteamento de cargas de trabalho para o nó ou subcluster mais adequado para esse tipo de tarefa.
• Comece a executar fluxos de trabalho de aprendizado de máquina (ML) com Vertica facilmente com o novo VerticaPyLab, que inclui todas as dependências, exemplos e lições em uma única instalação com uma interface JupyterLab intuitiva.

O destaque principal, com a adição de recursos de leitura e análise de dados externos usando o Apache Iceberg como camada semântica, é que o Vertica agora é um data lakehouse totalmente funcional . Em versões anteriores, o Vertica unificava inteligência de negócios, aprendizado de máquina e outros tipos de análises avançadas, como dados geoespaciais, padrões de eventos e séries temporais, em um único ponto de contato para qualquer análise. O Vertica também permitia analisar qualquer tipo de dado, desde dados estruturados em nosso próprio formato ROS até dados semiestruturados e complexos em formatos de data lake externos, como Parquet, JSON e ORC.

Analisar esses dados com o Vertica, por meio da camada de metadados Apache Iceberg, oferece a vantagem da conformidade com ACID e da rápida localização desses dados no data lake. O Vertica permite analisar até mesmo dados complexos por meio do Iceberg rapidamente, mesmo que outro aplicativo os tenha alterado desde a última análise, adicionando ou removendo colunas ou alterando tipos de dados. O foco do Vertica em desempenho em escala proporcionou diversas maneiras de otimizar consultas em dados de data lake. Cada versão trará esse desempenho cada vez mais próximo da velocidade excepcional que você espera ao consultar dados internos do Vertica ROS.

O data lakehouse mais inteligente da Vertica elimina as limitações da análise de dados. 

Ele permite analisar seu data lake com a mesma velocidade e simultaneidade a que você está acostumado em um data warehouse. Aqui estão algumas coisas que você agora pode fazer com o Vertica 23.3:

Comece a usar o aprendizado de máquina Vertica facilmente com o novo VerticaPyLab – uma instalação rápida do VerticaPy com todas as dependências de uma só vez e uma interface JupyterLab fácil de usar para escolher aplicativos, exemplos, lições de ciência de dados, etc.

Autentique novos usuários com provisionamento just-in-time via OAuth 2.0. A verificação de identidade OAuth 2.0 da organização adicionará um novo usuário do Vertica com a(s) função(ões) especificada(s) instantaneamente, economizando muito tempo para os administradores de banco de dados. Quando um usuário faz login no Vertica usando seu token OAuth SSO pré-configurado, não é necessário criar contas de usuário ou conceder funções manualmente. Além disso, usuários OAuth que não utilizam o Vertica há algum tempo são removidos automaticamente.

Ao executar consultas de longa duração, utilize menos memória e espere menos tempo na fila para liberar recursos com planos de consulta multipartes – o Vertica agora divide consultas de longa duração em partes e aloca apenas a memória e os recursos de computação necessários para executar a maior parte de um plano multipartes. Quaisquer recursos não utilizados dentro do bloco alocado são usados ​​para otimizar ainda mais a consulta, de modo que a consulta seja executada mais rapidamente no geral.

Inicie clusters grandes mais rapidamente usando HTTPS em vez de SSH – Utilize clientes Golang leves, a Biblioteca de Operações de Cluster (vclusterops) e o vcluster.exe, que desacoplam o operador do Kubernetes dos detalhes das operações do cluster e criam bancos de dados, especialmente bancos de dados grandes, mais rapidamente do que o admintools. Muitas funcionalidades, incluindo operações administrativas que antes estavam disponíveis apenas no admintools via SSH, agora estão no próprio servidor Vertica, permitindo que você as utilize via HTTPS em vez de SSH. Não é necessário instalar nenhum cliente especial. Tudo é gerenciado pelo NMA (Agente de Gerenciamento de Nós).

Automatize a manutenção de bancos de dados em várias etapas, pipelines de aprendizado de máquina ou o retreinamento de modelos de ML quando um limite de precisão reduzida for atingido. Os procedimentos armazenados agora podem chamar metafunções e procedimentos armazenados aninhados com até 100 níveis de profundidade, e as alterações nos parâmetros de sessão feitas pelo procedimento armazenado agora persistem após a conclusão do procedimento.

Execute o Console de Gerenciamento (MC) no Linux com suporte a ADO.NET Core – Utilize instâncias de nuvem Linux mais econômicas, em vez de ser obrigado a usar uma instância Windows para o MC.

Controle dinamicamente quais hardwares/nós/instâncias são usados ​​para diferentes finalidades com roteamento de carga de trabalho – os administradores podem criar regras que direcionam a execução de consultas provenientes de clientes com uma carga de trabalho específica para um subcluster separado, desacoplando a conexão da execução. O cliente pode se conectar a um nó e executar em um conjunto diferente de nós. Os clientes podem definir um nome para a carga de trabalho adicionando um parâmetro de carga de trabalho à sua string de conexão ou com sintaxe SQL após a conexão.

Restaure um estado anterior salvando "pontos de restauração", um instantâneo do banco de dados em um determinado momento. (Somente no Modo Eon) – Armazene uma cópia do catálogo e quaisquer dados alterados, não uma cópia extra completa dos dados diretamente do servidor de banco de dados. A ferramenta VBR (Vertica Backup and Restoration) não é necessária.

E isso é apenas a ponta do iceberg das muitas melhorias desta versão mais recente do Vertica.