Databricks

Mover tabela entre catálogos sem copiar dado: a Databricks contribuiu UNREGISTER pro padrão aberto do Iceberg

REGISTER e UNREGISTER, em Private Preview, deixam uma tabela sair de um catálogo e entrar em outro reaproveitando só a localização do metadado, sem mover arquivo nenhum, baseado na especificação REST do Apache Iceberg à qual a própria Databricks contribuiu o UNREGISTER.

O repartition sob demanda que era Public Preview virou GA, e dois Databricks MVPs bateram nisso no mesmo dia

On-demand state repartitioning, que já cobrimos aqui como Public Preview, chegou à disponibilidade geral: redimensionar partição de shuffle de uma query stateful ou pipeline do Lakeflow sem perder o estado do checkpoint, e agora os Databricks MVPs Hubert Dudek e Derar Alhussein confirmaram, cada um por conta própria, que o recurso está liberado pra uso geral.

A Databricks CLI 1.20 não deprecia mais o Terraform em bundle, ela remove de vez

O Databricks MVP Daniel Sahal destacou que a Databricks CLI 1.20.0 removeu de vez o engine Terraform de Databricks Asset Bundles: setar bundle.engine: terraform ou a variável de ambiente equivalente agora retorna erro, e falha de migração de state também vira erro em vez de cair de volta pro Terraform.

Pipeline que passa inteira não significa número certo: teste unitário nativo chega ao Lakeflow

O Databricks MVP Shashank Shekhar documentou o teste unitário nativo (Beta) de Spark Declarative Pipelines: roda dentro do próprio editor, redireciona tabela pra um schema isolado com dado mockado via test_spark, executa refresh seletivo com TestPipeline.active() e checa resultado, pegando bug de lógica que passaria despercebido mesmo com toda expectation satisfeita.

taskValues conseguem alimentar um For Each loop inteiro no Lakeflow Jobs

O Databricks MVP Hubert Dudek mostrou que o Databricks taskValues pode passar uma lista Python direto para um For Each loop no Lakeflow Jobs, permitindo gerar a lista de forma dinâmica e reaproveitar a mesma task para cada país, tabela ou arquivo.

ai_decide é rápido o suficiente para qualquer loop, mas isso não significa que deveria estar em todos

O Databricks MVP Sudhir Gajre analisou o ai_decide, a nova AI Function de decisão da Databricks compatível com a API da TypeSafe AI, e apontou dois antipadrões: substituir regra determinística por decisão probabilística, e colocar IA em todo loop em tempo real só porque a latência permite.

Ler tabela do Workday direto do Unity Catalog, sem pipeline de ingestão no meio

Workday Data Connect catalog federation (Beta) registra tabela do Workday como foreign table no Unity Catalog, lida direto do cloud storage via autenticação OAuth com Integration System User, sem copiar dado nem construir pipeline de ingestão, mas só em modo de acesso padrão.

A linhagem nativa do Unity Catalog não respondia perguntas de arquitetura, então um MVP construiu a própria

O Databricks MVP Maksim Pachkouski construiu uma visualização de linhagem aprimorada sobre Databricks Apps, cobrindo todo o catálogo como um único grafo navegável, com hierarquia completa, jobs, dependências e exportação para draw.io.

Databricks Artifact Registry tenta resolver a fragmentação de onde seus modelos e containers moram

O Databricks MVP Ajay Kumar Pandey destacou o Artifact Registry, um repositório centralizado para armazenar, descobrir e governar modelos, bibliotecas e containers ao longo do ciclo de vida de dados e IA.

Agente de atendimento lê dado do Databricks sem cópia, e devolve a conversa estruturada de volta

A parceria entre Decagon e Databricks usa OpenSharing zero-copy nos dois sentidos: agentes de atendimento leem registro de cliente governado direto do Databricks sem ETL, e cada conversa volta estruturada, com intenção, causa raiz e sentimento, pra enriquecer tabela de receita e produto.