O Databricks CLI passou a suportar workload identity federation via OIDC, então um workflow do GitHub Actions consegue autenticar num service principal do Azure Databricks sem nunca guardar client secret no repositório.
O Databricks MVP Mani Kandasamy documentou que a Microsoft removeu o BI compatibility mode que traduzia consulta do Power BI pra lógica de Metric Views do Unity Catalog, e que o mesmo problema atinge Snowflake Semantic Views no conector do Power BI: cada fornecedor de BI trata semântica alheia como tabela de segunda classe.
O Databricks MVP Dilorom Abdullah documentou um padrão composável que junta ai_parse_document e ai_classify para achar e marcar PII dentro de documento não estruturado, PDF, formulário escaneado, texto livre, rodando inteiro dentro do perímetro de segurança do workspace.
Lakebase Search chega como camada de busca híbrida dentro do Lakebase: lakebase_vector faz busca semântica compatível com pgvector e lakebase_text faz busca por palavra-chave com BM25, os dois combináveis via Reciprocal Rank Fusion sem sair do banco operacional.
A Lakebase snapshots API, em beta, permite criar, listar e apagar snapshots pontuais de um branch de projeto Lakebase, e restaurar um snapshot criando um branch novo a partir dele, tudo de forma programática.
ABAC em view chegou em beta no Unity Catalog: as mesmas políticas de row filter e column mask baseadas em atributo que já valiam pra tabela agora se aplicam também a dado sensível exposto através de view.
Em public preview, quando a resposta do Genie inclui um gráfico, a visualização passa a aparecer como imagem direto na resposta do Slack, exigindo reinstalar o app do Genie no Slack pra quem já tinha instalado antes.
O Pipeline Rewind do Lakeflow permite voltar uma pipeline a um ponto anterior a um problema conhecido e reprocessar só o dado afetado, restaurando versão de tabela, offset de origem e estado do operador juntos.
O Databricks MVP Josue Bogran apontou que a forma como o Azure Databricks comunica preço, DBU e controle de custo antes do uso ainda deixa a desejar, mesmo a plataforma sendo competitiva depois que os workloads já estão rodando.
Até a Databricks Runtime 18, mudar spark.sql.shuffle.partitions numa query stateful com checkpoint já criado simplesmente não fazia nada. O repartition sob demanda (Public Preview) resolve isso sem exigir reconstrução do checkpoint do zero, e a Coveo já reportou 40% de redução de custo de API do S3 usando ele.