Databricks

Auto CDC no Spark 4.2 tira o MERGE manual de cima de quem só queria manter a versão mais recente

Auto CDC chega ao Spark Declarative Pipelines pra SCD Type 1: você descreve a regra de mudança (chave, ordenação, o que conta como delete), e o motor aplica, mesmo com evento fora de ordem.

Consistência de estilo no Databricks não é só sobre Python, SQL também precisa de linter

O Databricks MVP Bartosz Konieczny mostra como usar o SQLFluff pra padronizar scripts SQL no Databricks, integrando a verificação ao ciclo de deploy dos Declarative Automation Bundles.

Priority pay-per-token: pagar mais caro pra garantir latência, sem reservar capacidade dedicada

O Unity AI Gateway ganhou um modo de prioridade que promete latência consistente pra aplicações de IA em tempo real, sem exigir capacidade reservada, um meio-termo entre pay-per-token comum e provisioned throughput.

Um agente que responde 'quanto vai custar isso' antes de você rodar em produção

O Databricks MVP Casper Lubbers construiu um agente de FinOps focado em avaliação de custo Azure + Databricks, do tipo de pergunta que hoje normalmente só se responde depois do fato, olhando a fatura.

Genie Code ganha command center: o que muda quando o agente vira um colega de engenharia de ML

A expansão do Genie Code traz um painel para gerenciar trabalho multi-thread e integração nativa com MLflow e Model Serving. Isso aproxima o agente do fluxo real de quem já trabalha com ML em produção.

O Genie Code virou um colega júnior de MLOps

Command center multi-thread e inteligência nativa sobre MLflow mudam o que esperar de um agente de código para dados.

Packaged Clean Rooms virou GA, compartilhar lógica sem compartilhar código

Diferente do Clean Rooms tradicional (GA desde 2025), o modo ‘packaged’ permite que um provedor distribua notebooks, JARs e dados prontos, sem o consumidor nunca ver o código ou os dados de origem.

Databricks ainda não rastreia a evolução do schema de uma tabela, mas dá pra construir isso com Delta Lake

O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto.

Detectar dado corrompido em menos de 1 milissegundo: o que muda quando o Spark para de esperar o próximo micro-batch

O Apache Spark Real-Time Mode processa evento por evento em vez de esperar o próximo micro-batch fechar, e um experimento publicado pela Databricks usando transações da blockchain Ethereum mostrou latência p99 abaixo de 1 milissegundo classificando dado como válido ou suspeito em tempo real.

O próprio Apache Spark adotou o Ruff, e isso muda como eu penso em lint pra Databricks

A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox.