Azure Databricks

Já falei que Knowledge Assistant virou legado, mas não falei no que ele virou: o DurableAgentServer

DurableAgentServer, parte do AgentKit do Agent Bricks CLI, serve agente via uma única API de invocação cobrindo execução síncrona, em stream e em segundo plano, com invocação idempotente via ID gerado pelo cliente, sessão ordenada e recuperação automática de execução interrompida por crash.

Knowledge Assistant e Supervisor Agent, que vimos num workflow real há pouco, agora são legado

Knowledge Assistant, Supervisor Agent e mais sete oferecimentos de agente viraram legado na documentação da Azure Databricks: pra agente sem código, use Genie Agents; pra agente escrito em código, use o Agent Bricks CLI com DurableAgentServer no Agent Runtime.

Lakeflow Designer ganhou guardrails, profiling completo e versionamento visual, e começa a parecer ferramenta de produção

O roundup de outubro do Lakeflow Designer trouxe operadores de qualidade de dado (Prepare, Unique, Guardrails), saída em materialized view e versionamento visual, consolidando num só release o tipo de recurso que normalmente vem espalhado por meses.

MLflow 3.17.0 traz juiz Jev pronto pra usar e permissão granular com DENY explícito

O release 3.17.0 do MLflow adiciona modelo Jev da TypeSafe como juiz de avaliação pronto pra usar em mlflow.genai.evaluate(), permissão fina por run/trace/model version com DENY explícito, dashboard de Trace Analytics mais rápido em escala, e exige upgrade de banco pra servidor SQL-backed.

Flo Health usou 26 juízes de IA para pós-treinar um modelo aberto sem perder segurança médica no processo

A Flo Health construiu um pipeline de pós-treinamento com 26 juízes de IA (12 de segurança médica como barreira obrigatória, 6 de comportamento fino, 8 de utilidade) pra deixar um modelo aberto mais seguro sem sacrificar utilidade, usando Databricks AI Runtime, LLM Foundry e Compose-RL.

Pipeline que passa inteira não significa número certo: teste unitário nativo chega ao Lakeflow

O Databricks MVP Shashank Shekhar documentou o teste unitário nativo (Beta) de Spark Declarative Pipelines: roda dentro do próprio editor, redireciona tabela pra um schema isolado com dado mockado via test_spark, executa refresh seletivo com TestPipeline.active() e checa resultado, pegando bug de lógica que passaria despercebido mesmo com toda expectation satisfeita.

AI/BI Dashboard ganha relationships: join entre dataset sem reescrever SQL nem duplicar linha

Dashboard relationships do AI/BI, em Public Preview, deixa modelar o join entre datasets de um dashboard direto na interface, com cardinalidade explícita (many-to-one ou one-to-many), sem pré-juntar tabela em SQL nem criar objeto no Unity Catalog.

Repositório de pacote padrão por workspace: um Secret Scope resolve index-url pra todo app, notebook e pipeline de uma vez

Admin de workspace agora configura repositório privado de pacote Python, npm e Maven uma vez só, via um Secret Scope com nome fixo, e notebook, job, pipeline e Databricks App herdam isso automaticamente, sem precisar declarar index-url em cada app.yaml.

Dataset Materialization no AI/BI: pré-computar resultado pra não repetir a mesma consulta cara

A Databricks MVP Nidhi Gupta detalhou a Dataset Materialization dos dashboards AI/BI: em vez de rodar a mesma consulta a cada abertura do dashboard, o resultado fica pré-computado e é servido direto, opção habilitada via Previews pra dataset em SQL ou tabela.

Endereço IP e bloco CIDR ganham função SQL nativa, acabando com o regex artesanal pra análise de rede

IP Functions chegou em disponibilidade geral: parsing, validação e join de endereço IPv4, IPv6 e bloco CIDR direto em SQL, otimizado em Photon, com benchmark de até 3,1x mais rápido e 6,4x mais barato num join de CIDR comparado a outro data warehouse em nuvem.