O roundup de outubro do Lakeflow Designer trouxe operadores de qualidade de dado (Prepare, Unique, Guardrails), saída em materialized view e versionamento visual, consolidando num só release o tipo de recurso que normalmente vem espalhado por meses.
O release 3.17.0 do MLflow adiciona modelo Jev da TypeSafe como juiz de avaliação pronto pra usar em mlflow.genai.evaluate(), permissão fina por run/trace/model version com DENY explícito, dashboard de Trace Analytics mais rápido em escala, e exige upgrade de banco pra servidor SQL-backed.
A Flo Health construiu um pipeline de pós-treinamento com 26 juízes de IA (12 de segurança médica como barreira obrigatória, 6 de comportamento fino, 8 de utilidade) pra deixar um modelo aberto mais seguro sem sacrificar utilidade, usando Databricks AI Runtime, LLM Foundry e Compose-RL.
O Databricks MVP Shashank Shekhar documentou o teste unitário nativo (Beta) de Spark Declarative Pipelines: roda dentro do próprio editor, redireciona tabela pra um schema isolado com dado mockado via test_spark, executa refresh seletivo com TestPipeline.active() e checa resultado, pegando bug de lógica que passaria despercebido mesmo com toda expectation satisfeita.
Dashboard relationships do AI/BI, em Public Preview, deixa modelar o join entre datasets de um dashboard direto na interface, com cardinalidade explícita (many-to-one ou one-to-many), sem pré-juntar tabela em SQL nem criar objeto no Unity Catalog.
Admin de workspace agora configura repositório privado de pacote Python, npm e Maven uma vez só, via um Secret Scope com nome fixo, e notebook, job, pipeline e Databricks App herdam isso automaticamente, sem precisar declarar index-url em cada app.yaml.
A Databricks MVP Nidhi Gupta detalhou a Dataset Materialization dos dashboards AI/BI: em vez de rodar a mesma consulta a cada abertura do dashboard, o resultado fica pré-computado e é servido direto, opção habilitada via Previews pra dataset em SQL ou tabela.
IP Functions chegou em disponibilidade geral: parsing, validação e join de endereço IPv4, IPv6 e bloco CIDR direto em SQL, otimizado em Photon, com benchmark de até 3,1x mais rápido e 6,4x mais barato num join de CIDR comparado a outro data warehouse em nuvem.
O Databricks MVP Gary Nakanelua testou o novo Agent Bricks CLI, em Beta, e levou cerca de 188 segundos de uma pasta vazia até um agente no ar com memória, sessão e rastreamento já conectados, encontrando dois pontos de atrito no caminho: um erro no primeiro deploy por causa dos stores de memória e sessão, e um projeto Lakebase que o comando de exclusão deixa para trás.
A TinyFish pós-treina um modelo próprio especializado em tarefa de agente web usando Databricks AI Runtime (SFT indo pra DPO), avalia sucesso via MLflow com juiz de IA olhando o histórico de ação completo do agente, e serve em produção via Model Serving: 294 mil execuções e 6,4 milhões de passos de ferramenta em 15 dias.