MLflow

MLflow 3.17.0 traz juiz Jev pronto pra usar e permissão granular com DENY explícito

O release 3.17.0 do MLflow adiciona modelo Jev da TypeSafe como juiz de avaliação pronto pra usar em mlflow.genai.evaluate(), permissão fina por run/trace/model version com DENY explícito, dashboard de Trace Analytics mais rápido em escala, e exige upgrade de banco pra servidor SQL-backed.

Flo Health usou 26 juízes de IA para pós-treinar um modelo aberto sem perder segurança médica no processo

A Flo Health construiu um pipeline de pós-treinamento com 26 juízes de IA (12 de segurança médica como barreira obrigatória, 6 de comportamento fino, 8 de utilidade) pra deixar um modelo aberto mais seguro sem sacrificar utilidade, usando Databricks AI Runtime, LLM Foundry e Compose-RL.

MLflow 3.13 trocou permissão por recurso avulso por um sistema de papéis com UI própria de admin

O Databricks MVP Juan Diaz destacou o RBAC completo do MLflow 3.13: papel reutilizável com permissão agrupada, UI de admin via navegador e matriz de permissão cobrindo experimento, modelo e artefato, fechando uma lacuna de quem hospeda o próprio MLflow em vez de pagar por plataforma gerenciada só por causa de controle de acesso.

Sete agentes especializados, não um só, é como esse time reduziu revisão de segurança de dias para minutos

Um engenheiro da Databricks construiu um sistema de revisão de segurança com sete agentes especializados (intake, risco, requisitos, revisão dedicada, validação, workflow e aprendizado) rodando sobre Unity Catalog, Foundation Models e Lakeflow Jobs, reduzindo pedido de rotina de dias para minutos sem tirar humano da decisão final.

Genie Code resolve a fricção de codar com agente, mas ainda não sabe dizer quem fez o quê

O Databricks MVP Casper Lubbers elogia o Genie Code por manter quem está acostumado com a UI do Databricks longe da fricção de configurar contexto num IDE, mas aponta que a plataforma ainda não rastreia quem usa o quê dentro do próprio Genie Code, apesar de já ter toda a infraestrutura pronta para isso.

Testei o juiz de correção do MLflow e um 'ou' a menos virou a diferença entre passar e reprovar

O Databricks MVP Gary Nakanelua testou o juiz de correção do MLflow contra duas Foundation Model APIs e descobriu que remover uma única palavra de um fato esperado, sem mudar a resposta do modelo, foi suficiente pra virar o veredito de reprovado pra aprovado.

Trace antigo do MLflow agora sai sozinho do banco caro e vai pra object storage barato

O Databricks MVP Juan Diaz destacou o Trace Retention & Auto Archival do MLflow 3.13: uma rotina em segundo plano move trace mais antigo que a janela de retenção do backend SQL pra object storage, sem perder leitura via UI nem API.

Avaliação não é etapa final: o loop duplo que decide se um agente de IA vai pra produção

O case da Zepto usando MLflow mostra um padrão generalizável, dois loops separados, um de desenvolvimento e um de produção, ligados por um portão de qualidade, mais dataset dourado que cresce com o tempo e amostragem estratificada por risco em vez de amostragem uniforme. É engenharia de avaliação, não só uma métrica de acurácia isolada.

Control tower, não relatório: orquestrando Solvency II sem sair do lakehouse

Solvency II não é um relatório, é uma cadeia de ingestão, validação, modelagem atuarial e aprovação que hoje vive espalhada entre planilha, motor atuarial e ferramenta de BI isolada. A Databricks propõe um control tower único sobre o lakehouse, com trilha de auditoria nativa e agente de IA revisando reconciliação de QRT, mas isso não elimina a dependência do motor atuarial legado.

AgentOps ganha um manual: a Databricks tenta dar nome à disciplina de operar agente em produção

O Big Book of AgentOps organiza em seis capítulos e sete fases de projeto o que já vínhamos vendo em pedaços soltos por aqui: MLflow pra avaliação e rastreamento, Unity Gateway pro tráfego de modelo e ferramenta, Unity Catalog pro controle de acesso, com resultado de cliente como FactSet e DXC Technology.