Modelos de decisão como o Jev respondem a partir de um conjunto fechado de opções, mais rápido e mais barato que um LLM de raciocínio, e o Azure Databricks deixa consultar esse tipo de modelo direto do SQL via ai_query, sem montar interface de chat nem pipeline de inferência à parte.
Genie Agent Benchmarks trata a precisão de um agente de dados como métrica que se mede e se acompanha ao longo do tempo, comparando SQL gerado contra resposta padrão-ouro ou usando um juiz de LLM, em vez de confiar que o agente continua certo só porque estava certo na demonstração inicial.
O case da Zepto usando MLflow mostra um padrão generalizável, dois loops separados, um de desenvolvimento e um de produção, ligados por um portão de qualidade, mais dataset dourado que cresce com o tempo e amostragem estratificada por risco em vez de amostragem uniforme. É engenharia de avaliação, não só uma métrica de acurácia isolada.
A Databricks documentou o AI SRE, agente interno que roda checagem de plataforma, análise de log e runbook de time em paralelo assim que um incidente dispara, entregando causa raiz com evidência rastreável antes de um engenheiro terminar de montar o contexto manualmente.
Orçamento é só uma parte da conta de coding agent em escala. A Databricks lista cinco alavancas técnicas, roteamento dinâmico por modelo mais barato, meta-harness pra trocar de modelo sem fricção, e redução de token via cache e compressão de contexto, que reduziram custo em até 50% sem baixar qualidade percebida pelo engenheiro.
Um benchmark interno da Databricks com 401 tarefas reais de descoberta de dado mostra o Genie Code batendo agentes de código genéricos em acurácia e custo, e a explicação não é o modelo por trás, é o agente não precisar explorar o workspace às cegas.