O Databricks MVP Gary Nakanelua testou o juiz de correção do MLflow contra duas Foundation Model APIs e descobriu que remover uma única palavra de um fato esperado, sem mudar a resposta do modelo, foi suficiente pra virar o veredito de reprovado pra aprovado.
OfficeQA Pro V2 trocou o corpus do benchmark original por 120 mil páginas de contas do Tesouro americano justamente pra testar se o ganho de um agente se generaliza, e não só decora um documento específico. Agente genérico ficou em 26% de acurácia, o Genie da Databricks chegou a 60% usando os mesmos modelos.
MemAlign alinha juiz de IA do MLflow a critério de especialista humano usando memória semântica e episódica em vez de fine-tuning, reduzindo erro de avaliação em até 89% em dimensão técnica de notebook gerado pelo Genie Code, mas uma variante só com memória semântica mostrou que a parte episódica é que carrega a maior parte do ganho.