AI Engineering on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/ai-engineering/ Recent content in AI Engineering on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Thu, 10 Sep 2026 09:00:00 -0300 Avaliação não é etapa final: o loop duplo que decide se um agente de IA vai pra produção https://wiliamrosa.github.io/articles/mlflow-avaliacao-loop-duplo-agentes-producao/ Thu, 10 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/mlflow-avaliacao-loop-duplo-agentes-producao/ O case da Zepto usando MLflow mostra um padrão generalizável, dois loops separados, um de desenvolvimento e um de produção, ligados por um portão de qualidade, mais dataset dourado que cresce com o tempo e amostragem estratificada por risco em vez de amostragem uniforme. É engenharia de avaliação, não só uma métrica de acurácia isolada. Antes de abrir o Grafana: como a Databricks usa agente de IA pra investigar o próprio incidente https://wiliamrosa.github.io/articles/databricks-ai-sre-investigacao-incidentes-agente/ Tue, 25 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-ai-sre-investigacao-incidentes-agente/ A Databricks documentou o AI SRE, agente interno que roda checagem de plataforma, análise de log e runbook de time em paralelo assim que um incidente dispara, entregando causa raiz com evidência rastreável antes de um engenheiro terminar de montar o contexto manualmente. Cinco alavancas técnicas pra baixar o custo de coding agent sem cortar acesso do time https://wiliamrosa.github.io/articles/databricks-reducao-custo-coding-agents-roteamento-modelos/ Sat, 08 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-reducao-custo-coding-agents-roteamento-modelos/ Orçamento é só uma parte da conta de coding agent em escala. A Databricks lista cinco alavancas técnicas, roteamento dinâmico por modelo mais barato, meta-harness pra trocar de modelo sem fricção, e redução de token via cache e compressão de contexto, que reduziram custo em até 50% sem baixar qualidade percebida pelo engenheiro. Por que um agente que já conhece seu catálogo vence um agente de código genérico em tarefa de dado https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Fri, 24 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Um benchmark interno da Databricks com 401 tarefas reais de descoberta de dado mostra o Genie Code batendo agentes de código genéricos em acurácia e custo, e a explicação não é o modelo por trás, é o agente não precisar explorar o workspace às cegas.