https://wiliamrosa.github.io/posts/ Recent content in Posts on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 14:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-environments-setup-local-cli/ Sun, 13 Sep 2026 14:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-environments-setup-local-cli/ O comando resolve o compute alvo, seja cluster clássico ou serverless, descobre a versão de Python e de databricks-connect fixadas pra aquele ambiente e provisiona um .venv gerenciado por uv já casado com essas versões, atualizando o pyproject.toml com backup automático em pyproject.toml.bak. https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Sun, 13 Sep 2026 13:00:00 -0300 https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Alertas de anomaly detection, em Beta na Data Quality Monitoring UI, notificam por e-mail usuário do workspace quando uma tabela monitorada fica insalubre dentro do escopo de catálogo ou schema configurado, sem exigir regra manual de qualidade escrita à mão. https://wiliamrosa.github.io/posts/genie-code-skills-contexto-especializado/ Sun, 13 Sep 2026 12:00:00 -0300 https://wiliamrosa.github.io/posts/genie-code-skills-contexto-especializado/ Skills empacotam instrução, exemplo e script executável num arquivo SKILL.md dentro de .assistant/skills/, e o Genie Code carrega automaticamente a skill relevante conforme o pedido do usuário, em vez de manter tudo em instrução global que consome contexto em toda conversa. https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ Sun, 13 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ O trigger continuous transforma um Lakeflow Job em serviço always-on que reinicia sozinho assim que termina ou falha, delegando pra Databricks a responsabilidade de manter o job rodando sem interrupção, em vez de forçar CRON ou trigger orientado a evento a fazer papel de scheduler contínuo. https://wiliamrosa.github.io/posts/ai-extract-precision-mode-documentos-complexos/ Sun, 13 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/ai-extract-precision-mode-documentos-complexos/ Precision Mode no ai_extract combina modelo especializado com um harness agentico que dispara subagentes em paralelo por seção do documento e depois junta os resultados, atingindo 94,7% de acurácia em benchmark contra 9 mil documentos, sete pontos acima do melhor baseline de modelo de fronteira com chunk-and-merge. https://wiliamrosa.github.io/posts/databricks-ssh-tunnel-vscode-cursor-compute/ Sun, 13 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-ssh-tunnel-vscode-cursor-compute/ O túnel SSH conecta editor local ou CLI direto num cluster serverless, AI Runtime ou dedicado do Azure Databricks, com Cursor e Copilot funcionando de fábrica e Claude Code instalável na sessão. Sessão cai depois de uma hora e o limite é de dez conexões por cluster, então não é substituto de workflow de produção. https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Sun, 13 Sep 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Duas novidades GA no OpenSharing: compartilhar tabela Iceberg federada de catálogo externo via Lakehouse Federation, inclusive pra cliente Iceberg de fora do Databricks, sem copiar dado; e compartilhar schema ou tabela inteira federada de fonte externa, essa última materializando o dado do lado do provedor e gerando custo extra de compute e armazenamento. https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ Sun, 13 Sep 2026 07:45:00 -0300 https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ CREATE TEMPORARY TABLE cria uma tabela Delta física que existe só durante a sessão que a criou, com limite máximo de sete dias de vida, usando a mesma infraestrutura de cache e performance de uma tabela padrão, mas sem exigir limpeza manual nem poluir o catálogo com objeto de vida curta. https://wiliamrosa.github.io/posts/genie-code-block-usage-orcamento/ Sun, 13 Sep 2026 07:30:00 -0300 https://wiliamrosa.github.io/posts/genie-code-block-usage-orcamento/ A opção Block usage nos controles de orçamento do Genie Code impede o usuário de continuar usando o produto assim que o limite mensal, geral, por time ou por pessoa, é excedido, até o orçamento resetar no início do mês ou um admin liberar mais uso; antes só existia alerta, sem bloqueio efetivo. https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ Sun, 13 Sep 2026 07:15:00 -0300 https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ O AIM (Automatic Identity Management) via Entra ID já era GA no Azure Databricks e agora chega GA também em AWS e GCP, com Okta entrando em preview público; junto vieram políticas de ingress baseadas em contexto pra controlar acesso de agente de IA a Genie, dashboard e Databricks Apps. https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Sun, 13 Sep 2026 07:00:00 -0300 https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Em Public Preview, ALTER CATALOG ou ALTER SCHEMA com a cláusula RETAIN DROPPED TO permite configurar entre zero (desabilita recuperação) e trinta dias quanto tempo uma tabela gerenciada derrubada fica recuperável via UNDROP TABLE, com a configuração de schema tendo precedência sobre a de catálogo. https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ Fri, 11 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ A Databricks reuniu mais de 15 conectores gerenciados do Lakeflow Connect cobrindo aquisição, engajamento, relacionamento e experiência do cliente, com tabela pronta de gasto e conversão pra plataforma de anúncio direto em Delta table. https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ Fri, 11 Sep 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ A comunidade Apache Iceberg adotou read restrictions e catalog labels, duas especificações que a Databricks detalhou pra resolver o mesmo problema por ângulos diferentes: como manter política de acesso consistente quando motor de consulta e catálogo de dado não são os mesmos. https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Fri, 11 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Um artigo do Youssef Mrini, destacado pelo Databricks MVP Jacek Laskowski, revisita um ponto que ainda confunde muita gente: managed table não é só ’tabela sem LOCATION’, é a Databricks assumindo o ciclo de vida inteiro do dado. https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ Fri, 11 Sep 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ O Databricks MVP Juan Diaz destacou o Trace Retention & Auto Archival do MLflow 3.13: uma rotina em segundo plano move trace mais antigo que a janela de retenção do backend SQL pra object storage, sem perder leitura via UI nem API. https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ Thu, 10 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ O Databricks MVP Josue Bogran mostrou o Kasal, projeto do Databricks Labs que dá uma interface visual pra desenhar, testar e publicar um grupo de agentes cooperando, sem escrever o código de orquestração na mão. https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ Thu, 10 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ O Databricks MVP Laurenz Wuttke detalhou o agentic code converter (Beta): o Genie Code converte script de T-SQL, Snowflake, Redshift, Oracle, BigQuery e Teradata pra ANSI SQL, com subagente validando e corrigindo cada arquivo em paralelo. https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ Thu, 10 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ External secrets (Beta) conecta um schema do Unity Catalog direto ao Azure Key Vault: o segredo aparece como objeto governável e somente leitura, e o valor é lido sob demanda, sem duplicar cópia dentro do Databricks. https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ Wed, 09 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ O Databricks MVP Geir E. Alstad destacou o path map, novo tipo de visualização nos dashboards AI/BI que desenha linha no mapa a partir de uma coluna de geometria no resultado da consulta, em vez de só marcar ponto isolado. https://wiliamrosa.github.io/posts/proteus-geracao-kernel-gpu-especializado/ Sat, 05 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/proteus-geracao-kernel-gpu-especializado/ O Proteus propõe, valida e faz benchmark de kernel de GPU especializado por formato de operação, com um estudo de caso no Gated DeltaNet do Qwen 3.5 122B atingindo de 1,8x a 5,2x de speedup sobre a melhor implementação do vLLM. https://wiliamrosa.github.io/posts/skill-ou-app-databricks-reporting/ Sat, 05 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/skill-ou-app-databricks-reporting/ O Databricks MVP Domonkos Pal publicou um guia prático sobre quando um skill de agente basta pra gerar relatório e quando vale migrar pra um Databricks App, com skill e app compartilhando a mesma camada de governança. https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ A Databricks defende que tratar governança só como segurança deixa passar a parte que mais encarece IA: dar significado e contexto ao dado, unindo cinco pilares de governança numa lente só via Unity Catalog. https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ O Azure Databricks liberou em beta o compartilhamento de metric views via OpenSharing: quem recebe o share consulta a definição de métrica compartilhada com a função MEASURE(), sem reimplementar a lógica de negócio. https://wiliamrosa.github.io/posts/omnigent-llm-local-llama-cpp/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/omnigent-llm-local-llama-cpp/ Configurar o Omnigent para rodar com um modelo quantizado local via llama.cpp é mais simples do que parece, e ainda revela que o Ollama, apesar de mais popular, é mais lento e mais trabalhoso de configurar pro mesmo modelo. https://wiliamrosa.github.io/posts/big-book-agentops-databricks/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/big-book-agentops-databricks/ O Big Book of AgentOps organiza em seis capítulos e sete fases de projeto o que já vínhamos vendo em pedaços soltos por aqui: MLflow pra avaliação e rastreamento, Unity Gateway pro tráfego de modelo e ferramenta, Unity Catalog pro controle de acesso, com resultado de cliente como FactSet e DXC Technology. https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ SCOUT é o terceiro aplicativo da Southern Company sobre Databricks pra operação de tempestade, cobrindo o momento em tempo real entre a previsão (SPEAR) e a análise pós-evento (RAMP), com dado de outage, clima, terreno e equipe numa única camada. https://wiliamrosa.github.io/posts/lakeflow-jobs-sql-alert-task-branching/ Wed, 02 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-sql-alert-task-branching/ O Databricks MVP Juan Diaz notou que o Lakeflow Jobs agora aceita alerta SQL como tipo de tarefa, expondo o estado da avaliação como saída pra tarefa seguinte decidir o próximo passo com um If/Else. https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ Wed, 02 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ O Databricks MVP Derar Alhussein resgatou os Industry Data Models, biblioteca com modelo de dado de referência pra mais de 40 indústrias, gerada por um agente de modelagem e pensada pra virar a camada Silver do seu Lakehouse. https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ AI Search passou a aceitar filtro em campo de struct aninhado e chave de map, e ganhou a opção de consulta só de filtro, sem busca vetorial nem por palavra-chave, útil pra lookup direto por chave. https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ O agendamento de tarefas do Genie Code chegou à disponibilidade geral no Azure Databricks: dá pra configurar um prompt fixo pra rodar numa recorrência, gerando um chat continuável a cada execução. https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Apache Arrow Flight chegou como formato de envio pro Zerobus Ingest do Lakeflow Connect, ao lado de JSON e protobuf, carregando RecordBatch colunar direto pela mesma conexão gRPC, com SDK em Python e Rust e opção de compressão ZSTD ou LZ4. https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Wed, 02 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Git Folder Serverless (Beta) deixa notebook e arquivo do mesmo Git folder compartilharem um único compute serverless e um ambiente gerenciado por pyproject.toml, em vez de cada notebook subir seu próprio ambiente. https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Automatic Change Data Feed (Auto CDF) atingiu disponibilidade geral no Azure Databricks: calcula mudança de linha na hora da consulta usando row tracking, sem exigir habilitar change data feed manualmente em cada tabela. https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ A FDA construiu o HALO, plataforma sobre Databricks em AWS GovCloud, pra resolver silo de dado entre centros regulatórios distintos, usando Unity Catalog como camada de governança única e um modelo de isolamento por área que a Databricks chama de ‘apartment complex’. https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Agent mode traz raciocínio em múltiplos passos com relatório e visualização, Genie Agents passa a ler PDF, slide e imagem dentro de volume do Unity Catalog, e o Genie Code ganha função pra criar e diagnosticar outros agentes Genie. https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Controles de compliance HITRUST e IRAP atingiram disponibilidade geral no Azure Databricks em setembro de 2026, e a partir de agora HIPAA, HITRUST e IRAP exigem o compliance security profile ativado, deixou de ser configuração opcional pra quem já usa esses padrões. https://wiliamrosa.github.io/posts/unity-gateway-tracing-mcp-economiza-1-milhao/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-gateway-tracing-mcp-economiza-1-milhao/ A Databricks publicou um caso interno onde o rastreamento OpenTelemetry nativo do Unity AI Gateway, cruzado com pergunta em linguagem natural no Genie One, achou sete bugs de ferramenta MCP responsáveis por quase 1,2 milhão de dólares por ano em token e hora de engenharia desperdiçados. https://wiliamrosa.github.io/posts/databricks-vulnerabilidade-postgis-lakebase-postgres/ Wed, 02 Sep 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-vulnerabilidade-postgis-lakebase-postgres/ Um pesquisador encontrou uma falha de bounds-check na extensão address_standardizer do PostGIS, explorável por qualquer usuário comum do Lakebase Postgres e do Neon, e a Databricks corrigiu antes da divulgação pública. https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ Tue, 01 Sep 2026 15:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ A Databricks liberou o Claude Fable 5.1 da Anthropic no mesmo dia do lançamento, via Unity Gateway, ao lado de Opus 5, Sonnet 5 e mais de 30 modelos. O que chama atenção não é o modelo novo, é a infraestrutura que torna isso rotina. https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Tue, 01 Sep 2026 14:45:00 -0300 https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Dados potencialmente sensíveis em query.history e request_params agora vêm mascarados por padrão nas system tables, liberando acesso amplo sem expor informação sensível a quem não deveria ver. https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ Tue, 01 Sep 2026 14:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ A Databricks publicou um guia com seis formas práticas de operacionalizar o Genie Ontology, defendendo começar pequeno num domínio de alto valor em vez de esperar um modelo corporativo completo. https://wiliamrosa.github.io/posts/lakebase-postgres-autoscaling-hyperloglog/ Tue, 01 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakebase-postgres-autoscaling-hyperloglog/ A Databricks detalhou como o Lakebase Postgres faz autoscaling automático de VM sem derrubar conexão, combinando uso de CPU, uso de memória e uma estimativa de working set feita com uma variante de HyperLogLog sensível a tempo. https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ O framework de pipeline metadata-driven dos Databricks Labs mudou de nome, de DLT-META pra SDP-META, na versão 0.1.0, e ganhou CLI própria, Asset Bundles, app de configuração e um MCP Server pra scaffolding assistido por agente. https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ A pipeline_events system table (Beta) centraliza log de evento de todo pipeline Lakeflow da conta numa única tabela consultável, transição de estado, progresso de flow, métrica de qualidade e erro incluídos. https://wiliamrosa.github.io/posts/databricks-dabs-source-linked-deployment-dev-mode/ Tue, 01 Sep 2026 06:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-source-linked-deployment-dev-mode/ Em modo de desenvolvimento com source-linked deployment, editar job ou pipeline pela UI propaga a mudança automaticamente pros arquivos YML do bundle, low-code e infra-como-código convivendo, mas exige atenção no Git. https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ Tue, 01 Sep 2026 06:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ O Databricks MVP Hubert Dudek percebeu que o Fivetran, presente há anos na seção de Ingestão, desapareceu silenciosamente, junto com a chegada de novos conectores nativos do Lakeflow. https://wiliamrosa.github.io/posts/databricks-genie-zeroops-agente-autonomo/ Tue, 01 Sep 2026 00:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-zeroops-agente-autonomo/ Genie ZeroOps promete monitorar, investigar e propor correção pra pipelines, jobs e tabelas sozinho. O Databricks MVP Hubert Dudek testou em preview com três cenários reais de falha. https://wiliamrosa.github.io/posts/linkedin-lakebase-postgres-object-storage/ Tue, 01 Sep 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-lakebase-postgres-object-storage/ A resposta não é sobre velocidade: é sobre onde fica a fonte da verdade quando quem opera o banco pode ser um agente, não um humano. https://wiliamrosa.github.io/posts/databricks-lakebase-postgres-arquitetura-agentes/ Tue, 01 Sep 2026 00:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-postgres-arquitetura-agentes/ A Databricks anunciou os detalhes de arquitetura do Lakebase Postgres. Minha leitura sobre por que separar compute e armazenamento pode ser o passo que faltava para bancos operacionais aguentarem cargas geradas por agentes. https://wiliamrosa.github.io/posts/livro-machine-learning-pratico-com-python/ Mon, 31 Aug 2026 23:15:00 -0300 https://wiliamrosa.github.io/posts/livro-machine-learning-pratico-com-python/ Meu livro Machine Learning Prático com Python já está disponível: da exploração de dados ao deploy de modelos, com NumPy, Pandas, Matplotlib, Seaborn, scikit-learn e TensorFlow. https://wiliamrosa.github.io/posts/livro-lakehouse-engineering-com-databricks/ Mon, 31 Aug 2026 23:00:00 -0300 https://wiliamrosa.github.io/posts/livro-lakehouse-engineering-com-databricks/ Meu livro Lakehouse Engineering com Databricks já está disponível em eBook e impresso: pipelines modernos com Spark, Delta Lake e Unity Catalog, alinhado ao exame Databricks Certified Data Engineer Associate. https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Mon, 31 Aug 2026 22:45:00 -0300 https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Meu projeto Governance RiskOps Agent for Unity Catalog foi reconhecido entre os Top 5 do mundo no DAIS 2026 Community Virtual Contest, evento oficial da Databricks em San Francisco. https://wiliamrosa.github.io/posts/databricks-user-group-organizer-2026/ Mon, 31 Aug 2026 22:40:00 -0300 https://wiliamrosa.github.io/posts/databricks-user-group-organizer-2026/ Recebi o reconhecimento oficial da Databricks como User Group Organizer 2026, pelo trabalho como líder do São Paulo Databricks User Group. https://wiliamrosa.github.io/posts/certificacao-dp-750-azure-databricks-data-engineer-associate/ Mon, 31 Aug 2026 22:35:00 -0300 https://wiliamrosa.github.io/posts/certificacao-dp-750-azure-databricks-data-engineer-associate/ Fui aprovado no exame Databricks Data Engineer Associate (DP-750), voltado para engenharia de dados no ecossistema Azure com foco em Azure Databricks. https://wiliamrosa.github.io/posts/minha-jornada-azure-databricks-data-engineer/ Mon, 31 Aug 2026 21:29:11 -0300 https://wiliamrosa.github.io/posts/minha-jornada-azure-databricks-data-engineer/ Como me preparei para a certificação, o que mais me surpreendeu no exame e por que decidi documentar publicamente minha jornada em dados. https://wiliamrosa.github.io/posts/databricks-vector-store-tres-opcoes/ Mon, 31 Aug 2026 12:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-vector-store-tres-opcoes/ AI Search, o novo lakebase_vector em beta e a variante em batch via SQL resolvem o mesmo problema, guardar e buscar embedding, de formas bem diferentes. https://wiliamrosa.github.io/posts/databricks-genie-code-task-jobs/ Mon, 31 Aug 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-task-jobs/ O novo Genie Code task type deixa rodar um agente autônomo dentro de um job agendado, a partir de um prompt em linguagem natural e com auto-aprovação sempre ligada. https://wiliamrosa.github.io/posts/azure-databricks-private-network-gateway-serverless/ Mon, 31 Aug 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-private-network-gateway-serverless/ Private Network Gateway conecta compute serverless a toda a VNet (e redes conectadas via ExpressRoute ou VPN) através de um único gateway gerenciado, complementando em vez de substituir os Private Endpoints. https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Mon, 31 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Governance Hub (Beta) é uma visão no nível de conta que reúne saúde de dado, gasto e uso de IA, e recomendações de custo num só lugar, sem substituir Unity Catalog ou orçamentos existentes. https://wiliamrosa.github.io/posts/databricks-apps-model-serving-agentes-ia/ Sun, 30 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-apps-model-serving-agentes-ia/ Databricks Apps virou o host recomendado pra agente novo, mas Model Serving ainda vence em cenário de baixo custo e alta escala, e a diferença de timeout entre os dois muda qual opção funciona pra que tipo de agente. https://wiliamrosa.github.io/posts/oauth-secrets-escopo-service-principal/ Sun, 30 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/oauth-secrets-escopo-service-principal/ Agora dá pra restringir o segredo OAuth de um service principal a escopos de API específicos, como sql ou jobs, em vez de liberar acesso total. Um token gerado por segredo restrito não consegue ultrapassar esses escopos. https://wiliamrosa.github.io/posts/genie-one-colaboracao-documentos-mcp-write/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-one-colaboracao-documentos-mcp-write/ A Databricks lançou um pacote de novidades pro Genie One além do app nativo pra macOS já coberto aqui antes: colaboração em documento com versionamento, criação de agente a partir de conversa, compartilhamento de chat, upload de arquivo e ações de escrita via MCP governadas pelo Unity AI Gateway. https://wiliamrosa.github.io/posts/databricks-lakebase-disaster-recovery-preview/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-disaster-recovery-preview/ Lakebase Disaster Recovery replica metadado do Unity Catalog, dado de tabela gerenciada e ativos de workspace pra uma região secundária, mas Delta table e pipelines de sincronização ficam fora da replicação por enquanto. https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ O privilégio MODIFY do Unity Catalog, antes tudo ou nada, ganhou privilégios filhos separados: INSERT, UPDATE e DELETE podem ser concedidos individualmente, com falha explícita quando um principal tenta operação fora do escopo. https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Unity Catalog Skills (Beta) trata skill de agente como securable de três níveis, catalog.schema.skill, com as mesmas permissões e tags que já protegem tabela. O Databricks MVP Hubert Dudek notou a mudança antes do anúncio oficial confirmar. https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ Sat, 29 Aug 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ A partir de 30 de setembro de 2026, todo workspace novo do Databricks nasce sem DBFS root, DBFS mounts, Hive metastore ou cluster sem isolamento, restrito ao Unity Catalog desde o primeiro dia. https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ READ METADATA é uma privilégio novo do Unity Catalog: visibilidade completa sobre permissão, row filter, column mask e política ABAC de um objeto, sem poder de leitura de dado nem de alteração. https://wiliamrosa.github.io/posts/databricks-dabs-direct-mode-ga-terraform/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-direct-mode-ga-terraform/ O engine ‘direct’ virou padrão pra bundles criados no workspace desde 13 de agosto, e vira padrão geral da CLI em 26 de agosto. O suporte ao Terraform está no caminho da deprecação. https://wiliamrosa.github.io/posts/genie-chart-json-enrichment-ai-parse-document/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-chart-json-enrichment-ai-parse-document/ A Databricks publicou uma técnica de enriquecimento que usa ai_parse_document e ai_prep_search pra transformar gráfico dentro de documento em JSON estruturado antes de indexar, e bateu embedding multimodal maior em dois benchmarks públicos. https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ Thu, 27 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ O Databricks MVP Geir E. Alstad destacou que Metric Views chegou ao Apache Spark 4.3 e ao Unity Catalog 0.6 open source, levando a semântica de negócio definida em YAML e a função MEASURE() pra fora do Databricks hospedado. https://wiliamrosa.github.io/posts/databricks-grok-4-6-unity-ai-gateway/ Thu, 27 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-grok-4-6-unity-ai-gateway/ Mais um modelo externo disponível via Unity AI Gateway. O anúncio em si é pequeno, mas confirma uma estratégia maior: a Databricks quer ser o lugar neutro onde você roda qualquer modelo em cima dos seus próprios dados governados. https://wiliamrosa.github.io/posts/databricks-abac-context-attributes-beta/ Wed, 26 Aug 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-abac-context-attributes-beta/ Context Attributes (Beta) deixa política ABAC do Unity Catalog condicionar máscara e row filter ao contexto da requisição, se veio via OAuth on-behalf-of ou de qual client_id, não só a quem pertencem os dados. https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Wed, 26 Aug 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Serverless Compute Access Control chegou à disponibilidade geral: admin de workspace agora governa acesso a compute interativo e automatizado por usuário ou grupo, via UI ou API. https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ O Databricks MVP Josue Bogran entrevistou o líder de produto do OpenSharing pra explicar o que muda quando o Delta Sharing se rebatiza como o protocolo aberto de compartilhamento para a era agêntica. https://wiliamrosa.github.io/posts/genie-one-app-desktop-macos-beta/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-one-app-desktop-macos-beta/ O app de desktop do Genie One pra macOS entrou em Beta, tirando a experiência de dentro de uma aba de browser. O Databricks MVP Soufiane Darraz destacou o lançamento assim que ele saiu. https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Stream Pipelining permite múltiplos micro-batches em voo ao mesmo tempo em pipelines declarativos serverless, em vez de esperar cada um terminar antes do próximo começar. https://wiliamrosa.github.io/posts/databricks-genie-code-importar-tableau-powerbi/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-importar-tableau-powerbi/ Genie Code agora aceita arquivo .twb, .twbx, .tds, .tdsx ou .pbit e gera automaticamente um dashboard AI/BI equivalente, com Metric Views replicando a lógica de negócio original. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ O Databricks MVP Josue Bogran testou o recurso de Policies (ainda em beta) do Unity AI Gateway com Omnigent, e encontrou casos onde as barreiras deveriam ter sido mais rigorosas. https://wiliamrosa.github.io/posts/databricks-lakebase-neon-postgres-compute-storage/ Tue, 25 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-neon-postgres-compute-storage/ Na conversa com Nikita Shamgunov, VP de Engenharia da Databricks, fica mais claro de onde vem a arquitetura do Lakebase, e por que ‘agente provisionando banco sozinho’ deixou de ser ficção científica. https://wiliamrosa.github.io/posts/databricks-omnigent-orquestracao-agentes-codigo/ Tue, 25 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-omnigent-orquestracao-agentes-codigo/ O Omnigent propõe uma camada compartilhada para orquestrar múltiplos agentes de código sem perder contexto entre eles. Acho que essa é a pergunta certa, mas a resposta ainda depende de execução. https://wiliamrosa.github.io/posts/linkedin-omnigent-agentes-codigo/ Tue, 25 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-omnigent-agentes-codigo/ A pergunta que o Omnigent tenta responder importa mais do que ‘qual agente é melhor’, mas ‘meta-harness universal’ é uma categoria que merece ceticismo. https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Thu, 20 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Com RBAC em GA, um usuário passa a assumir um papel específico em vez de carregar todas as permissões que já acumulou, uma mudança de modelo mental, não só uma feature nova. https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Em vez de mais um cluster Kafka pra manter, o padrão DeltaBus usa tabela Delta e Change Data Feed como barramento de eventos. O Databricks MVP Dr. Alan L. Dennis destacou o argumento por trás dessa escolha de arquitetura. https://wiliamrosa.github.io/posts/databricks-genie-code-sketch-to-dashboard/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-sketch-to-dashboard/ Fazer upload de uma foto de um esboço desenhado à mão e pedir pro Genie Code construir a dashboard: menos um passo de tradução entre a ideia de negócio e o que acaba sendo construído. https://wiliamrosa.github.io/posts/databricks-genie-ontology-pages-beta/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-ontology-pages-beta/ Pages (Beta) deixa times documentarem conceito de negócio dentro do Unity Catalog, organizado por domínio, e o Genie One passa a priorizar essa definição humana em vez de inferir tudo sozinho. https://wiliamrosa.github.io/posts/azure-databricks-session-restore-jobs-serverless/ Tue, 18 Aug 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-session-restore-jobs-serverless/ Session Restore recupera variáveis Python e sessão Spark de um job serverless que falhou, direto num notebook interativo, sem precisar reprocessar tudo pra investigar. https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Tue, 18 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Identity Attributes deixa políticas ABAC do Unity Catalog usarem atributos sincronizados do seu provedor de identidade, departamento, país, sem precisar recriar isso como grupo. https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ Tue, 18 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ A Databricks dividiu o controle de gasto com IA em orçamento diário e mensal, cada um resolvendo um problema diferente. É um case interno pequeno, mas com uma lição de FinOps que qualquer time de engenharia pode copiar hoje. https://wiliamrosa.github.io/posts/linkedin-governanca-gasto-ia-dual-budget/ Tue, 18 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-governanca-gasto-ia-dual-budget/ Por que dividir o controle de gasto com IA em orçamento diário e mensal resolve dois problemas que um limite único não resolve sozinho. https://wiliamrosa.github.io/posts/databricks-genie-spaces-agent-bricks-supervisor/ Fri, 14 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-spaces-agent-bricks-supervisor/ Um MVP usou o Agent Bricks Multi-Agent Supervisor pra criar, atualizar e apagar Genie Spaces automaticamente, sem escrever código de agente do zero. https://wiliamrosa.github.io/posts/unity-ai-gateway-smart-routing/ Fri, 14 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-ai-gateway-smart-routing/ Smart Routing no Unity AI Gateway classifica cada tarefa de codificação e escolhe automaticamente entre modelo mais barato ou mais caro, com ganho reportado de até 65% de economia mantendo qualidade próxima do Opus 5. https://wiliamrosa.github.io/posts/databricks-digital-twin-system-tables/ Thu, 13 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-digital-twin-system-tables/ O projeto Databricks Digital Persona lê 90 dias de system tables (query history, jobs, billing, auditoria) e usa isso pra construir um agente que conversa como se fosse você. https://wiliamrosa.github.io/posts/databricks-adquire-electric-pglite-lakebase/ Wed, 12 Aug 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-adquire-electric-pglite-lakebase/ A Databricks adquiriu a Electric, criadora do PGlite, um Postgres compilado para WebAssembly que roda embutido dentro de sandbox de agente, sincronizado em tempo real com o Lakebase central. https://wiliamrosa.github.io/posts/databricks-dabs-watch-flag-sincroniza-ide-local/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-watch-flag-sincroniza-ide-local/ Quem prefere trabalhar num IDE local mas às vezes precisa editar ativo direto no Databricks agora tem uma flag que sincroniza essa mudança de volta pro projeto local. https://wiliamrosa.github.io/posts/databricks-runtime-18-lts-nova-convencao/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-runtime-18-lts-nova-convencao/ A partir do Runtime 18, a Databricks unificou as release notes: sem mais versão menor pra decorar, features novas chegam como atualizações datadas na mesma página. https://wiliamrosa.github.io/posts/mlflow-3-15-mcp-registry-databricks/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/mlflow-3-15-mcp-registry-databricks/ O MCP Registry é o terceiro ‘primo’ da família Registry do MLflow, depois de Model e Prompt. O Databricks MVP Awadelrahman Ahmed detalha essa e outras novidades da versão 3.15. https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Segredos agora podem viver no nível de catálogo, com um namespace de três níveis e uma permissão nova (REFERENCE SECRET) pensada especificamente para serviços como Lakeflow Connections. https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Tag Automation (Beta) deixa o Unity Catalog aplicar e remover tags governadas sozinho, com base em regras que você descreve em linguagem natural pro Genie construir. https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ Tue, 11 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ A Databricks lançou o tipo FILE em beta: documento, imagem, áudio e vídeo agora podem virar coluna nativa de tabela, com a mesma governança de linha, coluna e ABAC do Unity Catalog aplicada também ao arquivo. https://wiliamrosa.github.io/posts/databricks-certificacao-context-engineer-associate/ Tue, 11 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-certificacao-context-engineer-associate/ A nova certificação Databricks Certified Context Engineer Associate formaliza uma habilidade que, até pouco tempo atrás, nem tinha nome. Como alguém que vive de certificação Databricks, essa é a que mais me chamou atenção este ano. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Tue, 11 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Com a GA do Unity AI Gateway e mais de um quatrilhão de tokens já processados, a Databricks formaliza algo que quem trabalha com governança de dados já sentia: administrar agentes de IA é, antes de tudo, um problema de governança. https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Tue, 11 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Mais de 1 quatrilhão de tokens já passaram pelo gateway. O que isso diz sobre para onde vai a governança de IA nas empresas. https://wiliamrosa.github.io/posts/langgraph-claude-agent-sdk-deep-agents-databricks/ Thu, 06 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/langgraph-claude-agent-sdk-deep-agents-databricks/ Uma comparação prática entre LangGraph, Claude Agent SDK e Deep Agents mostra que a escolha de orquestração muda o que você ganha de graça em rastreamento MLflow e o quanto sobra pra você construir sozinho quando o agente trava no meio de uma tarefa longa. https://wiliamrosa.github.io/posts/databricks-renomeacoes-rebricked-guia/ Wed, 05 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-renomeacoes-rebricked-guia/ A Databricks renomeia produto com uma frequência que confunde até quem escreve livro sobre a plataforma. Um projeto da comunidade tenta resolver isso com uma espécie de dicionário vivo. https://wiliamrosa.github.io/posts/databricks-adquire-panther-security-lakehouse/ Tue, 04 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-adquire-panther-security-lakehouse/ Com a aquisição da Panther concluída, a Databricks une workflows de SOC e detecção de ameaças ao LakeWatch, uma tacada clara contra o modelo tradicional de SIEM. https://wiliamrosa.github.io/posts/spaces-organizar-trabalho-editor-databricks/ Tue, 04 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spaces-organizar-trabalho-editor-databricks/ A nova feature Spaces deixa organizar abas abertas por pasta ou projeto no editor do Databricks, então dá pra alternar entre um pipeline e um bundle sem perder o contexto de cada um. O Databricks MVP Ajay Kumar Pandey notou a chegada. https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Mon, 03 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Metric Views trazem semântica nativa pro Spark SQL: dimensão e medida viram objeto de primeira classe que o motor entende, então dashboard, relatório e agente de IA calculam a mesma métrica do mesmo jeito. https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Auto CDC chega ao Spark Declarative Pipelines pra SCD Type 1: você descreve a regra de mudança (chave, ordenação, o que conta como delete), e o motor aplica, mesmo com evento fora de ordem. https://wiliamrosa.github.io/posts/databricks-sqlfluff-code-style-sql-bundles/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-sqlfluff-code-style-sql-bundles/ O Databricks MVP Bartosz Konieczny mostra como usar o SQLFluff pra padronizar scripts SQL no Databricks, integrando a verificação ao ciclo de deploy dos Declarative Automation Bundles. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-priority-pay-per-token/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-priority-pay-per-token/ O Unity AI Gateway ganhou um modo de prioridade que promete latência consistente pra aplicações de IA em tempo real, sem exigir capacidade reservada, um meio-termo entre pay-per-token comum e provisioned throughput. https://wiliamrosa.github.io/posts/databricks-finops-agent-azure-cost/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-finops-agent-azure-cost/ O Databricks MVP Casper Lubbers construiu um agente de FinOps focado em avaliação de custo Azure + Databricks, do tipo de pergunta que hoje normalmente só se responde depois do fato, olhando a fatura. https://wiliamrosa.github.io/posts/databricks-genie-code-command-center-mlflow/ Sun, 02 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-command-center-mlflow/ A expansão do Genie Code traz um painel para gerenciar trabalho multi-thread e integração nativa com MLflow e Model Serving. Isso aproxima o agente do fluxo real de quem já trabalha com ML em produção. https://wiliamrosa.github.io/posts/linkedin-genie-code-mlflow/ Sun, 02 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-genie-code-mlflow/ Command center multi-thread e inteligência nativa sobre MLflow mudam o que esperar de um agente de código para dados. https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Sat, 01 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Diferente do Clean Rooms tradicional (GA desde 2025), o modo ‘packaged’ permite que um provedor distribua notebooks, JARs e dados prontos, sem o consumidor nunca ver o código ou os dados de origem. https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ Thu, 16 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto. https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ Thu, 02 Jul 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox. https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ Thu, 02 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ O Databricks MVP Bartosz Konieczny detalha o Dynamic Data Overwriter: usar partitionOverwriteMode dinâmico ou liquid clustering com INSERT INTO…REPLACE USING pra substituir só o subconjunto de dados afetado, sem tocar no resto da tabela. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-teste-guardrails-custo-tokens/ Thu, 02 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-teste-guardrails-custo-tokens/ Um MVP apontou um Unity AI Gateway pra três modelos hospedados no Databricks e mediu guardrail bloqueando prompt injection 3 de 3 vezes, mas com uma diferença de até 5x no custo de token pro mesmo prompt entre modelos. https://wiliamrosa.github.io/posts/azure-databricks-lakehouse-rt-reyden/ Wed, 01 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakehouse-rt-reyden/ Um novo tipo de SQL warehouse serverless mirando latência sub-segundo em alta concorrência, o Lakehouse tentando entrar em terreno que sempre foi de banco operacional. https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Tue, 23 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura. https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Thu, 18 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Federação de catálogo virou GA e o armazenamento nativo de Delta tables no OneLake entrou em beta, pela primeira vez a via de mão dupla entre Databricks e Fabric é oficial. https://wiliamrosa.github.io/posts/azure-databricks-customerlake-cdp-agentica/ Wed, 17 Jun 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-customerlake-cdp-agentica/ CustomerLake traz Profile Agents e Campaign Agents pra dentro do Lakehouse, e isso é a Databricks competindo direto com plataformas de dados de cliente estabelecidas. https://wiliamrosa.github.io/posts/azure-databricks-lakebase-github-copilot-branching/ Wed, 17 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakebase-github-copilot-branching/ A combinação Lakebase + branching de banco resolve um problema bem específico: como debugar um agente em produção sem tocar nos dados reais. https://wiliamrosa.github.io/posts/azure-databricks-genie-microsoft-teams/ Thu, 11 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-genie-microsoft-teams/ Perguntar sobre dado do Lakehouse sem sair do Teams parece um detalhe de UX, mas muda quem realmente usa Genie no dia a dia. https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Ingestão estruturada, metadados de arquivo e schema evolution chegaram ao conector de SharePoint, ele deixou de ser um caso de uso de nicho pra virar ingestão de verdade. https://wiliamrosa.github.io/posts/azure-databricks-genie-code-auto-aprovacao/ Fri, 05 Jun 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-genie-code-auto-aprovacao/ Auto-aprovação tira o prompt de confirmação a cada ação do Genie Code, mas quem decide o que é ‘arriscado’ é um classificador de IA, não uma barreira de segurança. https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ Fri, 05 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ O Add-in do Excel para Azure Databricks deixou de ser só leitura, agora escreve de volta em uma tabela do Unity Catalog, sem sair da planilha. https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Tue, 02 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Lakebase Change Data Feed (ex-Lakehouse Sync) usa uma extensão de WAL do Postgres pra replicar toda escrita direto pra tabelas Delta no Unity Catalog, sem tocar na aplicação. https://wiliamrosa.github.io/posts/databricks-quando-rotear-modelo-reasoning/ Tue, 02 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-quando-rotear-modelo-reasoning/ Um experimento comparando modelo base e modelo de reasoning em três níveis de complexidade nas Foundation Model APIs do Databricks mostrou que reasoning só compensa em tarefa de lógica multi-etapa, não em classificação ambígua. https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Sat, 30 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Conectores baseados em query atingiram disponibilidade geral: ingestão incremental via cursor, sem CDC nem gateway, pra Oracle, SQL Server, MySQL, MariaDB, Teradata e PostgreSQL. https://wiliamrosa.github.io/posts/databricks-terraform-dabs-integracao-json/ Sat, 02 May 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-terraform-dabs-integracao-json/ Terraform provisiona a infraestrutura, os bundles gerenciam a camada Databricks, e a integração entre os dois deixou de depender de mensagem no Slack com o ID copiado manualmente. https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ Sat, 02 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ O novo tier gratuito permanente do Lakeflow Connect cobre cerca de 100 milhões de registros por dia, por workspace, sem prazo de validade. Isso muda o cálculo de quem hoje paga por linha ingerida. https://wiliamrosa.github.io/posts/azure-databricks-ai-runtime-gpu-serverless/ Fri, 20 Mar 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-ai-runtime-gpu-serverless/ AI Runtime traz suporte a GPU pro serverless em preview público, pra tarefas single-node, a promessa é treinar sem gerenciar cluster, mas ainda com pé atrás no treinamento distribuído.