https://wiliamrosa.github.io/tags/databricks/ Recent content in Databricks on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 14:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-environments-setup-local-cli/ Sun, 13 Sep 2026 14:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-environments-setup-local-cli/ O comando resolve o compute alvo, seja cluster clássico ou serverless, descobre a versão de Python e de databricks-connect fixadas pra aquele ambiente e provisiona um .venv gerenciado por uv já casado com essas versões, atualizando o pyproject.toml com backup automático em pyproject.toml.bak. https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Sun, 13 Sep 2026 13:00:00 -0300 https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Alertas de anomaly detection, em Beta na Data Quality Monitoring UI, notificam por e-mail usuário do workspace quando uma tabela monitorada fica insalubre dentro do escopo de catálogo ou schema configurado, sem exigir regra manual de qualidade escrita à mão. https://wiliamrosa.github.io/posts/genie-code-skills-contexto-especializado/ Sun, 13 Sep 2026 12:00:00 -0300 https://wiliamrosa.github.io/posts/genie-code-skills-contexto-especializado/ Skills empacotam instrução, exemplo e script executável num arquivo SKILL.md dentro de .assistant/skills/, e o Genie Code carrega automaticamente a skill relevante conforme o pedido do usuário, em vez de manter tudo em instrução global que consome contexto em toda conversa. https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ Sun, 13 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ O trigger continuous transforma um Lakeflow Job em serviço always-on que reinicia sozinho assim que termina ou falha, delegando pra Databricks a responsabilidade de manter o job rodando sem interrupção, em vez de forçar CRON ou trigger orientado a evento a fazer papel de scheduler contínuo. https://wiliamrosa.github.io/posts/ai-extract-precision-mode-documentos-complexos/ Sun, 13 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/ai-extract-precision-mode-documentos-complexos/ Precision Mode no ai_extract combina modelo especializado com um harness agentico que dispara subagentes em paralelo por seção do documento e depois junta os resultados, atingindo 94,7% de acurácia em benchmark contra 9 mil documentos, sete pontos acima do melhor baseline de modelo de fronteira com chunk-and-merge. https://wiliamrosa.github.io/posts/databricks-ssh-tunnel-vscode-cursor-compute/ Sun, 13 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-ssh-tunnel-vscode-cursor-compute/ O túnel SSH conecta editor local ou CLI direto num cluster serverless, AI Runtime ou dedicado do Azure Databricks, com Cursor e Copilot funcionando de fábrica e Claude Code instalável na sessão. Sessão cai depois de uma hora e o limite é de dez conexões por cluster, então não é substituto de workflow de produção. https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Sun, 13 Sep 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Duas novidades GA no OpenSharing: compartilhar tabela Iceberg federada de catálogo externo via Lakehouse Federation, inclusive pra cliente Iceberg de fora do Databricks, sem copiar dado; e compartilhar schema ou tabela inteira federada de fonte externa, essa última materializando o dado do lado do provedor e gerando custo extra de compute e armazenamento. https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ Sun, 13 Sep 2026 07:45:00 -0300 https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ CREATE TEMPORARY TABLE cria uma tabela Delta física que existe só durante a sessão que a criou, com limite máximo de sete dias de vida, usando a mesma infraestrutura de cache e performance de uma tabela padrão, mas sem exigir limpeza manual nem poluir o catálogo com objeto de vida curta. https://wiliamrosa.github.io/posts/genie-code-block-usage-orcamento/ Sun, 13 Sep 2026 07:30:00 -0300 https://wiliamrosa.github.io/posts/genie-code-block-usage-orcamento/ A opção Block usage nos controles de orçamento do Genie Code impede o usuário de continuar usando o produto assim que o limite mensal, geral, por time ou por pessoa, é excedido, até o orçamento resetar no início do mês ou um admin liberar mais uso; antes só existia alerta, sem bloqueio efetivo. https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ Sun, 13 Sep 2026 07:15:00 -0300 https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ O AIM (Automatic Identity Management) via Entra ID já era GA no Azure Databricks e agora chega GA também em AWS e GCP, com Okta entrando em preview público; junto vieram políticas de ingress baseadas em contexto pra controlar acesso de agente de IA a Genie, dashboard e Databricks Apps. https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Sun, 13 Sep 2026 07:00:00 -0300 https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Em Public Preview, ALTER CATALOG ou ALTER SCHEMA com a cláusula RETAIN DROPPED TO permite configurar entre zero (desabilita recuperação) e trinta dias quanto tempo uma tabela gerenciada derrubada fica recuperável via UNDROP TABLE, com a configuração de schema tendo precedência sobre a de catálogo. https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ Fri, 11 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ A Databricks reuniu mais de 15 conectores gerenciados do Lakeflow Connect cobrindo aquisição, engajamento, relacionamento e experiência do cliente, com tabela pronta de gasto e conversão pra plataforma de anúncio direto em Delta table. https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ Fri, 11 Sep 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ A comunidade Apache Iceberg adotou read restrictions e catalog labels, duas especificações que a Databricks detalhou pra resolver o mesmo problema por ângulos diferentes: como manter política de acesso consistente quando motor de consulta e catálogo de dado não são os mesmos. https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Fri, 11 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Um artigo do Youssef Mrini, destacado pelo Databricks MVP Jacek Laskowski, revisita um ponto que ainda confunde muita gente: managed table não é só ’tabela sem LOCATION’, é a Databricks assumindo o ciclo de vida inteiro do dado. https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ Fri, 11 Sep 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ O Databricks MVP Juan Diaz destacou o Trace Retention & Auto Archival do MLflow 3.13: uma rotina em segundo plano move trace mais antigo que a janela de retenção do backend SQL pra object storage, sem perder leitura via UI nem API. https://wiliamrosa.github.io/articles/lakebase-lacuna-aplicacoes-analytics/ Thu, 10 Sep 2026 15:00:00 -0300 https://wiliamrosa.github.io/articles/lakebase-lacuna-aplicacoes-analytics/ Lakebase é um Postgres totalmente gerenciado e nativo da Databricks Data Intelligence Platform, pensado pra unificar workload transacional e analítico com governança única via Unity Catalog, sincronização bidirecional e recursos como autoscaling, scale-to-zero e database branching. https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ Thu, 10 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ O Databricks MVP Josue Bogran mostrou o Kasal, projeto do Databricks Labs que dá uma interface visual pra desenhar, testar e publicar um grupo de agentes cooperando, sem escrever o código de orquestração na mão. https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ Thu, 10 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ O Databricks MVP Laurenz Wuttke detalhou o agentic code converter (Beta): o Genie Code converte script de T-SQL, Snowflake, Redshift, Oracle, BigQuery e Teradata pra ANSI SQL, com subagente validando e corrigindo cada arquivo em paralelo. https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ Thu, 10 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ External secrets (Beta) conecta um schema do Unity Catalog direto ao Azure Key Vault: o segredo aparece como objeto governável e somente leitura, e o valor é lido sob demanda, sem duplicar cópia dentro do Databricks. https://wiliamrosa.github.io/articles/mlflow-avaliacao-loop-duplo-agentes-producao/ Thu, 10 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/mlflow-avaliacao-loop-duplo-agentes-producao/ O case da Zepto usando MLflow mostra um padrão generalizável, dois loops separados, um de desenvolvimento e um de produção, ligados por um portão de qualidade, mais dataset dourado que cresce com o tempo e amostragem estratificada por risco em vez de amostragem uniforme. É engenharia de avaliação, não só uma métrica de acurácia isolada. https://wiliamrosa.github.io/articles/databricks-solvency-ii-control-tower-relatorio-regulatorio/ Thu, 10 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-solvency-ii-control-tower-relatorio-regulatorio/ Solvency II não é um relatório, é uma cadeia de ingestão, validação, modelagem atuarial e aprovação que hoje vive espalhada entre planilha, motor atuarial e ferramenta de BI isolada. A Databricks propõe um control tower único sobre o lakehouse, com trilha de auditoria nativa e agente de IA revisando reconciliação de QRT, mas isso não elimina a dependência do motor atuarial legado. https://wiliamrosa.github.io/articles/lakebase-postgres-cache-huge-pages-shared-buffers/ Thu, 10 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakebase-postgres-cache-huge-pages-shared-buffers/ O Lakebase separa compute de storage, e isso quebra a lógica de cache que o Postgres tradicional assume há décadas. A Databricks detalhou como resolveu isso combinando um cache local autoscaling, shared buffers maiores em compute fixo e huge pages na stack inteira, com ganhos de até 5x em leitura de storage. https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ Wed, 09 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ O Databricks MVP Geir E. Alstad destacou o path map, novo tipo de visualização nos dashboards AI/BI que desenha linha no mapa a partir de uma coluna de geometria no resultado da consulta, em vez de só marcar ponto isolado. https://wiliamrosa.github.io/articles/agentes-duraveis-temporal-lakebase-postgres/ Wed, 09 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/agentes-duraveis-temporal-lakebase-postgres/ Agente de IA de longa duração falha de um jeito diferente de API request-response: o processo pode cair no meio de uma etapa que já produziu efeito parcial. Um projeto de referência combina Temporal para reexecução determinística de workflow com Lakebase Postgres para estado operacional consultável, mas a idempotência de cada passo continua sendo responsabilidade de quem escreve o código do agente. https://wiliamrosa.github.io/posts/proteus-geracao-kernel-gpu-especializado/ Sat, 05 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/proteus-geracao-kernel-gpu-especializado/ O Proteus propõe, valida e faz benchmark de kernel de GPU especializado por formato de operação, com um estudo de caso no Gated DeltaNet do Qwen 3.5 122B atingindo de 1,8x a 5,2x de speedup sobre a melhor implementação do vLLM. https://wiliamrosa.github.io/posts/skill-ou-app-databricks-reporting/ Sat, 05 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/skill-ou-app-databricks-reporting/ O Databricks MVP Domonkos Pal publicou um guia prático sobre quando um skill de agente basta pra gerar relatório e quando vale migrar pra um Databricks App, com skill e app compartilhando a mesma camada de governança. https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ A Databricks defende que tratar governança só como segurança deixa passar a parte que mais encarece IA: dar significado e contexto ao dado, unindo cinco pilares de governança numa lente só via Unity Catalog. https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ O Azure Databricks liberou em beta o compartilhamento de metric views via OpenSharing: quem recebe o share consulta a definição de métrica compartilhada com a função MEASURE(), sem reimplementar a lógica de negócio. https://wiliamrosa.github.io/posts/omnigent-llm-local-llama-cpp/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/omnigent-llm-local-llama-cpp/ Configurar o Omnigent para rodar com um modelo quantizado local via llama.cpp é mais simples do que parece, e ainda revela que o Ollama, apesar de mais popular, é mais lento e mais trabalhoso de configurar pro mesmo modelo. https://wiliamrosa.github.io/posts/big-book-agentops-databricks/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/big-book-agentops-databricks/ O Big Book of AgentOps organiza em seis capítulos e sete fases de projeto o que já vínhamos vendo em pedaços soltos por aqui: MLflow pra avaliação e rastreamento, Unity Gateway pro tráfego de modelo e ferramenta, Unity Catalog pro controle de acesso, com resultado de cliente como FactSet e DXC Technology. https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ SCOUT é o terceiro aplicativo da Southern Company sobre Databricks pra operação de tempestade, cobrindo o momento em tempo real entre a previsão (SPEAR) e a análise pós-evento (RAMP), com dado de outage, clima, terreno e equipe numa única camada. https://wiliamrosa.github.io/posts/lakeflow-jobs-sql-alert-task-branching/ Wed, 02 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-sql-alert-task-branching/ O Databricks MVP Juan Diaz notou que o Lakeflow Jobs agora aceita alerta SQL como tipo de tarefa, expondo o estado da avaliação como saída pra tarefa seguinte decidir o próximo passo com um If/Else. https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ Wed, 02 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ O Databricks MVP Derar Alhussein resgatou os Industry Data Models, biblioteca com modelo de dado de referência pra mais de 40 indústrias, gerada por um agente de modelagem e pensada pra virar a camada Silver do seu Lakehouse. https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ AI Search passou a aceitar filtro em campo de struct aninhado e chave de map, e ganhou a opção de consulta só de filtro, sem busca vetorial nem por palavra-chave, útil pra lookup direto por chave. https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ O agendamento de tarefas do Genie Code chegou à disponibilidade geral no Azure Databricks: dá pra configurar um prompt fixo pra rodar numa recorrência, gerando um chat continuável a cada execução. https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Apache Arrow Flight chegou como formato de envio pro Zerobus Ingest do Lakeflow Connect, ao lado de JSON e protobuf, carregando RecordBatch colunar direto pela mesma conexão gRPC, com SDK em Python e Rust e opção de compressão ZSTD ou LZ4. https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Wed, 02 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Git Folder Serverless (Beta) deixa notebook e arquivo do mesmo Git folder compartilharem um único compute serverless e um ambiente gerenciado por pyproject.toml, em vez de cada notebook subir seu próprio ambiente. https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Automatic Change Data Feed (Auto CDF) atingiu disponibilidade geral no Azure Databricks: calcula mudança de linha na hora da consulta usando row tracking, sem exigir habilitar change data feed manualmente em cada tabela. https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ A FDA construiu o HALO, plataforma sobre Databricks em AWS GovCloud, pra resolver silo de dado entre centros regulatórios distintos, usando Unity Catalog como camada de governança única e um modelo de isolamento por área que a Databricks chama de ‘apartment complex’. https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Agent mode traz raciocínio em múltiplos passos com relatório e visualização, Genie Agents passa a ler PDF, slide e imagem dentro de volume do Unity Catalog, e o Genie Code ganha função pra criar e diagnosticar outros agentes Genie. https://wiliamrosa.github.io/posts/unity-gateway-tracing-mcp-economiza-1-milhao/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-gateway-tracing-mcp-economiza-1-milhao/ A Databricks publicou um caso interno onde o rastreamento OpenTelemetry nativo do Unity AI Gateway, cruzado com pergunta em linguagem natural no Genie One, achou sete bugs de ferramenta MCP responsáveis por quase 1,2 milhão de dólares por ano em token e hora de engenharia desperdiçados. https://wiliamrosa.github.io/posts/databricks-vulnerabilidade-postgis-lakebase-postgres/ Wed, 02 Sep 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-vulnerabilidade-postgis-lakebase-postgres/ Um pesquisador encontrou uma falha de bounds-check na extensão address_standardizer do PostGIS, explorável por qualquer usuário comum do Lakebase Postgres e do Neon, e a Databricks corrigiu antes da divulgação pública. https://wiliamrosa.github.io/events/databricks-devconnect-sao-paulo-2026/ Tue, 01 Sep 2026 20:30:00 -0300 https://wiliamrosa.github.io/events/databricks-devconnect-sao-paulo-2026/ Encontro presencial gratuito da Databricks em São Paulo, com sessões técnicas sobre Lakehouse, ferramentas de IA como Unity AI Gateway e MCPs, e como levar esses builds a usuários não técnicos via Genie. https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ Tue, 01 Sep 2026 15:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ A Databricks liberou o Claude Fable 5.1 da Anthropic no mesmo dia do lançamento, via Unity Gateway, ao lado de Opus 5, Sonnet 5 e mais de 30 modelos. O que chama atenção não é o modelo novo, é a infraestrutura que torna isso rotina. https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Tue, 01 Sep 2026 14:45:00 -0300 https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Dados potencialmente sensíveis em query.history e request_params agora vêm mascarados por padrão nas system tables, liberando acesso amplo sem expor informação sensível a quem não deveria ver. https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ Tue, 01 Sep 2026 14:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ A Databricks publicou um guia com seis formas práticas de operacionalizar o Genie Ontology, defendendo começar pequeno num domínio de alto valor em vez de esperar um modelo corporativo completo. https://wiliamrosa.github.io/posts/lakebase-postgres-autoscaling-hyperloglog/ Tue, 01 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakebase-postgres-autoscaling-hyperloglog/ A Databricks detalhou como o Lakebase Postgres faz autoscaling automático de VM sem derrubar conexão, combinando uso de CPU, uso de memória e uma estimativa de working set feita com uma variante de HyperLogLog sensível a tempo. https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ O framework de pipeline metadata-driven dos Databricks Labs mudou de nome, de DLT-META pra SDP-META, na versão 0.1.0, e ganhou CLI própria, Asset Bundles, app de configuração e um MCP Server pra scaffolding assistido por agente. https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ A pipeline_events system table (Beta) centraliza log de evento de todo pipeline Lakeflow da conta numa única tabela consultável, transição de estado, progresso de flow, métrica de qualidade e erro incluídos. https://wiliamrosa.github.io/posts/databricks-dabs-source-linked-deployment-dev-mode/ Tue, 01 Sep 2026 06:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-source-linked-deployment-dev-mode/ Em modo de desenvolvimento com source-linked deployment, editar job ou pipeline pela UI propaga a mudança automaticamente pros arquivos YML do bundle, low-code e infra-como-código convivendo, mas exige atenção no Git. https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ Tue, 01 Sep 2026 06:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ O Databricks MVP Hubert Dudek percebeu que o Fivetran, presente há anos na seção de Ingestão, desapareceu silenciosamente, junto com a chegada de novos conectores nativos do Lakeflow. https://wiliamrosa.github.io/posts/databricks-genie-zeroops-agente-autonomo/ Tue, 01 Sep 2026 00:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-zeroops-agente-autonomo/ Genie ZeroOps promete monitorar, investigar e propor correção pra pipelines, jobs e tabelas sozinho. O Databricks MVP Hubert Dudek testou em preview com três cenários reais de falha. https://wiliamrosa.github.io/posts/linkedin-lakebase-postgres-object-storage/ Tue, 01 Sep 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-lakebase-postgres-object-storage/ A resposta não é sobre velocidade: é sobre onde fica a fonte da verdade quando quem opera o banco pode ser um agente, não um humano. https://wiliamrosa.github.io/posts/databricks-lakebase-postgres-arquitetura-agentes/ Tue, 01 Sep 2026 00:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-postgres-arquitetura-agentes/ A Databricks anunciou os detalhes de arquitetura do Lakebase Postgres. Minha leitura sobre por que separar compute e armazenamento pode ser o passo que faltava para bancos operacionais aguentarem cargas geradas por agentes. https://wiliamrosa.github.io/posts/livro-lakehouse-engineering-com-databricks/ Mon, 31 Aug 2026 23:00:00 -0300 https://wiliamrosa.github.io/posts/livro-lakehouse-engineering-com-databricks/ Meu livro Lakehouse Engineering com Databricks já está disponível em eBook e impresso: pipelines modernos com Spark, Delta Lake e Unity Catalog, alinhado ao exame Databricks Certified Data Engineer Associate. https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Mon, 31 Aug 2026 22:45:00 -0300 https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Meu projeto Governance RiskOps Agent for Unity Catalog foi reconhecido entre os Top 5 do mundo no DAIS 2026 Community Virtual Contest, evento oficial da Databricks em San Francisco. https://wiliamrosa.github.io/posts/databricks-user-group-organizer-2026/ Mon, 31 Aug 2026 22:40:00 -0300 https://wiliamrosa.github.io/posts/databricks-user-group-organizer-2026/ Recebi o reconhecimento oficial da Databricks como User Group Organizer 2026, pelo trabalho como líder do São Paulo Databricks User Group. https://wiliamrosa.github.io/posts/certificacao-dp-750-azure-databricks-data-engineer-associate/ Mon, 31 Aug 2026 22:35:00 -0300 https://wiliamrosa.github.io/posts/certificacao-dp-750-azure-databricks-data-engineer-associate/ Fui aprovado no exame Databricks Data Engineer Associate (DP-750), voltado para engenharia de dados no ecossistema Azure com foco em Azure Databricks. https://wiliamrosa.github.io/posts/minha-jornada-azure-databricks-data-engineer/ Mon, 31 Aug 2026 21:29:11 -0300 https://wiliamrosa.github.io/posts/minha-jornada-azure-databricks-data-engineer/ Como me preparei para a certificação, o que mais me surpreendeu no exame e por que decidi documentar publicamente minha jornada em dados. https://wiliamrosa.github.io/posts/databricks-vector-store-tres-opcoes/ Mon, 31 Aug 2026 12:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-vector-store-tres-opcoes/ AI Search, o novo lakebase_vector em beta e a variante em batch via SQL resolvem o mesmo problema, guardar e buscar embedding, de formas bem diferentes. https://wiliamrosa.github.io/posts/databricks-genie-code-task-jobs/ Mon, 31 Aug 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-task-jobs/ O novo Genie Code task type deixa rodar um agente autônomo dentro de um job agendado, a partir de um prompt em linguagem natural e com auto-aprovação sempre ligada. https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Mon, 31 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Governance Hub (Beta) é uma visão no nível de conta que reúne saúde de dado, gasto e uso de IA, e recomendações de custo num só lugar, sem substituir Unity Catalog ou orçamentos existentes. https://wiliamrosa.github.io/posts/databricks-apps-model-serving-agentes-ia/ Sun, 30 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-apps-model-serving-agentes-ia/ Databricks Apps virou o host recomendado pra agente novo, mas Model Serving ainda vence em cenário de baixo custo e alta escala, e a diferença de timeout entre os dois muda qual opção funciona pra que tipo de agente. https://wiliamrosa.github.io/posts/oauth-secrets-escopo-service-principal/ Sun, 30 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/oauth-secrets-escopo-service-principal/ Agora dá pra restringir o segredo OAuth de um service principal a escopos de API específicos, como sql ou jobs, em vez de liberar acesso total. Um token gerado por segredo restrito não consegue ultrapassar esses escopos. https://wiliamrosa.github.io/posts/genie-one-colaboracao-documentos-mcp-write/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-one-colaboracao-documentos-mcp-write/ A Databricks lançou um pacote de novidades pro Genie One além do app nativo pra macOS já coberto aqui antes: colaboração em documento com versionamento, criação de agente a partir de conversa, compartilhamento de chat, upload de arquivo e ações de escrita via MCP governadas pelo Unity AI Gateway. https://wiliamrosa.github.io/posts/databricks-lakebase-disaster-recovery-preview/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-disaster-recovery-preview/ Lakebase Disaster Recovery replica metadado do Unity Catalog, dado de tabela gerenciada e ativos de workspace pra uma região secundária, mas Delta table e pipelines de sincronização ficam fora da replicação por enquanto. https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ O privilégio MODIFY do Unity Catalog, antes tudo ou nada, ganhou privilégios filhos separados: INSERT, UPDATE e DELETE podem ser concedidos individualmente, com falha explícita quando um principal tenta operação fora do escopo. https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Unity Catalog Skills (Beta) trata skill de agente como securable de três níveis, catalog.schema.skill, com as mesmas permissões e tags que já protegem tabela. O Databricks MVP Hubert Dudek notou a mudança antes do anúncio oficial confirmar. https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ Sat, 29 Aug 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ A partir de 30 de setembro de 2026, todo workspace novo do Databricks nasce sem DBFS root, DBFS mounts, Hive metastore ou cluster sem isolamento, restrito ao Unity Catalog desde o primeiro dia. https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ READ METADATA é uma privilégio novo do Unity Catalog: visibilidade completa sobre permissão, row filter, column mask e política ABAC de um objeto, sem poder de leitura de dado nem de alteração. https://wiliamrosa.github.io/posts/databricks-dabs-direct-mode-ga-terraform/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-direct-mode-ga-terraform/ O engine ‘direct’ virou padrão pra bundles criados no workspace desde 13 de agosto, e vira padrão geral da CLI em 26 de agosto. O suporte ao Terraform está no caminho da deprecação. https://wiliamrosa.github.io/posts/genie-chart-json-enrichment-ai-parse-document/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-chart-json-enrichment-ai-parse-document/ A Databricks publicou uma técnica de enriquecimento que usa ai_parse_document e ai_prep_search pra transformar gráfico dentro de documento em JSON estruturado antes de indexar, e bateu embedding multimodal maior em dois benchmarks públicos. https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ Thu, 27 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ O Databricks MVP Geir E. Alstad destacou que Metric Views chegou ao Apache Spark 4.3 e ao Unity Catalog 0.6 open source, levando a semântica de negócio definida em YAML e a função MEASURE() pra fora do Databricks hospedado. https://wiliamrosa.github.io/posts/databricks-grok-4-6-unity-ai-gateway/ Thu, 27 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-grok-4-6-unity-ai-gateway/ Mais um modelo externo disponível via Unity AI Gateway. O anúncio em si é pequeno, mas confirma uma estratégia maior: a Databricks quer ser o lugar neutro onde você roda qualquer modelo em cima dos seus próprios dados governados. https://wiliamrosa.github.io/posts/databricks-abac-context-attributes-beta/ Wed, 26 Aug 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-abac-context-attributes-beta/ Context Attributes (Beta) deixa política ABAC do Unity Catalog condicionar máscara e row filter ao contexto da requisição, se veio via OAuth on-behalf-of ou de qual client_id, não só a quem pertencem os dados. https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Wed, 26 Aug 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Serverless Compute Access Control chegou à disponibilidade geral: admin de workspace agora governa acesso a compute interativo e automatizado por usuário ou grupo, via UI ou API. https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ O Databricks MVP Josue Bogran entrevistou o líder de produto do OpenSharing pra explicar o que muda quando o Delta Sharing se rebatiza como o protocolo aberto de compartilhamento para a era agêntica. https://wiliamrosa.github.io/posts/genie-one-app-desktop-macos-beta/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-one-app-desktop-macos-beta/ O app de desktop do Genie One pra macOS entrou em Beta, tirando a experiência de dentro de uma aba de browser. O Databricks MVP Soufiane Darraz destacou o lançamento assim que ele saiu. https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Stream Pipelining permite múltiplos micro-batches em voo ao mesmo tempo em pipelines declarativos serverless, em vez de esperar cada um terminar antes do próximo começar. https://wiliamrosa.github.io/posts/databricks-genie-code-importar-tableau-powerbi/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-importar-tableau-powerbi/ Genie Code agora aceita arquivo .twb, .twbx, .tds, .tdsx ou .pbit e gera automaticamente um dashboard AI/BI equivalente, com Metric Views replicando a lógica de negócio original. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ O Databricks MVP Josue Bogran testou o recurso de Policies (ainda em beta) do Unity AI Gateway com Omnigent, e encontrou casos onde as barreiras deveriam ter sido mais rigorosas. https://wiliamrosa.github.io/articles/databricks-ai-sre-investigacao-incidentes-agente/ Tue, 25 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-ai-sre-investigacao-incidentes-agente/ A Databricks documentou o AI SRE, agente interno que roda checagem de plataforma, análise de log e runbook de time em paralelo assim que um incidente dispara, entregando causa raiz com evidência rastreável antes de um engenheiro terminar de montar o contexto manualmente. https://wiliamrosa.github.io/posts/databricks-lakebase-neon-postgres-compute-storage/ Tue, 25 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-neon-postgres-compute-storage/ Na conversa com Nikita Shamgunov, VP de Engenharia da Databricks, fica mais claro de onde vem a arquitetura do Lakebase, e por que ‘agente provisionando banco sozinho’ deixou de ser ficção científica. https://wiliamrosa.github.io/posts/databricks-omnigent-orquestracao-agentes-codigo/ Tue, 25 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-omnigent-orquestracao-agentes-codigo/ O Omnigent propõe uma camada compartilhada para orquestrar múltiplos agentes de código sem perder contexto entre eles. Acho que essa é a pergunta certa, mas a resposta ainda depende de execução. https://wiliamrosa.github.io/posts/linkedin-omnigent-agentes-codigo/ Tue, 25 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-omnigent-agentes-codigo/ A pergunta que o Omnigent tenta responder importa mais do que ‘qual agente é melhor’, mas ‘meta-harness universal’ é uma categoria que merece ceticismo. https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Em vez de mais um cluster Kafka pra manter, o padrão DeltaBus usa tabela Delta e Change Data Feed como barramento de eventos. O Databricks MVP Dr. Alan L. Dennis destacou o argumento por trás dessa escolha de arquitetura. https://wiliamrosa.github.io/posts/databricks-genie-code-sketch-to-dashboard/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-sketch-to-dashboard/ Fazer upload de uma foto de um esboço desenhado à mão e pedir pro Genie Code construir a dashboard: menos um passo de tradução entre a ideia de negócio e o que acaba sendo construído. https://wiliamrosa.github.io/posts/databricks-genie-ontology-pages-beta/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-ontology-pages-beta/ Pages (Beta) deixa times documentarem conceito de negócio dentro do Unity Catalog, organizado por domínio, e o Genie One passa a priorizar essa definição humana em vez de inferir tudo sozinho. https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ Tue, 18 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ A Databricks dividiu o controle de gasto com IA em orçamento diário e mensal, cada um resolvendo um problema diferente. É um case interno pequeno, mas com uma lição de FinOps que qualquer time de engenharia pode copiar hoje. https://wiliamrosa.github.io/posts/linkedin-governanca-gasto-ia-dual-budget/ Tue, 18 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-governanca-gasto-ia-dual-budget/ Por que dividir o controle de gasto com IA em orçamento diário e mensal resolve dois problemas que um limite único não resolve sozinho. https://wiliamrosa.github.io/posts/databricks-genie-spaces-agent-bricks-supervisor/ Fri, 14 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-spaces-agent-bricks-supervisor/ Um MVP usou o Agent Bricks Multi-Agent Supervisor pra criar, atualizar e apagar Genie Spaces automaticamente, sem escrever código de agente do zero. https://wiliamrosa.github.io/posts/unity-ai-gateway-smart-routing/ Fri, 14 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-ai-gateway-smart-routing/ Smart Routing no Unity AI Gateway classifica cada tarefa de codificação e escolhe automaticamente entre modelo mais barato ou mais caro, com ganho reportado de até 65% de economia mantendo qualidade próxima do Opus 5. https://wiliamrosa.github.io/articles/arquitetura-event-driven-configuracao-rede-serverless/ Thu, 13 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/arquitetura-event-driven-configuracao-rede-serverless/ A Databricks trocou um caminho de configuração de rede baseado em chamadas síncronas a múltiplos serviços por um pipeline assíncrono orientado a eventos, separando o caminho de gerenciamento do caminho de atendimento crítico. O resultado publicado: latência p99 caindo de cerca de 5 segundos pra 125 milissegundos e disponibilidade subindo de 99,8% para 99,99%. https://wiliamrosa.github.io/posts/databricks-digital-twin-system-tables/ Thu, 13 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-digital-twin-system-tables/ O projeto Databricks Digital Persona lê 90 dias de system tables (query history, jobs, billing, auditoria) e usa isso pra construir um agente que conversa como se fosse você. https://wiliamrosa.github.io/posts/databricks-adquire-electric-pglite-lakebase/ Wed, 12 Aug 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-adquire-electric-pglite-lakebase/ A Databricks adquiriu a Electric, criadora do PGlite, um Postgres compilado para WebAssembly que roda embutido dentro de sandbox de agente, sincronizado em tempo real com o Lakebase central. https://wiliamrosa.github.io/posts/databricks-dabs-watch-flag-sincroniza-ide-local/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-dabs-watch-flag-sincroniza-ide-local/ Quem prefere trabalhar num IDE local mas às vezes precisa editar ativo direto no Databricks agora tem uma flag que sincroniza essa mudança de volta pro projeto local. https://wiliamrosa.github.io/posts/databricks-runtime-18-lts-nova-convencao/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-runtime-18-lts-nova-convencao/ A partir do Runtime 18, a Databricks unificou as release notes: sem mais versão menor pra decorar, features novas chegam como atualizações datadas na mesma página. https://wiliamrosa.github.io/posts/mlflow-3-15-mcp-registry-databricks/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/mlflow-3-15-mcp-registry-databricks/ O MCP Registry é o terceiro ‘primo’ da família Registry do MLflow, depois de Model e Prompt. O Databricks MVP Awadelrahman Ahmed detalha essa e outras novidades da versão 3.15. https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Segredos agora podem viver no nível de catálogo, com um namespace de três níveis e uma permissão nova (REFERENCE SECRET) pensada especificamente para serviços como Lakeflow Connections. https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Tag Automation (Beta) deixa o Unity Catalog aplicar e remover tags governadas sozinho, com base em regras que você descreve em linguagem natural pro Genie construir. https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ Tue, 11 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ A Databricks lançou o tipo FILE em beta: documento, imagem, áudio e vídeo agora podem virar coluna nativa de tabela, com a mesma governança de linha, coluna e ABAC do Unity Catalog aplicada também ao arquivo. https://wiliamrosa.github.io/posts/databricks-certificacao-context-engineer-associate/ Tue, 11 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-certificacao-context-engineer-associate/ A nova certificação Databricks Certified Context Engineer Associate formaliza uma habilidade que, até pouco tempo atrás, nem tinha nome. Como alguém que vive de certificação Databricks, essa é a que mais me chamou atenção este ano. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Tue, 11 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Com a GA do Unity AI Gateway e mais de um quatrilhão de tokens já processados, a Databricks formaliza algo que quem trabalha com governança de dados já sentia: administrar agentes de IA é, antes de tudo, um problema de governança. https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Tue, 11 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Mais de 1 quatrilhão de tokens já passaram pelo gateway. O que isso diz sobre para onde vai a governança de IA nas empresas. https://wiliamrosa.github.io/articles/databricks-reducao-custo-coding-agents-roteamento-modelos/ Sat, 08 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-reducao-custo-coding-agents-roteamento-modelos/ Orçamento é só uma parte da conta de coding agent em escala. A Databricks lista cinco alavancas técnicas, roteamento dinâmico por modelo mais barato, meta-harness pra trocar de modelo sem fricção, e redução de token via cache e compressão de contexto, que reduziram custo em até 50% sem baixar qualidade percebida pelo engenheiro. https://wiliamrosa.github.io/posts/langgraph-claude-agent-sdk-deep-agents-databricks/ Thu, 06 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/langgraph-claude-agent-sdk-deep-agents-databricks/ Uma comparação prática entre LangGraph, Claude Agent SDK e Deep Agents mostra que a escolha de orquestração muda o que você ganha de graça em rastreamento MLflow e o quanto sobra pra você construir sozinho quando o agente trava no meio de uma tarefa longa. https://wiliamrosa.github.io/posts/databricks-renomeacoes-rebricked-guia/ Wed, 05 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-renomeacoes-rebricked-guia/ A Databricks renomeia produto com uma frequência que confunde até quem escreve livro sobre a plataforma. Um projeto da comunidade tenta resolver isso com uma espécie de dicionário vivo. https://wiliamrosa.github.io/posts/databricks-adquire-panther-security-lakehouse/ Tue, 04 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-adquire-panther-security-lakehouse/ Com a aquisição da Panther concluída, a Databricks une workflows de SOC e detecção de ameaças ao LakeWatch, uma tacada clara contra o modelo tradicional de SIEM. https://wiliamrosa.github.io/posts/spaces-organizar-trabalho-editor-databricks/ Tue, 04 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spaces-organizar-trabalho-editor-databricks/ A nova feature Spaces deixa organizar abas abertas por pasta ou projeto no editor do Databricks, então dá pra alternar entre um pipeline e um bundle sem perder o contexto de cada um. O Databricks MVP Ajay Kumar Pandey notou a chegada. https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Mon, 03 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Metric Views trazem semântica nativa pro Spark SQL: dimensão e medida viram objeto de primeira classe que o motor entende, então dashboard, relatório e agente de IA calculam a mesma métrica do mesmo jeito. https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Auto CDC chega ao Spark Declarative Pipelines pra SCD Type 1: você descreve a regra de mudança (chave, ordenação, o que conta como delete), e o motor aplica, mesmo com evento fora de ordem. https://wiliamrosa.github.io/posts/databricks-sqlfluff-code-style-sql-bundles/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-sqlfluff-code-style-sql-bundles/ O Databricks MVP Bartosz Konieczny mostra como usar o SQLFluff pra padronizar scripts SQL no Databricks, integrando a verificação ao ciclo de deploy dos Declarative Automation Bundles. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-priority-pay-per-token/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-priority-pay-per-token/ O Unity AI Gateway ganhou um modo de prioridade que promete latência consistente pra aplicações de IA em tempo real, sem exigir capacidade reservada, um meio-termo entre pay-per-token comum e provisioned throughput. https://wiliamrosa.github.io/posts/databricks-finops-agent-azure-cost/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-finops-agent-azure-cost/ O Databricks MVP Casper Lubbers construiu um agente de FinOps focado em avaliação de custo Azure + Databricks, do tipo de pergunta que hoje normalmente só se responde depois do fato, olhando a fatura. https://wiliamrosa.github.io/posts/databricks-genie-code-command-center-mlflow/ Sun, 02 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-code-command-center-mlflow/ A expansão do Genie Code traz um painel para gerenciar trabalho multi-thread e integração nativa com MLflow e Model Serving. Isso aproxima o agente do fluxo real de quem já trabalha com ML em produção. https://wiliamrosa.github.io/posts/linkedin-genie-code-mlflow/ Sun, 02 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-genie-code-mlflow/ Command center multi-thread e inteligência nativa sobre MLflow mudam o que esperar de um agente de código para dados. https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Sat, 01 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Diferente do Clean Rooms tradicional (GA desde 2025), o modo ‘packaged’ permite que um provedor distribua notebooks, JARs e dados prontos, sem o consumidor nunca ver o código ou os dados de origem. https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Fri, 24 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Um benchmark interno da Databricks com 401 tarefas reais de descoberta de dado mostra o Genie Code batendo agentes de código genéricos em acurácia e custo, e a explicação não é o modelo por trás, é o agente não precisar explorar o workspace às cegas. https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ Sat, 18 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ O índice de busca textual do Unity Catalog (Beta na Databricks Runtime 18.2) deixa de varrer arquivo por arquivo atrás de uma palavra e passa a pular direto pra onde ela realmente está. O ganho de performance é real, mas vem com manutenção manual e uma lista de recursos incompatíveis que vale conhecer antes de sair criando índice em tudo. https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ Thu, 16 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto. https://wiliamrosa.github.io/articles/spark-real-time-mode-deteccao-anomalias-blockchain/ Tue, 14 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/spark-real-time-mode-deteccao-anomalias-blockchain/ O Apache Spark Real-Time Mode processa evento por evento em vez de esperar o próximo micro-batch fechar, e um experimento publicado pela Databricks usando transações da blockchain Ethereum mostrou latência p99 abaixo de 1 milissegundo classificando dado como válido ou suspeito em tempo real. https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ Thu, 02 Jul 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox. https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ Thu, 02 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ O Databricks MVP Bartosz Konieczny detalha o Dynamic Data Overwriter: usar partitionOverwriteMode dinâmico ou liquid clustering com INSERT INTO…REPLACE USING pra substituir só o subconjunto de dados afetado, sem tocar no resto da tabela. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-teste-guardrails-custo-tokens/ Thu, 02 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-teste-guardrails-custo-tokens/ Um MVP apontou um Unity AI Gateway pra três modelos hospedados no Databricks e mediu guardrail bloqueando prompt injection 3 de 3 vezes, mas com uma diferença de até 5x no custo de token pro mesmo prompt entre modelos. https://wiliamrosa.github.io/articles/databricks-container-services-docker-compliance/ Fri, 26 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-container-services-docker-compliance/ Databricks Container Services deixa trocar o runtime gerenciado por uma imagem Docker própria, construída e escaneada no seu próprio pipeline de CI/CD. Resolve certificado corporativo, biblioteca proibida e ambiente travado, mas exige abrir mão de parte do conforto de um cluster totalmente gerenciado. https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Tue, 23 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura. https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ Fri, 19 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ O modo ’empacotado’ das Clean Rooms do Azure Databricks separa o papel de provedor (que traz o algoritmo e nunca expõe o código) do papel de consumidor (que traz o dado e nunca vê a lógica), permitindo cruzar identidade ou fazer matching entre empresas sem que nenhum dos dois lados abra mão do que é proprietário. https://wiliamrosa.github.io/events/databricks-data-ai-summit-2026-san-francisco/ Mon, 15 Jun 2026 09:00:00 -0700 https://wiliamrosa.github.io/events/databricks-data-ai-summit-2026-san-francisco/ Representei a comunidade São Paulo Databricks User Group no Data + AI Summit 2026, em San Francisco, ao lado de Nilton Kazuyuki Ueda e de centenas de pessoas da América Latina. https://wiliamrosa.github.io/articles/zerobus-ingest-particionamento-dinamico-petabyte/ Fri, 12 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/zerobus-ingest-particionamento-dinamico-petabyte/ A Databricks publicou um teste de carga do Zerobus Ingest usando o dataset NASA NEOWISE, sustentando 12 milhões de linhas por segundo e ingerindo mais de 1 trilhão de registros em 24 horas. O truque estrutural é deslocar a garantia de ordenação da partição fixa para a conexão de stream, permitindo autoscaling real de pods sem repensar o esquema de particionamento. https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Catalog Commits tira a coordenação de transação do Delta Lake do object storage e coloca dentro do Unity Catalog, habilitando transação atômica entre várias tabelas e leitura de metadado sem round-trip pra nuvem. O recurso central já é GA desde maio de 2026, com Delta Spark, Flink, Trino e DuckDB entre os engines suportados, mas escrita de engine externo continua em Beta e tabela Iceberg gerenciada em Private Preview. https://wiliamrosa.github.io/articles/real-time-mode-sessionizacao-gaming-transformwithstate/ Thu, 04 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/real-time-mode-sessionizacao-gaming-transformwithstate/ Uma plataforma de gaming usou o Apache Spark Real-Time Mode com transformWithState pra sessionizar 4 milhões de sessões simultâneas com latência p99 de 432 milissegundos, cerca de 20x mais rápido que o mesmo pipeline em micro-batch. O ganho central vem de timers nativos que produzem saída mesmo sem novo evento chegar. https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Tue, 02 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Lakebase Change Data Feed (ex-Lakehouse Sync) usa uma extensão de WAL do Postgres pra replicar toda escrita direto pra tabelas Delta no Unity Catalog, sem tocar na aplicação. https://wiliamrosa.github.io/posts/databricks-quando-rotear-modelo-reasoning/ Tue, 02 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-quando-rotear-modelo-reasoning/ Um experimento comparando modelo base e modelo de reasoning em três níveis de complexidade nas Foundation Model APIs do Databricks mostrou que reasoning só compensa em tarefa de lógica multi-etapa, não em classificação ambígua. https://wiliamrosa.github.io/articles/octopus-energy-arquitetura-multi-grain-custo-dados/ Sun, 24 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/octopus-energy-arquitetura-multi-grain-custo-dados/ A Octopus Energy reduziu de 25 bilhões pra 300 milhões de linhas processadas trocando um pipeline mensal monolítico por três fluxos independentes de granularidade diferente, usando Change Data Feed, dbt incremental e Adaptive Query Execution. O custo por dado de liquidação MHHS caiu de cerca de 23 dólares pra menos de 50 centavos. https://wiliamrosa.github.io/posts/databricks-terraform-dabs-integracao-json/ Sat, 02 May 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-terraform-dabs-integracao-json/ Terraform provisiona a infraestrutura, os bundles gerenciam a camada Databricks, e a integração entre os dois deixou de depender de mensagem no Slack com o ID copiado manualmente. https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ Sat, 02 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ O novo tier gratuito permanente do Lakeflow Connect cobre cerca de 100 milhões de registros por dia, por workspace, sem prazo de validade. Isso muda o cálculo de quem hoje paga por linha ingerida. https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito. https://wiliamrosa.github.io/articles/databricks-document-intelligence-pipeline-documentos-nao-estruturados/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-document-intelligence-pipeline-documentos-nao-estruturados/ ai_parse_document, ai_extract e ai_classify já são GA no Azure Databricks, e o pipeline de processamento inteligente de documento (IDP) inteiro roda dentro do Lakeflow, sem infraestrutura separada de OCR ou fila de mensagem. A peça que ainda é Beta, ai_prep_search, é justamente a que decide se o documento processado vira retrieval bom ou lixo semântico. https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Wed, 11 Feb 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog. https://wiliamrosa.github.io/articles/databricks-lakehouse-nativo-ciberseguranca/ Wed, 01 Oct 2025 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-lakehouse-nativo-ciberseguranca/ Data Intelligence for Cybersecurity une Agent Bricks, Lakebase e o padrão aberto OCSF sobre Delta Lake pra tratar telemetria de segurança como dado de lakehouse governado, em vez de um silo isolado dentro de um SIEM proprietário caro por volume ingerido. https://wiliamrosa.github.io/articles/geracao-testes-codigo-llm-spark-sql/ Thu, 03 Oct 2024 09:00:00 -0300 https://wiliamrosa.github.io/articles/geracao-testes-codigo-llm-spark-sql/ Avaliar modelo de código em biblioteca de nicho como Spark SQL esbarra num problema básico: falta benchmark bom. Um pipeline de quatro estágios da Databricks gera caso de teste automaticamente a partir da própria função, com validação cruzada entre dois modelos, e revela que instrução simples como comentário de notebook do Azure Databricks muda o resultado do modelo de forma mensurável. https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ Fri, 10 Nov 2023 09:00:00 -0300 https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ A divisão rígida entre pipeline batch e pipeline streaming é mais uma escolha de ferramenta antiga do que uma necessidade real: Spark Structured Streaming trata os dois casos como pontos no mesmo espectro de latência, com o mesmo motor, o mesmo código e as mesmas garantias de tolerância a falha. https://wiliamrosa.github.io/articles/gestao-custo-databricks-politicas-cluster/ Wed, 19 Oct 2022 09:00:00 -0300 https://wiliamrosa.github.io/articles/gestao-custo-databricks-politicas-cluster/ Controlar gasto no Databricks funciona melhor como restrição estrutural definida em cluster policy, autoscaling e auto-termination, do que como auditoria reativa de fatura no fim do mês. O trade-off central é entre restringir demais e travar produtividade, ou liberar demais e perder controle de custo.