https://wiliamrosa.github.io/tags/azure-databricks/ Recent content in Azure Databricks on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Fri, 11 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ Fri, 11 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ A Databricks reuniu mais de 15 conectores gerenciados do Lakeflow Connect cobrindo aquisição, engajamento, relacionamento e experiência do cliente, com tabela pronta de gasto e conversão pra plataforma de anúncio direto em Delta table. https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Fri, 11 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Um artigo do Youssef Mrini, destacado pelo Databricks MVP Jacek Laskowski, revisita um ponto que ainda confunde muita gente: managed table não é só ’tabela sem LOCATION’, é a Databricks assumindo o ciclo de vida inteiro do dado. https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ Fri, 11 Sep 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/mlflow-trace-retention-auto-archival/ O Databricks MVP Juan Diaz destacou o Trace Retention & Auto Archival do MLflow 3.13: uma rotina em segundo plano move trace mais antigo que a janela de retenção do backend SQL pra object storage, sem perder leitura via UI nem API. https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ Thu, 10 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/kasal-databricks-labs-agentes-multiagente/ O Databricks MVP Josue Bogran mostrou o Kasal, projeto do Databricks Labs que dá uma interface visual pra desenhar, testar e publicar um grupo de agentes cooperando, sem escrever o código de orquestração na mão. https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ Thu, 10 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/agentic-code-converter-genie-code-migracao-sql/ O Databricks MVP Laurenz Wuttke detalhou o agentic code converter (Beta): o Genie Code converte script de T-SQL, Snowflake, Redshift, Oracle, BigQuery e Teradata pra ANSI SQL, com subagente validando e corrigindo cada arquivo em paralelo. https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ Thu, 10 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ External secrets (Beta) conecta um schema do Unity Catalog direto ao Azure Key Vault: o segredo aparece como objeto governável e somente leitura, e o valor é lido sob demanda, sem duplicar cópia dentro do Databricks. https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ Wed, 09 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/aibi-dashboards-path-map-visualizacao/ O Databricks MVP Geir E. Alstad destacou o path map, novo tipo de visualização nos dashboards AI/BI que desenha linha no mapa a partir de uma coluna de geometria no resultado da consulta, em vez de só marcar ponto isolado. https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-opensharing-beta/ O Azure Databricks liberou em beta o compartilhamento de metric views via OpenSharing: quem recebe o share consulta a definição de métrica compartilhada com a função MEASURE(), sem reimplementar a lógica de negócio. https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/ai-search-structs-maps-filter-only-queries/ AI Search passou a aceitar filtro em campo de struct aninhado e chave de map, e ganhou a opção de consulta só de filtro, sem busca vetorial nem por palavra-chave, útil pra lookup direto por chave. https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/genie-code-scheduled-tasks-ga/ O agendamento de tarefas do Genie Code chegou à disponibilidade geral no Azure Databricks: dá pra configurar um prompt fixo pra rodar numa recorrência, gerando um chat continuável a cada execução. https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Apache Arrow Flight chegou como formato de envio pro Zerobus Ingest do Lakeflow Connect, ao lado de JSON e protobuf, carregando RecordBatch colunar direto pela mesma conexão gRPC, com SDK em Python e Rust e opção de compressão ZSTD ou LZ4. https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Wed, 02 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/git-folder-serverless-beta-azure-databricks/ Git Folder Serverless (Beta) deixa notebook e arquivo do mesmo Git folder compartilharem um único compute serverless e um ambiente gerenciado por pyproject.toml, em vez de cada notebook subir seu próprio ambiente. https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Automatic Change Data Feed (Auto CDF) atingiu disponibilidade geral no Azure Databricks: calcula mudança de linha na hora da consulta usando row tracking, sem exigir habilitar change data feed manualmente em cada tabela. https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Controles de compliance HITRUST e IRAP atingiram disponibilidade geral no Azure Databricks em setembro de 2026, e a partir de agora HIPAA, HITRUST e IRAP exigem o compliance security profile ativado, deixou de ser configuração opcional pra quem já usa esses padrões. https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Thu, 20 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Com RBAC em GA, um usuário passa a assumir um papel específico em vez de carregar todas as permissões que já acumulou, uma mudança de modelo mental, não só uma feature nova. https://wiliamrosa.github.io/posts/azure-databricks-session-restore-jobs-serverless/ Tue, 18 Aug 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-session-restore-jobs-serverless/ Session Restore recupera variáveis Python e sessão Spark de um job serverless que falhou, direto num notebook interativo, sem precisar reprocessar tudo pra investigar. https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Tue, 18 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Identity Attributes deixa políticas ABAC do Unity Catalog usarem atributos sincronizados do seu provedor de identidade, departamento, país, sem precisar recriar isso como grupo. https://wiliamrosa.github.io/posts/azure-databricks-lakehouse-rt-reyden/ Wed, 01 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakehouse-rt-reyden/ Um novo tipo de SQL warehouse serverless mirando latência sub-segundo em alta concorrência, o Lakehouse tentando entrar em terreno que sempre foi de banco operacional. https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Thu, 18 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Federação de catálogo virou GA e o armazenamento nativo de Delta tables no OneLake entrou em beta, pela primeira vez a via de mão dupla entre Databricks e Fabric é oficial. https://wiliamrosa.github.io/posts/azure-databricks-customerlake-cdp-agentica/ Wed, 17 Jun 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-customerlake-cdp-agentica/ CustomerLake traz Profile Agents e Campaign Agents pra dentro do Lakehouse, e isso é a Databricks competindo direto com plataformas de dados de cliente estabelecidas. https://wiliamrosa.github.io/posts/azure-databricks-lakebase-github-copilot-branching/ Wed, 17 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakebase-github-copilot-branching/ A combinação Lakebase + branching de banco resolve um problema bem específico: como debugar um agente em produção sem tocar nos dados reais. https://wiliamrosa.github.io/posts/azure-databricks-genie-microsoft-teams/ Thu, 11 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-genie-microsoft-teams/ Perguntar sobre dado do Lakehouse sem sair do Teams parece um detalhe de UX, mas muda quem realmente usa Genie no dia a dia. https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Ingestão estruturada, metadados de arquivo e schema evolution chegaram ao conector de SharePoint, ele deixou de ser um caso de uso de nicho pra virar ingestão de verdade. https://wiliamrosa.github.io/posts/azure-databricks-genie-code-auto-aprovacao/ Fri, 05 Jun 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-genie-code-auto-aprovacao/ Auto-aprovação tira o prompt de confirmação a cada ação do Genie Code, mas quem decide o que é ‘arriscado’ é um classificador de IA, não uma barreira de segurança. https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ Fri, 05 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ O Add-in do Excel para Azure Databricks deixou de ser só leitura, agora escreve de volta em uma tabela do Unity Catalog, sem sair da planilha. https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Sat, 30 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Conectores baseados em query atingiram disponibilidade geral: ingestão incremental via cursor, sem CDC nem gateway, pra Oracle, SQL Server, MySQL, MariaDB, Teradata e PostgreSQL. https://wiliamrosa.github.io/posts/azure-databricks-ai-runtime-gpu-serverless/ Fri, 20 Mar 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-ai-runtime-gpu-serverless/ AI Runtime traz suporte a GPU pro serverless em preview público, pra tarefas single-node, a promessa é treinar sem gerenciar cluster, mas ainda com pé atrás no treinamento distribuído. https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Wed, 11 Feb 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog.