Delta Lake on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/delta-lake/ Recent content in Delta Lake on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 08:00:00 -0300 OpenSharing agora compartilha tabela Iceberg e schema inteiro vindo de fonte externa via federação https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Sun, 13 Sep 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/opensharing-tabelas-iceberg-schemas-externos/ Duas novidades GA no OpenSharing: compartilhar tabela Iceberg federada de catálogo externo via Lakehouse Federation, inclusive pra cliente Iceberg de fora do Databricks, sem copiar dado; e compartilhar schema ou tabela inteira federada de fonte externa, essa última materializando o dado do lado do provedor e gerando custo extra de compute e armazenamento. Databricks SQL ganhou tabela temporária de verdade, escopada por sessão e com limpeza automática https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ Sun, 13 Sep 2026 07:45:00 -0300 https://wiliamrosa.github.io/posts/temporary-tables-databricks-sql/ CREATE TEMPORARY TABLE cria uma tabela Delta física que existe só durante a sessão que a criou, com limite máximo de sete dias de vida, usando a mesma infraestrutura de cache e performance de uma tabela padrão, mas sem exigir limpeza manual nem poluir o catálogo com objeto de vida curta. SCOUT: como a Southern Company junta previsão, resposta e pós-tempestade num único lakehouse https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ SCOUT é o terceiro aplicativo da Southern Company sobre Databricks pra operação de tempestade, cobrindo o momento em tempo real entre a previsão (SPEAR) e a análise pós-evento (RAMP), com dado de outage, clima, terreno e equipe numa única camada. Change Data Feed automático chega à disponibilidade geral, sem precisar ligar nada tabela por tabela https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/auto-cdf-change-data-feed-automatico-ga/ Automatic Change Data Feed (Auto CDF) atingiu disponibilidade geral no Azure Databricks: calcula mudança de linha na hora da consulta usando row tracking, sem exigir habilitar change data feed manualmente em cada tabela. DeltaBus: o padrão que usa Delta Lake e Change Data Feed em vez de Kafka https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Wed, 19 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/deltabus-delta-lake-change-data-feed-sem-kafka/ Em vez de mais um cluster Kafka pra manter, o padrão DeltaBus usa tabela Delta e Change Data Feed como barramento de eventos. O Databricks MVP Dr. Alan L. Dennis destacou o argumento por trás dessa escolha de arquitetura. Índice de texto no Delta Lake: o que muda quando o Databricks para de escanear tudo pra achar uma palavra https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ Sat, 18 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ O índice de busca textual do Unity Catalog (Beta na Databricks Runtime 18.2) deixa de varrer arquivo por arquivo atrás de uma palavra e passa a pular direto pra onde ela realmente está. O ganho de performance é real, mas vem com manutenção manual e uma lista de recursos incompatíveis que vale conhecer antes de sair criando índice em tudo. Databricks ainda não rastreia a evolução do schema de uma tabela, mas dá pra construir isso com Delta Lake https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ Thu, 16 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto. Reprocessar a tabela inteira só pra atualizar duas partições? Existe um padrão pra isso https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ Thu, 02 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-liquid-clustering-dynamic-overwrite/ O Databricks MVP Bartosz Konieczny detalha o Dynamic Data Overwriter: usar partitionOverwriteMode dinâmico ou liquid clustering com INSERT INTO…REPLACE USING pra substituir só o subconjunto de dados afetado, sem tocar no resto da tabela. Delta 4.3 faz até CREATE TABLE passar pelo catálogo, não só a leitura https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Tue, 23 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura. Quando o Unity Catalog vira coordenador de transação, não só o dicionário de tabelas https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Catalog Commits tira a coordenação de transação do Delta Lake do object storage e coloca dentro do Unity Catalog, habilitando transação atômica entre várias tabelas e leitura de metadado sem round-trip pra nuvem. O recurso central já é GA desde maio de 2026, com Delta Spark, Flink, Trino e DuckDB entre os engines suportados, mas escrita de engine externo continua em Beta e tabela Iceberg gerenciada em Private Preview. Nem tudo precisa da mesma granularidade: como separar SLA por fluxo derrubou custo de dado em 50x https://wiliamrosa.github.io/articles/octopus-energy-arquitetura-multi-grain-custo-dados/ Sun, 24 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/octopus-energy-arquitetura-multi-grain-custo-dados/ A Octopus Energy reduziu de 25 bilhões pra 300 milhões de linhas processadas trocando um pipeline mensal monolítico por três fluxos independentes de granularidade diferente, usando Change Data Feed, dbt incremental e Adaptive Query Execution. O custo por dado de liquidação MHHS caiu de cerca de 23 dólares pra menos de 50 centavos. Streaming não é sobre velocidade máxima, é sobre acertar o relógio certo pra cada dado https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ Fri, 10 Nov 2023 09:00:00 -0300 https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ A divisão rígida entre pipeline batch e pipeline streaming é mais uma escolha de ferramenta antiga do que uma necessidade real: Spark Structured Streaming trata os dois casos como pontos no mesmo espectro de latência, com o mesmo motor, o mesmo código e as mesmas garantias de tolerância a falha.