Delta Lake

OpenSharing agora compartilha tabela Iceberg e schema inteiro vindo de fonte externa via federação

Duas novidades GA no OpenSharing: compartilhar tabela Iceberg federada de catálogo externo via Lakehouse Federation, inclusive pra cliente Iceberg de fora do Databricks, sem copiar dado; e compartilhar schema ou tabela inteira federada de fonte externa, essa última materializando o dado do lado do provedor e gerando custo extra de compute e armazenamento.

Databricks SQL ganhou tabela temporária de verdade, escopada por sessão e com limpeza automática

CREATE TEMPORARY TABLE cria uma tabela Delta física que existe só durante a sessão que a criou, com limite máximo de sete dias de vida, usando a mesma infraestrutura de cache e performance de uma tabela padrão, mas sem exigir limpeza manual nem poluir o catálogo com objeto de vida curta.

SCOUT: como a Southern Company junta previsão, resposta e pós-tempestade num único lakehouse

SCOUT é o terceiro aplicativo da Southern Company sobre Databricks pra operação de tempestade, cobrindo o momento em tempo real entre a previsão (SPEAR) e a análise pós-evento (RAMP), com dado de outage, clima, terreno e equipe numa única camada.

Change Data Feed automático chega à disponibilidade geral, sem precisar ligar nada tabela por tabela

Automatic Change Data Feed (Auto CDF) atingiu disponibilidade geral no Azure Databricks: calcula mudança de linha na hora da consulta usando row tracking, sem exigir habilitar change data feed manualmente em cada tabela.

DeltaBus: o padrão que usa Delta Lake e Change Data Feed em vez de Kafka

Em vez de mais um cluster Kafka pra manter, o padrão DeltaBus usa tabela Delta e Change Data Feed como barramento de eventos. O Databricks MVP Dr. Alan L. Dennis destacou o argumento por trás dessa escolha de arquitetura.

Índice de texto no Delta Lake: o que muda quando o Databricks para de escanear tudo pra achar uma palavra

O índice de busca textual do Unity Catalog (Beta na Databricks Runtime 18.2) deixa de varrer arquivo por arquivo atrás de uma palavra e passa a pular direto pra onde ela realmente está. O ganho de performance é real, mas vem com manutenção manual e uma lista de recursos incompatíveis que vale conhecer antes de sair criando índice em tudo.

Databricks ainda não rastreia a evolução do schema de uma tabela, mas dá pra construir isso com Delta Lake

O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto.

Reprocessar a tabela inteira só pra atualizar duas partições? Existe um padrão pra isso

O Databricks MVP Bartosz Konieczny detalha o Dynamic Data Overwriter: usar partitionOverwriteMode dinâmico ou liquid clustering com INSERT INTO…REPLACE USING pra substituir só o subconjunto de dados afetado, sem tocar no resto da tabela.

Delta 4.3 faz até CREATE TABLE passar pelo catálogo, não só a leitura

Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura.

Quando o Unity Catalog vira coordenador de transação, não só o dicionário de tabelas

Catalog Commits tira a coordenação de transação do Delta Lake do object storage e coloca dentro do Unity Catalog, habilitando transação atômica entre várias tabelas e leitura de metadado sem round-trip pra nuvem. O recurso central já é GA desde maio de 2026, com Delta Spark, Flink, Trino e DuckDB entre os engines suportados, mas escrita de engine externo continua em Beta e tabela Iceberg gerenciada em Private Preview.