REGISTER e UNREGISTER, em Private Preview, deixam uma tabela sair de um catálogo e entrar em outro reaproveitando só a localização do metadado, sem mover arquivo nenhum, baseado na especificação REST do Apache Iceberg à qual a própria Databricks contribuiu o UNREGISTER.
Custom identity claim injeta um identificador assinado no token OAuth de um service principal, lido via current_oauth_custom_identity_claim() dentro de view dinâmica ou política ABAC, deixando uma aplicação multi-tenant servir usuário final sem criar conta individual no Azure Databricks pra cada um.
Transações multi-tabela e multi-instrução atingiram disponibilidade geral no Unity Catalog: atualizar duas tabelas e gravar uma linha de auditoria vira uma única unidade atômica, com concorrência otimista detectando conflito no commit e dois modos de transação (atômico e interativo) cobrindo desde job agendado até depuração manual via JDBC.
Funke é um acelerador open source que faz parsing nativo de mensagens HL7v2 em tipos Spark dentro do lakehouse, evitando tanto a perda de informação de converter pra FHIR primeiro quanto o custo de um motor de terceiro pra achatar a mensagem.
Autorização on-behalf-of-user em Databricks Apps (GA) encaminha o token de acesso de quem está logado pra dentro da aplicação, fazendo linha e coluna respeitarem a permissão individual do usuário no Unity Catalog, em vez de depender do service principal único e compartilhado do app.
Cross-engine ABAC chegou em disponibilidade geral: Spark externo lendo tabela Delta ou Iceberg gerenciada do Unity Catalog agora tem política ABAC, row filter e column mask aplicados por uma camada serverless da Azure Databricks, mesmo sem o motor de consulta ser o próprio Databricks.
Workday Data Connect catalog federation (Beta) registra tabela do Workday como foreign table no Unity Catalog, lida direto do cloud storage via autenticação OAuth com Integration System User, sem copiar dado nem construir pipeline de ingestão, mas só em modo de acesso padrão.
O Databricks MVP Maksim Pachkouski construiu uma visualização de linhagem aprimorada sobre Databricks Apps, cobrindo todo o catálogo como um único grafo navegável, com hierarquia completa, jobs, dependências e exportação para draw.io.
A Databricks publicou um guia detalhando o comando SET MANAGED LOCATION em três níveis de hierarquia, metastore, catálogo e schema, cada um sobrepondo o anterior, além de ALTER CATALOG/SCHEMA para redirecionar tabela nova sem afetar a existente e ALTER TABLE para converter external em managed copiando o dado.
O Databricks MVP Gary Nakanelua rodou um benchmark comparando redação permanente de PII na camada Silver contra Dynamic Data Masking via Unity Catalog, e mediu custo de escrita, leitura e reversão em cada abordagem.