Governança

Mover tabela entre catálogos sem copiar dado: a Databricks contribuiu UNREGISTER pro padrão aberto do Iceberg

REGISTER e UNREGISTER, em Private Preview, deixam uma tabela sair de um catálogo e entrar em outro reaproveitando só a localização do metadado, sem mover arquivo nenhum, baseado na especificação REST do Apache Iceberg à qual a própria Databricks contribuiu o UNREGISTER.

ACID de verdade entre tabelas: o que muda quando o lakehouse para de precisar de um warehouse separado pra transação

Transações multi-tabela e multi-instrução atingiram disponibilidade geral no Unity Catalog: atualizar duas tabelas e gravar uma linha de auditoria vira uma única unidade atômica, com concorrência otimista detectando conflito no commit e dois modos de transação (atômico e interativo) cobrindo desde job agendado até depuração manual via JDBC.

MLflow 3.17.0 traz juiz Jev pronto pra usar e permissão granular com DENY explícito

O release 3.17.0 do MLflow adiciona modelo Jev da TypeSafe como juiz de avaliação pronto pra usar em mlflow.genai.evaluate(), permissão fina por run/trace/model version com DENY explícito, dashboard de Trace Analytics mais rápido em escala, e exige upgrade de banco pra servidor SQL-backed.

Repositório de pacote padrão por workspace: um Secret Scope resolve index-url pra todo app, notebook e pipeline de uma vez

Admin de workspace agora configura repositório privado de pacote Python, npm e Maven uma vez só, via um Secret Scope com nome fixo, e notebook, job, pipeline e Databricks App herdam isso automaticamente, sem precisar declarar index-url em cada app.yaml.

Pipeline do Lakeflow agora pode rodar como grupo, não só como usuário ou service principal

A identidade run-as de uma pipeline do Lakeflow agora aceita um grupo de conta, além de usuário e service principal: atualização da pipeline passa a rodar com a permissão do grupo, e a propriedade das tabelas publicadas acompanha essa mesma identidade, útil pra time inteiro ser dono de uma pipeline automatizada.

MLflow 3.13 trocou permissão por recurso avulso por um sistema de papéis com UI própria de admin

O Databricks MVP Juan Diaz destacou o RBAC completo do MLflow 3.13: papel reutilizável com permissão agrupada, UI de admin via navegador e matriz de permissão cobrindo experimento, modelo e artefato, fechando uma lacuna de quem hospeda o próprio MLflow em vez de pagar por plataforma gerenciada só por causa de controle de acesso.

ABAC do Unity Catalog agora vale pra quem nem usa o Databricks como motor de consulta

Cross-engine ABAC chegou em disponibilidade geral: Spark externo lendo tabela Delta ou Iceberg gerenciada do Unity Catalog agora tem política ABAC, row filter e column mask aplicados por uma camada serverless da Azure Databricks, mesmo sem o motor de consulta ser o próprio Databricks.

Databricks Artifact Registry tenta resolver a fragmentação de onde seus modelos e containers moram

O Databricks MVP Ajay Kumar Pandey destacou o Artifact Registry, um repositório centralizado para armazenar, descobrir e governar modelos, bibliotecas e containers ao longo do ciclo de vida de dados e IA.

O rollout do Genie One que funciona começa nos dados, não na comunicação interna

A maioria dos guias de adoção de IA generativa fala de comunicação, treinamento e gestão de mudança. O que realmente decide se um rollout de Genie One dá certo é uma sequência técnica bem mais concreta, que começa em Domains, Metric Views e Pages, muito antes de qualquer usuário piloto entrar na tela.

Onde sua managed table mora não precisa mais ser decisão do metastore inteiro

A Databricks publicou um guia detalhando o comando SET MANAGED LOCATION em três níveis de hierarquia, metastore, catálogo e schema, cada um sobrepondo o anterior, além de ALTER CATALOG/SCHEMA para redirecionar tabela nova sem afetar a existente e ALTER TABLE para converter external em managed copiando o dado.