Depois que uma Declarative Automation Bundle funciona no notebook de alguém, o problema seguinte é sempre o mesmo: como fazer o deploy acontecer sem um token pessoal sentado num GitHub Secret pra sempre. Mapeei os quatro caminhos recomendados pelo Azure Databricks e o que realmente muda entre eles.
O Databricks MVP Abiola David demonstrou como ingerir dados de múltiplas pastas do SharePoint como streaming tables no Unity Catalog usando Declarative Automation Bundles, com schema evolution automática e deploy repetível em Azure Databricks.
O Databricks MVP Geir E. Alstad identificou uma pegadinha real ao implantar metric views via Declarative Automation Bundles em múltiplos ambientes: o asset_name do dashboard precisa ficar não qualificado no arquivo versionado, ou a implantação em outro ambiente falha.
Em modo de desenvolvimento com source-linked deployment, editar job ou pipeline pela UI propaga a mudança automaticamente pros arquivos YML do bundle, low-code e infra-como-código convivendo, mas exige atenção no Git.
O engine ‘direct’ virou padrão pra bundles criados no workspace desde 13 de agosto, e vira padrão geral da CLI em 26 de agosto. O suporte ao Terraform está no caminho da deprecação.
Quem prefere trabalhar num IDE local mas às vezes precisa editar ativo direto no Databricks agora tem uma flag que sincroniza essa mudança de volta pro projeto local.
O Databricks MVP Bartosz Konieczny mostra como usar o SQLFluff pra padronizar scripts SQL no Databricks, integrando a verificação ao ciclo de deploy dos Declarative Automation Bundles.
A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox.
Terraform provisiona a infraestrutura, os bundles gerenciam a camada Databricks, e a integração entre os dois deixou de depender de mensagem no Slack com o ID copiado manualmente.