Declarative Automation Bundles

Editar job pela interface web e ver o YAML do bundle mudar sozinho, o melhor dos dois mundos, com uma ressalva

Em modo de desenvolvimento com source-linked deployment, editar job ou pipeline pela UI propaga a mudança automaticamente pros arquivos YML do bundle, low-code e infra-como-código convivendo, mas exige atenção no Git.

Direct mode virou padrão nos Databricks Asset Bundles, o Terraform está com os dias contados aqui

O engine ‘direct’ virou padrão pra bundles criados no workspace desde 13 de agosto, e vira padrão geral da CLI em 26 de agosto. O suporte ao Terraform está no caminho da deprecação.

A flag --watch dos bundles resolve o problema de editar no Databricks mas viver no seu IDE local

Quem prefere trabalhar num IDE local mas às vezes precisa editar ativo direto no Databricks agora tem uma flag que sincroniza essa mudança de volta pro projeto local.

Consistência de estilo no Databricks não é só sobre Python, SQL também precisa de linter

O Databricks MVP Bartosz Konieczny mostra como usar o SQLFluff pra padronizar scripts SQL no Databricks, integrando a verificação ao ciclo de deploy dos Declarative Automation Bundles.

O próprio Apache Spark adotou o Ruff, e isso muda como eu penso em lint pra Databricks

A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox.

Chega de copiar e colar ID do Key Vault entre Terraform e bundle, agora é só JSON

Terraform provisiona a infraestrutura, os bundles gerenciam a camada Databricks, e a integração entre os dois deixou de depender de mensagem no Slack com o ID copiado manualmente.