O roundup de outubro do Lakeflow Designer trouxe operadores de qualidade de dado (Prepare, Unique, Guardrails), saída em materialized view e versionamento visual, consolidando num só release o tipo de recurso que normalmente vem espalhado por meses.
O Databricks MVP Shashank Shekhar documentou o teste unitário nativo (Beta) de Spark Declarative Pipelines: roda dentro do próprio editor, redireciona tabela pra um schema isolado com dado mockado via test_spark, executa refresh seletivo com TestPipeline.active() e checa resultado, pegando bug de lógica que passaria despercebido mesmo com toda expectation satisfeita.
A identidade run-as de uma pipeline do Lakeflow agora aceita um grupo de conta, além de usuário e service principal: atualização da pipeline passa a rodar com a permissão do grupo, e a propriedade das tabelas publicadas acompanha essa mesma identidade, útil pra time inteiro ser dono de uma pipeline automatizada.
O Databricks MVP Gary Nakanelua testou deletes tardios contra tabelas AUTO CDC do tipo SCD 1 e 2 com diferentes janelas de retenção de tombstone, e mostrou o que sobrevive e o que muda quando o delete chega fora da janela.
O Pipeline Rewind do Lakeflow permite voltar uma pipeline a um ponto anterior a um problema conhecido e reprocessar só o dado afetado, restaurando versão de tabela, offset de origem e estado do operador juntos.
O trigger continuous transforma um Lakeflow Job em serviço always-on que reinicia sozinho assim que termina ou falha, delegando pra Databricks a responsabilidade de manter o job rodando sem interrupção, em vez de forçar CRON ou trigger orientado a evento a fazer papel de scheduler contínuo.
O framework de pipeline metadata-driven dos Databricks Labs mudou de nome, de DLT-META pra SDP-META, na versão 0.1.0, e ganhou CLI própria, Asset Bundles, app de configuração e um MCP Server pra scaffolding assistido por agente.
A pipeline_events system table (Beta) centraliza log de evento de todo pipeline Lakeflow da conta numa única tabela consultável, transição de estado, progresso de flow, métrica de qualidade e erro incluídos.
Stream Pipelining permite múltiplos micro-batches em voo ao mesmo tempo em pipelines declarativos serverless, em vez de esperar cada um terminar antes do próximo começar.
Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito.