O Databricks MVP Shashank Shekhar documentou o teste unitário nativo (Beta) de Spark Declarative Pipelines: roda dentro do próprio editor, redireciona tabela pra um schema isolado com dado mockado via test_spark, executa refresh seletivo com TestPipeline.active() e checa resultado, pegando bug de lógica que passaria despercebido mesmo com toda expectation satisfeita.
O Databricks MVP Gary Nakanelua testou deletes tardios contra tabelas AUTO CDC do tipo SCD 1 e 2 com diferentes janelas de retenção de tombstone, e mostrou o que sobrevive e o que muda quando o delete chega fora da janela.
Lakeflow Jobs resolve orquestração sozinho quando a operação vive inteira dentro do Azure Databricks, mas perde força em branching complexo, infraestrutura fora da plataforma e recuperação automática de execução perdida, cenários em que Apache Airflow ainda vale a pena.
Até a Databricks Runtime 18, mudar spark.sql.shuffle.partitions numa query stateful com checkpoint já criado simplesmente não fazia nada. O repartition sob demanda (Public Preview) resolve isso sem exigir reconstrução do checkpoint do zero, e a Coveo já reportou 40% de redução de custo de API do S3 usando ele.
A Databricks reuniu mais de 15 conectores gerenciados do Lakeflow Connect cobrindo aquisição, engajamento, relacionamento e experiência do cliente, com tabela pronta de gasto e conversão pra plataforma de anúncio direto em Delta table.
Um artigo do Youssef Mrini, destacado pelo Databricks MVP Jacek Laskowski, revisita um ponto que ainda confunde muita gente: managed table não é só ’tabela sem LOCATION’, é a Databricks assumindo o ciclo de vida inteiro do dado.
Meu livro Lakehouse Engineering com Databricks já está disponível em eBook e impresso: pipelines modernos com Spark, Delta Lake e Unity Catalog, alinhado ao exame Databricks Certified Data Engineer Associate.
Fui aprovado no exame Databricks Data Engineer Associate (DP-750), voltado para engenharia de dados no ecossistema Azure com foco em Azure Databricks.
O Apache Spark Real-Time Mode processa evento por evento em vez de esperar o próximo micro-batch fechar, e um experimento publicado pela Databricks usando transações da blockchain Ethereum mostrou latência p99 abaixo de 1 milissegundo classificando dado como válido ou suspeito em tempo real.
O modo ’empacotado’ das Clean Rooms do Azure Databricks separa o papel de provedor (que traz o algoritmo e nunca expõe o código) do papel de consumidor (que traz o dado e nunca vê a lógica), permitindo cruzar identidade ou fazer matching entre empresas sem que nenhum dos dois lados abra mão do que é proprietário.