https://wiliamrosa.github.io/tags/lakeflow/ Recent content in Lakeflow on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ Sun, 13 Sep 2026 11:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-jobs-continuous-trigger-streaming/ O trigger continuous transforma um Lakeflow Job em serviço always-on que reinicia sozinho assim que termina ou falha, delegando pra Databricks a responsabilidade de manter o job rodando sem interrupção, em vez de forçar CRON ou trigger orientado a evento a fazer papel de scheduler contínuo. https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/sdp-meta-framework-lakeflow-declarative-pipelines/ O framework de pipeline metadata-driven dos Databricks Labs mudou de nome, de DLT-META pra SDP-META, na versão 0.1.0, e ganhou CLI própria, Asset Bundles, app de configuração e um MCP Server pra scaffolding assistido por agente. https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ Tue, 01 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/pipeline-events-system-table-beta/ A pipeline_events system table (Beta) centraliza log de evento de todo pipeline Lakeflow da conta numa única tabela consultável, transição de estado, progresso de flow, métrica de qualidade e erro incluídos. https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-stream-pipelining-serverless/ Stream Pipelining permite múltiplos micro-batches em voo ao mesmo tempo em pipelines declarativos serverless, em vez de esperar cada um terminar antes do próximo começar. https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito. https://wiliamrosa.github.io/articles/databricks-document-intelligence-pipeline-documentos-nao-estruturados/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-document-intelligence-pipeline-documentos-nao-estruturados/ ai_parse_document, ai_extract e ai_classify já são GA no Azure Databricks, e o pipeline de processamento inteligente de documento (IDP) inteiro roda dentro do Lakeflow, sem infraestrutura separada de OCR ou fila de mensagem. A peça que ainda é Beta, ai_prep_search, é justamente a que decide se o documento processado vira retrieval bom ou lixo semântico. https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Wed, 11 Feb 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog.