Engenharia De Dados on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/engenharia-de-dados/ Recent content in Engenharia De Dados on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Fri, 24 Apr 2026 18:00:00 -0300 🎙️ TDC Summit São Paulo — Inteligência Artificial | Host e Coordenador de Trilha https://wiliamrosa.github.io/events/tdc-summit-sao-paulo-2026-ia/ Fri, 24 Apr 2026 18:00:00 -0300 https://wiliamrosa.github.io/events/tdc-summit-sao-paulo-2026-ia/ Atuei como host e como coordenador da trilha de Engenharia de Dados no TDC Summit São Paulo (IA), acompanhando apresentações de palestrantes incríveis que compartilharam muito conhecimento com a comunidade. dbt dentro do Lakeflow: o que muda quando o orquestrador para de ser um sistema à parte https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito. Lakeflow no Azure Databricks: quando ingestão, transformação e orquestração param de ser três produtos separados https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Wed, 11 Feb 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog. Streaming não é sobre velocidade máxima, é sobre acertar o relógio certo pra cada dado https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ Fri, 10 Nov 2023 09:00:00 -0300 https://wiliamrosa.github.io/articles/streaming-right-time-processing-databricks/ A divisão rígida entre pipeline batch e pipeline streaming é mais uma escolha de ferramenta antiga do que uma necessidade real: Spark Structured Streaming trata os dois casos como pontos no mesmo espectro de latência, com o mesmo motor, o mesmo código e as mesmas garantias de tolerância a falha.