ApacheSpark on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/apachespark/ Recent content in ApacheSpark on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Mon, 03 Aug 2026 09:00:00 -0300 O Spark 4.2 finalmente entende o que é uma métrica de negócio, não só uma coluna https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Mon, 03 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-metric-views-camada-semantica/ Metric Views trazem semântica nativa pro Spark SQL: dimensão e medida viram objeto de primeira classe que o motor entende, então dashboard, relatório e agente de IA calculam a mesma métrica do mesmo jeito. Auto CDC no Spark 4.2 tira o MERGE manual de cima de quem só queria manter a versão mais recente https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Sun, 02 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/spark-4-2-auto-cdc-scd-type-1/ Auto CDC chega ao Spark Declarative Pipelines pra SCD Type 1: você descreve a regra de mudança (chave, ordenação, o que conta como delete), e o motor aplica, mesmo com evento fora de ordem.