Apache Spark on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/apache-spark/ Recent content in Apache Spark on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Thu, 27 Aug 2026 09:00:00 -0300 Metric Views saiu do Databricks e virou parte do Apache Spark e do Unity Catalog open source https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ Thu, 27 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ O Databricks MVP Geir E. Alstad destacou que Metric Views chegou ao Apache Spark 4.3 e ao Unity Catalog 0.6 open source, levando a semântica de negócio definida em YAML e a função MEASURE() pra fora do Databricks hospedado. Detectar dado corrompido em menos de 1 milissegundo: o que muda quando o Spark para de esperar o próximo micro-batch https://wiliamrosa.github.io/articles/spark-real-time-mode-deteccao-anomalias-blockchain/ Tue, 14 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/spark-real-time-mode-deteccao-anomalias-blockchain/ O Apache Spark Real-Time Mode processa evento por evento em vez de esperar o próximo micro-batch fechar, e um experimento publicado pela Databricks usando transações da blockchain Ethereum mostrou latência p99 abaixo de 1 milissegundo classificando dado como válido ou suspeito em tempo real. O próprio Apache Spark adotou o Ruff, e isso muda como eu penso em lint pra Databricks https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ Thu, 02 Jul 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/databricks-spark-ruff-linting-bundles/ A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox. Sessionizar milhões de jogadores sem reprocessar nada: o que muda com timer nativo no Structured Streaming https://wiliamrosa.github.io/articles/real-time-mode-sessionizacao-gaming-transformwithstate/ Thu, 04 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/real-time-mode-sessionizacao-gaming-transformwithstate/ Uma plataforma de gaming usou o Apache Spark Real-Time Mode com transformWithState pra sessionizar 4 milhões de sessões simultâneas com latência p99 de 432 milissegundos, cerca de 20x mais rápido que o mesmo pipeline em micro-batch. O ganho central vem de timers nativos que produzem saída mesmo sem novo evento chegar.