On-demand state repartitioning, que já cobrimos aqui como Public Preview, chegou à disponibilidade geral: redimensionar partição de shuffle de uma query stateful ou pipeline do Lakeflow sem perder o estado do checkpoint, e agora os Databricks MVPs Hubert Dudek e Derar Alhussein confirmaram, cada um por conta própria, que o recurso está liberado pra uso geral.
Até a Databricks Runtime 18, mudar spark.sql.shuffle.partitions numa query stateful com checkpoint já criado simplesmente não fazia nada. O repartition sob demanda (Public Preview) resolve isso sem exigir reconstrução do checkpoint do zero, e a Coveo já reportou 40% de redução de custo de API do S3 usando ele.
A própria Databricks conta como escalou monitoramento interno para 10 trilhões de amostras por dia e 5 bilhões de séries temporais ativas combinando um fork do Thanos para alerta rápido, uma camada de agregação que absorve pico de cardinalidade, e uma plataforma baseada em lakehouse para investigação profunda sobre dado bruto.
A divisão rígida entre pipeline batch e pipeline streaming é mais uma escolha de ferramenta antiga do que uma necessidade real: Spark Structured Streaming trata os dois casos como pontos no mesmo espectro de latência, com o mesmo motor, o mesmo código e as mesmas garantias de tolerância a falha.