A cláusula NEAREST BY transforma busca vetorial em lote num tipo de join nativo do Databricks SQL, tirando o gargalo que antes vinha do tamanho do endpoint de serving e jogando o problema pra cima do cluster inteiro, com kernel Photon fundido e índice IVF opcional.
Teste hands-on de Josue Bogran mostrou o Serverless compute do Azure Databricks batendo resultados anteriores de SQL Serverless em velocidade e ficando competitivo em custo pra ETL, mesmo sem nenhum ajuste fino de cluster.
Até a Databricks Runtime 18, mudar spark.sql.shuffle.partitions numa query stateful com checkpoint já criado simplesmente não fazia nada. O repartition sob demanda (Public Preview) resolve isso sem exigir reconstrução do checkpoint do zero, e a Coveo já reportou 40% de redução de custo de API do S3 usando ele.
O Lakebase separa compute de storage, e isso quebra a lógica de cache que o Postgres tradicional assume há décadas. A Databricks detalhou como resolveu isso combinando um cache local autoscaling, shared buffers maiores em compute fixo e huge pages na stack inteira, com ganhos de até 5x em leitura de storage.
Lakehouse//RT é um novo tipo de warehouse serverless da Azure Databricks, em Beta, construído sobre o motor Reyden para entregar latência sub-segundo em consulta de leitura direto sobre tabela Delta e Iceberg do Unity Catalog, sem exigir um banco separado de serving em tempo real.
O índice de busca textual do Unity Catalog (Beta na Databricks Runtime 18.2) deixa de varrer arquivo por arquivo atrás de uma palavra e passa a pular direto pra onde ela realmente está. O ganho de performance é real, mas vem com manutenção manual e uma lista de recursos incompatíveis que vale conhecer antes de sair criando índice em tudo.