Databricks

Sessionizar milhões de jogadores sem reprocessar nada: o que muda com timer nativo no Structured Streaming

Uma plataforma de gaming usou o Apache Spark Real-Time Mode com transformWithState pra sessionizar 4 milhões de sessões simultâneas com latência p99 de 432 milissegundos, cerca de 20x mais rápido que o mesmo pipeline em micro-batch. O ganho central vem de timers nativos que produzem saída mesmo sem novo evento chegar.

Lakebase ganhou CDC de graça, e o Postgres nem percebe

Lakebase Change Data Feed (ex-Lakehouse Sync) usa uma extensão de WAL do Postgres pra replicar toda escrita direto pra tabelas Delta no Unity Catalog, sem tocar na aplicação.

Rotear pergunta ambígua pra um modelo de reasoning não compensou, e os números provam

Um experimento comparando modelo base e modelo de reasoning em três níveis de complexidade nas Foundation Model APIs do Databricks mostrou que reasoning só compensa em tarefa de lógica multi-etapa, não em classificação ambígua.

Nem tudo precisa da mesma granularidade: como separar SLA por fluxo derrubou custo de dado em 50x

A Octopus Energy reduziu de 25 bilhões pra 300 milhões de linhas processadas trocando um pipeline mensal monolítico por três fluxos independentes de granularidade diferente, usando Change Data Feed, dbt incremental e Adaptive Query Execution. O custo por dado de liquidação MHHS caiu de cerca de 23 dólares pra menos de 50 centavos.

Chega de copiar e colar ID do Key Vault entre Terraform e bundle, agora é só JSON

Terraform provisiona a infraestrutura, os bundles gerenciam a camada Databricks, e a integração entre os dois deixou de depender de mensagem no Slack com o ID copiado manualmente.

100 DBUs de ingestão grátis por dia, todo dia, pra sempre, o que a Databricks está apostando com isso

O novo tier gratuito permanente do Lakeflow Connect cobre cerca de 100 milhões de registros por dia, por workspace, sem prazo de validade. Isso muda o cálculo de quem hoje paga por linha ingerida.

dbt dentro do Lakeflow: o que muda quando o orquestrador para de ser um sistema à parte

Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito.

De PDF solto a coluna de tabela: o pipeline que domestica documento não estruturado no lakehouse

ai_parse_document, ai_extract e ai_classify já são GA no Azure Databricks, e o pipeline de processamento inteligente de documento (IDP) inteiro roda dentro do Lakeflow, sem infraestrutura separada de OCR ou fila de mensagem. A peça que ainda é Beta, ai_prep_search, é justamente a que decide se o documento processado vira retrieval bom ou lixo semântico.

Lakeflow no Azure Databricks: quando ingestão, transformação e orquestração param de ser três produtos separados

Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog.

Por que juntar SIEM e lakehouse na mesma tabela muda o cálculo de custo e velocidade em SecOps

Data Intelligence for Cybersecurity une Agent Bricks, Lakebase e o padrão aberto OCSF sobre Delta Lake pra tratar telemetria de segurança como dado de lakehouse governado, em vez de um silo isolado dentro de um SIEM proprietário caro por volume ingerido.