Ingestão sem CDC no Lakeflow Connect saiu do papel e virou GA
Conectores baseados em query atingiram disponibilidade geral: ingestão incremental via cursor, sem CDC nem gateway, pra Oracle, SQL Server, MySQL, MariaDB, Teradata e PostgreSQL.
Azure Databricks
Nem tudo precisa da mesma granularidade: como separar SLA por fluxo derrubou custo de dado em 50x
A Octopus Energy reduziu de 25 bilhões pra 300 milhões de linhas processadas trocando um pipeline mensal monolítico por três fluxos independentes de granularidade diferente, usando Change Data Feed, dbt incremental e Adaptive Query Execution. O custo por dado de liquidação MHHS caiu de cerca de 23 dólares pra menos de 50 centavos.
Seu juiz de IA discorda do especialista humano, e 50 exemplos corrigem isso sem re-treinar nada
MemAlign alinha juiz de IA do MLflow a critério de especialista humano usando memória semântica e episódica em vez de fine-tuning, reduzindo erro de avaliação em até 89% em dimensão técnica de notebook gerado pelo Genie Code, mas uma variante só com memória semântica mostrou que a parte episódica é que carrega a maior parte do ganho.
De PDF solto a coluna de tabela: o pipeline que domestica documento não estruturado no lakehouse
ai_parse_document, ai_extract e ai_classify já são GA no Azure Databricks, e o pipeline de processamento inteligente de documento (IDP) inteiro roda dentro do Lakeflow, sem infraestrutura separada de OCR ou fila de mensagem. A peça que ainda é Beta, ai_prep_search, é justamente a que decide se o documento processado vira retrieval bom ou lixo semântico.
GPU chegou ao compute serverless do Databricks com o AI Runtime
AI Runtime traz suporte a GPU pro serverless em preview público, pra tarefas single-node, a promessa é treinar sem gerenciar cluster, mas ainda com pé atrás no treinamento distribuído.
Lakeflow no Azure Databricks: quando ingestão, transformação e orquestração param de ser três produtos separados
Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog.
Por que juntar SIEM e lakehouse na mesma tabela muda o cálculo de custo e velocidade em SecOps
Data Intelligence for Cybersecurity une Agent Bricks, Lakebase e o padrão aberto OCSF sobre Delta Lake pra tratar telemetria de segurança como dado de lakehouse governado, em vez de um silo isolado dentro de um SIEM proprietário caro por volume ingerido.
Gestão de custo no Azure Databricks é decisão de política de cluster, não corte de orçamento no fim do mês
Controlar gasto no Azure Databricks funciona melhor como restrição estrutural definida em cluster policy, autoscaling e auto-termination, do que como auditoria reativa de fatura no fim do mês. O trade-off central é entre restringir demais e travar produtividade, ou liberar demais e perder controle de custo.