Opinião

O próprio Apache Spark adotou o Ruff, e isso muda como eu penso em lint pra Databricks

A comunidade Spark passou a usar Ruff pra lint e formatação a partir da versão 4.2. O Databricks MVP Bartosz Konieczny explica como incorporar isso aos Declarative Automation Bundles sem travar deploys em sandbox.

Reprocessar a tabela inteira só pra atualizar duas partições? Existe um padrão pra isso

O Databricks MVP Bartosz Konieczny detalha o Dynamic Data Overwriter: usar partitionOverwriteMode dinâmico ou liquid clustering com INSERT INTO…REPLACE USING pra substituir só o subconjunto de dados afetado, sem tocar no resto da tabela.

Testei três modelos atrás do mesmo Unity AI Gateway, e o custo de token variou cinco vezes pra pergunta idêntica

Um MVP apontou um Unity AI Gateway pra três modelos hospedados no Databricks e mediu guardrail bloqueando prompt injection 3 de 3 vezes, mas com uma diferença de até 5x no custo de token pro mesmo prompt entre modelos.

Lakehouse//RT promete SQL em milissegundos pra milhares de usuários simultâneos

Um novo tipo de SQL warehouse serverless mirando latência sub-segundo em alta concorrência, o Lakehouse tentando entrar em terreno que sempre foi de banco operacional.

Delta 4.3 faz até CREATE TABLE passar pelo catálogo, não só a leitura

Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura.

Azure Databricks e OneLake agora conversam nos dois sentidos

Federação de catálogo virou GA e o armazenamento nativo de Delta tables no OneLake entrou em beta, pela primeira vez a via de mão dupla entre Databricks e Fabric é oficial.

A Databricks entrou no território de CDP com agentes fazendo o trabalho de campanha

CustomerLake traz Profile Agents e Campaign Agents pra dentro do Lakehouse, e isso é a Databricks competindo direto com plataformas de dados de cliente estabelecidas.

Lakebase chega ao Azure com branch de banco pra debugar agente do GitHub Copilot

A combinação Lakebase + branching de banco resolve um problema bem específico: como debugar um agente em produção sem tocar nos dados reais.

O Genie virou um app dentro do Microsoft Teams

Perguntar sobre dado do Lakehouse sem sair do Teams parece um detalhe de UX, mas muda quem realmente usa Genie no dia a dia.

O conector de SharePoint do Lakeflow Connect parou de ser só leitura de PDF solto

Ingestão estruturada, metadados de arquivo e schema evolution chegaram ao conector de SharePoint, ele deixou de ser um caso de uso de nicho pra virar ingestão de verdade.