Data Solution Architect com mais de 20 anos de experiência em Engenharia de Dados, hoje atuando na GFT Technologies com plataformas modernas de dados, governança, analytics e Inteligência Artificial usando Databricks, Azure, AWS e Microsoft Fabric. 9x Certificado Microsoft — incluindo Azure Databricks Data Engineer Associate e Azure Database Administrator Associate —, Databricks Certified Machine Learning Professional, Microsoft Certified Trainer (MCT) e líder do São Paulo Databricks User Group. Palestrante e coordenador de trilhas de Dados e IA no TDC (The Developers Conference), e autor dos livros Lakehouse Engineering com Databricks e Machine Learning Prático com Python. Meu objetivo é contribuir cada vez mais com a comunidade Microsoft e Databricks, compartilhando aqui artigos técnicos e opiniões sobre esse universo.
`databricks environments setup-local` sincroniza venv local com a versão exata do compute remoto
O comando resolve o compute alvo, seja cluster clássico ou serverless, descobre a versão de Python e de databricks-connect fixadas pra aquele ambiente e provisiona um .venv gerenciado por uv já casado com essas versões, atualizando o pyproject.toml com backup automático em pyproject.toml.bak.
Unity Catalog agora manda alerta por e-mail quando anomaly detection acha tabela doente
Alertas de anomaly detection, em Beta na Data Quality Monitoring UI, notificam por e-mail usuário do workspace quando uma tabela monitorada fica insalubre dentro do escopo de catálogo ou schema configurado, sem exigir regra manual de qualidade escrita à mão.
Genie Code agora aceita Skills pra carregar contexto especializado só quando precisa
Skills empacotam instrução, exemplo e script executável num arquivo SKILL.md dentro de .assistant/skills/, e o Genie Code carrega automaticamente a skill relevante conforme o pedido do usuário, em vez de manter tudo em instrução global que consome contexto em toda conversa.
Lakeflow Jobs ganhou trigger contínuo pra job de streaming parar de depender de gambiarra de CRON
O trigger continuous transforma um Lakeflow Job em serviço always-on que reinicia sozinho assim que termina ou falha, delegando pra Databricks a responsabilidade de manter o job rodando sem interrupção, em vez de forçar CRON ou trigger orientado a evento a fazer papel de scheduler contínuo.
AI Extract ganhou modo Precision pra documento longo e schema complexo demais pro chunk-and-merge
Precision Mode no ai_extract combina modelo especializado com um harness agentico que dispara subagentes em paralelo por seção do documento e depois junta os resultados, atingindo 94,7% de acurácia em benchmark contra 9 mil documentos, sete pontos acima do melhor baseline de modelo de fronteira com chunk-and-merge.
Agora dá pra plugar VS Code, Cursor ou terminal direto no compute do Azure Databricks via SSH
O túnel SSH conecta editor local ou CLI direto num cluster serverless, AI Runtime ou dedicado do Azure Databricks, com Cursor e Copilot funcionando de fábrica e Claude Code instalável na sessão. Sessão cai depois de uma hora e o limite é de dez conexões por cluster, então não é substituto de workflow de produção.
OpenSharing agora compartilha tabela Iceberg e schema inteiro vindo de fonte externa via federação
Duas novidades GA no OpenSharing: compartilhar tabela Iceberg federada de catálogo externo via Lakehouse Federation, inclusive pra cliente Iceberg de fora do Databricks, sem copiar dado; e compartilhar schema ou tabela inteira federada de fonte externa, essa última materializando o dado do lado do provedor e gerando custo extra de compute e armazenamento.
Databricks SQL ganhou tabela temporária de verdade, escopada por sessão e com limpeza automática
CREATE TEMPORARY TABLE cria uma tabela Delta física que existe só durante a sessão que a criou, com limite máximo de sete dias de vida, usando a mesma infraestrutura de cache e performance de uma tabela padrão, mas sem exigir limpeza manual nem poluir o catálogo com objeto de vida curta.
Genie Code agora pode bloquear uso de verdade quando o orçamento estoura, não só avisar
A opção Block usage nos controles de orçamento do Genie Code impede o usuário de continuar usando o produto assim que o limite mensal, geral, por time ou por pessoa, é excedido, até o orçamento resetar no início do mês ou um admin liberar mais uso; antes só existia alerta, sem bloqueio efetivo.
Automatic Identity Management chegou pra AWS e GCP, e Okta entrou em preview
O AIM (Automatic Identity Management) via Entra ID já era GA no Azure Databricks e agora chega GA também em AWS e GCP, com Okta entrando em preview público; junto vieram políticas de ingress baseadas em contexto pra controlar acesso de agente de IA a Genie, dashboard e Databricks Apps.