O Lakeflow Designer, a ferramenta visual e sem código de preparação de dado da Databricks, juntou num único roundup de outubro atualizações que normalmente apareceriam espalhadas em vários releases menores.

A Databricks lançou o Lakeflow Designer em disponibilidade geral em junho, com mais de 3 mil clientes hoje, cobrança por consumo sem licença por usuário e a promessa de deixar analista e especialista de domínio construírem fluxo de preparação de dado num canvas de arrastar e soltar, com linguagem natural como atalho. O roundup de outubro mostra a ferramenta deixando de ser só um substituto visual de script e passando a cobrir qualidade de dado de ponta a ponta: o operador Prepare padroniza texto, tipo e valor num só passo; Unique remove duplicata escolhendo qual registro sobrevive por uma ordenação explícita; e Guardrails aplica checagem de dado faltante, duplicado ou fora do esperado, com três modos de reação à falha, deixar passar só a linha válida, bloquear toda a saída, ou parar a execução inteira.

Os operadores existentes também ficaram mais expressivos: Join agora devolve três saídas por padrão (linhas casadas, só da esquerda, só da direita) e aceita mais de duas tabelas num único operador; Select escolhe coluna por tipo, padrão de nome ou fórmula, o que mantém o fluxo funcionando quando o schema de origem muda; e a saída passou a aceitar materialized view no Unity Catalog, merge por chave em tabela existente, ou exportação para CSV, Excel e JSON em volume. No lado colaborativo, o canvas ganhou histórico de versão visual (o que foi adicionado, removido ou modificado), presença de cursor em tempo real de quem mais está editando o mesmo arquivo, e suporte declarado a canvas com milhares de operadores.

Pontos que vale registrar:

  • Prepare, Unique e Guardrails chegam como operadores dedicados de limpeza e qualidade, com Guardrails tendo os três modos de falha citados acima.
  • Join, Select e Filter ganharam saídas separadas e seleção dinâmica de coluna por tipo, padrão ou fórmula.
  • Saída agora cobre materialized view no Unity Catalog, merge incremental por chave e exportação multi-formato em volume, incluindo Excel com múltiplas planilhas dinâmicas.
  • Fica no roadmap: integração com Databricks Apps pra compartilhar fluxo como app simples, profiling completo de dado de saída, operador de relatório com gráfico customizado, e migração nativa via Lakebridge pra quem vem de ferramenta legada de self-service data prep.
  • Disponível também na Databricks Free Edition, sob Visual Data Prep, e compatível com workspace HIPAA com BAA ativo.

Minhas considerações: o anúncio deixa claro que a Databricks está competindo direto com ferramenta de data prep no estilo Alteryx ou Trifacta, e fazer isso bem exige mais do que operador bonito: exige que esse fluxo visual não vire um silo de regra de negócio fora do controle de quem cuida de governança. Dar materialized view no Unity Catalog como saída ajuda, mas canvas com “milhares de operadores” criado por usuário sem formação de engenharia é também uma receita pra dívida técnica silenciosa se ninguém revisar a lógica gerada. O número de “corte de até 90% no gasto com ferramenta no-code” é um dado de marketing da própria Databricks, sem benchmark independente, e eu trataria com a mesma cautela que trato qualquer estimativa de ROI vindo de quem vende a ferramenta.

Fonte: https://www.databricks.com/blog/whats-new-lakeflow-designer-october-2026-roundup

#AzureDatabricks #Lakeflow #GovernançaDeDados