Lakeflow Connect on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/lakeflow-connect/ Recent content in Lakeflow Connect on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Fri, 11 Sep 2026 10:00:00 -0300 Marketing parou de precisar de conector customizado pra cada plataforma de anúncio https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ Fri, 11 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/lakeflow-connect-dados-marketing-unificados/ A Databricks reuniu mais de 15 conectores gerenciados do Lakeflow Connect cobrindo aquisição, engajamento, relacionamento e experiência do cliente, com tabela pronta de gasto e conversão pra plataforma de anúncio direto em Delta table. Zerobus Ingest ganhou protocolo binário Arrow Flight como terceiro formato de envio https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Wed, 02 Sep 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/zerobus-ingest-arrow-flight-ga/ Apache Arrow Flight chegou como formato de envio pro Zerobus Ingest do Lakeflow Connect, ao lado de JSON e protobuf, carregando RecordBatch colunar direto pela mesma conexão gRPC, com SDK em Python e Rust e opção de compressão ZSTD ou LZ4. O Fivetran sumiu da seção de Ingestão do Databricks, e ninguém anunciou isso https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ Tue, 01 Sep 2026 06:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-fivetran-removido-lakeflow-connectors/ O Databricks MVP Hubert Dudek percebeu que o Fivetran, presente há anos na seção de Ingestão, desapareceu silenciosamente, junto com a chegada de novos conectores nativos do Lakeflow. O conector de SharePoint do Lakeflow Connect parou de ser só leitura de PDF solto https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-sharepoint-connector-lakeflow/ Ingestão estruturada, metadados de arquivo e schema evolution chegaram ao conector de SharePoint, ele deixou de ser um caso de uso de nicho pra virar ingestão de verdade. Ingestão sem CDC no Lakeflow Connect saiu do papel e virou GA https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Sat, 30 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-lakeflow-connect-query-based-ga/ Conectores baseados em query atingiram disponibilidade geral: ingestão incremental via cursor, sem CDC nem gateway, pra Oracle, SQL Server, MySQL, MariaDB, Teradata e PostgreSQL. 100 DBUs de ingestão grátis por dia, todo dia, pra sempre, o que a Databricks está apostando com isso https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ Sat, 02 May 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakeflow-connect-tier-gratuito/ O novo tier gratuito permanente do Lakeflow Connect cobre cerca de 100 milhões de registros por dia, por workspace, sem prazo de validade. Isso muda o cálculo de quem hoje paga por linha ingerida.