Já vimos a arquitetura geral da Data Intelligence for Cybersecurity da Databricks (Agent Bricks, Lakebase, OCSF sobre Delta Lake). Agora a Atlassian mostra como isso funciona na prática em 44 bilhões de eventos por dia: 80% de redução de custo de ingestão, consulta de 45 segundos pra 2-3 segundos, e um schema tipado em Go que rejeita log fora do padrão já na compilação.
Bartosz Konieczny questiona quando vale a pena simplificar a arquitetura Medallion pra duas camadas, e lista seis cenários concretos em que as três camadas (bronze, silver e gold) continuam valendo o esforço.
Meu livro Lakehouse Engineering com Databricks já está disponível em eBook e impresso: pipelines modernos com Spark, Delta Lake e Unity Catalog, alinhado ao exame Databricks Certified Data Engineer Associate.
Lakehouse//RT é um novo tipo de warehouse serverless da Azure Databricks, em Beta, construído sobre o motor Reyden para entregar latência sub-segundo em consulta de leitura direto sobre tabela Delta e Iceberg do Unity Catalog, sem exigir um banco separado de serving em tempo real.