https://wiliamrosa.github.io/tags/unity-catalog/ Recent content in Unity Catalog on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 13:00:00 -0300 https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Sun, 13 Sep 2026 13:00:00 -0300 https://wiliamrosa.github.io/posts/deteccao-anomalia-alertas-unity-catalog/ Alertas de anomaly detection, em Beta na Data Quality Monitoring UI, notificam por e-mail usuário do workspace quando uma tabela monitorada fica insalubre dentro do escopo de catálogo ou schema configurado, sem exigir regra manual de qualidade escrita à mão. https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ Sun, 13 Sep 2026 07:15:00 -0300 https://wiliamrosa.github.io/posts/aim-identidade-automatica-agentes-ia/ O AIM (Automatic Identity Management) via Entra ID já era GA no Azure Databricks e agora chega GA também em AWS e GCP, com Okta entrando em preview público; junto vieram políticas de ingress baseadas em contexto pra controlar acesso de agente de IA a Genie, dashboard e Databricks Apps. https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Sun, 13 Sep 2026 07:00:00 -0300 https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Em Public Preview, ALTER CATALOG ou ALTER SCHEMA com a cláusula RETAIN DROPPED TO permite configurar entre zero (desabilita recuperação) e trinta dias quanto tempo uma tabela gerenciada derrubada fica recuperável via UNDROP TABLE, com a configuração de schema tendo precedência sobre a de catálogo. https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ Fri, 11 Sep 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ A comunidade Apache Iceberg adotou read restrictions e catalog labels, duas especificações que a Databricks detalhou pra resolver o mesmo problema por ângulos diferentes: como manter política de acesso consistente quando motor de consulta e catálogo de dado não são os mesmos. https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Fri, 11 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-managed-tables-entendendo/ Um artigo do Youssef Mrini, destacado pelo Databricks MVP Jacek Laskowski, revisita um ponto que ainda confunde muita gente: managed table não é só ’tabela sem LOCATION’, é a Databricks assumindo o ciclo de vida inteiro do dado. https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ Thu, 10 Sep 2026 09:30:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-external-secrets-azure-key-vault-beta/ External secrets (Beta) conecta um schema do Unity Catalog direto ao Azure Key Vault: o segredo aparece como objeto governável e somente leitura, e o valor é lido sob demanda, sem duplicar cópia dentro do Databricks. https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ A Databricks defende que tratar governança só como segurança deixa passar a parte que mais encarece IA: dar significado e contexto ao dado, unindo cinco pilares de governança numa lente só via Unity Catalog. https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ Thu, 03 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/southern-company-scout-storm-intelligence/ SCOUT é o terceiro aplicativo da Southern Company sobre Databricks pra operação de tempestade, cobrindo o momento em tempo real entre a previsão (SPEAR) e a análise pós-evento (RAMP), com dado de outage, clima, terreno e equipe numa única camada. https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ Wed, 02 Sep 2026 10:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-industry-data-models-40-industrias/ O Databricks MVP Derar Alhussein resgatou os Industry Data Models, biblioteca com modelo de dado de referência pra mais de 40 indústrias, gerada por um agente de modelagem e pensada pra virar a camada Silver do seu Lakehouse. https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ A FDA construiu o HALO, plataforma sobre Databricks em AWS GovCloud, pra resolver silo de dado entre centros regulatórios distintos, usando Unity Catalog como camada de governança única e um modelo de isolamento por área que a Databricks chama de ‘apartment complex’. https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/genie-agents-deep-analysis-file-reasoning/ Agent mode traz raciocínio em múltiplos passos com relatório e visualização, Genie Agents passa a ler PDF, slide e imagem dentro de volume do Unity Catalog, e o Genie Code ganha função pra criar e diagnosticar outros agentes Genie. https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ Tue, 01 Sep 2026 15:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-claude-fable-5-1-unity-gateway/ A Databricks liberou o Claude Fable 5.1 da Anthropic no mesmo dia do lançamento, via Unity Gateway, ao lado de Opus 5, Sonnet 5 e mais de 30 modelos. O que chama atenção não é o modelo novo, é a infraestrutura que torna isso rotina. https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Tue, 01 Sep 2026 14:45:00 -0300 https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Dados potencialmente sensíveis em query.history e request_params agora vêm mascarados por padrão nas system tables, liberando acesso amplo sem expor informação sensível a quem não deveria ver. https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Mon, 31 Aug 2026 22:45:00 -0300 https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Meu projeto Governance RiskOps Agent for Unity Catalog foi reconhecido entre os Top 5 do mundo no DAIS 2026 Community Virtual Contest, evento oficial da Databricks em San Francisco. https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ O privilégio MODIFY do Unity Catalog, antes tudo ou nada, ganhou privilégios filhos separados: INSERT, UPDATE e DELETE podem ser concedidos individualmente, com falha explícita quando um principal tenta operação fora do escopo. https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-skills-beta-agentes/ Unity Catalog Skills (Beta) trata skill de agente como securable de três níveis, catalog.schema.skill, com as mesmas permissões e tags que já protegem tabela. O Databricks MVP Hubert Dudek notou a mudança antes do anúncio oficial confirmar. https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ Sat, 29 Aug 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ A partir de 30 de setembro de 2026, todo workspace novo do Databricks nasce sem DBFS root, DBFS mounts, Hive metastore ou cluster sem isolamento, restrito ao Unity Catalog desde o primeiro dia. https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ Thu, 27 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/metric-views-open-source-spark-4-3-unity-catalog-0-6/ O Databricks MVP Geir E. Alstad destacou que Metric Views chegou ao Apache Spark 4.3 e ao Unity Catalog 0.6 open source, levando a semântica de negócio definida em YAML e a função MEASURE() pra fora do Databricks hospedado. https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Tue, 18 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-identity-attributes-abac-entra-id/ Identity Attributes deixa políticas ABAC do Unity Catalog usarem atributos sincronizados do seu provedor de identidade, departamento, país, sem precisar recriar isso como grupo. https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Segredos agora podem viver no nível de catálogo, com um namespace de três níveis e uma permissão nova (REFERENCE SECRET) pensada especificamente para serviços como Lakeflow Connections. https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ Tue, 11 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-file-type-dados-nao-estruturados/ A Databricks lançou o tipo FILE em beta: documento, imagem, áudio e vídeo agora podem virar coluna nativa de tabela, com a mesma governança de linha, coluna e ABAC do Unity Catalog aplicada também ao arquivo. https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Tue, 11 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Com a GA do Unity AI Gateway e mais de um quatrilhão de tokens já processados, a Databricks formaliza algo que quem trabalha com governança de dados já sentia: administrar agentes de IA é, antes de tudo, um problema de governança. https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Sat, 01 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Diferente do Clean Rooms tradicional (GA desde 2025), o modo ‘packaged’ permite que um provedor distribua notebooks, JARs e dados prontos, sem o consumidor nunca ver o código ou os dados de origem. https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Fri, 24 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/genie-code-agente-dados-vs-agente-codigo-generico/ Um benchmark interno da Databricks com 401 tarefas reais de descoberta de dado mostra o Genie Code batendo agentes de código genéricos em acurácia e custo, e a explicação não é o modelo por trás, é o agente não precisar explorar o workspace às cegas. https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ Sat, 18 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-indice-busca-textual-delta-lake/ O índice de busca textual do Unity Catalog (Beta na Databricks Runtime 18.2) deixa de varrer arquivo por arquivo atrás de uma palavra e passa a pular direto pra onde ela realmente está. O ganho de performance é real, mas vem com manutenção manual e uma lista de recursos incompatíveis que vale conhecer antes de sair criando índice em tudo. https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ Thu, 16 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto. https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Tue, 23 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/delta-lake-4-3-catalog-managed-tables/ Delta 4.3 expande as catalog-managed tables para que operações de escrita, CREATE, REPLACE, ALTER TABLE, também passem por validação de commit do lado do catálogo, não só a leitura. https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ Fri, 19 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ O modo ’empacotado’ das Clean Rooms do Azure Databricks separa o papel de provedor (que traz o algoritmo e nunca expõe o código) do papel de consumidor (que traz o dado e nunca vê a lógica), permitindo cruzar identidade ou fazer matching entre empresas sem que nenhum dos dois lados abra mão do que é proprietário. https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Thu, 18 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-onelake-bidirecional/ Federação de catálogo virou GA e o armazenamento nativo de Delta tables no OneLake entrou em beta, pela primeira vez a via de mão dupla entre Databricks e Fabric é oficial. https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Catalog Commits tira a coordenação de transação do Delta Lake do object storage e coloca dentro do Unity Catalog, habilitando transação atômica entre várias tabelas e leitura de metadado sem round-trip pra nuvem. O recurso central já é GA desde maio de 2026, com Delta Spark, Flink, Trino e DuckDB entre os engines suportados, mas escrita de engine externo continua em Beta e tabela Iceberg gerenciada em Private Preview. https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ Fri, 05 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-excel-write-back/ O Add-in do Excel para Azure Databricks deixou de ser só leitura, agora escreve de volta em uma tabela do Unity Catalog, sem sair da planilha. https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Tue, 02 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-lakebase-cdf-wal2delta-unity-catalog/ Lakebase Change Data Feed (ex-Lakehouse Sync) usa uma extensão de WAL do Postgres pra replicar toda escrita direto pra tabelas Delta no Unity Catalog, sem tocar na aplicação. https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Fri, 17 Apr 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/dbt-databricks-lakehouse-aberto-orquestracao/ Tratar dbt como tipo de tarefa nativo do Lakeflow Jobs, em vez de um orquestrador externo apontando pra um warehouse, unifica visibilidade de falha, governança via Unity Catalog e performance de Photon numa única stack, mas ainda exige repositório Git e SQL warehouse serverless ou pro como pré-requisito. https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Wed, 11 Feb 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/lakeflow-azure-modernizacao-engenharia-dados/ Lakeflow consolida Connect, Spark Declarative Pipelines e Jobs numa única superfície de engenharia de dados dentro do Azure Databricks, substituindo a combinação típica de ferramenta de ingestão, orquestrador externo e scripts de transformação por um único plano de controle governado pelo Unity Catalog. https://wiliamrosa.github.io/articles/databricks-lakehouse-nativo-ciberseguranca/ Wed, 01 Oct 2025 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-lakehouse-nativo-ciberseguranca/ Data Intelligence for Cybersecurity une Agent Bricks, Lakebase e o padrão aberto OCSF sobre Delta Lake pra tratar telemetria de segurança como dado de lakehouse governado, em vez de um silo isolado dentro de um SIEM proprietário caro por volume ingerido.