Governança on Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/tags/governan%C3%A7a/ Recent content in Governança on Wiliam Rosa | Lakehouse, Dados & IA Wiliam Rosa | Lakehouse, Dados & IA https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png https://wiliamrosa.github.io/images/wiliam-rosa-blog-og.png Hugo pt-br Sun, 13 Sep 2026 07:00:00 -0300 UNDROP TABLE ganhou período de retenção configurável em vez dos sete dias fixos https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Sun, 13 Sep 2026 07:00:00 -0300 https://wiliamrosa.github.io/posts/undrop-table-periodo-retencao-configuravel/ Em Public Preview, ALTER CATALOG ou ALTER SCHEMA com a cláusula RETAIN DROPPED TO permite configurar entre zero (desabilita recuperação) e trinta dias quanto tempo uma tabela gerenciada derrubada fica recuperável via UNDROP TABLE, com a configuração de schema tendo precedência sobre a de catálogo. Governança consistente entre motor e catálogo diferente: o Open Lakehouse propõe dois padrões novos https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ Fri, 11 Sep 2026 09:15:00 -0300 https://wiliamrosa.github.io/posts/unificando-governanca-engines-catalogos-open-lakehouse/ A comunidade Apache Iceberg adotou read restrictions e catalog labels, duas especificações que a Databricks detalhou pra resolver o mesmo problema por ângulos diferentes: como manter política de acesso consistente quando motor de consulta e catálogo de dado não são os mesmos. Control tower, não relatório: orquestrando Solvency II sem sair do lakehouse https://wiliamrosa.github.io/articles/databricks-solvency-ii-control-tower-relatorio-regulatorio/ Thu, 10 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-solvency-ii-control-tower-relatorio-regulatorio/ Solvency II não é um relatório, é uma cadeia de ingestão, validação, modelagem atuarial e aprovação que hoje vive espalhada entre planilha, motor atuarial e ferramenta de BI isolada. A Databricks propõe um control tower único sobre o lakehouse, com trilha de auditoria nativa e agente de IA revisando reconciliação de QRT, mas isso não elimina a dependência do motor atuarial legado. Governança no Databricks deixou de ser só controle de acesso, virou também gerar significado https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ Fri, 04 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/governanca-alem-seguranca-lakehouse/ A Databricks defende que tratar governança só como segurança deixa passar a parte que mais encarece IA: dar significado e contexto ao dado, unindo cinco pilares de governança numa lente só via Unity Catalog. Como a FDA constrói governança de dado sobre Databricks for Government https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/fda-databricks-government-data-foundation/ A FDA construiu o HALO, plataforma sobre Databricks em AWS GovCloud, pra resolver silo de dado entre centros regulatórios distintos, usando Unity Catalog como camada de governança única e um modelo de isolamento por área que a Databricks chama de ‘apartment complex’. HITRUST e IRAP viram GA no Azure Databricks, e o perfil de segurança de compliance passa a ser obrigatório https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Wed, 02 Sep 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/hitrust-irap-compliance-security-profile-ga/ Controles de compliance HITRUST e IRAP atingiram disponibilidade geral no Azure Databricks em setembro de 2026, e a partir de agora HIPAA, HITRUST e IRAP exigem o compliance security profile ativado, deixou de ser configuração opcional pra quem já usa esses padrões. 🎤 TDC Experience Porto Alegre https://wiliamrosa.github.io/events/tdc-experience-porto-alegre-2026/ Tue, 01 Sep 2026 20:40:00 -0300 https://wiliamrosa.github.io/events/tdc-experience-porto-alegre-2026/ TDC Experience chega a Porto Alegre com trilhas de Arquitetura de Agentes de IA, Engenharia orientada a dados e Governança, voltadas a quem constrói tecnologia no dia a dia. Chega de manter view própria só pra esconder dado sensível das system tables https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Tue, 01 Sep 2026 14:45:00 -0300 https://wiliamrosa.github.io/posts/databricks-system-tables-mascaramento-pii-padrao/ Dados potencialmente sensíveis em query.history e request_params agora vêm mascarados por padrão nas system tables, liberando acesso amplo sem expor informação sensível a quem não deveria ver. Genie Ontology não exige um modelo de dados perfeito para começar a valer a pena https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ Tue, 01 Sep 2026 14:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-genie-ontology-guia-operacionalizacao/ A Databricks publicou um guia com seis formas práticas de operacionalizar o Genie Ontology, defendendo começar pequeno num domínio de alto valor em vez de esperar um modelo corporativo completo. 🏆 Top 5 Global Project no DAIS 2026 Community Virtual Contest https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Mon, 31 Aug 2026 22:45:00 -0300 https://wiliamrosa.github.io/posts/top-5-global-project-dais-2026-governance-riskops-agent/ Meu projeto Governance RiskOps Agent for Unity Catalog foi reconhecido entre os Top 5 do mundo no DAIS 2026 Community Virtual Contest, evento oficial da Databricks em San Francisco. Governance Hub junta dado, IA e custo numa tela só, e ainda faltava exatamente isso https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Mon, 31 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-governance-hub-beta/ Governance Hub (Beta) é uma visão no nível de conta que reúne saúde de dado, gasto e uso de IA, e recomendações de custo num só lugar, sem substituir Unity Catalog ou orçamentos existentes. MODIFY deixou de ser um privilégio só, e virou três: INSERT, UPDATE e DELETE https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ Sat, 29 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/unity-catalog-modify-privilegios-insert-update-delete/ O privilégio MODIFY do Unity Catalog, antes tudo ou nada, ganhou privilégios filhos separados: INSERT, UPDATE e DELETE podem ser concedidos individualmente, com falha explícita quando um principal tenta operação fora do escopo. A partir de 30 de setembro, todo workspace novo do Databricks nasce sem Hive metastore https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ Sat, 29 Aug 2026 08:00:00 -0300 https://wiliamrosa.github.io/posts/hive-metastore-unity-catalog-only-deadline-setembro-2026/ A partir de 30 de setembro de 2026, todo workspace novo do Databricks nasce sem DBFS root, DBFS mounts, Hive metastore ou cluster sem isolamento, restrito ao Unity Catalog desde o primeiro dia. Agora dá pra auditar política de acesso sem ganhar poder pra mudar ela https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ Fri, 28 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-read-metadata-privilege-auditoria/ READ METADATA é uma privilégio novo do Unity Catalog: visibilidade completa sobre permissão, row filter, column mask e política ABAC de um objeto, sem poder de leitura de dado nem de alteração. Quem pode usar serverless no seu workspace virou uma decisão explícita, não implícita https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Wed, 26 Aug 2026 10:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-serverless-compute-access-control-ga/ Serverless Compute Access Control chegou à disponibilidade geral: admin de workspace agora governa acesso a compute interativo e automatizado por usuário ou grupo, via UI ou API. Delta Sharing virou OpenSharing, mais um rebranding que esconde uma ambição maior https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-delta-sharing-vira-opensharing/ O Databricks MVP Josue Bogran entrevistou o líder de produto do OpenSharing pra explicar o que muda quando o Delta Sharing se rebatiza como o protocolo aberto de compartilhamento para a era agêntica. Testei o beta de Policies no Unity AI Gateway, e a barreira ainda deixa passar coisa que não devia https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ Wed, 26 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-policies-beta-gaps/ O Databricks MVP Josue Bogran testou o recurso de Policies (ainda em beta) do Unity AI Gateway com Omnigent, e encontrou casos onde as barreiras deveriam ter sido mais rigorosas. RBAC chegou ao Azure Databricks, e muda a lógica de permissão acumulada https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Thu, 20 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/azure-databricks-rbac-geralmente-disponivel/ Com RBAC em GA, um usuário passa a assumir um papel específico em vez de carregar todas as permissões que já acumulou, uma mudança de modelo mental, não só uma feature nova. Como a própria Databricks controla o gasto de milhares de engenheiros usando coding agents https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ Tue, 18 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-governanca-gastos-ia-coding-agents/ A Databricks dividiu o controle de gasto com IA em orçamento diário e mensal, cada um resolvendo um problema diferente. É um case interno pequeno, mas com uma lição de FinOps que qualquer time de engenharia pode copiar hoje. Segredos saem do nível de workspace e viram ativo governado no Unity Catalog https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-secrets-namespace-catalogo/ Segredos agora podem viver no nível de catálogo, com um namespace de três níveis e uma permissão nova (REFERENCE SECRET) pensada especificamente para serviços como Lakeflow Connections. Tag Automation chega ao Unity Catalog, e você pode descrever a regra em português https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Wed, 12 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-catalog-tag-automation-beta/ Tag Automation (Beta) deixa o Unity Catalog aplicar e remover tags governadas sozinho, com base em regras que você descreve em linguagem natural pro Genie construir. Unity AI Gateway chega à disponibilidade geral: governança de IA deixou de ser opcional https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Tue, 11 Aug 2026 08:30:00 -0300 https://wiliamrosa.github.io/posts/databricks-unity-ai-gateway-disponibilidade-geral/ Com a GA do Unity AI Gateway e mais de um quatrilhão de tokens já processados, a Databricks formaliza algo que quem trabalha com governança de dados já sentia: administrar agentes de IA é, antes de tudo, um problema de governança. Unity AI Gateway em GA: o número que importa não é de clientes, é de tokens https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Tue, 11 Aug 2026 00:05:00 -0300 https://wiliamrosa.github.io/posts/linkedin-unity-ai-gateway-ga/ Mais de 1 quatrilhão de tokens já passaram pelo gateway. O que isso diz sobre para onde vai a governança de IA nas empresas. Packaged Clean Rooms virou GA, compartilhar lógica sem compartilhar código https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Sat, 01 Aug 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-packaged-clean-rooms-ga/ Diferente do Clean Rooms tradicional (GA desde 2025), o modo ‘packaged’ permite que um provedor distribua notebooks, JARs e dados prontos, sem o consumidor nunca ver o código ou os dados de origem. Databricks ainda não rastreia a evolução do schema de uma tabela, mas dá pra construir isso com Delta Lake https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ Thu, 16 Jul 2026 09:00:00 -0300 https://wiliamrosa.github.io/posts/databricks-schema-evolution-audit-trail-delta/ O Databricks MVP Jaco van Gelder construiu uma função PySpark que reconstrói o histórico completo de mudanças de schema de uma tabela, útil pra auditoria financeira, algo que o Databricks não oferece pronto. Clean Rooms empacotados: como rodar o algoritmo de um parceiro sem nunca ver o código dele https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ Fri, 19 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/clean-rooms-empacotados-provedor-consumidor/ O modo ’empacotado’ das Clean Rooms do Azure Databricks separa o papel de provedor (que traz o algoritmo e nunca expõe o código) do papel de consumidor (que traz o dado e nunca vê a lógica), permitindo cruzar identidade ou fazer matching entre empresas sem que nenhum dos dois lados abra mão do que é proprietário. Quando o Unity Catalog vira coordenador de transação, não só o dicionário de tabelas https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Sat, 06 Jun 2026 09:00:00 -0300 https://wiliamrosa.github.io/articles/databricks-catalog-commits-unity-catalog-transacoes/ Catalog Commits tira a coordenação de transação do Delta Lake do object storage e coloca dentro do Unity Catalog, habilitando transação atômica entre várias tabelas e leitura de metadado sem round-trip pra nuvem. O recurso central já é GA desde maio de 2026, com Delta Spark, Flink, Trino e DuckDB entre os engines suportados, mas escrita de engine externo continua em Beta e tabela Iceberg gerenciada em Private Preview. Gestão de custo no Databricks é decisão de política de cluster, não corte de orçamento no fim do mês https://wiliamrosa.github.io/articles/gestao-custo-databricks-politicas-cluster/ Wed, 19 Oct 2022 09:00:00 -0300 https://wiliamrosa.github.io/articles/gestao-custo-databricks-politicas-cluster/ Controlar gasto no Databricks funciona melhor como restrição estrutural definida em cluster policy, autoscaling e auto-termination, do que como auditoria reativa de fatura no fim do mês. O trade-off central é entre restringir demais e travar produtividade, ou liberar demais e perder controle de custo.