Sistema de verdade e governança de métricas

Um painel pode estar correto tecnicamente e errado para a decisão

Duas áreas podem usar dados válidos e chegar a resultados diferentes porque aplicam janelas, populações, moedas, estados ou regras de atribuição incompatíveis. A divergência aparece no número, mas sua origem costuma estar no contrato ausente. Por isso, governar métricas começa pela pergunta que será respondida e termina no uso permitido, em vez de começar pela ferramenta de visualização.

O sistema de verdade organiza autoridade por domínio. O financeiro pode ser a fonte oficial de receita reconhecida; um gateway, a evidência operacional do pagamento; o CRM, o registro da oportunidade; e a plataforma de mídia, a leitura atribuída de campanha. Cada fonte responde a uma pergunta própria. Quando uma única ferramenta é tratada como autoridade universal, diferenças legítimas de finalidade parecem defeitos.

O mecanismo que produz a divergência explica por que o problema reaparece mesmo em empresas que já investiram em infraestrutura de dados. Toda métrica carrega escolhas que ninguém precisou declarar no momento em que o painel foi montado: qual evento marca a data, quem entra na população, o que acontece com um cancelamento posterior, qual câmbio se aplica.

Essas escolhas existem em qualquer implementação, porque sem elas a consulta não roda. O que varia entre as áreas é quem as fez e se alguém as escreveu. Duas equipes competentes chegam a números diferentes porque resolveram, de forma razoável e independente, as mesmas lacunas.

Existe um segundo efeito, mais silencioso. Quando a divergência aparece na reunião e é resolvida ali, no improviso, a organização aprende que números são negociáveis. A próxima discussão começa com cada área trazendo a leitura que sustenta a própria posição, e a conversa técnica sobre definição vira uma disputa de autoridade. Governar métricas serve tanto para acertar o número quanto para tirar essa disputa da mesa de decisão.

O terceiro elemento é o custo assimétrico do erro. Um número instável usado para explorar uma hipótese custa pouco, porque a exploração já pressupõe incerteza. O mesmo número usado para liberar verba, alterar preço ou avaliar uma equipe custa muito, e o custo aparece depois, quando a decisão já foi executada. Por isso o estado de uso de uma métrica precisa acompanhar a decisão que ela vai sustentar, e não o grau de confiança de quem a apresenta.

O contrato transforma um rótulo em uma métrica reproduzível

Os nomes que você usa todo dia escondem as escolhas mais caras. “Cliente”, “receita”, “conversão” e “cancelamento” podem representar eventos, populações e datas diferentes. O contrato registra essas escolhas antes que o indicador chegue ao painel. Três termos aparecem na tabela abaixo e valem uma tradução desde já: grão é a unidade de análise de cada linha, se conta, pedido ou pessoa; coorte é o grupo que entrou junto num mesmo período e passa a ser acompanhado junto; e maturação é o tempo que um período precisa esperar antes de ser considerado fechado, porque dado atrasado ainda está chegando.

• O contrato descreve a pergunta antes de descrever a consulta.
• Numerador, denominador, exclusões e tratamento de valores ausentes estão explícitos.
• Fuso horário, moeda, arredondamento e janela de maturação possuem regra.
• A fonte de verdade é definida por domínio e finalidade.
• Usos permitidos e proibidos acompanham o indicador no catálogo e no painel.

Fonte oficial, espelho e contraste exercem papéis diferentes

O sistema de registro, também chamado de system of record, possui autoridade sobre um fato dentro de um domínio e de uma pergunta. O repositório analítico torna esse fato consultável; a fonte de contraste ajuda a detectar atraso, perda ou diferença de semântica. O modelo de dados de procedência do W3C, o PROV-DM, Recomendação de 30 de abril de 2013, descreve a produção e o uso de entidades por atividades, influenciadas de várias formas por agentes. Esses três tipos dão formato comum para registrar quem produziu cada número e a partir de qual insumo. O desenho que sustenta decisão preserva os três papéis sem fingir que eles produzem o mesmo valor.

Linhagem mínima que acompanha a decisão

1. Origem do fato. Registre sistema, objeto, campo, evento, chave e horário em que o dado nasceu.
2. Movimentação. Identifique coleta, atraso esperado, duplicação possível, reprocessamento e política de retenção.
3. Transformação. Versione filtros, junções, deduplicação, conversão de moeda e regras de negócio.
4. Agregação. Declare grão, janela, maturação e condição que fecha o período.
5. Consumo. Liste painel, relatório, automação e decisão que dependem da métrica.

Quatro estados separam aprendizado de autoridade

O estado aparece junto ao valor, e não apenas em uma documentação distante. Assim, uma análise promissora continua útil sem ganhar autoridade prematura, enquanto um indicador degradado deixa de orientar decisões até a recertificação.

Quem é dono de cada métrica

Métrica sem dono é a que ninguém defende quando ela quebra às sete da manhã e que qualquer um redefine quando o resultado incomoda. Se você não consegue dizer o nome de quem responde por um número do seu painel, ele já está nessa condição. A pergunta prática identifica quem responde pela decisão que o número sustenta. Produzir o dado e responder por ele são papéis distintos: um indicador de ativação passa por engenharia, produto, marketing e dados, e ainda assim tem um único responsável pela semântica, que é quem precisa decidir com base nele.

Três testes para encontrar o dono

1. Teste da decisão. Se este número mudar dez por cento amanhã, quem precisa mudar de plano? Se a resposta for você, provavelmente é você quem responde por ele como dono de negócio, porque é você quem paga a conta da leitura errada.
2. Teste da definição. Quem tem autoridade para dizer que um registro entra ou sai da população sem precisar consultar outra área? Se ninguém tem, a métrica ainda não tem semântica definida, apenas uma consulta.
3. Teste do incidente. Se a métrica quebrar às sete da manhã de uma segunda-feira, quem é acionado e quem autoriza voltar a publicá-la? Se as duas respostas apontarem para a mesma pessoa, a governança está concentrada demais.

Os três testes costumam apontar pessoas diferentes, e essa é a leitura correta. Semântica, operação e aprovação são responsabilidades distintas por desenho. O erro frequente é atribuir as três a quem constrói a consulta, o que transforma uma escolha de negócio em decisão de implementação.

Quando duas áreas reivindicam a mesma métrica

A disputa quase sempre revela duas perguntas diferentes escondidas sob um rótulo comum. Você já viu marketing e vendas discutirem a propriedade de lead qualificado. Uma área precisa avaliar a eficiência da geração e a outra precisa dimensionar a agenda da semana do time comercial, e as duas estão pedindo respostas diferentes ao mesmo rótulo. Nenhuma das duas está errada, e forçar um consenso produz uma definição que não serve bem a nenhuma das decisões.

A saída é separar em duas métricas com nomes próprios, cada uma com dono, contrato e usos declarados, e registrar no catálogo a relação entre elas. O custo de manter duas definições explícitas é baixo. O custo de manter uma definição ambígua aparece toda vez que as duas áreas comparam resultados.

Existe um caso em que a separação não resolve: quando a mesma decisão precisa do mesmo número e as áreas divergem sobre a semântica. A escalada correta vai para o aprovador do domínio, que decide com base na pergunta de negócio registrada no contrato. Decisões desse tipo precisam de data, justificativa e revisão marcada, porque tendem a ser reabertas quando o resultado desfavorece uma das partes.

Critério de pronto: a propriedade está definida quando, para cada métrica crítica, uma pessoa consegue ser nomeada em cada um dos três testes, e quando pelo menos duas delas são pessoas diferentes.

Reconciliação começa alinhando a pergunta

Antes de comparar totais, alinhe população, evento, tempo, estado e unidade monetária. Muitos conflitos desaparecem quando cada número recebe a pergunta que realmente responde. Os conflitos restantes precisam de decomposição, causa, materialidade e tratamento.

1. Congele o recorte. Registre período, horário, versão, filtros e data de extração para impedir que fontes em movimento confundam a investigação.
2. Alinhe o grão. Compare registros equivalentes antes de comparar agregados. Escolha chaves de negócio e declare relações de um para muitos.
3. Classifique a diferença. Separe atraso, duplicidade, ausência, cancelamento, estado, moeda, atribuição, identidade e regra de transformação.
4. Meça materialidade. Relacione volume e valor da diferença à decisão afetada. Uma diferença pequena pode ser crítica em uma coorte específica.
5. Defina tratamento. Corrija a origem quando possível; caso contrário, documente ajuste, limite, vigência e risco residual.
6. Reproduza e comunique. Execute novamente, preserve a memória de cálculo e avise consumidores antes de liberar o resultado.

O que fazer quando dois painéis divergem

A reconciliação descrita acima é o método completo, apropriado quando existe tempo de investigação. Falta o protocolo curto para a hora em que a divergência aparece no meio da reunião e você precisa decidir, com todo mundo olhando, se a decisão segue ou para.

A primeira hora

1. Pare de comparar totais. Anote as duas leituras com data e horário de extração e interrompa a discussão sobre qual está certa. Comparar totais antes de alinhar a pergunta consome a reunião e não converge.
2. Congele os dois recortes. Registre período, filtros, versão e momento da extração dos dois lados. Fontes em movimento produzem uma terceira diferença durante a própria investigação, e essa terceira diferença costuma ser confundida com a original.
3. Confirme se as duas respondem à mesma pergunta. Compare população, evento que data o registro, janela, estado e moeda. Uma parcela relevante das divergências termina aqui, porque as duas leituras estavam corretas para perguntas diferentes.
4. Classifique a decisão em risco. Antes de investigar a causa, determine se a decisão da reunião é reversível. Decisão reversível pode seguir com faixa e ressalva registrada. Decisão irreversível espera.
5. Bloqueie o uso, não a discussão. Mude o estado da métrica para proibida para decisão no catálogo e no painel. A investigação continua; o que para é o consumo silencioso por outras pessoas que não estavam na reunião.
6. Nomeie um responsável e uma hora de retorno. Divergência sem dono e sem horário de atualização vira pendência permanente, e a organização aprende a conviver com ela.

Qual leitura prevalece

A precedência decorre da finalidade declarada no contrato, e a tabela abaixo organiza os casos que aparecem com mais frequência. Nenhuma linha autoriza escolher o número maior, o menor ou a média entre os dois.

Três atalhos que parecem resolver e agravam

Critério de pronto: a divergência está tratada quando existe causa classificada, materialidade medida em relação à decisão afetada, estado atualizado no catálogo, consumidores avisados e uma nota que impede a mesma investigação de recomeçar do zero no próximo trimestre.

Mudou a régua, mudou a versão

Uma alteração semântica quebra comparabilidade mesmo quando o nome permanece. Nova versão é obrigatória quando muda fórmula, população, fonte oficial, evento, janela, modelo de atribuição, política de identidade ou tratamento de estado. Correções puramente técnicas também recebem registro quando alteram valores já publicados.

Incidente de dados é uma quebra de confiança com consumidores identificáveis

O incidente começa quando uma métrica deixa de cumprir contrato, qualidade ou atualização e pode induzir uma ação inadequada. A severidade depende do impacto e da reversibilidade da decisão, além do tamanho da divergência. A separação entre sintoma e causa, escrita na seção Symptoms Versus Causes do capítulo Monitoring Distributed Systems do Google SRE Book, publicado pela O’Reilly em 2016, vale aqui: o aviso descreve o que o consumidor do número perdeu, que é o sintoma, e a investigação persegue a origem, que é a causa.

1. Detectar e bloquear. Mude o estado no catálogo e no painel para impedir uso silencioso.
2. Identificar consumidores. Use a linhagem para localizar relatórios, automações, metas e pessoas expostas.
3. Comunicar o que se sabe. Informe impacto, período, uso proibido, responsável e próxima atualização, sem antecipar uma causa ainda incerta.
4. Corrigir e reprocessar. Preserve o antes e o depois, teste regressões e marque dados corrigidos.
5. Recertificar. Volte ao estado reconciliado e execute novamente o gate de estabilidade antes da certificação.
6. Aprender sem culpar. Corrija sistema, contrato, teste ou ritual que permitiu a falha chegar à decisão.

Exemplo resolvido: a taxa de ativação que mudou de valor na véspera da decisão

Seis erros comuns e como detectá-los

Os seis padrões abaixo sobrevivem a boas ferramentas e a times experientes, porque nenhum deles se manifesta como erro visível. Todos chegam disfarçados de conveniência. Leia pelo sintoma e localize o seu sem precisar da página inteira: a coluna de detecção transforma cada um numa pergunta que você pode fazer antes que a decisão seja tomada.

Como executar, na ordem que evita retrabalho

A primeira tentação é catalogar tudo, e ela custa um trimestre. Empresas que começam pelo inventário de dados costumam produzir um catálogo extenso e pouco consultado, porque a documentação nasce desligada das decisões. A sequência abaixo começa pela decisão e só desce ao dado quando existe uma consequência que justifique o esforço.

1. Liste as decisões críticas antes de listar métricas

   Uma decisão é crítica quando move verba, altera preço, avalia pessoas, muda produto ou é cara de reverter. Para cada uma, registre quem decide, com que frequência e qual número ela consome hoje.

   Saída: mapa de decisões críticas com as métricas que cada uma consome.

2. Atribua os três donos por métrica

   Aplique os testes da decisão, da definição e do incidente. Nomes de pessoas, e não de áreas. Métrica sem os três nomes fica marcada como pendência visível, porque a lacuna precisa incomodar alguém.

   Saída: dono de negócio, guardião técnico e aprovador nomeados para cada métrica crítica.

3. Escreva o contrato começando pela pergunta de negócio

   Preencha fórmula, população, grão, evento de data, janela, maturação, fuso, moeda, fonte e precedência. Campo desconhecido recebe responsável e prazo, sem suposição silenciosa que depois vira decisão de implementação.

   Saída: contratos preenchidos e revisados por uma segunda pessoa que reproduziu o cálculo.

4. Declare a autoridade por domínio e documente a linhagem

   Defina qual sistema é fonte oficial para cada fato, qual é espelho analítico e qual serve de contraste. Registre origem, movimentação, transformação, agregação e consumo, para que uma mudança futura encontre os consumidores afetados.

   Saída: mapa de autoridade e linhagem mínima ligando cada métrica aos seus consumidores.

5. Reconcilie e classifique as diferenças conhecidas

   Alinhe pergunta, grão e versão antes de comparar totais. Classifique cada diferença em tempo, identidade, estado, atribuição ou transformação, meça a materialidade e decida entre corrigir a origem ou documentar o ajuste com vigência.

   Saída: memória de reconciliação reproduzível e lista de divergências com tratamento definido.

6. Implante testes e leve o estado ao ponto de consumo

   Cubra, no mínimo, completude, unicidade, pontualidade e validade. São quatro das seis dimensões do Government Data Quality Framework do governo do Reino Unido, publicado em 3 de dezembro de 2020 e derivado do trabalho do DAMA UK sobre dimensões de qualidade; as outras duas são consistência e exatidão. Validade é o nome correto do teste que verifica se o valor cai na faixa e no formato esperados. O critério que o framework usa para julgar todas elas é adequação à finalidade, e não perfeição. Ligue a quebra de limite à mudança automática de estado, e exiba o estado ao lado do valor no painel, com destaque suficiente para ser lido antes do número.

   Saída: testes ativos, estados visíveis e bloqueio automático funcionando sem intervenção manual.

7. Execute o gate de estabilidade e certifique por uso

   Rode o gate de três dias consecutivos com a mesma versão, respeitando o atraso esperado. Certifique para usos específicos declarados no contrato, e não de forma genérica. Métricas com maturação longa ou sazonalidade forte pedem janela adicional adequada ao fenômeno.

   Saída: registro de certificação com usos permitidos, usos proibidos e data da próxima revisão.

8. Ensaie um incidente antes que ele aconteça

   Simule a quebra de uma métrica crítica e cronometre o caminho entre detecção, bloqueio, identificação de consumidores, comunicação e recertificação. O ensaio revela lacunas de linhagem que nenhuma revisão documental encontra.

   Saída: runbook de incidente testado, com tempos medidos e responsáveis confirmados.

Critério de pronto: o sistema está em operação quando qualquer consumidor consegue responder, olhando apenas para o painel, qual é o estado da métrica, quem responde por ela e para que ela pode ser usada.

Semântica, operação e consumo precisam de donos diferentes

Ficha de contrato e certificação

Copie o modelo, cole onde o seu time já trabalha e preencha com links que outra pessoa consiga abrir. Mantenha a ficha ao lado da métrica. Campos desconhecidos recebem responsável e prazo; não recebem suposição silenciosa.

MÉTRICA
Nome:
Identificador e versão:
Estado: experimental | reconciliada | certificada | proibida para decisão

DECISÃO
Pergunta de negócio:
Usos permitidos:
Usos proibidos:
Consumidores críticos:

CONTRATO
Fórmula:
Numerador:
Denominador:
População e exclusões:
Grão:
Evento de data:
Janela e maturação:
Fuso, moeda e arredondamento:

FONTES E LINHAGEM
Sistema de registro:
Espelho analítico:
Fonte de contraste:
Origem → coleta → transformação → consumo:
Frequência e atraso esperado:

QUALIDADE
Testes e limites:
Divergências conhecidas:
Regra de bloqueio:

GOVERNANÇA
Dono de negócio:
Guardião técnico:
Aprovador:
Vigência:
Histórico de versões:
Incidentes relacionados:

CERTIFICAÇÃO
Reconciliação reproduzida por:
Dia 1:
Dia 2:
Dia 3:
Decisão de liberar, limitar ou bloquear:
Próxima revisão:

Plano de 90 dias para instituir o sistema de verdade

Indicadores do próprio sistema de governança

• Percentual de métricas críticas com contrato completo e dono ativo.
• Percentual de decisões críticas atendidas somente por métricas certificadas.
• Tempo entre detecção, bloqueio, reconciliação e recertificação.
• Quantidade de versões sem consumidor ou período de transição identificado.
• Taxa de reprodução independente e quantidade de divergências reincidentes.

Checklist antes de deixar um número sustentar uma decisão

Percorra a lista antes de cada decisão crítica, e não só no mês em que você instituir o sistema. Uma métrica que você certificou há seis meses pode ter mudado de fonte, de janela ou de dono sem que ninguém tenha avisado você.

Sobre a métrica

• O contrato existe, está publicado e descreve a pergunta de negócio antes de descrever a consulta.
• Numerador, denominador, exclusões e tratamento de valores ausentes estão escritos.
• Fuso, moeda, arredondamento, janela e maturação têm regra registrada.
• A fonte oficial está declarada por domínio, com regra de precedência para conflito.
• A versão vigente está identificada e o histórico permite reconstruir séries anteriores.
• O estado aparece ao lado do valor no ponto de consumo, e não apenas no catálogo.
• Os testes de qualidade estão ativos e a quebra de limite muda o estado sem intervenção manual.

Sobre a decisão

• Este uso específico consta entre os usos permitidos no contrato.
• A decisão é reversível ou, sendo irreversível, a métrica está certificada e não apenas reconciliada.
• Divergências conhecidas com outras leituras estão documentadas e a materialidade delas foi medida para esta decisão.
• Se a métrica sustenta meta ou avaliação, existe contra-indicador registrado no mesmo contrato.
• O dono de negócio e o guardião técnico estão nomeados e disponíveis para acionamento.
• Uma segunda pessoa reproduziu o cálculo com os mesmos dados e chegou ao mesmo resultado.
• A data da próxima revisão está marcada e alguém responde por ela.

O que este sistema não promete

Uma página que cobra procedência dos números dos outros deve declarar a própria. Os quatro limites abaixo existem porque cada um já apareceu como frustração de quem instituiu governança de métricas sem tê-los ouvido antes. Ler esta seção antes de aplicar o resto costuma economizar a decepção do segundo mês.

Perguntas para destravar a governança

Por onde começar, ainda hoje

Fontes para aprofundar

• W3C: PROV-DM, o modelo de dados de procedência. Recomendação de 30 de abril de 2013. Sustenta, nesta página, os três tipos de registro: entidade, atividade e agente. A visão geral da família PROV é uma nota de grupo de trabalho, não normativa, e por isso não foi usada como base.
• Governo do Reino Unido: Government Data Quality Framework. Publicado em 3 de dezembro de 2020, sem revisão posterior. Sustenta as seis dimensões de qualidade e o critério de adequação à finalidade.
• OpenLineage: documentação oficial. Consultada em 11 de agosto de 2026. Sustenta a existência de captura padronizada de eventos de linhagem, e nada além disso.
• Google SRE Book, capítulo Monitoring Distributed Systems. O’Reilly, 2016. Sustenta a separação entre sintoma e causa, na seção Symptoms Versus Causes. O capítulo homônimo do SRE Workbook trata de estratégia de monitoramento e não contém essa seção.
• Statistics Canada: Data Quality Toolkit. Catálogo 12-606-X, de 2017. Leitura complementar sobre atributos de qualidade. Nenhuma afirmação desta página se apoia nele.