Olá! Bom, vamos direto ao ponto.
A nossa leitura é que a avaliação de testes AB não precisa ser aquele debate exaustivo
e subjetivo de sempre.
O objetivo desta nossa análise hoje é transformar isso numa auditoria técnica e perfeitamente
determinística.
Como especialistas na operação, a gente sabe bem que o momento de ler o resultado
de um teste costuma ser bastante tenso, não é?
O clima fica cheio de narrativas e opiniões soltas pela sala.
Então, a grande questão é como interpretar o resultado e decidir entre manter, descartar
ou repetir sem torcer para nenhum dos lados.
Primeiro, a promessa aqui é muito clara.
Quem acompanha essa leitura até o fim sai com um método prático e inabalável para
decidir o destino de um experimento, o método construído usando uma rega escrita antes
de encargar o primeiro visitante, números recalculados direto das plataformas e três
saídas claríssimas, todas devidamente assinadas com o nome e data.
A nossa leitura é que a gente precisa de um roteiro lógico para a operação.
Vamos passar pela leitura sem torcida, a régua antes do lançamento, o SRM antes do negócio,
o recalculo que prova, as armadinhas da auditoria e para fechar o momento de manter, descartar
ou repetir.
É um passo a passo totalmente étático.
A leitura sem torcida.
Imagina a sua cena, um teste acabou de terminar e a pressão na sala de conferência
para declarar um vencedor hoje mesmo é absolutamente gigante.
Essa é uma situação incrivelmente comum no nosso dia a dia e é exatamente aí que
o perigo começa a tomar forma.
A torcida percebe em contamina tudo antes mesmo da reunião iniciar.
Quem propôs o projeto quer obviamente vê-lo vencer, quem duvidou da ideia desde o início
quer vê-la cair.
E o grande risco é que um número solto ali na tela do painel acomoda perfeitamente
as duas narrativas emocionais.
No nosso método a gente propõe arrancar a emoção da sala.
A torcida simplesmente não tem lugar numa auditoria de negócios.
Depois disso a régua antes do lançamento, é a nossa fundação.
A regra aqui é cravada no granito, a meta e as regras de proteção tem que estar fechadas
muito antes de qualquer dado aparecer na tela.
Na prática ler um resultado é estritamente compará-lo ao documento que a equipe redigiu
no pré-lançamento.
De um lado a gente tem o OSC, que é a métrica única de vitória.
Do outro lado estão os guarda-raios, os limites que protegem o nosso ecossistema de verdade,
coisas como retenção e MRR.
E o que a gente decide adotar e praticar mesmo parecendo contra-intuitivo é que uma aparente
vitória no OSC que fere um guarda-raio é invariavelmente uma derrota completa
pro negócio.
O que a gente propõe é bastante simples.
Todo e qualquer guarda-raio exige um limiar estabelecido por escrito e com antecedência.
Se não tiver um número limite que dispara a conversa e acende o alerta antes mesmo
do teste receber tráfego, esse guarda-raio é só decoração no documento.
Ele não está protegendo absolutamente nada.
O SRM, antes do negócio.
Essa é a primeiríssima verificação técnica que a gente faz, antes sequer de ousar,
olhar pra qualquer métrica de receita ou conversão.
É uma regra inegociável.
O famoso sample ratio mismatch.
Sendo bem rigoroso, no SRM a proporção de usuários nos grupos de teste e controle
diverge da configurada, quase sempre um sinal técnico de instrumentação.
A consequência de ignorar isso é terrível.
A regra é que um teste com o SRM aberto está tecnicamente quebrado e qualquer número lido
nele contamina a decisão inteira.
Por isso mesmo nós vamos recomendar sempre conferir essa proporção antes de ler qualquer
outra coisa de negócio.
Vamos dar uma olhada nisso visualmente.
Imagine um cenário com um total de 36 mil visitas, sendo que falamos estritamente
de números supostos aqui para deixar a conta visível.
Se elas se dividem em 50,3% para um lado e 49,7% para o outro, mantendo a regra dos números
supostos, estamos falando de uma margem totalmente segura num sorteio.
Agora, se a gente se depara com o abismo de 56% contra 44%, novamente frisando que são
números supostos, o distanciamento fica tão agressivo que o trabalho do time deixa
de ser letágio de conversão e passa a secaçar bugs técnicos na ferramenta.
Em seguida, o recálculo que prova.
Assim que a gente garante que o SRM está fechado e seguro, o foco inteiro da auditoria
muda para a integridade absoluta dos dados de negócio.
Sabe aquele ditado, fluência convence, o recálculo é que prova?
Pois é.
A gente jamais confia só na narrativa eloquente de quem gerou o relatório ou de um painel
automatizado.
A gente confere primeiro.
Nós reconstruímos os totais na mão, de forma independente, cruzando os logs
do Google Ads, as sessões do GA4 e a nossa base de verdade que fica lá no SRM.
E olha, essa reconciliação previne um dos erros mais caros de qualquer operação, aquele
instante em que o time comemora números lindos de intenção de envio como cliques e formulários
no dashboard do navegador, enquanto a caixa registradora do financeiro continua totalmente
em silêncio.
Porque o contrato assinado real não foi registrado ponta a ponta no SRM.
Olha o tamanho do choque de métricas que isso pode gerar.
Trabalhando aqui sempre com números supostos.
Imagine que o grupo controle teve 4,0% de conversão em leads e a variação apresentou 5,2%.
Dá um salto de impressionantes 30% nos leads e reforço todos esses são números supostos.
Só que, ao bater a nossa métrica OSC de contratos, os números supostos vão de 2,5
para 2,4, estagnação total.
E o pior, a taxa de aceitação comercial caiu de 31% para 23% nestes números supostos,
violando gravemente o nosso limiar de 28%, que também é um limiar em números supostos.
Ou seja, no fim das contas a vitória era puramente ilusória.
As armadilhas da auditoria é exatamente para fugir dessas vitórias ilusórias que a gente
audita ferozmente os erros clássicos na leitura final.
A armadilha mais famosa é a espiada diária.
A regra fria da estatística nos lembra que olhar repetidamente um teste com duração
aberta e parar assim que o resultado agrada e infla chance de tomar ruído por efeito real.
Quanto mais vezes a leitura acontece, maior a probabilidade de encontrar uma diferença
que só existiu naquele dia.
A solução imbatível contra a ansiedade é simplesmente exigir que a dada da leitura
fique escrita no documento antes da mudança sequer ir pro ar.
A segunda grande armadilha ignora totalmente o fator de novidade e primazia.
É comprovado que usuários recorrentes reagem à mudança em si com curiosidade ou com atrito
de hábito e a diferença some depois de algumas semanas.
A consequência para a gente é clara.
É vital separar os visitantes novos dos recorrentes e mais importante ainda, conferir a segunda
metade da janela temporal para checar se a mudança sustentou o valor.
Além disso, é preciso ler impactos indiretos.
Avalhando aqui com números supostos, pensa naquele ganho de volume que acabamos
de ver no topo do funil.
Aquilo transforma uma fila de espera de 35 minutos para 2 horas e 10 minutos, lembrando
de aplicar a regra dos números supostos nessa passagem.
O que era muito celebrado virou um gargalo absurdo que paralisa a operação toda.
Por fim, manter, descartar ou repetir.
Acabada a toda a parte dura da auditoria, sobram apenas 3 conclusões determinísticas
autorizadas para nossa reunião de decisão.
Se o teste passou imaculado, a gente vai manter, mas isso tem regras.
Manteer significa fazer rollout em fatias, demanda uma janela de risco de 48 horas
conferindo se os guardrails continuam estáveis.
A gente nomeia um dono de plantão nominalmente para as respostas e faz questão de que o ensaio
de reversão esteja cronometrado, prontinho para agir, se precisarmos rolar tudo para
trás no domingo à noite.
A segunda rota é descartar.
Lembra daquele caso do salto de 30% em leads em números postos?
A gente viu que o guardrail desabou, então a gente descarta, sem medo.
Quando arquivamos isso certinho, a derrota bem registrada vira um patrimônio imenso.
Ela evita que os próximos times se joguem dinheiro fora, repetindo o exato mesmo erro daqui
a 3 meses.
A terceira via é repetir.
Contudo, adotar a postura de recomendar a repetição de um teste só é permitido
depois de nomearmos por escrito exatamente a condição que faltou na rodada anterior.
Se o SRM quebrou feio ou se a gente misturou os segmentos, nós documentamos a falha
e configuramos corretamente antes de lançar de novo.
Trazendo toda essa disciplina para a nossa realidade agora, a checklist estrita de execução
para o que fazer nesta semana é esta.
Na próxima reunião, entrem exigindo conferir o SRM primeiro, recalculem sem preguiça
os totais de Google Ads, GA4 e CRM, leiam o OSC declarado diretamente contra o documento,
verifiquem os guardrails linha a linha contra o limiar escrito, quebrem os resultados
por segmento e, claro, ensaiem a reversão de forma cronometrada antes da próxima fatia
de tráfego.
E a provocação que fica para qualquer operador que realmente preze por dados limpos é, essa
leitura rigorosa vai ser aplicada hoje mesmo naquele teste que está aberto lá nos monitores
da operação?
O convite para elevar a barra está na mesa.
Apliquemos esse exato método na próxima reunião para assumir de fato as rédeas
da operação.
Um forte abraço e excelentes auditorias para o nosso time.