WEBVTT

00:00:00.000 --> 00:00:02.640
Olá! Bom, vamos direto ao ponto.

00:00:02.640 --> 00:00:07.840
A nossa leitura é que a avaliação de testes AB não precisa ser aquele debate exaustivo

00:00:07.840 --> 00:00:09.360
e subjetivo de sempre.

00:00:09.360 --> 00:00:15.240
O objetivo desta nossa análise hoje é transformar isso numa auditoria técnica e perfeitamente

00:00:15.240 --> 00:00:16.720
determinística.

00:00:16.720 --> 00:00:20.480
Como especialistas na operação, a gente sabe bem que o momento de ler o resultado

00:00:20.480 --> 00:00:23.240
de um teste costuma ser bastante tenso, não é?

00:00:23.240 --> 00:00:27.040
O clima fica cheio de narrativas e opiniões soltas pela sala.

00:00:27.040 --> 00:00:31.840
Então, a grande questão é como interpretar o resultado e decidir entre manter, descartar

00:00:31.840 --> 00:00:34.440
ou repetir sem torcer para nenhum dos lados.

00:00:34.440 --> 00:00:36.480
Primeiro, a promessa aqui é muito clara.

00:00:36.480 --> 00:00:40.080
Quem acompanha essa leitura até o fim sai com um método prático e inabalável para

00:00:40.080 --> 00:00:45.040
decidir o destino de um experimento, o método construído usando uma rega escrita antes

00:00:45.040 --> 00:00:49.040
de encargar o primeiro visitante, números recalculados direto das plataformas e três

00:00:49.040 --> 00:00:52.880
saídas claríssimas, todas devidamente assinadas com o nome e data.

00:00:52.880 --> 00:00:57.400
A nossa leitura é que a gente precisa de um roteiro lógico para a operação.

00:00:57.400 --> 00:01:04.080
Vamos passar pela leitura sem torcida, a régua antes do lançamento, o SRM antes do negócio,

00:01:04.080 --> 00:01:10.760
o recalculo que prova, as armadinhas da auditoria e para fechar o momento de manter, descartar

00:01:10.760 --> 00:01:12.040
ou repetir.

00:01:12.040 --> 00:01:14.440
É um passo a passo totalmente étático.

00:01:14.440 --> 00:01:15.600
A leitura sem torcida.

00:01:15.600 --> 00:01:19.400
Imagina a sua cena, um teste acabou de terminar e a pressão na sala de conferência

00:01:19.400 --> 00:01:22.960
para declarar um vencedor hoje mesmo é absolutamente gigante.

00:01:22.960 --> 00:01:27.160
Essa é uma situação incrivelmente comum no nosso dia a dia e é exatamente aí que

00:01:27.160 --> 00:01:28.920
o perigo começa a tomar forma.

00:01:28.920 --> 00:01:33.160
A torcida percebe em contamina tudo antes mesmo da reunião iniciar.

00:01:33.160 --> 00:01:37.920
Quem propôs o projeto quer obviamente vê-lo vencer, quem duvidou da ideia desde o início

00:01:37.920 --> 00:01:38.920
quer vê-la cair.

00:01:38.920 --> 00:01:43.760
E o grande risco é que um número solto ali na tela do painel acomoda perfeitamente

00:01:43.760 --> 00:01:46.040
as duas narrativas emocionais.

00:01:46.080 --> 00:01:49.600
No nosso método a gente propõe arrancar a emoção da sala.

00:01:49.600 --> 00:01:54.080
A torcida simplesmente não tem lugar numa auditoria de negócios.

00:01:54.080 --> 00:01:58.400
Depois disso a régua antes do lançamento, é a nossa fundação.

00:01:58.400 --> 00:02:03.200
A regra aqui é cravada no granito, a meta e as regras de proteção tem que estar fechadas

00:02:03.200 --> 00:02:06.040
muito antes de qualquer dado aparecer na tela.

00:02:06.040 --> 00:02:10.880
Na prática ler um resultado é estritamente compará-lo ao documento que a equipe redigiu

00:02:10.880 --> 00:02:12.200
no pré-lançamento.

00:02:12.200 --> 00:02:15.520
De um lado a gente tem o OSC, que é a métrica única de vitória.

00:02:15.560 --> 00:02:20.320
Do outro lado estão os guarda-raios, os limites que protegem o nosso ecossistema de verdade,

00:02:20.320 --> 00:02:22.280
coisas como retenção e MRR.

00:02:22.280 --> 00:02:26.720
E o que a gente decide adotar e praticar mesmo parecendo contra-intuitivo é que uma aparente

00:02:26.720 --> 00:02:31.400
vitória no OSC que fere um guarda-raio é invariavelmente uma derrota completa

00:02:31.400 --> 00:02:32.520
pro negócio.

00:02:32.520 --> 00:02:34.920
O que a gente propõe é bastante simples.

00:02:34.920 --> 00:02:40.480
Todo e qualquer guarda-raio exige um limiar estabelecido por escrito e com antecedência.

00:02:40.480 --> 00:02:44.800
Se não tiver um número limite que dispara a conversa e acende o alerta antes mesmo

00:02:44.800 --> 00:02:49.000
do teste receber tráfego, esse guarda-raio é só decoração no documento.

00:02:49.000 --> 00:02:51.680
Ele não está protegendo absolutamente nada.

00:02:51.680 --> 00:02:54.320
O SRM, antes do negócio.

00:02:54.320 --> 00:02:59.440
Essa é a primeiríssima verificação técnica que a gente faz, antes sequer de ousar,

00:02:59.440 --> 00:03:02.720
olhar pra qualquer métrica de receita ou conversão.

00:03:02.720 --> 00:03:04.840
É uma regra inegociável.

00:03:04.840 --> 00:03:07.880
O famoso sample ratio mismatch.

00:03:07.880 --> 00:03:12.720
Sendo bem rigoroso, no SRM a proporção de usuários nos grupos de teste e controle

00:03:12.800 --> 00:03:17.200
diverge da configurada, quase sempre um sinal técnico de instrumentação.

00:03:17.200 --> 00:03:19.600
A consequência de ignorar isso é terrível.

00:03:19.600 --> 00:03:24.760
A regra é que um teste com o SRM aberto está tecnicamente quebrado e qualquer número lido

00:03:24.760 --> 00:03:27.080
nele contamina a decisão inteira.

00:03:27.080 --> 00:03:31.240
Por isso mesmo nós vamos recomendar sempre conferir essa proporção antes de ler qualquer

00:03:31.240 --> 00:03:32.840
outra coisa de negócio.

00:03:32.840 --> 00:03:34.760
Vamos dar uma olhada nisso visualmente.

00:03:34.760 --> 00:03:39.440
Imagine um cenário com um total de 36 mil visitas, sendo que falamos estritamente

00:03:39.440 --> 00:03:42.280
de números supostos aqui para deixar a conta visível.

00:03:42.280 --> 00:03:48.640
Se elas se dividem em 50,3% para um lado e 49,7% para o outro, mantendo a regra dos números

00:03:48.640 --> 00:03:52.480
supostos, estamos falando de uma margem totalmente segura num sorteio.

00:03:52.480 --> 00:03:58.000
Agora, se a gente se depara com o abismo de 56% contra 44%, novamente frisando que são

00:03:58.000 --> 00:04:02.200
números supostos, o distanciamento fica tão agressivo que o trabalho do time deixa

00:04:02.200 --> 00:04:06.440
de ser letágio de conversão e passa a secaçar bugs técnicos na ferramenta.

00:04:06.440 --> 00:04:09.520
Em seguida, o recálculo que prova.

00:04:09.520 --> 00:04:14.400
Assim que a gente garante que o SRM está fechado e seguro, o foco inteiro da auditoria

00:04:14.400 --> 00:04:17.720
muda para a integridade absoluta dos dados de negócio.

00:04:17.720 --> 00:04:22.040
Sabe aquele ditado, fluência convence, o recálculo é que prova?

00:04:22.040 --> 00:04:23.040
Pois é.

00:04:23.040 --> 00:04:27.640
A gente jamais confia só na narrativa eloquente de quem gerou o relatório ou de um painel

00:04:27.640 --> 00:04:28.840
automatizado.

00:04:28.840 --> 00:04:31.120
A gente confere primeiro.

00:04:31.120 --> 00:04:35.400
Nós reconstruímos os totais na mão, de forma independente, cruzando os logs

00:04:35.400 --> 00:04:41.360
do Google Ads, as sessões do GA4 e a nossa base de verdade que fica lá no SRM.

00:04:41.360 --> 00:04:46.040
E olha, essa reconciliação previne um dos erros mais caros de qualquer operação, aquele

00:04:46.040 --> 00:04:50.360
instante em que o time comemora números lindos de intenção de envio como cliques e formulários

00:04:50.360 --> 00:04:55.080
no dashboard do navegador, enquanto a caixa registradora do financeiro continua totalmente

00:04:55.080 --> 00:04:56.080
em silêncio.

00:04:56.080 --> 00:05:01.120
Porque o contrato assinado real não foi registrado ponta a ponta no SRM.

00:05:01.120 --> 00:05:04.600
Olha o tamanho do choque de métricas que isso pode gerar.

00:05:04.640 --> 00:05:06.960
Trabalhando aqui sempre com números supostos.

00:05:06.960 --> 00:05:13.800
Imagine que o grupo controle teve 4,0% de conversão em leads e a variação apresentou 5,2%.

00:05:13.800 --> 00:05:19.000
Dá um salto de impressionantes 30% nos leads e reforço todos esses são números supostos.

00:05:19.000 --> 00:05:23.880
Só que, ao bater a nossa métrica OSC de contratos, os números supostos vão de 2,5

00:05:23.880 --> 00:05:26.600
para 2,4, estagnação total.

00:05:26.600 --> 00:05:32.880
E o pior, a taxa de aceitação comercial caiu de 31% para 23% nestes números supostos,

00:05:32.880 --> 00:05:38.400
violando gravemente o nosso limiar de 28%, que também é um limiar em números supostos.

00:05:38.400 --> 00:05:41.560
Ou seja, no fim das contas a vitória era puramente ilusória.

00:05:41.560 --> 00:05:46.960
As armadilhas da auditoria é exatamente para fugir dessas vitórias ilusórias que a gente

00:05:46.960 --> 00:05:50.440
audita ferozmente os erros clássicos na leitura final.

00:05:50.440 --> 00:05:53.600
A armadilha mais famosa é a espiada diária.

00:05:53.600 --> 00:05:58.200
A regra fria da estatística nos lembra que olhar repetidamente um teste com duração

00:05:58.200 --> 00:06:04.160
aberta e parar assim que o resultado agrada e infla chance de tomar ruído por efeito real.

00:06:04.160 --> 00:06:08.640
Quanto mais vezes a leitura acontece, maior a probabilidade de encontrar uma diferença

00:06:08.640 --> 00:06:10.560
que só existiu naquele dia.

00:06:10.560 --> 00:06:15.360
A solução imbatível contra a ansiedade é simplesmente exigir que a dada da leitura

00:06:15.360 --> 00:06:19.240
fique escrita no documento antes da mudança sequer ir pro ar.

00:06:19.240 --> 00:06:24.160
A segunda grande armadilha ignora totalmente o fator de novidade e primazia.

00:06:24.160 --> 00:06:29.880
É comprovado que usuários recorrentes reagem à mudança em si com curiosidade ou com atrito

00:06:29.880 --> 00:06:33.440
de hábito e a diferença some depois de algumas semanas.

00:06:33.440 --> 00:06:35.160
A consequência para a gente é clara.

00:06:35.160 --> 00:06:41.040
É vital separar os visitantes novos dos recorrentes e mais importante ainda, conferir a segunda

00:06:41.040 --> 00:06:45.440
metade da janela temporal para checar se a mudança sustentou o valor.

00:06:45.440 --> 00:06:48.680
Além disso, é preciso ler impactos indiretos.

00:06:48.680 --> 00:06:52.160
Avalhando aqui com números supostos, pensa naquele ganho de volume que acabamos

00:06:52.160 --> 00:06:53.760
de ver no topo do funil.

00:06:53.760 --> 00:06:58.680
Aquilo transforma uma fila de espera de 35 minutos para 2 horas e 10 minutos, lembrando

00:06:58.680 --> 00:07:01.680
de aplicar a regra dos números supostos nessa passagem.

00:07:01.680 --> 00:07:06.240
O que era muito celebrado virou um gargalo absurdo que paralisa a operação toda.

00:07:06.240 --> 00:07:09.520
Por fim, manter, descartar ou repetir.

00:07:09.520 --> 00:07:14.480
Acabada a toda a parte dura da auditoria, sobram apenas 3 conclusões determinísticas

00:07:14.480 --> 00:07:17.520
autorizadas para nossa reunião de decisão.

00:07:17.520 --> 00:07:21.320
Se o teste passou imaculado, a gente vai manter, mas isso tem regras.

00:07:21.320 --> 00:07:26.840
Manteer significa fazer rollout em fatias, demanda uma janela de risco de 48 horas

00:07:26.840 --> 00:07:29.560
conferindo se os guardrails continuam estáveis.

00:07:29.560 --> 00:07:34.200
A gente nomeia um dono de plantão nominalmente para as respostas e faz questão de que o ensaio

00:07:34.200 --> 00:07:38.480
de reversão esteja cronometrado, prontinho para agir, se precisarmos rolar tudo para

00:07:38.480 --> 00:07:40.000
trás no domingo à noite.

00:07:40.000 --> 00:07:42.160
A segunda rota é descartar.

00:07:42.160 --> 00:07:46.240
Lembra daquele caso do salto de 30% em leads em números postos?

00:07:46.240 --> 00:07:50.360
A gente viu que o guardrail desabou, então a gente descarta, sem medo.

00:07:50.360 --> 00:07:55.520
Quando arquivamos isso certinho, a derrota bem registrada vira um patrimônio imenso.

00:07:55.520 --> 00:08:00.080
Ela evita que os próximos times se joguem dinheiro fora, repetindo o exato mesmo erro daqui

00:08:00.080 --> 00:08:01.360
a 3 meses.

00:08:01.360 --> 00:08:03.520
A terceira via é repetir.

00:08:03.520 --> 00:08:07.880
Contudo, adotar a postura de recomendar a repetição de um teste só é permitido

00:08:07.880 --> 00:08:13.240
depois de nomearmos por escrito exatamente a condição que faltou na rodada anterior.

00:08:13.240 --> 00:08:18.480
Se o SRM quebrou feio ou se a gente misturou os segmentos, nós documentamos a falha

00:08:18.480 --> 00:08:21.720
e configuramos corretamente antes de lançar de novo.

00:08:21.720 --> 00:08:26.240
Trazendo toda essa disciplina para a nossa realidade agora, a checklist estrita de execução

00:08:26.240 --> 00:08:29.280
para o que fazer nesta semana é esta.

00:08:29.280 --> 00:08:34.880
Na próxima reunião, entrem exigindo conferir o SRM primeiro, recalculem sem preguiça

00:08:34.880 --> 00:08:41.440
os totais de Google Ads, GA4 e CRM, leiam o OSC declarado diretamente contra o documento,

00:08:41.440 --> 00:08:46.480
verifiquem os guardrails linha a linha contra o limiar escrito, quebrem os resultados

00:08:46.480 --> 00:08:52.000
por segmento e, claro, ensaiem a reversão de forma cronometrada antes da próxima fatia

00:08:52.000 --> 00:08:53.000
de tráfego.

00:08:53.000 --> 00:08:58.000
E a provocação que fica para qualquer operador que realmente preze por dados limpos é, essa

00:08:58.000 --> 00:09:03.240
leitura rigorosa vai ser aplicada hoje mesmo naquele teste que está aberto lá nos monitores

00:09:03.240 --> 00:09:04.240
da operação?

00:09:04.240 --> 00:09:06.640
O convite para elevar a barra está na mesa.

00:09:06.640 --> 00:09:11.200
Apliquemos esse exato método na próxima reunião para assumir de fato as rédeas

00:09:11.200 --> 00:09:12.200
da operação.

00:09:12.200 --> 00:09:15.160
Um forte abraço e excelentes auditorias para o nosso time.