WEBVTT

00:00:00.000 --> 00:00:16.569
Um teste sobe na terça. Na quinta de manhã alguém abre o painel e a variação nova aparece na
frente. A mensagem cai no grupo, e na sexta a versão vencedora já está no ar para todo mundo.
Duas semanas depois, ninguém acha aquele ganho em lugar nenhum do funil.

00:00:16.569 --> 00:00:33.650
Esse teste não fracassou por falta de ferramenta. Fracassou porque ninguém calculou, antes de
subir, quanto tráfego a pergunta exigia para ter resposta. Com volume pequeno, a diferença entre
duas versões balança sozinha, e quem olha no dia certo enxerga o que quiser.

00:00:33.650 --> 00:00:49.643
Este episódio responde uma pergunta só: quanto tráfego e quantos dias um teste exige antes de
valer decisão. A hipótese já está escrita, o diagnóstico já apontou a etapa. Falta a conta que
separa um experimento útil de um sorteio caro com cronograma.

00:00:49.643 --> 00:01:05.636
E a conta cabe num guardanapo. Ela junta três números: a taxa de conversão que a etapa tem hoje,
o efeito que faria a mudança valer a pena e o volume de gente que passa por ali toda semana.
Quem tem os três tem a duração. Quem não tem está apostando.

00:01:05.636 --> 00:01:21.694
Comecemos pelo motivo de a espera existir. Uma pessoa converte ou não por dezenas de razões que
o teste não controla: o dia, o aparelho, a campanha, a pressa naquela hora. Com poucas centenas
de visitantes, esse ruído cabe dentro da diferença da tela.

00:01:21.694 --> 00:01:38.902
Pense numa moeda honesta. Jogue dez vezes e sair sete caras é comum; dez jogadas comportam esse
desvio com folga. Jogue mil vezes e setecentas caras viram notícia. Um teste A/B funciona igual:
o número de jogadas, e só ele, dá direito à conclusão que o time quer tirar.

00:01:38.902 --> 00:01:55.408
E a pressa tem um agravante que quase ninguém enxerga. Quem para cedo para num instante
escolhido pelo resultado, quando a curva está bonita. Ninguém interrompe um teste na manhã em
que a variação nova está atrás. A escolha do momento já contamina a leitura.

00:01:55.408 --> 00:02:11.593
A aula que dá origem a este episódio resume assim: olhar repetidamente um teste com duração
aberta e parar quando o resultado agrada infla a chance de tomar ruído por efeito real. Mais
leituras, mais chance de achar diferença que só existiu naquele dia.

00:02:11.593 --> 00:02:28.354
Vamos ao número que mais gera confusão: o efeito mínimo detectável. O nome assusta e a ideia é
simples. Trata-se do menor ganho que o teste vai conseguir enxergar, declarado antes de subir.
Abaixo daquele valor o experimento fica cego, e o time não fica sabendo.

00:02:28.354 --> 00:02:44.539
Ele tem um irmão que vive sendo confundido com ele: o menor ganho que justificaria trocar a
versão atual. Esse segundo é pergunta de negócio, e quem responde é quem paga a conta. Se
refazer o formulário custa duas semanas, meio décimo de ponto não paga.

00:02:44.539 --> 00:03:01.172
Ou seja, o número entra na conta vindo da mesa, e depois a ferramenta diz quanto tráfego ele
exige. Primeiro se decide quanto de ganho faria a troca valer a pena; só então se pergunta o
preço em visitantes. É a ordem inversa da que a maioria dos times pratica.

00:03:01.172 --> 00:03:17.997
E a ordem invertida produz teste que já nasce inútil. O caminho comum é abrir a calculadora, ver
que em quatro semanas dá para detectar um ganho de trinta por cento e escrever trinta por cento
no card. Quase nenhuma mudança de formulário entrega trinta por cento.

00:03:17.997 --> 00:03:34.118
Quatro semanas depois o teste volta inconclusivo, e o time registra que a mudança não teve
efeito. Registro errado. O experimento nunca teve tamanho para enxergar um efeito daquele porte.
A ideia pode ter funcionado sem que ninguém pudesse saber disso.

00:03:34.118 --> 00:03:50.943
Vamos montar a conta com números supostos, escritos só para deixar a aritmética visível. Nenhum
deles descreve medição de ninguém. Suponha uma página de planos com doze mil visitas por semana
e taxa de quatro por cento, ou seja, quatrocentas e oitenta conversões.

00:03:50.943 --> 00:04:07.512
Guarde esses dois. A taxa de quatro por cento é a base, e precisa vir de instrumentação
conferida, com o registro nascendo no destino, e não do evento disparado no navegador. Base
errada gera duração errada, e isso acontece antes do primeiro visitante entrar.

00:04:07.512 --> 00:04:23.889
Terceiro número, o efeito. Suponha que a mesa decida que vale trocar o formulário se a taxa
subir de quatro por cento para quatro vírgula quatro. Isso é ganho relativo de dez por cento, ou
quatro décimos de ponto percentual. Guarde os dois jeitos de dizer.

00:04:23.889 --> 00:04:40.778
Aí mora o erro de preenchimento mais caro do card. Dez por cento de ganho relativo sobre base de
quatro por cento dá quatro décimos de ponto. Quem digita dez na caixa de diferença absoluta pede
um salto de quatro para catorze por cento, e recebe duração mentirosa.

00:04:40.778 --> 00:04:56.899
Com os três na mão, você abre uma calculadora de amostra, inclusive a da própria ferramenta de
teste, e ela devolve um número de visitantes por versão. Suponha que ela peça trinta mil
visitantes em cada versão para enxergar esse ganho de dez por cento.

00:04:56.899 --> 00:05:13.084
Daí em diante é divisão. Doze mil visitas por semana repartidas em duas versões dão seis mil por
versão por semana. Trinta mil dividido por seis mil dá cinco. Cinco semanas de exposição, e esse
número vai para o card junto com a data marcada da leitura.

00:05:13.084 --> 00:05:29.142
Cinco semanas para saber se um formulário melhorou. Muita gente vai achar longo demais, e é essa
reação que abre a porta para a decisão precipitada. A duração aparece como problema do cálculo,
quando ela é a informação mais útil que o cálculo entrega.

00:05:29.142 --> 00:05:45.455
E existe uma propriedade dessa conta que muda o modo de conversar sobre teste. A relação entre o
efeito procurado e o volume necessário não é proporcional. O efeito entra elevado ao quadrado no
cálculo da amostra, o que produz um salto quando ele diminui.

00:05:45.455 --> 00:06:01.832
Traduza com os números que já estão na mesa. Se para enxergar quatro décimos de ponto o teste
pede trinta mil visitantes por versão, quanto ele pede para enxergar dois décimos? Metade do
efeito. A pergunta parece inocente e a resposta costuma calar a sala.

00:06:01.832 --> 00:06:18.081
Cento e vinte mil por versão. Quatro vezes mais, porque o efeito caiu pela metade. E a duração
acompanha: cento e vinte mil dividido por seis mil por semana dá vinte semanas. Dois décimos de
ponto percentual transformaram cinco semanas de teste em vinte.

00:06:18.081 --> 00:06:34.458
Cinco semanas contra vinte. Quase um trimestre de diferença, decidido por uma linha do card
preenchida no automático. É essa linha que a mesa precisa discutir antes de aprovar, porque ela
define se a resposta chega dentro do trimestre ou muito depois dele.

00:06:34.458 --> 00:06:50.516
A conta deu cinco semanas. Agora vem a parte que a calculadora não resolve: como esses dias caem
no calendário. Existe uma regra simples que elimina um erro caro, e ela é rodar sempre ciclos
semanais inteiros. Trinta e cinco dias, e nunca trinta e um.

00:06:50.516 --> 00:07:06.829
Porque o comportamento de compra tem semana. Segunda de manhã não se parece com sábado à noite,
a entrega de mídia paga varia por dia, e a mesma página converte em ritmos diferentes conforme
quem está do outro lado. O teste precisa conter o ciclo inteiro.

00:07:06.829 --> 00:07:23.334
E parar no meio da semana estraga o quê, na prática? Faça a conta comigo, devagar. Suponha um
teste que começou numa segunda e foi encerrado com dezessete dias, porque a leitura estava
marcada para uma terça. Dezessete dias são duas semanas cheias mais três.

00:07:23.334 --> 00:07:39.775
Esses três dias sobrando são segunda, terça e quarta: o teste carrega três segundas, três terças
e três quartas, contra dois de cada um dos outros quatro dias. Se a variação agrada mais ao
público de começo de semana, o calendário fabrica a vitória sozinho.

00:07:39.775 --> 00:07:56.152
Duração fechada, cinco semanas, ciclos inteiros. E aí entra o comportamento que desfaz todo esse
trabalho: abrir o painel do teste toda manhã. Quase todo mundo faz, e a ferramenta incentiva,
com um número piscando na tela desde o primeiro dia de exposição.

00:07:56.152 --> 00:08:12.913
O problema tem mecânica conhecida. Cada vez que você olha, existe alguma chance de a variação
estar por acaso à frente naquele instante. Olhar uma vez, no fim da janela, é uma chance. Olhar
trinta e cinco manhãs são trinta e cinco oportunidades de achar um pico.

00:08:12.913 --> 00:08:29.098
Então a regra vira fechar os olhos por cinco semanas inteiras? Isso soa impraticável numa
operação em que alguém pergunta o número na reunião de segunda. E existe uma distinção simples
que resolve o impasse, separando duas leituras que a rotina mistura.

00:08:29.098 --> 00:08:46.883
Olhar para conferir saúde do teste é obrigatório e diário: proporção entre os grupos, erro
técnico, queda de guardrail. Olhar para decidir vencedor acontece uma vez, na data escrita no
card. Quem precisa decidir antes usa o monitoramento contínuo, com regra de parada combinada.

00:08:46.883 --> 00:09:02.876
Vamos ao caso que mais aparece na vida real. A conta devolve vinte semanas, e a resposta precisa
existir dentro do trimestre. O que se faz com um número desses? Rodar assim mesmo está fora de
cogitação. Existem três saídas, e uma armadilha tentadora.

00:09:02.876 --> 00:09:19.381
A armadilha primeiro. Ela consiste em afrouxar a exigência do teste no papel: aceitar margem de
erro maior, aumentar o efeito procurado sem mexer na variação, encurtar a janela na mão. Essas
manobras encurtam o calendário e nenhuma delas encurta a incerteza.

00:09:19.381 --> 00:09:35.822
Primeira saída: procurar um efeito maior, testando uma mudança maior. Se a conta ficou inviável
porque o ganho plausível é minúsculo, o problema mora na variação, e não no cálculo. Proposta
ambiciosa cabe numa janela em que a proposta tímida jamais caberia.

00:09:35.822 --> 00:09:52.199
É contraintuitivo e é aritmética. Duas versões quase idênticas exigem um oceano de tráfego para
serem separadas; duas versões genuinamente diferentes se separam rápido. Programas travados
quase sempre testam variações pequenas demais para o volume que têm.

00:09:52.199 --> 00:10:08.704
Segunda saída: subir na página. Se a etapa escolhida recebe pouco tráfego, olhe a etapa
anterior, que recebe mais. Testar o passo de maior volume devolve resposta em menos tempo, desde
que ele carregue mesmo uma dúvida legítima do funil, e não apenas volume.

00:10:08.704 --> 00:10:28.344
Terceira saída: trocar o instrumento, que a aula trata como decisão de rota. Abaixo do volume
necessário entram entrevista com quem abandonou, gravação de sessão e correção de usabilidade
sem teste formal. E há o CUPED, que usa o histórico do visitante para reduzir o ruído e encurtar
o tempo até a decisão.

00:10:28.344 --> 00:10:44.913
Antes de fechar, um atalho que evita meia hora de cálculo num teste que já nasce inviável. A
aula usa cerca de cinquenta conversões por semana na superfície testada como número de triagem.
E esse número merece uma ressalva imediata, escrita na própria página.

00:10:44.913 --> 00:11:01.546
A ressalva é que cinquenta é triagem inicial, jamais garantia estatística. Acima desse patamar
vale calcular a amostra com a taxa atual e o efeito mínimo relevante. Abaixo dele o teste demora
demais para separar sinal de ruído, e a fila do programa fica presa.

00:11:01.546 --> 00:11:17.667
Um detalhe derruba muita conta aqui: o piso vale para a superfície em teste, e não para a soma
da empresa. Uma operação com milhares de conversões por mês pode ter, na página que o time quer
mexer, trinta conversões por semana. É esse número que manda.

00:11:17.667 --> 00:11:34.876
E repare no que acontece com o tempo. A aula descreve uma etapa com trinta e cinco conversões
semanais: ali a mesma pergunta é respondida por seis entrevistas com quem abandonou o
formulário, em poucos dias. O teste naquele volume levaria meses e voltaria inconclusivo.

00:11:34.876 --> 00:11:51.829
Fechamos com um critério prático, que cabe em quatro perguntas feitas antes de aprovar qualquer
experimento. Se alguma delas ficar sem resposta numerada, o teste não sobe, e o tempo
economizado aí paga a disciplina do ano inteiro. As duas primeiras são de conteúdo.

00:11:51.829 --> 00:12:08.014
Primeira: o efeito mínimo está escrito e veio da mesa de decisão, e não da calculadora? Segunda:
a duração calculada cabe na janela em que a decisão precisa existir? Vinte semanas para um
trimestre significa que este teste, do jeito que está, não serve.

00:12:08.014 --> 00:12:24.391
Terceira: a duração está em semanas inteiras e a data da leitura ficou marcada antes do
lançamento? Quarta: o volume da superfície passa do piso de triagem? Quatro respostas com número
ao lado, e a discussão do dia do resultado perde metade da temperatura.

00:12:24.391 --> 00:12:41.600
E uma frase honesta no card resolve o resto: este teste detecta um ganho de dez por cento ou
mais; abaixo disso ele devolve empate por construção. Escrita antes, impede que o empate vire
derrota da ideia. No próximo episódio, a ordem do que testar dentro de uma página.