Transcrição: Tamanho de amostra sem autoengano
Experimentação para conversão · Portal Leadlovers 2026
https://brasilgeo.ai/leadlovers2026/playlist/#episodio-tamanho-de-amostra-sem-autoengano

Helena · 0:00
Um teste sobe na terça. Na quinta de manhã alguém abre o painel e a variação nova aparece na frente. A mensagem cai no grupo, e na sexta a versão vencedora já está no ar para todo mundo. Duas semanas depois, ninguém acha aquele ganho em lugar nenhum do funil.

Bruno · 0:17
Esse teste não fracassou por falta de ferramenta. Fracassou porque ninguém calculou, antes de subir, quanto tráfego a pergunta exigia para ter resposta. Com volume pequeno, a diferença entre duas versões balança sozinha, e quem olha no dia certo enxerga o que quiser.

Helena · 0:34
Este episódio responde uma pergunta só: quanto tráfego e quantos dias um teste exige antes de valer decisão. A hipótese já está escrita, o diagnóstico já apontou a etapa. Falta a conta que separa um experimento útil de um sorteio caro com cronograma.

Bruno · 0:50
E a conta cabe num guardanapo. Ela junta três números: a taxa de conversão que a etapa tem hoje, o efeito que faria a mudança valer a pena e o volume de gente que passa por ali toda semana. Quem tem os três tem a duração. Quem não tem está apostando.

Helena · 1:06
Comecemos pelo motivo de a espera existir. Uma pessoa converte ou não por dezenas de razões que o teste não controla: o dia, o aparelho, a campanha, a pressa naquela hora. Com poucas centenas de visitantes, esse ruído cabe dentro da diferença da tela.

Bruno · 1:22
Pense numa moeda honesta. Jogue dez vezes e sair sete caras é comum; dez jogadas comportam esse desvio com folga. Jogue mil vezes e setecentas caras viram notícia. Um teste A/B funciona igual: o número de jogadas, e só ele, dá direito à conclusão que o time quer tirar.

Helena · 1:39
E a pressa tem um agravante que quase ninguém enxerga. Quem para cedo para num instante escolhido pelo resultado, quando a curva está bonita. Ninguém interrompe um teste na manhã em que a variação nova está atrás. A escolha do momento já contamina a leitura.

Bruno · 1:55
A aula que dá origem a este episódio resume assim: olhar repetidamente um teste com duração aberta e parar quando o resultado agrada infla a chance de tomar ruído por efeito real. Mais leituras, mais chance de achar diferença que só existiu naquele dia.

Helena · 2:12
Vamos ao número que mais gera confusão: o efeito mínimo detectável. O nome assusta e a ideia é simples. Trata-se do menor ganho que o teste vai conseguir enxergar, declarado antes de subir. Abaixo daquele valor o experimento fica cego, e o time não fica sabendo.

Bruno · 2:28
Ele tem um irmão que vive sendo confundido com ele: o menor ganho que justificaria trocar a versão atual. Esse segundo é pergunta de negócio, e quem responde é quem paga a conta. Se refazer o formulário custa duas semanas, meio décimo de ponto não paga.

Helena · 2:45
Ou seja, o número entra na conta vindo da mesa, e depois a ferramenta diz quanto tráfego ele exige. Primeiro se decide quanto de ganho faria a troca valer a pena; só então se pergunta o preço em visitantes. É a ordem inversa da que a maioria dos times pratica.

Bruno · 3:01
E a ordem invertida produz teste que já nasce inútil. O caminho comum é abrir a calculadora, ver que em quatro semanas dá para detectar um ganho de trinta por cento e escrever trinta por cento no card. Quase nenhuma mudança de formulário entrega trinta por cento.

Helena · 3:18
Quatro semanas depois o teste volta inconclusivo, e o time registra que a mudança não teve efeito. Registro errado. O experimento nunca teve tamanho para enxergar um efeito daquele porte. A ideia pode ter funcionado sem que ninguém pudesse saber disso.

Helena · 3:34
Vamos montar a conta com números supostos, escritos só para deixar a aritmética visível. Nenhum deles descreve medição de ninguém. Suponha uma página de planos com doze mil visitas por semana e taxa de quatro por cento, ou seja, quatrocentas e oitenta conversões.

Bruno · 3:51
Guarde esses dois. A taxa de quatro por cento é a base, e precisa vir de instrumentação conferida, com o registro nascendo no destino, e não do evento disparado no navegador. Base errada gera duração errada, e isso acontece antes do primeiro visitante entrar.

Helena · 4:08
Terceiro número, o efeito. Suponha que a mesa decida que vale trocar o formulário se a taxa subir de quatro por cento para quatro vírgula quatro. Isso é ganho relativo de dez por cento, ou quatro décimos de ponto percentual. Guarde os dois jeitos de dizer.

Bruno · 4:24
Aí mora o erro de preenchimento mais caro do card. Dez por cento de ganho relativo sobre base de quatro por cento dá quatro décimos de ponto. Quem digita dez na caixa de diferença absoluta pede um salto de quatro para catorze por cento, e recebe duração mentirosa.

Helena · 4:41
Com os três na mão, você abre uma calculadora de amostra, inclusive a da própria ferramenta de teste, e ela devolve um número de visitantes por versão. Suponha que ela peça trinta mil visitantes em cada versão para enxergar esse ganho de dez por cento.

Bruno · 4:57
Daí em diante é divisão. Doze mil visitas por semana repartidas em duas versões dão seis mil por versão por semana. Trinta mil dividido por seis mil dá cinco. Cinco semanas de exposição, e esse número vai para o card junto com a data marcada da leitura.

Helena · 5:13
Cinco semanas para saber se um formulário melhorou. Muita gente vai achar longo demais, e é essa reação que abre a porta para a decisão precipitada. A duração aparece como problema do cálculo, quando ela é a informação mais útil que o cálculo entrega.

Bruno · 5:29
E existe uma propriedade dessa conta que muda o modo de conversar sobre teste. A relação entre o efeito procurado e o volume necessário não é proporcional. O efeito entra elevado ao quadrado no cálculo da amostra, o que produz um salto quando ele diminui.

Helena · 5:45
Traduza com os números que já estão na mesa. Se para enxergar quatro décimos de ponto o teste pede trinta mil visitantes por versão, quanto ele pede para enxergar dois décimos? Metade do efeito. A pergunta parece inocente e a resposta costuma calar a sala.

Bruno · 6:02
Cento e vinte mil por versão. Quatro vezes mais, porque o efeito caiu pela metade. E a duração acompanha: cento e vinte mil dividido por seis mil por semana dá vinte semanas. Dois décimos de ponto percentual transformaram cinco semanas de teste em vinte.

Helena · 6:18
Cinco semanas contra vinte. Quase um trimestre de diferença, decidido por uma linha do card preenchida no automático. É essa linha que a mesa precisa discutir antes de aprovar, porque ela define se a resposta chega dentro do trimestre ou muito depois dele.

Helena · 6:34
A conta deu cinco semanas. Agora vem a parte que a calculadora não resolve: como esses dias caem no calendário. Existe uma regra simples que elimina um erro caro, e ela é rodar sempre ciclos semanais inteiros. Trinta e cinco dias, e nunca trinta e um.

Bruno · 6:51
Porque o comportamento de compra tem semana. Segunda de manhã não se parece com sábado à noite, a entrega de mídia paga varia por dia, e a mesma página converte em ritmos diferentes conforme quem está do outro lado. O teste precisa conter o ciclo inteiro.

Helena · 7:07
E parar no meio da semana estraga o quê, na prática? Faça a conta comigo, devagar. Suponha um teste que começou numa segunda e foi encerrado com dezessete dias, porque a leitura estava marcada para uma terça. Dezessete dias são duas semanas cheias mais três.

Bruno · 7:23
Esses três dias sobrando são segunda, terça e quarta: o teste carrega três segundas, três terças e três quartas, contra dois de cada um dos outros quatro dias. Se a variação agrada mais ao público de começo de semana, o calendário fabrica a vitória sozinho.

Helena · 7:40
Duração fechada, cinco semanas, ciclos inteiros. E aí entra o comportamento que desfaz todo esse trabalho: abrir o painel do teste toda manhã. Quase todo mundo faz, e a ferramenta incentiva, com um número piscando na tela desde o primeiro dia de exposição.

Bruno · 7:56
O problema tem mecânica conhecida. Cada vez que você olha, existe alguma chance de a variação estar por acaso à frente naquele instante. Olhar uma vez, no fim da janela, é uma chance. Olhar trinta e cinco manhãs são trinta e cinco oportunidades de achar um pico.

Helena · 8:13
Então a regra vira fechar os olhos por cinco semanas inteiras? Isso soa impraticável numa operação em que alguém pergunta o número na reunião de segunda. E existe uma distinção simples que resolve o impasse, separando duas leituras que a rotina mistura.

Bruno · 8:29
Olhar para conferir saúde do teste é obrigatório e diário: proporção entre os grupos, erro técnico, queda de guardrail. Olhar para decidir vencedor acontece uma vez, na data escrita no card. Quem precisa decidir antes usa o monitoramento contínuo, com regra de parada combinada.

Helena · 8:47
Vamos ao caso que mais aparece na vida real. A conta devolve vinte semanas, e a resposta precisa existir dentro do trimestre. O que se faz com um número desses? Rodar assim mesmo está fora de cogitação. Existem três saídas, e uma armadilha tentadora.

Bruno · 9:03
A armadilha primeiro. Ela consiste em afrouxar a exigência do teste no papel: aceitar margem de erro maior, aumentar o efeito procurado sem mexer na variação, encurtar a janela na mão. Essas manobras encurtam o calendário e nenhuma delas encurta a incerteza.

Helena · 9:19
Primeira saída: procurar um efeito maior, testando uma mudança maior. Se a conta ficou inviável porque o ganho plausível é minúsculo, o problema mora na variação, e não no cálculo. Proposta ambiciosa cabe numa janela em que a proposta tímida jamais caberia.

Bruno · 9:36
É contraintuitivo e é aritmética. Duas versões quase idênticas exigem um oceano de tráfego para serem separadas; duas versões genuinamente diferentes se separam rápido. Programas travados quase sempre testam variações pequenas demais para o volume que têm.

Helena · 9:52
Segunda saída: subir na página. Se a etapa escolhida recebe pouco tráfego, olhe a etapa anterior, que recebe mais. Testar o passo de maior volume devolve resposta em menos tempo, desde que ele carregue mesmo uma dúvida legítima do funil, e não apenas volume.

Bruno · 10:09
Terceira saída: trocar o instrumento, que a aula trata como decisão de rota. Abaixo do volume necessário entram entrevista com quem abandonou, gravação de sessão e correção de usabilidade sem teste formal. E há o CUPED, que usa o histórico do visitante para reduzir o ruído e encurtar o tempo até a decisão.

Helena · 10:28
Antes de fechar, um atalho que evita meia hora de cálculo num teste que já nasce inviável. A aula usa cerca de cinquenta conversões por semana na superfície testada como número de triagem. E esse número merece uma ressalva imediata, escrita na própria página.

Bruno · 10:45
A ressalva é que cinquenta é triagem inicial, jamais garantia estatística. Acima desse patamar vale calcular a amostra com a taxa atual e o efeito mínimo relevante. Abaixo dele o teste demora demais para separar sinal de ruído, e a fila do programa fica presa.

Helena · 11:02
Um detalhe derruba muita conta aqui: o piso vale para a superfície em teste, e não para a soma da empresa. Uma operação com milhares de conversões por mês pode ter, na página que o time quer mexer, trinta conversões por semana. É esse número que manda.

Bruno · 11:18
E repare no que acontece com o tempo. A aula descreve uma etapa com trinta e cinco conversões semanais: ali a mesma pergunta é respondida por seis entrevistas com quem abandonou o formulário, em poucos dias. O teste naquele volume levaria meses e voltaria inconclusivo.

Helena · 11:35
Fechamos com um critério prático, que cabe em quatro perguntas feitas antes de aprovar qualquer experimento. Se alguma delas ficar sem resposta numerada, o teste não sobe, e o tempo economizado aí paga a disciplina do ano inteiro. As duas primeiras são de conteúdo.

Bruno · 11:52
Primeira: o efeito mínimo está escrito e veio da mesa de decisão, e não da calculadora? Segunda: a duração calculada cabe na janela em que a decisão precisa existir? Vinte semanas para um trimestre significa que este teste, do jeito que está, não serve.

Helena · 12:08
Terceira: a duração está em semanas inteiras e a data da leitura ficou marcada antes do lançamento? Quarta: o volume da superfície passa do piso de triagem? Quatro respostas com número ao lado, e a discussão do dia do resultado perde metade da temperatura.

Bruno · 12:24
E uma frase honesta no card resolve o resto: este teste detecta um ganho de dez por cento ou mais; abaixo disso ele devolve empate por construção. Escrita antes, impede que o empate vire derrota da ideia. No próximo episódio, a ordem do que testar dentro de uma página.