WEBVTT

00:00:00.000 --> 00:00:18.583
Alguém olha para a página de planos e diz: esse formulário está grande demais, vamos testar com
menos campos. A frase parece o começo de um experimento. Este episódio responde o que vem antes
dela: como escrever uma hipótese testável a partir de um problema observado na página.

00:00:18.583 --> 00:00:38.236
A diferença aparece quando o número chega. Teste com hipótese escrita produz aprendizado nos
dois desfechos, porque você sabe o que apostou e por quê. Teste sem hipótese produz um número
solto, que cada área interpreta como convém, e o time termina três semanas depois sem saber o
que aprendeu.

00:00:38.236 --> 00:00:56.218
A aula de experimentação organiza o ciclo em seis etapas: meta, diagnóstico, hipótese,
experimento, decisão e memória. A hipótese ocupa a terceira posição de propósito, depois do
diagnóstico, porque só existe hipótese honesta quando existe um dado observado antes dela.

00:00:56.218 --> 00:01:13.130
E ela vem antes do experimento, porque é ela que define o desenho do teste: qual página, qual
público, qual métrica decide. Quem pula essa etapa acaba desenhando o experimento pela
ferramenta que tem à mão, e a ferramenta nunca sabe qual é a sua dúvida.

00:01:13.130 --> 00:01:20.951
Palpite e hipótese se parecem quando estão escritos lado a lado no mesmo quadro. Como você
separa os dois na prática?

00:01:20.951 --> 00:01:40.404
Com três perguntas. Qual dado observado sustenta isso, e de quando ele é. O que precisaria
acontecer para essa frase ser considerada falsa. Qual número decide. Palpite não responde
nenhuma das três. A aula tem uma formulação que vale decorar: hipótese sem evidência é palpite
com cronograma.

00:01:40.404 --> 00:01:56.514
Palpite às vezes acerta, e ninguém precisa fingir o contrário. O problema é o preço: cada teste
ocupa tráfego, ocupa fila e ocupa semanas do programa. Resolver dúvida barata com teste caro
consome a capacidade que resolveria uma dúvida cara.

00:01:56.514 --> 00:02:16.702
Daí a regra dura do backlog, que é a fila de testes candidatos: hipótese com a coluna de
evidência vazia volta para o diagnóstico e fica fora das primeiras posições. Isso funciona como
triagem, não como castigo. Diagnóstico se resolve mais barato, com gravação de sessão,
entrevista e leitura de funil.

00:02:16.702 --> 00:02:21.849
Primeiro pilar da hipótese: o problema observado. O que conta como observado?

00:02:21.849 --> 00:02:44.577
Comportamento registrado em algum lugar, com data e origem anotadas. Gravação de sessão
mostrando onde as pessoas param. Funil por etapa mostrando qual passagem caiu contra os dois
períodos anteriores. Entrevista com quem abandonou. Contato ao suporte repetindo o mesmo tema.
Algo que outra pessoa abre e confere sem depender do seu relato.

00:02:44.577 --> 00:02:48.053
E o que não conta, mesmo vindo de alguém experiente?

00:02:48.053 --> 00:03:07.505
Comparação com o concorrente, boa prática lida em artigo, e a frase que aparece em toda reunião:
os leads estão vindo ruins. Isso é sintoma relatado, e sintoma abre o diagnóstico, jamais o
fecha. Quem recebe essa frase tem a tarefa de transformá-la em número antes de transformá-la em
teste.

00:03:07.505 --> 00:03:14.457
Antes de fechar este pilar, tem um detalhe que costuma passar despercebido: a instrumentação da
medição.

00:03:14.457 --> 00:03:34.377
Antes de acreditar na taxa do painel, alguém precisa ter conferido o caminho do dado. Evento
disparado no navegador mede intenção de envio; registro criado no destino mede o fato de
negócio. Quando os dois divergem sem explicação, a evidência ainda não existe, e a hipótese
apoiada nela também não.

00:03:34.377 --> 00:03:42.198
Agora o formato. A aula reduz a hipótese a uma frase de três partes: se mudarmos X, então Y deve
acontecer, porque Z.

00:03:42.198 --> 00:03:58.643
X é a mudança, e precisa ser uma só. Se a variação troca o título, encurta o formulário e muda a
cor do botão ao mesmo tempo, o resultado vem sem endereço. Você não descobre qual das três moveu
o número, e o aprendizado morre junto com a leitura.

00:03:58.643 --> 00:04:02.921
Y é o resultado esperado. Qual é o cuidado nessa parte da frase?

00:04:02.921 --> 00:04:21.772
Y precisa ser um número já medido hoje, com direção declarada: sobe ou desce, e em qual métrica.
Escrever que a experiência vai melhorar não fecha nada, porque melhora não tem leitura. E convém
que Y termine perto do fim do funil, em vez de parar na métrica mais próxima da mudança.

00:04:21.772 --> 00:04:26.117
Sobrou o porque Z, que é a parte que mais gente corta por pressa.

00:04:26.117 --> 00:04:48.778
Z é o mecanismo: por que essa mudança deveria produzir esse efeito nessa pessoa. É o que separa
a hipótese de um sorteio com nome bonito. E tem valor prático imediato: quando o teste perde, o
Z é o que sobra para aprender. Você descobre que aquele mecanismo não operava como o time
imaginava, e isso reordena as próximas hipóteses da fila.

00:04:48.778 --> 00:04:53.992
A frase escrita ainda não fecha o pacote. Falta dizer quem decide o resultado.

00:04:53.992 --> 00:05:13.912
A aula chama essa métrica única de OEC, do inglês overall evaluation criterion, o critério geral
de avaliação: a métrica escolhida de antemão para dizer se o teste venceu. Uma só. Card com
quatro métricas de sucesso cria liberdade de interpretação, e no dia do resultado alguém escolhe
a que subiu.

00:05:13.912 --> 00:05:18.257
E as outras métricas que o time acompanha ficam fora da conversa?

00:05:18.257 --> 00:05:37.977
Ficam como contexto, e algumas viram guardrail, a métrica protegida que a vitória não pode
custar: retenção, receita recorrente mensal, qualidade do lead aceito por vendas, velocidade de
resposta da página. Variação que sobe a métrica principal e viola um guardrail declarado conta
como derrota.

00:05:37.977 --> 00:05:42.389
Isso soa duro para quem passou duas semanas defendendo a variação.

00:05:42.389 --> 00:06:00.437
É duro, e é por isso que fica escrito antes. Guardrail com limiar declarado tira a decisão do
terreno da opinião no dia do número. Guardrail sem limiar vira decoração: quando o resultado
chega, cada um lembra de um patamar diferente e decide quem fala mais alto na sala.

00:06:00.437 --> 00:06:19.556
Um exemplo completo, com a ressalva que a própria aula faz: todos os números aqui são supostos,
escritos para deixar a conta visível. Suponha uma plataforma de assinatura mensal. A reunião de
segunda abre com custo por lead bom, página convertendo bem e contratos parados há dois meses.

00:06:19.556 --> 00:06:39.676
O time quer testar o título da página. Quem conduz o ciclo abre o funil primeiro. Suponha visita
para lead estável em quatro por cento, e a aceitação do lead pelo comercial caindo de trinta e
oito para trinta e um por cento em dois meses. O vazamento mora depois da página que todo mundo
queria mexer.

00:06:39.676 --> 00:06:43.019
Achou a etapa. Falta a evidência do comportamento.

00:06:43.019 --> 00:07:03.541
Ela vem da gravação de quarenta sessões de abandono. Suponha seis de cada dez pessoas parando no
campo de faturamento mensal, num formulário de nove campos. Agora existe data, origem e número.
Repare que a evidência não manda fazer nada; ela delimita onde a dúvida mora. A mudança continua
sendo uma aposta.

00:07:03.541 --> 00:07:07.685
Com a evidência na mão, a frase da hipótese fica escrita como?

00:07:07.685 --> 00:07:32.084
Assim: se o campo de faturamento sair do formulário e virar a primeira pergunta do agente de
qualificação, então a taxa de visita para lead sobe, porque o esforço de preencher cai no
momento de maior impaciência. A métrica que decide, porém, é outra: contratos por mil visitas. E
o guardrail vem com limiar, aceitação do lead nunca abaixo de vinte e oito por cento.

00:07:32.084 --> 00:07:35.828
Três semanas de exposição depois, o teste terminou como?

00:07:35.828 --> 00:08:06.711
Com a taxa de lead subindo de quatro para cinco vírgula dois por cento, e a sala comemorando por
dez minutos. Aí veio o recálculo direto do sistema: aceitação em vinte e três por cento, e
contratos por mil visitas em dois vírgula quatro contra dois vírgula cinco. Guardrail violado,
liberação barrada, formulário de volta aos nove campos. E o ciclo entregou algo melhor que a
vitória: o gargalo mora na capacidade de qualificação, e não nos campos do formulário.

00:08:06.711 --> 00:08:23.289
O erro mais comum aqui tem um disfarce excelente, porque parece produtividade. O backlog anda
rápido, o programa mostra muitos testes concluídos no trimestre, e o funil termina o ano com as
mesmas taxas. Boa parte dos resultados volta inconclusiva.

00:08:23.289 --> 00:08:42.474
A causa está na coluna que ordenou a fila. Esforço é o campo mais fácil de preencher, então a
fila vira a lista do que dá menos trabalho subir. Os testes caem em etapas de alcance pequeno,
sobre hipóteses que ninguém ancora em dado observado, e cada resultado morre no dia em que é
lido.

00:08:42.474 --> 00:08:47.153
E a saída, para quem se reconheceu nessa descrição, cabe nesta semana?

00:08:47.153 --> 00:09:07.207
Cabe. Reordene a fila pelos cinco critérios da aula: evidência primeiro, depois alcance,
esforço, risco de guardrail e tempo de reversão. Devolva ao diagnóstico toda hipótese com a
evidência vazia e recuse a entrada dela até existir um dado com data e origem. A fila encurta, e
encurtar é o objetivo.

00:09:07.207 --> 00:09:23.317
Tem um efeito colateral bom nisso. Quando a evidência vira obrigatória, o time descobre que
parte das ideias nem precisava de teste: eram erros claros de usabilidade, que se corrigem
direto, com o guardrail acompanhado nas semanas seguintes.

00:09:23.317 --> 00:09:40.831
Antes de mandar a hipótese para a fila, quatro perguntas filtram bem. A primeira: se a resposta
vier ao contrário do esperado, alguma decisão real muda? Quando nada muda nos dois desfechos, o
teste é entretenimento caro, e você acabou de descobrir isso de graça.

00:09:40.831 --> 00:09:54.000
A segunda é desconfortável: você aceitaria o resultado contrário? Quem já decidiu subir a
mudança de qualquer jeito não precisa de teste, precisa de plano de reversão e de um guardrail
acompanhado.

00:09:54.000 --> 00:10:13.987
A terceira: o mecanismo Z é verificável fora da sua cabeça. Se o Z for que as pessoas gostam
mais assim, ainda não há mecanismo escrito. A quarta: quanto custa voltar atrás. Mudança
reversível em minutos tolera aposta mais ousada; mudança que mexe em preço ou contrato pede
aprovação de outro nível.

00:10:13.987 --> 00:10:18.733
E quando a hipótese passa nas quatro perguntas, o que acontece com ela?

00:10:18.733 --> 00:10:34.175
Entra na fila com o card preenchido e vira o experimento do ciclo. Vencedora ou perdedora, o
resultado é arquivado no repositório do programa, para que o próximo time não proponha a mesma
variação com outro nome daqui a seis meses.

00:10:34.175 --> 00:10:50.285
Fechando com o que fazer amanhã de manhã. Pegue a próxima ideia de teste da sua lista e escreva
as três partes: a mudança, o resultado esperado com a métrica e o mecanismo. Depois escreva a
métrica única que decide e um guardrail com limiar.

00:10:50.285 --> 00:11:08.601
Se você travar no porque Z, achou o ponto: o que falta ali é diagnóstico, e não redação. Volte
para a gravação de sessão, para o funil por etapa ou para três conversas com quem abandonou, e
escreva de novo com o dado na mão. Costuma levar meia hora e economiza três semanas.

00:11:08.601 --> 00:11:20.700
No próximo episódio a gente pega a pergunta que vem logo depois da frase escrita: quanto tráfego
e quanto tempo esse teste precisa para entregar uma resposta em que dá para confiar.