Transcrição: Do teste ao padrão Experimentação para conversão · Portal Leadlovers 2026 https://brasilgeo.ai/leadlovers2026/playlist/#episodio-do-teste-ao-padrao Diálogo · 0:00 Bom, a pergunta para abrir a nossa conversa de hoje é direta, como documentar um aprendizado de teste para que ele valha nas próximas páginas do time? Pois é, e o irônico sabe, é que essa pergunta costuma chegar bem tarde. Geralmente, ela só surge depois daquela comemoração ou do alívio quando o teste finalmente acaba, né? Diálogo · 0:24 Exato, o teste acabou, a decisão foi assinada e pronto, o risco enorme é que o aprendizado fique só ali na cabeça de quem participou ativamente. Mas olha, a gente já promete a solução agora no começo, o registro que sobrevive ao teste é o mesmo card que abriu o experimento que agora arquiva o aprendizado. Diálogo · 0:44 E só para a gente cravar uma fronteira rápida aqui, a leitura do resultado e a decisão de manter, descartar ou repetir, bom, isso já é bagagem resolvida na nossa última conversa, né? Sim, total. Uma coisa para os métodos qualitativos, para a página sem tráfego ou aquela parte de hipótese e amostragem que vimos lá no início do programa. Diálogo · 1:05 Isso mesmo, então o nosso foco hoje é estritamente o segundo produto desse ciclo, aquele conhecimento que sobra para o futuro e que, tipo, costuma evaporado nada. E a gente precisa falar sobre o problema real de deixar isso evaporar. Sem um registro consultável, um time que é perfeitamente competente gasta um trimestre inteiro redescobrindo o que já foi testado. Diálogo · 1:30 Nossa, um trimestre é muita coisa. É bizarro, né? Eles acabam rodando o mesmo formulário encurtado, a mesma promessa ali na chamada, só que com um título novo. E aí tomam a mesma surpresa no final. É o famoso retrabalho. Se a gente conectar isso com a etapa de memória da operação, tem uma pergunta orientadora que não falha. Diálogo · 1:51 Quem mais vai precisar saber disso daqui a seis meses? Se a resposta depende de alguém lembrar de uma reunião, o aprendizado já se perdeu. Faz todo o sentido. Cada etapa do método precisa fechar com um artefato. Mas peraí, me tira uma dúvida importante aqui. Pode falar. E quando o teste dá muito errado e quebra alguma coisa no produto, a gente simplesmente apaga o card e finge que não aconteceu nada. Diálogo · 2:14 De jeito nenhum, pelo contrário, testes que causaram incidentes entram direto como caso permanente de regressão na esteira. O erro que derrubou um guardrail ganha o direito de ser conferido para sempre. Até porque a variação que causou o problema tende a reaparecer com outra roupa, trazida por outra pessoa, né? Com certeza. E é por isso que o que tapa esse furo é o card original do experimento, que já existia antes do primeiro visitante. Diálogo · 2:39 Não precisa inventar formulário novo. Maravilha. Não precisa empacotar a anatomia desse card, porque ele já traz um monte de coisa fechada antes do lançamento para impedir reinterpretações, sabe? Sim, é uma enumeração bem robusta. Tem o contexto com evidência datada, a hipótese em uma frase, a métrica única de decisão que é a OEC, única, os guardrails com limiar e dono definidos, o prazo fechado antes do lançamento e a reversão ensaiada. Diálogo · 3:06 Tudo isso já estava lá. Exato. E é justamente por isso que arquivar custa pouco, entende? Consiste apenas em completar o card original com o desfecho, o resultado agregado, a quebra por segmento, o plano de reversão e a recomendação final, que é o que mirar e o que evitar. Para materializar, vamos a um cenário suposto aqui. Diálogo · 3:27 Imagina um teste perdedor clássico, mas que o registro guardou certinho a quebra de comportamento entre celular e computador. Tá. Celular e computador. Digamos que a gente tinha dois relógios na etapa seguinte. A recomendação que ficou arquivada mirou especificamente na capacidade de qualificação na fila do agente, em vez de focar nos campos do formulário. Diálogo · 3:48 Olha que exemplo bom. Ou seja, o teste perdeu na métrica fria, mas a herança que ficou foi uma pergunta muito melhor para o próximo ciclo, uma herança que só existe porque foi escrita no card. Perfeito. Só que para essa herança valer, a operação inteira precisa saber onde achar. O nome disso é a memória do programa. Diálogo · 4:08 É um repositório interno acessível a qualquer squad sem precisar ficar pedindo permissão de acesso, sabe? E é aí que entra a nossa regra. O endereço único da memória é escolha da casa, regra nossa. Manter um card por teste, numa pasta única. Pode ser documento ou planilha, mas com o desfecho no topo e o link apontado do backlog. Diálogo · 4:30 Isso tudo é escolha da casa. E funciona porque o sistema faz uma manutenção orgânica. Todo card novo obriga o autor a preencher aquele campo de decisão anterior. Nossa, esse campo solda tudo. Salva mesmo. Um campo vazio numa etapa que já teve teste no ano é sinal claro de card mal preenchido. Isso tira totalmente o peso de depender da disciplina espontânea das pessoas. Diálogo · 4:54 Fica mecânico. E tem outra regra que amarra isso. A releitura da biblioteca, que é também escolha da casa nossa, acontece sempre na abertura de cada card novo e na reunião de decisão, direto no fluxo. Sem cerimônia, sabe? Claro, porque se a leitura de um arquivo fica dependendo de eventos especiais, ah, ele volta a ser um mero álbum de recordação bonito, né? Diálogo · 5:18 E falando do preenchimento, as descrições no card não podem ser vagas. De jeito nenhum. Descrições genéricas são sinal de campo mal preenchido. O card amarra o resultado com muita força à página, à etapa, ao segmento e ao mecanismo exato. Essa especificidade que define o alcance do conhecimento. Um ganho ali, bom, vale com segurança pra ali. Diálogo · 5:44 Ampliar pro resto exige uma régua própria. Mais uma escolha da casa aqui, pra definir quando o contexto é igual. E o ganho pode subir. A régua de semelhança, que é a escolha da casa, exige mesma etapa, mesmo público e mesmo mecanismo. Bateu os 3. O negócio sobe como mudança registrada. Isso? Em fatias e com guardrail acompanhado no período seguinte, mas sem precisar de um teste formal do zero. Diálogo · 6:12 Só que o bicho pega quando o contexto muda, né? Ah, aí a história é outra. O resultado não viaja sozinho. E tem três motivos clássicos pra isso. Primeiro, os resultados agregados invertem por segmento. Isso assusta muita gente. O ganho que explode no celular pode perder no computador. Exato, o paradoxo de Simpson. E o segundo motivo é o tempo. Diálogo · 6:36 O efeito de novidade some depois de algumas semanas. Aquele comportamento revolucionário era só o usuário curioso com o botão novo. Volta tudo ao normal depois. E o terceiro? O terceiro é que o vencedor mais bonito costuma superestimar o efeito real. É pura flutuação estatística de curto prazo. Peraí. Então diante disso tudo, a gente simplesmente descarta o ganho quando vê que o contexto não é idêntico. Diálogo · 7:03 Não, de forma alguma. O card antigo não vai pro lixo. Ele vira evidência datada pra sustentar um novo card. Ele é a base de um novo teste adaptado àquele contexto diferente. Entendi. E mesmo quando o ganho viaja, ele herda a disciplina de rollout na veia. É fatia declarada. Próxima fatia condicionada ao guardrail estável na fatia anterior. Diálogo · 7:28 Gatilho de reversão escrito no card e um dono capaz de acionar a volta sem esperar reunião. Sem dúvida. Mas olha, pra isso tudo parar em pé, um aprendizado só vira regra se houver autoridade formal. O famoso piloto de 90 dias é quem institui isso. Ele define o ritual fixo, o dono da decisão final, o poder de veto formal e garante que o repositório esteja em uso pelos squads. Diálogo · 7:54 Porque se não tem dono claro, as opiniões tardias chegam atropelando, reescrevem resultados no grito e no fim do dia ninguém assina a memória. Exatamente. A prova real de maturidade de uma operação é o museu de lições aprendidas, um teste perdedor arquivado com orgulho, em vez do mural que só guarda vitórias. Perfeito. O motor que ordena uma fila de testes de verdade é uma biblioteca alimentada com evidências reais, em vez do debate infinito em sala de reunião. Diálogo · 8:23 Quando a gente faz isso, acaba com aquele padrão bizarro de ter backlogs andando rápido, mas que continuam devolvendo funis com as mesmas taxas em geral. Ficar patinando no mesmo lugar acabou. Bom, então para fechar e tirar isso da teoria para o tempo presente, o plano da semana tem passos claros. Primeiro, completar o card do último teste encerrado com o desfecho. Diálogo · 8:43 Sem adiar. Segundo, definir o endereço único da memória, que é a escolha da casa. E mover os cards soltos para lá. Terceiro, preencher a decisão anterior do próximo card fazendo a releitura da biblioteca. Também escolha da casa. Recusando qualquer campo vazio. Não aceita campo em branco de jeito nenhum. Quarto, aplicar a régua de semelhança. Diálogo · 9:05 A nossa última escolha da casa de hoje, aquele ganho que espera para viajar pelo produto. E por fim, levar um teste perdedor arquivado como prova, com muito orgulho, à próxima reunião. Um ótimo plano de ação. O convite está na mesa. Executem o plano hoje, começando pelo card do último teste encerrado. E a gente se vê na próxima.