WEBVTT

00:00:00.000 --> 00:00:04.560
O teste acabou, a poeira baixou, a comemoração pela vitória é o aquele suspiro de alívio

00:00:04.560 --> 00:00:07.200
por não ter quebrado a produção, já passaram.

00:00:07.200 --> 00:00:11.840
Mas fica a grande pergunta, como a gente documenta um aprendizado de teste para que ele realmente

00:00:11.840 --> 00:00:14.000
valha nas próximas páginas do time, hein?

00:00:14.000 --> 00:00:17.120
Pois é, vamos direto ao ponto na nossa análise de hoje.

00:00:17.120 --> 00:00:20.440
A nossa promesa aqui é de uma simplicidade muito poderosa.

00:00:20.440 --> 00:00:24.040
O registro que sobrevive ao teste não é um formulário novo.

00:00:24.040 --> 00:00:28.440
O mesmíssimo card que abriu o experimento é o documento que vai arquivar e eternizar

00:00:28.440 --> 00:00:29.640
esse aprendizado.

00:00:29.640 --> 00:00:34.280
Exatamente, essa é a bússola que direciona toda a nossa conversa.

00:00:34.280 --> 00:00:40.320
Como registrar a resposta antes que esse conhecimento supervalioso se perca na loucura do dia a dia

00:00:40.320 --> 00:00:41.320
da operação?

00:00:41.320 --> 00:00:43.880
A chave é não inventar trabalho.

00:00:43.880 --> 00:00:47.320
O veículo para isso já existe e já está em movimento.

00:00:47.320 --> 00:00:52.920
A gente só precisa garantir que o desfecho seja registrado no lugar certo na hora certa.

00:00:52.920 --> 00:00:56.360
E vale pontuar que a leitura dos resultados e a decisão de manter o descartar já são

00:00:56.360 --> 00:00:58.120
bagagem resolvida para nós, tá?

00:00:58.120 --> 00:01:00.600
A gente já passou dessa etapa do método.

00:01:00.600 --> 00:01:03.640
Nosso foco agora é puramente o conhecimento que sobra.

00:01:03.640 --> 00:01:07.480
Porque, ó, quando esse conhecimento evapora, a conta é alta.

00:01:07.480 --> 00:01:12.600
Sem um registro claro, times super competentes gastam exato um trimestre redescobrindo testes

00:01:12.600 --> 00:01:13.600
passados.

00:01:13.600 --> 00:01:14.600
É impressionante.

00:01:14.600 --> 00:01:19.280
A equipe roda o mesmo formulário encurtado, a mesma promessa só coloca um título novo,

00:01:19.280 --> 00:01:21.640
mas a surpresa no final é idêntica.

00:01:21.640 --> 00:01:25.240
Só que tem uma exceção crucial na nossa operação, o caso de regressão permanente

00:01:25.240 --> 00:01:26.240
do programa.

00:01:26.240 --> 00:01:28.840
Sabe aqueles testes que causaram algum tipo de incidente?

00:01:28.840 --> 00:01:30.160
Ah, com certeza.

00:01:30.160 --> 00:01:34.600
Um erro que derrubou um guarde-rei uma vez ganha o direito vitalício de ser conferido

00:01:34.600 --> 00:01:35.600
pra sempre.

00:01:35.600 --> 00:01:39.360
Isso acontece porque a variação que causou o problema tende a reaparecer nos ciclos

00:01:39.360 --> 00:01:42.160
seguintes, só que disfarçada, usando outra roupa, sabe?

00:01:42.160 --> 00:01:44.760
O registro é o que previna esse desastre recorrente.

00:01:44.760 --> 00:01:48.440
E o pulo do gato de toda essa dinâmica é que o veículo pra esse registro já

00:01:48.440 --> 00:01:52.120
tá lá, vivinho, desde antes do primeiro visitante ser exposto.

00:01:52.120 --> 00:01:55.000
Até porque a nossa hipótese e o desenho da mostragem já foram resolvidos

00:01:55.000 --> 00:01:56.000
lá no início.

00:01:56.000 --> 00:02:00.040
E feito antes do lançamento, o card já carrega o contexto com evidência

00:02:00.040 --> 00:02:05.880
datada, a hipótese escrita numa frase só, a métrica única de decisão, os guarda-reios,

00:02:05.880 --> 00:02:08.080
o prazo e a reversão ensaiada.

00:02:08.080 --> 00:02:13.000
Ter tudo isso engatilhado impede qualquer reinterpretação mágica por parte do time

00:02:13.000 --> 00:02:14.880
quando os números finalmente chegam.

00:02:14.880 --> 00:02:18.840
E sabe o que torna o arquivamento algo realmente fazível na prática?

00:02:18.840 --> 00:02:21.280
É que não é um bicho de sete cabeças.

00:02:21.280 --> 00:02:24.040
Arquivar é uma decisão bem simples de quem opera.

00:02:24.040 --> 00:02:27.160
A gente só precisa completar o card original com um desfecho.

00:02:27.160 --> 00:02:31.320
É literalmente só adicionar o resultado agregado, aquela quebra essencial por

00:02:31.320 --> 00:02:34.880
segmento, o plano de reversão e a recomendação final.

00:02:34.880 --> 00:02:38.800
Esse arquivo concluído é a instrução clara que diz a próxima equipe exatamente

00:02:38.800 --> 00:02:40.760
o que mirar e o que evitar.

00:02:40.760 --> 00:02:44.040
Pra deixar isso mais palpável, vamos pegar um exemplo real.

00:02:44.040 --> 00:02:48.560
A gente teve um teste que foi perdedor, mas o registro dele guardou a quebra decisiva

00:02:48.560 --> 00:02:51.280
entre os acessos pelo celular e pelo computador.

00:02:51.280 --> 00:02:54.600
E com esse nível de detalhe, o arquivo recomendou atacar a capacidade de

00:02:54.600 --> 00:02:58.280
qualificação do usuário, em vez de simplesmente sair cortando campos do

00:02:58.280 --> 00:02:59.080
formulário.

00:02:59.080 --> 00:03:03.400
O teste perdeu? Sim, mas ele entregou pro programa uma pergunta infinitamente

00:03:03.400 --> 00:03:05.360
melhor pro próximo ciclo.

00:03:05.360 --> 00:03:09.080
Agora, fisicamente falando, onde toda essa documentação mora?

00:03:09.080 --> 00:03:12.080
A gente chama esse espaço de memória do programa.

00:03:12.080 --> 00:03:16.400
É um repositório interno consultável que qualquer squad consegue alcançar

00:03:16.400 --> 00:03:18.400
sem precisar pedir permissão pra ninguém.

00:03:18.400 --> 00:03:22.400
O formato e a cadência vão variar, claro, pra se acomodar ao tamanho da equipe.

00:03:22.400 --> 00:03:26.960
É aqui que a gente precisa anunciar a nossa primeira regra, a nossa escolha da casa

00:03:26.960 --> 00:03:27.720
pro formato.

00:03:27.720 --> 00:03:31.680
O endereço único da memória exige um padrão inflexível.

00:03:31.680 --> 00:03:36.520
A escolha da casa é adotar estritamente um card por teste dentro de uma pasta

00:03:36.520 --> 00:03:38.080
única compartilhada.

00:03:38.080 --> 00:03:42.240
O desfecho fica escrito bem no topo pra bater o oliver e o link dele tem

00:03:42.240 --> 00:03:44.960
que ser apontado diretamente do backlog.

00:03:44.960 --> 00:03:49.960
Mas vem cá, como a gente garante que na correria da rotina esse arquivo não seja ignorado.

00:03:49.960 --> 00:03:53.960
O segredo estrutural tá num campo simples chamado decisão anterior.

00:03:53.960 --> 00:03:57.600
Esse campo força a equipe a consultar o arquivo na abertura de todo e qualquer

00:03:57.600 --> 00:03:58.520
card novo.

00:03:58.520 --> 00:04:02.200
Se um card novo chega com o campo de decisão anterior vazio numa etapa do

00:04:02.200 --> 00:04:04.640
funil que costuma receber experimentos do ano,

00:04:04.640 --> 00:04:07.920
olha, é o sinal mais gritante de um card mal preenchido.

00:04:07.920 --> 00:04:10.960
O que nos encaminha direto pra nossa segunda disciplina,

00:04:10.960 --> 00:04:13.560
que também é uma escolha da casa anunciada.

00:04:13.560 --> 00:04:15.960
O consumo dessa biblioteca de aprendizados.

00:04:15.960 --> 00:04:20.080
Como escolha da casa, a releitura da biblioteca acontece obrigatoriamente na

00:04:20.080 --> 00:04:24.600
abertura de cada card novo e também na reunião de decisão, sem precisar de

00:04:24.600 --> 00:04:25.280
cerimônia.

00:04:25.280 --> 00:04:28.680
Um arquivo que só é lido em eventos super especiais de revisão acaba

00:04:28.680 --> 00:04:30.760
virando só um álbum de recordação.

00:04:30.760 --> 00:04:34.120
Expandindo um pouquinho mais esse olhar para as decisões de produto,

00:04:34.120 --> 00:04:38.200
repetir um ganho no exato mesmo ambiente e generalizar esse ganho são dois

00:04:38.200 --> 00:04:41.520
cenários críticos, mas são decisões fundamentalmente diferentes.

00:04:41.520 --> 00:04:45.880
Isso porque o card de amarra está da resultado ao seu objeto, a página, a etapa

00:04:45.880 --> 00:04:47.360
do funil e o segmento.

00:04:47.360 --> 00:04:51.320
Uma descrição super ampla que serve para qualquer teste da empresa mostra

00:04:51.320 --> 00:04:52.200
falta de rigor.

00:04:52.200 --> 00:04:55.440
O ganho medido numa página vale com total segurança para ela.

00:04:55.440 --> 00:04:58.240
Generalizar já é um segundo movimento.

00:04:58.240 --> 00:05:02.280
Mas como a gente mede matematicamente se o cenário é semelhante ou não?

00:05:02.280 --> 00:05:05.840
Bom, introduzimos agora a nossa terceira escolha da casa declarada,

00:05:05.840 --> 00:05:07.280
a régua de semelhança.

00:05:07.280 --> 00:05:10.280
Para definir de fato quando o contexto é verdadeiramente igual,

00:05:10.280 --> 00:05:13.960
a nossa escolha da casa exige três critérios batendo ao mesmo tempo.

00:05:13.960 --> 00:05:17.240
Tem que ser a mesma etapa do funil, o mesmo público e o mesmíssimo

00:05:17.240 --> 00:05:20.000
mecanismo descrito na hipótese original.

00:05:20.000 --> 00:05:22.120
E quando o contexto atende aos três critérios?

00:05:22.120 --> 00:05:23.000
Maravilha!

00:05:23.000 --> 00:05:26.360
O padrão pode sugir e escalar para as outras páginas de um jeito muito mais

00:05:26.360 --> 00:05:27.080
confiável.

00:05:27.080 --> 00:05:30.720
Nesse cenário igual, o ganho provado entra como uma mudança registrada

00:05:30.720 --> 00:05:34.280
direto na plataforma, sem a dor de cabeça de um novo teste formal.

00:05:34.280 --> 00:05:35.200
Mas calma lá!

00:05:35.200 --> 00:05:38.480
Sobe em fatias e com todos os guardarraios sendo ativamente

00:05:38.480 --> 00:05:40.880
monitorados pelo time responsável.

00:05:40.880 --> 00:05:43.600
Porém, e quando o contexto é diferente?

00:05:43.600 --> 00:05:46.120
A régua é clara e exige um car de novo.

00:05:46.120 --> 00:05:50.800
Tem três fenômenos do mercado que são inegáveis que explicam o porquê disso.

00:05:50.800 --> 00:05:54.520
Primeiro, os resultados agregados podem se inverter drasticamente

00:05:54.520 --> 00:05:56.320
quando a gente fatia por segmento.

00:05:56.320 --> 00:05:59.720
Segundo, aquele efeito de novidade que inflamava o engajamento

00:05:59.720 --> 00:06:02.320
simplesmente some depois de algumas semanas.

00:06:02.320 --> 00:06:06.360
E terceiro, o vencedor mais bonito entre vários costuma superestimar

00:06:06.360 --> 00:06:08.480
o efeito real no longo prazo.

00:06:08.480 --> 00:06:13.760
Tudo isso só evidencia de forma implacável que generalizar não elimina o nosso cuidado.

00:06:13.760 --> 00:06:18.120
A generalização erda integralmente a disciplina rigorosa do rollout.

00:06:18.120 --> 00:06:19.400
É aquela vela história.

00:06:19.400 --> 00:06:23.120
Sober um padrão para todas as páginas no mesmo dia é trocar um risco

00:06:23.120 --> 00:06:24.960
controlado por um risco aberto.

00:06:24.960 --> 00:06:29.120
É liberar o vencedor na cesta e gerar um caos no suporte na segunda.

00:06:29.120 --> 00:06:32.600
A regra manda manter a fatia declarada, o guarde-reo estável,

00:06:32.600 --> 00:06:36.920
um gatilho de reversão escrito e um dono muito claro que consiga acionar a volta.

00:06:36.920 --> 00:06:40.840
Toda essa operação só para em bé através da governança.

00:06:40.840 --> 00:06:45.640
O piloto de 90 dias institui os pilares fundamentais para segurar a estrutura toda.

00:06:45.640 --> 00:06:50.800
São esses pilares que garantem que a cultura da experimentação não seja esmagada pela pressa,

00:06:50.800 --> 00:06:55.080
um ritual fixo de reunião, um dono inquestionável para decisão final,

00:06:55.080 --> 00:06:59.440
a regla do veto formal para a proteção e o repositório sendo usado na prática

00:06:59.440 --> 00:07:01.680
pelos squads na rotina diária.

00:07:01.680 --> 00:07:06.080
Tem uma frase sensacional que define a maturidade de quem opera programas no dia a dia.

00:07:06.080 --> 00:07:08.480
A memória de verdade guarda o que doeu.

00:07:08.480 --> 00:07:13.280
A prova definitiva de que um programa maduro não é uma galeria colorida cheia de vitórias.

00:07:13.280 --> 00:07:16.280
É um teste perdedor arquivado minuciosamente.

00:07:16.280 --> 00:07:19.360
O próximo squad não está procurando um mural de conquistas para se inspirar.

00:07:19.360 --> 00:07:23.200
A equipe precisa entender exatamente quais pontos de dor já foram mapeados

00:07:23.200 --> 00:07:24.880
para poder desviar deles.

00:07:24.880 --> 00:07:29.880
E o ganho colateral de manter toda essa disciplina é o fim dos impasses estratégicos.

00:07:29.880 --> 00:07:34.040
Uma biblioteca bem alimentada ordena a fila de prioridades mil vezes melhor

00:07:34.040 --> 00:07:36.480
do que debates infinitos em sala de reunião.

00:07:36.480 --> 00:07:37.640
É muito simples.

00:07:37.640 --> 00:07:41.680
Uma hipótese nova que surge firmemente apoiada em um card já arquivado,

00:07:41.680 --> 00:07:45.360
ela sobe na prioridade do backlog em uma velocidade absurda,

00:07:45.360 --> 00:07:50.280
atropelando qualquer opinião que não tenha sustentação nos dados da própria operação.

00:07:50.280 --> 00:07:54.520
O que nos traz de forma muito natural para o plano de execução prático.

00:07:54.520 --> 00:07:59.480
Sem pausar as nossas esteiras, vamos aos movimentos que cabem nessa semana presente.

00:07:59.480 --> 00:08:06.280
O passo 1 é resgatar o último teste recém-cerrado e completar fisicamente o card dele com um desfecho.

00:08:06.280 --> 00:08:09.920
O passo 2 é definir o nosso indeinesso único da memória

00:08:09.920 --> 00:08:14.840
e mover para lá qualquer card que estiver espalhado em e-mail ou apresentação perdida.

00:08:14.840 --> 00:08:17.800
Continuando com foco nas novas implementações,

00:08:17.800 --> 00:08:22.480
o passo 3 é preencher a decisão anterior de cada novo card

00:08:22.480 --> 00:08:24.960
consultando o arquivo que a gente acabou de unificar.

00:08:24.960 --> 00:08:28.200
E no passo 4, a tarefa é pegar a nossa régua de semelhança

00:08:28.200 --> 00:08:33.520
e aplicar aos ganhos que já estão ali esperando na fila de lançamento para viajar.

00:08:33.520 --> 00:08:40.120
Todo o movimento, a partir de hoje, depende inteiramente de consultar a biblioteca primeiro.

00:08:40.120 --> 00:08:43.360
Para fechar a semana com chave de ouro, a gente tem um movimento que atesta

00:08:43.360 --> 00:08:45.520
que o programa subiu de nível na governança.

00:08:45.520 --> 00:08:49.120
O quinto passo é a missão de levar para a próxima reunião de decisão

00:08:49.120 --> 00:08:51.480
um teste perdedor plenamente arquivado.

00:08:51.480 --> 00:08:55.440
E tem que estar tão completo que se torna elegível por alguém de fora da equipe

00:08:55.440 --> 00:08:57.760
provando a robustez da nossa memória.

00:08:57.760 --> 00:09:02.000
Encerrando a nossa análise, o chamado é 100% focado na ação.

00:09:02.000 --> 00:09:05.840
Sem previsões milagrosas sobre os resultados do final do trimestre.

00:09:05.840 --> 00:09:08.480
O método só entrega aquilo que a disciplina constrói.

00:09:08.480 --> 00:09:12.960
A equipe responsável está equipada e pronta para aplicar o plano da semana hoje mesmo?

00:09:12.960 --> 00:09:17.440
Chegou a hora de transformar os testes isolados no nosso padrão de acúmulo de conhecimento.

00:09:17.440 --> 00:09:19.240
O endereço da memória está na mesa.

00:09:19.240 --> 00:09:20.440
A execução começa agora.
