Transcrição: Como medir um agente Agente de IA no funil comercial · Portal Leadlovers 2026 https://brasilgeo.ai/leadlovers2026/playlist/#episodio-como-medir-um-agente Apresentadora · 0:00 Sabe, se a gente estivesse montando uma equipe de vendas agora e, digamos, eu trouxesse um candidato com o seguinte perfil, olha só, ele fala sem parar, ele responde a qualquer cliente em, tipo, literalmente 3 segundos, é extremamente educado, não dorme, não toma café. É. Apresentador · 0:21 Parece um sonho, né? Apresentadora · 0:22 Pois é. Mas tem um detalhe. No final do mês, ele não fecha um único contrato. Você contrataria essa pessoa? Apresentador · 0:30 Olha, nem pra passar da fase de experiência. Seria uma demissão, assim, imediata. Apresentadora · 0:37 Exato. Apresentador · 0:37 Porque, na gestão comercial tradicional, o esforço visível não compensa aquele resultado financeiro invisível, sabe? A conta simplesmente não fecha. Apresentadora · 0:47 Exatamente. Eu concordo totalmente. A regra no comercial sempre foi muito clara, mas o que me deixa perplexa hoje em dia é que quando o assunto é inteligência artificial, parece que todo bom senso das empresas tipo evapora. Apresentador · 1:03 Com certeza. Vira deslumbre. Apresentadora · 1:06 Sim, os gestores ficam deslumbrados com um robô respondendo super rápido e esquecem de olhar se ele está de fato vendendo. E é por isso que hoje nós vamos fazer esse nosso mergulho profundo. Apresentador · 1:18 Um mergulho super necessário, aliás. Apresentadora · 1:21 Muito! E a gente vai focar nos materiais educacionais do portal da Leadlovers, e especificamente naquela versão da arquitetura deles de 2026, que fala sobre a governança de agentes de IA no funil comercial. E olha, o material é um balde de água fria sensacional. Apresentador · 1:37 É, joga um balde de água fria em todo esse hype que a gente vê no mercado hoje. É um choque de realidade, sabe? A grande missão dessa nossa análise de hoje é responder àquela pergunta que tira o sono de quem lidera as operações. Apresentadora · 1:52 Que é como provar que funciona, né? Isso. Apresentador · 1:56 Quais métricas provam que o agente está ajudando a vender, em vez de ser só, sei lá, um robô que responde muito rápido? No final do dia, a tecnologia tem que pagar o próprio salário. Apresentadora · 2:08 Com certeza. E implementar a IA no comercial sem ter as métricas certas é exatamente como contratar aquele funcionário da nossa analogia inicial, sabe? Aquele que fala muito e não entrega nada. O objetivo não é o hype, é o número real lá na segunda-feira de manhã. Apresentador · 2:25 Exato. Apresentadora · 2:26 Então vamos desempacotar isso. O material aponta direto para uma coisa que eles chamam de armadilha da métrica de atividade. E eu fico vendo isso acontecer o tempo todo. A empresa vai lá, liga o robô, o volume de mensagens explode. O tempo de resposta cai para dois segundos. Isso, e aí o pessoal já abre o champanhe, né? Já acha que resolveu a vida. Mas por que as empresas se iludem achando que o agente de IA é um sucesso logo nesse primeiro mês? É uma ilusão ótica gerencial Apresentador · 2:57 fantástica. Porque pensa bem, o painel de métricas fica todo verde da noite para o dia. Apresentadora · 3:05 Aham. Apresentador · 3:05 Mas a explicação técnica é que o agente de IA tem controle absoluto sobre as métricas de atividade tipo mensagens enviadas ou taxa de resposta. E coopere o jogo em que a máquina controla a regra sozinha, ela vai vencer, ela vai gerar atividade, sabe? Ela é programada para isso, né? Sim. Só que atividade sem o resultado de funil real ali no denominador, ah, isso é pura vaidade. Apresentadora · 3:31 Pra gente visualizar isso melhor e pra quem tá ouvindo materializar o problema, o material traz um cenário numérico pra fins matemáticos que é brilhante. Vamos tipo supor uma operação aqui. Apresentador · 3:44 Tá, vamos lá. Apresentadora · 3:45 Imagine um cenário rodando umas 1.520 conversas por mês, cada conversa puxa digamos 12 chamadas de interação. Apresentador · 3:54 Aham, os requests da API. Apresentadora · 3:56 Isso. E custando ali uns 8 centavos cada chamada. No fim do mês, o gasto total da IA dá R$ 1.459. E com essas conversas, a IA consegue marcar 274 reuniões, o que dá uma taxa de conversão para reunião de 18%. Apresentador · 4:16 Excelente taxa. Apresentadora · 4:18 Muito boa! Aí, se a gente dividir tudo, o custo por cada reunião marcada fica em R$ 5,33. Apresentador · 4:25 Uma maravilha, o sonho de todo o diretor de vendas. Apresentadora · 4:28 Pois é. Só que aí a gente avança um mês. Digamos que o briefing do robô piore. Alguém esquece de atualizar a IA com uma promoção nova, a argumentação fica fraca e a taxa de conversão em reunião cai para 13,5%. Apresentador · 4:43 Que é uma queda bem expressiva. Apresentadora · 4:45 Muito. Só que se o gestor só olha para o volume de mensagens e para o boleto da IA, o que ele percebe? Aham, a fatura não muda. Apresentador · 4:54 Não muda. E o painel continua verde. O robô continua respondendo super-rápido, só que o custo daquela reunião, que era 5 e pouco, sobe para R$ 7,12. Apresentadora · 5:04 R$ 7,12 aumentou muito. Apresentador · 5:07 A operação piora em silêncio. Métrica de atividade, sabe, sem olhar pro fim do funil, não serve pra avaliar desempenho. Apresentadora · 5:15 Nossa, isso é muito perigoso. Fica parecendo que tá tudo incrível e o dinheiro tá ralo abaixo. Tá, então se a gente joga fora essa contagem de mensagens bobas, pra onde esses líderes deviam olhar? O material explora quatro famílias reais de medição, né? Apresentador · 5:29 Isso, as quatro famílias. Apresentadora · 5:30 E a primeira é a resolução. E eu achei engraçado ler nisso, porque pra mim resolução era... Sei lá, o agente respondeu por último e o cliente parou de encher o saco. Apresentador · 5:41 É, mas eles chamam isso de métrica preguiçosa, né? Apresentadora · 5:44 É, super preguiçosa. A definição operacional deles exige três regras juntas pra chamar de resolvido. Apresentador · 5:52 Aham, e quais são? Apresentadora · 5:53 Primeiro, encerrou sem o humano tocar, segundo, entregou de fato o que foi combinado e a terceira que eu achei fantástica, o lead não reabriu aquele mesmo assunto numa janela de sete dias. Apresentador · 6:06 Porque senão você tem aquele falso positivo brutal, a máquina venceu o cliente pelo cansaço, ele fechou a tela irritado e aí a IA registrou como sucesso. Apresentadora · 6:15 Se enganou por desistência, né, mas aí a gente chega na segunda família que que é o escape. A transferência para o humano. E aqui eu tenho que confessar uma coisa. Eu lancei esse desafio lendo material. Mas o ideal, quando você paga um robô, não é ele resolver tudo e a taxa de escape ser zero. É o que quase todo mundo acha. Mas o que é fascinante Apresentador · 6:39 aqui é que buscar esse escape zero é um erro estratégico enorme. Apresentadora · 6:44 É mesmo? Por quê? Apresentador · 6:45 Porque a saúde do negócio exige freios. Eles separam muito bem o que é um escape por gatilho catalogado, de um escape forçado. Apresentadora · 6:54 Dá um exemplo disso pra gente, assim, pra ficar mais claro. Apresentador · 6:57 Claro. Imagina que a sua regra de negócios diz que desconto acima de 10% tem que passar pelo gerente. O lead pede 15%. O robô entende isso, sabe que tá fora da alçada dele e transfere. Isso é um escape por gatilho. Apresentadora · 7:11 Ah, então ele seguiu a regra. Apresentador · 7:13 Ele obedeceu a política perfeitamente, isso é sinal de que o sistema está redondo. Agora, o escape forçado é quando o robô simplesmente trava, entra em loop, não entende o cliente, o cliente digita nervoso e fala com o humano agora. Apresentadora · 7:26 Entendi. Então se você só olha a média geral de escape, você não sabe se a máquina está sendo disciplinada ou se ela enlouqueceu o cliente. Apresentador · 7:36 Exatamente. Apresentadora · 7:37 Faz muito sentido. E aí entra a terceira família, a satisfação. E tem a do lead, óbvio, com aquela perguntinha de um toque no canal, mas eles focam muito na satisfação do vendedor que recebe esse handoff. Apresentador · 7:50 O vendedor que recebe a bola da IA. Apresentadora · 7:52 Isso! Porque imagina o cenário, aí a IA passa o contato, mas passa tudo bagunçado. O vendedor vai ter que ler um histórico enorme ou perguntar tudo de novo para o cliente. Apresentador · 8:03 O que destrói a experiência do cliente, né? Apresentadora · 8:05 Destrói! O material mostra um cenário onde eles medem se os pacotes de informações que a IA entrega para o humano foram aceitos e aí eles viram 84% de pacotes aceitos de primeira. Quando eles começaram a melhorar esses pacotes, as idas e voltas caíram de três interações para apenas uma. Apresentador · 8:27 É um ganho de produtividade absurdo para o vendedor, você limpa o caminho dele. Apresentadora · 8:31 E isso nos leva à quarta família que é a Receita Influenciada, sempre medindo numa janela declarada, tipo 30 dias. Mas aqui tem um perigo corporativo, né? Apresentador · 8:42 Nossa, maior de todos. A briga entre departamentos. Apresentadora · 8:45 Sim, porque o marketing diz que a venda foi do anúncio, vendas diz que foi do vendedor e a área de tech diz que foi do agente de IA. A conta de quem fechou o quê vai dar 300%. Apresentador · 8:56 Pois é, por isso que o material avisa que a receita influenciada é um recorte sobreposto, não é uma fatia separada do bolo. Você tem que encarar como a IA participou dessa jogada, não que ela é a dona exclusiva do gol. E isso evita muita briga em reunião de diretoria. Apresentadora · 9:15 É uma visão bem madura, mas voltando um pouco, como é que a gente sabe se a resolução do agente ou a taxa de handoff tão boa? Se eu olho o painel, sei lá, está marcando 80%, isso é muito, é pouco, a gente precisa de um referencial antes de ligar a máquina. Apresentador · 9:32 Sem dúvida. E é por isso que o conceito do modo sombra, ou Shadow Mode, é tão vital. Apresentadora · 9:39 Eu adoro esse nome, modo sombra. Apresentador · 9:41 É muito bom, né? Você basicamente bota o agente para ler as conversas reais dos SDRs, dos humanos, Apresentadora · 9:48 em tempo real, só que ele não responde para o cliente, ele só anota no sistema o que ele teria feito. Ele fica no mudo só observando e fingindo que joga. Isso, e aí Apresentador · 9:58 no cenário da aula deles, eles pegaram 120 conversas, em modo sombra. A coincidência inicial da decisão do robô com o SDR humano foi de 78%. Só 78? É, não estava tão bom, mas aí eles viram onde a IA estava errando, anexaram a política de descontos correta no briefing, rodaram de novo e a coincidência subiu pra 91%. Apresentadora · 10:23 Aí sim, aí dá confiança pra fazer o Go Live. Apresentador · 10:26 Sim, só que aí tem outro aspecto humano fascinante, o grupo de controle que sobrevive ao Go Live. Apresentadora · 10:32 Como assim? Você liga a IA, mas deixa uns leads só com os humanos. Apresentador · 10:36 Exatamente. Sabe por quê? Porque a memória corporativa é péssima. Seis meses depois que a IA está no ar, a equipe esquece o tempo que perdia qualificando o lead manualmente. Eles começam a reclamar horrores do tempo que gastam revisando um ou outro errinho da IA. Apresentadora · 10:51 Nossa, é verdade! Pessoal se acostuma com o bom muito rápido. Apresentador · 10:55 A impressão humana é sistematicamente falha. Se você não tem um grupo de controle ainda rodando no fluxo 100% humano, você não tem o dado pra provar que a vida antes era muito pior e muito mais lenta. Apresentadora · 11:07 É o argumento irrefutável, né? Você mostra os números do grupo de controle e fala olha aqui como era. Mas falando em lentidão, o agente foi ativado, está voando, bateu a linha de base, só que aí a diretoria olha e as vendas lá no final do funil continuam travadas. Apresentador · 11:24 O famoso gargalo. Apresentadora · 11:25 É, o documento explica isso falando da ilusão da velocidade, que eles chamam de os dois relógios do funil. Apresentador · 11:32 É um conceito muito elegante para explicar um problema muito caótico. Apresentadora · 11:36 Sim. O relógio 1 é a primeira resposta. O agente derruba isso de forma espetacular. No cenário deles, o que o humano levava, sei lá, quatro horas para responder, aí a IA passa a levar alguns minutos. Apresentador · 11:49 E aí todo mundo comemora? Apresentadora · 11:51 Comemora até esbarrar no Relógio 2, que é a assunção pós-handoff. Apresentador · 11:55 Que é do instante exato em que a IA avisa, vou te passar para um especialista, até o primeiro toque de fato daquele vendedor no CRM. Apresentadora · 12:04 E lendo isso, me veio uma analogia, que olha, é como se a gente estivesse construindo uma rodovia de 10 pistas. Essa é a IA gerando e qualificando leads numa velocidade insana. Só que essa super rodovia desemboca numa estradinha de terra de uma pista só. Apresentador · 12:23 Que são os vendedores. Apresentadora · 12:24 Isso, os vendedores estão saturados, o gargalo não sumiu, ele só mudou de lugar e agora você tem um monte de oportunidade envelhecendo e esfriando na fila. E a média do tempo geral ainda parece boa por causa da IA. Como resolve isso? Apresentador · 12:41 A solução é parar de olhar para a média. A média esconde a fila, ela camufla o gargalo. A liderança precisa medir esses tempos separados, usando mediana e o percentil 90. Apresentadora · 12:50 O P90? Apresentador · 12:51 Isso, porque o P90 te mostra a dor real. Ele diz, olha, nos seus piores cenários aceitáveis, o cliente está esperando dois dias inteiros para um humano dar um oi. A média nunca te mostraria isso. Apresentadora · 13:04 É, a média ia dizer que está tudo certo em algumas horas. Bom, sabendo onde está o gargalo para a gente poder acelerar nessa rodovia sem bater o carro de frente, a operação precisa de freios, e o material entra nas contramétricas de segurança e no FinOps, a parte financeira. Apresentador · 13:20 Essencial para não quebrar a empresa, literalmente. Apresentadora · 13:22 Sim, eles falam de uma amostragem de erro factual, reclamações na fila, aqueles opt-outs que a pessoa pede para sair da lista e que você tem que focar por cadência de mensagens, mas aí eu te pergunto, não dá pra perceber quando a IA tá errando simplesmente pelo tom dela? Apresentador · 13:38 Lendo a conversa? De jeito nenhum. Sério? É a armadilha dos modelos de linguagem. O modelo mente, ele alucina com a mesmíssima fluência e confiança de quando ele tá falando a verdade. Ele é um mentiroso extremamente articulado e educado. Você só pega o erro com uma auditoria humana focada nos fatos, não no tom. Apresentadora · 14:01 Meu Deus. Isso é assustador, ele te dá um desconto que não existe com toda a educação do mundo. Apresentador · 14:08 E aí que entra a necessidade de um freio financeiro, o que eles chamam de Circuit Breaker. Apresentadora · 14:13 Explica como isso funciona com aqueles nossos números lá do começo, o teto de gastos. Apresentador · 14:18 Lembra que o nosso custo esperado era de R$ 1.459, né? A diretoria vai lá e define um teto de, digamos, R$ 2.900. 900. Um circuit breaker real não é só um alerta, ele é um corte. Quando o gasto bater, sei lá, R$ 2.030, que é um 70%, apita no painel de todo mundo. Fica tudo vermelho. Isso, e se bater no 100% do teto, tem um corte total na hora. A API é desligada, o agente cala a boca, não espera ninguém aprovar. Apresentadora · 14:50 Para não estourar o orçamento do mês no final de semana, né? Apresentador · 14:53 E tudo isso amarra naquela ideia de que o agente só ganha a autonomia se provar três coisas no nível atual que ele está, qualidade, segurança e reversibilidade. Apresentadora · 15:04 Ele tem que merecer subir os degraus da escada de níveis, não dá para soltar ele no nível Apresentador · 15:08 máximo no dia um. Exato. Bom, cumprimos muita coisa técnica. Como é que a liderança junta todos esses conceitos num lugar só para tomar decisão na segunda-feira de manhã com a cabeça doendo já? Apresentadora · 15:20 O material propõe o painel mínimo da segunda-feira. Não é aquele dashboard com 50 gráficos. São, no máximo, 10 linhas visuais, obrigatórias. Mas cada linha exige três coisas inegociáveis. Apresentador · 15:36 Quais são? Primeira, a definição operacional do que é aquela métrica, para não ter confusão. Segunda, uma cadência de leitura. Apresentadora · 15:44 E como é essa cadência? Apresentador · 15:46 Eles dão um exemplo muito prático. 15 minutos por semana para a Higiene. Sabe ver os errinhos rápidos? Uma hora por mês para a decisão mais profunda e meio período a cada trimestre para revisar a Apresentadora · 15:58 arquitetura inteira. Tá, e a terceira coisa inegociável? É o dono por cargo. Quem Apresentador · 16:03 responde por aquela linha? Porque sem um dono claro, a decisão vira órfã. Se o painel fica vermelho, quem aperta o botão? Se não tem nome do cargo lá, Apresentadora · 16:11 ninguém faz nada. Todo mundo olha para o lado na reunião e a culpa é de todo mundo. Exatamente, fica todo mundo paralisado. Então, pra gente resumir, o que isso tudo significa pra quem nos acompanhou até aqui? A mensagem central é que medir IA não é sobre o volume de atividade, é sobre governar um novo membro da equipe que afeta o negócio real, o caixa Apresentador · 16:33 da empresa. E pensando em tudo que a gente discutiu hoje, me vem um pensamento provocativo, que não tá lá nas fontes, mas é o passo lógico de tudo isso. O que seria? Se Se os agentes de IA chegarem a um ponto no futuro em que a taxa de resolução inicial e aquele handoff forem tipo quase perfeitos, o papel do vendedor humano vai deixar de ser o de um fechador de negócios tradicional. Ele vai se tornar um puro auditor de relacionamentos complexos. A tecnologia vai limpar tudo que é transacional. O que acontece com a equipe quando lidar com a exceção se torna um único trabalho humano? Apresentadora · 17:09 Caramba! É uma mudança de paradigma enorme. O vendedor vira quase um diplomata de crises super específicas e a máquina faz o volume. Fica aí então esse convite super sutil para quem acompanha a gente continuar questionando as suas próprias métricas de funil na segunda-feira, porque o futuro já está batendo na porta. Obrigada por acompanhar nessa nossa análise de hoje e até o próximo Mergulho Profundo.