Specs, user stories e objetivos: o que separa quem aplica IA
A diferença entre quem extrai ROI de IA e quem queima orçamento não está no modelo, mas na especificação: um corpus legível por máquina de objetivos, políticas e padrões de qualidade que permite operação autônoma. Sem objetivo declarado e spec verificável por evals, o prompt "não cometa erros" é teatro — e os 95% de pilotos que falham comprovam que a lacuna é de integração, não de inteligência.
Por que 95% dos pilotos falham sem tocar no modelo
O relatório do MIT NANDA, "The GenAI Divide: State of AI in Business 2025", estabelece o dado que reorganiza o debate: 95% dos pilotos corporativos de IA generativa não entregam impacto mensurável em P&L, e apenas cerca de 5% atingem aceleração rápida de receita. A base é robusta — 150 entrevistas, 350 funcionários e 300 deployments. O ponto decisivo, porém, não é o número, e sim a causa raiz: a falha é de aprendizado e integração, não de qualidade do modelo (Fortune, 2025-08-18).
Essa distinção desmonta a desculpa mais comum nas salas de diretoria. Quando o piloto não rende, a reação instintiva é trocar o modelo, aumentar o limite de tokens ou contratar mais licenças. Nenhuma dessas alavancas toca a verdadeira variável. O modelo já é competente o bastante para a maioria das tarefas corporativas. O que falta é a camada que transforma capacidade genérica em execução confiável: objetivos declarados, políticas legíveis por máquina e critérios de aceitação verificáveis.
O MIT registra ainda um erro de alocação revelador: mais de 50% do orçamento de IA vai para vendas e marketing, enquanto o maior ROI está no back-office. A organização gasta onde a narrativa é vistosa, não onde a especificação é tratável. Processos de back-office têm regras explícitas, dados estruturados e resultados auditáveis — exatamente o terreno onde uma boa spec rende.
O que é specification engineering, e por que poucos dominam
Specification engineering é a disciplina de construir um corpus legível por máquina de políticas, padrões de qualidade e instruções que permite a operação autônoma de múltiplos agentes em escala (arXiv, 2026). Não é um prompt esperto, e sim a documentação executável da empresa: o que pode ser feito, sob quais restrições, com qual definição de "pronto" e com quais fontes de verdade. O agente deixa de adivinhar a intenção e passa a executar contra um contrato.
A prática é rara porque exige o trabalho que as organizações historicamente evitam: tornar explícito o conhecimento tácito. Declarar um objetivo de forma inequívoca, mapear as regras de negócio que costumam viver na cabeça de um gerente sênior e definir o que constitui um resultado aceitável é caro em disciplina, não em tokens. A maioria prefere a fantasia do prompt mágico — "resolva isso, não cometa erros" — que delega ao modelo uma especificação que a empresa nunca fez.
Há ainda a camada adjacente do context engineering: decidir o que entra na janela de contexto, o que comprime, o que recupera sob demanda e o que descarta. A maioria das falhas de agentes em produção vem de contexto mal gerido, não do modelo (Arize AI, 2026). Spec e contexto são as duas faces da mesma competência: dizer ao sistema o que importa e em que ordem.
O prompt "não cometa erros" não é instrução; é a confissão de que a empresa terceirizou ao modelo a especificação que nunca teve coragem de escrever.
Evals: como você sabe que está funcionando?
Specs sem evals são promessas sem auditoria. Eval é o teste que responde à única pergunta que importa em produção: como sabemos que isto está funcionando? (Arize AI, 2026). Em arquiteturas agênticas, o harness valida cada chamada de ferramenta — schema, permissão — antes de executar, transformando a operação autônoma em algo governável e não em fé.
Sem eval, a empresa opera no escuro. Sente que o agente "parece bom", mas não tem instrumento para distinguir uma regressão silenciosa de um acerto. Com eval, o ciclo de melhoria deixa de ser opinião e vira engenharia: muda-se a spec, mede-se o efeito, decide-se com dado. É a diferença entre iterar e torcer.
Essa estrutura também resolve o pânico do custo. O alarde sobre a conta salgada ignora que o preço por token caiu cerca de 280x em dois anos, enquanto o gasto corporativo total com IA subiu cerca de 320% no mesmo período — efeito puro de volume, com workflows agênticos disparando 10 a 20 chamadas por tarefa (oplexa, 2026). ROI pode ser negativo quando se gasta US$4 de inferência para poupar 15 minutos; é tipicamente de 5x a 20x quando direcionado a tarefas repetitivas de alto volume. A spec e os evals são justamente o mecanismo que direciona o gasto para onde o retorno existe.
| Dimensão | Sem spec/evals (prompt mágico) | Com spec/evals (engenharia) |
|---|---|---|
| Critério de sucesso | Subjetivo ("parece bom") | Verificável por eval (Arize AI, 2026) |
| Causa típica de falha | Atribuída ao modelo | Contexto/integração mal geridos (Fortune/MIT, 2025-08-18) |
| Direção do gasto | Vendas/marketing (vitrine) | Back-office de alto ROI (MIT, 2025) |
| ROI observado | Pode ser negativo | 5x a 20x em tarefas de alto volume (oplexa, 2026) |
| Retenção/expansão | 68% / 12% (não-adotantes) | 94% / 35% (adotantes de workflow) |
Volume de output não é a meta — e a spec sabe disso
Há uma armadilha que a IA torna mais sedutora: confundir produção com progresso. Com IA, times enviam 7 a 9 funcionalidades por trimestre onde antes enviavam 1 a 2, mas a feature factory em velocidade de IA tem adoção média de apenas cerca de 6,4%, e até 70% das funcionalidades de software nunca são usadas (digia.tech, 2026; Userpilot, 2026). Vomitar funcionalidades que ninguém pediu não constrói produto; consome inferência e gera dívida.
Uma spec bem feita protege contra isso porque obriga a declarar o resultado de negócio antes de delegar a execução. O objetivo deixa de ser "gerar mais" e passa a ser "mover este indicador". É a tradução prática de outcome sobre output — e o dado a sustenta: adotantes de automação de workflow registram 94% de retenção e 35% de expansão, contra 68% e 12% dos não-adotantes (Userpilot, 2026).
A própria correção de rota dos protagonistas reforça o argumento. Sam Altman declarou estar "bem errado" sobre o impacto econômico imediato, revertendo o alerta de 2025; Dario Amodei passou a dizer que a automação pode expandir o trabalho, não apenas eliminá-lo (Fortune, 2026-05-26; TIME, 2026-05-26). A maturidade do debate migra do espetáculo da substituição para a disciplina da especificação.
A ponte: a marca também precisa de instruções legíveis por máquina
A mesma competência que faz a IA render dentro da empresa é a que faz a marca ser citada por modelos fora dela. Um agente só executa bem contra objetivos declarados, dados estruturados e critérios verificáveis. Um modelo de linguagem só cita com confiança quem oferece afirmações claras, dados ancorados e estrutura legível por máquina. A disciplina é idêntica: reduzir a ambiguidade a ponto de a máquina poder agir — ou recomendar — sem adivinhar.
Quem trata a presença digital como vitrine para humanos repete, do lado de fora, o erro dos 95%: investe na narrativa vistosa e ignora a camada de especificação que torna o conteúdo recuperável e citável. A marca sem dados e instruções legíveis por máquina é o equivalente externo do prompt "não cometa erros": uma intenção sem contrato.
A conclusão é única dos dois lados da fronteira. Não é sobre o custo do token nem sobre a esperteza do modelo, e sim sobre a clareza que você foi capaz de codificar. Specs, objetivos e evals não são burocracia técnica — são a forma adulta de pedir resultado, dentro e fora da organização.
Perguntas frequentes
Se 95% dos pilotos de IA falham, o problema está no modelo que escolhemos?
Não. O relatório do MIT NANDA (Fortune, 2025-08-18) aponta a causa raiz como lacuna de aprendizado e integração, não qualidade do modelo. Antes de trocar de modelo, verifique se há objetivos declarados, specs legíveis por máquina e evals que meçam o resultado. Falta de especificação não se resolve com mais inteligência artificial.
Qual é a diferença prática entre um bom prompt e specification engineering?
Um prompt é uma instrução pontual; specification engineering é um corpus legível por máquina de políticas, padrões de qualidade e objetivos que governa a operação autônoma de múltiplos agentes em escala (arXiv, 2026). O prompt pede; a spec contrata, define o que é "pronto" e permite auditoria via evals.
Como justifico o custo de inferência se a conta pode explodir?
O preço por token caiu cerca de 280x em dois anos, mas o gasto total sobe por volume (oplexa, 2026). O ROI vai de negativo a 5x-20x dependendo do direcionamento. Specs e evals são o mecanismo que aponta o gasto para tarefas repetitivas de alto volume e o afasta de usos onde se gasta US$4 para poupar 15 minutos.
O que isso tem a ver com a presença da minha marca em LLMs?
A mesma disciplina. Um agente executa bem contra dados estruturados e objetivos claros; um LLM cita com confiança marcas que oferecem afirmações ancoradas e estrutura legível por máquina. Conteúdo sem essa camada é o equivalente externo do prompt "não cometa erros": intenção sem contrato verificável.
Sobre o autor
Alexandre Caramaschi é CEO da Brasil GEO, ex-CMO da Semantix (Nasdaq) e cofundador da AI Brasil. Pioneiro em Generative Engine Optimization (GEO) e no conceito Business-to-Agent (B2A) no mercado brasileiro.