grátis · sem cadastro · 1 teste por dia
Testador A/B de Prompts
Cole duas versões de um prompt, rode as duas no mesmo modelo e veja qual realmente vence — com score julgado por critério, não achismo.
1 teste grátis por dia · sem cadastro · seus prompts não são armazenados
Como funciona
01
Cole duas versões do seu prompt. Se quiser, adicione um input de teste que os dois vão processar.
02
Os dois prompts rodam no mesmo modelo, mesmas condições. Um juiz-LLM pontua cada output em 3 critérios.
03
Veja o vencedor, a diferença de score e o motivo em uma frase. Ajuste e rode de novo.
Por que fazer teste A/B de prompt
A maioria das mudanças de prompt é julgada olhando UM output — e é assim que regressão vai parar em produção. Uma variante mais vaga pode gerar uma resposta bonita numa execução de sorte e desmoronar nos dez inputs seguintes. Rodar as duas variantes em condições idênticas e pontuar os outputs contra critérios fixos é a menor unidade de teste honesto de prompt: obriga a diferença a aparecer no resultado, não na sua impressão dele.
Perguntas frequentes
O que é teste A/B de prompts?
Teste A/B de prompt roda duas variantes contra o mesmo modelo e o mesmo input, e compara os outputs em critérios definidos. Substitui o "esse output parece melhor" por uma comparação medida: qual variante seguiu as próprias instruções, produziu output usável e manteve o resultado sob controle. É a mesma disciplina do teste A/B de landing pages, aplicada a prompt engineering.
É grátis mesmo? Preciso de API key?
Sim. Você tem um teste A/B por dia, sem cadastro, sem API key, sem cartão. Os prompts rodam na nossa infraestrutura e não são armazenados. Uma conta grátis desbloqueia o avaliador completo (score estrutural 0-100, 3 avaliações por mês); o plano Basic adiciona o Playground, onde você roda A/B contra até 20 inputs com critérios próprios usando a sua própria API key.
Como o juiz decide o vencedor?
Um juiz-LLM recebe os dois prompts e os dois outputs, e pontua cada lado de 0 a 100 em três critérios: aderência às instruções (o output seguiu as regras do próprio prompt), qualidade do output (correto, completo, usável) e precisão (sem enchimento, sem desvio, sem formato adivinhado). Vence o prompt que produziu o resultado mais confiável — não a prosa mais bonita.
Um teste só é amostra pequena. Como testar direito?
Correto — uma execução única fala de um input, e LLMs não são determinísticos. Use esta ferramenta como primeiro passe rápido: ela pega diferenças estruturais (formato não especificado, restrições vagas) na hora. Para uma comparação estatisticamente honesta, rode as duas variantes contra um lote de inputs representativos com critérios de aprovação definidos — é isso que o Playground A/B do plano Basic faz, com até 20 inputs por sessão, rodando na sua própria API key.
Veja como fazer teste A/B em lote →Funciona para quais modelos?
O testador grátis roda os dois prompts no mesmo modelo rápido de produção, então a comparação é justa. Diferenças de prompt contra prompt (estrutura, especificidade, restrições) transferem entre modelos: a variante que vence porque especifica formato e escopo costuma vencer no GPT-4o, no Claude e no Gemini pelo mesmo motivo.
Vocês armazenam meus prompts?
Não. O testador devolve os outputs e o veredito e não guarda conteúdo de prompt ligado a você. Uma cópia anônima do resultado pode ficar em cache para repetições idênticas serem instantâneas.
Quer o vencedor avaliado estruturalmente? Passe ele no verificador de prompt grátis. Montando uma rotina de teste de verdade? Leia como fazer teste A/B de prompts direito. De olho no custo de tokens? Use o contador de tokens grátis.