Protocolo AUDITSEO para benchmark de Search AI: como medir marcas sem fabricar precisão

Por que publicar o protocolo antes do primeiro grande estudo

Uma empresa que divulga um número como '73% de visibilidade em IA' sem explicar prompts, marcas, plataformas, datas e classificação produz uma aparência de precisão que o leitor não consegue auditar. A AUDITSEO quer inverter essa ordem: primeiro o método público; depois os resultados.

Isso também cria disciplina interna. Quando critérios são definidos antes da coleta, fica mais difícil ajustar o método apenas para produzir uma conclusão mais interessante.

1. Defina a pergunta de pesquisa

Todo benchmark começa com uma pergunta operacional. Exemplos: 'quais marcas são mais mencionadas em prompts de comparação de softwares contábeis no Brasil?' ou 'quais domínios aparecem como fonte em perguntas sobre tratamento X?'. Sem uma pergunta clara, a coleta vira inventário de respostas sem conclusão útil.

2. Defina o universo antes de testar

• mercado e país
• categoria analisada
• lista de marcas e regra de inclusão
• tipos de intenção
• plataformas/produtos
• idioma
• período de coleta

3. Construa prompts por intenção, não por conveniência

A amostra precisa representar jornadas plausíveis. Uma divisão mínima pode incluir descoberta de categoria, problema, comparação, validação de marca, decisão e perguntas branded. Prompts criados apenas porque já sabemos que uma marca aparece neles distorcem o benchmark.

O texto exato de cada prompt recebe um identificador imutável dentro daquele ciclo. Alterar palavras significa criar uma nova versão, não sobrescrever silenciosamente a anterior.

4. Registre condições de coleta

• plataforma e produto utilizados
• data e horário
• idioma e mercado
• estado de login quando relevante ao método
• localização quando controlada ou inferida
• busca/web ativa quando observável
• número de repetições por prompt
• eventuais instruções adicionais usadas na sessão

5. Defina o schema de classificação antes da coleta

Mention

A marca aparece textualmente na resposta, independentemente de possuir link ou citação?

Citation

Uma URL ou domínio ligado à marca aparece explicitamente como fonte/citação observável?

Recommendation

A marca é apresentada como opção apropriada/recomendada para o cenário, em vez de apenas mencionada?

Source domain

Quais domínios são usados como fontes: marca, imprensa, diretório, fórum, documento oficial ou outra categoria definida?

Context accuracy

A descrição da marca está correta, incompleta, ambígua ou contém erro factual?

6. Use repetição para observar instabilidade

Quando a pergunta é prioritária, executar múltiplas repetições permite medir recorrência dentro daquela janela. Se uma marca aparece em uma de cinco execuções, isso é diferente de aparecer em cinco de cinco. O protocolo registra ambas as situações sem fingir que a resposta é deterministicamente estável.

7. Calcule métricas apenas dentro da amostra declarada

• Mention Rate = execuções da amostra com menção / execuções elegíveis
• Citation Rate = execuções com citação observável da marca / execuções elegíveis
• Recommendation Rate = execuções em que a marca é recomendada / execuções elegíveis
• Source Share = frequência relativa de domínios/fontes dentro das citações coletadas
• Competitive Share of Voice = presença relativa entre marcas na mesma amostra definida

Os denominadores precisam acompanhar qualquer número publicado. Uma taxa sem amostra é apenas um percentual descontextualizado.

8. Versione o benchmark

Cada ciclo recebe versão, data, prompts congelados e regras de classificação. Se a plataforma muda significativamente, a comparabilidade pode ser quebrada e isso deve ser registrado. O histórico não é sobrescrito.

9. Faça revisão humana dos casos ambíguos

Automação ajuda a coletar e classificar grandes volumes, mas casos ambíguos precisam de regra de adjudicação. Um revisor deve conseguir abrir a resposta original, entender por que recebeu determinada classe e corrigir um erro sem apagar a trilha de auditoria.

10. Publique limitações junto com resultados

• respostas generativas são variáveis
• plataformas e modelos podem mudar durante ou depois da coleta
• localização, conta e contexto podem afetar respostas
• uma amostra de prompts não representa toda a demanda do mercado
• correlação temporal não prova que uma ação de SEO/GEO causou a mudança
• ausência de citação não significa necessariamente ausência total de influência da fonte

Como esse protocolo se conecta ao futuro AUDITSEO Search AI Observatory

O Observatory deve ser a implementação operacional deste protocolo: um conjunto versionado de mercados, marcas, prompts, respostas, fontes e classificações. Só depois de validar coleta, qualidade e reprodutibilidade faz sentido publicar um 'State of Search AI Brasil' com números proprietários.

Documentos que aprofundam ou sustentam este tema