

GapMap Reputacional
O GapMap Reputacional é uma auditoria reputacional elicitativa de LLMs realizada através de um método misto, sequencial, de natureza diagnóstico-prescritiva, que toma os modelos de linguagem ao mesmo tempo como objeto e como instrumento de investigação. O construto medido é a representação da entidade (organização, marca, produto ou executivo) nos modelos, tomada como indicador da favorabilidade de suas respostas orgânicas futuras.
Numa comparação com a literatura de pesquisa, equivale a uma entrevista em profundidade semiestruturada com informante sintético.
O GapMap foi desenvolvido a partir de uma parceria entre a Textual Comunicação e a SocialData, combinando 30 anos de experiência em gestão de reputação com expertise de 30 anos em métricas e pesquisas de mídia, respectivamente.

Metodologia
Para a primeira avaliação utilizamos um agente de inteligência artificial autônomo “agnóstico” que recorre a diversos modelos de linguagem para executar suas tarefas (Gemini, GPT, Claude e Qwen), além de outros recursos como motores de busca (Google, Bing), scripts dedicados e aplicativos especializados.
Os resultados são validados por nossos analistas e confrontados com respostas dos principais modelos de linguagem para verificação.
O método se desenvolve em quatro fases:
-
Elicitação: Os modelos são submetidos a entrevista em profundidade semiestruturada, na condição de informantes sintéticos. Produzem avaliações qualitativo-descritivas da entidade em dimensões predefinidas, convertidas em nota escalar e acompanhadas de evidências, fontes, grau de confiança e justificativa declarada.
-
Auditoria humana: Analistas examinam as saídas, verificam as fontes e reinterrogam os modelos de forma corretiva.
-
Validação: A correspondência entre a avaliação elicitada e o comportamento orgânico dos modelos é testada por consultas não estruturadas às principais IAs conversacionais, em temas ligados a cada dimensão, comparando-se a favorabilidade das respostas espontâneas com as notas atribuídas.
-
Simulação contrafactual: Os modelos estimam a nota que resultaria da correção dos déficits de qualidade das evidências (ausência, visibilidade, comprovação, narrativa, confiança e desempenho), quantificam a lacuna reputacional recuperável e derivam um plano de ações priorizado.
Tipologia referencial
Finalidade - Pesquisa aplicada: diagnóstica (fases 1 a 3) e prescritiva (fase 4)
Abordagem - Mista, com predominância qualitativa e quantificação escalar dos julgamentos
Objeto - Representação reputacional da entidade nos modelos
Técnica de coleta - Entrevista em profundidade semiestruturada com informante sintético
Tradição de origem - Auditoria algorítmica (Sandvig et al., 2014); por analogia, LLM-as-a-judge (Zheng et al., 2023) e elicitação de julgamento especializado
Modelo de construto - Reputação como construto multidimensional, conforme a literatura de reputação corporativa, com dimensões predefinidas por estudo
Controle de qualidade - Human-in-the-loop: verificação documental de fontes e reinterrogação iterativa
Validação do construto - Teste de validade convergente por consultas não estruturadas às principais IAs
Lógica inferencial - Abdutiva no diagnóstico, contrafactual na projeção, heurística para o posicionamento na escala
Recorte temporal - Transversal; painel longitudinal se repetido
Produto - Avaliação reputacional (evidências, fontes, raciocínio), escore (posicionamento na escala), lacuna (escore projetado menos escore atual) e agenda de intervenção priorizada
Campo de aplicação
O campo de aplicação é a Attribute Binding Optimization (ABO), conceito proposto pela SocialData como quarta camada da progressão SEO → AEO → GEO → ABO, voltada ao fortalecimento das associações entre entidade e atributos nas representações dos LLMs. O método constitui a etapa diagnóstica da ABO: mede o estado atual dessas associações por dimensão e estima o ganho alcançável por intervenção. Distingue-se da generative engine optimization (Aggarwal et al., 2024) por tomar como variável dependente a favorabilidade atributiva, e não a visibilidade.
Pressupostos e limites
-
Justificativa declarada: O raciocínio relatado pelo modelo é uma saída textual, não um registro do processo que gerou a nota; as duas coisas podem divergir (Turpin et al., 2023).
-
Estatuto da projeção: A nota contrafactual é uma autoestimativa do modelo. Torna-se previsão validada apenas quando comparada com uma reavaliação posterior às ações.
-
Efeito do analista: A reinterrogação corretiva altera o objeto medido; registram-se a nota anterior e a posterior à intervenção.
-
Estabilidade: As saídas variam entre execuções, versões de modelo e condições de acesso à busca. As principais evidências e fontes são recorrentes. Replicações com registro de versão são recomendáveis para entidades de baixa presença digital.
Referências
-
AGGARWAL, P. et al. GEO: Generative Engine Optimization. In: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ‘24). Barcelona, 2024. arxiv
-
SANDVIG, C.; HAMILTON, K.; KARAHALIOS, K.; LANGBORT, C. Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms. Trabalho apresentado na pré-conferência “Data and Discrimination”, 64th Annual Meeting of the International Communication Association. Seattle, 2014. equineteurope
-
TURPIN, M.; MICHAEL, J.; PEREZ, E.; BOWMAN, S. R. Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. In: 37th Conference on Neural Information Processing Systems (NeurIPS 2023). arxiv
-
ZHENG, L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. neurips
-
FERRARI, F O Sexto Poder - algoritmos, inteligências artificiais e reputação digital (2025)