top of page

GapMap Reputacional

O GapMap Reputacional é uma auditoria reputacional elicitativa de LLMs realizada através de um método misto, sequencial, de natureza diagnóstico-prescritiva, que toma os modelos de linguagem ao mesmo tempo como objeto e como instrumento de investigação. O construto medido é a representação da entidade (organização, marca, produto ou executivo) nos modelos, tomada como indicador da favorabilidade de suas respostas orgânicas futuras.

Numa comparação com a literatura de pesquisa, equivale a uma entrevista em profundidade semiestruturada com informante sintético.

O GapMap foi desenvolvido a partir de uma parceria entre a Textual Comunicação e a SocialData, combinando 30 anos de experiência em gestão de reputação com expertise de 30 anos em métricas e pesquisas de mídia, respectivamente.

GapMap_ilustração.jpg

Metodologia

Para a primeira avaliação utilizamos um agente de inteligência artificial autônomo “agnóstico” que recorre a diversos modelos de linguagem para executar suas tarefas (Gemini, GPT, Claude e Qwen), além de outros recursos como motores de busca (Google, Bing), scripts dedicados e aplicativos especializados.

Os resultados são validados por nossos analistas e confrontados com respostas dos principais modelos de linguagem para verificação.

O método se desenvolve em quatro fases:

  1. Elicitação: Os modelos são submetidos a entrevista em profundidade semiestruturada, na condição de informantes sintéticos. Produzem avaliações qualitativo-descritivas da entidade em dimensões predefinidas, convertidas em nota escalar e acompanhadas de evidências, fontes, grau de confiança e justificativa declarada.

  2. Auditoria humana: Analistas examinam as saídas, verificam as fontes e reinterrogam os modelos de forma corretiva.

  3. Validação: A correspondência entre a avaliação elicitada e o comportamento orgânico dos modelos é testada por consultas não estruturadas às principais IAs conversacionais, em temas ligados a cada dimensão, comparando-se a favorabilidade das respostas espontâneas com as notas atribuídas.

  4. Simulação contrafactual: Os modelos estimam a nota que resultaria da correção dos déficits de qualidade das evidências (ausência, visibilidade, comprovação, narrativa, confiança e desempenho), quantificam a lacuna reputacional recuperável e derivam um plano de ações priorizado.

​​

Tipologia referencial

​

Finalidade - Pesquisa aplicada: diagnóstica (fases 1 a 3) e prescritiva (fase 4)

Abordagem - Mista, com predominância qualitativa e quantificação escalar dos julgamentos

Objeto - Representação reputacional da entidade nos modelos

Técnica de coleta - Entrevista em profundidade semiestruturada com informante sintético

Tradição de origem - Auditoria algorítmica (Sandvig et al., 2014); por analogia, LLM-as-a-judge (Zheng et al., 2023) e elicitação de julgamento especializado

Modelo de construto - Reputação como construto multidimensional, conforme a literatura de reputação corporativa, com dimensões predefinidas por estudo

Controle de qualidade - Human-in-the-loop: verificação documental de fontes e reinterrogação iterativa

Validação do construto - Teste de validade convergente por consultas não estruturadas às principais IAs

Lógica inferencial - Abdutiva no diagnóstico, contrafactual na projeção, heurística para o posicionamento na escala

Recorte temporal - Transversal; painel longitudinal se repetido

Produto - Avaliação reputacional (evidências, fontes, raciocínio), escore (posicionamento na escala), lacuna (escore projetado menos escore atual) e agenda de intervenção priorizada

​

Campo de aplicação

​

O campo de aplicação é a Attribute Binding Optimization (ABO), conceito proposto pela SocialData como quarta camada da progressão SEO → AEO → GEO → ABO, voltada ao fortalecimento das associações entre entidade e atributos nas representações dos LLMs. O método constitui a etapa diagnóstica da ABO: mede o estado atual dessas associações por dimensão e estima o ganho alcançável por intervenção. Distingue-se da generative engine optimization (Aggarwal et al., 2024) por tomar como variável dependente a favorabilidade atributiva, e não a visibilidade.

​

Pressupostos e limites

​

  1. Justificativa declarada: O raciocínio relatado pelo modelo é uma saída textual, não um registro do processo que gerou a nota; as duas coisas podem divergir (Turpin et al., 2023).

  2. Estatuto da projeção: A nota contrafactual é uma autoestimativa do modelo. Torna-se previsão validada apenas quando comparada com uma reavaliação posterior às ações.

  3. Efeito do analista: A reinterrogação corretiva altera o objeto medido; registram-se a nota anterior e a posterior à intervenção.

  4. Estabilidade: As saídas variam entre execuções, versões de modelo e condições de acesso à busca. As principais evidências e fontes são recorrentes. Replicações com registro de versão são recomendáveis para entidades de baixa presença digital.

​

Referências

  • AGGARWAL, P. et al. GEO: Generative Engine Optimization. In: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ‘24). Barcelona, 2024. arxiv

  • SANDVIG, C.; HAMILTON, K.; KARAHALIOS, K.; LANGBORT, C. Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms. Trabalho apresentado na pré-conferência “Data and Discrimination”, 64th Annual Meeting of the International Communication Association. Seattle, 2014. equineteurope

  • TURPIN, M.; MICHAEL, J.; PEREZ, E.; BOWMAN, S. R. Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. In: 37th Conference on Neural Information Processing Systems (NeurIPS 2023). arxiv

  • ZHENG, L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. neurips

  • ​FERRARI, F O Sexto Poder - algoritmos, inteligências artificiais e reputação digital (2025)

​

bottom of page