Após cada conversa, os participantes foram questionados sobre as mesmas questões de classificação. Os pesquisadores acompanharam todos os participantes 10 dias após o experimento e, então, dois meses depois, para avaliar se suas visões haviam mudado após a conversa com o bot de IA. Os participantes relataram uma redução de 20% na crença na teoria da conspiração escolhida, em média, sugerindo que falar com o bot havia mudado fundamentalmente a mente de algumas pessoas.
“Mesmo em um ambiente de laboratório, 20% é um grande efeito na mudança das crenças das pessoas”, diz Zhang. “Pode ser mais fraco no mundo real, mas mesmo 10% ou 5% ainda seria muito substancial.”
Os autores buscaram se proteger contra a tendência dos modelos de IA de inventar informações — conhecida como alucinação — empregando um verificador de fatos profissional para avaliar a precisão de 128 alegações feitas pela IA. Destas, 99,2% foram consideradas verdadeiras, enquanto 0,8% foram consideradas enganosas. Nenhuma foi considerada completamente falsa.
Uma explicação para esse alto grau de precisão é que muito foi escrito sobre teorias da conspiração na internet, tornando-as muito bem representadas nos dados de treinamento do modelo, diz David G. Rand, professor do MIT Sloan que também trabalhou no projeto. A natureza adaptável do GPT-4 Turbo significa que ele poderia ser facilmente conectado a diferentes plataformas para que os usuários interajam no futuro, ele acrescenta.
“Você poderia imaginar apenas ir a fóruns de conspiração e convidar as pessoas a fazerem suas próprias pesquisas debatendo o chatbot”, ele diz. “Da mesma forma, a mídia social poderia ser conectada a LLMs para postar respostas corretivas a pessoas que compartilham teorias da conspiração, ou poderíamos comprar anúncios de busca do Google contra termos de busca relacionados à conspiração como ‘Estado Profundo’.”
A pesquisa derrubou as noções preconcebidas dos autores sobre o quão receptivas as pessoas eram a evidências sólidas que desmascaravam não apenas teorias da conspiração, mas também outras crenças que não estavam enraizadas em informações de boa qualidade, diz Gordon Pennycook, professor associado da Universidade Cornell que também trabalhou no projeto.
“As pessoas eram notavelmente responsivas às evidências. E isso é realmente importante”, ele diz. “As evidências importam.”