Pare de usar IA generativa como mecanismo de pesquisa

Quantos presidentes perdoaram seus parentes? Acontece que esta é uma pergunta difícil de responder.

Após o perdão de Hunter Biden por seu pai, vários comentaristas recorreram a precedentes – outros perdões a parentes. Caso em questão: Ana Navarro-Cardenas, comentarista que aparece no A vista e CNN. No X, Navarro-Cardenas citou o perdão concedido pelo presidente Woodrow Wilson a seu cunhado Hunter deButts. Isso foi novidade para mim.

A pesquisa oficial de registros de clemência só funciona para pessoas que se inscreveram desde 1989, e uma página de beneficiários de clemência por presidente remonta apenas a Richard Nixon. Tal perdão teria sido controverso, mas não foi mencionado na página biográfica da biblioteca presidencial de Wilson. Find a Grave sugere que Wilson nem tinha um cunhado com esse nome – mostra nove cunhados, mas não nosso homem, Hunter deButts. Não posso provar Wilson não perdoe um Hunter deButts; Só posso dizer que, se o fez, essa pessoa não era seu cunhado.

Navarro-Cardenas não foi a única pessoa a postar perdões desconcertantes. Um Escudeiro artigo chamado “Um presidente não deveria perdoar seu filho? Olá, alguém se lembra de Neil Bush?” baseou-se na premissa de que George HW Bush perdoou seu filho Neil; desde então, foi retirado “devido a um erro”. Um dia antes de sua publicação, o editor executivo do Occupy Democrats, Grant Stern, tuitou uma afirmação semelhante de que Jimmy Carter perdoou seu irmão Billy e George HW Bush perdoou Neil. Pelo que posso dizer, nenhum dos perdões realmente ocorreu.

De onde veio tudo isso? Bem, eu não sei o que Stern ou Escudeiroa fonte era. Mas eu conheço Navarro-Cardenas, porque ela deixou uma mensagem de acompanhamento para os críticos: “Aborde o assunto com o Chat GPT”.

Eu fiz. Perguntei ao ChatGPT e ele identificou Hunter deButts como o marido da irmã de Wilson, Anne. “A família de Woodrow Wilson era bastante proeminente, e sua irmã Anne se casou com Hunter deButts, que era um indivíduo rico e socialmente conectado de uma família proeminente”, disse-me ChatGPT. “Hunter deButts fazia parte da grande família de Wilson, embora não seja tão lembrado nos relatos históricos como outras figuras da vida de Wilson.” De acordo com O jornal New York TimesAnne Wilson casou-se com um homem chamado George Howe. Não está claro de onde veio o nome Hunter deButts.

Acontece que o ChatGPT é uma maneira terrivelmente ruim de explorar o registro histórico. Quando abri e perguntei: “Quantos presidentes dos EUA perdoaram seus parentes?” Recebi uma resposta correta: Bill Clinton perdoou Roger Clinton, seu meio-irmão. Mas, além disso, o ChatGPT também me disse que George HW Bush perdoou seu filho Neil.

Não me lembrava disso e penso na crise da poupança e dos empréstimos com uma quantia muito normal, o que é frequente. (Sou bem ajustado e agradável em festas.) Mas verifiquei novamente usando o mesmo processo que fiz para deButts. Fui à página oficial do Departamento de Justiça para obter indultos presidenciais. Neil Bush não estava lá. Fiz uma pesquisa no sistema de clemência. Lá também não. Depois examinei alguns arquivos de jornais e não consegui encontrar evidências de perdão. É muito difícil provar uma negativa – suponho que seja possível que Neil Bush tenha um perdão secreto algures na Casa Branca do qual nenhum de nós ouviu falar – mas estou bastante convencido de que ninguém o perdoou, muito menos o seu pai.

Há informações igualmente escassas que apontariam para Jimmy Carter perdoando seu irmão. Billy Carter New York Times obituário não faz menção a perdão, e nem O Washington Postdeóbito. Perguntei a Stern se sua fonte era ChatGPT e ele disse “não” e não especificou mais onde obteve suas informações. Ainda assim, perguntar ao ChatGPT se Jimmy Carter perdoou Billy obtém um “sim” inequívoco.

Em 1981, quando Jimmy Carter se aproximava do fim da sua presidência, ele perdoou o seu irmão, Billy, por quaisquer possíveis crimes relacionados com as suas relações com a Líbia. O perdão, no entanto, não cobriu potenciais responsabilidades civis ou outras ações legais, e Billy Carter finalmente concordou em testemunhar perante o Congresso e pagar uma multa por suas ações.

Reconheço que isso é um pouco tedioso, mas estou tentando mostrar meu trabalho. É a melhor maneira de estabelecer minha confiabilidade e algo que você não obterá do ChatGPT. É também algo que nenhuma das pessoas que fizeram afirmações erradas fez.

O ChatGPT me deu outras respostas realmente estranhas – que não se enquadravam na pergunta que fiz sobre os presidentes perdoarem seus parentes. Citou o perdão de Gerald Ford a Richard Nixon, qualificando-o como “embora não seja um membro direto da família”. Também mencionou que Andrew Johnson concedeu anistia a ex-líderes confederados “incluindo alguns familiares de figuras proeminentes do sul”. Também me disse, estranhamente, que Lyndon B. Johnson concedeu clemência a “vários associados”, embora tenha observado que “eles nem sempre envolviam diretamente a sua própria família”. O que?

É compreensível que o ChatGPT não tenha mencionado o perdão de Hunter Biden, uma vez que ocorreu além da data limite de 2023. Mas, estranhamente, o perdão de Donald Trump a Charles Kushner, pai do seu genro Jared Kushner, também não aparece. Ocorreu em 2020. Certamente Kushner é mais um membro da família de Trump do que Nixon é para Ford.

Mandei um e-mail para Hearst para perguntar se Escudeiro o escritor Charles P. Pierce usou o ChatGPT como fonte para seu artigo. A porta-voz Allison Keane disse que não e se recusou a dizer mais nada sobre como o erro poderia ter ocorrido. Stern me disse que encontrou suas informações por meio de “pesquisas na Internet no Google”.

OK. Aqui está o que encontrei no Google: um artigo de algo chamado Tempos do Hindustão intitulado “Antes de Biden: os perdões presidenciais mais notórios de Trump, Clinton e Carter para familiares”. Afirma, erroneamente, que Jimmy Carter perdoou Billy. (Defini minha data limite de pesquisa para 2 de dezembro para evitar a captura de quaisquer artigos de verificação de fatos provenientes de alegações falsas.) Quanto a Neil Bush, encontrei uma postagem X semiviral e um artigo em algo chamado Tempos agora.

Não sei qual é a fonte das reivindicações nem no Tempos do Hindustão ou Tempos agora. Mas achei que valeria a pena ver o que o Google Gemini tinha a dizer sobre esses perdões enquanto eu estava nessa toca do coelho em particular. Gêmeos, em resposta a “Quantos presidentes perdoaram seus filhos”, responde que há apenas um: Joe Biden. Mas questionado sobre quantos presidentes perdoaram familiares, diz-se que Jimmy Carter perdoou Billy e George HW Bush perdoou Neil. Não menciona Kushner e Trump.

Você notará que nessa imagem há cores de destaque. Isso porque pedi ao Google para verificar seus resultados. O perdão de Abraham Lincoln, que é real, está destacado em vermelho — o Google avisa que não encontrou conteúdo relevante. Os perdões de Bush e Carter, que são falsos, são destacados em verde – e o resultado de Carter cita especificamente os erros Tempos do Hindustão artigo como sua fonte.

A perplexidade se sai um pouco melhor, observando que Biden, Trump, Clinton e Lincoln perdoaram parentes. Mas questionado sobre quantos presidentes perdoaram seus filhos, ele lista em suas respostas a carta de anistia de Lincoln em nome da meia-irmã de sua esposa. A meia-irmã da esposa, é preciso dizer, não é um filho.

O que quer que tenha acontecido neste caso, existe um padrão contínuo de pessoas que dependem do ChatGPT ou de outros serviços de IA para fornecer respostas, apenas para obter alucinações em troca. Talvez você se lembre do início deste ano, quando um trailer do filme de Francis Ford Coppola Megalópole foi retirado porque continha citações inventadas de críticos. Uma IA generativa, não identificada, os inventou. Na verdade, o ChatGPT costuma estar “totalmente errado”, de acordo com o Revisão de Jornalismo de Columbia. Dadas 200 citações e solicitado a identificar o editor que foi a fonte dessas citações, o ChatGPT errou parcial ou totalmente em mais de três quartos das vezes.

Até mesmo usar ChatGPT para ajudar no processo de escrita é arriscado. Pergunte a Jeff Hancock, fundador do Stanford Social Media Lab e um conhecido pesquisador de desinformação. Um documento legal que ele apresentou citava fontes que não existiam. Hancock insiste que ele mesmo escreveu o documento, mas usou o GPT-4o para escrever sua lista de citações, resultando em duas citações inventadas e uma citação com os autores errados anexados.

Agora, um defensor da IA ​​poderia – com razão – dizer que um verdadeiro jornalista deveria verificar as respostas fornecidas pelo ChatGPT; que a verificação dos factos é uma parte crítica do nosso trabalho. Eu concordo, e é por isso que orientei você em minha própria verificação neste artigo. Mas estes são apenas exemplos públicos e embaraçosos de algo que penso que acontece com muito mais frequência em privado: uma pessoa normal está a usar o ChatGPT e a confiar nas informações que ele lhe dá.

Uma vantagem da antiga Pesquisa do Google sobre os chamados mecanismos de resposta é que ela vincula diretamente a fontes primárias. Os mecanismos de resposta apenas fornecem uma resposta e muitas vezes não está claro qual é a fonte. Para mim, usar o ChatGPT ou a função de IA do Google cria um trabalho extra – tenho que verificar a resposta em uma fonte primária; a antiga Pesquisa do Google me forneceu essa fonte diretamente.

Mas as pessoas que são menos cautelosas e menos perspicazes do que eu, o que suspeito ser a maioria das pessoas, simplesmente param na resposta e nunca verificam se está certa. Esta é, obviamente, a intenção do mecanismo de resposta – é para isso que ele foi projetado. (Alguém, provavelmente alguém envolvido com PerplexityAI, dirá agora: “ah, mas podemos anotar a origem com notas de rodapé”. O mesmo problema: quem clica nas notas de rodapé?)

Tudo isso é um design ruim, é claro. A tecnologia que realmente atende às pessoas leva em consideração o comportamento humano. Talvez haja uma maneira de tornar a IA generativa útil, mas no seu estado atual, sinto tremendamente por qualquer pessoa ingênua o suficiente para usá-la como ferramenta de pesquisa.

Sei que as pessoas estão cansadas de falar sobre cola na pizza, mas considero chocante a degradação em grande escala do nosso ambiente de informação que já ocorreu. (Basta pesquisar na Amazon se quiser entender o que quero dizer.) Isso acontece de pequenas maneiras, como a IA do Google dizendo erroneamente que raposas machos acasalam para o resto da vida, e grandes, como espalhar informações falsas em torno de um grande evento de notícias. Para que serve uma secretária eletrônica em que ninguém pode confiar?