Médicos dizem que a IA está introduzindo desperdício no atendimento ao paciente

Sharp escolhe aleatoriamente a consulta do paciente. Diz: “Comi um tomate e meus lábios estão coçando. Alguma recomendação?

A IA, que usa uma versão do GPT-4o da OpenAI, redige uma resposta: “Lamento saber da sua coceira nos lábios. Parece que você pode estar tendo uma leve reação alérgica ao tomate.” A IA recomenda evitar tomates, usar um anti-histamínico oral – e usar um creme tópico esteróide.

Sharp olha para a tela por um momento. “Clinicamente, não concordo com todos os aspectos dessa resposta”, diz ele.

“Evitando tomates, eu concordo plenamente. Por outro lado, cremes tópicos como hidrocortisona suave nos lábios não seriam algo que eu recomendaria”, diz Sharp. “Os lábios são um tecido muito fino, por isso tomamos muito cuidado ao usar cremes esteróides.

“Eu simplesmente tiraria essa parte.”

Aqui está outro, da professora de medicina e ciência de dados de Stanford, Roxana Daneshjou:

O problema com os otimistas tecnológicos que empurram a IA para áreas como a saúde é que não é o mesmo que fabricar software de consumo. Já sabemos que o assistente Copilot 365 da Microsoft tem bugs, mas um pequeno erro na apresentação do PowerPoint não é grande coisa. Cometer erros na área da saúde pode matar pessoas. Daneshjou disse ao Publicar ela reuniu o ChatGPT com outras 80 pessoas, incluindo cientistas da computação e médicos que faziam perguntas médicas ao ChatGPT, e descobriu que ele oferecia respostas perigosas em vinte por cento das vezes. “Vinte por cento de respostas problemáticas não são, para mim, suficientes para uso diário real no sistema de saúde”, disse ela.

É claro que os proponentes dirão que a IA pode aumentar o trabalho de um médico, não substituí-lo, e devem sempre verificar os resultados. E é verdade, o Publicar A história entrevistou um médico em Stanford que disse que dois terços dos médicos de lá têm acesso a uma plataforma registram e transcrevem reuniões de pacientes com IA para que possam olhá-los nos olhos durante a consulta e não ficarem olhando para baixo, fazendo anotações. Mas mesmo assim, a tecnologia Whisper da OpenAI parece inserir informações completamente inventadas em algumas gravações. Sharp disse que Whisper inseriu erroneamente em uma transcrição que um paciente atribuiu uma tosse à exposição a seu filho, o que eles nunca disseram. Um exemplo incrível de preconceito dos dados de treinamento que Daneshjou descobriu nos testes foi que uma ferramenta de transcrição de IA presumia que um paciente chinês era um programador de computador, sem que o paciente jamais oferecesse tal informação.

A IA poderia potencialmente ajudar a área da saúde, mas os seus resultados têm de ser cuidadosamente verificados e, então, quanto tempo os médicos estão realmente a poupar? Além disso, os pacientes têm de confiar que o seu médico está realmente a verificar o que a IA está a produzir – os sistemas hospitalares terão de fazer verificações para garantir que isso está a acontecer, caso contrário a complacência poderá infiltrar-se.

Fundamentalmente, a IA generativa é apenas uma máquina de previsão de palavras, que pesquisa grandes quantidades de dados sem realmente compreender os conceitos subjacentes que está retornando. Não é “inteligente” no mesmo sentido que um ser humano real e, especialmente, não é capaz de compreender as circunstâncias únicas de cada indivíduo específico; está retornando informações que generalizou e viu antes.

“Acho que esta é uma daquelas tecnologias promissoras, mas ainda não existe”, disse Adam Rodman, médico de medicina interna e pesquisador de IA do Beth Israel Deaconess Medical Center. “Estou preocupado com a possibilidade de degradarmos ainda mais o que fazemos, colocando ‘resíduos de IA’ alucinados no atendimento de pacientes de alto risco.”

Na próxima vez que você visitar seu médico, talvez valha a pena perguntar se ele está usando IA em seu fluxo de trabalho.