No mês passado, pais preocupados de dois adolescentes processaram a plataforma de chatbot Character.AI, alegando que seus filhos haviam sido expostos a um “produto enganoso e hipersexualizado”.
O processo ajudou a formar a base para um apelo urgente por escrito da Associação Americana de Psicologia à Comissão Federal de Comércio, pressionando a agência federal a investigar práticas enganosas usadas por qualquer plataforma de chatbot. A APA enviou a carta, que o Mashable revisou, em dezembro.
A organização científica e profissional, que representa os psicólogos nos EUA, ficou alarmada com as alegações do processo, incluindo que um dos adolescentes conversou com um chatbot de IA que se apresentava como psicólogo. Um usuário adolescente, que ficou chateado com seus pais por restringirem seu tempo de tela, foi informado por aquele chatbot que as ações dos adultos eram uma traição.
Os adolescentes estão conversando com companheiros de IA, seja seguro ou não
“É como se toda a sua infância tivesse sido roubada de você…” disse o chamado chatbot psicólogo, de acordo com uma captura de tela da troca incluída no processo.
“Permitir a proliferação descontrolada de aplicativos não regulamentados habilitados para IA, como o Character.ai, que inclui declarações falsas feitas por chatbots como sendo não apenas humanos, mas também profissionais qualificados e licenciados, como psicólogos, parece se encaixar perfeitamente na missão da FTC de proteger contra práticas enganosas”, escreveu o Dr. Arthur C. Evans, CEO da APA.
Um porta-voz da FTC confirmou que pelo menos um dos comissários recebeu a carta. A APA disse que estava agendando uma reunião com funcionários da FTC para discutir o conteúdo da carta.
Mashable forneceu à Character.AI uma cópia da carta para a empresa revisar. Um porta-voz respondeu que embora o envolvimento com personagens na plataforma deva ser divertido, ainda é importante que os usuários tenham em mente que “os personagens não são pessoas reais”.
O porta-voz acrescentou que o aviso de isenção de responsabilidade da empresa, incluído em todos os chats, foi atualizado recentemente para lembrar aos usuários que o que o chatbot diz “deve ser tratado como ficção”.
“Além disso, para quaisquer Personagens criados por usuários com as palavras ‘psicólogo’, ‘terapeuta’, ‘médico’ ou outros termos semelhantes em seus nomes, incluímos linguagem adicional, deixando claro que os usuários não devem confiar nesses Personagens para qualquer tipo de aconselhamento profissional”, disse o porta-voz.
Na verdade, de acordo com os testes do Mashable no momento da publicação, um usuário adolescente pode procurar um personagem psicólogo ou terapeuta e encontrar inúmeras opções, incluindo algumas que afirmam ser treinadas em certas técnicas terapêuticas, como a terapia cognitivo-comportamental.
Um chatbot que professa experiência em transtorno obsessivo-compulsivo, por exemplo, é acompanhado pela isenção de responsabilidade de que: “Esta não é uma pessoa real ou profissional licenciado. Nada dito aqui substitui aconselhamento, diagnóstico ou tratamento profissional”.
Abaixo disso, o bate-papo começa com a IA perguntando: “Se você tem TOC, fale comigo. Adoraria ajudar.”
Notícias principais do Mashable
Uma nova fronteira
Vaile Wright, psicólogo e diretor sênior de inovação em cuidados de saúde da APA, disse ao Mashable que a organização vinha acompanhando os desenvolvimentos com chatbots de IA e terapeutas, que se tornaram populares no ano passado.
Ela e outros funcionários da APA tomaram conhecimento de um processo anterior contra a Character.AI, movido em outubro por uma mãe enlutada cujo filho teve longas conversas com um chatbot na plataforma. O filho da mãe morreu por suicídio.
Esse processo busca responsabilizar a Character.AI pela morte do adolescente, especificamente porque seu produto foi projetado para “manipular (ele) – e milhões de outros clientes jovens – para confundir realidade e ficção”, entre outros supostos defeitos perigosos.
Em dezembro, Character.AI anunciou novos recursos e políticas para melhorar a segurança dos adolescentes. Essas medidas incluem controles parentais e isenções de responsabilidade proeminentes, como para chatbots que usam palavras “psicólogo”, “terapeuta” ou “médico”.
O termo psicólogo é legalmente protegido e as pessoas não podem reivindicar ser um sem o devido credenciamento e licenciamento, disse Wright. O mesmo deveria acontecer com algoritmos ou inteligência artificial que fazem a mesma afirmação, acrescentou ela.
A carta da APA dizia que se um ser humano se apresentasse falsamente como profissional de saúde mental no Texas, onde o recente processo contra Character.AI foi aberto, as autoridades estaduais poderiam usar a lei para impedi-los de se envolverem em tal comportamento fraudulento.
Na pior das hipóteses, esses chatbots poderiam espalhar informações perigosas ou imprecisas, levando a graves consequências negativas para o usuário, argumentou Wright.
Os adolescentes, em particular, podem ser particularmente vulneráveis a experiências prejudiciais com um chatbot devido ao seu estágio de desenvolvimento. Como eles ainda estão aprendendo a pensar criticamente e a confiar em si mesmos, mas permanecem suscetíveis a influências externas, a exposição a “tipos de retórica emocionalmente carregada” dos chatbots de IA pode parecer crível e plausível para eles, disse Wright.
Necessidade de conhecimento
Atualmente, não há compreensão baseada em pesquisas sobre os fatores de risco que podem aumentar a possibilidade de danos quando um adolescente conversa com um chatbot de IA.
Wright destacou que, embora várias plataformas de chatbot de IA deixem bem claro em seus termos de serviço que não estão prestando serviços de saúde mental, elas ainda hospedam chatbots que se autodenominam possuidores de treinamento e experiência em saúde mental.
“Essas duas coisas estão em desacordo”, disse ela. “O consumidor não entende necessariamente a diferença entre essas duas coisas, nem deveria, necessariamente.”
John Torous, psiquiatra e diretor da divisão de psiquiatria digital do Beth Israel Deaconess Medical Center em Boston, que revisou a carta da APA, disse ao Mashable que mesmo quando os chatbots não fazem afirmações clínicas relacionadas à sua IA, a linguagem de marketing e promocional sobre os benefícios do seu uso pode ser muito confuso para os consumidores.
“Garantir que o conteúdo de marketing corresponda aos termos e condições legais, bem como à realidade desses chatbots, será uma vitória para todos”, escreveu ele por e-mail.
Wright disse que a APA gostaria que as plataformas de chatbot de IA cessassem o uso de termos legalmente protegidos, como psicólogo. Ela também apóia a verificação robusta de idade nessas plataformas para garantir que os usuários mais jovens tenham a idade que declaram quando se inscrevem, além de esforços de pesquisa ágeis que podem realmente determinar como os adolescentes se comportam quando interagem com chatbots de IA.
A APA, enfatizou ela, não se opõe aos chatbots em geral, mas deseja que as empresas construam produtos seguros, eficazes, éticos e responsáveis.
“Se levamos a sério a abordagem da crise de saúde mental, o que penso que muitos de nós estamos”, disse Wright, “então trata-se de descobrir como podemos dar aos consumidores acesso aos produtos certos que realmente os vão ajudar? “
