Perdido na tradução: os chatbots de IA ainda são muito centrados na língua inglesa, descobriu um estudo de Stanford

As soluções de IA e os chatbots associados que estão surgindo podem não ter a diversidade global necessária para atender bases de usuários internacionais. Muitos dos grandes modelos linguísticos atuais tendem a favorecer “gostos e valores centrados no Ocidente”, afirma um estudo recente realizado por pesquisadores da Universidade de Stanford. As tentativas de alcançar o que é chamado de “alinhamento” com os usuários pretendidos dos sistemas ou chatbots muitas vezes são insuficientes, alegaram.

Não é por falta de tentativas, como relatam os pesquisadores, liderados por Diyi Yang, professor assistente da Universidade de Stanford e parte da Inteligência Artificial Centrada no Homem (HAI) de Stanford, no estudo. “Antes que os criadores de um novo chatbot baseado em IA possam lançar seus aplicativos mais recentes ao público em geral, eles muitas vezes reconciliam seus modelos com as várias intenções e valores pessoais dos usuários pretendidos.” No entanto, os esforços para alcançar este alinhamento “podem introduzir os seus próprios preconceitos, que comprometem a qualidade das respostas do chatbot”.

Além disso: a Nvidia treinará 100.000 residentes da Califórnia em IA em uma parceria inédita

Em teoria, “o alinhamento deveria ser universal e tornar os grandes modelos de linguagem mais agradáveis ​​e úteis para uma variedade de usuários em todo o mundo e, idealmente, para o maior número possível de usuários”, afirmam. No entanto, os anotadores que procuram adaptar conjuntos de dados e LLMs em diferentes regiões podem interpretar mal esses instrumentos.

Os chatbots de IA para diversos fins – desde interações com clientes até assistentes inteligentes – continuam a proliferar a um ritmo significativo, por isso há muito em jogo. Espera-se que o tamanho do mercado global de chatbots de IA valha perto de US$ 67 bilhões até 2033, crescendo a uma taxa de 26% ao ano em relação ao seu tamanho atual de mais de US$ 6 bilhões, de acordo com estimativas da MarketsUS.

“O mercado de chatbots de IA está experimentando um rápido crescimento devido ao aumento da demanda por serviços automatizados de suporte ao cliente e aos avanços na tecnologia de IA”, detalham os autores do relatório. “Curiosamente, espera-se que mais de 50% das empresas invistam mais anualmente no desenvolvimento de bots e chatbots do que no desenvolvimento tradicional de aplicativos móveis”.

Também: Se esses chatbots pudessem falar: as formas mais populares pelas quais as pessoas usam ferramentas de IA

O resultado final é que uma enorme variedade de idiomas e comunidades em todo o mundo estão atualmente sendo mal atendidas pela IA e pelos chatbots. As instruções ou compromissos em inglês podem incluir frases ou expressões idiomáticas que podem ser interpretadas incorretamente.

O estudo de Stanford afirma que os LLMs provavelmente se basearão nas preferências dos seus criadores, que, neste momento, provavelmente estarão baseados em países de língua inglesa. As preferências humanas não são universais e os LLMs devem refletir “o contexto social das pessoas que representam – levando a variações na gramática, nos tópicos e até nos sistemas de valores morais e éticos”.

Os pesquisadores de Stanford oferecem as seguintes recomendações para aumentar a conscientização sobre a diversidade global:

Reconheça que o alinhamento dos modelos de linguagem não é uma solução única para todos. “Vários grupos são impactados de forma diferente pelos procedimentos de alinhamento.”

Esforce-se pela transparência. Isto “é de extrema importância na divulgação das decisões de design que envolvem o alinhamento de um LLM. Cada etapa do alinhamento adiciona complexidades e impactos adicionais aos usuários finais”. A maioria dos conjuntos de dados de preferências escritos por humanos não inclui os dados demográficos dos seus anotadores de preferências regionais. “Relatar essas informações, juntamente com decisões sobre quais prompts ou tarefas estão no domínio, é essencial para a disseminação responsável de LLMs alinhados para um público diversificado de usuários.”

Procure conjuntos de dados multilíngues. Os pesquisadores analisaram o conjunto de dados Tülu usado em modelos linguísticos, dos quais 13% não são ingleses. “No entanto, esses dados multilíngues levam a melhorias de desempenho em seis dos nove idiomas testados para controle de qualidade extrativo e em todos os nove idiomas para compreensão de leitura. Muitos idiomas podem se beneficiar de dados multilíngues.”

Também: Cientista de IA: 'Precisamos pensar fora da grande caixa do modelo de linguagem'

Trabalhar em estreita colaboração com os usuários locais também é essencial para superar deficiências culturais ou linguísticas ou erros com os chatbots de IA. “Colaborar com especialistas locais e falantes nativos é crucial para garantir uma adaptação autêntica e apropriada”, escreveu Vuk Dukic, engenheiro de software e fundador da Anablock, num artigo recente no LinkedIn. “É necessária uma pesquisa cultural completa para compreender as nuances de cada mercado-alvo. A implementação de algoritmos de aprendizagem contínua permite que os chatbots se adaptem às interações e feedback do usuário ao longo do tempo.”

Dukic também pediu “testes extensivos com usuários locais antes da implantação completa para ajudar a identificar e resolver erros culturais”. Além disso, “oferecer seleção de idioma permite que os usuários escolham seu idioma e contexto cultural preferidos”.