O Galaxy AI já ajudou milhões de usuários em todo o mundo a se conectarem e se comunicarem. Os recursos de IA no dispositivo baseados em grandes modelos de idiomas (LLMs) – como Live Translate, Interpreter, Note Assist e Browsing Assist – suportam 16 idiomas, com mais quatro chegando até o final do ano.
O processo de construção de recursos de linguagem para o Galaxy AI envolveu muito tempo e esforço, pois cada idioma apresenta uma estrutura e cultura únicas. Os investigadores da Samsung de todo o mundo – Brasil, China, Índia, Indonésia, Japão, Jordânia, Polónia e Vietname – partilharam os desafios e triunfos por detrás do desenvolvimento do Galaxy AI. A redação da Samsung compilou uma recapitulação de suas histórias abaixo.
Desenvolvendo um modelo de tradução
Os recursos do Galaxy AI, como o Live Translate, executam três processos principais: reconhecimento automático de fala (ASR), tradução automática neural (NMT) e conversão de texto em fala (TTS).
▲ O reconhecimento automático de fala (ASR), a tradução automática neural (NMT) e a conversão de texto em fala (TTS) exigem, cada um, conjuntos distintos de informações para treinamento
O Samsung R&D Institute Vietnam (SRV) enfrentou obstáculos com modelos de reconhecimento automático de fala (ASR) porque o vietnamita é um idioma com seis tons distintos. As línguas tonais podem ser difíceis de reconhecer pela IA devido à complexidade que os tons acrescentam às nuances linguísticas. A SRV respondeu ao desafio com um modelo que diferencia quadros de áudio mais curtos, de cerca de 20 milissegundos.
O Samsung R&D Institute Poland (SRPOL) enfrentou o enorme obstáculo de treinar modelos de tradução automática neural (NMT) para um continente tão diverso como a Europa. Aproveitando sua rica experiência em projetos abrangendo mais de 30 idiomas em quatro fusos horários, a SRPOL conseguiu navegar pela intraduzibilidade de certas frases e lidar com expressões idiomáticas que podem não ter equivalentes diretos em outros idiomas.
O Samsung R&D Institute Jordan (SRJO) adaptou o árabe – um idioma falado em mais de 20 países em cerca de 30 dialetos – para o Galaxy AI. Criar um modelo de conversão de texto em fala (TTS) não foi uma tarefa fácil, uma vez que os diacríticos e os guias de pronúncia são amplamente compreendidos pelos falantes nativos de árabe, mas estão ausentes na escrita. Com base em um sofisticado modelo de previsão para diacríticos ausentes, a SRJO conseguiu publicar um modelo de linguagem que compreende dialetos e pode responder em árabe padrão.
A importância dos dados
Ao longo do processo de formação do Galaxy AI em cada idioma, um tema abrangente foi a importância da colaboração aberta com instituições locais. A qualidade dos dados utilizados afeta diretamente a precisão do ASR, NMT e TTS. Assim, a Samsung trabalhou com vários parceiros para obter e analisar dados que refletissem o jargão, dialetos e outras variações de cada região.
▲ Cada linguagem possui um conjunto distinto de qualidades que representam desafios na criação de um modelo de linguagem de IA para ela. Os tons aumentam a complexidade de idiomas tonais como o vietnamita.
O Samsung R&D Institute India-Bangalore (SRI-B) colaborou com o Vellore Institute of Technology para proteger quase um milhão de linhas de dados de áudio segmentados e selecionados em fala, palavras e comandos de conversação. Os alunos tiveram experiência prática em um projeto da vida real, bem como orientação de especialistas da Samsung; o rico estoque de dados ajudou o SRI-B a treinar o Galaxy AI em hindi, abrangendo mais de 20 dialetos regionais e suas respectivas inflexões tonais, pontuação e coloquialismos
Os conhecimentos linguísticos locais foram imperativos para o modelo espanhol latino-americano porque a diversidade dentro da língua é espelhada pela diversidade da sua base de utilizadores. Por exemplo, a palavra para piscina poderia ser piscina (México), piscina (Colômbia, Bolívia, Venezuela) ou afundar (Argentina, Paraguai, Uruguai) com base na região de onde você é. O Samsung R&D Institute Brasil (SRBR) trabalhou com os institutos de ciência e tecnologia SiDi e Sidia para coletar e gerenciar grandes quantidades de dados, bem como refinar e melhorar as fontes de áudio e texto para o modelo latino-americano de espanhol do Galaxy AI.
O Samsung R&D Institute China-Pequim (SRC-B) e o Samsung R&D Institute China-Guangzhou (SRC-G) firmaram parceria com as empresas chinesas Baidu e Meitu para aproveitar sua experiência no desenvolvimento de grandes modelos de linguagem (LLM), como ERNIE Bot e MiracleVision, respectivamente . Como resultado, o Galaxy AI suporta os dois modos principais de mandarim e cantonês.
Além da cooperação externa, a devida diligência e os recursos internos também foram essenciais.
Bahasa Indonesia é uma língua conhecida pelo seu uso extensivo de significados contextuais e implícitos que se baseiam em pistas sociais e situacionais. Os pesquisadores do Samsung R&D Institute Indonesia (SRIN) saíram a campo para gravar conversas em cafeterias e ambientes de trabalho para capturar ruídos ambientais autênticos que poderiam distorcer a entrada. Isso ajudou o modelo a aprender a reconhecer as informações necessárias a partir da entrada verbal, melhorando, em última análise, a precisão do reconhecimento de fala.
Existem muitos homônimos em japonês, pois o número de sons é limitado no idioma. Muitas palavras devem ser determinadas com base no contexto. O Samsung R&D Institute Japan (SRJ) usou o Samsung Gauss, o LLM interno da empresa, para estruturar frases contextuais com palavras ou frases relevantes para cada cenário para ajudar o modelo de IA a diferenciar entre homônimos.
Rede Global de Pesquisa da Samsung
Os profissionais de vários institutos de pesquisa e desenvolvimento da Samsung aproveitaram ao máximo a rede global de pesquisa da Samsung.
Antes de abordar o hindi, o SRI-B colaborou com equipes de todo o mundo para desenvolver modelos de linguagem de IA para inglês britânico, indiano e australiano, bem como tailandês, vietnamita e indonésio. Engenheiros de outros centros de pesquisa da Samsung visitaram Bangalore, na Índia, para trazer vietnamitas, tailandeses e indonésios para o Galaxy AI.
▲ Funcionários e colaboradores posam em frente ao Samsung R&D Institute India-Bangalore (SRI-B)
A SRPOL tinha vasta experiência no desenvolvimento de modelos ASR, NMT e TTS para uma infinidade de idiomas. Um ator importante na expansão linguística do Galaxy AI, a SRPOL colaborou em todos os continentes para apoiar o SRJO com dialetos árabes e o SRBR com o português do Brasil e o espanhol da América Latina.
Os desenvolvedores da Samsung em cada um desses locais aprenderam a colaborar além das fronteiras e dos fusos horários. Os desenvolvedores do SRIN até observaram os costumes locais de jejum na Índia ao se encontrarem com seus colegas do SRI-B. Muitos refletiram sobre o seu trabalho com orgulho e gratidão — percebendo as implicações duradouras que este projeto tem na língua, na cultura, no património e na identidade.
Esforços contínuos à medida que a jornada continua
A Samsung apresentou recentemente o Galaxy AI em seus mais recentes dobráveis e wearables. Desde o seu lançamento no início deste ano, o Galaxy AI já foi usado em mais de 100 milhões de dispositivos. “Esperamos atingir 200 milhões de dispositivos até o final de 2024”, disse Won-joon Choi, vice-presidente executivo e chefe do escritório de pesquisa e desenvolvimento móvel, Mobile eXperience Business da Samsung Electronics em um recente painel de discussão.
No meio desta missão de democratizar a IA, é importante olhar para trás e celebrar as realizações e o progresso que levaram ao fornecimento desta tecnologia segura e inclusiva que beneficiará a humanidade e melhorará vidas. Ao construir o ecossistema Galaxy AI com ainda mais funcionalidades, idiomas e variações regionais, a Samsung está a facilitar intercâmbios interculturais de formas sem precedentes para concretizar a sua visão de IA para Todos.
