Modelos de linguagem menores para dispositivos móveis

Enquanto modelos de IA de linguagem grande continuam a fazer manchetes, modelos de linguagem pequena são onde a ação está. Pelo menos, é nisso que a Meta parece estar apostando, de acordo com um artigo divulgado recentemente por uma equipe de seus cientistas pesquisadores.

Grandes modelos de linguagem, como ChatGPT, Gemini e Llama, podem usar bilhões, até mesmo trilhões, de parâmetros para obter seus resultados. O tamanho desses modelos os torna grandes demais para serem executados em dispositivos móveis. Então, os cientistas do Meta notaram em sua pesquisa, há uma necessidade crescente de modelos de linguagem grandes e eficientes em dispositivos móveis — uma necessidade impulsionada pelo aumento dos custos da nuvem e preocupações com latência.

Em sua pesquisa, os cientistas explicaram como criaram modelos de linguagem de alta qualidade com menos de um bilhão de parâmetros, o que eles sustentaram ser um bom tamanho para implantação móvel.

Ao contrário da crença predominante que enfatiza o papel fundamental dos dados e da quantidade de parâmetros na determinação da qualidade do modelo, os cientistas obtiveram resultados com seu pequeno modelo de linguagem comparáveis ​​em algumas áreas ao Llama LLM da Meta.

“Existe um paradigma predominante de que ‘quanto maior, melhor’, mas isso está mostrando que o que realmente importa é como os parâmetros são usados”, disse Nick DeGiacomo, CEO da Bucephalus, uma plataforma de cadeia de suprimentos de comércio eletrônico alimentada por IA com sede na cidade de Nova York.

“Isso abre caminho para uma adoção mais ampla de IA no dispositivo”, disse ele ao TechNewsWorld.

Um passo crucial

A pesquisa da Meta é significativa porque desafia a norma atual de IA dependente da nuvem, que frequentemente vê os dados sendo processados ​​em data centers distantes, explicou Darian Shimy, CEO e fundador da FutureFund, uma empresa de capital de risco em São Francisco.

“Ao trazer o processamento de IA para o próprio dispositivo, a Meta está invertendo o roteiro — reduzindo potencialmente a pegada de carbono associada à transmissão e processamento de dados em data centers enormes e que consomem muita energia, e tornando a IA baseada em dispositivo um ator-chave no ecossistema de tecnologia”, disse ele ao TechNewsWorld.

“Esta pesquisa é o primeiro esforço abrangente e compartilhado publicamente desta magnitude”, acrescentou Yashin Manraj, CEO da Pvotal Technologies, uma desenvolvedora de software de segurança de ponta a ponta, em Eagle Point, Oregon.

“É um primeiro passo crucial para alcançar uma abordagem harmonizada SLM-LLM, onde os desenvolvedores podem encontrar o equilíbrio certo entre a nuvem e o processamento de dados no dispositivo”, ele disse ao TechNewsWorld. “Ele estabelece as bases onde as promessas de aplicativos alimentados por IA podem atingir o nível de suporte, automação e assistência que foram comercializados nos últimos anos, mas não tinham a capacidade de engenharia para dar suporte a essas visões.”

Os metacientistas também deram um passo significativo na redução do tamanho de um modelo de linguagem. “Eles estão propondo uma redução do modelo em ordem de magnitude, tornando-o mais acessível para wearables, hearables e celulares”, disse Nishant Neekhra, diretor sênior de marketing móvel na Skyworks Solutions, uma empresa de semicondutores em Irvine, Califórnia.

“Eles estão apresentando um novo conjunto de aplicações para IA, ao mesmo tempo em que fornecem novas maneiras para a IA interagir no mundo real”, ele disse ao TechNewsWorld. “Ao encolher, eles também estão resolvendo um grande desafio de crescimento que assola os LLMs, que é sua capacidade de serem implantados em dispositivos de ponta.”

Alto Impacto na Assistência Médica

Uma área onde pequenos modelos de linguagem podem ter um impacto significativo é na medicina.

“A pesquisa promete desbloquear o potencial da IA ​​generativa para aplicações envolvendo dispositivos móveis, que são onipresentes no cenário atual de assistência médica para monitoramento remoto e avaliações biométricas”, disse Danielle Kelvas, consultora médica da IT Medical, uma empresa global de desenvolvimento de software médico, à TechNewsWorld.

Ao demonstrar que SLMs eficazes podem ter menos de um bilhão de parâmetros e ainda ter desempenho comparável a modelos maiores em certas tarefas, ela continuou, os pesquisadores estão abrindo as portas para a adoção generalizada de IA no monitoramento diário da saúde e no atendimento personalizado ao paciente.

Kelvas explicou que usar SLMs também pode garantir que dados de saúde sensíveis possam ser processados ​​com segurança em um dispositivo, aumentando a privacidade do paciente. Eles também podem facilitar o monitoramento e a intervenção de saúde em tempo real, o que é crítico para pacientes com condições crônicas ou aqueles que exigem cuidados contínuos.

Ela acrescentou que os modelos também poderiam reduzir as barreiras tecnológicas e financeiras para a implantação de IA em ambientes de saúde, potencialmente democratizando tecnologias avançadas de monitoramento de saúde para populações mais amplas.

Refletindo tendências da indústria

O foco da Meta em pequenos modelos de IA para dispositivos móveis reflete uma tendência mais ampla da indústria em direção à otimização da IA ​​para eficiência e acessibilidade, explicou Caridad Muñoz, professora de tecnologia de novas mídias no CUNY LaGuardia Community College. “Essa mudança não apenas aborda desafios práticos, mas também se alinha com as crescentes preocupações sobre o impacto ambiental de operações de IA em larga escala”, ela disse à TechNewsWorld.

“Ao defender modelos menores e mais eficientes, a Meta está estabelecendo um precedente para o desenvolvimento de IA sustentável e inclusivo”, acrescentou Muñoz.

Pequenos modelos de linguagem também se encaixam na tendência de edge computing, que está se concentrando em trazer capacidades de IA para mais perto dos usuários. “Os grandes modelos de linguagem da OpenAI, Anthropic e outros são frequentemente exagerados — ‘quando tudo o que você tem é um martelo, tudo parece um prego’”, disse DeGiacomo.

“Modelos especializados e ajustados podem ser mais eficientes e econômicos para tarefas específicas”, ele observou. “Muitos aplicativos móveis não exigem IA de ponta. Você não precisa de um supercomputador para enviar uma mensagem de texto.”

“Essa abordagem permite que o dispositivo se concentre em lidar com o roteamento entre o que pode ser respondido usando o SLM e casos de uso especializados, semelhante ao relacionamento entre médicos generalistas e especialistas”, acrescentou.

Efeito profundo na conectividade global

Shimy sustentou que as implicações que os SLMs podem ter na conectividade global são profundas.

“À medida que a IA no dispositivo se torna mais capaz, a necessidade de conectividade contínua com a internet diminui, o que pode mudar drasticamente o cenário tecnológico em regiões onde o acesso à internet é inconsistente ou caro”, ele observou. “Isso pode democratizar o acesso a tecnologias avançadas, disponibilizando ferramentas de IA de ponta em diversos mercados globais.”

Enquanto a Meta lidera o desenvolvimento de SLMs, Manraj observou que os países em desenvolvimento estão monitorando agressivamente a situação para manter seus custos de desenvolvimento de IA sob controle. “China, Rússia e Irã parecem ter desenvolvido um grande interesse na capacidade de adiar cálculos de computação em dispositivos locais, especialmente quando chips de hardware de IA de ponta são embargados ou não são facilmente acessíveis”, disse ele.

“Não esperamos que isso seja uma mudança drástica ou da noite para o dia”, ele previu, “porque consultas complexas e multilíngues ainda exigirão LLMs baseados em nuvem para fornecer valor de ponta aos usuários finais. No entanto, essa mudança para permitir um modelo de ‘última milha’ no dispositivo pode ajudar a reduzir a carga dos LLMs para lidar com tarefas menores, reduzir loops de feedback e fornecer enriquecimento de dados locais.”

“No final das contas”, ele continuou, “o usuário final será claramente o vencedor, pois isso permitiria uma nova geração de recursos em seus dispositivos e uma revisão mais promissora dos aplicativos front-end e de como as pessoas interagem com o mundo”.

“Enquanto os suspeitos de sempre estão impulsionando a inovação neste setor com um impacto potencial promissor na vida diária de todos”, ele acrescentou, “os SLMs também podem ser um Cavalo de Troia que fornece um novo nível de sofisticação na intrusão de nossas vidas diárias ao ter modelos capazes de coletar dados e metadados em um nível sem precedentes. Esperamos que, com as salvaguardas adequadas, possamos canalizar esses esforços para um resultado produtivo.”