O ecossistema de IA de hoje é insustentável para quase todo mundo, exceto para a Nvidia, alerta um importante estudioso

A economia da inteligência artificial é insustentável para quase todos, exceto a Nvidia, fabricante de chips GPU, e isso representa um grande problema para o desenvolvimento contínuo do novo campo, de acordo com um notável estudioso de IA.

Além disso: as tendências tecnológicas do Gartner para 2025 mostram como sua empresa precisa se adaptar – e rapidamente

“O ecossistema é incrivelmente insalubre”, disse Kai-Fu Lee num fórum de discussão privado no início deste mês. Lee referia-se à disparidade de lucros entre, por um lado, os fabricantes de infra-estruturas de IA, incluindo a Nvidia e a Google, e, por outro lado, os criadores de aplicações e as empresas que deveriam utilizar a IA para reinventar as suas operações.

Lee, que atuou como diretor fundador da Microsoft Research Asia antes de trabalhar no Google e na Apple, fundou sua empresa atual, a Sinovation Ventures, para financiar startups como a 01.AI, que fabrica um mecanismo de busca generativo de IA chamado BeaGo.

Os comentários de Lee foram feitos durante a Collective(i) Forecast, uma série de discussões interativas organizada pela Collective(i), que se autodenomina “uma plataforma de IA projetada para otimizar as vendas B2B”.

O ecossistema de IA atual, de acordo com Lee, consiste na Nvidia e, em menor grau, em outros fabricantes de chips, como Intel e Advanced Micro Devices. Coletivamente, os fabricantes de chips arrecadam US$ 75 bilhões em vendas anuais de chips provenientes do processamento de IA. “A infraestrutura está gerando US$ 10 bilhões e os aplicativos, US$ 5 bilhões”, disse Lee. “Se continuarmos nesta pirâmide inversa, será um problema”, disse ele.

A “pirâmide inversa” é a expressão de Lee para descrever a reversão sem precedentes da economia clássica da indústria tecnológica. Tradicionalmente, os fabricantes de aplicativos ganham mais dinheiro do que os fornecedores de chips e sistemas que os fornecem. Por exemplo, a Salesforce ganha mais dinheiro com aplicações de CRM do que a Dell e a Intel, que constroem os computadores e chips, respectivamente, para executar as aplicações de CRM na nuvem.

Também: Pesquisa do Bank of America prevê aumento maciço da IA ​​nos lucros corporativos

Esses ecossistemas saudáveis, disse Lee, “são desenvolvidos para que os aplicativos tenham mais sucesso, tragam mais usuários, os aplicativos ganhem mais dinheiro, a infraestrutura melhore, os semicondutores melhorem e assim por diante”. Foi assim que as coisas aconteceram não apenas na nuvem, disse Lee, mas também na computação móvel, onde as fortunas da Apple e da ARM produziram vencedores no “topo da pilha”, como o negócio de publicidade do Facebook.

Por outro lado, “Quando os aplicativos não estão ganhando dinheiro, os usuários não estão obtendo tantos benefícios, então você não forma o ciclo virtuoso”.

Voltando ao presente, Lee lamentou a natureza desigual do mercado da Nvidia. “Adoraríamos que a Nvidia ganhasse mais dinheiro, mas eles não conseguem ganhar mais dinheiro do que aplicativos”, disse ele, referindo-se aos aplicativos de IA.

O desenvolvimento dos ecossistemas de nuvem, computadores pessoais e dispositivos móveis “claramente não vai acontecer hoje” no ritmo atual de gastos com GPUs Nvidia, disse Lee. “O custo da inferência tem que diminuir” para que um ecossistema saudável floresça, disse ele. “GPT-4o1 é maravilhoso, mas é muito caro.”

Contudo, Lee compareceu ao evento com mais do que um aviso, oferecendo uma recomendação “pragmática” que, segundo ele, poderia resolver a infeliz realidade económica. Ele recomendou que as empresas construíssem a sua própria pilha de tecnologia verticalmente integrada, tal como a Apple fez com o iPhone, a fim de reduzir drasticamente o custo da IA ​​generativa.

Também: A jornada para agentes de IA totalmente autônomos e os capitalistas de risco que os financiam

A afirmação surpreendente de Lee é que as empresas mais bem-sucedidas serão aquelas que constroem a maioria dos componentes generativos de IA – incluindo os chips – elas próprias, em vez de dependerem da Nvidia. Ele citou como Steve Jobs, da Apple, pressionou suas equipes para construir todas as peças do iPhone, em vez de esperar que o preço da tecnologia caísse.

“Somos inspirados pelo iPhone”, disse Lee sobre os esforços da BeaGo. “Steve Jobs foi ousado e reuniu uma equipe de pessoas de muitas disciplinas – de hardware a iOS, de drivers a aplicativos – e decidiu que essas coisas estão se unindo, mas mal posso esperar até que estejam todas dentro dos padrões da indústria, porque até lá, qualquer um pode fazer isso”, explicou Lee.

O aplicativo BeaGo, disse Lee, não foi construído em componentes padrão, como o GPT-4o1 da OpenAI ou o Llama 3 da Meta Platforms. Em vez disso, foi montado como uma coleção de hardware e software desenvolvidos em conjunto.

“Através da integração vertical, (projetamos) hardware especial que não funcionaria necessariamente para outros mecanismos de inferência”, explicou Lee. Por exemplo, embora um chip GPU ainda seja usado para fazer previsões, ele foi aprimorado com mais memória principal, conhecida como memória de alta largura de banda (HBM), para otimizar o cache de dados.

Além disso: as empresas ainda estão prontas para investir na Gen AI, sendo a gestão de risco uma prioridade máxima

O software usado para BeaGo “não é um modelo genérico”. Sem revelar detalhes técnicos, Lee disse que o modelo de linguagem grande de IA generativa “não é necessariamente o melhor modelo, mas é o melhor modelo que se poderia treinar, dado o requisito de um mecanismo de inferência que só funcione neste hardware e se destaque neste hardware. e modelos que foram treinados porque sabe que seria uma inferência neste hardware.”

Construir o aplicativo – incluindo o hardware e o novo banco de dados para armazenar em cache os resultados das consultas – custou à BeaGo e seus patrocinadores US$ 100 milhões, disse Lee. “Você tem que voltar aos primeiros princípios e dizer: 'Queremos fazer inferências super rápidas com custos fenomenalmente mais baixos, que abordagem devemos adotar?' “

Lee demonstrou como o BeaGo pode obter uma única resposta a uma pergunta num piscar de olhos. “A velocidade faz toda a diferença”, disse ele, comparando a situação aos primeiros dias do Google, quando o novo mecanismo de busca fornecia resultados muito mais rápido do que mecanismos estabelecidos, como o Yahoo!

Além disso: os agentes de IA são a ‘próxima fronteira’ e mudarão nossas vidas profissionais para sempre

Um modelo de base padrão de IA, como o Llama 3.01 405b da Meta, disse Lee, “não chegará nem perto de funcionar para este cenário”. O BeaGo não só é capaz de alcançar uma maior velocidade de inferência – o tempo que leva para retornar uma previsão em resposta a uma consulta de pesquisa – mas também é dramaticamente mais barato, disse Lee.

O custo de inferência padrão atual usando um serviço como o GPT-4 da OpenAI é de US$ 4,40 por milhão de tokens, observou Lee. Isso equivale a 57 centavos por consulta – “ainda muito caro, ainda 180 vezes mais caro que o custo da pesquisa sem IA”, explicou Lee.

Ele estava comparando o custo com o custo padrão por consulta do Google, que é estimado em três décimos de um centavo por consulta.

O custo do BeaGo para atender consultas é “perto de um centavo por consulta”, disse ele, “portanto, é incrivelmente barato”.

O exemplo do BeaGo, argumentou Lee, mostra que “o que precisa acontecer para catalisar o ecossistema de aplicativos (de IA) não vai acontecer apenas sentado aqui usando a mais nova API OpenAI, mas por alguém que ouse ir fundo e fazer isso integração vertical.”

A visão sombria de Lee sobre o presente contrasta com a sua convicção de que a IA generativa permitirá um novo ecossistema que será, em última análise, tão frutífero quanto as eras do PC, da nuvem e dos dispositivos móveis.

Além disso: Os melhores chatbots de IA: ChatGPT, Copilot e alternativas valiosas

“Nos próximos dois anos, todos os aplicativos serão reescritos e agregarão valor ao usuário final”, disse Lee. “Haverá aplicativos que não existiam antes, dispositivos que não existiam antes, modelos de negócios que não existiam antes”.

Cada etapa desse desenvolvimento, disse Lee, “levará a mais uso, mais usuários, dados mais ricos, interação mais rica e mais dinheiro a ser ganho”. Esses usuários “exigirão modelos melhores e trarão mais oportunidades de negócios”, disse ele.

“A indústria móvel levou 10 anos para construir (um ecossistema de sucesso)”, disse ele. “A indústria de PCs levou talvez 20 anos para construí-lo; acho que com a Gen AI, talvez dois anos.”

Lee expôs suas ideias sobre como serão os casos de uso de consumidores e empresas se a IA generativa funcionar com sucesso. Para os consumidores, disse ele, o modelo de smartphone de hoje provavelmente desaparecerá.

“O ecossistema de aplicativos é apenas o primeiro passo porque, quando começamos a nos comunicar com os dispositivos por fala, o telefone não é mais a coisa certa, porque queremos estar sempre ouvindo, sempre ligados, e os telefones não.”

Além disso: você acha que a IA pode resolver todos os seus problemas de negócios? O novo estudo da Apple mostra o contrário

Quanto às lojas de aplicativos, disse Lee, “elas desaparecerão porque os agentes farão diretamente as coisas que queremos, e muitos aplicativos e comércio eletrônico – isso vai mudar muito, mas isso é mais tarde”.

O caminho para o uso empresarial da IA ​​generativa será muito mais difícil do que o caso de uso do consumidor, supôs Lee, devido a fatores como a natureza arraigada dos grupos empresariais dentro das empresas, bem como a dificuldade de identificar as áreas que irão realmente colher um retorno sobre o investimento.

“A empresa irá mais devagar”, disse ele, “porque os CIOs não estão necessariamente totalmente alinhados e nem necessariamente totalmente informados sobre o que a Geração AI pode fazer”.

Da mesma forma, conectar IA generativa a dados armazenados em sistemas ERP e CRM, disse Lee, “é muito, muito difícil”. O “maior bloqueador” da implementação da Gen AI, disse Lee, “são as pessoas que estão acostumadas a fazer as coisas de uma maneira e não estão necessariamente prontas para adotar” novas abordagens tecnológicas.

Além disso: os agentes de IA são a ‘próxima fronteira’ e mudarão nossas vidas profissionais para sempre

Supondo que esses obstáculos possam ser superados, disse Lee, os primeiros projetos da Gen AI, como a automação de processos de rotina, são “bons lugares para começar, mas eu também diria que esses não são os melhores pontos para criar mais valor.

“Em última análise, para as empresas, acho que a geração AI deveria se tornar o cérebro central da empresa, e não essas coisas um tanto periféricas. Para uma empresa de energia, o que é essencial é a perfuração de petróleo, certo?” Lee ofereceu. “Para uma instituição financeira, o essencial é ganhar dinheiro.”

O que deveria resultar, disse ele, é “um grupo menor e mais enxuto de líderes que não estão apenas contratando pessoas para resolver problemas, mas delegando funções específicas à IA empresarial inteligente – é aí que isso fará o maior negócio”.

Além disso: 6 maneiras de escrever prompts ChatGPT melhores – e obter os resultados desejados com mais rapidez

“O que é realmente essencial não é apenas poupar dinheiro”, disse Lee, “mas ganhar dinheiro, e não qualquer dinheiro, mas ganhar dinheiro na parte central e estratégica dos negócios da empresa”.