Thomas Graham, à direita, cofundador da startup de chips Lightmatter, disse a Mandeep Singh, da Bloomberg Intelligence, que data centers equivalentes a oito vezes o consumo de energia da cidade de Nova York estarão em construção em 2026 para servir à implantação de IA.
Bloomberg
A Nvidia e seus parceiros e clientes têm construído continuamente instalações de informática cada vez maiores em todo o mundo para lidar com as necessidades de computação intensiva do treinamento de programas gigantes de inteligência artificial (IA), como o GPT-4. Esse esforço ganhará importância contínua à medida que mais modelos de IA forem colocados em produção, afirma uma startup que atende os gigantes da tecnologia.
“As pessoas vão querer mais computação, não necessariamente por causa das leis de escalonamento, mas porque você está implantando essas coisas agora”, disse Thomas Graham, cofundador da startup de computação óptica Lightmatter, durante uma entrevista na semana passada em Nova York com Mandeep Singh, analista sênior de tecnologia da Bloomberg Intelligence.
Além disso: eu testo ferramentas de IA para viver, e essas são as únicas duas pelas quais vale a pena pagar
Singh perguntou a Graham se os modelos de linguagem grande (LLMs), como o GPT-4, continuarão a “escalar”, o que significa crescer em tamanho à medida que a OpenAI e outros tentam alcançar modelos mais ambiciosos.
Graham inverteu a questão, sugerindo que o próximo estágio do apetite computacional da IA é colocar em produção redes neurais treinadas.
“Se você vê o treinamento como P&D, inferência é realmente implantação e, ao implantar isso, você precisará de grandes computadores para executar seus modelos”, disse Graham. A discussão fez parte de uma conferência de um dia organizada pela Bloomberg Intelligence chamada “Gen AI: Será que ela pode cumprir a promessa de produtividade?”
Também: A IA não está atingindo um muro, apenas está ficando inteligente demais para benchmarks, diz Anthropic
A visão de Graham ecoa a do CEO da Nvidia, Jensen Huang, que disse a Wall Street nos últimos meses que “ampliar” as formas “agenticas” de IA exigirá “treinamento mais sofisticado (de modelos de IA), mas também inferência cada vez mais sofisticada, ” e que, como resultado, “a computação de inferência aumenta exponencialmente”.
“Se você vê o treinamento como P&D, inferência é realmente implantação e, ao implantar isso, você precisará de grandes computadores para executar seus modelos”, disse Graham.
Bloomberg
A Lightmatter, fundada em 2018, está desenvolvendo uma tecnologia de chip que pode unir vários processadores em uma única matriz semicondutora usando conexões ópticas – o que pode substituir links de rede convencionais entre dezenas, centenas ou até milhares de chips necessários para construir data centers de IA. As interconexões ópticas, como são chamadas, podem mover dados mais rapidamente do que os fios de cobre, consumindo uma fração do consumo de energia.
A tecnologia pode ser usada entre computadores em um rack de data center e entre racks para simplificar a rede de computadores, tornando todo o data center mais econômico, disse Graham a Singh.
Além disso: a AWS diz que seus data centers de IA ficaram ainda mais eficientes – veja como
“Então, realmente eliminar os vestígios de cobre que você tem nos data centers, tanto no servidor na placa de circuito da impressora quanto no cabeamento entre os racks, ou substituir tudo isso por fibra, tudo por óptica, isso aumenta drasticamente a largura de banda que você conseguir”, disse Graham.
A Lightmatter está trabalhando com inúmeras empresas de tecnologia em planos para novos data centers, disse Graham. “Os data centers estão sendo construídos do zero”, disse ele. A Lightmatter já anunciou uma parceria com o fabricante contratado de semicondutores Global Foundries, que possui instalações no norte do estado de Nova York e atende vários fabricantes de chips, incluindo Advanced Micro Devices.
Fora dessa colaboração, Graham recusou-se a nomear parceiros e clientes. A implicação de sua palestra foi que sua empresa faz parceria com fornecedores de silício, como Broadcom ou Marvell, para criar peças integradas personalizadas para gigantes da tecnologia que projetam seus próprios processadores para seus data centers, como Google, Amazon e Microsoft.
Também:O ecossistema de IA de hoje é insustentável para quase todo mundo, exceto para a Nvidia, alerta um importante estudioso
Para ter uma ideia da escala da implantação, Graham destacou que há pelo menos uma dúzia de novos data centers de IA planejados ou em construção agora que requerem um gigawatt de energia para funcionar.
“Apenas para contextualizar, a cidade de Nova York consome cinco gigawatts de energia em um dia normal. Portanto, vários NYCs.” Até 2026, disse ele, espera-se que o processamento mundial de IA exija 40 gigawatts de energia “especificamente para data centers de IA, ou seja, oito NYCs”.
A Lightmatter recebeu recentemente uma infusão de capital de risco de US$ 400 milhões e a empresa está avaliada em US$ 4,4 bilhões. Lightmatter pretende entrar em produção “nos próximos anos”, disse Graham.
Além disso: 8 maneiras pelas quais a Intel ainda pode sair da queda livre após a saída forçada de seu CEO
Quando Singh lhe perguntou o que poderia prejudicar os planos da empresa, Graham expressou confiança na necessidade contínua de expandir a infraestrutura de computação de IA.
“Se nos próximos anos os pesquisadores criarem um novo algoritmo para fazer IA que exija muito menos computação, que tenha muito mais desempenho do que o que temos hoje, que atinja AGI (inteligência artificial geral) muito mais rápido, isso seria um absurdo. afetar as suposições de todos sobre o desejo de continuar investindo em computação exponencial”, disse ele.