Esta semana, estive ocupado testando o mini PC ThinkCentre neo Ultra da Lenovo. É um desktop elegante, poderoso e compacto que farei uma análise completa para conferir nos próximos dias. Nesse ínterim, me deparei com um obstáculo.
Juntamente com seu processador Intel (CPU) de classe desktop e placa gráfica NVIDIA (GPU), o ThinkCentre neo Ultra possui uma Unidade de Processamento Neural (NPU). Ao contrário dos PCs AI que testei no passado – principalmente na forma de laptop – o NPU não faz parte do System-on-Chip (SoC).
O NPU no ThinkCentre neo Ultra vem de uma empresa chamada Kinara, que revelou seu NPU Ara-2 de segunda geração em dezembro de 2023. Kinara diz que foi projetado para alimentar “servidores de borda e laptops com inferência de alto desempenho, econômica e energeticamente eficiente para executar aplicativos como análise de vídeo, modelos de linguagem grande (LLMs), modelos de difusão latente (LDMs) e outros generativos Modelos de IA.”
O que há de diferente no Kinara Ara-2 de outros NPUs que testei é que ele é construído em sua própria placa M.2 para utilizar pistas PCIe. No neo Ultra, até onde eu sei, ele está instalado na placa de conversão PCIe onde a GPU se encaixa. Ele tem seu próprio dissipador de calor e um pequeno ventilador alimentado. Organizado. É a primeira vez que vejo esse tipo de NPU e estava ansioso para testá-lo e compará-lo com outros PCs de IA nós testamos.
Para onde, ah, para onde foi meu NPU?
Não demorou muito para perceber que, além do NPU Kinara Ara-2 aparecer no Gerenciador de Dispositivos, ele não era evidente em nenhum outro lugar. A página do produto ThinkCentre neo Ultra afirma ter “recursos e software generativos de IA integrados, aumentando a produtividade e a criatividade”, mas, pelo menos no meu caso, eles se mostraram impossíveis de encontrar.
O desempenho da IA é difícil de quantificar, mas não vi diferença nos resultados de desempenho quando o NPU foi ativado ou desativado. Nem mesmo o monitor de hardware do aplicativo Vantage integrado da Lenovo parecia saber que o PC tem um NPU discreto dentro.
Isso não é totalmente incomum, pois observei que alguns NPUs, mesmo de chips AMD e Intel, não aparecem no Gerenciador de Tarefas ou no software de benchmarking até que as atualizações cheguem mais tarde. Ainda estamos observando a infância dos PCs com IA e há alguns problemas a serem resolvidos. Tudo bem, desde que faça diferença no plano de fundo.
Imagem 1 de 3
A forma como testo PCs com IA é relativamente básica, pelo menos na opinião de qualquer profissional de IA por aí. As ferramentas AI Computer Vision e Geekbench AI da UL Procyon são consideradas formas convencionais de testar NPUs, mas ambas as opções são novas no cenário e têm seu quinhão de desvantagens.
Em laptops de IA, é sempre interessante ver quando e onde o NPU entra em ação, pois ele foi projetado para fornecer aceleração de IA com um consumo de energia menor do que uma CPU ou GPU. Para um sistema funcionando com bateria, isso é especialmente importante. Menos ainda em um PC desktop como o neo Ultra, especialmente quando possui uma GPU RTX 4060 que também é capaz de lidar com o trabalho de IA graças aos seus núcleos Tensor especializados.
Desativar o NPU Ara-2 no Gerenciador de Dispositivos não pareceu fazer nenhuma diferença nos testes de benchmark que executei, e sua exclusão de qualquer monitor de hardware significava que não conseguia ver quando ou se ele estava tentando intervir para ajudar outros aplicativos utilizar ferramentas de IA. Por fim, procurei a Lenovo para obter suporte.
A resposta da Lenovo não é o que eu esperava
Contatei a equipe de suporte da Lenovo para perguntar sobre a falta de visibilidade do NPU discreto no ThinkCentre neo Ultra. A resposta que recebi – depois de redigir este artigo para publicação pela primeira vez – não foi a que eu esperava.
Apesar do PC ser enviado com o NPU Kinara Ara-2, fui informado que o NPU discreto só se tornará acessível em aplicativos após “uma futura atualização de software”. Não há data confirmada para quando esperar a atualização.
Quando perguntei sobre uma citação do resumo do produto que recebi com a unidade de análise, que menciona como a “sinergia entre a GPU e a NPU independente eleva o desktop ThinkCentre neo Ultra a uma potência para criação de conteúdo”, fui informado que eu recebeu informações desatualizadas.
Esse tipo de falha de comunicação acontece, mas não desculpa o fato de que em nenhum lugar do site da Lenovo é mencionado que o NPU só poderá ser usado em algum momento no futuro.
Sim, o mundo dos PCs com IA está se movendo muito rapidamente e os construtores querem ficar à frente da tendência, mas qualquer pessoa que comprar o PC agora e esperar que o NPU pelo qual pagou US$ 125 a mais funcione ficará, no mínimo, desapontado.
O benchmarking de AI PC precisa melhorar
Isso me leva ao próximo ponto, que também escrevi antes de receber uma resposta da Lenovo: as ferramentas de benchmarking de IA são inadequadas e a utilidade de um PC de IA para o usuário médio é limitada. Esses pontos ainda são válidos.
A incapacidade de avaliar PCs com IA em um plano uniforme, bem como a pressa em anunciar a aceleração de IA em novo hardware, é uma receita que não beneficia os consumidores. Se eu não tivesse feito algumas pesquisas extras na tentativa de testar o desempenho do NPU, talvez nunca tivesse notado que ele estava desativado, presumindo que o software de benchmarking ou minha própria ignorância estava atrapalhando.
Então, como a utilidade de um PC com IA pode ser transmitida ao comprador médio? Um termo muito usado para anunciar o “poder da IA” é Trilhões de operações por segundo (TOPS). TOPS é mais como um termo chamativo usado para comparar NPUs no sentido mais geral. Uma NPU projetada para uma tarefa não corresponderá ao desempenho de outra NPU projetada para uma tarefa diferente, mesmo que as contagens de TOPS sejam as mesmas. Os testes que usam OpenVINO, por exemplo, farão com que os NPUs da Intel pareçam muito bons em comparação com seus concorrentes.
O Kinara Ara-2 é anunciado como tendo 40 TOPS, o que chega perto de igualar Ryzen AI 300 da AMD (50 TOPS), Core Ultra Série 2 da Intel (48 TOPS) e chips Snapdragon X (45 TOPS) da Qualcomm. O Ara-2 tecnicamente tem potência suficiente para executar ferramentas Copilot+ no Windows 11, mas não tem acesso. Isso pode mudar no futuro, como vimos com Intel e AMD, mas por enquanto, o NPU do neo Ultra ficará reservado para outras tarefas (sempre que receber a atualização de software crucial para fazê-lo fazer alguma coisa).
A falta de testes convencionais que possam comparar com precisão todas as NPUs é principalmente um subproduto da velocidade com que os modelos de IA estão avançando. O software de benchmarking não consegue acompanhar. Isso é bom para todos os fabricantes de PC – não apenas para a Lenovo – pois eles podem anunciar um PC com IA sem ter uma maneira direta de testar e comparar o desempenho da IA. Para os consumidores, no entanto, é uma desvantagem definitiva.
Você realmente precisa de um AI PC com NPU?
Os PCs com IA estão apenas ganhando popularidade, e a maioria dos novos laptops que chegam ao mercado possuem um NPU interno. No entanto, para a maioria das pessoas, eles não farão muita diferença no uso diário. O usuário médio provavelmente verá o NPU ativado para coisas como o Windows Studio Effects, mas, além disso, você pode ter dificuldade em encontrar um bom uso para ele.
Especificamente em termos do ThinkCentre neo Ultra, ele é voltado para profissionais de IA que desejam um PC compacto com CPU e GPU de classe desktop. A NVIDIA RTX 4060 fornece cerca de 242 TOPS de potência de seus núcleos Tensor, superando os 40 TOPS disponíveis no Ara-2. Novamente, é uma estimativa aproximada de potência, mas é uma enorme diferença.
É difícil aceitar o discurso publicitário, apoiá-lo em testes reais e fornecer conselhos de compra precisos para o usuário geral de PC quando tudo está tão ofuscado. Isso fica ainda mais difícil quando grandes empresas como a Lenovo começam a anunciar e vender hardware de IA que não pode ser usado porque o software ainda não foi atualizado.
Este episódio reafirmou o fato de que os PCs com IA estão em seu estágio inicial, bem como minha crença de que a maior parte do marketing de IA nada mais é do que, bem, marketing. Espero que a Lenovo adicione rapidamente algum tipo de isenção de responsabilidade em seu site, observando que o NPU não funcionará sem uma atualização de software futura. É a única ação justa, mesmo que o mundo AI PC ainda tenha aquela sensação de Velho Oeste. Fique atento à minha análise completa do ThinkCentre neo Ultra nos próximos dias.