A IA está nos tornando mais inteligentes, diz o pioneiro da IA, Terry Sejnowski

Com uma longa perspectiva de trabalho nas trincheiras do aprendizado de máquina, Terry Sejnowski tem sido um defensor entusiástico do impacto positivo da inteligência artificial (IA). Em 2018, ele escreveu no livro The Deep Learning Revolution que “a IA tornará você mais inteligente”.

Além disso: DeepSeek desafia o o1 da OpenAI na cadeia de pensamento – mas faltam alguns links

As coisas acontecem rapidamente no tempo da IA. Desde 2018, a IA generativa (Gen AI) invadiu nossas vidas. Em seu último livro, ChatGPT and the Future of AI: The Deep Language Revolution, publicado no mês passado pela MIT Press, Sejnowski analisa a ascensão dos grandes modelos de linguagem (LLMs) e conclui que “a IA está realmente nos tornando mais inteligentes”.

Mas como medimos de forma mais inteligente? O que exatamente isso significa?

“O que é inteligência? Inteligência é realmente uma questão de resolução de problemas”, disse Sejnowski à ZDNET em entrevista. Com o ChatGPT e programas semelhantes, “consigo acelerar o processo mais rapidamente, mas também me leva a coisas que talvez nunca tenha pensado ou explorado; está abrindo portas”.

Ele continuou: “Pense no que o ChatGPT realmente é. Todo mundo pensa: ‘Ah, é falar como um humano’. A única coisa que sabemos com certeza é que não é humano. O que é isso?

Também: O pioneiro da IA, Sejnowski, diz que tudo se resume ao gradiente

Tal como uma pá, argumentou Sejnowski, a grande ferramenta linguística está a ajudar-nos a fazer as coisas melhor do que faríamos com as nossas próprias mãos. Ele disse que os escritores estão melhorando com o ChatGPT porque “ele os ajuda a superar bloqueios mentais”.

Ele usou o ChatGPT extensivamente para pesquisar o livro, observou em seu novo livro. “Com a ajuda dos LLMs, este livro levou cerca de metade do tempo que levei para escrever meu livro anterior sobre A revolução do aprendizado profundo.”

Escrito com a mesma voz envolvente e conhecimento confiável de IA, o novo livro é muito diferente do anterior. Em 2018, Sejnowski deu uma aula de história. No novo RevoluçãoSejnowski está interessado em saber para onde essas ferramentas estão indo e como elas estão mudando nossas noções de pensamento e como nos vemos.

Também: OpenAI expande disponibilidade do modelo o1 – veja quem tem acesso e quanto

“Estamos no estágio de uso de ferramentas agora; estamos aprendendo como usar a ferramenta, e as ferramentas estão cada vez melhores”, disse Sejnowski ao ZDNET.

“O ChatGPT poderia fazer muitas coisas, mas não tão bem quanto os melhores humanos. Mas, vou lhe dizer, ele faz isso muito melhor do que a maioria dos humanos.”

Uma coisa que o ChatGPT não faz é escrever em qualquer lugar tão bem quanto Sejnowski. Ao longo do livro, ele oferece resumos dos capítulos gerados pelo ChatGPT, esperando que sejam “mais fáceis de acompanhar do que o texto”. Na verdade, os resumos são banais, assim como grande parte da prosa gerada pela GPT, e parecem principalmente um artifício. É o único ponto fraco do livro e uma transgressão pequena o suficiente para ser perdoada em uma leitura magistral e completamente envolvente.

Para que você não pense que o livro é uma carta de amor ao ChatGPT, o elemento mais profundo do livro, que ocupa a maior parte de suas páginas, é uma análise de como a IA generativa afeta a ciência e vice-versa.

A IA está, por exemplo, a revelar aspectos do cérebro aos neurocientistas, e a neurociência, por sua vez, está a abrir novas possibilidades para a IA, argumenta ele, numa espécie de ciclo virtuoso.

Além disso: ChatGPT escreve minha rotina nas 12 principais linguagens de programação. Aqui está o que os resultados me dizem

Essa observação é apoiada pela extensa carreira de Sejnowski em ambas as áreas. Sejnowski é presidente Francis Crick do Instituto Salk de Estudos Biológicos e professor ilustre da Universidade da Califórnia em San Diego. Ele fez contribuições fundamentais para a IA de hoje, mas traçou um caminho diferente de seus colegas de IA.

Sejnowski obteve seu doutorado em física com John Hopfield em Princeton na década de 1970 e depois colaborou extensivamente com Geoffrey Hinton, dois indivíduos que receberam o Prêmio Nobel de Física deste ano por seu trabalho em IA. O foco inicial de Sejnowski desviou-se da construção de sistemas de IA em si, em direção à neurociência porque, disse ele à ZDNET, “eu queria entender como o cérebro funciona”.

Muitos profissionais de IA sentem que o cérebro é demasiado complexo em relação às redes neurais artificiais para fazer progressos, e fogem da ciência do cérebro para aumentar as suas hipóteses profissionais de publicar descobertas. Sejnowski, no entanto, está entusiasmado com o que aprende e convencido de que está prestes a fazer grandes descobertas sobre o cérebro graças à IA.

Além disso: testes de software baseados em IA ganham mais defensores, mas as preocupações persistem

Por exemplo, o mecanismo subjacente aos grandes modelos de linguagem – a forma como prevêem a próxima palavra – é um mecanismo fundamental, aplicável à memória humana.

Tudo o que você digita no GPT e o resto é codificado como uma longa sequência de números, conhecida como “janela de contexto”. Essa janela constitui a memória de trabalho usada para fazer previsões. OpenAI e outros competem para ter janelas de contexto cada vez mais longas, o que deve se traduzir em uma maior capacidade de prever a próxima palavra, frase ou parágrafo.

Sejnowski acredita que algo semelhante está acontecendo no cérebro. Ele explicou ao ZDNET que a pergunta para o neurocientista poderia ser: “Como o longo vetor de entrada é implementado no cérebro? Não apenas entre frases, mas entre parágrafos. Você está construindo em seu cérebro algum tipo de história, e como é isso está acontecendo?”

A resposta, acredita Sejnowski, são as chamadas “ondas viajantes”, que são ondas de atividade neuronal que viajam através do córtex cerebral. O fenômeno tem sido “geralmente ignorado” na neurociência, disse ele, porque “ninguém tinha a menor ideia de qual poderia ser a função”.

Também: Quão bem pode o código de visualização o1 do OpenAI? Ele passou em meus 4 testes – e mostrou seu trabalho com detalhes surpreendentes

No terço médio de RevoluçãoSejnowski sugere a possibilidade de que a Geração AI esteja finalmente elucidando o mistério das ondas viajantes. Ele oferece uma excelente história dos LLMs, levando o leitor desde os primeiros dias da IA ​​até o desenvolvimento do transformador, a forma mais antiga de modelo de linguagem. Leitores interessados ​​podem encontrar muito mais detalhes sobre ondas viajantes e transformadores em um artigo acadêmico para a revista Trends in Neuroscience.

Ao mesmo tempo, as coisas estão “indo na direção oposta”, com a inteligência artificial continuando a evoluir à medida que se inspira na neurociência, disse Sejnowski à ZDNET.

No livro, ele postula que as várias fraquezas dos grandes modelos de linguagem – as “alucinações” e, às vezes, resultados sem sentido – podem ser entendidas como estágios de desenvolvimento análogos ao desenvolvimento mental dos próprios humanos. A tecnologia, embora promissora, ainda tem um longo caminho a percorrer.

“LLMs são Peter Pans, que nunca cresceram e vivem em uma Terra do Nunca digital”, escreve Sejnowski. “Os LLMs também carecem de adolescência; em humanos, isso ocorre antes do córtex pré-frontal amadurecer e colocar freios no mau julgamento.”

Além disso: testei 9 detectores de conteúdo de IA – e esses 2 identificaram corretamente o texto de IA todas as vezes

O último terço do livro concentra-se em onde a IA pode chegar, dado esse paradigma de uma espécie de infância.

“Uma direção de longo prazo para a IA é incorporar LLMs em sistemas maiores”, escreve ele, “da mesma forma que a linguagem foi incorporada em sistemas cerebrais que evoluíram ao longo de milhões de anos para o controle sensório-motor, essencial para a sobrevivência”.

A Gen AI já ampliou suas capacidades tomando emprestado de outras áreas da ciência, disse Sejnowski à ZDNET.

Uma das inovações mais significativas dos últimos anos nos LLMs é a inserção de algo chamado “modelo de espaço de estados”, emprestado da física de partículas. Empresas comerciais, como a AI21, usaram o modo espaço de estados para aumentar drasticamente o desempenho em termos de tempo necessário para responder ao prompt.

O modelo de espaço de estados também está vinculado à teoria das ondas viajantes do cérebro, disse Sejnowski à ZDNET, fechando o círculo.

Esta polinização cruzada de esforços entre a ciência e a IA é o aspecto mais fascinante do livro, destacando o quanto ainda resta para ser compreendido em ambos os campos.

Também: AI21 e Databricks mostram que o código aberto pode reduzir radicalmente a IA

Os LLMs têm uma estrutura subjacente que os pesquisadores de IA estão apenas começando a compreender. Sejnowski prevê que o desvendar desse mistério poderá levar a novas formas de matemática, que, por sua vez, poderão fazer avançar dramaticamente a IA.

“Os LLMs de hoje são equivalentes às catedrais construídas na Idade Média por tentativa e erro”, escreve ele em Revolução. “À medida que os LLMs inspiram uma nova matemática, uma nova estrutura conceitual reificará conceitos como compreensão e inteligência; sua descendência será equivalente a arranha-céus.”

Uma das coisas notáveis ​​sobre o livro é que ele é extraordinariamente baseado no trabalho da ciência e da IA, informado pelas décadas de participação de Sejnowski em ambos, e ainda assim atinge novos patamares de imaginação científica.

Sejnowski postula que ciências e matemática inteiramente novas podem surgir, assim como as descobertas de Newton e outros mudaram a nossa compreensão do universo.

“Os físicos criaram equações que descreviam propriedades misteriosas do universo, como gravidade, termodinâmica, eletricidade, magnetismo e partículas elementares, que faziam previsões precisas com apenas alguns parâmetros, chamados constantes físicas”, escreve Sejnowski.

“No século XXI, uma nova área da matemática está a ter mais sucesso baseada em algoritmos da ciência da computação. Estamos apenas começando a explorar o universo algorítmico, o que pode exigir uma mudança no nosso pensamento sobre a compreensão científica.”

Além disso: ChatGPT escreve minha rotina nas 12 principais linguagens de programação. Aqui está o que os resultados me dizem

Pode esperar-nos uma revelação sobre a inteligência tal como sempre existiu, mas que nunca compreendemos.

Usando as ferramentas da Gen AI, as pessoas estão entendendo melhor seus pontos fortes e limitações, disse Sejnowski à ZDNET.

“Quanto mais eu o uso e mais vejo para que outras pessoas o estão usando, fica bastante claro que ele realmente as reflete”, disse Sejnowski. À medida que as pessoas melhoram na engenharia imediata, a ferramenta reflete cada vez mais o estilo do usuário: “Eles ficam melhores em se ver naquele espelho”.

O efeito de espelho leva a uma perspectiva tentadora: não vamos alcançar a “inteligência artificial geral”, o Santo Graal da IA, na forma clichê e de ficção científica de um humanóide realista que anda e fala como nós. Em vez disso, mudaremos a nossa compreensão daquilo que pensamos saber sobre inteligência. Está além do mero uso de ferramentas, mas ainda não temos uma expressão para o que essa outra coisa poderia ser.

“Será que a inteligência geral pode ter origem na forma como os humanos interagem socialmente, com a linguagem a emergir como um elemento tardio na evolução para melhorar a sociabilidade?” Sejnowski pergunta no livro. “Chegou a hora de repensarmos o conceito de ‘inteligência geral’ nos humanos.”