Antrópico alerta sobre catástrofe de IA se os governos não regulamentarem em 18 meses

A poucos dias das eleições presidenciais dos EUA, a empresa de IA Anthropic defende a sua própria regulamentação – antes que seja tarde demais.

Na quinta-feira, a empresa de IA, que se destaca na indústria pelo seu foco na segurança, divulgou diretrizes recomendadas para os governos implementarem “regulamentação direcionada”, juntamente com dados potencialmente preocupantes sobre o aumento do que chama de riscos “catastróficos” de IA.

Além disso: Inteligência artificial, ansiedade real: por que não conseguimos parar de nos preocupar e amar a IA

Os riscos

Em uma postagem no blog, a Anthropic observou quanto progresso os modelos de IA fizeram na codificação e no ataque cibernético em apenas um ano. “Na tarefa de engenharia de software do SWE-bench, os modelos melhoraram de serem capazes de resolver 1,96% de um conjunto de testes de problemas de codificação do mundo real (Claude 2, outubro de 2023) para 13,5% (Devin, março de 2024) para 49% ( Claude 3.5 Sonnet, outubro de 2024)”, escreveu a empresa. “Internamente, nossa equipe Frontier Red descobriu que os modelos atuais já podem ajudar em uma ampla gama de tarefas relacionadas a crimes cibernéticos, e esperamos que a próxima geração de modelos – que será capaz de planejar tarefas longas e de várias etapas – será ainda mais eficaz.”

Além disso, a postagem do blog observou que os sistemas de IA melhoraram sua compreensão científica em quase 18% somente de junho a setembro deste ano, de acordo com o teste de referência GPQA. OpenAI o1 alcançou 77,3% na seção mais difícil do teste; especialistas humanos pontuaram 81,2%.

A empresa também citou um teste de risco do AI Safety Institute do Reino Unido em vários modelos de uso indevido de produtos químicos, biológicos, radiológicos e nucleares (CBRN), que descobriu que “os modelos podem ser usados ​​para obter conhecimento de nível especializado sobre biologia e química”. Também descobriu que as respostas de vários modelos a questões científicas “estavam no mesmo nível das dadas por especialistas com nível de doutoramento”.

Além disso: o modelo de IA mais recente da Anthropic pode usar um computador como você – com erros e tudo

Estes dados eclipsam a previsão da Anthropic para 2023 de que os riscos cibernéticos e QBRN se tornariam substanciais dentro de dois a três anos. “Com base no progresso descrito acima, acreditamos que estamos agora substancialmente mais próximos de tais riscos”, afirmou o blog.

Diretrizes para governos

“Uma regulamentação criteriosa e bem direcionada pode permitir-nos obter o melhor dos dois mundos: concretizar os benefícios da IA ​​e, ao mesmo tempo, mitigar os riscos”, explicou o blog. “Arrastar os pés pode levar ao pior dos dois mundos: uma regulamentação mal concebida e instintiva que dificulta o progresso e ao mesmo tempo não é eficaz.”

A Anthropic sugeriu diretrizes para a ação governamental para reduzir o risco sem prejudicar a inovação na ciência e no comércio, usando sua própria Política de Escalabilidade Responsável (RSP) como um “protótipo”, mas não como um substituto. Reconhecendo que pode ser difícil prever quando implementar barreiras de proteção, a Anthropic descreveu o seu RSP como uma estrutura de gestão de risco proporcional que se ajusta às crescentes capacidades da IA ​​através de testes de rotina.

Além disso: Implementando IA? Verifique o banco de dados gratuito do MIT para os riscos

“A estrutura ‘se-então’ exige a aplicação de medidas de segurança e proteção, mas apenas quandoos modelos tornam-se capazes o suficiente para justificá-los”, explicou Antrópico.

A empresa identificou três componentes para uma regulamentação de IA bem-sucedida: transparência, incentivo à segurança e simplicidade e foco.

Atualmente, o público não pode verificar se uma empresa de IA está aderindo às suas próprias diretrizes de segurança. Para criar melhores registos, disse a Anthropic, os governos devem exigir que as empresas “tenham e publiquem políticas semelhantes às RSP”, delineiem quais as salvaguardas que serão acionadas e quando, e publiquem avaliações de risco para cada geração dos seus sistemas. É claro que os governos também devem ter um método para verificar se todas as declarações das empresas são, de facto, verdadeiras.

A Antrópica também recomendou que os governos incentivassem práticas de segurança de maior qualidade. “Os reguladores poderiam identificar os modelos de ameaças que os RSPs devem abordar, sob algum padrão de razoabilidade, deixando os detalhes para as empresas. Ou poderiam simplesmente especificar os padrões que um RSP deve cumprir”, sugeriu a empresa.

Além disso: as empresas ainda estão prontas para investir na Gen AI, sendo a gestão de risco uma prioridade máxima

Mesmo que estes incentivos sejam indiretos, a Anthropic insta os governos a mantê-los flexíveis. “É importante que os processos regulatórios aprendam com as melhores práticas à medida que evoluem, em vez de serem estáticos”, afirmou o blog – embora isso possa ser difícil de ser alcançado pelos sistemas burocráticos.

Pode ser desnecessário dizer, mas a Anthropic também enfatizou que a legislação deve ser fácil de compreender e implementar. Descrevendo as regulamentações ideais como “cirúrgicas”, a empresa defendeu “simplicidade e foco” nos seus conselhos, encorajando os governos a não criarem “fardos” desnecessários para as empresas de IA que possam distrair.

“Uma das piores coisas que podem acontecer à causa da prevenção de riscos catastróficos é a formação de uma ligação entre a regulamentação necessária para prevenir riscos e regras onerosas ou ilógicas”, afirmou o blog.

Conselhos da indústria

A Anthropic também instou suas colegas empresas de IA a implementar RSPs que apoiem a regulamentação. Salientou a importância de situar a segurança informática antecipadamente, e não depois os riscos causaram danos – e quão crítico isso torna a contratação para esse objetivo.

“Devidamente implementados, os RSPs orientam a estrutura organizacional e as prioridades. Eles se tornam uma parte fundamental dos roteiros de produtos, em vez de serem apenas uma política no papel”, observou o blog. A Anthropic disse que os RSPs também incentivam os desenvolvedores a explorar e revisitar modelos de ameaças, mesmo que sejam abstratos.

Além disso: o ecossistema de IA de hoje é insustentável para quase todo mundo, exceto para a Nvidia

Então, o que vem a seguir?

“É fundamental durante o próximo ano que os decisores políticos, a indústria da IA, os defensores da segurança, a sociedade civil e os legisladores trabalhem em conjunto para desenvolver um quadro regulamentar eficaz que cumpra as condições acima”, concluiu a Anthropic. “Nos EUA, isto acontecerá idealmente a nível federal, embora a urgência possa exigir que seja desenvolvido por estados individuais.”