IA generativa em segurança: riscos e estratégias de mitigação

A IA generativa se tornou a palavra da moda mais feroz da tecnologia, aparentemente da noite para o dia, com o lançamento do ChatGPT. Dois anos depois, a Microsoft está usando modelos básicos OpenAI e respondendo a perguntas de clientes sobre como a IA muda o cenário de segurança.

Siva Sundaramoorthy, arquiteto sênior de segurança de soluções em nuvem da Microsoft, costuma responder a essas perguntas. O especialista em segurança forneceu uma visão geral da IA ​​generativa – incluindo seus benefícios e riscos de segurança – para uma multidão de profissionais de segurança cibernética no ISC2 em Las Vegas, em 14 de outubro.

Que riscos de segurança podem advir do uso de IA generativa?

Durante seu discurso, Sundaramoorthy discutiu preocupações sobre a precisão da GenAI. Ele enfatizou que a tecnologia funciona como um preditor, selecionando o que considera ser a resposta mais provável – embora outras respostas também possam estar corretas dependendo do contexto.

Os profissionais de segurança cibernética devem considerar os casos de uso de IA sob três ângulos: uso, aplicação e plataforma.

“Você precisa entender qual caso de uso você está tentando proteger”, disse Sundaramoorthy.

Ele acrescentou: “Muitos desenvolvedores e pessoas nas empresas estarão neste balde central (aplicativo), onde as pessoas criarão aplicativos nele. Cada empresa tem um bot ou uma IA pré-treinada em seu ambiente.”

VEJA: A AMD revelou seu concorrente para os chips de IA de alta resistência da NVIDIA na semana passada, enquanto a guerra de hardware continua.

Uma vez identificados o uso, a aplicação e a plataforma, a IA pode ser protegida de forma semelhante a outros sistemas – embora não totalmente. Certos riscos têm maior probabilidade de surgir com a IA generativa do que com os sistemas tradicionais. Sundaramoorthy citou sete riscos de adoção, incluindo:

• Viés.
• Desinformação.
• Decepção.
• Falta de responsabilidade.
• Excesso de confiança.
• Direitos de propriedade intelectual.
• Impacto psicológico.

A IA apresenta um mapa de ameaças único, correspondente aos três ângulos mencionados acima:

• O uso de IA em segurança pode levar à divulgação de informações confidenciais, sombra de TI de aplicativos ou plug-ins de terceiros baseados em LLM ou riscos de ameaças internas.
• As aplicações de IA em segurança podem abrir portas para injeção imediata, vazamento ou infiltração de dados ou riscos de ameaças internas.
• As plataformas de IA podem introduzir problemas de segurança através de envenenamento de dados, ataques de negação de serviço ao modelo, roubo de modelos, inversão de modelo ou alucinações.

Os invasores podem usar estratégias como conversores de prompt – usando ofuscação, truques semânticos ou instruções explicitamente maliciosas para contornar filtros de conteúdo – ou técnicas de jailbreak. Eles poderiam explorar sistemas de IA e envenenar dados de treinamento, realizar injeção imediata, aproveitar o design inseguro de plug-ins, lançar ataques de negação de serviço ou forçar modelos de IA a vazar dados.

“O que acontece se a IA estiver conectada a outro sistema, a uma API que pode executar algum tipo de código em outros sistemas?” Sundaramoorthy disse. “Você pode enganar a IA para criar uma porta dos fundos para você?”

As equipes de segurança devem equilibrar os riscos e benefícios da IA

Sundaramoorthy usa o Copilot da Microsoft com frequência e o considera valioso para seu trabalho. No entanto, “a proposta de valor é muito alta para que os hackers não a atinjam”, disse ele.

Outros pontos problemáticos que as equipes de segurança devem estar cientes em relação à IA incluem:

• A integração de novas tecnologias ou decisões de design introduz vulnerabilidades.
• Os utilizadores devem ser treinados para se adaptarem às novas capacidades da IA.
• O acesso e o processamento de dados sensíveis com sistemas de IA criam novos riscos.
• A transparência e o controle devem ser estabelecidos e mantidos durante todo o ciclo de vida da IA.
• A cadeia de fornecimento de IA pode introduzir códigos vulneráveis ​​ou maliciosos.
• A ausência de padrões de conformidade estabelecidos e a rápida evolução das melhores práticas não tornam claro como proteger a IA de forma eficaz.
• Os líderes devem estabelecer um caminho confiável para aplicações generativas integradas em IA, de cima para baixo.
• A IA introduz desafios únicos e pouco compreendidos, como as alucinações.
• O ROI da IA ​​ainda não foi comprovado no mundo real.

Além disso, Sundaramoorthy explicou que a IA generativa pode falhar tanto de forma maliciosa quanto benigna. Uma falha maliciosa pode envolver um invasor contornando as salvaguardas da IA, fazendo-se passar por um pesquisador de segurança para extrair informações confidenciais, como senhas. Uma falha benigna pode ocorrer quando conteúdo tendencioso entra involuntariamente na saída da IA ​​devido a dados de treinamento mal filtrados.

Maneiras confiáveis ​​de proteger soluções de IA

Apesar da incerteza em torno da IA, existem algumas formas testadas e confiáveis ​​de proteger soluções de IA de maneira razoavelmente completa. Organizações padrão como NIST e OWASP fornecem estruturas de gestão de risco para trabalhar com IA generativa. MITRE publica a ATLAS Matrix, uma biblioteca de táticas e técnicas conhecidas que os invasores usam contra a IA.

Além disso, a Microsoft oferece ferramentas de governança e avaliação que as equipes de segurança podem usar para avaliar soluções de IA. O Google oferece sua própria versão, o Secure AI Framework.

As organizações devem garantir que os dados do usuário não entrem nos dados do modelo de treinamento por meio de saneamento e limpeza de dados adequados. Eles deveriam aplicar o princípio do menor privilégio ao ajustar um modelo. Métodos rigorosos de controle de acesso devem ser usados ​​ao conectar o modelo a fontes de dados externas.

Em última análise, Sundaramoorthy disse: “As melhores práticas cibernéticas são as melhores práticas em IA”.

Usar IA – ou não usar IA

Que tal não usar IA? A autora e pesquisadora de IA Janelle Shane, que falou na palestra de abertura do Congresso de Segurança ISC2, observou que uma opção para as equipes de segurança é não usar IA devido aos riscos que ela apresenta.

Sundaramoorthy adotou uma abordagem diferente. Se a IA puder acessar documentos em uma organização que deveria ser isolada de quaisquer aplicativos externos, ele disse: “Isso não é um problema de IA. Isso é um problema de controle de acesso.”

Isenção de responsabilidade: O ISC2 pagou minha passagem aérea, acomodações e algumas refeições para o evento ISC2 Security Congres, realizado de 13 a 16 de outubro em Las Vegas.