48% dos profissionais de segurança acreditam que a IA é arriscada

Uma pesquisa recente com 500 profissionais de segurança feita pela HackerOne, uma plataforma de pesquisa de segurança, descobriu que 48% acreditam que a IA representa o risco de segurança mais significativo para sua organização. Entre suas maiores preocupações relacionadas à IA estão:

• Dados de treinamento vazados (35%).
• Uso não autorizado (33%).
• A invasão de modelos de IA por pessoas de fora (32%).

Esses medos destacam a necessidade urgente de as empresas reavaliarem suas estratégias de segurança de IA antes que as vulnerabilidades se tornem ameaças reais.

A IA tende a gerar falsos positivos para equipes de segurança

Embora o Hacker Powered Security Report completo não esteja disponível até o final deste outono, pesquisas adicionais de um relatório do SANS Institute patrocinado pela HackerOne revelaram que 58% dos profissionais de segurança acreditam que as equipes de segurança e os agentes de ameaças podem se ver em uma “corrida armamentista” para alavancar táticas e técnicas de IA generativa em seu trabalho.

Profissionais de segurança na pesquisa SANS disseram que encontraram sucesso usando IA para automatizar tarefas tediosas (71%). No entanto, os mesmos participantes reconheceram que os agentes de ameaças poderiam explorar IA para tornar suas operações mais eficientes. Em particular, os entrevistados “estavam mais preocupados com campanhas de phishing alimentadas por IA (79%) e exploração automatizada de vulnerabilidades (74%).”

VEJA: Líderes de segurança estão ficando frustrados com código gerado por IA.

“As equipes de segurança devem encontrar as melhores aplicações para IA para acompanhar os adversários, ao mesmo tempo em que consideram suas limitações existentes — ou correm o risco de criar mais trabalho para si mesmas”, disse Matt Bromiley, analista do SANS Institute, em um comunicado à imprensa.

A solução? Implementações de IA devem passar por uma revisão externa. Mais de dois terços dos entrevistados (68%) escolheram “revisão externa” como a maneira mais eficaz de identificar problemas de segurança e proteção de IA.

“As equipes agora estão mais realistas sobre as limitações atuais da IA” do que estavam no ano passado, disse o Arquiteto de Soluções Sênior da HackerOne, Dane Sherrets, em um e-mail para a TechRepublic. “Os humanos trazem muito contexto importante para a segurança defensiva e ofensiva que a IA ainda não consegue replicar. Problemas como alucinações também fizeram as equipes hesitarem em implantar a tecnologia em sistemas críticos. No entanto, a IA ainda é ótima para aumentar a produtividade e executar tarefas que não exigem contexto profundo.”

Outras descobertas da Pesquisa de IA SANS 2024, divulgada este mês, incluem:

• 38% planejam adotar IA em sua estratégia de segurança no futuro.
• 38,6% dos entrevistados disseram que enfrentaram deficiências ao usar IA para detectar ou responder a ameaças cibernéticas.
• 40% citam implicações legais e éticas como um desafio à adoção da IA.
• 41,8% das empresas enfrentaram resistência de funcionários que não confiam nas decisões de IA, o que a SANS especula ser “devido à falta de transparência”.
• 43% das organizações atualmente usam IA em sua estratégia de segurança.
• A tecnologia de IA em operações de segurança é mais frequentemente usada em sistemas de detecção de anomalias (56,9%), detecção de malware (50,5%) e resposta automatizada a incidentes (48,9%).
• 58% dos entrevistados disseram que os sistemas de IA têm dificuldade para detectar novas ameaças ou responder a indicadores discrepantes, o que a SANS atribui à falta de dados de treinamento.
• Dos que relataram deficiências no uso de IA para detectar ou responder a ameaças cibernéticas, 71% disseram que a IA gerou falsos positivos.

Anthropic busca contribuições de pesquisadores de segurança sobre medidas de segurança de IA

A fabricante de IA generativa Anthropic expandiu seu programa de recompensa por bugs no HackerOne em agosto.

Especificamente, a Anthropic quer que a comunidade hacker faça testes de estresse “das mitigações que usamos para evitar o uso indevido de nossos modelos”, incluindo tentar romper as proteções destinadas a impedir que a IA forneça receitas para explosivos ou ataques cibernéticos. A Anthropic diz que premiará até US$ 15.000 para aqueles que identificarem com sucesso novos ataques de jailbreaking e fornecerá aos pesquisadores de segurança da HackerOne acesso antecipado ao seu próximo sistema de mitigação de segurança.