Os especialistas em segurança podem aproveitar a IA generativa sem habilidades de engenharia imediatas?

Profissionais de todos os setores estão explorando a IA generativa para diversas tarefas – incluindo a criação de materiais de treinamento em segurança da informação – mas será que ela será realmente eficaz?

Brian Callahan, professor sênior e diretor do programa de pós-graduação em tecnologia da informação e ciências da web no Rensselaer Polytechnic Institute, e Shoshana Sugerman, estudante de graduação neste mesmo programa, apresentaram os resultados de seu experimento sobre este tópico no ISC2 Security Congress em Las Vegas em outubro .

Experiência envolveu a criação de treinamento cibernético usando ChatGPT

A questão principal do experimento foi “Como podemos treinar profissionais de segurança para administrar melhores instruções para uma IA criar um treinamento de segurança realista?” Da mesma forma, os profissionais de segurança também devem ser engenheiros alertas para projetar um treinamento eficaz com IA generativa?

Para responder a estas questões, os investigadores atribuíram a mesma tarefa a três grupos: especialistas em segurança com certificações ISC2, especialistas auto-identificados em engenharia imediata e indivíduos com ambas as qualificações. A tarefa deles era criar treinamento de conscientização sobre segurança cibernética usando ChatGPT. Posteriormente, o treinamento foi distribuído à comunidade do campus, onde os usuários deram feedback sobre a eficácia do material.

Os pesquisadores levantaram a hipótese de que não haveria diferença significativa na qualidade do treinamento. Mas se surgisse uma diferença, isso revelaria quais competências eram mais importantes. Os prompts criados por especialistas em segurança ou profissionais de engenharia seriam mais eficazes?

VEJA: Os agentes de IA podem ser o próximo passo no aumento da complexidade das tarefas que a IA pode realizar.

Os participantes do treinamento avaliaram bem o material – mas o ChatGPT cometeu erros

Os pesquisadores distribuíram os materiais de treinamento resultantes – que foram ligeiramente editados, mas incluíam principalmente conteúdo gerado por IA – para os alunos, professores e funcionários da Rensselaer.

Os resultados indicaram que:

• Indivíduos que fizeram o treinamento elaborado por engenheiros imediatos se classificaram como mais aptos a evitar ataques de engenharia social e segurança de senhas.
• Aqueles que fizeram o treinamento elaborado por especialistas em segurança se classificaram como mais aptos a reconhecer e evitar ataques de engenharia social, detectar phishing e realizar engenharia imediata.
• As pessoas que fizeram o treinamento elaborado por dois especialistas se classificaram como mais adeptas às ameaças cibernéticas e à detecção de phishing.

Callahan observou que parecia estranho que pessoas treinadas por especialistas em segurança sentissem que eram melhores em engenharia imediata. No entanto, aqueles que criaram o treinamento geralmente não avaliaram muito bem o conteúdo escrito por IA.

“Ninguém achou que a primeira passagem fosse boa o suficiente para ser distribuída às pessoas”, disse Callahan. “É necessária uma revisão cada vez maior.”

Em um caso, o ChatGPT produziu o que parecia ser um guia coerente e completo para denunciar e-mails de phishing. No entanto, nada escrito no slide era preciso. A IA inventou processos e um endereço de e-mail de suporte de TI.

Pedir ao ChatGPT um link para o portal de segurança do RPI mudou radicalmente o conteúdo e gerou instruções precisas. Nesse caso, os pesquisadores emitiram uma correção para os alunos que obtiveram informações imprecisas em seus materiais de treinamento. Nenhum dos participantes do treinamento identificou que as informações do treinamento estavam incorretas, observou Sugerman.

Divulgar se os treinamentos são escritos por IA é fundamental

“O ChatGPT pode muito bem conhecer suas políticas se você souber como ativá-las corretamente”, disse Callahan. A RPI é, observou ele, uma universidade pública e todas as suas políticas estão disponíveis publicamente online.

Os pesquisadores só revelaram que o conteúdo foi gerado por IA após a realização do treinamento. As reações foram mistas, Callahan e Sugerman disseram:

• Muitos estudantes ficaram “indiferentes”, esperando que alguns materiais escritos no futuro fossem feitos por IA.
• Outros estavam “suspeitos” ou “assustados”.
• Alguns acharam “irônico” que o treinamento, focado em segurança da informação, tenha sido criado por IA.

Callahan disse que qualquer equipe de TI que use IA para criar materiais de treinamento reais, em vez de realizar um experimento, deveria divulgar o uso de IA na criação de qualquer conteúdo compartilhado com outras pessoas.

“Acho que temos evidências provisórias de que a IA generativa pode ser uma ferramenta valiosa”, disse Callahan. “Mas, como qualquer ferramenta, ela traz riscos. Certas partes do nosso treinamento estavam erradas, amplas ou genéricas.”

Algumas limitações do experimento

Callahan apontou algumas limitações do experimento.

“Existe literatura de que o ChatGPT e outras IAs generativas fazem as pessoas sentirem que aprenderam coisas, mesmo que não tenham aprendido essas coisas”, explicou ele.

Testar as pessoas quanto às competências reais, em vez de lhes pedir que relatassem se sentiam que tinham aprendido, teria levado mais tempo do que o previsto para o estudo, observou Callahan.

Após a apresentação, perguntei se Callahan e Sugarman haviam considerado usar um grupo de controle de treinamento escrito inteiramente por humanos. Eles tinham, disse Callahan. No entanto, dividir os formadores em especialistas em segurança cibernética e engenheiros imediatos foi uma parte fundamental do estudo. Não havia pessoas suficientes disponíveis na comunidade universitária que se identificassem como especialistas em engenharia imediata para preencher uma categoria de controle para dividir ainda mais os grupos.

A apresentação do painel incluiu dados de um pequeno grupo inicial de participantes – 15 participantes e três testadores. Em um e-mail de acompanhamento, Callahan disse ao TechRepublic que a versão final para publicação incluirá participantes adicionais, já que o experimento inicial era uma pesquisa piloto em andamento.

Isenção de responsabilidade: O ISC2 pagou minha passagem aérea, acomodações e algumas refeições para o evento do Congresso de Segurança ISC2, realizado de 13 a 16 de outubro em Las Vegas.