As empresas de inteligência artificial (IA) não são estranhas ao embelezamento das capacidades dos seus produtos – e quando se trata de segurança pública, as consequências podem ser mortais.
A Evolv Technologies afirmou que seus scanners de segurança alimentados por IA melhorariam a segurança pública ao detectar armas em vários lugares, inclusive em escolas. Mas a Comissão Federal de Comércio (FTC) concluiu o contrário.
Além disso: os infratores do ‘clique para cancelar’ enfrentarão consequências, já que a agência dos EUA promete fazer cumprir a decisão da FTC
Na semana passada, a FTC propôs um acordo com a Evolv Technologies sobre como a empresa superestimou a capacidade do seu sistema de segurança alimentado por IA para detectar armas e “ignorar itens pessoais inofensivos” – especialmente em ambientes escolares. Os sistemas sem toque da Evolv examinam as pessoas quando elas entram em um espaço, sem exigir uma busca manual em bolsas ou bolsos.
Em uma postagem X, a presidente da FTC, Lina Khan, disse que a Evolv “promoveu falsamente” seus sistemas de detecção de armas de IA para distritos escolares que pagaram à empresa “milhões” para usar a tecnologia nas escolas. Ela observou que os scanners dispararam alarmes para itens inofensivos, como garrafas de água e pastas, mas não conseguiram identificar armas.
1. A Evolv promoveu falsamente seus sistemas de triagem de segurança alimentados por IA para os distritos escolares, que então lhe pagaram milhões de dólares.
Na realidade, os scanners da Evolv por vezes não conseguiam detectar armas nas escolas, ao mesmo tempo que disparavam alarmes para pastas e garrafas de água. pic.twitter.com/JFonOYEoyA-Lina Khan (@linakhanFTC) 26 de novembro de 2024
Desde que se tornaram públicos em 2021, os scanners da Evolv têm aparecido em eventos esportivos, parques temáticos, escolas, aeroportos, estações de metrô e até festivais de cinema como alternativa aos detectores de metal tradicionais e outras formas de pontos de verificação de segurança. A empresa sediada em Massachusetts anunciou seus “sistemas avançados de verificação de segurança baseados em IA” como uma solução viável para resolver questões de segurança pública, incluindo tiroteios em escolas.
Além disso: o relatório da FTC expõe a coleta massiva de dados por marcas de mídia social – como se proteger
De acordo com o The Intercept, em junho de 2022, o ex-presidente-executivo da Evolv, Peter George, foi questionado em uma conferência de investidores “se a empresa teria impedido o trágico tiroteio na escola em Uvalde, Texas, onde 19 estudantes e dois professores foram mortos”.
George respondeu: “Quando alguém passar pelo nosso sistema e tiver uma arma escondida ou aberta, nós vamos encontrá-la, ponto final.”
Apesar da declaração de Georges, dezenas de distritos escolares que gastaram milhões em tecnologia de detecção de armas experimentaram casos em que os sistemas Evolvs não detectaram armas, de acordo com o Intercept, resultando em escrutínio legal e regulamentar. Em 2023, cinco escritórios de advocacia anunciaram investigações sobre as tecnologias da Evolv por possíveis violações da lei de valores mobiliários, alegando que “a Evolv enganou os investidores sobre as capacidades de seus detectores de armas”.
Além disso: Por que você deve desligar o telefone uma vez por semana – de acordo com a NSA
Além disso, os acionistas da Evolv entraram com uma ação coletiva contra a empresa, argumentando que as alegações de marketing da empresa exageravam a eficácia da tecnologia.
As questões não param por aí. Apesar desta turbulência jurídica, regulatória e interna, o prefeito da cidade de Nova York, Eric Adams, lançou um programa piloto de três meses que implantaria scanners de IA nos metrôs de Nova York. Os mesmos scanners foram implantados anteriormente no Jacobi Medical Center, onde supostamente desencadearam um grande número de falsos positivos, de acordo com o canal de notícias Hell Gate, com sede em Nova York.
É comum que os sistemas de IA melhorem com o tempo, pois os modelos podem se tornar mais precisos à medida que mais dados acumulam. Para Evolv, esse não foi o caso. À medida que o programa piloto avançava, os scanners de IA “não se tornaram mais precisos – não houve um único mês em que a proporção de alarme por visitante caiu abaixo de 25 por cento”, relatou Hell Gate.
Além disso: a IA está nos tornando mais inteligentes, diz o pioneiro da IA Terry Sejnowski
Relatórios adicionais descobriram que os scanners tinham “uma taxa de falsos positivos de 95 por cento” e que apenas 0,45 por cento dos alertas foram desencadeados por pessoas portando armas que não eram agentes da lei.
O que isso significa para a segurança escolar
Na quarta-feira, a Evolv Technologies chegou a um acordo com a FTC para resolver a investigação sobre suas reivindicações de marketing anteriores. De acordo com uma postagem no blog da FTC, a ordem de acordo proposta impediria a Evolv de “fazer alegações infundadas sobre a capacidade de seus produtos de detectar armas usando inteligência artificial”. Também exigiria que a Evolv “notificasse certos clientes de escolas de ensino fundamental e médio que eles podem optar por cancelar contratos assinados entre 1º de abril de 2022 e 30 de junho de 2023”, que podem ser plurianuais.
Samuel Levine, Diretor do Bureau of Consumer Protection, afirma no blog que “A FTC deixou claro que as alegações sobre tecnologia – incluindo inteligência artificial – precisam ser apoiadas, e isso é especialmente importante quando essas alegações envolvem a segurança de crianças.“
Além disso: eu testo ferramentas de IA para viver, e essas são as únicas duas pelas quais vale a pena pagar
Mike Ellenbogen, presidente interino e CEO da Evolv Technology, afirmou no comunicado de imprensa da empresa que “a investigação da FTC tratava da linguagem de marketing anterior e não da capacidade do nosso sistema de agregar valor às operações de segurança”. A empresa também destacou “que a agência não desafiou a eficácia fundamental da tecnologia da empresa nem exigiu qualquer alívio monetário”.
Os acordos propostos também proíbem a Evolv de fazer afirmações falsas ou declarações falsas sobre:
- “A capacidade de seus produtos de detectar armas, ignorar itens pessoais inofensivos e ignorar itens pessoais inofensivos sem exigir que os visitantes removam tais itens dos bolsos ou bolsas”
- “A precisão de seus produtos na detecção de armas e taxas de falsos alarmes, inclusive em comparação com o uso de detectores de metais tradicionais”
- “A velocidade com que os visitantes podem ser rastreados em comparação com o uso de detectores de metal”
- “Custos trabalhistas, incluindo comparações com o uso de detectores de metais; testes ou resultados de quaisquer testes; e qualquer aspecto material de seu desempenho, incluindo o uso de algoritmos, inteligência artificial ou outros sistemas ou ferramentas automatizados.”
A FTC observou no passado que os produtos de IA podem prometer-se excessivamente como soluções para problemas sistémicos, o que é uma consequência da propaganda exagerada da IA. Isto pode ser especialmente arriscado para a segurança pública se mais cidades, instituições e escolas confiarem em tecnologias como os scanners da Evolv como proteção contra falhas.