A inovação em IA deve ser equilibrada com regulamentação sensata

O CEO da startup de tecnologia australiana Dovetail apoiou a necessidade de regulamentação da IA ​​para garantir que a tecnologia em expansão não seja usada para “fins nefastos”. No entanto, ele disse que os aspectos práticos da conformidade determinarão o quão fácil ou difícil será para as empresas que implantam IA cumprirem.

Benjamin Humphreys aumentou a plataforma de insights do cliente Dovetail nos últimos sete anos para 120 pessoas baseadas na Austrália e nos EUA. Ele disse ao TechRepublic que havia necessidade de alguma ação por parte dos governos para salvaguardar “o bem maior da sociedade” contra alguns casos de uso potencial de IA.

Embora ele tenha dito que a proposta da Austrália para proteções obrigatórias de IA provavelmente não impediria a inovação na Dovetail, devido ao foco da proposta na IA de alto risco, quaisquer movimentos que exijam extensas revisões humanas dos resultados da IA ​​em escala dentro de produtos tecnológicos poderiam ser proibitivos se fossem exigidos. .

VEJO: Explore as proteções obrigatórias propostas pela Austrália para IA

Regulamentar a IA é necessária para proteger os cidadãos do pior potencial da IA

Humphreys, cuja plataforma Dovetail utiliza modelos de IA da Anthropic para fornecer aos clientes insights mais profundos sobre seus dados de clientes, disse que a regulamentação da IA ​​era bem-vinda em certas áreas ou casos de uso de alto risco. Como exemplo, ele citou a necessidade de regulamentos para evitar que a IA discrimine candidatos a empregos com base em dados de formação tendenciosos.

“Sou uma pessoa de tecnologia, mas na verdade sou anti-tecnologia que perturba o bem da humanidade”, disse ele. “A IA deveria ser regulamentada para o bem maior da sociedade? Eu diria que sim, definitivamente; Acho assustador o que você pode fazer, especialmente com a capacidade de gerar fotografias e coisas assim”, disse ele.

Espera-se que os novos regulamentos de IA propostos pela Austrália resultem na introdução de barreiras de proteção para o desenvolvimento de IA em ambientes de alto risco. Estas medidas incluem a implementação de processos de gestão de riscos e testes de modelos de IA antes do lançamento. Ele disse que é mais provável que impactem empresas em ambientes de alto risco.

“Não creio que isso tenha um impacto enorme sobre o quanto você pode inovar”, disse Humphreys.

VEJO: Gartner acredita que os líderes australianos de TI deveriam adotar IA em seu próprio ritmo

“Acho que o regulamento se concentra em áreas de alto risco… e já temos que cumprir todos os tipos de regulamentos de qualquer maneira. Isso inclui a Lei de Privacidade da Austrália, e também fazemos muitas coisas na UE, por isso temos que lidar com o GDPR. Então não é diferente nesse sentido”, explicou.

Humphreys disse que a regulamentação era importante porque as organizações que desenvolvem IA tinham os seus próprios incentivos. Ele citou as redes sociais como um exemplo relacionado de uma área onde a sociedade poderia beneficiar de uma regulamentação criteriosa, pois acredita que, dado o seu historial, “as redes sociais têm muito a responder”.

“As grandes empresas de tecnologia têm incentivos muito diferentes daqueles que temos como cidadãos”, observou. “É muito assustador quando você tem empresas como Meta, Google e Microsoft e outras com incentivos comerciais muito pesados ​​e muito capital criando modelos que servirão aos seus propósitos.”

A conformidade legal da IA ​​dependerá da especificidade dos regulamentos

O processo de feedback para as proteções obrigatórias propostas pelo governo australiano foi encerrado em 4 de outubro. O impacto das regulamentações de IA resultantes pode depender de quão específicas são as medidas de conformidade e de quantos recursos são necessários para permanecer em conformidade, disse Humphreys.

“Se um regulamento obrigatório dissesse que, quando fornecida essencialmente com uma resposta de IA, a interface do software precisa permitir que o usuário verifique a resposta, então acho que isso é algo relativamente fácil de cumprir. Isso é coisa de humano”, disse Humphreys.

A Dovetail já incorporou esse recurso em seu produto. Se os usuários consultam os dados do cliente para obter uma resposta gerada por IA, Humphreys disse que a resposta é rotulada como gerada por IA. E os usuários recebem referências ao material de origem sempre que possível, para que possam verificar as conclusões por si próprios.

VEJA: Por que a IA generativa está se tornando uma fonte de ‘erros caros’ para compradores de tecnologia

“Mas se o regulamento disser, ei, você sabe, cada resposta que seu software fornece deve ser revisada por um funcionário da Dovetail, obviamente isso não será algo que possamos cumprir, porque existem muitos milhares dessas pesquisas sendo executado em nosso software a cada hora”, disse ele.

Em uma apresentação sobre as proteções obrigatórias compartilhada com a TechRepublic, a empresa de tecnologia Salesforce sugeriu que a Austrália adotasse uma abordagem baseada em princípios; disse que compilar uma lista ilustrativa como a vista na UE e no Canadá poderia capturar inadvertidamente casos de uso de baixo risco, aumentando a carga de conformidade.

Como a Dovetail está integrando IA responsável em sua plataforma

A Dovetail tem garantido a implementação responsável da IA ​​em seus produtos. Humphreys disse que, em muitos casos, isso é agora o que os clientes esperam, pois aprenderam a não confiar totalmente nos modelos de IA e nos seus resultados.

Considerações sobre infraestrutura para IA responsável
Dovetail usa o serviço AWS Bedrock para IA generativa, bem como LLMs Antrópicos. Humphreys disse que isso dá aos clientes a confiança de que seus dados estão isolados de outros clientes e protegidos, e que não há risco de vazamento de dados. O Dovetail não aproveita as entradas de dados do usuário dos clientes para ajustar os modelos de IA.

As saídas geradas por IA são rotuladas e podem ser verificadas
Do ponto de vista da experiência do usuário, todos os resultados gerados pela IA do Dovetail são rotulados como tal, para deixar claro para os usuários. Nos casos em que for possível, os clientes também recebem citações em respostas geradas por IA, para que o usuário possa investigar mais detalhadamente quaisquer insights assistidos por IA.

Os resumos gerados por IA podem ser editados por usuários humanos
As respostas geradas por IA do Dovetail podem ser editadas ativamente por humanos no circuito. Por exemplo, se um resumo de uma videochamada for gerado por meio do recurso de resumo de transcrição, os usuários que receberem o resumo poderão editá-lo caso identifiquem que existe um erro.

Atendendo às expectativas do cliente com um ser humano informado

Humphreys disse que os clientes agora esperam ter alguma supervisão da IA ​​ou um ser humano por dentro.

“Isso é o que o mercado espera, e acho que é uma boa proteção, porque se você estiver tirando conclusões de nosso software para informar sua estratégia de negócios ou seu roteiro ou o que quer que esteja fazendo, você gostaria de ter certeza que essas conclusões são precisas”, disse ele.

Humphreys disse que a regulamentação da IA ​​pode precisar ser de alto nível para cobrir a grande variedade de casos de uso.

“Necessariamente, terá que ser de nível bastante alto para cobrir todos os diferentes casos de uso”, disse Humphreys. “Os casos de uso de IA são tão difundidos que será muito difícil, eu acho, para eles (o governo) escrever algo que seja específico o suficiente. É um campo minado, para ser honesto.”