Os CIOs acreditam que a gestão de custos pode destruir o valor da IA

CIOs que sentem pressão para implementar projetos bem-sucedidos de inteligência artificial (IA) Eles têm uma segunda preocupação: Eles não têm orçamento para realizá-lo..

90% dos CIOs pesquisado recentemente pelo Gartner Dizem que a gestão dos custos da IA ​​limita a sua capacidade de obter valor desta tecnologia. Além disso, se os CIOs não compreenderem totalmente o custo do dimensionamento da IA ​​generativa, eles poderiam cometer erros de cálculo entre 500% e 1.000%de acordo com Hung LeHong, analista especializado em liderança executiva para empresas digitais da empresa de análise e pesquisa. Dependendo do projeto de IA, um erro dessa magnitude pode custar milhões de dólares.

Em muitos casos, usar um modelo de linguagem grande (LLM) para tarefas simples de IA, como transcrever e traduzir, pode ser caro quando ferramentas mais baratas estão disponíveis, disse LeHong durante um webcast recente. “Alguns CIOs simplesmente não entendem todos os elementos de custo que existem”acrescenta. “Mesmo que compreendam o custo, não têm influência para alterá-lo.”

Custos ocultos e aumentos de preços

A implementação de IA requer uma abordagem diferente de outras tecnologiasacrescenta Sumit Johar, CIO do fornecedor de programas Linha Preta financeira. “O verdadeiro problema é que o custo de colocar a IA generativa em funcionamento nem sempre é compreendido até que se tente implementá-la com sucesso”, diz ele. “É muito fácil obter sucesso rápido com um protótipo, mas existem custos ocultos envolvido em preparar dados para IA, treinar modelos de IA com dados corporativos, ajustar após a implantação, estabelecer controles para limitar abusos, preconceitos e alucinações.”

Johar diz que a BlackLine implementou suas próprias ferramentas de IA com foco em projetos que afetam a maioria dos funcionários e clientes. Projetos de IA com amplo impacto mostram aos gestores e funcionários o poder da tecnologia, acrescenta.

Mas os desafios de implementação associados à IA são desafios que muitos CIOs nunca enfrentaram antes, acrescenta. “Estávamos acostumados a escrever sistemas baseados em regras que sempre se comportariam da maneira que os projetamos”, diz ele. “A IA generativa não funciona assim e requer vários investimentos adicionais para mantê-la sob controle enquanto é usada para o que foi projetada”.

Além dos desafios de implementação da IA, os prestadores de serviços programas Eles estão aumentando os preços em 30% devido a novos recursos de IA que foram incorporadas, diz o Gartner. Embora alguns fornecedores de programas Apesar de arcar com o custo adicional da IA ​​por enquanto, os CIOs devem planejar a situação que provavelmente mudará, diz LeHong.

“Mais tarde, esses preços subirão”, acrescenta. “Não se trata apenas do custo da IA, mas do custo das aplicações que já utilizam nos seus negócios, que os preocupa realmente”.

Uma mudança em direção a pequenas vitórias

A questão dos custos, combinada com a enorme pressão dos CEO e dos conselhos de administração para implementar e criar valor a partir da IA, coloca os CIO e outros líderes tecnológicos numa posição difícil, afirma Kevin Miller, Diretor de Tecnologia da empresa industrial de IA IFS. Num inquérito recente da IFS aos decisores de TI em indústrias industriais e relacionadas, 82% dos entrevistados dizem que estão sob pressão significativa para adotar a IA rapidamenteele ressalta.

“Talvez todos nós tenhamos sido um pouco culpados por entrar na floresta de IA sem necessariamente saber para onde estamos indo ou como é essa visão”, diz ele. “A primeira coisa que os CIOs precisam descobrir é onde estão os potenciais pequenos ganhos da IA.”

A previsão do Gartner de que os CIOs podem subestimar os custos de IA em 1.000% deveria ser um um alerta para que os CIOs descubram como medir e priorizar projetos de IA que possam agregar valorafirma Miller.

“O custo aumenta exponencialmente” pato. “Realmente tem o potencial de ficar fora de controle.”

Em muitos casos, pequenos ganhos que mostram valor rápido podem ser uma aposta melhor do que projetos enormes e de alto risco, aconselha Miller. Também recomenda que Os CIOs interagem com grupos de pares para aprender sobre projetos de IA bem-sucedidos.

“Podemos aprender com outras pessoas que já passaram por isso”, diz ele. “Como posso tornar isso o mais eficaz possível, atendendo às demandas do conselho e dos executivos seniores com quem trabalho, interagindo com esses colegas para descobrir o que funcionou e o que não funcionou e onde eles obtiveram mais valor?”

O custo é certamente uma preocupação quando os CIOs pensam em implementar IA generativa, afirma Yuval Perlov, CTO da K2view, um fornecedor de gestão de dados. Em sua recente pesquisa com profissionais seniores de implementação de IA, a K2view descobriu que O custo foi a principal preocupação, seguido pela segurança e privacidade dos dados, bem como pela fiabilidade das respostas generativas da IA.

No entanto, o problema é tanto de escala quanto de custodiz Perlov. Em muitos casos, eleAs organizações lançam projetos ambiciosos de IA cuja escala pode ser dispendiosa, enquanto pequenas iniciativas estratégicas podem gerar retornos mais rápidosdados.

“Alguns (CIOs) estão experimentando tecnologia e vendo coisas interessantes que não fazem parte de uma estratégia, e então querem expandi-las”, diz ele. “E muitas vezes não o fazem, seja porque não calcularam previamente ou porque usaram um método extremamente caro para o fazer, como se não existissem formas mais fáceis ou mais baratas de o fazer.”

Ao contrário de Johar, da BlackLine, que recomenda a implementação de projetos de IA com uma ampla base de usuários, Perlov incentiva os líderes de TI a pensar estrategicamente e focar em casos de uso que tenham implicações estratégicas específicas para suas organizações. Em alguns casos, os CIOs quererão sacrificar o ROI de curto prazo em troca de vantagens estratégicas de longo prazo e, em outros casos, os CIOs começarão com projetos pequenos e fáceis de implementar, que geram ganhos imediatos para demonstrar aos CEOs e aos membros do grupo. quadro.

Em vez de criar um bot de bate-papo dos clientes que responde a 200 perguntas, comece com aquele que responda às 10 perguntas mais frequentes e depois delegue as perguntas menos comuns a agentes humanos, sugere ele.

“Comece pequeno e profundo, não amplo e superficial, ou faça uma ou duas coisas, faça-as muito bem até o ponto em que você possa implementá-las e obter valor delas”diz Perlov.

Isso pode ajudar a garantir que os custos sejam gerenciáveis ​​e que a solução possa ser dimensionada.