Os clientes da Snowflake obtêm ganhos iniciais com aplicativos Gen AI

Grande parte do debate sobre a inteligência artificial (IA) nas empresas, especialmente o tipo generativo de IA (Gen AI), centra-se em estatísticas, como o número de projetos em desenvolvimento ou as poupanças de custos projetadas da automação, e os benefícios são ainda muito hipotético.

Para analisar algumas das estatísticas e a teoria, pode ser útil ouvir os usuários da Geração AI, como fiz durante um jantar oferecido em Nova York na semana passada pelo fornecedor de data warehouse Snowflake.

Além disso: 5 dicas para escolher o modelo de IA certo para o seu negócio

A empresa convidou clientes importantes para falar sobre suas experiências ao colocar aplicativos de IA em produção.

A impressão geral foi que existem casos de utilização significativos para a IA, incluindo a pesquisa de documentos, que podem começar a produzir benefícios dentro de seis meses ou menos após a implementação.

As conversas foram anedóticas e a Snowflake está interessada em promover os melhores cenários de seus clientes para promover seus serviços de data warehouse em nuvem.

No entanto, com esta advertência em mente, os comentários ponderados de ambos os clientes sugerem que as empresas criam valor ao mergulhar na IA mesmo com casos de utilização muito simples, após apenas dias, semanas ou meses de produção.

Também: O ecossistema de IA de hoje é insustentável para quase todo mundo, exceto para a Nvidia, alerta um importante estudioso

Thomas Bodenski, diretor de operações e chefe de análise da TS Imagine, que vende uma plataforma de negociação de valores mobiliários baseada em nuvem, descreveu como tradicionalmente seriam necessárias 4.000 “horas de trabalho” em sua empresa para que as pessoas lessem e-mails para informações cruciais e acionáveis. eventos.

“Recebo correspondência, todos os anos, 100 mil vezes, de alguém de quem compramos dados, me dizendo que em três meses estaremos fazendo uma mudança”, explicou Bodenski. “Se eu não estiver pronto para isso, 500 clientes ficarão inativos”, o que significa que não poderão negociar, disse ele. “Portanto, é muito importante que você leia cada e-mail que chega.”

Bodenski continuou: “Esse e-mail chega, tenho que classificá-lo, tenho que entendê-lo, tenho que delegá-lo às pessoas certas, em diferentes departamentos, para que possam agir sobre ele – essa tarefa me custa 4.000 horas por ano .”

Essa tarefa tem sido tradicionalmente o papel de “uma equipe ao redor do mundo” que ele supervisiona. Existem pelo menos dois indivíduos e meio “equivalentes em tempo integral”, disse ele, “e eles têm que ser pessoas inteligentes”.

Também: Microsoft apresenta 10 agentes de IA para vendas, finanças e cadeia de suprimentos no Dynamics 365

Bodenski disse: “Agora, estou fazendo isso a 3% do custo das pessoas que fariam esse trabalho”, usando um aplicativo generativo de IA.

“Basta fazer as contas”, disse Bodenski. “Você pega o salário médio e calcula quanto gasta no Snowflake, e isso representa apenas 3% desse custo.”

Este programa de leitura de e-mail foi o primeiro aplicativo que a TS Imagine construiu com a ajuda do Snowflake, disse Bodenski. Ele foi construído usando os grandes modelos de linguagem Llama de código aberto da Meta Platforms e a alternativa de código aberto do Snowflake, Arctic. Esses grandes modelos de linguagem empregam geração aumentada de recuperação (RAG), onde o modelo acessa um banco de dados externo.

O aplicativo “levou seis meses de aprendizado por tentativa e erro”, disse Bodenski. Esse processo começou antes de a TS Imagine ter um relacionamento com Snowflake.

Então a Snowflake introduziu o Cortex AI, “o serviço gerenciado de inferência LLM executado pela Snowflake”, migramos todo o pipeline RAG em quatro dias e agora podemos conceituar uma história diferente.

Também: Snowflake diz que seu novo LLM supera o Llama 3 da Meta na metade do treinamento

O serviço Cortex AI permitiu que Bodenski classificasse os e-mails recebidos dos clientes quanto à sensibilidade, urgência e outros parâmetros, algo que não teria sido possível antes “porque eu, tipo, você sabe, não leio todos os 5.000 e-mails de clientes que chegam todos os meses, ” ele disse.

Com a classificação, Bodenski disse que o resultado é que “eu detecto o incêndio antes mesmo de se tornar um incêndio”, o que significa um acidente para o cliente. “É confiável, não tenho problemas, não perco um único e-mail.”

A TS Imagine agora tem seis aplicativos instalados e funcionando usando Gen AI, disse Bodenski, “e farei muito mais. A IA continuará a construir nossos cérebros”, disse ele: “Funciona”.

O cliente da Snowflake, S&P Global Market Intelligence, teve uma experiência semelhante, de acordo com Daniel Sanberg, chefe de “pesquisa quantitativa” da empresa, que também foi convidado no jantar.

Também: A jornada para agentes de IA totalmente autônomos e os capitalistas de risco que os financiam

A empresa de Sanberg implementou um aplicativo interno chamado Spark Assist além de seus aplicativos do Microsoft Office. Agora, a empresa pode gerar automaticamente resumos por e-mail.

“A geração AI é inteligente o suficiente para saber quais são os mais relevantes que precisam da minha atenção imediata versus aqueles que talvez precisem ser despriorizados, e eu apenas digo (ao modelo de IA): ‘Vá em frente e escreva uma resposta a estes ,’ e então eu os verifico.”

O aplicativo é usado por 14 mil funcionários da S&P Global, disse Sanberg. “Acho que não poderia voltar atrás”, disse ele, referindo-se à antiga maneira de tentar classificar e filtrar e-mails manualmente.

Mas será que o retorno do investimento de tais aplicações justifica o custo de construção de aplicações e o custo da inferência? “Eu diria, dedo ao vento, sim”, disse Sanberg, embora tenha acrescentado: “Acho que ainda estamos avaliando muitas dessas coisas”.

Sanberg continuou: “A questão é, em conjunto, como é essa recompensa? Isso é TBD. Mas em casos individuais, claro; coisas que costumavam levar dias ou mais para serem compiladas agora podem ser feitas em um dia (usando Gen AI) .”

Ele comparou a Geração AI aos primórdios da Internet, quando as velocidades de discagem dificultavam o retorno para o usuário médio.

Também: Pesquisa do Bank of America prevê aumento maciço da IA ​​nos lucros corporativos

“Se estamos sentados aqui e temos que esperar 15 minutos para fazer login” na Internet via modem dial-up, “vale mesmo a pena?” Sanberg comentou.

“Mas não é onde estamos agora”, disse ele. “É onde estaremos daqui a cinco anos; acho que muitas dessas coisas serão resolvidas.”

O chefe de IA da Snowflake, Baris Gultekin, também esteve no jantar e disse que a Gen AI já pode oferecer melhor economia para automatizar algumas tarefas.

Além disso: Asana lança uma ferramenta sem código para projetar agentes de IA – também conhecidos como seus novos ‘companheiros de equipe’

“Cortex Analyst é um produto que permite a alguém fazer uma pergunta, obter respostas a partir dos dados, instantaneamente”, explicou.

“O preço atual para 1.000 perguntas é de US$ 200, portanto, 20 centavos por pergunta. Esta é uma pergunta que de outra forma teria que ser respondida por um analista (humano). Eles escreveriam a consulta SQL (banco de dados) para cada uma delas . Então, imagine 1.000 consultas SQL. Cada uma leva, digamos, 10 minutos. Você pode ver o ROI: 10 minutos por pergunta, 1.000 perguntas, versus US$ 200.

É claro que vinte centavos aqui e vinte centavos ali podem somar, disse Chris Child, vice-presidente de engenharia de vendas mundial da Snowflake, convidado do jantar. O principal, disse ele, é que as empresas sejam capazes de prever como os custos irão aumentar à medida que a inferência começa.

“Na maioria dos casos, as pessoas reservaram um orçamento”, disse Child. “Eles estão pensando em coisas grandiosas, e é muito mais sobre: ​​’Como posso entender quanto isso vai me custar ao longo de uma série de meses e como posso saber quando a tendência é maior do que isso?'”

Além disso: as tendências tecnológicas do Gartner para 2025 mostram como sua empresa precisa se adaptar – e rapidamente

Sua sugestão: “Experimente, execute uma vez, veja e depois estime o que você precisará para fazer isso em grande escala”.

Child continuou: “O custo de testar uma hipótese é alto”, versus “Se vou gastar US$ 1.000 para executar um primeiro caso de teste, ainda é caro, mas é dramaticamente mais barato” do que usar pessoas para testar a mesma hipótese.

Quando a S&P Global criou uma aplicação que utilizava o Snowflake para os seus clientes, a ferramenta tinha como objetivo classificar 12.000 registos financeiros trimestrais históricos emitidos por empresas do Russell 3000, o índice de empresas norte-americanas passíveis de investimento, durante 10 anos, num total de 120.000 documentos.

“A primeira coisa que fizemos quando entramos na plataforma foi escrever um script que nos ajudou a calcular o custo antes de iniciarmos a execução, e conseguimos fazer isso”, disse Sanberg.

“Gosto do modelo baseado no consumo”, disse ele, referindo-se à prática da Snowflake de cobrar dos clientes o tempo total efetivamente utilizado, em vez de uma licença de uso de software tradicional, “porque há transparência nos preços, porque há, na minha opinião, justiça em toda a linha.”

Também: Há muitas razões pelas quais as empresas lutam para explorar a IA generativa, diz pesquisa da Deloitte

Bodenski, da TS Imagine, disse que a flexibilidade no preço da execução de inferência no Cortex funcionou para suas necessidades.

“Posso executar um processo em que posso esperar três minutos por cada solicitação, mas também posso executar um processo em que não posso esperar três minutos, quero isso em cinco segundos”, explicou ele.

“E eu tomo a decisão na hora, apenas aumentando algo de extrapequeno para médio”, referindo-se à escala de computação.

Bodenski disse que o aplicativo usado pela TS Imagine para pesquisar e-mails mostrou seu valor rapidamente. “Vimos o impacto, na verdade, quatro dias depois de projetá-lo”, disse ele, “porque trouxe à tona os itens nos quais precisávamos nos concentrar e melhorou a qualidade do atendimento ao cliente”.

O aplicativo já está em produção há quatro meses. “É muito, muito importante para nós”, disse ele. “Isso me eleva ao detectar um item no qual eu deveria estar envolvido, ou meu gerente regional, meu chefe global”, disse Bodenski.

“Ele funciona de forma automatizada, produz resultados, estamos capturando itens” que de outra forma poderiam levar semanas para receber uma resposta por e-mail, “e não precisei contratar uma única pessoa ou realocar uma única pessoa para fazer esse processo. “