CTO Da DataStax Discute O Papel Da RAG Na Redução De Alucinações De IA

Tempo de leitura: 4 minutos

A geração aumentada de recuperação (RAG) tornou-se essencial para líderes de TI e empresas que buscam implementar IA generativa. Ao usar um modelo de linguagem grande (LLM) e RAG, as empresas podem basear um LLM em dados empresariais, melhorando a precisão dos resultados.

Mas como funciona o RAG? Quais são os casos de uso do RAG? E existem alternativas reais?

TechRepublic conversou com Davor Bonaci, diretor de tecnologia e vice-presidente executivo da empresa de banco de dados e IA DataStax, para descobrir como o RAG está sendo aproveitado no mercado durante a implementação da IA generativa em 2024 e o que ele vê como o próximo passo da tecnologia em 2025.

O que você vai ler:

O que é geração aumentada de recuperação?

RAG é uma técnica que melhora a relevância e a precisão dos resultados generativos do modelo AI LLM, adicionando contexto estendido ou aumentado de uma empresa. Ele permite que os líderes de TI usem LLMs de IA generativos para casos de uso corporativos.

Bonaci explicou que embora os LLMs tenham “basicamente sido treinados em todas as informações disponíveis na Internet”, até uma determinada data limite, dependendo do modelo, seus pontos fortes de linguagem e conhecimento geral são compensados por problemas significativos e bem conhecidos, como alucinações de IA.

VEJA: Zetaris sobre por que os data lakes federados são o futuro para impulsionar a IA

“Se você quiser usá-lo em um ambiente empresarial, deverá baseá-lo em dados corporativos. Caso contrário, você terá muitas alucinações”, disse ele. “Com o RAG, em vez de apenas pedir ao LLM para produzir algo, você diz: ‘Quero que você produza algo, mas por favor considere essas coisas que eu sei que são precisas.’”

Como o RAG funciona em um ambiente empresarial?

RAG fornece uma referência LLM a um conjunto de informações empresariais, como uma base de conhecimento, um banco de dados ou um conjunto de documentos. Por exemplo, o principal produto da DataStax é o seu banco de dados vetorial, Astra DB, que as empresas estão usando para apoiar a construção de aplicações de IA nas empresas.

Na prática, uma consulta fornecida por um usuário passaria por uma etapa de recuperação – uma pesquisa vetorial – identificando os documentos ou informações mais relevantes de uma fonte de conhecimento pré-definida. Isso pode incluir documentos empresariais, trabalhos acadêmicos ou perguntas frequentes.

As informações recuperadas são então inseridas no modelo generativo como contexto adicional junto com a consulta original, permitindo que o modelo baseie sua resposta em conhecimento do mundo real, atualizado ou específico do domínio. Esse aterramento reduz o risco de alucinações que poderiam prejudicar o negócio de uma empresa.

Quanto o RAG melhora a produção de modelos generativos de IA?

A diferença entre usar IA generativa com e sem RAG é “noite e dia”, disse Bonaci. Para uma empresa, a propensão de um LLM ter alucinações significa essencialmente que eles são “inutilizáveis” ou apenas para casos de uso muito limitados. A técnica RAG é o que abre as portas para a IA generativa para as empresas.

“No final das contas, eles (LLMs) têm conhecimento ao ver coisas na internet”, explicou Bonaci. “Mas se você fizer uma pergunta que está fora do campo esquerdo, eles lhe darão uma resposta muito confiante que pode… estar completamente errada.”

VEJO: A IA generativa tornou-se uma fonte de erros dispendiosos para as empresas

Bonaci observou que as técnicas RAG podem aumentar a precisão dos resultados do LLM para mais de 90% para tarefas não racionais, dependendo dos modelos e dos benchmarks utilizados. Para tarefas de raciocínio complexas, é mais provável que eles forneçam entre 70 e 80% de precisão usando técnicas RAG.

Quais são alguns casos de uso do RAG?

O RAG é usado em vários casos típicos de uso de IA generativa para organizações, incluindo:

Automação

Usando LLMs aumentados com RAG, as empresas podem automatizar tarefas repetíveis. Um caso de uso comum para automação é o suporte ao cliente, onde o sistema pode ser capacitado para pesquisar documentação, fornecer respostas e realizar ações como cancelar um ticket ou fazer uma compra.

Personalização

O RAG pode ser aproveitado para sintetizar e resumir grandes quantidades de informações. Bonaci deu o exemplo das avaliações dos clientes, que podem ser resumidas de forma personalizada e relevante para o contexto do usuário, como localização, compras anteriores ou preferências de viagem.

Procurar

O RAG pode ser aplicado para melhorar os resultados de pesquisa em uma empresa, tornando-os mais relevantes e específicos ao contexto. Bonaci observou como o RAG ajuda os usuários de serviços de streaming a encontrar filmes ou conteúdos relevantes para sua localização ou interesses, mesmo que os termos de pesquisa não correspondam exatamente ao conteúdo disponível.

Como os gráficos de conhecimento podem ser usados com RAG?

Usar gráficos de conhecimento com RAG é uma “versão avançada” do RAG básico. Bonaci explicou que, embora uma pesquisa vetorial no RAG básico identifique semelhanças em um banco de dados vetorial — tornando-o adequado para conhecimento geral e linguagem humana natural — ela tem limitações para certos casos de uso empresarial.

Num cenário em que uma empresa de telefonia móvel oferece planos de vários níveis com inclusões variadas, uma consulta do cliente – como se o roaming internacional está incluído – exigiria a decisão da IA. Um gráfico de conhecimento pode ajudar a organizar informações para ajudar a descobrir o que se aplica.

VEJO: Maturidade digital é a chave para o sucesso em IA para segurança cibernética

“O problema é que o conteúdo desses documentos do plano é conflitante”, disse Bonaci. “Portanto, o sistema não sabe qual é a verdadeira. Portanto, você poderia usar um gráfico de conhecimento para ajudá-lo a organizar e relacionar as informações corretamente, para ajudá-lo a resolver esses conflitos.”

Existem alternativas ao RAG para empresas?

A principal alternativa ao RAG é o ajuste fino de um modelo generativo de IA. Com o ajuste fino, em vez de usar os dados corporativos como um prompt, os dados são inseridos no próprio modelo para criar um conjunto de dados influenciado para preparar o modelo para uso de uma forma que possa aproveitar esses dados corporativos.

Bonaci disse que, até o momento, o RAG tem sido o método amplamente aceito na indústria como a forma mais eficaz de tornar a IA generativa relevante para uma empresa.

“Vemos pessoas a aperfeiçoar modelos, mas isso apenas resolve um pequeno nicho de problemas e, por isso, não tem sido amplamente aceite como solução”, disse ele.