Apenas uma semana depois que a Deepseek divulgou seu modelo de IA de “raciocínio” do R1 – que enviou mercados para um tizzy -, pesquisadores do Hugging Face estão tentando replicar o modelo do zero no que estão chamando de busca de “conhecimento aberto”.
Abraçando o chefe de pesquisa Leandro von Werra e vários engenheiros da empresa lançaram o Open-R1, um projeto que busca construir uma duplicata de R1 e de código aberto todos os seus componentes, incluindo os dados usados para treiná-los.
Os engenheiros disseram que foram obrigados a agir pela filosofia de lançamento de “Black Box” da Deepseek. Tecnicamente, o R1 é “aberto”, pois o modelo é licenciado permissivamente, o que significa que pode ser implantado em grande parte sem restrições. No entanto, o R1 não é “código aberto” pela definição amplamente aceita, porque algumas das ferramentas usadas para construí -lo estão envoltas em mistério. Como muitas empresas de IA de alto voador, a Deepseek detesta revelar seu molho secreto.
“O modelo R1 é impressionante, mas não há conjunto de dados aberto, detalhes da experiência ou modelos intermediários disponíveis, o que dificulta a replicação e a pesquisa adicional”, disse Elie Bakouch, uma das engenhas de rosto abraçadas do projeto Open-R1, ao TechCrunch. “A arquitetura completa do R1 de fornecimento totalmente aberto não é apenas sobre transparência – trata -se de desbloquear seu potencial”.
Não tão aberto
Deepseek, um laboratório de IA chinês financiado em parte por um fundo de hedge quantitativo, divulgado R1 na semana passada. Em vários benchmarks, R1 corresponde – e até supera – o desempenho do modelo de raciocínio O1 do OpenAI.
Sendo um modelo de raciocínio, o R1 efetivamente se chicando, o que ajuda a evitar algumas das armadilhas que normalmente disparam modelos. Os modelos de raciocínio demoram um pouco mais-geralmente segundos a minutos a mais-para chegar a soluções em comparação com um modelo típico de não-reamento. A vantagem é que eles tendem a ser mais confiáveis em domínios como física, ciência e matemática.
O R1 invadiu a consciência convencional após o aplicativo Chatbot da Deepseek, que fornece acesso gratuito ao R1, subiu ao topo dos gráficos da Apple App Store. A velocidade e a eficiência com que o R1 foi desenvolvido – Deepseek lançou o modelo apenas algumas semanas após o lançamento do Openai – levou muitos analistas e tecnólogos de Wall Street a questionar se os EUA podem manter sua liderança na corrida de IA.
O projeto Open-R1 está menos preocupado com a domínio da IA do que “abrindo totalmente a caixa preta de treinamento modelo”, disse Bakouch ao TechCrunch. Ele observou que, como o R1 não foi divulgado com código de treinamento ou instruções de treinamento, é um desafio estudar o modelo em profundidade – muito menos direcionar seu comportamento.
“Ter controle sobre o conjunto de dados e o processo é fundamental para implantar um modelo com responsabilidade em áreas sensíveis”, disse Bakouch. “Também ajuda a entender e abordar vieses no modelo. Os pesquisadores exigem mais do que fragmentos … para ultrapassar os limites do que é possível. ”
Etapas para replicação
O objetivo do projeto Open-R1 é replicar o R1 em poucas semanas, confiando em parte no cluster científico do Hugging Face, um servidor de pesquisa dedicado com 768 GPUs NVIDIA H100.
Os engenheiros de face abraçados planejam explorar o cluster de ciências para gerar conjuntos de dados semelhantes aos do Deepseek usados para criar R1. Para construir um pipeline de treinamento, a equipe está solicitando a ajuda da IA e das comunidades de tecnologia mais amplas em abraçar o rosto e o github, onde o projeto Open-R1 está sendo realizado.
“Precisamos garantir que implementemos os algoritmos e receitas (corretamente)”, disse Von Werra disse, “mas é algo que um esforço da comunidade é perfeito para enfrentar, onde você tem o maior número possível de olhos no problema”.
Já há muito interesse. O projeto Open-R1 acumulou 10.000 estrelas em apenas três dias no Github. As estrelas são uma maneira de os usuários do GitHub indicarem que gostam de um projeto ou acham útil.
Se o projeto Open-R1 for bem-sucedido, os pesquisadores da IA poderão se basear no topo do pipeline de treinamento e trabalhar no desenvolvimento da próxima geração de modelos de raciocínio de código aberto, disse Bakouch. Ele espera que o projeto Open-R1 produza não apenas uma forte replicação de código aberto do R1, mas também uma base para os melhores modelos que estão por vir.
“Em vez de ser um jogo de soma zero, o desenvolvimento de código aberto beneficia imediatamente todos, incluindo os laboratórios de fronteira e os provedores de modelos, pois todos podem usar as mesmas inovações”, disse Bakouch.
Enquanto alguns especialistas da IA levantaram preocupações sobre o potencial de abuso de IA de código aberto, Bakouch acredita que os benefícios superam os riscos.
“Quando a receita R1 for replicada, qualquer pessoa que possa alugar algumas GPUs pode construir sua própria variante de R1 com seus próprios dados, difundindo ainda mais a tecnologia em todos os lugares”, disse ele. “Estamos realmente empolgados com os recentes lançamentos de código aberto que estão fortalecendo o papel da abertura na IA. É uma mudança importante para o campo que muda a narrativa de que apenas um punhado de laboratórios é capaz de progredir e que o código aberto está atrasado. ”
(tagstotranslate) ai
