O que são tokens ChatGPT e como funcionam?

Grandes modelos de linguagem como o que alimenta o ChatGPT podem gerar milhares de palavras em um único minuto. Da mesma forma, eles podem entender rapidamente entradas longas. Isto pode parecer magia, mas ao contrário dos humanos, o chatbot não processa texto como frases individuais ou mesmo palavras. Em vez disso, o ChatGPT usa tokens para decodificar e produzir idiomas humanos como inglês, espanhol e outros. Portanto, neste artigo, vamos responder ao básico, ou seja, como funcionam os tokens ChatGPT, por que são necessários e como afetam sua experiência de bate-papo.

Os tokens representam os blocos básicos de qualquer resposta de texto ChatGPT. Embora tendamos a agrupar o texto com base no número de palavras, o modelo de linguagem GPT não funciona da mesma maneira. Em vez disso, procura combinações previsíveis de letras e agrupa-as para formar um token.

Os tokens ChatGPT podem parecer um conceito abstrato, então vamos entender como funciona com um exemplo. A palavra “ar” é uma palavra usada com frequência na linguagem cotidiana. O modelo provavelmente se deparou com isso várias vezes ao verificar seus dados de treinamento. Ambos os fatores significam que “ar” forma um único token.

Entretanto, se você usar uma palavra mais longa e comparativamente menos comum como “companhia aérea”, descobrirá que o modelo de linguagem trata “aéreo” e “linha” como dois tokens independentes.

Os tokens não importam para a maioria dos usuários do chatbot, mas desempenham um papel na determinação do limite de caracteres do ChatGPT. Além disso, o modelo de linguagem também tem uma limitação no número de tokens que pode conter na memória. Portanto, se você contar um fato ao ChatGPT no início de uma conversa, ele acabará esquecendo-o após processar alguns milhares de tokens. Isso é conhecido como “janela de contexto” do modelo de linguagem.

Como contar tokens no ChatGPT?

É mais provável que palavras comuns no dicionário de inglês correspondam a um único token. No entanto, palavras complexas não recebem o mesmo tratamento e podem, na verdade, consistir em vários tokens ao mesmo tempo. Aqui está uma tabela rápida que ilustra como você pode contar o número de tokens para um determinado trecho de texto:

Embora a tabela acima sirva como uma orientação aproximada, nem sempre é possível prever quantos tokens uma determinada palavra ou frase conterá. Veja os números, por exemplo. Grupos comuns como “123” e “333” corresponderão apenas a um token. No entanto, sequências mais longas de números serão divididas em vários tokens.

Como regra geral, o criador do ChatGPT, OpenAI, diz que 100 tokens equivalerão aproximadamente a 75 palavras. No entanto, essa correlação entre o comprimento da palavra e a contagem de tokens só é válida para palavras em inglês.

Palavras em línguas estrangeiras, especialmente as menos comuns, ocuparão mais fichas. Por exemplo, os 17 caracteres do texto vietnamita “Bãi đậu xe ở đâu?” corresponde a surpreendentes 13 tokens.

Se você quiser verificar quantos tokens há em um determinado trecho de texto, confira a ferramenta Tokenizer gratuita da OpenAI. Ele destaca diferentes tokens em um determinado trecho de texto.

O limite de token no ChatGPT depende do modelo que você usa e se você usa o chatbot ou interage com o modelo programaticamente. O último só se aplica se você for um programador e estiver implementando o modelo GPT em seu próprio aplicativo. Se você é esse tipo de usuário de API, espere um limite de tokens variando entre 4.096 e 128.000. Modelos mais recentes, como o GPT-4 Turbo, têm limites mais altos, mas também custarão mais por consulta para uso.

Porém, se você não for um programador, simplesmente interagirá com o chatbot por meio do site ou aplicativo. Nesse caso, muitos usuários relataram que o limite de tokens do ChatGPT está fixado em 4.096. No entanto, a OpenAI não declarou publicamente o limite real, portanto isso pode mudar sem aviso prévio.

O limite de token não muda, mesmo se você pagar pelo ChatGPT Plus, que concede acesso ao modelo de idioma GPT-4 mais recente.

Quanto vale um token ChatGPT?

Tal como acontece com o limite, o custo por token ChatGPT depende do modelo de sua escolha. Como seria de esperar, os modelos mais recentes custam significativamente mais do que o GPT-3.5 de última geração, lançado no final de 2022. Da mesma forma, a OpenAI frequentemente lança pequenas atualizações de modelos de linguagem que reduzem os custos computacionais e, por sua vez, o preço de cada token gerado.

Com essa isenção de responsabilidade fora do caminho, veja quanto você terá que pagar pelos tokens ChatGPT, modelo por modelo:

1. Turbo GPT-3.5: Por ser o modelo mais antigo ainda em uso para a versão gratuita do ChatGPT, é uma das opções mais baratas. Os desenvolvedores pagam US$ 0,0010 por 1.000 tokens de entrada e US$ 0,0020 por 1.000 tokens de saída.
2. GPT-4: Lançado no início de 2023, logo após o ChatGPT, o modelo de linguagem GPT-4 oferece respostas de maior qualidade. Também está disponível em duas variedades, uma com limite de 8.096 tokens e outra com 32.000. O primeiro custa US$ 0,03 por 1.000 tokens de entrada e US$ 0,06 por 1.000 tokens de saída.
3. Turbo GPT-4: Embora seja o modelo de linguagem mais recente, o GPT-4 Turbo pretende ser significativamente mais eficiente computacionalmente do que o GPT-4. É por isso que custa US$ 0,01 por 1.000 tokens de entrada e US$ 0,03 por 1.000 tokens de saída. Ainda é uma ordem de magnitude superior ao GPT-3.5 Turbo, mas as habilidades lógicas aprimoradas podem valer a pena para alguns.

Se você é usuário do ChatGPT, não precisa lidar com tokens. No entanto, os desenvolvedores e aqueles que desejam experimentar também podem interagir diretamente com o modelo de linguagem subjacente.

O OpenAI Playground oferece uma interface semelhante ao ChatGPT, mas você não pode usá-lo gratuitamente. Cada mensagem que você enviar e receber será cobrada de acordo com sua forma de pagamento, conforme os custos descritos na seção anterior. Pode sair caro, mas atualmente é a única maneira de interagir com o modelo de linguagem completo sem limites arbitrários de tokens.