🔢 Tokens, custo e limites práticos por modelo

BPE (Byte-Pair Encoding) e SentencePiece aprendem um vocabulário sub-palavra otimizando frequência. A consequência é que palavras comuns viram 1 token, mas palavras raras ou em outras línguas se quebram em vários. Em PT-BR, a média gira em torno de ~3 caracteres por token com tokenizers focados em inglês — pior que os ~4 chars/token do inglês. Em código, símbolos e indentação geram custos imprevisíveis. Por isso, estimar com tokenizer real é a única forma confiável.

# Anthropic
from anthropic import Anthropic
n = Anthropic().messages.count_tokens(model='claude-sonnet-4-6',
    messages=[{'role':'user','content': texto}]).input_tokens

# OpenAI
import tiktoken
enc = tiktoken.encoding_for_model('gpt-5-mini')
n = len(enc.encode(texto))

# HuggingFace (modelos OSS)
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained('Qwen/Qwen2.5-7B-Instruct')
n = len(tok.encode(texto))

Output tokens custam tipicamente 3-5× o preço dos input tokens — em alguns provedores até 10×. Mas o input total normalmente é MUITO maior (5k-50k tokens de contexto vs 200-500 tokens de saída). Resultado: em janelas longas, o input domina o custo. Otimizar o tamanho da resposta sem reduzir o input é trocar troco por nota.

Engenheiros frequentemente jogam todas as tarefas em 'frontier' por inércia. Em volume alto, isso queima orçamento. A heurística: tarefas estruturadas (classificação, extração de entidades, sumarização curta) com input <8k tokens rodam tão bem em low-cost por 1/20 do preço. Frontier vale quando há raciocínio multi-passo, contexto realmente grande, ou qualidade de prosa importa. OSS local é o caminho quando privacidade é restritiva ou volume é tão alto que API paga não escala.

Quando o usuário pergunta algo, o modelo precisa primeiro ler toda a janela (prefill) antes de gerar o primeiro token. Em uma janela de 100k tokens, isso pode levar 1-3 segundos só de prefill. Decode (geração) é mais rápido — ~30-100 tokens/s. Para UX de chat ao vivo, TTFT (time-to-first-token) é o que o usuário sente. Cache reduz prefill drasticamente: se 90% do prefixo está cacheado, o TTFT pode cair de 2s para 200ms.

Prompt caching marca um ponto do prefixo como cacheável. Tokens lidos do cache custam ~10% do preço de input normal. Em chats com system prompt + few-shot fixos (5-10k tokens estáveis), o ganho real é de 80-90% no custo do input. Mas o cache só vale se o prefixo NÃO MUDAR entre chamadas — qualquer alteração invalida tudo daquele ponto em diante. TTL é curto (5 min na Anthropic), então chamadas espaçadas perdem o benefício.

resp = client.messages.create(
    model='claude-sonnet-4-6',
    system=[
        {'type':'text', 'text': system_grande,           # 5k tokens
         'cache_control': {'type':'ephemeral'}}          # cacheia até aqui
    ],
    messages=[{'role':'user', 'content': pergunta}],
)

# resp.usage:
#   input_tokens, cache_creation_input_tokens, cache_read_input_tokens
hit_rate = resp.usage.cache_read_input_tokens / (
    resp.usage.cache_read_input_tokens + resp.usage.cache_creation_input_tokens)

Modelos OSS com 7-13B parâmetros em quantização q4 (4 bits por peso) cabem em hardware comum. Qwen2.5-7B-Instruct q4 roda em 16GB de RAM SEM GPU (CPU lento, mas funcional); com GPU 8GB acelera 5-10×. Modelos >13B exigem GPU 24GB+ ou quantização mais agressiva (q3) que degrada qualidade. OLLAMA-MATRIZ.md tem a matriz testada por lab do curso.