⚡ Prompt caching e context distillation (beta)

Tokens lidos do cache custam ~10% do preço normal de input. Em chats com prefixo grande estável (5-10k tokens de system + few-shot), o ganho real é de 80-90% no custo de input. Anthropic e OpenAI suportam; Ollama e modelos OSS locais geralmente não têm cache nativo.

Cache breakpoint marca onde o prefixo cacheável termina. Anthropic: até 4 breakpoints, declarados em metadados. OpenAI: cache automático para prefixos >1024 tokens. Tudo após o breakpoint é tratado como variável.

system = [
    {'type':'text', 'text': REGRAS_BASE},
    {'type':'text', 'text': FEW_SHOTS,
     'cache_control': {'type':'ephemeral'}},        # bp 1
]

user = [
    {'type':'text', 'text': contexto_usuario_grande,
     'cache_control': {'type':'ephemeral'}},         # bp 2
    {'type':'text', 'text': pergunta_atual},         # variável
]

Hit rate é a métrica chave. Cache que NÃO está sendo lido é cache invalidado constantemente — provavelmente prefixo está mudando. Toda chamada retorna métricas: cache_creation_input_tokens e cache_read_input_tokens. Calcule e logue.

u = resp.usage
hit = u.cache_read_input_tokens
miss = u.cache_creation_input_tokens
if hit + miss > 0:
    rate = hit / (hit + miss)
    log.info(f'cache_hit_rate={rate:.2%} hit={hit} miss={miss}')
    if rate < 0.5 and hit + miss > 1000:
        log.warning('cache hit rate baixo — verificar prefixo instável')

Para tarefa fixada e volume alto, treinar um modelo pequeno usando outputs do modelo grande (com contexto longo) elimina o contexto em runtime. Knowledge distillation: teacher = frontier com contexto, student = modelo pequeno fine-tuned. Ganho: latência baixa, custo fixo. Custo: trabalho de ML.

Para casos onde detalhe completo não é crítico, comprimir contexto antes de mandar reduz tokens. LLMLingua (Jiang et al. 2023) usa modelo pequeno para identificar e remover tokens de baixa importância. Lossy: pode comprometer qualidade — eval obrigatório.

def comprimir_contexto(docs: list[str], target_tokens: int) -> str:
    tokens_atuais = sum(count_tokens(d) for d in docs)
    if tokens_atuais <= target_tokens:
        return '\n\n'.join(docs)
    ratio = target_tokens / tokens_atuais
    return llm.generate(
        f'Resuma o conteúdo abaixo preservando fatos. Comprima para ~{int(ratio*100)}%:\n'
        '\n\n'.join(docs)
    )

Cada técnica tem zona de aplicabilidade. Cache não vale com prefix instável. Distillation não vale com tarefa que muda rápido. Compressão não vale onde fidelidade é crítica. Antes de invocar, esgote técnicas mais simples: prompts mais curtos, RAG bom, modelo low-cost.