PT ▾
Obter chave de API

Melhor decodificação especulativa para LLM sem censura

A decodificação especulativa é uma técnica de velocidade no lado do servidor. Este artigo explica como funciona, quais variantes se adequam a um modelo sem censura e o que você pode fazer do lado do cliente de uma API.

Atualizado

Um pequeno mecanismo rápido de rascunho à frente enquanto um bloco maior verifica cada etapa, ilustrando a decodificação especulativa

Cheap AI APIs

Pontos principais

  1. A decodificação especulativa rascunha vários tokens com baixo custo, depois os verifica em uma única passagem do modelo principal.
  2. Com amostragem correta, a distribuição de saída corresponde à decodificação comum; apenas a velocidade muda.
  3. Em uma API hospedada, a configuração é escolha do provedor, não um parâmetro de requisição.
  4. Este site não publica métricas de velocidade; meça em seus próprios prompts com o script abaixo.

Resposta curta

Se você está perguntando sobre a melhor decodificação especulativa para implantações de llm sem censura, a resposta depende de quem controla o servidor. Quando você executa o modelo por conta própria, um modelo de rascunho ou uma cabeça treinada para esse modelo exato geralmente vence; quando você chama uma API hospedada, você não pode escolher nada, porque a decodificação especulativa é uma propriedade do servidor de inferência e não um campo na requisição. Nenhum parâmetro de POST /v1/chat/completions o ativa.

Esta API não informa qual método de decodificação está por trás dela, e este artigo não vai adivinhar. O que segue é a técnica geral, como escolher entre métodos se você hospedar localmente e o que você pode medir e ajustar externamente.

Como a decodificação especulativa funciona

Um modelo de linguagem normalmente escreve um token por passagem direta, e cada passagem precisa ler os pesos do modelo da memória. Isso limita a geração à largura de banda da memória, em vez da aritmética. A decodificação especulativa explora a aritmética ociosa.

  1. Um mecanismo de draft barato propõe os próximos poucos tokens, digamos quatro.
  2. O modelo completo pontua todas as quatro posições em uma única passagem direta.
  3. Ele aceita o maior prefixo que corresponde ao que teria produzido, e corrige o primeiro erro.
  4. A geração continua a partir daí.

Com o esquema de amostragem de rejeição publicado, os tokens aceitos seguem a mesma distribuição da amostragem simples do modelo principal. Então a qualidade não muda por design. Você obtém vários tokens pelo preço de cerca de uma passagem quando o rascunho adivinha bem, e aproximadamente um token por passagem quando não. O ganho de velocidade é o número médio de tokens aceitos, chamado taxa de aceitação na literatura.

Métodos e quando cada um se adequa

MétodoComo ele rascunhaBoa adequação
Modelo de rascunho pequenoUm modelo menor da mesma família propõe tokensChat geral, se existir um irmão pequeno similar
Busca no prompt / n-gramaCopia trechos que já aparecem no promptEdição, resumo, reescrita de código, respostas de recuperação
Cabeças de decodificação extras (estilo Medusa)Cabeças adicionais preveem vários tokens futurosHospedagem local com orçamento de treinamento
Rascunho em nível de recurso (estilo EAGLE)Um módulo leve prevê a partir dos estados ocultos do próprio modeloHospedagem local onde existe um módulo treinado

Motores de inferência populares, incluindo vLLM e llama.cpp, suportam decodificação especulativa de alguma forma, embora as opções e a maturação diferem por versão, então verifique a documentação da versão que você executa.

Nenhum método é o melhor em abstrato. A busca no prompt não custa nada para configurar e brilha quando a saída repete a entrada. Um modelo de rascunho ajuda mais quando concorda com o alvo no estilo. Cabeças treinadas dão ganhos constantes no modelo para o qual foram treinadas.

Por que a taxa de aceitação decide o ganho de velocidade

Um modelo simples mostra o efeito. Se o rascunho propõe k tokens e cada um é aceito com probabilidade p, independentemente, o modelo principal produz em média (1 - p^(k+1)) / (1 - p) tokens por passagem. Isso ignora o tempo gasto no rascunho, então os ganhos reais são menores. Com k = 4:

Aceitação pTokens por passagemLeitura
0.83.36Rascunho concorda bem; grande ganho
0.51.94Ganho modesto, facilmente consumido pelo custo do rascunho
0.31.43Pouco ganho; pode ser mais lento no geral

Os números explicam por que combinar o rascunho com o alvo importa mais do que escolher um método famoso. Um rascunho medíocre em p = 0,3 mal supera a decodificação simples, enquanto um bem combinado em p = 0,8 produz mais de três tokens por passagem.

O que muda para um modelo sem censura

O método em si é indiferente à política de conteúdo. A pegadinha prática é o acordo do rascunho. Muitos modelos pequenos são lançados com comportamento de recusa embutido. Um modelo alvo sem censura escreve coisas que um rascunho nunca proporia, ou hedearia. Quando o rascunho continua prevendo um aviso e o alvo continua escrevendo a cena, a taxa de aceitação cai, e o trabalho extra de rascunho pode custar mais tempo do que economiza.

Isso dá uma regra simples para quem hospeda localmente. Use um rascunho que foi ajustado na mesma direção do alvo, ou um método que não precisa de modelo separado: busca no prompt, ou cabeças e módulos treinados no próprio alvo. Verifique com uma execução de teste em seus próprios prompts, porque escrita criativa em alta temperatura é o caso mais difícil para qualquer rascunhador. Aleatoriedade reduz o acordo, e a ficção tende a ser intensa.

Para a API deste site, o modelo é um modelo de pesos abertos executado por um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto legal. Conteúdo sexual envolvendo menores de idade não é permitido em nenhuma configuração.

O que você pode controlar como usuário de API

Você não pode alternar o rascunhador, mas várias configurações de requisição afetam o quão rápida uma resposta parece.

  • Transmita a resposta. Com stream: true, as primeiras palavras chegam enquanto o resto ainda está sendo gerado. A velocidade percebida melhora independentemente de truques do servidor. Lembre-se de que um stream mantém sua slot de concorrência até o fim; uma chave completa permite 8 ao mesmo tempo.
  • Limite a saída. max_tokens é opcional, mas um limite limita a espera e o custo no pior caso.
  • Reduza a temperatura. Se o seu servidor usar especulação, a saída de baixa temperatura é mais fácil de prever, então tende a ser mais rápida. Trate isso como algo a testar, não como uma promessa.
  • Mantenha os prompts curtos. Menos entrada para processar antes do primeiro token aparecer.
  • Paralelize dentro dos limites. Até 8 requisições simultâneas e 300 por minuto em uma chave completa melhoram o throughput de um lote, mesmo que uma única resposta não seja mais rápida.

A velocidade não muda o que você paga. A cobrança é de $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída de qualquer forma, e requisições falhas não são cobradas. Veja a página de preços para os detalhes.

Meça você mesmo

Não confie em nenhum número de velocidade de ninguém, incluindo de um provedor, até que você o reproduza com seus próprios prompts. Este script mede o tempo de uma requisição não transmitida e divide os tokens de conclusão pelo tempo total. Ele executa o mesmo prompt em duas temperaturas com um seed fixo.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Execute-o várias vezes em horários diferentes e pegue a mediana. O número inclui tempo de rede e enfileiramento, então é um número de ponta a ponta, que é o que seus usuários experimentam. Se você quiser o tempo até o primeiro token, mude para stream=True e registre quando o primeiro chunk chegar. O quickstart mostra a chamada de streaming.

Você pode usar o crédito de teste para isso. Um clique na página da chave de API dá $0,50, válido por 7 dias, sem cartão. O script acima usa no máximo 400 tokens de saída por execução, então dez execuções de 400 tokens de saída e 20 tokens de entrada custam 10 x ($0,000003 + $0,0002) = $0,00203, um quinto de centavo.

Se você planeja hospedar por conta própria

Comece sem especulação e registre uma linha de base. Depois, adicione a busca de prompt se sua carga de trabalho copiar texto do prompt. Em seguida, tente um modelo rascunho que compartilhe o tokenizador e a direção de ajuste do modelo alvo. Meça tokens por segundo e a proporção de tokens rascunhados aceitos, na sua temperatura real. Pare quando o ganho deixar de valer a pena pela memória extra, já que um modelo rascunho também precisa de espaço de GPU.

Se hospedar por conta própria é mais trabalho do que você quer, um endpoint hospedado com cobrança por token remove a questão. O artigo sobre mitos e fatos de APIs baratas cobre o que verificar antes de confiar em qualquer preço baixo.

Perguntas e respostas

Ler a documentação
A decodificação especulativa muda a qualidade das respostas?

Não quando implementada com a regra de aceitação padrão, porque os tokens aceitos seguem a distribuição do modelo principal. Ela muda apenas a velocidade.

Posso habilitar a decodificação especulativa com um parâmetro de requisição?

Não. Ela é configurada no servidor de inferência. Nada na requisição de conclusões de chat a ativa para esta API.

É mais rápido na temperatura 0?

Muitas vezes, sim, já que as previsões são mais fáceis de combinar, mas varia por método e prompt. Meça sua própria carga de trabalho.

Qual método é melhor para roleplay e ficção?

Texto criativo em alta temperatura é difícil de rascunhar. A busca de prompt ajuda pouco nisso, então um rascunho ou cabeças treinadas no mesmo modelo é a melhor aposta se você hospedar por conta própria.

Sua chave está a um clique de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API

https://api.cheapaiapis.com/v1