Melhor decodificação especulativa para LLM sem censura
A decodificação especulativa é uma técnica de velocidade no lado do servidor. Este artigo explica como funciona, quais variantes se adequam a um modelo sem censura e o que você pode fazer do lado do cliente de uma API.
Atualizado

Cheap AI APIs
Pontos principais
- A decodificação especulativa rascunha vários tokens com baixo custo, depois os verifica em uma única passagem do modelo principal.
- Com amostragem correta, a distribuição de saída corresponde à decodificação comum; apenas a velocidade muda.
- Em uma API hospedada, a configuração é escolha do provedor, não um parâmetro de requisição.
- Este site não publica métricas de velocidade; meça em seus próprios prompts com o script abaixo.
Resposta curta
Se você está perguntando sobre a melhor decodificação especulativa para implantações de llm sem censura, a resposta depende de quem controla o servidor. Quando você executa o modelo por conta própria, um modelo de rascunho ou uma cabeça treinada para esse modelo exato geralmente vence; quando você chama uma API hospedada, você não pode escolher nada, porque a decodificação especulativa é uma propriedade do servidor de inferência e não um campo na requisição. Nenhum parâmetro de POST /v1/chat/completions o ativa.
Esta API não informa qual método de decodificação está por trás dela, e este artigo não vai adivinhar. O que segue é a técnica geral, como escolher entre métodos se você hospedar localmente e o que você pode medir e ajustar externamente.
Como a decodificação especulativa funciona
Um modelo de linguagem normalmente escreve um token por passagem direta, e cada passagem precisa ler os pesos do modelo da memória. Isso limita a geração à largura de banda da memória, em vez da aritmética. A decodificação especulativa explora a aritmética ociosa.
- Um mecanismo de draft barato propõe os próximos poucos tokens, digamos quatro.
- O modelo completo pontua todas as quatro posições em uma única passagem direta.
- Ele aceita o maior prefixo que corresponde ao que teria produzido, e corrige o primeiro erro.
- A geração continua a partir daí.
Com o esquema de amostragem de rejeição publicado, os tokens aceitos seguem a mesma distribuição da amostragem simples do modelo principal. Então a qualidade não muda por design. Você obtém vários tokens pelo preço de cerca de uma passagem quando o rascunho adivinha bem, e aproximadamente um token por passagem quando não. O ganho de velocidade é o número médio de tokens aceitos, chamado taxa de aceitação na literatura.
Métodos e quando cada um se adequa
| Método | Como ele rascunha | Boa adequação |
|---|---|---|
| Modelo de rascunho pequeno | Um modelo menor da mesma família propõe tokens | Chat geral, se existir um irmão pequeno similar |
| Busca no prompt / n-grama | Copia trechos que já aparecem no prompt | Edição, resumo, reescrita de código, respostas de recuperação |
| Cabeças de decodificação extras (estilo Medusa) | Cabeças adicionais preveem vários tokens futuros | Hospedagem local com orçamento de treinamento |
| Rascunho em nível de recurso (estilo EAGLE) | Um módulo leve prevê a partir dos estados ocultos do próprio modelo | Hospedagem local onde existe um módulo treinado |
Motores de inferência populares, incluindo vLLM e llama.cpp, suportam decodificação especulativa de alguma forma, embora as opções e a maturação diferem por versão, então verifique a documentação da versão que você executa.
Nenhum método é o melhor em abstrato. A busca no prompt não custa nada para configurar e brilha quando a saída repete a entrada. Um modelo de rascunho ajuda mais quando concorda com o alvo no estilo. Cabeças treinadas dão ganhos constantes no modelo para o qual foram treinadas.
Por que a taxa de aceitação decide o ganho de velocidade
Um modelo simples mostra o efeito. Se o rascunho propõe k tokens e cada um é aceito com probabilidade p, independentemente, o modelo principal produz em média (1 - p^(k+1)) / (1 - p) tokens por passagem. Isso ignora o tempo gasto no rascunho, então os ganhos reais são menores. Com k = 4:
| Aceitação p | Tokens por passagem | Leitura |
|---|---|---|
| 0.8 | 3.36 | Rascunho concorda bem; grande ganho |
| 0.5 | 1.94 | Ganho modesto, facilmente consumido pelo custo do rascunho |
| 0.3 | 1.43 | Pouco ganho; pode ser mais lento no geral |
Os números explicam por que combinar o rascunho com o alvo importa mais do que escolher um método famoso. Um rascunho medíocre em p = 0,3 mal supera a decodificação simples, enquanto um bem combinado em p = 0,8 produz mais de três tokens por passagem.
O que muda para um modelo sem censura
O método em si é indiferente à política de conteúdo. A pegadinha prática é o acordo do rascunho. Muitos modelos pequenos são lançados com comportamento de recusa embutido. Um modelo alvo sem censura escreve coisas que um rascunho nunca proporia, ou hedearia. Quando o rascunho continua prevendo um aviso e o alvo continua escrevendo a cena, a taxa de aceitação cai, e o trabalho extra de rascunho pode custar mais tempo do que economiza.
Isso dá uma regra simples para quem hospeda localmente. Use um rascunho que foi ajustado na mesma direção do alvo, ou um método que não precisa de modelo separado: busca no prompt, ou cabeças e módulos treinados no próprio alvo. Verifique com uma execução de teste em seus próprios prompts, porque escrita criativa em alta temperatura é o caso mais difícil para qualquer rascunhador. Aleatoriedade reduz o acordo, e a ficção tende a ser intensa.
Para a API deste site, o modelo é um modelo de pesos abertos executado por um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto legal. Conteúdo sexual envolvendo menores de idade não é permitido em nenhuma configuração.
O que você pode controlar como usuário de API
Você não pode alternar o rascunhador, mas várias configurações de requisição afetam o quão rápida uma resposta parece.
- Transmita a resposta. Com
stream: true, as primeiras palavras chegam enquanto o resto ainda está sendo gerado. A velocidade percebida melhora independentemente de truques do servidor. Lembre-se de que um stream mantém sua slot de concorrência até o fim; uma chave completa permite 8 ao mesmo tempo. - Limite a saída.
max_tokensé opcional, mas um limite limita a espera e o custo no pior caso. - Reduza a temperatura. Se o seu servidor usar especulação, a saída de baixa temperatura é mais fácil de prever, então tende a ser mais rápida. Trate isso como algo a testar, não como uma promessa.
- Mantenha os prompts curtos. Menos entrada para processar antes do primeiro token aparecer.
- Paralelize dentro dos limites. Até 8 requisições simultâneas e 300 por minuto em uma chave completa melhoram o throughput de um lote, mesmo que uma única resposta não seja mais rápida.
A velocidade não muda o que você paga. A cobrança é de $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída de qualquer forma, e requisições falhas não são cobradas. Veja a página de preços para os detalhes.
Meça você mesmo
Não confie em nenhum número de velocidade de ninguém, incluindo de um provedor, até que você o reproduza com seus próprios prompts. Este script mede o tempo de uma requisição não transmitida e divide os tokens de conclusão pelo tempo total. Ele executa o mesmo prompt em duas temperaturas com um seed fixo.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Execute-o várias vezes em horários diferentes e pegue a mediana. O número inclui tempo de rede e enfileiramento, então é um número de ponta a ponta, que é o que seus usuários experimentam. Se você quiser o tempo até o primeiro token, mude para stream=True e registre quando o primeiro chunk chegar. O quickstart mostra a chamada de streaming.
Você pode usar o crédito de teste para isso. Um clique na página da chave de API dá $0,50, válido por 7 dias, sem cartão. O script acima usa no máximo 400 tokens de saída por execução, então dez execuções de 400 tokens de saída e 20 tokens de entrada custam 10 x ($0,000003 + $0,0002) = $0,00203, um quinto de centavo.
Se você planeja hospedar por conta própria
Comece sem especulação e registre uma linha de base. Depois, adicione a busca de prompt se sua carga de trabalho copiar texto do prompt. Em seguida, tente um modelo rascunho que compartilhe o tokenizador e a direção de ajuste do modelo alvo. Meça tokens por segundo e a proporção de tokens rascunhados aceitos, na sua temperatura real. Pare quando o ganho deixar de valer a pena pela memória extra, já que um modelo rascunho também precisa de espaço de GPU.
Se hospedar por conta própria é mais trabalho do que você quer, um endpoint hospedado com cobrança por token remove a questão. O artigo sobre mitos e fatos de APIs baratas cobre o que verificar antes de confiar em qualquer preço baixo.
Mais guias
Perguntas e respostas
Ler a documentaçãoA decodificação especulativa muda a qualidade das respostas?
Não quando implementada com a regra de aceitação padrão, porque os tokens aceitos seguem a distribuição do modelo principal. Ela muda apenas a velocidade.
Posso habilitar a decodificação especulativa com um parâmetro de requisição?
Não. Ela é configurada no servidor de inferência. Nada na requisição de conclusões de chat a ativa para esta API.
É mais rápido na temperatura 0?
Muitas vezes, sim, já que as previsões são mais fáceis de combinar, mas varia por método e prompt. Meça sua própria carga de trabalho.
Qual método é melhor para roleplay e ficção?
Texto criativo em alta temperatura é difícil de rascunhar. A busca de prompt ajuda pouco nisso, então um rascunho ou cabeças treinadas no mesmo modelo é a melhor aposta se você hospedar por conta própria.
Sua chave está a um clique de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.
https://api.cheapaiapis.com/v1