IT ▾
Ottieni la chiave API

Migliore decodifica speculativa per LLM senza censura

La decodifica speculativa è una tecnica di velocità lato server. Questo articolo spiega come funziona, quali varianti si adattano a un modello senza censura e cosa puoi fare dal lato client di un'API.

Aggiornato

Un piccolo elemento veloce che abbozza in anticipo mentre un blocco più grande verifica ogni passaggio, illustrando la decodifica speculativa

Cheap AI APIs

Punti chiave

  1. La decodifica speculativa abbozza diversi token a basso costo, poi li controlla in un unico passaggio del modello principale.
  2. Con un campionamento corretto, la distribuzione dell'output corrisponde alla decodifica ordinaria; cambia solo la velocità.
  3. Su un'API ospitata la configurazione è una scelta del provider, non un parametro della richiesta.
  4. Questo sito non pubblica dati sulle velocità; misurali sui tuoi prompt con lo script qui sotto.

Risposta breve

Se ti chiedi quale sia il miglior decoding speculativo per llm senza censura nei deployment, la risposta dipende da chi gestisce il server. Quando esegui il modello tu stesso, un modello draft o un head addestrato per quel modello specifico solitamente vince; quando chiami un'API ospitata, non puoi scegliere affatto, perché il decoding speculativo è una proprietà del server di inferenza e non un campo nella richiesta. Nessun parametro di POST /v1/chat/completions lo attiva.

Questa API non specifica quale metodo di decoding sia alla base, e questo articolo non lo indovinerà. Di seguito viene descritta la tecnica generale, come scegliere tra i metodi se gestisci tu il server e cosa puoi misurare e regolare dall'esterno.

Come funziona la decodifica speculativa

Un modello linguistico scrive normalmente un token per passaggio forward, e ogni passaggio deve leggere i pesi del modello dalla memoria. Questo rende la generazione limitata dalla banda della memoria piuttosto che dall'aritmetica. La decodifica speculativa sfrutta l'aritmetica inattiva.

  1. Un meccanismo di draft economico propone i token successivi, ad esempio quattro.
  2. Il modello completo valuta tutte e quattro le posizioni in un unico passaggio forward.
  3. Accetta il prefisso più lungo che corrisponde a ciò che avrebbe prodotto, e corregge la prima discrepanza.
  4. La generazione continua da lì.

Con lo schema di rejection-sampling pubblicato, i token accettati seguono la stessa distribuzione del campionamento semplice dal modello principale. Quindi la qualità non cambia per progettazione. Ottieni diversi token per il prezzo di circa un passaggio quando l'abbozzo indovina bene, e circa un token per passaggio quando non indovina. Il miglioramento di velocità è il numero medio di token accettati, chiamato tasso di accettazione nella letteratura.

Metodi e quando ciascuno si adatta

MetodoCome abbozzaAdattamento buono
Modello draft piccoloUn modello più piccolo della stessa famiglia propone i tokenChat generale, se esiste un fratello piccolo vicino
Ricerca nel prompt / n-grammaCopia segmenti che appaiono già nel promptModifica, riassunto, riscrittura di codice, risposte di recupero
Teste di decodifica aggiuntive (stile Medusa)Teste aggiuntive prevedono diversi token futuriGestione autonoma con budget di addestramento
Abbozzatura a livello di feature (stile EAGLE)Un modulo leggero prevede dagli stati nascosti del modelloGestione autonoma dove esiste un modulo addestrato

I motori di inferenza popolari, inclusi vLLM e llama.cpp, supportano la decodifica speculativa in qualche forma, sebbene le opzioni e la maturità varino per versione, quindi controlla la documentazione della release che esegui.

Nessun metodo è il migliore in astratto. La ricerca nel prompt non costa nulla da configurare e brilla quando l'output ripete l'input. Un modello draft aiuta di più quando concorda con il target sullo stile. Le teste addestrate danno guadagni costanti sul modello per cui sono state addestrate.

Perché il tasso di accisione decide il miglioramento di velocità

Un modello semplice mostra l'effetto. Se il draft propone k token e ciascuno viene accettato con probabilità p, in modo indipendente, il modello principale produce in media (1 - p^(k+1)) / (1 - p) token per passaggio. Questo ignora il tempo speso nel drafting, quindi i guadagni reali sono minori. Con k = 4:

Accettazione pToken per passaggioLettura
0,83,36L'abbozzo concorda bene; grande guadagno
0,51,94Guadagno modesto, facilmente mangiato dal costo dell'abbozzo
0,31,43Poco guadagno; può essere più lento nel complesso

I numeri spiegano perché abbinare il draft al modello target è più importante che scegliere un metodo famoso. Un draft mediocre a p = 0.3 batte appena il decoding standard, mentre uno ben abbinato a p = 0.8 produce più di tre token per passaggio.

Cosa cambia per un modello senza censura

Il metodo è indifferente alla policy dei contenuti. La difficoltà pratica è l'accordo dell'abbozzo. Molti modelli piccoli sono rilasciati con un comportamento di rifiuto incorporato. Un modello target senza censura scrive cose che un tale abbozzo non proporrebbe mai, o esiterebbe. Quando l'abbozzo continua a prevedere una disclaimer e il target continua a scrivere la scena, il tasso di accettazione scende, e il lavoro di abbozzatura extra può costare più tempo di quanto risparmia.

Questo dà una regola semplice per chi si gestisce da solo. Usa un abbozzo che è stato sintonizzato nella stessa direzione del target, o un metodo che non richiede un modello separato: ricerca nel prompt, o teste e moduli addestrati sul target stesso. Verifica con un'esecuzione di prova sui tuoi prompt, perché la scrittura creativa ad alta temperatura è il caso più difficile per qualsiasi abbozzatore. La casualità abbassa l'accordo, e la narrativa tende a essere calda.

Per l'API di questo sito, il modello è un modello a pesi aperti gestito da un provider indipendente, sintonizzato per rispondere senza rifiuti di contenuti per uso adulto legale. I contenuti sessuali che coinvolgono minorenni non sono consentiti in nessuna impostazione.

Cosa puoi controllare come utente API

Non puoi attivare l'abbozzatore, ma diverse impostazioni della richiesta influenzano la velocità percepita di una risposta.

  • Esegui lo streaming della risposta. Con stream: true le prime parole arrivano mentre il resto viene ancora generato. La velocità percepita migliora indipendentemente dai trucchi del server. Ricorda che uno streaming mantiene occupato il suo slot di concorrenza fino alla fine; una chiave completa permette 8 richieste simultanee.
  • Limita l'output. max_tokens è facoltativo, ma un limite fissa l'attesa massima e il costo nel caso peggiore.
  • Abbassa la temperatura. Se il tuo server usa la speculazione, l'output a bassa temperatura è più facile da prevedere, quindi tende ad andare più veloce. Trattalo come qualcosa da testare, non come una promessa.
  • Mantieni i prompt brevi. Meno input da elaborare prima che appaia il primo token.
  • Parallelizza nei limiti. Fino a 8 richieste concorrenti e 300 al minuto su una chiave completa migliorano il throughput di un batch, anche se una singola risposta non è più veloce.

La velocità non cambia ciò che paghi. La fatturazione è $0,15 per 1M di token di input e $0,50 per 1M di token di output in entrambi i casi, e le richieste fallite non vengono addebitate. Vedi la pagina dei prezzi per i dettagli.

Misuralo da solo

Non fidarti dei numeri di velocità di nessuno, incluso quelli di un provider, finché non li riproduci con i tuoi prompt. Questo script misura il tempo di una richiesta non in streaming e divide i token di completamento per il tempo totale. Esegue lo stesso prompt a due temperature con un seed fisso.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Esegui il test più volte a ore diverse e prendi la mediana. Il valore include il tempo di rete e la coda, quindi è un numero end-to-end, ovvero ciò che i tuoi utenti sperimentano. Se vuoi il tempo al primo token, passa a stream=True e registra quando arriva il primo blocco. La guida rapida mostra la chiamata in streaming.

Puoi usare il credito di prova per questo. Un clic sulla pagina della chiave API ti dà $0,50, valido per 7 giorni, senza carta. Lo script sopra utilizza al massimo 400 token di output per esecuzione, quindi dieci esecuzioni con 400 token di output e 20 token di input costano 10 x ($0,000003 + $0,0002) = $0,00203, un quinto di centesimo.

Se prevedi di ospitarlo in autonomia

Inizia senza speculazione e registra una linea di base. Poi aggiungi la ricerca del prompt se il tuo carico di lavoro copia testo dal prompt. Quindi prova un modello draft che condivida il tokenizer e la direzione di tuning del modello target. Misura i token al secondo e la percentuale di token draft accettati, alla tua temperatura reale. Ferma quando il guadagno non vale più la memoria aggiuntiva, poiché anche un modello draft richiede spazio GPU.

Se il self-hosting è più lavoro di quanto vuoi, un endpoint ospitato con fatturazione per token rimuove la domanda. L'articolo su miti e fatti delle API GPT economiche copre cosa controllare prima di fidarsi di qualsiasi prezzo basso.

Domande e risposte

Leggi la documentazione
Il decoding speculativo cambia la qualità delle risposte?

No, quando implementata con la regola di accettazione standard, perché i token accettati seguono la distribuzione del modello principale. Cambia solo la velocità.

Posso abilitare la decodifica speculativa con un parametro della richiesta?

No. È configurata sul server di inferenza. Nulla nella richiesta di chat completions la attiva per questa API.

È più veloce a temperatura 0?

Spesso, poiché le previsioni sono più facili da abbinare, ma varia in base al metodo e al prompt. Cronometra il tuo carico di lavoro.

Quale metodo è migliore per il roleplay e la fiction?

Il testo creativo ad alta temperatura è difficile da abbozzare. La ricerca nel prompt aiuta poco in quel caso, quindi un modello draft o con teste addestrato sullo stesso modello è la scelta migliore se fai self-hosting.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione necessaria.

Ottieni la chiave API

https://api.cheapaiapis.com/v1