無審查 LLM 最佳猜測解碼
猜測解碼是一種伺服器端加速技術。本文說明其運作方式、哪些變體適合無審查模型,以及你可以從 API 客戶端做什麼。
更新於

Cheap AI APIs
重點摘要
- 猜測解碼以低成本草稿幾個 token,然後在主模型的一次通過中檢查它們。
- 透過正確的採樣,輸出分配與普通解碼匹配;僅速度會改變。
- 在託管 API 上,設定由提供者決定,而非請求參數。
- 本站不發布速度數據;請使用下方的腳本對你自己的提示詞進行測量。
簡短回答
如果你詢問的是 無審查 LLM 部署的最佳猜測解碼,答案取決於伺服器由誰掌控。當你自行執行模型時,針對該模型訓練的草稿模型或頭部通常會勝出;當你呼叫託管 API 時,你完全無法選擇,因為猜測解碼是推理伺服器的特性,而非請求中的欄位。POST /v1/chat/completions 的任何參數都無法開啟它。
此 API 未說明其背後的解碼方法,本文也不會猜測。以下是一般技術、若自行託管時如何在方法中選擇,以及你可以從外部測量和調整的內容。
猜測解碼的運作方式
語言模型通常每次前向傳遞只寫一個 token,且每次傳遞都必須從記憶體讀取模型權重。這使得生成受限於記憶體頻寬而非運算。猜測解碼利用了閒置的運算。
- 一個便宜的draft機制會提出接下來的幾個 token,例如四個。
- 完整模型在一次前向傳遞中評估所有四個位置。
- 它接受與它原本會產生的結果匹配的最長前綴,並修正第一個不匹配處。
- 生成從那裡繼續。
使用已發布的拒絕採樣方案,接受的 token 遵循與主模型普通採樣相同的分配。因此品質不會改變。當草稿猜測正確時,你可以獲得幾個 token,代價約為一次通過;當猜測不正確時,則約為每次通過一個 token。加速效果是平均接受的 token 數量,文獻中稱為接受率。
方法與適用時機
| 方法 | 草稿方式 | 適合場景 |
|---|---|---|
| 小型草稿模型 | 來自相同家族的小型模型提出 token | 一般聊天,若存在相近的小型兄弟模型 |
| 提示詞查找 / n-gram | 複製已出現在提示詞中的片段 | 編輯、摘要、程式碼重寫、檢索答案 |
| 額外解碼頭部(Medusa 風格) | 額外頭部預測多個未來 token | 具有訓練預算的自行託管 |
| 特徵層級草稿(EAGLE 風格) | 輕量模組從模型自身的隱藏狀態進行預測 | 存在訓練模組的自行託管 |
流行的推論引擎,包括 vLLM 和 llama.cpp,以某種形式支援猜測解碼,但選項和成熟度因版本而異,因此請檢查你所運行版本的說明文件。
沒有哪種方法在抽象意義上是最好的。提示詞查找設定成本為零,且在輸出重複輸入時表現出色。當草稿模型與目標在風格上一致時,它最有助益。訓練過的頭部能為其訓練的模型帶來穩定的提升。
為何接受率決定加速效果
一個簡單的模型展示了這種效果。如果草稿提出 k 個 token,且每個 token 以概率 p 獨立接受,則主模型每次通過平均產生 (1 - p^(k+1)) / (1 - p) 個 token。這忽略了草稿時間,因此實際增益較小。當 k = 4 時:
| 接受率 p | 每次通過的 token 數 | 閱讀 |
|---|---|---|
| 0.8 | 3.36 | 草稿匹配良好;增益大 |
| 0.5 | 1.94 | 增益有限,容易被草稿成本抵消 |
| 0.3 | 1.43 | 增益微小;整體可能更慢 |
這些數字解釋了為何將草稿與目標匹配比選擇著名方法更重要。平庸的草稿在 p = 0.3 時勉強勝過普通解碼,而良好匹配的草稿在 p = 0.8 時每次通過可產生超過三個 token。
對無審查模型的影響
方法本身對內容政策不敏感。實際的難點在於草稿匹配。許多小型模型發布時已內建拒絕行為。無審查的目標模型會寫出草稿從未提出或會保留意見的內容。當草稿持續預測免責聲明,而目標持續撰寫場景時,接受率會下降,額外的草稿工作所耗費的時間可能多於節省的時間。
這給出了自行託管者的簡單規則。使用與目標調整方向相同的草稿,或不需要單獨模型的方法:提示詞查找,或在目標本身上訓練的頭部和模組。使用你自己的提示詞進行試運行以進行驗證,因為高溫度下的創意寫作是任何草稿的最難案例。隨機性會降低匹配度,而小說往往運行在高溫度。
本站的 API 模型是由獨立提供者運行的單一開放權重模型,針對合法成人用途調整為無內容拒絕地回答。在任何設定下,都不允許涉及未成年人的性內容。
作為 API 使用者你可以控制什麼
你無法切換草稿器,但幾個請求設定會影響回覆的速度感。
- 串流輸出回應。 透過
stream: true,第一個字詞會在其餘部分仍在生成時到達。無論伺服器技巧如何,感知速度都會提升。記住串流會佔用其並行槽位直到結束;完整金鑰允許同時 8 個。 - 限制輸出。
max_tokens是選填的,但上限可限制最壞情況下的等待時間和成本。 - 降低 temperature。 如果你的伺服器確實使用猜測,低溫度輸出較易預測,因此往往會更快。將其視為需要測試的事物,而非保證。
- 保持提示詞簡短。 第一個 token 出現前需處理的輸入較少。
- 在限制內並行化。 完整金鑰允許最多 8 個並行請求和每分鐘 300 個請求,可提高批次的吞吐量,即使單一回覆不會更快。
速度不會改變你的費用。無論如何,計費為每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50,且失敗的請求不會收費。請參閱定價頁面以獲取詳細資訊。
自行測量
不要相信任何人的速度數據,包括供應商的,直到你用你自己的提示詞重現它為止。此腳本會測量非串流請求的時間,並將完成 token 數除以實際經過時間。它以固定的 seed 對同一個提示詞執行兩次測試(不同溫度)。
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")在不同時段多次執行並取中位數。該數值包含網路時間與排隊時間,因此是端到端的數值,也就是你的使用者會經歷的情況。若要取得第一個 token 的時間,請切換為 stream=True 並記錄第一個 chunk 到達的時間。快速入門展示了串流呼叫。
你可以使用試用額度。點擊 API 金鑰頁面 一次即可獲得 $0.50,有效期 7 天,無需信用卡。上述腳本每次執行最多使用 400 個輸出 token,因此 10 次執行(每次 400 個輸出 token 和 20 個輸入 token)的成本為 10 x ($0.000003 + $0.0002) = $0.00203,約為五分之一美分。
如果你打算自行託管
先不使用推測解碼並記錄基準。然後,如果你的工作負載會從提示詞複製文字,請加入提示詞查找。接下來嘗試使用與目標模型共享 tokenizer 和訓練方向的草稿模型。測量每秒 token 數以及被接受的草稿 token 比例,並使用你實際的溫度。當增益不再值得額外記憶體時就停止,因為草稿模型也需要 GPU 空間。
如果自託管的工作量超出你的預期,採用按 token 計費的託管端點即可解決此問題。便宜 API 的神話與事實一文涵蓋了在信任任何低價格之前應檢查的內容。
更多指南
問答
閱讀文件猜測解碼會改變回答的品質嗎?
當使用標準接受規則實作時不會,因為接受的 token 遵循主模型的分配。它只會改變速度。
我可以透過請求參數啟用猜測解碼嗎?
不行。它在推論伺服器上配置。聊天完成請求中沒有任何內容可以為此 API 開啟它。
在溫度 0 時會更快嗎?
通常因為預測較易匹配,但會因方法和提示詞而異。測試你自己的工作負載。
角色扮演和小說最適合哪種方法?
在高溫度下生成創意文字難以進行草稿預先處理。提示詞查找在此幫助有限,因此如果你自行託管,使用針對相同模型訓練的草稿或頭部是更好的選擇。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
https://api.cheapaiapis.com/v1