無検閲LLM用の最適な推測デコーディング
推測デコーディングはサーバー側の高速化手法です。この記事では、その仕組み、無検閲モデルに適合するバリエーション、およびAPIのクライアント側で実行できる操作について説明します。
更新日:

Cheap AI APIs
主要ポイント
- 推測デコーディングは、いくつかのトークンを低コストで下書きし、その後メインモデルで1回のパスでそれらを検証します。
- 適切なサンプリングでは、出力分布は通常のデコーディングと一致し、速度のみが変化します。
- ホストAPIでは、設定はリクエストパラメータではなくプロバイダの選択です。
- 当サイトは速度数値を公開していません。以下のスクリプトを使用して独自のプロンプトで計測してください。
簡潔な回答
無検閲 LLMのデプロイメントにおける最適な推測デコーディングについてお尋ねの場合、回答はサーバーを誰が管理しているかによって異なります。モデルを自分で実行する場合、そのモデルに特化して訓練されたドラフトモデルやヘッド(出力層)が通常は最適です。ホストされた API を呼び出す場合、推測デコーディングはリクエストのフィールドではなく推論サーバーのプロパティであるため、選択の余地はありません。POST /v1/chat/completionsのどのパラメータも、これを有効にしません。
このAPIは背後にあるデコーディング手法を明記していませんし、この記事も推測しません。以下は一般的な手法、自ホストする際に手法を選択する方法、および外部から計測および調整できる内容です。
推測デコーディングの仕組み
言語モデルは通常、1回のフォワードパスで1トークンを生成し、各パスはメモリからモデル重みを読み取る必要があります。これにより、生成は演算能力ではなくメモリ帯域幅によって制限されます。推測デコーディングはアイドル状態の演算能力を利用します。
- 安価なドラフトメカニズムは、次の数トークンを提案します。
- フルモデルは4つの位置すべてを1回のフォワードパスでスコアリングします。
- それは、生成していたであろうものと一致する最長の接頭辞を受け入れ、最初の不一致を修正します。
- 生成はそこから続行されます。
公開された拒否サンプリングスキームでは、受容されたトークンはメインモデルからの単純サンプリングと同じ分布に従います。したがって、品質は設計上変化しません。ドラフトがうまく予測できれば、約1回のパスの価格で複数のトークンを取得でき、そうでなければパスあたり約1トークンです。速度向上は、文献で受容率と呼ばれる受容されたトークンの平均数です。
手法とそれぞれの適したケース
| メソッド | ドラフトの生成方法 | 適したケース |
|---|---|---|
| 小さなドラフトモデル | 同じファミリーのより小さなモデルがトークンを提案します | 一般的なチャット、近い小型の兄弟が存在する場合 |
| プロンプト検索 / n-gram | プロンプトに既に出現するスパンをコピーします | 編集、要約、コード書き換え、検索回答 |
| 追加のデコーディングヘッド(Medusaスタイル) | 追加されたヘッドは複数の未来トークンを予測します | トレーニング予算がある場合のセルフホスティング |
| 機能レベルのドラフト(EAGLEスタイル) | 軽量モジュールはモデルの内部の隠れ状態から予測します | 訓練されたモジュールが存在する環境でのセルフホスティング |
vLLMやllama.cppを含む人気のある推論エンジンは、推測デコーディングをある形でサポートしていますが、オプションと成熟度はバージョンによって異なるため、実行しているリリースのドキュメントを確認してください。
抽象的に最適な手法はありません。プロンプト検索はセットアップコストがかからず、出力が入力を繰り返す場合に効果を発揮します。ドラフトモデルは、ターゲットの出力スタイルと一致する場合に最も役立ちます。訓練されたヘッドは、訓練対象のモデルに対して一貫した改善をもたらします。
なぜ受容率が速度向上を決定するか
単純なモデルは効果を示します。ドラフターがkトークンを提案し、それぞれが確率pで独立して受容される場合、メインモデルはパスあたり平均的に(1 - p^(k+1)) / (1 - p)トークンを生成します。これはドラフト作成に費やされた時間を無視しているため、実際の性能向上幅は小さくなります。k = 4の場合:
| 受容率 p | パスあたりのトークン数 | 読み取り |
|---|---|---|
| 0.8 | 3.36 | ドラフトの一致度が高い;大きな性能向上 |
| 0.5 | 1.94 | 控えめな利益、ドラフトコストによって消し去られやすい |
| 0.3 | 1.43 | 小さな利益;全体として遅くなる可能性あり |
これらの数字は、有名な手法を選ぶことよりも、ドラフターをターゲットに適合させることがなぜ重要なのかを説明しています。p = 0.3 の場合、平均的なドラフターは単純なデコーディングを barely 上回る程度ですが、p = 0.8 で適切に適合させたものは、1 パスあたり 3 個以上のトークンを生成します。
無検閲モデルにとって何が変わるか
手法自体はコンテンツポリシーに無関心です。実用的な問題はドラフトの一致です。多くの小型モデルは、拒否動作が組み込まれた状態でリリースされます。無検閲のターゲットモデルは、ドラフトが決して提案しない、または慎重に留めるようなことを書き込みます。ドラフトが免責事項を予測し続け、ターゲットがシーンを書き続ける場合、受容率は低下し、追加のドラフト作業は節約する時間よりも多くの時間を要する可能性があります。
これは自ホスト者にとって単純なルールを与えます。ターゲットと同じ方向に調整されたドラフトを使用するか、別のモデルを必要としない手法(プロンプト検索、またはターゲット自体に訓練されたヘッドやモジュール)を使用してください。高温でのクリエイティブライティングは任意のドラフターにとって最も困難なケースであるため、独自のプロンプトでテストランを実行して検証してください。ランダム性は一致を低下させ、フィクションは高温になりがちです。
当サイトのAPIでは、モデルは独立したプロバイダによって実行される1つのオープンウェイトモデルで、合法的な成人向け用途でコンテンツ拒否なしで回答するように調整されています。未成年者を含む性的コンテンツは、いかなる設定でも許可されていません。
APIユーザーとして制御できること
ドラフターを切り替えることはできませんが、いくつかのリクエスト設定は返信の速さに影響します。
- レスポンスをストリーミングする。
stream: trueの場合、残りが生成されている間に最初の単語たちが到着します。サーバーのトリックに関係なく、知覚速度が向上します。ストリームは終了まで並行スロットを保持することを覚えておいてください。フルキーでは同時に8つまで許可されます。 - 出力を制限する。
max_tokensはオプションですが、キャップは最悪の待ち時間とコストを制限します。 - 温度を下げる。サーバーが推測を使用する場合、低温の出力は予測が容易であるため、一般的に高速になります。これを約束ではなくテストすべきものとして扱ってください。
- プロンプトを短く保つ。最初のトークンが表示される前に処理する入力が少なくなります。
- 制限内で並列化する。フルキーでは最大8つの同時リクエストと1分あたり300リクエストがバッチのスループットを向上させますが、1つの返信が必ずしも高速になるわけではありません。
速度は支払い額を変えません。請求はどちらの場合も1M入力トークンあたり$0.15、1M出力トークンあたり$0.50で、失敗したリクエストには請求されません。詳細は価格ページをご覧ください。
自分で測定しましょう
プロバイダーの数値を含め、誰の速度数値も、自分のプロンプトで再現するまで信頼しないでください。このスクリプトはストリーミングしないリクエストの所要時間を計測し、完了トークンを経過時間で割ります。固定されたseedで2つの異なる温度で同じプロンプトを実行します。
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")異なる時刻に数回実行し、中央値を採取してください。この数値にはネットワーク時間とキュー待機時間が含まれるため、エンドツーエンドの数値となります。これはユーザーが実際に体験するものです。最初のトークンまでの時間を計測したい場合は、stream=Trueに切り替え、最初のチャンクが到着した時刻を記録してください。ストリーミング呼び出しの例はクイックスタートをご覧ください。
トライアルクレジットを使ってこれを行うことができます。APIキーページを1回クリックするだけで、カード不要で7日間有効な$0.50が取得できます。上記のスクリプトは1回の実行あたり最大400出力トークンを使用するため、400出力トークンと20入力トークンの10回の実行は10 x ($0.000003 + $0.0002) = $0.00203、すなわち1セントの5分の1のコストで済みます。
セルフホスティングを計画している場合
まず推論なしで開始し、ベースラインを記録してください。次に、ワークロードがプロンプトからテキストをコピーする場合はプロンプトルックアップを追加します。その後、ターゲットと同じトークナイザとチューニング方向を共有するドラフトモデルを試してください。実際の温度で秒あたりのトークン数と、ドラフトトークンの採用率を測定します。ドラフトモデルもGPUメモリを必要とするため、追加のメモリコストに見合うメリットが得られなくなったら停止してください。
セルフホスティングが望む以上の労力になると感じられる場合、トークン単位の課金を行うホストされたエンドポイントが解決策となります。低価格APIのよくある誤解と事実の記事では、低価格を信頼する前に確認すべき事項を解説しています。
その他のガイド
質問と回答
ドキュメントを読むスペキュラティブデコーディングは回答の品質を変えますか?
標準的な受容ルールで実装した場合は該当しません。受容されたトークンはメインモデルの分布に従うためです。速度のみが変化します。
リクエストパラメータでスペキュラティブデコーディングを有効にできますか?
できません。これは推論サーバーで構成されます。このAPIのチャット完了リクエストにはこれを有効にするフィールドがありません。
温度0でより高速になりますか?
予測が一致しやすいため、多くの場合高速になりますが、手法やプロンプトによって異なります。独自のワークロードを計測してください。
ロールプレイやフィクションに最適な手法はどれですか?
高温での創造的テキストは生成が困難です。プロンプトルックアップはそこではほとんど役立たないため、自ホストする場合は、同じモデルで訓練されたドラフトモデルまたはヘッドモデルがより良い選択肢です。
キーはフォームを1つ埋めるだけで手に入ります
アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。
https://api.cheapaiapis.com/v1