中文 ▾
获取 API 密钥

无审查 LLM 的最佳推测解码

推测解码是一种服务器端加速技术。本文解释其工作原理、哪些变体适合无审查模型,以及你作为 API 客户端可以做什么。

更新于

小型快速元素提前起草,而大型块验证每一步,以此说明推测解码

Cheap AI APIs

要点

  1. 推测解码以较低成本起草多个 token,然后通过主模型的一次前向传递进行验证。
  2. 使用正确的采样,输出分布与普通解码匹配;仅速度发生变化。
  3. 在托管 API 中,设置由提供商决定,而非请求参数。
  4. 本站不公布速度数据;请使用下方的脚本在你的提示词上进行测量。

简短回答

如果你询问的是针对无审查 LLM 部署的最佳投机解码,答案取决于谁持有服务器。当你自行运行模型时,针对该模型训练的草稿模型或头层模型通常表现更好;当你调用托管 API 时,你完全无法选择,因为投机解码是推理服务器的属性,而不是请求中的一个字段。POST /v1/chat/completions的任何参数都无法开启它。

此 API 未说明其背后的解码方法,本文也不会猜测。以下内容介绍通用技术、如果你自托管时如何在方法中进行选择,以及你可以从外部测量和调整的内容。

推测解码的工作原理

语言模型通常每次前向传递生成一个 token,而每次传递都必须从内存中读取模型权重。这使得生成过程受限于内存带宽而非算术运算。推测解码利用了闲置的算术能力。

  1. 一种低成本的草稿机制会提议接下来的几个 token,例如四个。
  2. 完整模型在一次前向传递中评估所有四个位置。
  3. 它接受与自身生成结果匹配的最长前缀,并修正第一个不匹配处。
  4. 生成从该点继续。

使用已发布的拒绝采样方案,接受的 token 遵循与主模型普通采样相同的分布。因此,质量在设计上不会改变。当草稿猜测准确时,你以大约一次传递的代价获得多个 token;当猜测不准确时,每次传递大约获得一个 token。加速效果是接受 token 的平均数量,这在文献中称为接受率。

方法及适用场景

方法起草方式适用场景
小型草稿模型来自同一家族的小型模型生成候选 token通用聊天,如果存在架构相近的小型兄弟模型
提示词查找 / n-gram复制已出现在提示词中的片段编辑、摘要、代码重写、检索答案
额外解码头(Medusa 风格)附加头预测多个未来 token具有训练预算的自托管
特征级草稿生成(EAGLE 风格)轻量级模块从模型自身的隐藏状态进行预测存在训练模块的自托管

流行的推理引擎(包括 vLLM 和 llama.cpp)以某种形式支持推测解码,但选项和成熟度因版本而异,因此请检查你所运行版本的文档。

没有哪种方法在通用情况下是最好的。提示词查找设置成本为零,且在输出重复输入时表现出色。当草稿模型与目标模型在风格上达成一致时,它最有帮助。训练过的头模型能为其训练的模型提供稳定的提升。

为什么接受率决定加速效果

一个简单的模型展示了这种效果。如果起草器提议 k 个 token,且每个 token 以概率 p 独立接受,则主模型每次传递平均生成 (1 - p^(k+1)) / (1 - p) 个 token。这忽略了起草所花费的时间,因此实际收益较小。当 k = 4 时:

接受率 p每次传递的 token 数阅读
0.83.36草稿模型预测准确;收益巨大
0.51.94收益适中,容易被起草成本抵消
0.31.43收益微小;整体可能更慢

这些数字解释了为什么将起草器与目标匹配比选择知名方法更重要。平庸的起草器在 p = 0.3 时 barely 胜过普通解码,而匹配良好的起草器在 p = 0.8 时每次传递可生成超过三个 token。

对无审查模型的影响

该方法本身对内容策略不敏感。实际的难点在于草稿匹配。许多小型模型在发布时已内置拒绝行为。无审查的目标模型会生成草稿模型从未提议过的内容,或者会进行修饰。当草稿模型不断预测免责声明,而目标模型不断生成场景时,接受率会下降,额外的起草工作可能比节省的时间更多。

这给自托管者提供了一个简单的规则。使用与目标模型调整方向一致的草稿模型,或者不需要单独模型的方法:提示词查找,或在目标模型本身上训练的头模型和模块。使用你自己的提示词进行试运行验证,因为高温度下的创意写作是任何起草器最难处理的案例。随机性会降低匹配度,而小说往往运行在高温下。

对于本站的 API,模型是由独立提供商运行的一个开放权重模型,经过调整以在法律允许的成人使用中无内容拒绝地回答。任何设置下均不允许涉及未成年人的性内容。

作为 API 用户可以控制的内容

你无法切换起草器,但几个请求设置会影响回复的速度感。

  • 流式输出响应。 使用stream: true,当其余部分仍在生成时,第一个词就会到达。无论服务器使用什么技巧,感知速度都会提高。请记住,流式输出会占用并发槽位直到结束;完整密钥允许同时 8 个。
  • 限制输出。 max_tokens 是可选的,但上限可以限制最坏情况下的等待时间和成本。
  • 降低温度。如果你的服务器确实使用投机,低温度输出的可预测性更强,因此往往运行得更快。将其视为需要测试的内容,而非承诺。
  • 保持提示词简短。 在第一个 token 出现之前,需要处理的输入更少。
  • 在限制内并行化。 完整密钥允许最多 8 个并发请求和每分钟 300 个请求,从而提高批处理的吞吐量,即使单个回复速度没有提升。

速度不会改变你的支付金额。计费标准为每 1M 输入 token $0.15,每 1M 输出 token $0.50,失败请求不收费。详见定价页面。

自行测量

不要相信任何人的速度数据,包括提供商的数据,直到你用自己的提示词复现它。此脚本会对非流式请求计时,并将完成 token 数除以墙时间。它使用固定的seed以两种温度运行相同的提示词。

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

在不同时段多次运行并取中位数。该数值包含网络时间和排队时间,因此是一个端到端数值,也就是你的用户所体验到的。如果你需要首 token 时间,请切换到stream=True并记录第一个数据块到达的时间。快速入门展示了流式调用。

你可以使用试用额度进行此操作。点击API 密钥页面一次即可获得 $0.50,有效期 7 天,无需信用卡。上述脚本每次运行最多使用 400 个输出 token,因此 10 次运行(每次 400 个输出 token 和 20 个输入 token)的成本为 10 x ($0.000003 + $0.0002) = $0.00203,即一美分的五分之一。

如果你计划自行托管

先在不使用投机解码的情况下运行并记录基线。如果你的工作负载从提示词中复制文本,则添加提示词查找。接下来尝试与目标模型共享分词器和微调方向的草稿模型。在你的实际温度下测量每秒 token 数以及被接受的草稿 token 比例。当收益不再值得额外内存时停止,因为草稿模型也需要 GPU 空间。

如果你不想承担自行托管的工作量,按 token 计费的托管接口可以消除这个问题。廉价 API 常见误区与事实一文涵盖了在信任任何低价之前需要检查的内容。

问答

阅读文档
投机解码会改变答案的质量吗?

在使用标准接受规则实现时不会,因为接受的 token 遵循主模型的分布。它仅改变速度。

我可以通过请求参数启用投机解码吗?

不可以。它在推理服务器上配置。聊天补全请求中没有任何内容可以为该 API 启用它。

在 temperature 为 0 时速度更快吗?

通常如此,因为预测更容易匹配,但具体取决于方法和提示词。请对你的工作负载进行计时。

角色扮演和小说创作哪种方法最好?

高温度下的创意文本很难进行草稿生成。提示词查找在此帮助有限,因此如果你自行托管,针对同一模型训练的草稿模型或头模型是更好的选择。

只需填写一个表单即可获得密钥

创建账户,复制密钥,更改 base URL。这就是全部设置。

获取 API 密钥

https://api.cheapaiapis.com/v1