中文 ▾
获取 API 密钥

廉价 LLM API 提供商:除了价格还要检查什么

便宜的 LLM API 提供商只有在总账单低时才便宜:输出费率、失败调用、上下文大小和即将过期的额度都会计入。使用此检查清单,按 1M 输入 token $0.15 和 1M 输出 token $0.50 计算成本。

更新于

天平上放着硬币和数据块,说明 LLM API 提供商的成本检查

Cheap AI APIs

要点

  1. 分别比较输入和输出价格,并使用你自己的 token 比例。
  2. 检查上下文窗口、速率限制、计费错误、过期状态和数据使用情况。
  3. 此处摘要成本为每 1,000 份文档 $3.25;1,000 篇生成故事的成本为 $1.575。
  4. $0.50 的试用无需绑卡且持续 7 天。

每百万 token 的价格只是报价的一半

仅根据定价页上的最低数字选择提供商,直到第一张真实账单到来时就会失效。两个提供商可能宣传相同的输入价格,但由于输出定价方式、哪些请求计入计费以及重试花费多少,你的实际成本可能大不相同。

本文提供了一个简短的检查清单,你可以将其应用于任何提供商,然后以其中一个为例进行演示:1M 输入 token $0.15 和 1M 输出 token $0.50,即本站的费率。也可以对其他提供商使用此检查清单。对于他们的数据,请阅读其当前定价页面,因为价格会变动。

检查清单

需核实为什么重要
分别查看输入和输出价格混合价格会掩盖你主要在哪个侧付费
上下文窗口较小的上下文窗口会强制分块,这意味着更多的调用和重复的指令
失败的请求会收费吗?产生费用的错误和拒绝会推高账单
速率限制低并发会将廉价的批量处理变成慢速处理
最低充值和过期过期的预付额度就是损失的钱
订阅或预付固定的月费会惩罚使用量少的月份
它到底是什么模型?“廉价”可能意味着名称暗示之外的不同或更小的模型
数据使用提示词会用于训练吗?
API 兼容性兼容 OpenAI 意味着无需重写且易于切换

在你自己的小表格中为每个提供商填写答案。提供商文档中的缺失也是一种答案。

输入与输出:比例决定一切

输出 token 通常比输入 token 更贵,因此你的应用行为很重要。以下是 $0.15/百万输入 token 和 $0.50/百万输出 token 下的两种工作负载。

摘要。 20,000 token 的文档输入,输出 500 token。输入:20,000 x $0.15 / 1,000,000 = $0.003。输出:500 x $0.50 / 1,000,000 = $0.00025。每份文档总计 $0.00325,或 1,000 份文档 $3.25。输入侧占账单的 92%。

生成。 500 token 的提示词生成 3,000 token 的故事。输入:$0.000075。输出:$0.0015。总计 $0.001575,或 1,000 次生成 $1.575。此处输出占账单的 95%。

输入便宜但输出昂贵的提供商在第一种工作负载中胜出,在第二种中落败。根据你的比例进行比较,而不是看标题数字。对于混合月份,10M 输入 token 和 2M 输出 token,账单为 $1.50 + $1.00 = $2.50。

错误、重试和实际支付金额

如果部分调用失败且你需要为此付费,纸面上最便宜的提供商也会变得昂贵。询问失败或拒绝的请求是否计费。此处不计费。询问速率限制的行为:完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个和 60 个。超过限制时,API 返回 HTTP 429,代码为 rate_limited 或 concurrency,在临时过载时也会返回 429 并附带 Retry-After: 5。

礼貌地处理该情况,重试成本为零,因为被拒绝的请求从未运行。这里有一个最小包装器:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def ask(prompt, retries=4):
    for i in range(retries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    raise RuntimeError("rate limited after retries")

流式输出会占用其并发槽位直到完成,因此一次性流式输出 20 个响应的批量作业将受限于 8 个槽位上限,而不是每分钟的数量。

上下文窗口和分块的隐藏成本

100,000 token 的上下文窗口(共享提示词和补全)允许你通过一次请求发送长文档。较小的上下文窗口会将其拆分,在每块中重复指令,并添加最终调用来合并结果。这意味着更多的请求、更多的输入 token 和更多的维护代码。如果你的工作负载涉及长输入,请在价格之前检查窗口大小。

具有长历史记录的应用同样适用。如果历史记录可以容纳,你可以保持简单。即便如此,每次轮次重新发送历史记录都会消耗输入 token,因此修剪仍然值得。相关文章是 廉价 GPT API 常见误区与事实,它区分了真正的节省和营销噱头。

一个月的真实使用量,已定价

通过一个小产品将各部分组合起来:一个拥有 300 个活跃用户的应用,每个用户每月发送 40 个请求。即 12,000 个请求。每个用户发送约 3,000 个输入 token(指令、故事进展)并返回 700 个 token。

  • 输入:12,000 x 3,000 = 36M token,成本为 36 x $0.15 = $5.40。
  • 输出:12,000 x 700 = 8.4M token,成本为 8.4 x $0.50 = $4.20。
  • 总计:每月 $9.60,或每用户 $0.032。

现在看看小变化带来的影响。修剪历史记录使输入降至每次请求 2,000 token,可节省 12M 输入 token,即 $1.80。将输出限制为 500 token 可节省 2.4M token,即 $1.20。如果提供商对失败调用计费,5% 的失败率会使总账单增加 5%。这些影响与两个廉价提供商之间的价格差异一样大,这就是检查清单重要的原因。

模型是比较的另一半。如果一个模型需要三次尝试才能遵循你的格式,那么较低的价格并不是真正的低价。在决定之前,运行 20 个你的真实提示词,并计算第一次就给出可用答案的数量。

预付、过期和充值规则

查看两项政策:额度是否过期,以及最低支付金额是多少。此处额度永不过期,没有订阅,充值金额为 $20 到 $500 之间的任意整数。$50 起赠 +5%,$100 起赠 +10%,$200 起赠 +15%,因此 $100 充值变为 $110 额度。你可以通过加密货币(TRC20 上的 USDT、Base 上的 USDC)支付。定价页面有表格。

充值 $20,在生成负载(每篇故事 $0.001575)下可生成约 12,698 篇故事。在摘要负载(每份文档 $0.00325)下可生成约 6,153 份文档。这些是与其他提供商的等效服务进行比较的参考数据。

在承诺之前测试

最好的测试方法是使用你自己的提示词。使用 Google 或电子邮件和密码注册,并在 API 密钥页面 领取 $0.50 试用额度。只需点击一次,无需绑卡,持续 7 天,每人限领一次。由于 API 是 OpenAI 兼容的,测试只需更改 Base URL。

curl https://api.cheapaiapis.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize: retries need backoff."}]}'

每个响应都包含 X-Balance-USD,以便你监控测试运行的实际成本。清楚了解提供的服务:一个开放权重模型,由独立提供商运行,针对合法成人用途进行优化,可提供无内容拒绝的回答。它并非任何模型厂商的官方 API,仅支持文本,不支持图像、嵌入或微调。提示词不用于训练。详情见 docs。

问答

阅读文档
每百万 token 价格最低就一定最便宜吗?

不。输出定价、失败的请求、小的上下文窗口以及即将过期的额度都可能导致实际账单增加。请根据你的输入输出比例进行比较。

这里的失败请求会收费吗?

否。失败或被拒绝的请求不收费,且额度永不失效。

如何低成本测试供应商?

使用试用额度或小额充值,运行你的真实提示词。此处 $0.50 的试用无需银行卡,有效期为 7 天。

这是大型模型厂商的官方 API 吗?

不是。这是一个由独立供应商运营的开放权重模型,并非任何厂商的官方 API,也不是路由服务。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥

https://api.cheapaiapis.com/v1