VI ▾
Lấy khóa API

Nhà cung cấp API LLM giá rẻ: Những điều cần kiểm tra ngoài giá cả

Nhà cung cấp API LLM giá rẻ chỉ thực sự rẻ khi tổng hóa đơn thấp: tỷ lệ giá output, lệnh gọi thất bại, kích thước ngữ cảnh và tín dụng hết hạn đều được tính. Hãy dùng danh sách kiểm tra này, với chi phí thực tế ở mức $0,15 cho mỗi 1M token input và $0,50 cho mỗi 1M token output.

Cập nhật

Một cái cân bằng với đồng xu và khối dữ liệu, minh họa các bước kiểm tra chi phí cho nhà cung cấp API LLM

Cheap AI APIs

Điểm chính

  1. Bạn hãy so sánh giá input và output riêng biệt và sử dụng tỷ lệ token của chính mình.
  2. Kiểm tra cửa sổ ngữ cảnh, giới hạn tốc độ, lỗi tính phí, thời hạn và chính sách sử dụng dữ liệu.
  3. Tóm tắt tốn $3,25 cho mỗi 1.000 tài liệu ở đây; 1.000 câu chuyện được tạo ra tốn $1,575.
  4. Gói dùng thử $0,50 không cần thẻ và kéo dài 7 ngày.

Giá trên mỗi triệu token chỉ là một nửa của báo giá

Lựa chọn nhà cung cấp dựa trên con số thấp nhất trên trang giá cả chỉ hoạt động cho đến hóa đơn thực tế đầu tiên. Hai nhà cung cấp có thể quảng cáo cùng giá input nhưng vẫn khiến bạn chi trả khác nhau, do cách tính giá output, những gì được tính là yêu cầu phải trả tiền và số tiền bạn chi cho việc thử lại.

Bài viết này cung cấp cho bạn một danh sách kiểm tra ngắn có thể áp dụng cho bất kỳ nhà cung cấp nào, sau đó chạy một ví dụ để minh họa: $0,15 cho mỗi 1M token input và $0,50 cho mỗi 1M token output, là các mức giá trên trang web này. Hãy dùng danh sách kiểm tra này cho các nhà cung cấp khác. Để biết các con số của họ, hãy đọc trang định giá hiện tại của họ vì giá có thể thay đổi.

Danh sách kiểm tra

Kiểm traTại sao điều này quan trọng
Giá input và output riêng biệtGiá pha trộn che giấu bên mà bạn phải trả tiền nhiều nhất
Cửa sổ ngữ cảnhCửa sổ nhỏ buộc phải phân đoạn, dẫn đến nhiều lệnh gọi hơn và các hướng dẫn lặp lại
Các yêu cầu thất bại có được tính phí không?Các lỗi và từ chối tốn tiền làm tăng hóa đơn
Giới hạn tốc độĐộ đồng thời thấp biến lô xử lý giá rẻ thành lô chậm
Nạp tiền tối thiểu và hết hạnTín dụng hết hạn là số tiền bạn mất đi
Đăng ký hoặc tín dụng trả trướcPhí cố định hàng tháng phạt các tháng sử dụng ít
Đó là mô hình nào, một cách trung thực?Giá rẻ có thể có nghĩa là một mô hình khác hoặc nhỏ hơn so với tên gọi gợi ý
Sử dụng dữ liệuCác prompt có được dùng để huấn luyện không?
Tương thích APITương thích với OpenAI có nghĩa là không cần viết lại và dễ dàng chuyển đổi

Bạn hãy viết các câu trả lời cho mỗi nhà cung cấp vào một bảng nhỏ của riêng mình. Những khoảng trống trong tài liệu của nhà cung cấp cũng là một câu trả lời.

Input so với output: tỷ lệ quyết định

Token output thường đắt hơn token input, vì vậy những gì ứng dụng của bạn làm rất quan trọng. Dưới đây là hai tác vụ với mức giá $0,15 cho mỗi 1 triệu token input và $0,50 cho mỗi 1 triệu token output.

Tóm tắt. Một tài liệu 20.000 token được đưa vào và 500 token được trả ra. Input: 20.000 x $0,15 / 1.000.000 = $0,003. Output: 500 x $0,50 / 1.000.000 = $0,00025. Tổng cộng $0,00325 cho mỗi tài liệu, hoặc $3,25 cho 1.000 tài liệu. Phần input chiếm 92% hóa đơn.

Tạo nội dung. Một prompt 500 token tạo ra 3.000 token câu chuyện. Input: $0.000075. Output: $0.0015. Tổng cộng $0.001575, hoặc $1.575 cho 1.000 lần tạo. Ở đây, output chiếm 95% hóa đơn.

Một nhà cung cấp có input rẻ và output đắt sẽ thắng tác vụ đầu tiên và thua tác vụ thứ hai. Bạn hãy so sánh dựa trên tỷ lệ của mình, không phải dựa trên con số nổi bật. Đối với một tháng hỗn hợp với 10 triệu token input và 2 triệu token output, hóa đơn ở đây là $1,50 + $1,00 = $2,50.

Lỗi, thử lại và những gì bạn thực sự phải trả

Nhà cung cấp rẻ nhất trên giấy tờ trở nên đắt đỏ nếu một phần lệnh gọi của bạn bị lỗi và bạn phải trả tiền cho chúng. Bạn hãy hỏi xem các yêu cầu bị lỗi hoặc bị từ chối có được tính phí hay không. Tại đây, chúng không được tính. Bạn hãy hỏi cách giới hạn tốc độ hoạt động như thế nào: một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, một khóa dùng thử cho phép 2 và 60. Vượt quá giới hạn, API trả về HTTP 429 với mã rate_limited hoặc concurrency, và khi quá tải tạm thời cũng trả về 429 với Retry-After: 5.

Bạn hãy xử lý điều đó một cách lịch sự và chi phí thử lại bằng không, vì yêu cầu bị từ chối chưa bao giờ chạy. Dưới đây là một trình bao bọc tối thiểu:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def ask(prompt, retries=4):
    for i in range(retries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    raise RuntimeError("rate limited after retries")

Các luồng chiếm khe đồng thời của chúng cho đến khi chúng kết thúc, vì vậy một tác vụ hàng loạt truyền phát 20 phản hồi cùng lúc sẽ bị giới hạn bởi giới hạn 8 khe, không phải bởi con số mỗi phút.

Cửa sổ ngữ cảnh và chi phí ẩn của việc phân đoạn

Cửa sổ 100.000 token, dùng chung cho prompt và kết quả hoàn thành, cho phép bạn gửi một tài liệu dài trong một yêu cầu. Với một cửa sổ nhỏ, bạn sẽ chia nó, lặp lại các hướng dẫn trong mỗi phân đoạn và thêm một lệnh gọi cuối cùng để hợp nhất kết quả. Đó là nhiều yêu cầu hơn, nhiều token input hơn và nhiều mã hơn để bảo trì. Nếu tác vụ của bạn liên quan đến đầu vào dài, bạn hãy kiểm tra cửa sổ trước khi kiểm tra giá cả.

Điều này cũng áp dụng cho ứng dụng chat có lịch sử dài. Nếu lịch sử vừa khít, bạn có thể giữ nó đơn giản. Dù vậy, gửi lại lịch sử tốn token đầu vào mỗi lượt, nên cắt giảm vẫn đáng giá. Bài đọc liên quan những hiểu lầm về API GPT giá rẻ giúp phân biệt tiết kiệm thực sự và marketing.

Một tháng sử dụng thực tế, được định giá

Bạn hãy ghép các mảnh lại với nhau bằng một sản phẩm nhỏ: một trợ lý viết với 300 người dùng hoạt động, mỗi người gửi 40 yêu cầu mỗi tháng. Đó là 12.000 yêu cầu. Mỗi yêu cầu gửi khoảng 3.000 token input (hướng dẫn, câu chuyện cho đến nay) và trả về 700 token.

  • Input: 12.000 x 3.000 = 36 triệu token, tốn 36 x $0,15 = $5,40.
  • Output: 12.000 x 700 = 8,4 triệu token, tốn 8,4 x $0,50 = $4,20.
  • Tổng cộng: $9,60 một tháng, hoặc $0,032 cho mỗi người dùng.

Bây giờ hãy xem những thay đổi nhỏ sẽ làm gì. Cắt giảm lịch sử để input giảm xuống còn 2.000 token mỗi yêu cầu tiết kiệm 12 triệu token input, hoặc $1,80. Giới hạn output ở mức 500 token tiết kiệm 2,4 triệu token, hoặc $1,20. Một nhà cung cấp tính phí các lệnh gọi bị lỗi, với tỷ lệ lỗi 5%, sẽ thêm 5% vào toàn bộ hóa đơn. Những tác động này lớn như một sự khác biệt về giá giữa hai nhà cung cấp giá rẻ, đó là lý do tại sao danh sách kiểm tra lại quan trọng.

Mô hình là nửa còn lại của việc so sánh. Giá thấp hơn cho một mô hình cần ba lần thử để làm theo định dạng của bạn không phải là giá thấp hơn. Trước khi quyết định, bạn hãy chạy 20 prompt thực tế của mình và đếm xem có bao nhiêu câu trả lời có thể sử dụng được ngay từ lần đầu tiên.

Tín dụng trả trước, thời hạn hết hạn và quy tắc nạp tiền

Hãy xem hai chính sách: liệu tín dụng có hết hạn không và khoản thanh toán tối thiểu là bao nhiêu. Tại đây tín dụng không bao giờ hết hạn, không có gói đăng ký, và nạp tiền là bất kỳ số nguyên nào từ $20 đến $500. Bonus là +5% từ $50, +10% từ $100 và +15% từ $200, nên nạp $100 thành $110 tín dụng. Bạn có thể thanh toán bằng crypto (USDT trên TRC20, USDC trên Base). Trang trang giá cả có bảng giá.

Một khoản nạp $20 tại tác vụ sinh văn bản ở trên ($0,001575 cho mỗi câu chuyện) mua được khoảng 12.698 câu chuyện. Tại tác vụ tóm tắt ($0,00325 cho mỗi tài liệu), nó mua được khoảng 6.153 tài liệu. Đây là các con số để bạn so sánh với bất kỳ nhà cung cấp nào khác tương đương.

Kiểm tra nó trước khi bạn cam kết

Cách kiểm tra tốt nhất là prompt của chính bạn. Đăng ký với Google, hoặc email và mật khẩu, và nhận $0,50 tín dụng dùng thử trên trang khóa API. Chỉ cần một cú nhấp, không cần thẻ, kéo dài 7 ngày và giới hạn một người. Vì API tương thích OpenAI, bài kiểm tra là thay đổi URL cơ sở.

curl https://api.cheapaiapis.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize: retries need backoff."}]}'

Mỗi phản hồi đều chứa X-Balance-USD, giúp bạn theo dõi chi phí thực tế của lần chạy thử. Hãy rõ ràng về những gì được cung cấp: một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào, và nó chỉ hỗ trợ văn bản, không có hình ảnh, embedding hay fine-tuning. Các prompt không được dùng để huấn luyện. Chi tiết có trong tài liệu.

Hỏi đáp

Đọc tài liệu
Giá thấp nhất trên mỗi triệu token có luôn là rẻ nhất không?

Không. Giá xuất, lỗi tính phí, cửa sổ ngữ cảnh nhỏ và tín dụng hết hạn có thể làm tăng hóa đơn thực tế. Hãy so sánh dựa trên tỷ lệ prompt và output của bạn.

Các yêu cầu bị lỗi có được tính phí ở đây không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không bao giờ hết hạn.

Làm thế nào để tôi thử nghiệm nhà cung cấp với chi phí thấp?

Hãy sử dụng tín dụng dùng thử hoặc một khoản nạp tiền nhỏ và chạy các prompt thực tế của bạn. Tại đây, gói dùng thử $0,50 không cần thẻ và kéo dài 7 ngày.

Đây có phải là API chính thức của một nhà cung cấp mô hình lớn không?

Không. Đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành, không phải là API chính thức của bất kỳ nhà cung cấp nào và không phải là bộ định tuyến.

Khóa của bạn chỉ còn một bước nữa là xong

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API

https://api.cheapaiapis.com/v1