VI ▾
Lấy khóa API

Giải mã dự đoán tốt nhất cho LLM không kiểm duyệt

Giải mã dự đoán là kỹ thuật tăng tốc phía máy chủ. Bài viết này giải thích cách nó hoạt động, các biến thể nào phù hợp với mô hình không kiểm duyệt và những gì bạn có thể làm từ phía máy khách của API.

Cập nhật

Một phần tử nhỏ, nhanh dự đoán trước trong khi một khối lớn hơn xác minh từng bước, minh họa giải mã dự đoán

Cheap AI APIs

Điểm chính

  1. Giải mã suy đoán phác thảo nhiều token với chi phí thấp, sau đó kiểm tra chúng trong một lượt truyền của mô hình chính.
  2. Với việc lấy mẫu chính xác, phân phối đầu ra khớp với giải mã thông thường; chỉ có tốc độ thay đổi.
  3. Trên API lưu trữ, việc thiết lập là lựa chọn của nhà cung cấp, không phải tham số yêu cầu.
  4. Trang web này không công bố số liệu tốc độ; hãy đo lường trên các prompt của bạn với kịch bản bên dưới.

Câu trả lời ngắn

Nếu bạn đang hỏi về giải pháp giải mã dự đoán tốt nhất cho các triển khai llm không kiểm duyệt, câu trả lời phụ thuộc vào ai là chủ sở hữu máy chủ. Khi bạn tự chạy mô hình, một mô hình dự đoán hoặc một đầu được huấn luyện cho đúng mô hình đó thường sẽ thắng; khi gọi một API được lưu trữ, bạn hoàn toàn không thể chọn, vì giải mã dự đoán là thuộc tính của máy chủ suy luận chứ không phải là một trường trong yêu cầu. Không có tham số nào trong POST /v1/chat/completions bật tính năng này lên.

API này không nêu rõ phương pháp giải mã nào đang hoạt động, và bài viết này sẽ không đoán. Những gì trình bày sau đây là kỹ thuật chung, cách chọn giữa các phương pháp nếu bạn tự lưu trữ và những gì bạn có thể đo lường và tinh chỉnh từ bên ngoài.

Cách giải mã dự đoán hoạt động

Một mô hình ngôn ngữ thường sinh ra một token mỗi lượt truyền, và mỗi lượt phải đọc trọng số mô hình từ bộ nhớ. Điều này khiến việc sinh bị giới hạn bởi băng thông bộ nhớ thay vì số học. Giải mã dự đoán khai thác sức mạnh tính toán nhàn rỗi.

  1. Một cơ chế phác thảo chi phí thấp đề xuất vài token tiếp theo, chẳng hạn bốn.
  2. Mô hình đầy đủ chấm điểm cho tất cả bốn vị trí trong một lượt truyền một chiều.
  3. Nó chấp nhận tiền tố dài nhất khớp với những gì nó sẽ tạo ra, và điều chỉnh sự không khớp đầu tiên.
  4. Quá trình tạo tiếp tục từ đó.

Với lược đồ lấy mẫu từ chối đã công bố, các token được chấp nhận tuân theo cùng phân phối với việc lấy mẫu đơn giản từ mô hình chính. Vì vậy, chất lượng không thay đổi theo thiết kế. Bạn nhận được nhiều token với giá bằng khoảng một lượt khi bản phác thảo đoán đúng, và khoảng một token mỗi lượt khi nó không đúng. Tốc độ tăng là số token trung bình được chấp nhận, được gọi là tỷ lệ chấp nhận trong tài liệu.

Các phương pháp và khi nào mỗi phương pháp phù hợp

Phương thứcCách nó phác thảoPhù hợp tốt
Mô hình phác thảo nhỏMột mô hình nhỏ hơn cùng họ đề xuất các tokenTrò chuyện chung, nếu có một người anh em nhỏ cùng họ gần gũi
Tra cứu prompt / n-gramSao chép các đoạn đã xuất hiện trong promptChỉnh sửa, tóm tắt, viết lại mã, câu trả lời truy xuất
Các đầu giải mã bổ sung (kiểu Medusa)Các đầu bổ sung dự đoán nhiều token tương laiTự lưu trữ với ngân sách huấn luyện
Phác thảo cấp tính năng (kiểu EAGLE)Một mô-đun nhẹ dự đoán từ các trạng thái ẩn của mô hìnhTự lưu trữ khi tồn tại một mô-đun đã huấn luyện

Các công cụ suy luận phổ biến, bao gồm vLLM và llama.cpp, hỗ trợ giải mã dự đoán ở một số hình thức, mặc dù tùy chọn và mức độ trưởng thành khác nhau tùy phiên bản, vì vậy hãy kiểm tra tài liệu của bản phát hành bạn đang chạy.

Không có phương pháp nào là tốt nhất một cách trừu tượng. Tra cứu prompt không tốn gì để thiết lập và tỏa sáng khi đầu ra lặp lại đầu vào. Mô hình dự đoán giúp nhiều nhất khi nó phù hợp với mục tiêu về phong cách. Các đầu đã huấn luyện mang lại lợi ích ổn định cho mô hình chúng được huấn luyện.

Tại sao tỷ lệ chấp nhận quyết định tốc độ tăng

Một mô hình đơn giản cho thấy hiệu ứng. Nếu mô hình phác thảo đề xuất k token và mỗi token được chấp nhận với xác suất p, độc lập, mô hình chính tạo ra trung bình (1 - p^(k+1)) / (1 - p) token mỗi lượt. Điều này bỏ qua thời gian dành cho việc phác thảo, vì vậy lợi ích thực tế nhỏ hơn. Với k = 4:

Chấp nhận pToken mỗi lượtĐọc
0,83,36Bản phác thảo phù hợp tốt; lợi ích lớn
0,51,94Lợi ích khiêm tốn, dễ bị chi phí phác thảo ăn hết
0,31,43Lợi ích ít; có thể chậm hơn tổng thể

Các con số giải thích tại sao việc phù hợp người phác thảo với mục tiêu quan trọng hơn việc chọn một phương pháp nổi tiếng. Một người phác thảo trung bình ở p = 0.3 chỉ hơi vượt qua giải mã đơn giản, trong khi một người được phù hợp tốt ở p = 0.8 tạo ra hơn ba token mỗi lượt.

Điều gì thay đổi cho một mô hình không kiểm duyệt

Phương pháp này không phân biệt chính sách nội dung. Điểm thực tế là sự phù hợp của bản phác thảo. Nhiều mô hình nhỏ được phát hành với hành vi từ chối đã được tích hợp sẵn. Một mô hình mục tiêu không kiểm duyệt viết những điều mà một bản phác thảo như vậy sẽ không bao giờ đề xuất, hoặc sẽ dè dặt. Khi bản phác thảo tiếp tục dự đoán lời tuyên bố và mô hình mục tiêu tiếp tục viết cảnh, tỷ lệ chấp nhận giảm, và công việc phác thảo bổ sung có thể tốn nhiều thời gian hơn nó tiết kiệm.

Điều đó đưa ra một quy tắc đơn giản cho những người tự lưu trữ. Sử dụng một bản dự đoán đã được tinh chỉnh theo cùng hướng với mục tiêu, hoặc một phương pháp không cần mô hình riêng: tra cứu prompt, hoặc các đầu và mô-đun được huấn luyện trên chính mục tiêu. Xác minh với một lần chạy thử trên các prompt của bạn, vì viết sáng tạo ở nhiệt độ cao là trường hợp khó nhất cho bất kỳ người phác thảo nào. Tính ngẫu nhiên làm giảm sự phù hợp, và văn học có xu hướng chạy nóng.

Đối với API trên trang web này, mô hình là một mô hình trọng số mở được chạy bởi một nhà cung cấp độc lập, được tinh chỉnh để trả lời mà không có từ chối nội dung cho việc sử dụng người lớn hợp pháp. Nội dung tình dục liên quan đến người chưa thành niên không được phép dưới bất kỳ cài đặt nào.

Những gì bạn có thể kiểm soát với tư cách là người dùng API

Bạn không thể bật/tắt cơ chế phác thảo, nhưng nhiều cài đặt yêu cầu ảnh hưởng đến tốc độ phản hồi cảm nhận được.

  • Truyền phát phản hồi. Với stream: true các từ đầu tiên đến trong khi phần còn lại vẫn đang được tạo ra. Tốc độ phản hồi cảm nhận được được cải thiện bất kể các thủ thuật của máy chủ. Hãy nhớ rằng một luồng giữ vị trí đồng thời của nó cho đến khi kết thúc; một khóa đầy đủ cho phép 8 cùng một lúc.
  • Giới hạn đầu ra. max_tokens là tùy chọn, nhưng một giới hạn ràng buộc thời gian chờ trường hợp xấu nhất và chi phí.
  • Giảm nhiệt độ. Nếu máy chủ của bạn có sử dụng suy luận, đầu ra nhiệt độ thấp dễ dự đoán hơn, vì vậy nó có xu hướng nhanh hơn. Hãy coi đó là điều cần kiểm tra, không phải lời hứa.
  • Giữ prompt ngắn. Ít đầu vào để xử lý trước khi token đầu tiên xuất hiện.
  • Thực hiện song song trong giới hạn. Tối đa 8 yêu cầu đồng thời và 300 mỗi phút trên một khóa đầy đủ cải thiện thông lượng của một lô, ngay cả khi một phản hồi đơn lẻ không nhanh hơn.

Tốc độ không thay đổi những gì bạn trả tiền. Cách tính phí là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra theo cả hai cách, và các yêu cầu thất bại không được tính phí. Xem trang giá cả để biết chi tiết.

Tự đo lường

Đừng tin vào bất kỳ con số tốc độ nào của bất kỳ ai, bao gồm cả nhà cung cấp, cho đến khi bạn sao chép nó bằng các prompt của riêng bạn. Kịch bản này đo thời gian một yêu cầu không truyền phát và chia token hoàn thành cho thời gian thực tế. Nó chạy cùng một prompt ở hai nhiệt độ với seed cố định.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Chạy nó nhiều lần vào các giờ khác nhau và lấy trung vị. Con số bao gồm thời gian mạng và xếp hàng, vì vậy đó là một con số cuối cùng, là những gì người dùng của bạn trải nghiệm. Nếu bạn muốn thời gian đến token đầu tiên, hãy chuyển sang stream=True và ghi lại khi chunk đầu tiên đến. hướng dẫn nhanh cho thấy cuộc gọi truyền phát.

Bạn có thể sử dụng tín dụng dùng thử cho việc này. Một cú nhấp chuột trên trang khóa API cung cấp $0,50, có hiệu lực trong 7 ngày, không cần thẻ. Script ở trên sử dụng tối đa 400 token đầu ra cho mỗi lần chạy, vì vậy mười lần chạy với 400 token đầu ra và 20 token đầu vào tốn 10 x ($0,000003 + $0,0002) = $0,00203, bằng một phần năm một xu.

Nếu bạn dự định tự lưu trữ

Bắt đầu mà không có suy đoán và ghi lại đường cơ sở. Sau đó, thêm tra cứu prompt nếu tác vụ của bạn sao chép văn bản từ prompt. Tiếp theo, hãy thử một mô hình dự thảo có bộ tokenizer và hướng tinh chỉnh giống với mô hình mục tiêu. Đo lường số token trên giây và tỷ lệ token dự thảo được chấp nhận ở mức nhiệt độ thực tế của bạn. Hãy dừng lại khi lợi ích không còn xứng đáng với bộ nhớ bổ sung, vì mô hình dự thảo cũng cần không gian GPU.

Nếu tự lưu trữ tốn nhiều công sức hơn những gì bạn muốn, một endpoint được lưu trữ với cách tính phí theo token loại bỏ câu hỏi. Bài viết về những hiểu lầm và sự thật về API rẻ bao gồm những gì cần kiểm tra trước khi tin tưởng bất kỳ giá thấp nào.

Hỏi đáp

Đọc tài liệu
Giải mã suy đoán có thay đổi chất lượng câu trả lời không?

Không, khi được triển khai với quy tắc chấp nhận tiêu chuẩn, vì các token được chấp nhận tuân theo phân phối của mô hình chính. Nó chỉ thay đổi tốc độ.

Tôi có thể bật giải mã suy đoán bằng tham số yêu cầu không?

Không. Nó được cấu hình trên máy chủ suy luận. Không có gì trong yêu cầu hoàn thành trò chuyện kích hoạt nó cho API này.

Nó có nhanh hơn ở nhiệt độ 0 không?

Thường là như vậy, vì các dự đoán dễ khớp hơn, nhưng nó thay đổi tùy theo phương pháp và prompt. Hãy đánh giá hiệu suất công việc của riêng bạn.

Phương pháp nào tốt nhất cho đóng vai và tiểu thuyết?

Văn bản sáng tạo ở nhiệt độ cao rất khó để dự đoán. Tìm kiếm prompt giúp ít ở đó, vì vậy một mô hình dự đoán hoặc các đầu được huấn luyện trên cùng một mô hình là lựa chọn tốt hơn nếu bạn tự lưu trữ.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API

https://api.cheapaiapis.com/v1