การถอดรหัสแบบคาดเดาที่ดีที่สุดสำหรับ LLM แบบไม่เซ็นเซอร์
การถอดรหัสแบบคาดเดาเป็นเทคนิคเพิ่มความเร็วฝั่งเซิร์ฟเวอร์ บทความนี้อธิบายหลักการทำงาน รูปแบบที่เหมาะกับโมเดลแบบไม่เซ็นเซอร์ และสิ่งที่คุณทำได้จากฝั่งไคลเอนต์ของ API
อัปเดต

Cheap AI APIs
ประเด็นสำคัญ
- การถอดรหัสแบบคาดเดาสร้างโทเคนหลายตัวด้วยต้นทุนต่ำ จากนั้นตรวจสอบผ่านโมเดลหลักเพียงครั้งเดียว
- ด้วยการสุ่มตัวอย่างที่ถูกต้อง การแจกแจงผลลัพธ์จะตรงกับการถอดรหัสปกติ เปลี่ยนเพียงความเร็ว
- บน API ที่โฮสต์ การตั้งค่าเป็นดุลยพินิจของผู้ให้บริการ ไม่ใช่พารามิเตอร์คำขอ
- เว็บไซต์นี้ไม่เผยแพร่ตัวเลขความเร็ว วัดผลบนพรอมต์ของคุณเองด้วยสคริปต์ด้านล่าง
คำตอบสั้นๆ
หากคุณถามเกี่ยวกับการใช้งาน การถอดรหัสแบบคาดเดาที่ดีที่สุดสำหรับ LLM แบบไม่เซ็นเซอร์ คำตอบขึ้นอยู่กับผู้ถือเซิร์ฟเวอร์ เมื่อคุณรันโมเดลเอง โมเดลร่างหรือหัวที่ฝึกสำหรับโมเดลนั้นๆ มักจะชนะที่สุด; เมื่อคุณเรียก API ที่โฮสต์ คุณไม่สามารถเลือกได้เลย เพราะการถอดรหัสแบบคาดเดาเป็นคุณสมบัติของเซิร์ฟเวอร์การอนุมาน ไม่ใช่ฟิลด์ในคำขอ ไม่มีพารามิเตอร์ของ POST /v1/chat/completions ที่เปิดใช้งานมัน
API นี้ไม่ได้ระบุวิธีการถอดรหัสที่อยู่เบื้องหลัง และบทความนี้จะไม่ได้คาดเดา สิ่งต่อไปนี้คือเทคนิคทั่วไป วิธีเลือกวิธีหากคุณโฮสต์เอง และสิ่งที่คุณวัดและปรับแต่งได้จากภายนอก
วิธีการทำงานของการถอดรหัสแบบคาดเดา
โดยปกติแล้วโมเดลภาษาจะเขียนโทเคนหนึ่งตัวต่อการรันไปข้างหน้า (forward pass) แต่ละครั้ง และการรันแต่ละครั้งต้องอ่านน้ำหนักโมเดลจากหน่วยความจำ ทำให้การสร้างข้อความถูกจำกัดโดยแบนด์วิดท์ของหน่วยความจำมากกว่าหน่วยคำนวณ การถอดรหัสแบบคาดเดาใช้ประโยชน์จากหน่วยคำนวณที่ว่างอยู่
- กลไก draft แบบราคาถูกจะเสนอโทเคนถัดไปจำนวนไม่กี่ตัว เช่น สี่ตัว
- โมเดลเต็มจะประเมินคะแนนตำแหน่งทั้งสี่ในการรันไปข้างหน้าครั้งเดียว
- ระบบจะยอมรับลำดับคำนำหน้าที่ยาวที่สุดที่ตรงกับสิ่งที่โมเดลจะผลิตออกมา และแก้ไขตำแหน่งที่ไม่ตรงกันตัวแรก
- การสร้างข้อความจะดำเนินการต่อจากจุดนั้น
ด้วยแผนการสุ่มตัวอย่างแบบปฏิเสธที่เผยแพร่แล้ว โทเคนที่ยอมรับจะมีความน่าจะเป็นแบบเดียวกันกับการสุ่มตัวอย่างธรรมดาจากโมเดลหลัก ดังนั้นคุณภาพจึงไม่เปลี่ยนแปลงตามการออกแบบ คุณจะได้รับโทเคนหลายตัวในราคาของการสร้างประมาณหนึ่งรอบเมื่อผู้ร่างคาดเดาได้ถูกต้อง และประมาณหนึ่งโทเคนต่อรอบเมื่อคาดเดาผิด ความเร็วที่เพิ่มขึ้นคือจำนวนโทเคนที่ยอมรับโดยเฉลี่ย ซึ่งเรียกว่าอัตราการยอมรับในวรรณกรรม
วิธีการและเมื่อไหร่ที่เหมาะกับแต่ละวิธี
| วิธี | วิธีการสร้างต้นแบบ | ความเหมาะสมที่ดี |
|---|---|---|
| โมเดลร่างขนาดเล็ก | โมเดลขนาดเล็กกว่าจากตระกูลเดียวกันเสนอค่าโทเคน | แชททั่วไป หากมีโมเดลพี่น้องขนาดเล็กที่คล้ายกัน |
| การค้นหาพรอมต์ / n-gram | คัดลอกช่วงข้อความที่มีอยู่แล้วในพรอมต์ | การแก้ไข การสรุปย่อ การเขียนโค้ดใหม่ คำตอบจากการค้นหา |
| ส่วนหัวถอดรหัสเพิ่มเติม (รูปแบบ Medusa) | หัวที่เพิ่มเข้ามาทำนายโทเคนในอนาคตหลายตัว | โฮสต์เองพร้อมงบประมาณการฝึก |
| การร่างระดับคุณลักษณะภายใน (รูปแบบ EAGLE) | โมดูลเบาทำนายจากสถานะซ่อนของโมเดลเอง | โฮสต์เองเมื่อมีโมดูลที่ฝึกไว้แล้ว |
เครื่องมืออนุมานยอดนิยม รวมถึง vLLM และ llama.cpp รองรับ การถอดรหัสแบบคาดเดา ในรูปแบบบางอย่าง แม้ตัวเลือกและความสมบูรณ์จะแตกต่างกันไปตามเวอร์ชัน ดังนั้นควรตรวจสอบเอกสารประกอบของรุ่นที่คุณใช้งาน
ไม่มีวิธีใดที่ดีที่สุดโดยทั่วไป การค้นหาพรอมต์มีค่าใช้จ่ายในการตั้งค่าเป็นศูนย์และโดดเด่นเมื่อผลลัพธ์ซ้ำข้อความนำเข้า โมเดลต้นแบบมีประโยชน์มากที่สุดเมื่อตรงกับเป้าหมายในสไตล์ หัวที่ฝึกแล้วให้ผลลัพธ์ที่มั่นคงกับโมเดลที่ฝึกมา
ทำไมอัตราการยอมรับจึงเป็นตัวกำหนดปัจจัยการเร่งความเร็ว
โมเดลง่ายๆ แสดงให้เห็นผลกระทบ หากผู้ร่างเสนอ k โทเคน และแต่ละตัวได้รับการยอมรับด้วยความน่าจะเป็น p โดยอิสระ โมเดลหลักจะสร้างโดยเฉลี่ย (1 - p^(k+1)) / (1 - p) โทเคนต่อรอบ ซึ่งไม่รวมเวลาที่ใช้ในการร่าง ดังนั้นการปรับปรุงจริงจึงน้อยกว่านี้ ด้วย k = 4:
| การยอมรับ p | โทเคนต่อรอบการสร้าง | การอ่าน |
|---|---|---|
| 0.8 | 3.36 | โมเดลร่างสอดคล้องกันดี; ได้ประโยชน์มาก |
| 0.5 | 1.94 | ได้ประโยชน์ไม่มาก อาจถูกกลบด้วยต้นทุนการร่าง |
| 0.3 | 1.43 | ได้ประโยชน์น้อย; อาจช้าลงโดยรวม |
ตัวเลขเหล่านี้ชี้ให้เห็นว่าทำไมการจับคู่ผู้ร่างกับเป้าหมายจึงสำคัญกว่าการเลือกวิธีที่มีชื่อเสียง ผู้ร่างระดับกลางที่ p = 0.3 ชนะการถอดรหัสธรรมดาเพียงเล็กน้อย ในขณะที่ผู้ร่างที่จับคู่ได้ดีที่ p = 0.8 สร้างได้มากกว่าสามโทเคนต่อรอบ
สิ่งที่เปลี่ยนแปลงสำหรับโมเดลแบบไม่เซ็นเซอร์
วิธีการเองไม่สนใจนโยบายเนื้อหา ข้อจำกัดในทางปฏิบัติคือความสอดคล้องของผู้ร่าง โมเดลขนาดเล็กจำนวนมากถูกปล่อยออกมาพร้อมพฤติกรรมปฏิเสธในตัว โมเดลเป้าหมายแบบไม่เซ็นเซอร์จะเขียนสิ่งต่างๆ ที่ผู้ร่างไม่เคยเสนอหรืออาจพูดเลี่ยง เมื่อผู้ร่างยังคงทำนายข้อความปฏิเสธความรับผิดชอบและเป้าหมายยังคงเขียนฉาก อัตราการยอมรับจะลดลง และงานร่างเพิ่มเติมอาจใช้เวลามากกว่าที่ประหยัดได้
นั่นเป็นกฎง่ายๆ สำหรับผู้โฮสต์เอง ใช้ผู้ร่างที่ได้รับการปรับทิศทางเดียวกันกับเป้าหมาย หรือวิธีการที่ไม่ต้องการโมเดลแยกต่างหาก: การค้นหาพรอมต์ หรือหัวและโมดูลที่ฝึกบนเป้าหมายโดยตรง ตรวจสอบด้วยการรันทดลองกับพรอมต์ของคุณเอง เพราะการเขียนเชิงสร้างสรรค์ที่อุณหภูมิสูงเป็นกรณีที่ยากที่สุดสำหรับผู้ร่างใดๆ ความสุ่มลดความสอดคล้อง และนิยายมีแนวโน้มที่จะทำงานที่อุณหภูมิสูง
สำหรับ API บนเว็บไซต์นี้ โมเดลคือโมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระ ซึ่งปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตภายใต้การตั้งค่าใดๆ
สิ่งที่คุณสามารถควบคุมในฐานะผู้ใช้ API
คุณไม่สามารถสลับผู้ร่างได้ แต่การตั้งค่าคำขอหลายอย่างส่งผลต่อความเร็วในการรับคำตอบ
- สตรีมการตอบสนอง ด้วย
stream: trueคำแรกจะมาถึงในขณะที่ส่วนอื่นยังคงกำลังถูกสร้างอยู่ ความเร็วที่รับรู้ดีขึ้นโดยไม่ขึ้นกับเทคนิคของเซิร์ฟเวอร์ จำไว้ว่าการสตรีมจะครอบครองช่องความพร้อมใช้งานไปจนกว่าจะสิ้นสุด คีย์เต็มอนุญาตให้ส่ง 8 คำขอพร้อมกันได้ - จำกัดผลลัพธ์
max_tokensเป็นตัวเลือกได้ แต่การกำหนดขีดจำกัดจะควบคุมการรอคอยและค่าใช้จ่ายในกรณีที่แย่ที่สุด - ลดอุณหภูมิ หากเซิร์ฟเวอร์ของคุณใช้การคาดเดา ผลลัพธ์ที่อุณหภูมิต่ำจะคาดเดาได้ง่ายกว่า ดังนั้นจึงมีแนวโน้มที่จะเร็วขึ้น ให้ถือสิ่งนี้เป็นสิ่งที่ต้องทดสอบ ไม่ใช่คำสัญญา
- รักษาพรอมต์ให้สั้น มีข้อมูลป้อนเข้าให้น้อยลงก่อนที่โทเคนแรกจะปรากฏ
- ทำแบบขนานภายในขีดจำกัด คำขอพร้อมกันได้สูงสุด 8 คำขอและ 300 คำขอต่อนาทีบนคีย์เต็มช่วยปรับปรุงปริมาณงานของชุดข้อมูล แม้ว่าการตอบกลับหนึ่งรายการจะไม่เร็วขึ้น
ความเร็วไม่เปลี่ยนแปลงสิ่งที่คุณจ่าย การเรียกเก็บเงินคือ $0.15 ต่อ 1M โทเคนป้อนเข้าและ $0.50 ต่อ 1M โทเคนผลลัพธ์ไม่ว่าจะเป็นอย่างไร และคำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน ดูหน้าราคาเพื่อดูรายละเอียด
วัดด้วยตัวคุณเอง
อย่าไว้วางใจตัวเลขความเร็วของใคร รวมถึงของผู้ให้บริการ จนกว่าคุณจะทำซ้ำด้วยพรอมต์ของคุณเอง สคริปต์นี้วัดเวลาคำขอที่ไม่มีการสตรีมและหารโทเคนการเสร็จสิ้นด้วยเวลาจริง มันรันพรอมต์เดียวกันที่อุณหภูมิสองค่าด้วย seed ที่กำหนดไว้
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")รันหลายครั้งในช่วงเวลาต่างกันแล้วหาค่ามัธยฐาน ตัวเลขรวมเวลาเครือข่ายและการรอคิว ซึ่งเป็นประสบการณ์ผู้ใช้จริง หากต้องการเวลาถึงโทเคนแรก ให้ใช้ stream=True และบันทึกเมื่อชิ้นข้อมูลแรกมาถึง ดูการเรียกสตรีมมิงใน quickstart
คุณสามารถใช้เครดิตทดลองสำหรับสิ่งนี้ได้ คลิกหนึ่งครั้งบนหน้าคีย์ API ให้ $0.50 ใช้ได้เป็นเวลา 7 วัน ไม่ต้องใช้บัตร สคริปต์ด้านบนใช้โทเคนผลลัพธ์สูงสุด 400 โทเคนต่อการรัน ดังนั้นการรันสิบครั้งด้วยโทเคนผลลัพธ์ 400 และโทเคนป้อนเข้า 20 จะมีค่าใช้จ่าย 10 x ($0.000003 + $0.0002) = $0.00203 ซึ่งเท่ากับหนึ่งในห้าของเซ็นต์
หากคุณวางแผนที่จะโฮสต์เอง
เริ่มโดยไม่คาดเดาและบันทึกค่าพื้นฐาน จากนั้นเพิ่มการค้นหาคำพรอมต์หากงานของคุณคัดลอกข้อความจากคำพรอมต์ ลองใช้โมเดลร่างที่แบ่งปันตัวแยกโทเคนและทิศทางของการปรับแต่งกับโมเดลเป้าหมาย วัดจำนวนโทเคนต่อวินาทีและสัดส่วนของโทเคนร่างที่ผ่านการยอมรับ ที่อุณหภูมิจริงของคุณ หยุดเมื่อการปรับปรุงไม่คุ้มค่ากับหน่วยความจำเพิ่มเติม เนื่องจากโมเดลร่างยังต้องการพื้นที่ GPU
หากการโฮสต์ด้วยตนเองเป็นงานมากกว่าที่คุณต้องการ จุดปลายแบบโฮสต์ที่มีการเรียกเก็บเงินต่อโทเคนจะกำจัดคำถามนั้น บทความเกี่ยวกับตำนานและข้อเท็จจริงเกี่ยวกับ API ราคาถูก ครอบคลุมสิ่งที่ต้องตรวจสอบก่อนไว้วางใจราคาต่ำใดๆ
คู่มือเพิ่มเติม
ถาม-ตอบ
อ่านเอกสารการถอดรหัสแบบคาดเดาเปลี่ยนคุณภาพของคำตอบหรือไม่?
ไม่เมื่อใช้งานด้วยกฎการยอมรับมาตรฐาน เนื่องจากโทเคนที่ยอมรับจะปฏิบัติตามการกระจายของโมเดลหลัก มันเปลี่ยนเฉพาะความเร็ว
ฉันสามารถเปิดใช้งานการถอดรหัสแบบคาดเดาด้วยพารามิเตอร์คำขอได้หรือไม่?
ไม่ได้ มันกำหนดค่าที่เซิร์ฟเวอร์อนุมาน ไม่มีสิ่งใดในคำขอการเสร็จสิ้นแชทที่เปิดใช้งานสิ่งนี้สำหรับ API นี้
มันเร็วกว่าที่อุณหภูมิ 0 หรือไม่?
โดยทั่วไปการทำนายจะจับคู่ได้ง่ายกว่า แต่ขึ้นอยู่กับวิธีการและพรอมต์ วัดเวลาภาระงานของคุณเอง
วิธีการใดดีที่สุดสำหรับโรลเพลย์และนิยาย?
ข้อความเชิงสร้างสรรค์ที่อุณหภูมิสูงเป็นเรื่องยากที่จะร่าง การค้นหาคำพรอมต์ช่วยได้ไม่มากที่นั่น ดังนั้นโมเดลร่างหรือหัวที่ฝึกบนโมเดลเดียวกันจึงเป็นตัวเลือกที่ดีกว่าหากคุณโฮสต์ด้วยตนเอง
คีย์ของคุณอยู่ห่างแค่อีกขั้นตอนเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
https://api.cheapaiapis.com/v1