TH ▾
รับคีย์ API

การถอดรหัสแบบคาดเดาที่ดีที่สุดสำหรับ LLM แบบไม่เซ็นเซอร์

การถอดรหัสแบบคาดเดาเป็นเทคนิคเพิ่มความเร็วฝั่งเซิร์ฟเวอร์ บทความนี้อธิบายหลักการทำงาน รูปแบบที่เหมาะกับโมเดลแบบไม่เซ็นเซอร์ และสิ่งที่คุณทำได้จากฝั่งไคลเอนต์ของ API

อัปเดต

องค์ประกอบขนาดเล็กที่สร้างล่วงหน้าอย่างรวดเร็วขณะบล็อกขนาดใหญ่ตรวจสอบแต่ละขั้นตอน เพื่อแสดงภาพการถอดรหัสแบบคาดเดา

Cheap AI APIs

ประเด็นสำคัญ

  1. การถอดรหัสแบบคาดเดาสร้างโทเคนหลายตัวด้วยต้นทุนต่ำ จากนั้นตรวจสอบผ่านโมเดลหลักเพียงครั้งเดียว
  2. ด้วยการสุ่มตัวอย่างที่ถูกต้อง การแจกแจงผลลัพธ์จะตรงกับการถอดรหัสปกติ เปลี่ยนเพียงความเร็ว
  3. บน API ที่โฮสต์ การตั้งค่าเป็นดุลยพินิจของผู้ให้บริการ ไม่ใช่พารามิเตอร์คำขอ
  4. เว็บไซต์นี้ไม่เผยแพร่ตัวเลขความเร็ว วัดผลบนพรอมต์ของคุณเองด้วยสคริปต์ด้านล่าง

คำตอบสั้นๆ

หากคุณถามเกี่ยวกับการใช้งาน การถอดรหัสแบบคาดเดาที่ดีที่สุดสำหรับ LLM แบบไม่เซ็นเซอร์ คำตอบขึ้นอยู่กับผู้ถือเซิร์ฟเวอร์ เมื่อคุณรันโมเดลเอง โมเดลร่างหรือหัวที่ฝึกสำหรับโมเดลนั้นๆ มักจะชนะที่สุด; เมื่อคุณเรียก API ที่โฮสต์ คุณไม่สามารถเลือกได้เลย เพราะการถอดรหัสแบบคาดเดาเป็นคุณสมบัติของเซิร์ฟเวอร์การอนุมาน ไม่ใช่ฟิลด์ในคำขอ ไม่มีพารามิเตอร์ของ POST /v1/chat/completions ที่เปิดใช้งานมัน

API นี้ไม่ได้ระบุวิธีการถอดรหัสที่อยู่เบื้องหลัง และบทความนี้จะไม่ได้คาดเดา สิ่งต่อไปนี้คือเทคนิคทั่วไป วิธีเลือกวิธีหากคุณโฮสต์เอง และสิ่งที่คุณวัดและปรับแต่งได้จากภายนอก

วิธีการทำงานของการถอดรหัสแบบคาดเดา

โดยปกติแล้วโมเดลภาษาจะเขียนโทเคนหนึ่งตัวต่อการรันไปข้างหน้า (forward pass) แต่ละครั้ง และการรันแต่ละครั้งต้องอ่านน้ำหนักโมเดลจากหน่วยความจำ ทำให้การสร้างข้อความถูกจำกัดโดยแบนด์วิดท์ของหน่วยความจำมากกว่าหน่วยคำนวณ การถอดรหัสแบบคาดเดาใช้ประโยชน์จากหน่วยคำนวณที่ว่างอยู่

  1. กลไก draft แบบราคาถูกจะเสนอโทเคนถัดไปจำนวนไม่กี่ตัว เช่น สี่ตัว
  2. โมเดลเต็มจะประเมินคะแนนตำแหน่งทั้งสี่ในการรันไปข้างหน้าครั้งเดียว
  3. ระบบจะยอมรับลำดับคำนำหน้าที่ยาวที่สุดที่ตรงกับสิ่งที่โมเดลจะผลิตออกมา และแก้ไขตำแหน่งที่ไม่ตรงกันตัวแรก
  4. การสร้างข้อความจะดำเนินการต่อจากจุดนั้น

ด้วยแผนการสุ่มตัวอย่างแบบปฏิเสธที่เผยแพร่แล้ว โทเคนที่ยอมรับจะมีความน่าจะเป็นแบบเดียวกันกับการสุ่มตัวอย่างธรรมดาจากโมเดลหลัก ดังนั้นคุณภาพจึงไม่เปลี่ยนแปลงตามการออกแบบ คุณจะได้รับโทเคนหลายตัวในราคาของการสร้างประมาณหนึ่งรอบเมื่อผู้ร่างคาดเดาได้ถูกต้อง และประมาณหนึ่งโทเคนต่อรอบเมื่อคาดเดาผิด ความเร็วที่เพิ่มขึ้นคือจำนวนโทเคนที่ยอมรับโดยเฉลี่ย ซึ่งเรียกว่าอัตราการยอมรับในวรรณกรรม

วิธีการและเมื่อไหร่ที่เหมาะกับแต่ละวิธี

วิธีวิธีการสร้างต้นแบบความเหมาะสมที่ดี
โมเดลร่างขนาดเล็กโมเดลขนาดเล็กกว่าจากตระกูลเดียวกันเสนอค่าโทเคนแชททั่วไป หากมีโมเดลพี่น้องขนาดเล็กที่คล้ายกัน
การค้นหาพรอมต์ / n-gramคัดลอกช่วงข้อความที่มีอยู่แล้วในพรอมต์การแก้ไข การสรุปย่อ การเขียนโค้ดใหม่ คำตอบจากการค้นหา
ส่วนหัวถอดรหัสเพิ่มเติม (รูปแบบ Medusa)หัวที่เพิ่มเข้ามาทำนายโทเคนในอนาคตหลายตัวโฮสต์เองพร้อมงบประมาณการฝึก
การร่างระดับคุณลักษณะภายใน (รูปแบบ EAGLE)โมดูลเบาทำนายจากสถานะซ่อนของโมเดลเองโฮสต์เองเมื่อมีโมดูลที่ฝึกไว้แล้ว

เครื่องมืออนุมานยอดนิยม รวมถึง vLLM และ llama.cpp รองรับ การถอดรหัสแบบคาดเดา ในรูปแบบบางอย่าง แม้ตัวเลือกและความสมบูรณ์จะแตกต่างกันไปตามเวอร์ชัน ดังนั้นควรตรวจสอบเอกสารประกอบของรุ่นที่คุณใช้งาน

ไม่มีวิธีใดที่ดีที่สุดโดยทั่วไป การค้นหาพรอมต์มีค่าใช้จ่ายในการตั้งค่าเป็นศูนย์และโดดเด่นเมื่อผลลัพธ์ซ้ำข้อความนำเข้า โมเดลต้นแบบมีประโยชน์มากที่สุดเมื่อตรงกับเป้าหมายในสไตล์ หัวที่ฝึกแล้วให้ผลลัพธ์ที่มั่นคงกับโมเดลที่ฝึกมา

ทำไมอัตราการยอมรับจึงเป็นตัวกำหนดปัจจัยการเร่งความเร็ว

โมเดลง่ายๆ แสดงให้เห็นผลกระทบ หากผู้ร่างเสนอ k โทเคน และแต่ละตัวได้รับการยอมรับด้วยความน่าจะเป็น p โดยอิสระ โมเดลหลักจะสร้างโดยเฉลี่ย (1 - p^(k+1)) / (1 - p) โทเคนต่อรอบ ซึ่งไม่รวมเวลาที่ใช้ในการร่าง ดังนั้นการปรับปรุงจริงจึงน้อยกว่านี้ ด้วย k = 4:

การยอมรับ pโทเคนต่อรอบการสร้างการอ่าน
0.83.36โมเดลร่างสอดคล้องกันดี; ได้ประโยชน์มาก
0.51.94ได้ประโยชน์ไม่มาก อาจถูกกลบด้วยต้นทุนการร่าง
0.31.43ได้ประโยชน์น้อย; อาจช้าลงโดยรวม

ตัวเลขเหล่านี้ชี้ให้เห็นว่าทำไมการจับคู่ผู้ร่างกับเป้าหมายจึงสำคัญกว่าการเลือกวิธีที่มีชื่อเสียง ผู้ร่างระดับกลางที่ p = 0.3 ชนะการถอดรหัสธรรมดาเพียงเล็กน้อย ในขณะที่ผู้ร่างที่จับคู่ได้ดีที่ p = 0.8 สร้างได้มากกว่าสามโทเคนต่อรอบ

สิ่งที่เปลี่ยนแปลงสำหรับโมเดลแบบไม่เซ็นเซอร์

วิธีการเองไม่สนใจนโยบายเนื้อหา ข้อจำกัดในทางปฏิบัติคือความสอดคล้องของผู้ร่าง โมเดลขนาดเล็กจำนวนมากถูกปล่อยออกมาพร้อมพฤติกรรมปฏิเสธในตัว โมเดลเป้าหมายแบบไม่เซ็นเซอร์จะเขียนสิ่งต่างๆ ที่ผู้ร่างไม่เคยเสนอหรืออาจพูดเลี่ยง เมื่อผู้ร่างยังคงทำนายข้อความปฏิเสธความรับผิดชอบและเป้าหมายยังคงเขียนฉาก อัตราการยอมรับจะลดลง และงานร่างเพิ่มเติมอาจใช้เวลามากกว่าที่ประหยัดได้

นั่นเป็นกฎง่ายๆ สำหรับผู้โฮสต์เอง ใช้ผู้ร่างที่ได้รับการปรับทิศทางเดียวกันกับเป้าหมาย หรือวิธีการที่ไม่ต้องการโมเดลแยกต่างหาก: การค้นหาพรอมต์ หรือหัวและโมดูลที่ฝึกบนเป้าหมายโดยตรง ตรวจสอบด้วยการรันทดลองกับพรอมต์ของคุณเอง เพราะการเขียนเชิงสร้างสรรค์ที่อุณหภูมิสูงเป็นกรณีที่ยากที่สุดสำหรับผู้ร่างใดๆ ความสุ่มลดความสอดคล้อง และนิยายมีแนวโน้มที่จะทำงานที่อุณหภูมิสูง

สำหรับ API บนเว็บไซต์นี้ โมเดลคือโมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระ ซึ่งปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตภายใต้การตั้งค่าใดๆ

สิ่งที่คุณสามารถควบคุมในฐานะผู้ใช้ API

คุณไม่สามารถสลับผู้ร่างได้ แต่การตั้งค่าคำขอหลายอย่างส่งผลต่อความเร็วในการรับคำตอบ

  • สตรีมการตอบสนอง ด้วย stream: true คำแรกจะมาถึงในขณะที่ส่วนอื่นยังคงกำลังถูกสร้างอยู่ ความเร็วที่รับรู้ดีขึ้นโดยไม่ขึ้นกับเทคนิคของเซิร์ฟเวอร์ จำไว้ว่าการสตรีมจะครอบครองช่องความพร้อมใช้งานไปจนกว่าจะสิ้นสุด คีย์เต็มอนุญาตให้ส่ง 8 คำขอพร้อมกันได้
  • จำกัดผลลัพธ์ max_tokens เป็นตัวเลือกได้ แต่การกำหนดขีดจำกัดจะควบคุมการรอคอยและค่าใช้จ่ายในกรณีที่แย่ที่สุด
  • ลดอุณหภูมิ หากเซิร์ฟเวอร์ของคุณใช้การคาดเดา ผลลัพธ์ที่อุณหภูมิต่ำจะคาดเดาได้ง่ายกว่า ดังนั้นจึงมีแนวโน้มที่จะเร็วขึ้น ให้ถือสิ่งนี้เป็นสิ่งที่ต้องทดสอบ ไม่ใช่คำสัญญา
  • รักษาพรอมต์ให้สั้น มีข้อมูลป้อนเข้าให้น้อยลงก่อนที่โทเคนแรกจะปรากฏ
  • ทำแบบขนานภายในขีดจำกัด คำขอพร้อมกันได้สูงสุด 8 คำขอและ 300 คำขอต่อนาทีบนคีย์เต็มช่วยปรับปรุงปริมาณงานของชุดข้อมูล แม้ว่าการตอบกลับหนึ่งรายการจะไม่เร็วขึ้น

ความเร็วไม่เปลี่ยนแปลงสิ่งที่คุณจ่าย การเรียกเก็บเงินคือ $0.15 ต่อ 1M โทเคนป้อนเข้าและ $0.50 ต่อ 1M โทเคนผลลัพธ์ไม่ว่าจะเป็นอย่างไร และคำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน ดูหน้าราคาเพื่อดูรายละเอียด

วัดด้วยตัวคุณเอง

อย่าไว้วางใจตัวเลขความเร็วของใคร รวมถึงของผู้ให้บริการ จนกว่าคุณจะทำซ้ำด้วยพรอมต์ของคุณเอง สคริปต์นี้วัดเวลาคำขอที่ไม่มีการสตรีมและหารโทเคนการเสร็จสิ้นด้วยเวลาจริง มันรันพรอมต์เดียวกันที่อุณหภูมิสองค่าด้วย seed ที่กำหนดไว้

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

รันหลายครั้งในช่วงเวลาต่างกันแล้วหาค่ามัธยฐาน ตัวเลขรวมเวลาเครือข่ายและการรอคิว ซึ่งเป็นประสบการณ์ผู้ใช้จริง หากต้องการเวลาถึงโทเคนแรก ให้ใช้ stream=True และบันทึกเมื่อชิ้นข้อมูลแรกมาถึง ดูการเรียกสตรีมมิงใน quickstart

คุณสามารถใช้เครดิตทดลองสำหรับสิ่งนี้ได้ คลิกหนึ่งครั้งบนหน้าคีย์ API ให้ $0.50 ใช้ได้เป็นเวลา 7 วัน ไม่ต้องใช้บัตร สคริปต์ด้านบนใช้โทเคนผลลัพธ์สูงสุด 400 โทเคนต่อการรัน ดังนั้นการรันสิบครั้งด้วยโทเคนผลลัพธ์ 400 และโทเคนป้อนเข้า 20 จะมีค่าใช้จ่าย 10 x ($0.000003 + $0.0002) = $0.00203 ซึ่งเท่ากับหนึ่งในห้าของเซ็นต์

หากคุณวางแผนที่จะโฮสต์เอง

เริ่มโดยไม่คาดเดาและบันทึกค่าพื้นฐาน จากนั้นเพิ่มการค้นหาคำพรอมต์หากงานของคุณคัดลอกข้อความจากคำพรอมต์ ลองใช้โมเดลร่างที่แบ่งปันตัวแยกโทเคนและทิศทางของการปรับแต่งกับโมเดลเป้าหมาย วัดจำนวนโทเคนต่อวินาทีและสัดส่วนของโทเคนร่างที่ผ่านการยอมรับ ที่อุณหภูมิจริงของคุณ หยุดเมื่อการปรับปรุงไม่คุ้มค่ากับหน่วยความจำเพิ่มเติม เนื่องจากโมเดลร่างยังต้องการพื้นที่ GPU

หากการโฮสต์ด้วยตนเองเป็นงานมากกว่าที่คุณต้องการ จุดปลายแบบโฮสต์ที่มีการเรียกเก็บเงินต่อโทเคนจะกำจัดคำถามนั้น บทความเกี่ยวกับตำนานและข้อเท็จจริงเกี่ยวกับ API ราคาถูก ครอบคลุมสิ่งที่ต้องตรวจสอบก่อนไว้วางใจราคาต่ำใดๆ

ถาม-ตอบ

อ่านเอกสาร
การถอดรหัสแบบคาดเดาเปลี่ยนคุณภาพของคำตอบหรือไม่?

ไม่เมื่อใช้งานด้วยกฎการยอมรับมาตรฐาน เนื่องจากโทเคนที่ยอมรับจะปฏิบัติตามการกระจายของโมเดลหลัก มันเปลี่ยนเฉพาะความเร็ว

ฉันสามารถเปิดใช้งานการถอดรหัสแบบคาดเดาด้วยพารามิเตอร์คำขอได้หรือไม่?

ไม่ได้ มันกำหนดค่าที่เซิร์ฟเวอร์อนุมาน ไม่มีสิ่งใดในคำขอการเสร็จสิ้นแชทที่เปิดใช้งานสิ่งนี้สำหรับ API นี้

มันเร็วกว่าที่อุณหภูมิ 0 หรือไม่?

โดยทั่วไปการทำนายจะจับคู่ได้ง่ายกว่า แต่ขึ้นอยู่กับวิธีการและพรอมต์ วัดเวลาภาระงานของคุณเอง

วิธีการใดดีที่สุดสำหรับโรลเพลย์และนิยาย?

ข้อความเชิงสร้างสรรค์ที่อุณหภูมิสูงเป็นเรื่องยากที่จะร่าง การค้นหาคำพรอมต์ช่วยได้ไม่มากที่นั่น ดังนั้นโมเดลร่างหรือหัวที่ฝึกบนโมเดลเดียวกันจึงเป็นตัวเลือกที่ดีกว่าหากคุณโฮสต์ด้วยตนเอง

คีย์ของคุณอยู่ห่างแค่อีกขั้นตอนเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API

https://api.cheapaiapis.com/v1