أفضل فك التشفير التخميني لاستخدام LLM بدون رقابة
فك التشفير التخميني هو تقنية سرعة من جانب الخادم. يشرح هذا المقال كيف يعمل، وأي المتغيرات تناسب نموذجاً بدون رقابة، وما يمكنك فعله من جانب العميل في الـ API.
تم التحديث

Cheap AI APIs
نقاط رئيسية
- يقوم الاستقراء التنبؤي بإعداد عدة رموز (tokens) بتكلفة منخفضة، ثم يتحقق منها في مرحلة واحدة من النموذج الرئيسي.
- مع العينة الصحيحة، يتطابق توزيع المخرج مع فك التشفير العادي؛ تتغير السرعة فقط.
- في الـ API المستضاف، الإعداد هو اختيار المزود، وليس معامل طلب.
- هذا الموقع لا ينشر أرقام السرعة؛ قس على موجّهاتك الخاصة باستخدام السكربت أدناه.
الإجابة القصيرة
إذا كنت تسأل عن أفضل استقراء تنبؤي لنشر نماذج LLM بدون رقابة، فإن الإجابة تعتمد على من يدير الخادم. عند تشغيل النموذج بنفسك، يفوز عادةً نموذج مسودة أو رأس مُدرَّب لهذا النموذج بالضبط؛ وعند استدعاء واجهة برمجة تطبيقات مستضافة، لا يمكنك الاختيار على الإطلاق، لأن الاستقراء التنبؤي هو خاصية لخادم الاستدلال وليس حقلًا في الطلب. لا يقوم أي معلمة في POST /v1/chat/completions بتفعيله.
لا يوضح هذا الـ API أي طريقة فك تشفير تعمل خلفه، ولن يخمن هذا المقال. ما يلي هو التقنية العامة، وكيفية الاختيار بين الطرق إذا كنت تستضيفها بنفسك، وما يمكنك قياسه وضبطه من الخارج.
كيف يعمل الاستنتاج التقديري
يكتب نموذج اللغة عادةً رمزًا واحدًا في كل عملية مرور أمامي، ويجب أن يقرأ كل عملية أوزان النموذج من الذاكرة. وهذا يجعل التوليد محدودًا بعرض النطاق الترددي للذاكرة بدلاً من الحسابية. يستغل الاستنتاج التقديري وحدة الحساب غير المستخدمة.
- تقترح آلية draft رخيصة التكلفة بضع رموز تالية، مثل أربعة.
- تقيّم النموذج الكامل جميع المراكز الأربعة في عملية مرور أمامي واحدة.
- يقبل أطول بادئة تتطابق مع ما كان سينتجه، ويصحح أول عدم تطابق.
- يستمر التوليد من هناك.
في مخطط أخذ العينات بالرفض المنشور، تتبع الرموز المقبولة نفس التوزيع الخاص بأخذ العينات العادي من النموذج الرئيسي. لذا لا تتغير الجودة بالتصميم. تحصل على عدة رموز مقابل سعر حوالي محاولة واحدة عندما تخمن المسودة بشكل جيد، ورمز واحد تقريبًا لكل محاولة عندما لا تفعل. زيادة السرعة هي متوسط عدد الرموز المقبولة، وهو ما يُعرف بمعدل القبول في الأدبيات.
الطرق ومتى يناسب كل منها
| الطريقة | كيفية إعداد المسودة | مناسب جيد |
|---|---|---|
| نموذج مسودة صغير | يقترح نموذج أصغر من نفس عائلة النماذج رموزًا | الدردشة العامة، إذا كان هناك شقيق صغير قريب موجود |
| البحث في الموجّه / n-gram | ينسخ أجزاء تظهر بالفعل في الموجّه | التحرير، التلخيص، إعادة كتابة الكود، إجابات الاسترجاع |
| رؤوس فك تشفير إضافية (بأسلوب Medusa) | تتنبأ الرؤوس المضافة بعدة رموز مستقبلية | الاستضافة الذاتية مع ميزانية التدريب |
| المسودة على مستوى الميزات (بأسلوب EAGLE) | تتنبأ وحدة خفيفة من الحالات المخفية الخاصة بالنموذج | الاستضافة الذاتية حيث توجد وحدة مدربة |
محركات الاستدلال الشائعة، بما في ذلك vLLM وllama.cpp، تدعم الاستقراء التنبؤي بشكل ما، على الرغم من اختلاف الخيارات ونضج التنفيذ حسب الإصدار، لذا تحقق من وثائق الإصدار الذي تشغله.
لا توجد طريقة هي الأفضل بشكل مطلق. لا يكلف البحث في الموجّه أي إعداد ويبرز عندما تكرر المخرجات المدخلات. يساعد نموذج المسودة أكثر عندما يتفق مع الهدف في الأسلوب. تعطي الرؤوس المُدرَّبة مكاسب ثابتة على النموذج الذي تم تدريبها عليه.
لماذا يحدد معدل القبول زيادة السرعة
يوضح نموذج بسيط التأثير. إذا اقترح المُعدّ k رمزًا وقُبل كل منها باحتمال p، بشكل مستقل، فإن النموذج الرئيسي ينتج في المتوسط (1 - p^(k+1)) / (1 - p) رمزًا لكل تمرير. يتجاهل هذا الوقت المستغرق في توليد المسودات، لذا فإن المكاسب الحقيقية أقل. مع k = 4:
| احتمال القبول p | رموز (tokens) لكل تمرير | القراءة |
|---|---|---|
| 0.8 | 3.36 | اتفاق جيد؛ مكاسب كبيرة |
| 0.5 | 1.94 | مكاسب متواضعة، يسهل أن تلتهمها تكلفة الإعداد |
| 0.3 | 1.43 | مكاسب قليلة؛ قد يكون أبطأ بشكل عام |
تشرح الأرقام لماذا يهم مطابقة المُعدّ مع الهدف أكثر من اختيار طريقة مشهورة. مُعدّ متوسط عند p = 0.3 يتفوق عليه بصعوبة مقارنة بالاستدلال العادي، بينما ينتج مُعدّ متطابق جيدًا عند p = 0.8 أكثر من ثلاثة رموز لكل محاولة.
ما الذي يتغير بالنسبة لنموذج بدون رقابة
الطريقة نفسها محايدة تجاه سياسة المحتوى. التحدي العملي هو توافق المسودة. تُصدر العديد من النماذج الصغيرة بسلوك رفض مدمج. يكتب نموذج الهدف بدون رقابة أشياء لن يقترحها المُعدّ أبدًا، أو سيحذر منها. عندما يستمر المُعدّ في التنبؤ ببيان توضيحي ويستمر الهدف في كتابة المشهد، ينخفض معدل القبول، وقد تكلف عملية الإعداد الإضافية وقتًا أكثر مما توفره.
هذا يعطي قاعدة بسيطة للمضيفين الذاتيين. استخدم مُعدًّا تم ضبطه في نفس اتجاه الهدف، أو طريقة لا تحتاج إلى نموذج منفصل: البحث في الموجهات (prompt lookup)، أو الرؤوس والوحدات المدربة على الهدف نفسه. تحقق من خلال تجربة تشغيل على الموجهات الخاصة بك، لأن الكتابة الإبداعية بدرجة حرارة عالية هي الحالة الأصعب لأي مُعدّ. يقلل العشوائية من الاتفاق، وتميل الخيال إلى العمل بدرجة حرارة عالية.
بالنسبة لواجهة برمجة التطبيقات في هذا الموقع، فإن النموذج هو نموذج مفتوح الأوزان واحد يديره مزود مستقل، ومُضبط للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. لا يُسمح بالمحتوى الجنسي الذي يتضمن قاصرين تحت أي إعداد.
ما يمكنك التحكم فيه كمستخدم API
لا يمكنك تفعيل المُعدّ، لكن إعدادات الطلب المختلفة تؤثر على سرعة استجابة الرد.
- بث الاستجابة. مع
stream: trueتصل الكلمات الأولى بينما لا يزال الباقي قيد التوليد. تتحسن السرعة المتصورة بغض النظر عن حيل الخادم. تذكر أن البث يحتفظ بفتحة التزامن الخاصة به حتى ينتهي؛ المفتاح الكامل يسمح بـ 8 في وقت واحد. - حدد المخرجات.
max_tokensاختياري، لكن الحد يحدد أسوأ انتظار وتكلفة. - خفض درجة الحرارة. إذا كان خادمك يستخدم التخمين، فإن المخرجات منخفضة درجة الحرارة أسهل في التنبؤ، لذا تميل إلى أن تكون أسرع. تعامل مع ذلك كشيء يجب اختباره، وليس وعدًا.
- حافظ على الموجهات قصيرة. معالجة أقل للمدخلات قبل ظهور الرمز الأول.
- التوازي ضمن الحدود. حتى 8 طلبات متزامنة و300 في الدقيقة على مفتاح كامل تحسن إنتاجية الدفعة، حتى لو لم يكن رد واحد أسرع.
السرعة لا تغير ما تدفعه. الفوترة هي $0.15 لكل مليون رمز (token) مدخل و$0.50 لكل مليون رمز (token) مخرج على أي حال، ولا تُفرض رسوم على الطلبات الفاشلة. انظر إلى صفحة التسعير للتفاصيل.
قيسه بنفسك
لا تثق في أي رقم سرعة لأي شخص، بما في ذلك مزود الخدمة، حتى تعيد إنتاجه بموجهاتك الخاصة. يقوم هذا النص البرمجي بقياس وقت طلب غير مُبثق ويقسم رموز الاكتمال على الوقت الفعلي. يشغل نفس الموجه بدرجات حرارة مختلفة مع ثابت seed.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")قم بتشغيله عدة مرات في أوقات مختلفة وخذ الوسيط. تتضمن الصورة وقت الشبكة والانتظار، لذا فهي رقم شامل، وهو ما يختبره مستخدموك. إذا كنت تريد الوقت إلى الرمز الأول، فقم بالتبديل إلى stream=True وسجل وقت وصول الشريحة الأولى. يُظهر البدء السريع استدعاء البث.
يمكنك استخدام رصيد التجربة لهذا. نقر واحد على صفحة مفتاح API يمنحك $0.50، ساري لمدة 7 أيام، بدون بطاقة. يستخدم السكربت أعلاه ما لا يزيد عن 400 رمز مخرجات لكل تشغيل، لذا فإن 10 عمليات تشغيل بـ 400 رمز مخرجات و20 رمز مدخلات تكلف 10 x ($0.000003 + $0.0002) = $0.00203، أي خمس سنت.
إذا كنت تخطط للإعداد الذاتي
ابدأ دون تكهّن وسجّل خط الأساس. ثم أضف بحث الموجّه إذا كان عملك ينسخ نصًا من الموجّه. جرّب بعد ذلك نموذج مسودة يشارك رمز الترميز والاتجاه في الضبط مع النموذج المستهدف. قِس الرموز في الثانية ونسبة الرموز المخططة المقبولة، وفعّل ذلك عند درجة الحرارة الفعلية. توقّف عندما يتوقّف الكسب عن أن يكون ذا قيمة مقابل الذاكرة الإضافية، إذ يحتاج نموذج المسودة أيضًا إلى مساحة على وحدة معالجة الرسومات.
إذا كان الاستضافة الذاتية يتطلب جهدًا أكبر مما تريد، فإن نقطة النهاية المستضافة ذات الفوترة لكل رمز تزيل هذا السؤال. يغطي المقال في أساطير وحقائق واجهة برمجة التطبيقات الرخيصة ما يجب التحقق منه قبل الوثوق بأي سعر منخفض.
المزيد من الأدلة
أسئلة وأجوبة
اقرأ الوثائقهل يغير فك التشفير التوقعي جودة الإجابات؟
لا عند تنفيذه بقاعدة القبول القياسية، لأن الرموز المقبولة تتبع توزيع النموذج الرئيسي. يغير السرعة فقط.
هل يمكنني تمكين فك التشفير التوقعي بمعامل طلب؟
لا. يتم تكوينه على خادم الاستدلال. لا يوجد شيء في طلب إكمال الدردشة يفعّله لهذه الواجهة البرمجية.
هل هو أسرع عند درجة حرارة 0؟
غالبًا، لأن التنبؤات أسهل في المطابقة، لكنه يختلف حسب الطريقة والموجّه. قِس وقت تنفيذ عملك الخاص.
أي طريقة هي الأفضل لتقمص الأدوار والخيال؟
النص الإبداعي بدرجة حرارة عالية صعب إعداده. يساعد البحث في الموجه قليلاً هناك، لذا فإن المسودة أو الميزات المُدرَّبة على نفس النموذج هي الرهان الأفضل إذا كنت تستضيف بنفسك.
مفتاحك على بُعد استمارة واحدة
أنشئ حساباً، وانسخ المفتاح، ثم غيّر عنوان URL الأساسي. هذه هي الإعدادات الكاملة.
https://api.cheapaiapis.com/v1