बिना सेंसर LLM उपयोग के लिए सर्वश्रेष्ठ स्पेकुलेटिव डिकोडिंग
स्पेकुलेटिव डिकोडिंग एक सर्वर-साइड गति तकनीक है। यह लेख समझाता है कि यह कैसे काम करता है, कौन से वेरिएंट एक बिना सेंसर मॉडल के लिए उपयुक्त हैं, और आप API के क्लाइंट साइड से क्या कर सकते हैं।
अपडेट किया गया

Cheap AI APIs
मुख्य बिंदु
- स्पेकुलेटिव डिकोडिंग सस्ते में कई टोकन ड्राफ़्ट करता है, फिर उन्हें मुख्य मॉडल के एक ही पास में जाँचता है।
- सही सैंपलिंग के साथ, आउटपुट वितरण साधारण डिकोडिंग से मेल खाता है; केवल गति बदलती है।
- एक होस्टेड API पर सेटअप प्रदाता का चयन है, न कि एक अनुरोध पैरामीटर।
- यह साइट गति के आंकड़े प्रकाशित नहीं करती; नीचे दी गई स्क्रिप्ट के साथ अपनी खुद की प्रॉम्प्ट पर मापें।
संक्षिप्त उत्तर
यदि आप बिना सेंसर LLM डिप्लॉयमेंट्स के लिए सर्वोत्तम स्पेक्युलेटिव डिकोडिंग के बारे में पूछ रहे हैं, तो उत्तर इस बात पर निर्भर करता है कि सर्वर किसके पास है। जब आप मॉडल को स्वयं चलाते हैं, तो एक ड्राफ्ट मॉडल या उसी सटीक मॉडल के लिए प्रशिक्षित हेड आमतौर पर बेहतर होता है; जब आप होस्टेड API को कॉल करते हैं, तो आप बिल्कुल भी चयन नहीं कर सकते, क्योंकि स्पेक्युलेटिव डिकोडिंग इन्फरेंस सर्वर की एक संपत्ति है और अनुरोध में कोई फ़ील्ड नहीं है। POST /v1/chat/completions का कोई पैरामीटर इसे चालू नहीं करता।
यह API बताता नहीं है कि इसके पीछे कौन सी डिकोडिंग विधि है, और यह लेख अनुमान नहीं लगाएगा। जो आगे है वह सामान्य तकनीक है, यदि आप स्वयं होस्ट करते हैं तो विधियों के बीच कैसे चुनें, और आप बाहर से क्या माप और ट्यून कर सकते हैं।
स्पेक्युलेटिव डिकोडिंग कैसे काम करता है
एक लैंग्वेज मॉडल आमतौर पर एक फॉरवर्ड पास में एक टोकन लिखता है, और हर पास को मेमोरी से मॉडल वेट्स पढ़ने होते हैं। इससे जनरेशन आरिथमेटिक की तुलना में मेमोरी बैंडविड्थ द्वारा सीमित होता है। स्पेक्युलेटिव डिकोडिंग आरिथमेटिक की खाली अवधि का फायदा उठाता है।
- एक सस्ता मसौदा तंत्र अगले कुछ टोकन, जैसे चार, प्रस्तावित करता है।
- फुल मॉडल एक ही फॉरवर्ड पास में सभी चार पोजीशन को स्कोर करता है।
- यह सबसे लंबा उपसर्ग स्वीकार करता है जो इससे उत्पन्न होने वाले आउटपुट से मेल खाता है, और पहली असंगति को ठीक करता है।
- जनरेशन वहां से जारी रहता है।
प्रकाशित रिजेक्शन-सैम्पलिंग स्कीम के साथ, स्वीकृत टोकन मुख्य मॉडल से साधारण सैम्पलिंग के समान वितरण का पालन करते हैं। इसलिए गुणवत्ता डिजाइन के अनुसार नहीं बदलती। जब ड्राफ्ट अच्छी तरह अनुमान लगाता है तो आपको लगभग एक पास की कीमत पर कई टोकन मिलते हैं, और जब यह नहीं करता है तो प्रति पास लगभग एक टोकन मिलता है। गति में वृद्धि स्वीकृत टोकन की औसत संख्या होती है, जिसे साहित्य में स्वीकृति दर कहा जाता है।
मेथड्स और कब कौन सा फिट बैठता है
| विधि | यह ड्राफ्ट कैसे बनाता है | अच्छा फिट |
|---|---|---|
| छोटा ड्राफ्ट मॉडल | एक ही परिवार का एक छोटा मॉडल टोकन प्रस्तावित करता है | जनरल चैट, यदि एक करीबी छोटा सिब्लिंग मौजूद हो |
| प्रॉम्प्ट लुकअप / n-ग्राम | वे स्पैन कॉपी करते हैं जो पहले से प्रॉम्प्ट में मौजूद हैं | एडिटिंग, सारांश, कोड रीराइटिंग, रिट्रीवल आंसर्स |
| एक्स्ट्रा डिकोडिंग हेड्स (मेडुसा-स्टाइल) | जोड़े गए हेड्स कई भविष्य के टोकन की भविष्यवाणी करते हैं | ट्रेनिंग बजट के साथ सेल्फ-होस्टिंग |
| फीचर-लेवल ड्राफ्टिंग (ईगल-स्टाइल) | एक लाइट मॉड्यूल मॉडल के अपने हिडन स्टेट्स से भविष्यवाणी करता है | स्व-होस्टिंग जहां एक प्रशिक्षित मॉड्यूल मौजूद है |
लोकप्रिय इन्फरेंस इंजन, जिनमें vLLM और llama.cpp शामिल हैं, कुछ रूप में स्पेकुलेटिव डिकोडिंग का समर्थन करते हैं, हालांकि विकल्प और परिपक्वता संस्करण के अनुसार भिन्न होती हैं, इसलिए अपने द्वारा चलाए जाने वाले रिलीज के प्रलेखन की जाँच करें।
कोई भी विधि अमूर्त रूप से सर्वोत्तम नहीं है। प्रॉम्प्ट लुकअप को सेट करने में कुछ भी लागत नहीं आती और यह तब चमकता है जब आउटपुट इनपुट को दोहराता है। एक ड्राफ्ट मॉडल तब सबसे अधिक मदद करता है जब यह लक्ष्य के शैली से सहमत होता है। प्रशिक्षित हेड्स उस मॉडल पर स्थिर लाभ देते हैं जिसके लिए उन्हें प्रशिक्षित किया गया था।
अक्सेप्टेंस रेट स्पीड-अप को निर्धारित क्यों करता है
एक सरल मॉडल प्रभाव को दर्शाता है। यदि ड्राफ्टर k टोकन प्रस्तावित करता है और प्रत्येक को p प्रायिकता से, स्वतंत्र रूप से, स्वीकार किया जाता है, तो मुख्य मॉडल प्रति पास औसतन (1 - p^(k+1)) / (1 - p) टोकन उत्पन्न करता है। इसमें ड्राफ्टिंग में लगा समय छोड़ दिया गया है, इसलिए वास्तविक लाभ छोटे होते हैं। k = 4 के साथ:
| स्वीकृति p | प्रति पास टोकन | पढ़ना |
|---|---|---|
| 0.8 | 3.36 | ड्राफ्ट अच्छी तरह सहमत होता है; बड़ा लाभ |
| 0.5 | 1.94 | साधारण लाभ, ड्राफ्ट लागत द्वारा आसानी से खा जाता है |
| 0.3 | 1.43 | थोड़ा लाभ; समग्र रूप से धीमा हो सकता है |
संख्याएँ इस बात की व्याख्या करती हैं कि लक्ष्य के लिए ड्राफ्टर को मिलाना, एक प्रसिद्ध विधि चुनने से अधिक महत्वपूर्ण क्यों है। p = 0.3 पर एक औसत ड्राफ्टर सादे डिकोडिंग को कठिनाई से हराता है, जबकि p = 0.8 पर एक अच्छी तरह से मिलाया गया ड्राफ्टर प्रति पास तीन से अधिक टोकन उत्पन्न करता है।
बिना सेंसर मॉडल के लिए क्या बदलता है
विधि स्वयं सामग्री नीति के प्रति उदासीन है। व्यावहारिक चुनौती ड्राफ्ट सहमति की है। कई छोटे मॉडल अस्वीकार व्यवहार को बिल्ट-इन करके जारी किए जाते हैं। एक बिना सेंसर लक्ष्य मॉडल ऐसी चीजें लिखता है जिन्हें एक ड्राफ्टर कभी प्रस्तावित नहीं करेगा, या जिसे वह नरम कर देगा। जब ड्राफ्टर निरंतर एक बयान की भविष्यवाणी करता है और लक्ष्य दृश्य लिखता रहता है, तो स्वीकृति दर गिर जाती है, और अतिरिक्त ड्राफ्टिंग कार्य उस समय से अधिक समय ले सकता है जो यह बचाता है।
यह सेल्फ-होस्टर्स के लिए एक सरल नियम देता है। एक ऐसे ड्राफ्टर का उपयोग करें जिसका ट्यूनिंग लक्ष्य की दिशा में समान दिशा में किया गया हो, या एक ऐसी विधि जिसके लिए अलग मॉडल की आवश्यकता न हो: प्रॉम्प्ट लुकअप, या लक्ष्य पर ही ट्यून किए गए हेड्स और मॉड्यूल। अपने प्रॉम्प्ट्स पर एक ट्रायल रन के साथ सत्यापित करें, क्योंकि उच्च तापमान पर क्रिएटिव राइटिंग किसी भी ड्राफ्टर के लिए सबसे कठिन मामला है। रैंडमनेस सहमति को कम करता है, और फिक्शन तेजी से चलने की प्रवृत्ति रखता है।
इस साइट पर API के लिए, मॉडल एक ओपन-वेट मॉडल है जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है, कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। नाबालिगों से संबंधित यौन सामग्री किसी भी सेटिंग के तहत अनुमत नहीं है।
एक API उपयोगकर्ता के रूप में आप क्या नियंत्रित कर सकते हैं
आप ड्राफ्टर को टॉगल नहीं कर सकते, लेकिन कई अनुरोध सेटिंग्स इस बात को प्रभावित करती हैं कि प्रतिक्रिया कितनी तेज़ महसूस होती है।
- प्रतिक्रिया को स्ट्रीम करें।
stream: trueके साथ पहले शब्द तब आते हैं जब बाकी अभी भी जनरेट हो रहा होता है। सर्वर के ट्रिक्स के बावजूद अनुभवित गति में सुधार होता है। याद रखें कि एक स्ट्रीम अपनी कॉन्करेंसी स्लॉट को अंत तक बनाए रखता है; एक पूर्ण कुंजी एक साथ 8 अनुरोधों की अनुमति देती है। - आउटपुट की सीमा निर्धारित करें।
max_tokensवैकल्पिक है, लेकिन एक सीमा खराब-स्थिति की प्रतीक्षा और लागत को बाध्य करती है। - तापमान कम करें। यदि आपका सर्वर अनुमान का उपयोग करता है, तो कम-तापमान आउटपुट की भविष्यवाणी करना आसान होता है, इसलिए यह तेज़ चलने की प्रवृत्ति रखता है। इसे एक वादे के बजाय परीक्षण के लिए कुछ मानें।
- प्रॉम्प्ट्स छोटे रखें। पहले टोकन के प्रकट होने से पहले प्रोसेस करने के लिए कम इनपुट।
- सीमाओं के भीतर समानांतर करें। एक पूर्ण कुंजी पर 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध तक बैच की थ्रूपुट को बढ़ाते हैं, भले ही एक प्रतिक्रिया तेज़ न हो।
गति आपके भुगतान को नहीं बदलती। बिलिंग $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन दोनों ही मामलों में होती है, और विफल अनुरोधों के लिए चार्ज नहीं किया जाता है। विवरण के लिए मूल्य निर्धारण पृष्ठ देखें।
खुद मापें
किसी भी प्रदाता सहित किसी भी व्यक्ति की गति संख्या पर भरोसा न करें जब तक कि आप अपने स्वयं के प्रॉम्प्ट के साथ इसे पुन: उत्पन्न न करें। यह स्क्रिप्ट एक नॉन-स्ट्रीमिंग अनुरोध का समय लेती है और पूर्णता टोकन को वास्तविक समय से विभाजित करती है। यह एक निश्चित seed के साथ दो तापमान पर एक ही प्रॉम्प्ट चलाती है।
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")इसे अलग-अलग समय पर कई बार चलाएं और मध्यिका लें। इस संख्या में नेटवर्क समय और कतारबद्ध शामिल है, इसलिए यह एक अंत-से-अंत संख्या है, जो आपके उपयोगकर्ता अनुभव करते हैं। यदि आप टोकन तक समय चाहते हैं, तो stream=True पर स्विच करें और रिकॉर्ड करें कि पहला खंड कब आता है। quickstart स्ट्रीमिंग कॉल दिखाता है।
आप इस लिए ट्रायल क्रेडिट का उपयोग कर सकते हैं। API कुंजी पृष्ठ पर एक क्लिक $0.50 देता है, जो 7 दिनों के लिए मान्य है, बिना कार्ड के। ऊपर दी गई स्क्रिप्ट प्रत्येक रन में अधिकतम 400 आउटपुट टोकन का उपयोग करती है, इसलिए 400 आउटपुट और 20 इनपुट टोकन वाले दस रन की लागत 10 x ($0.000003 + $0.0002) = $0.00203 होती है, जो एक सेंट का एक पांचवां हिस्सा है।
यदि आप सेल्फ-होस्ट करने की योजना बनाते हैं
बिना अनुमान के शुरू करें और एक आधार रेखा रिकॉर्ड करें। फिर यदि आपका वर्कलोड प्रॉम्प्ट से पाठ कॉपी करता है तो प्रॉम्प्ट लुकअप जोड़ें। अगला लक्ष्य के टोकनाइज़र और ट्यूनिंग दिशा साझा करने वाले एक ड्राफ्ट मॉडल की कोशिश करें। अपने वास्तविक तापमान पर प्रति सेकंड टोकन और स्वीकृत ड्राफ्टेड टोकन के हिस्से को मापें। तब रुकें जब लाभ अतिरिक्त मेमोरी के लिए मूल्यवान रहना बंद कर दे, क्योंकि एक ड्राफ्ट मॉडल को GPU स्पेस की भी आवश्यकता होती है।
यदि स्वयं होस्ट करना आपके लिए अधिक श्रम चाहता है, तो प्रति-टोकन बिलिंग वाले होस्टेड एंडपॉइंट प्रश्न को समाप्त कर देता है। सस्ते API मिथक और तथ्य पर लेख यह कवर करता है कि किसी भी कम कीमत पर भरोसा करने से पहले क्या जाँचें।
अधिक गाइड
प्रश्न और उत्तर
दस्तावेज़ पढ़ेंस्पेकुलेटिव डिकोडिंग उत्तरों की गुणवत्ता को बदलता है?
मानक स्वीकृति नियम के साथ लागू होने पर नहीं, क्योंकि स्वीकृत टोकन मुख्य मॉडल के वितरण का पालन करते हैं। यह केवल गति को बदलता है।
क्या मैं अनुरोध पैरामीटर के साथ स्पेकुलेटिव डिकोडिंग सक्षम कर सकता हूँ?
नहीं। यह इन्फरेंस सर्वर पर कॉन्फ़िगर किया जाता है। इस API के लिए चैट कंप्लीशन्स अनुरोध में कुछ भी इसे चालू नहीं करता है।
क्या यह तापमान 0 पर तेज़ है?
अक्सर, क्योंकि भविष्यवाणियों को मिलाना आसान होता है, लेकिन यह विधि और प्रॉम्प्ट के आधार पर भिन्न होता है। अपने वर्कलोड का समय लें।
रोलप्ले और कथा साहित्य के लिए सबसे अच्छा तरीका कौन सा है?
उच्च तापमान पर रचनात्मक पाठ तैयार करना कठिन है। प्रॉम्प्ट लुकअप वहाँ कम मदद करता है, इसलिए यदि आप स्वयं होस्ट करते हैं, तो उसी मॉडल पर प्रशिक्षित प्रॉम्प्ट या ड्राफ्ट बेहतर विकल्प हैं।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। यही पूरा सेटअप है।
https://api.cheapaiapis.com/v1