Sansürsüz LLM Kullanımı İçin En İyi Spekülatif Çözümleme
Spekülatif çözümleme sunucu taraflı bir hız tekniğidir. Bu makale, nasıl çalıştığını, hangi varyantların sansürsüz bir modele uygun olduğunu ve bir API'nin istemci tarafında neler yapabileceğinizi açıklar.
güncellendi

Cheap AI APIs
Temel noktalar
- Spekülatif çözümleme, tokenları ucuza taslak olarak hazırlar, ardından bunları ana modelin tek bir geçişinde kontrol eder.
- Doğru örnekleme ile çıktı dağılımı sıradan çözümleme ile eşleşir; yalnızca hız değişir.
- Barındırılan bir API'de kurulum, bir istek parametresi değil, sağlayıcının tercihidir.
- Bu site hız verileri yayınlamıyor; aşağıdaki betiği kullanarak kendi istemlerinizle ölçüm yapın.
Kısa cevap
Eğer sansürsüz LLM dağıtımları için en iyi tahmine dayalı çözümleme hakkında soru soruyorsanız, cevap sunucuyu kimin yönettiğine bağlıdır. Modeli kendiniz çalıştırdığınızda, bir taslak model veya o belirli model için eğitilmiş bir baş genellikle kazanır; barındırılan bir API'yi çağırdığınızda ise tahmine dayalı çözümlemenin bir istek alanı değil, çıkarım sunucusunun bir özelliği olması nedeniyle hiç seçemezsiniz. POST /v1/chat/completions istek parametrelerinden hiçbiri bunu açmaz.
Bu API arkasındaki çözümleme yöntemini belirtmez ve bu makale tahmin etmeyecektir. Aşağıda genel teknik, kendi kendine barındırırken yöntemler arasında nasıl seçim yapacağınız ve dışarıdan neyi ölçüp ayarlayabileceğiniz yer almaktadır.
Tahmine dayalı çözümleme nasıl çalışır
Bir dil modeli genellikle her ileri geçişte bir token yazar ve her geçiş model ağırlıklarını bellekten okumak zorundadır. Bu, üretimi aritmetikten ziyade bellek bant genişliği ile sınırlar. Spekülatif çözümleme boşta kalan aritmetiği kullanır.
- Ucuz bir taslak mekanizması bir sonraki birkaç tokenı önerir, örneğin dört taneyi.
- Tam model bu dört konumu tek bir ileri geçişte puanlar.
- Kendisinin üreteceği şeyle eşleşen en uzun öneki kabul eder ve ilk eşleşmeyen kısmı düzeltir.
- Üretim oradan devam eder.
Yayınlanan reddetme örnekleme şemasıyla, kabul edilen tokenlar ana modelden basit örnekleme ile aynı dağılımı izler. Bu nedenle kalite tasarım gereği değişmez. Taslak iyi tahmin ederse yaklaşık bir geçiş bedeline birkaç token alırsınız, tahmin edemezse geçiş başına yaklaşık bir token alırsınız. Hız artışı, literatürde kabul oranı olarak adlandırılan ortalama kabul edilen token sayısıdır.
Yöntemler ve her birinin uygun olduğu durumlar
| Yöntem | Nasıl taslak oluşturur | İyi uyum |
|---|---|---|
| Küçük taslak model | Aynı aileden daha küçük bir model tokenları önerir | Genel sohbet, yakın bir küçük kardeş model varsa |
| İstem araması / n-gram | Zaten istemde bulunan aralıkları kopyalar | Düzenleme, özetleme, kod yeniden yazma, getirme yanıtları |
| Ek çözümleme başları (Medusa tarzı) | Eklenen başlar birkaç gelecek tokenı tahmin eder | Eğitim bütçesi ile kendi kendine barındırma |
| Öznitelik düzeyinde taslak hazırlama (EAGLE tarzı) | Hafif bir modül modelin kendi gizli durumlarından tahmin yapar | Eğitilmiş bir modülün bulunduğu kendi kendine barındırma |
vLLM ve llama.cpp dahil popüler çıkarım motorları bazı şekillerde spekülatif çözümlemeyi destekler, ancak seçenekler ve olgunluk sürüme göre farklılık gösterir, bu nedenle çalıştırdığınız sürümün belgelerine bakın.
Soyut olarak en iyi yöntem yoktur. İstem aramasının kurulum maliyeti yoktur ve çıktı girdiyi tekrarladığında parlar. Bir taslak model, hedefle tarzda uyduğunda en çok yardımcı olur. Eğitilmiş başlar, eğitildikleri modelde istikrarlı kazançlar sağlar.
Neden kabul oranı hız artışını belirler
Basit bir model etkiyi gösterir. Taslak k token önerirse ve her biri bağımsız olarak p olasılıkla kabul edilirse, ana model ortalama olarak (1 - p^(k+1)) / (1 - p) token üretir. Bu, taslak hazırlama süresini yok sayar, bu nedenle gerçek kazançlar daha küçüktür. k = 4 ile:
| Kabul p | Geçiş başına token | Okuma |
|---|---|---|
| 0,8 | 3,36 | Taslak iyi eşleşir; büyük kazanç |
| 0,5 | 1,94 | Mütevazı kazanç, taslak maliyeti tarafından kolayca yutulabilir |
| 0,3 | 1,43 | Az kazanç; toplamda daha yavaş olabilir |
Sayılar, hedefe uygun drafter'ı seçmenin ünlü bir yöntem seçmekten neden daha önemli olduğunu açıklar. p = 0.3'te ortalama bir drafter, düz kodlamayı zorlukla geçer; iyi eşleşen bir drafter ise p = 0.8'de her geçişte üçten fazla token üretir.
Sansürsüz bir model için ne değişir
Yöntem kendisi içerik politikasına karşı duyarsızdır. Pratikteki zorluk taslak eşleşmesidir. Birçok küçük model, reddetme davranışı yerleşik olarak yayınlanır. Sansürsüz bir hedef model, bir taslağın asla önermeyeceği veya temkinli olacağı şeyleri yazar. Taslak bir açıklama vermeye devam ederken hedef sahneyi yazmaya devam ederse, kabul oranı düşer ve ek taslak hazırlama işi tasarruf ettiği zamandan daha fazla sürebilir.
Bu, kendi kendine barındıranlar için basit bir kural verir. Hedefle aynı yönde ayarlanmış bir taslak kullanın veya ayrı bir modele ihtiyaç duymayan bir yöntem kullanın: istem araması veya hedef üzerinde eğitilmiş başlar ve modüller. Yüksek sıcaklıktaki yaratıcı yazma, her taslak hazırlayan için en zor durumdur, bu nedenle kendi istimlerinizde bir deneme çalıştırması ile doğrulayın. Rastgelelik eşleşmeyi düşürür ve kurgu sıcak çalışmaya meyillidir.
Bu sitedeki API için model, bağımsız bir sağlayıcı tarafından yürütülen ve yasal yetişkin kullanım için içerik reddetmeleri olmadan cevap verecek şekilde ayarlanmış bir açık ağırlıklı modeldir. Reşit olmayanları içeren cinsel içeriğe hiçbir ayarda izin verilmez.
Bir API kullanıcısı olarak neyi kontrol edebilirsiniz
Taslak hazırlayanı açıp kapatamazsınız, ancak birkaç istek ayarı bir yanıtın ne kadar hızlı hissedileceğini etkiler.
- Yanıtı akış olarak alın.
stream: trueile ilk kelimeler geri kalanı hala üretilirken gelir. Algılanan hız sunucu hilelerinden bağımsız olarak artar. Akışın sona erene kadar eşzamanlılık slotunu tuttuğunu unutmayın; tam bir anahtar aynı anda 8'e izin verir. - Çıktıyı sınırlayın.
max_tokensisteğe bağlıdır, ancak bir sınır kötü durum bekleme süresini ve maliyetini sınırlar. - Sıcaklığı düşürün. Sunucunuz spekülasyon kullanıyorsa, düşük sıcaklık çıktısı tahmin etmesi daha kolaydır, bu nedenle genellikle daha hızlı gider. Bunu bir vaat olarak değil, test edilmesi gereken bir şey olarak değerlendirin.
- İstemleri kısa tutun. İlk token görünmeden önce işlenecek daha az girdi.
- Sınırlar dahilinde paralelleştirin. Tam anahtarla eşzamanlı 8 istek ve dakikada 300 istek, bir yanıt daha hızlı olmasa bile bir toplu işin verimliliğini artırır.
Hız ne ödediğinizi değiştirmez. Faturalandırma, her iki durumda da 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50'dir ve başarısız istekler ücretlendirilmez. Ayrıntılar için fiyatlandırma sayfasına bakın.
Kendiniz ölçün
Kendi istemlerinizle sonucu tekrarlayana kadar, bir sağlayıcının bile dahil olduğu hiçbir hız değerine güvenmeyin. Bu betik, akış olmayan bir isteği zamanlar ve tamamlama tokenlarını gerçek geçen süreye böler. Aynı istemi, sabit bir seed ile iki farklı sıcaklıkta çalıştırır.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Bunu farklı saatlerde birkaç kez çalıştırın ve ortanca değeri alın. Bu değer ağ süresini ve kuyruk bekleme süresini de içerir; bu nedenle uçtan uca bir değerdir ve kullanıcılarınızın deneyimlediği şeydir. İlk token'ın gelme süresini ölçmek istiyorsanız, stream=True değerine geçin ve ilk parçanın ne zaman geldiğini kaydedin. hızlı başlangıç akışlı çağrıyı gösterir.
Bunun için deneme kredisini kullanabilirsiniz. API anahtarı sayfası üzerindeki tek bir tıklama ile $0,50 değerinde, 7 gün geçerli, kart gerektirmeyen bir kredi alırsınız. Yukarıdaki betik, çalıştırma başına en fazla 400 tamamlama token'ı kullanır; bu nedenle 400 tamamlama ve 20 istek token'ı içeren on çalıştırma, 10 x ($0,000003 + $0,0002) = $0,00203 maliyetine denk gelir; bu da bir sentin beşte biridir.
Kendi altyapınızda barındırmayı planlıyorsanız
Spekülasyona gerek kalmadan başlayın ve bir taban değer kaydedin. Ardından, iş yükünüz istemden metin kopyalıyorsa prompt lookup ekleyin. Hedefin tokenizasyonunu ve yönlendirme yönünü paylaşan bir taslak model denemeyi deneyin. Gerçek sıcaklığınızda saniye başına token sayısını ve taslak token'ların kabul edilme oranını ölçün. Kazanç ek belleğe değmediğinde durun; çünkü bir taslak model de GPU alanı gerektirir.
Kendi altyapınızda barındırmak, istediğinizden daha fazla işse, token başına faturalandırma yapan barındırılan bir uç nokta bu soruyu ortadan kaldırır. ucuz API efsaneleri ve gerçekleri hakkındaki makale, düşük fiyata güvenmeden önce kontrol etmeniz gerekenleri kapsar.
Daha fazla kılavuz
Sorular ve cevaplar
Dokümantasyonu okuTahminli kod çözme yanıt kalitesini değiştirir mi?
Standart kabul kuralı ile uygulandığında hayır, çünkü kabul edilen token'lar ana modelin dağılımını takip eder. Bu yalnızca hızı değiştirir.
Ben tahminli kodlamayı bir istek parametresi ile etkinleştirebilir miyim?
Hayır. Bu, çıkarım sunucusunda yapılandırılır. Bu API için sohbet tamamlama isteklerinde bunu etkinleştiren hiçbir şey yoktur.
Sıcaklık 0 iken daha mı hızlıdır?
Sık sık, çünkü tahminlerin eşleştirilmesi daha kolaydır; ancak yöntem ve isteme göre değişir. Kendi iş yükünüzü zamanlayın.
Rol oynama ve kurgu için en iyi yöntem hangisi?
Yüksek sıcaklıkta yaratıcı metin taslaklaması zordur. Prompt lookup orada çok az yardımcı olur, bu nedenle kendi kendine barındırıyorsanız aynı modelde eğitilmiş bir taslak veya head daha iyi bir tahmin olacaktır.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.
https://api.cheapaiapis.com/v1