Dekode Spekulatif Terbaik untuk Penggunaan LLM Tanpa Sensor
Dekode spekulatif adalah teknik kecepatan di sisi server. Artikel ini menjelaskan cara kerjanya, varian mana yang cocok untuk model tanpa sensor, dan apa yang dapat Anda lakukan dari sisi klien API.
Diperbarui

Cheap AI APIs
Poin utama
- Decoding spekulatif membuat draf beberapa token secara murah, lalu memeriksanya dalam satu langkah model utama.
- Dengan pengambilan sampel yang benar, distribusi output cocok dengan dekode biasa; hanya kecepatannya yang berubah.
- Pada API yang di-host, penyiapan adalah pilihan penyedia, bukan parameter permintaan.
- Situs ini tidak mempublikasikan angka kecepatan; ukur pada prompt Anda sendiri dengan skrip di bawah ini.
Jawaban singkat
Jika Anda bertanya tentang pemecahan spekulatif terbaik untuk deployment llm tanpa sensor, jawabannya tergantung pada siapa yang memegang server. Saat Anda menjalankan model sendiri, model draf atau kepala yang dilatih untuk model tersebut biasanya menang; saat Anda memanggil API yang di-host, Anda tidak dapat memilih sama sekali, karena pemecahan spekulatif adalah properti server inferensi dan bukan bidang dalam permintaan. Tidak ada parameter dari POST /v1/chat/completions yang mengaktifkannya.
API ini tidak menyatakan metode dekode mana yang ada di baliknya, dan artikel ini tidak akan menebak. Apa yang berikut adalah teknik umum, cara memilih di antara metode jika Anda meng-host sendiri, dan apa yang dapat Anda ukur dan sesuaikan dari luar.
Cara kerja dekode spekulatif
Model bahasa biasanya menulis satu token per langkah maju, dan setiap langkah harus membaca bobot model dari memori. Itu membuat generasi terbatas oleh bandwidth memori daripada aritmatika. Dekode spekulatif memanfaatkan aritmatika yang menganggur.
- Mekanisme draft yang murah mengusulkan beberapa token berikutnya, misalnya empat.
- Model lengkap memberi skor pada semua empat posisi dalam satu langkah maju.
- Ini menerima awalan terpanjang yang cocok dengan apa yang akan dihasilkannya, dan memperbaiki ketidakcocokan pertama.
- Generasi berlanjut dari sana.
Dengan skema penolakan-pengambilan sampel yang diterbitkan, token yang diterima mengikuti distribusi yang sama dengan pengambilan sampel biasa dari model utama. Jadi kualitas tidak berubah secara desain. Anda mendapatkan beberapa token dengan harga sekitar satu langkah ketika draf menebak dengan baik, dan kira-kira satu token per langkah ketika tidak. Peningkatan kecepatan adalah jumlah rata-rata token yang diterima, yang disebut tingkat penerimaan dalam literatur.
Metode dan kapan masing-masing cocok
| Metode | Cara membuat draf | Sangat sesuai |
|---|---|---|
| Model draf kecil | Model yang lebih kecil dari keluarga yang sama mengusulkan token | Obrolan umum, jika ada saudara kecil yang mirip |
| Pencarian prompt / n-gram | Menyalin rentang yang sudah ada dalam prompt | Pengeditan, peringkasan, penulisan ulang kode, jawaban RAG |
| Kepala dekode tambahan (gaya Medusa) | Kepala tambahan memprediksi beberapa token masa depan | Self-hosting dengan anggaran pelatihan |
| Draf tingkat fitur (gaya EAGLE) | Modul ringan memprediksi dari keadaan tersembunyi model itu sendiri | Meng-host sendiri di mana modul yang dilatih ada |
Mesin inferensi populer, termasuk vLLM dan llama.cpp, mendukung dekode spekulatif dalam beberapa bentuk, meskipun opsi dan kematangan berbeda menurut versi, jadi periksa dokumentasi rilis yang Anda jalankan.
Tidak ada metode yang terbaik secara abstrak. Pencarian prompt tidak ada biayanya untuk disiapkan dan bersinar ketika output mengulangi input. Model draf membantu paling banyak ketika setuju dengan target tentang gaya. Kepala yang dilatih memberikan peningkatan yang stabil pada model yang dilatih untuknya.
Mengapa tingkat penerimaan menentukan peningkatan kecepatan
Model sederhana menunjukkan efeknya. Jika drafter mengusulkan k token dan setiap token diterima dengan probabilitas p, secara independen, model utama menghasilkan rata-rata (1 - p^(k+1)) / (1 - p) token per langkah. Ini mengabaikan waktu yang dihabiskan untuk membuat draf, sehingga keuntungan nyata lebih kecil. Dengan k = 4:
| Penerimaan p | Token per langkah | Pembacaan |
|---|---|---|
| 0,8 | 3,36 | Draf setuju dengan baik; keuntungan besar |
| 0,5 | 1,94 | Keuntungan sederhana, mudah dimakan oleh biaya draf |
| 0,3 | 1,43 | Keuntungan sedikit; mungkin lebih lambat secara keseluruhan |
Angka-angka menjelaskan mengapa mencocokkan drafter dengan target lebih penting daripada memilih metode terkenal. Drafter yang biasa saja pada p = 0,3 hampir tidak mengalahkan decoding biasa, sedangkan drafter yang cocok pada p = 0,8 menghasilkan lebih dari tiga token per langkah.
Apa yang berubah untuk model tanpa sensor
Metode itu sendiri tidak peduli dengan kebijakan konten. Jebakan praktisnya adalah kesepakatan draf. Banyak model kecil dirilis dengan perilaku penolakan yang tertanam. Model target tanpa sensor menulis hal-hal seperti yang tidak akan pernah diusulkan oleh draf, atau akan ragu. Ketika draf terus memprediksi penjelasan dan target terus menulis adegan, tingkat penerimaan turun, dan pekerjaan membuat draf tambahan bisa memakan lebih banyak waktu daripada yang dihemat.
Itu memberikan aturan sederhana untuk peng-host sendiri. Gunakan draf yang telah disesuaikan ke arah yang sama dengan target, atau metode yang tidak memerlukan model terpisah: pencarian prompt, atau kepala dan modul yang dilatih pada target itu sendiri. Verifikasi dengan uji coba pada prompt Anda sendiri, karena penulisan kreatif pada suhu tinggi adalah kasus tersulit untuk setiap pembuat draf. Keacakan menurunkan kesepakatan, dan fiksi cenderung berjalan panas.
Untuk API di situs ini, model adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Konten seksual yang melibatkan anak di bawah umur tidak diizinkan di bawah pengaturan apa pun.
Apa yang dapat Anda kendalikan sebagai pengguna API
Anda tidak dapat mengaktifkan/menonaktifkan model draf, tetapi beberapa pengaturan permintaan memengaruhi seberapa cepat balasan terasa.
- Gunakan streaming respons. Dengan
stream: truekata-kata pertama tiba sementara sisanya masih sedang dihasilkan. Kecepatan yang dirasakan meningkat terlepas dari trik server. Ingat bahwa stream memegang slot konkurensinya hingga berakhir; kunci penuh memungkinkan 8 sekaligus. - Batasi output.
max_tokensopsional, tetapi batas atas membatasi waktu tunggu dan biaya kasus terburuk. - Turunkan suhu. Jika server Anda menggunakan spekulasi, output suhu rendah lebih mudah diprediksi, jadi cenderung lebih cepat. Anggap itu sebagai sesuatu untuk diuji, bukan janji.
- Jaga prompt tetap pendek. Lebih sedikit input untuk diproses sebelum token pertama muncul.
- Paralelkan dalam batas. Hingga 8 permintaan konkuren dan 300 per menit pada kunci penuh meningkatkan throughput batch, meskipun satu balasan tidak lebih cepat.
Kecepatan tidak mengubah apa yang Anda bayar. Tagihan adalah $0,15 per 1M token input dan $0,50 per 1M token output dalam kedua kasus, dan permintaan yang gagal tidak dikenakan biaya. Lihat halaman harga untuk detailnya.
Ukur metriknya sendiri
Jangan percaya angka kecepatan siapa pun, termasuk dari penyedia, sampai Anda mereproduksinya dengan prompt Anda sendiri. Skrip ini mengukur waktu permintaan non-streaming dan membagi token penyelesaian dengan waktu dinding. Skrip ini menjalankan prompt yang sama pada dua suhu dengan seed yang tetap.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Jalankan beberapa kali pada jam yang berbeda dan ambil nilai median. Angka ini mencakup waktu jaringan dan antrian, sehingga merupakan angka end-to-end, yang merupakan pengalaman pengguna Anda. Jika Anda ingin waktu ke token pertama, beralihlah ke stream=True dan catat saat chunk pertama tiba. quickstart menunjukkan panggilan streaming.
Anda dapat menggunakan kredit uji coba untuk ini. Satu klik di halaman kunci API memberikan $0,50, berlaku selama 7 hari, tanpa kartu. Skrip di atas menggunakan maksimal 400 token output per jalannya, sehingga sepuluh kali jalannya dengan 400 token output dan 20 token input biayanya 10 x ($0,000003 + $0,0002) = $0,00203, seperlima sen.
Jika Anda berencana untuk self-hosting
Mulailah tanpa spekulasi dan catat garis dasar. Kemudian tambahkan pencarian prompt jika beban kerja Anda menyalin teks dari prompt. Selanjutnya coba model draf yang berbagi tokenizer dan arah penyetelan dengan model target. Ukur token per detik dan proporsi token draf yang diterima pada suhu asli Anda. Berhenti ketika keuntungan tidak lagi sepadan dengan memori tambahan, karena model draf juga membutuhkan ruang GPU.
Jika self-hosting lebih banyak pekerjaan daripada yang Anda inginkan, endpoint yang dihost dengan penagihan per token menghilangkan pertanyaan tersebut. Artikel tentang mitos dan fakta API murah mencakup apa yang perlu diperiksa sebelum mempercayai harga rendah apa pun.
Panduan lainnya
Tanya jawab
Baca dokumentasiApakah decoding spekulatif mengubah kualitas jawaban?
Tidak ketika diimplementasikan dengan aturan penerimaan standar, karena token yang diterima mengikuti distribusi model utama. Ini hanya mengubah kecepatan.
Bisakah saya mengaktifkan decoding spekulatif dengan parameter permintaan?
Tidak. Ini dikonfigurasi di server inferensi. Tidak ada dalam permintaan penyelesaian obrolan yang mengaktifkannya untuk API ini.
Apakah lebih cepat pada suhu 0?
Seringkali, karena prediksi lebih mudah dicocokkan, tetapi ini bervariasi tergantung metode dan prompt. Ukur beban kerja Anda sendiri.
Metode mana yang terbaik untuk roleplay dan fiksi?
Teks kreatif pada suhu tinggi sulit dibuat drafnya. Pencarian prompt membantu sedikit di sana, sehingga model draf atau head yang dilatih pada model yang sama adalah pilihan yang lebih baik jika Anda melakukan self-hosting.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja untuk pengaturannya.
https://api.cheapaiapis.com/v1