Najlepsze dekodowanie spekulacyjne dla LLM bez cenzury
Dekodowanie spekulacyjne to technika przyspieszenia po stronie serwera. Artykuł wyjaśnia, jak to działa, które warianty pasują do modelu bez cenzury i co możesz zrobić po stronie klienta API.
Zaktualizowano

Cheap AI APIs
Kluczowe punkty
- Dekodowanie spekulacyjne tanio redaguje kilka tokenów, a następnie sprawdza je w jednym przejściu modelu głównego.
- Przy poprawnym próbkowaniu rozkład wyjścia odpowiada zwykłemu dekodowaniu; zmienia się tylko prędkość.
- W hostowanym API konfiguracja jest wyborem dostawcy, a nie parametrem żądania.
- Ta strona nie publikuje danych o prędkości; zmierz to na własnych promptach przy użyciu poniższego skryptu.
Krótka odpowiedź
Jeśli pytasz o najlepsze dekodowanie spekulacyjne dla wdrożeń LLM bez cenzury, odpowiedź zależy od tego, kto zarządza serwerem. Gdy uruchamiasz model we własnym zakresie, model szkicujący lub głowica wytrenowana dla tego konkretnego modelu zwykle wygrywa; gdy wywołujesz API hostowane, nie masz wyboru, ponieważ dekodowanie spekulacyjne jest cechą serwera wnioskowania, a nie polem w zapytaniu. Żaden parametr POST /v1/chat/completions go nie włącza.
To API nie podaje, jaka metoda dekodowania stoi za nim, a ten artykuł nie zgaduje. Poniżej przedstawiamy ogólną technikę, sposób wyboru metod w przypadku samodzielnego hostowania oraz to, co możesz mierzyć i dostosować z zewnątrz.
Jak działa dekodowanie spekulacyjne
Model językowy normalnie generuje jeden token na jedno przejście do przodu, a każde przejście musi odczytać wagi modelu z pamięci. To sprawia, że generowanie jest ograniczone przepustowością pamięci, a nie zasobami arytmetycznymi. Dekodowanie spekulacyjne wykorzystuje wolne zasoby obliczeniowe.
- Tani mechanizm szkic proponuje kolejne kilka tokenów, powiedzmy cztery.
- Pełny model ocenia wszystkie cztery pozycje w jednym przejściu w przód.
- Akceptuje najdłuższy prefiks, który pasuje do tego, co wyprodukowałby, i poprawia pierwsze niezgodne miejsce.
- Generacja kontynuuje się od tamtego miejsca.
Przy opublikowanym schemacie próbkowania odrzucającego akceptowane tokeny podążają tym samym rozkładem co zwykłe próbkowanie z modelu głównego. Jakość się nie zmienia z założenia. Otrzymujesz kilka tokenów za cenę około jednego przejścia, gdy szkic zgadnie dobrze, i około jednego tokena na przejście, gdy nie. Przyspieszenie to średnia liczba akceptowanych tokenów, zwana w literaturze współczynnikiem akceptacji.
Metody i kiedy każda pasuje
| Metoda | Jak generowany jest szkic | Dobre dopasowanie |
|---|---|---|
| Mały model szkicujący | Mniejszy model z tej samej rodziny proponuje tokeny | Ogólny czat, jeśli istnieje bliski mały odpowiednik |
| Szukanie w promptie / n-gram | Kopiuje fragmenty, które już pojawiają się w promptie | Edycja, streszczanie, przepisywanie kodu, odpowiedzi z pobierania |
| Dodatkowe głowy dekodujące (stylu Medusa) | Dodatkowe głowy przewidują kilka przyszłych tokenów | Self-hosting z budżetem na szkolenie |
| Generowanie szkicu na poziomie funkcji (styl EAGLE) | Lekki moduł przewiduje z ukrytych stanów modelu | Self-hosting, gdzie istnieje wytrenowany moduł |
Popularne silniki wnioskowania, w tym vLLM i llama.cpp, obsługują dekodowanie spekulacyjne w pewnej formie, choć opcje i dojrzałość różnią się w zależności od wersji, więc sprawdź dokumentację wydania, które uruchamiasz.
Nie ma jednej najlepszej metody w abstrakcji. Lookup promptów nie wymaga konfiguracji i sprawdza się, gdy wyjście powtarza wejście. Model szkoleniowy pomaga najbardziej, gdy zgadza się z modelem docelowym co do stylu. Wytrenowane głowice dają stabilne korzyści dla modelu, dla którego zostały wytrenowane.
Dlaczego współczynnik akceptacji decyduje o przyspieszeniu
Prosty model pokazuje efekt. Jeśli proponuje k tokenów i każdy z nich jest akceptowany z prawdopodobieństwem p, niezależnie, główny model produkuje średnio (1 - p^(k+1)) / (1 - p) tokenów na przejście. Pomija to czas spędzony na tworzeniu szkiców, więc rzeczywiste zyski są mniejsze. Dla k = 4:
| Akceptacja p | Tokeny na przejście | Czytanie |
|---|---|---|
| 0,8 | 3,36 | Szkic zgadza się dobrze; duży zysk |
| 0,5 | 1,94 | Skromny zysk, łatwo zjedzony kosztem redagowania |
| 0,3 | 1,43 | Mały zysk; może być wolniejszy ogólnie |
Liczby wyjaśniają, dlaczego dopasowanie szkicownika do modelu docelowego jest ważniejsze niż wybór znanej metody. Średni szkicownik przy p = 0.3 ledwo przewyższa zwykłe dekodowanie, podczas gdy dobrze dopasowany przy p = 0.8 produkuje ponad trzy tokeny na przejście.
Co się zmienia dla modelu bez cenzury
Metoda sama w sobie jest obojętna na politykę treści. Praktycznym problemem jest zgodność szkicu. Wiele małych modeli jest udostępnianych z wbudowanym zachowaniem odmowy. Model docelowy bez cenzury generuje treści, których szkic nigdy by nie zaproponował lub które zmiękczyłby. Gdy szkic ciągle przewiduje zastrzeżenie, a model docelowy pisze scenę, wskaźnik akceptacji spada, a dodatkowa praca generowania szkicu może zająć więcej czasu niż oszczędza.
To daje prostą regułę dla self-hostów. Używaj szkicznika, który był strojony w tym samym kierunku co cel, lub metody, która nie wymaga osobnego modelu: szukanie w promptie, lub głowy i moduły wytrenowane na samym celu. Zweryfikuj próbą na własnych promptach, ponieważ pisanie twórcze przy wysokiej temperaturze jest najtrudniejszym przypadkiem dla każdego szkicznika. Losowość obniża zgodność, a fikcja ma tendencję do bycia gorącą.
Dla API na tej stronie model to jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę, strojony do odpowiadania bez odmów treści dla legalnego użytku dorosłych. Treści seksualne z udziałem nieletnich są niedozwolone przy każdym ustawieniu.
Czym możesz sterować jako użytkownik API
Nie możesz przełączać szkicownika, ale kilka ustawień żądania wpływa na to, jak szybko czuje się odpowiedź.
- Strumieniuj odpowiedź. Przy
stream: truepierwsze słowa docierają, gdy reszta jest jeszcze generowana. Postrzegana prędkość poprawia się niezależnie od sztuczek serwera. Pamiętaj, że strumień zajmuje slot współbieżności do końca; pełny klucz pozwala na 8 jednocześnie. - Ogranicz wyjście.
max_tokensjest opcjonalne, ale górna granica ogranicza najgorsze oczekiwanie i koszt. - Obniż temperaturę. Jeśli Twój serwer wykorzystuje spekulację, wyjście przy niskiej temperaturze jest łatwiejsze do przewidzenia, więc zazwyczaj idzie szybciej. Traktuj to jako coś do przetestowania, a nie obietnicę.
- Trzymaj prompty krótkie. Mniej danych wejściowych do przetworzenia przed pojawieniem się pierwszego tokena.
- Równoległe wykonanie w ramach limitów. Do 8 jednoczesnych żądań i 300 na minutę przy pełnym kluczu zwiększa przepustowość partii, nawet jeśli jedna odpowiedź nie będzie szybsza.
Prędkość nie zmienia tego, co płacisz. Fakturowanie wynosi $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych w każdym przypadku, a nieudane zapytania nie są rozliczane. Zobacz stronę z cenami, aby uzyskać szczegóły.
Zmierz to samodzielnie
Nie ufaj nikomu, nawet dostawcy, w kwestii liczb dotyczących prędkości, dopóki nie odtworzysz ich własnymi promptami. Ten skrypt mierzy czas zapytania bez strumieniowania i dzieli tokeny zakończenia przez czas rzeczywisty. Uruchamia ten sam prompt przy dwóch różnych temperaturach z ustalonym seed.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Uruchom go kilka razy o różnych porach i weź medianę. Licznik uwzględnia czas sieciowy i kolejkowanie, więc jest to liczba end-to-end, czyli to, jakie doświadczenie mają Twoi użytkownicy. Jeśli chcesz uzyskać czas do pierwszego tokena, przełącz na stream=True i zapisz moment przybycia pierwszego fragmentu. quickstart pokazuje wywołanie strumieniowe.
Możesz wykorzystać kredyt próbny. Jedno kliknięcie w stronie klucza API daje $0,50, ważny przez 7 dni, bez karty. Powyższy skrypt zużywa maksymalnie 400 tokenów wyjściowych na uruchomienie, więc dziesięć uruchomień po 400 tokenach wyjściowych i 20 tokenach wejściowych kosztuje 10 x ($0,000003 + $0,0002) = $0,00203, czyli jedną piątą centa.
Jeśli planujesz własną instalację
Zacznij bez spekulacji i zarejestruj wynik bazowy. Następnie dodaj wyszukiwanie promptów, jeśli Twoje obciążenie kopiuje tekst z promptu. Następnie wypróbuj model szkicujący, który dzieli tokenizator i kierunek doboru wag z modelem docelowym. Mierz tokeny na sekundę i odsetek tokenów szkicowych akceptowanych przy Twojej rzeczywistej temperaturze. Zatrzymaj się, gdy zysk przestaje być wart dodatkowej pamięci, ponieważ model szkicujący również wymaga miejsca na GPU.
Jeśli samodzielne hostowanie to więcej pracy niż chcesz, endpoint hostowany z rozliczeniem za token usuwa tę kwestię. Artykuł o tanim API: mity i fakty omawia, co sprawdzić przed zaufaniem niskiej cenie.
Więcej przewodników
Pytania i odpowiedzi
Czytaj dokumentacjęCzy dekodowanie spekulacyjne zmienia jakość odpowiedzi?
Nie, gdy jest zaimplementowane ze standardową regułą przyjęcia, ponieważ przyjęte tokeny podążają za rozkładem głównego modelu. Zmienia tylko prędkość.
Czy mogę włączyć dekodowanie spekulacyjne za pomocą parametru zapytania?
Nie. Jest konfigurowane na serwerze wnioskowania. Nic w żądaniu ukończenia czatu nie włącza go dla tego API.
Czy jest szybszy przy temperaturze 0?
Często, ponieważ przewidywania łatwiej dopasować, ale zależy to od metody i promptu. Zmierz własne obciążenie.
Która metoda jest najlepsza do roleplay i fikcji?
Twórczy tekst przy wysokiej temperaturze trudno szkicować. Wyszukiwanie promptów tam mało pomaga, więc lepszym wyborem przy samodzielnym hostowaniu jest model szkicujący lub głowy wytrenowane na tym samym modelu.
Twój klucz jest o jeden krok stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.
https://api.cheapaiapis.com/v1