Bestes Speculative Decoding für unzensierte LLM-Nutzung
Speculative Decoding ist eine serverseitige Beschleunigungstechnik. Dieser Artikel erklärt, wie es funktioniert, welche Varianten zu einem unzensierten Modell passen und was du clientseitig tun kannst.
Aktualisiert

Cheap AI APIs
Wichtige Punkte
- Die spekulative Decodierung schlägt mehrere Token kostengünstig vor und prüft sie anschließend in einem einzigen Durchlauf des Hauptmodells.
- Bei korrekter Abtastung entspricht die Ausgabeverteilung dem normalen Decoding; nur die Geschwindigkeit ändert sich.
- Bei einer gehosteten API ist die Einrichtung die Wahl des Anbieters, kein Anfrageparameter.
- Diese Seite veröffentlicht keine Geschwindigkeitswerte; miss deine eigenen Prompts mit dem untenstehenden Skript.
Kurze Antwort
Wenn du nach dem besten Speculative Decoding für unzensierte LLM-Bereitstellungen fragst, hängt die Antwort davon ab, wer den Server betreibt. Wenn du das Modell selbst ausführst, gewinnt meist ein Draft-Modell oder ein Head, der für genau dieses Modell trainiert wurde; bei einer API-Anfrage kannst du gar nichts wählen, da Speculative Decoding eine Eigenschaft des Inference-Servers ist und kein Feld in der Anfrage. Kein Parameter von POST /v1/chat/completions schaltet es ein.
Diese API gibt nicht an, welche Decodierungsmethode dahintersteckt, und dieser Artikel wird auch nicht raten. Im Folgenden findest du die allgemeine Technik, wie du bei einem Self-Hosting die Methoden auswählst und was du von außen messen und anpassen kannst.
Wie Speculative Decoding funktioniert
Ein Sprachmodell schreibt normalerweise ein Token pro Forward-Pass, und jeder Pass muss die Modellgewichte aus dem Speicher lesen. Das macht die Generierung durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Speculative Decoding nutzt die freie Rechenleistung aus.
- Ein günstiger Entwurf-Mechanismus schlägt die nächsten paar Token vor, sagen wir vier.
- Das vollständige Modell bewertet alle vier Positionen in einem einzigen Forward-Pass.
- Es akzeptiert das längste Präfix, das mit dem übereinstimmt, was es erzeugt hätte, und korrigiert die erste Abweichung.
- Die Generierung setzt dort fort.
Mit dem veröffentlichten Rejection-Sampling-Schema folgen die akzeptierten Token derselben Verteilung wie das reine Sampling vom Hauptmodell. Die Qualität ändert sich also nicht von vornherein. Sie erhalten mehrere Token für den Preis von etwa einem Durchlauf, wenn der Entwurf gut rät, und etwa ein Token pro Durchlauf, wenn nicht. Die Geschwindigkeitssteigerung ist die durchschnittliche Anzahl akzeptierter Token, was in der Literatur als Akzeptanzrate bezeichnet wird.
Methoden und wann jede passt
| Methode | Wie das Drafting funktioniert | Gute Passform |
|---|---|---|
| Kleines Entwurfsmodell | Ein kleineres Modell derselben Familie schlägt Tokens vor | Allgemeiner Chat, falls ein enges Schwestermodell existiert |
| Prompt Lookup / n-gram | Kopiert Abschnitte, die bereits im Prompt erscheinen | Bearbeiten, Zusammenfassen, Code-Umschreiben, Retrieval-Antworten |
| Zusätzliche Decoding-Heads (Medusa-Style) | Zusätzliche Heads sagen mehrere zukünftige Tokens voraus | Selbst-Hosting mit Trainingsbudget |
| Feature-Level-Entwurf (EAGLE-Style) | Ein leichtes Modul sagt basierend auf den eigenen versteckten Zuständen des Modells voraus | Selbst-Hosting, wo ein trainiertes Modul existiert |
Beliebte Inference-Engines wie vLLM und llama.cpp unterstützen Speculative Decoding in gewisser Form, wobei Optionen und Reife je nach Version variieren; prüfe also die Dokumentation der von dir verwendeten Version.
Keine Methode ist im Abstrakten am besten. Prompt Lookup kostet nichts in der Einrichtung und glänzt, wenn die Ausgabe die Eingabe wiederholt. Ein Entwurfsmodell hilft am meisten, wenn es mit dem Ziel in Bezug auf den Stil übereinstimmt. Trainierte Heads geben stabile Gewinne für das Modell, für das sie trainiert wurden.
Warum die Akzeptanzrate die Geschwindigkeitssteigerung bestimmt
Ein einfaches Modell zeigt den Effekt. Wenn der Entwurfer k Tokens vorschlägt und jeder mit der Wahrscheinlichkeit p akzeptiert wird, unabhängig voneinander, erzeugt das Hauptmodell durchschnittlich (1 - p^(k+1)) / (1 - p) Tokens pro Durchlauf. Dies ignoriert die Zeit für den Entwurf, daher sind die tatsächlichen Gewinne kleiner. Mit k = 4:
| Akzeptanz p | Tokens pro Durchlauf | Lesen |
|---|---|---|
| 0,8 | 3,36 | Entwurf stimmt gut überein; großer Gewinn |
| 0,5 | 1,94 | Modester Gewinn, leicht durch Entwurfskosten aufgefressen |
| 0,3 | 1,43 | Geringer Gewinn; kann insgesamt langsamer sein |
Die Zahlen erklären, warum die Anpassung des Entwurfs an das Ziel wichtiger ist als die Wahl einer berühmten Methode. Ein mittelmäßiger Entwurfer bei p = 0,3 schlägt das reine Decoding kaum, während ein gut abgestimmter bei p = 0,8 mehr als drei Tokens pro Durchlauf erzeugt.
Was sich für ein unzensiertes Modell ändert
Die Methode selbst ist indifferent gegenüber der Inhaltsrichtlinie. Der praktische Haken ist die Entwurfsübereinstimmung. Viele kleine Modelle werden mit eingebautem Ablehnungsverhalten veröffentlicht. Ein unzensiertes Zielmodell schreibt Dinge, die ein solcher Entwurf nie vorschlagen würde, oder würde zögern. Wenn der Entwurf weiterhin eine Disclaimer vorhersagt und das Ziel weiterhin die Szene schreibt, sinkt die Akzeptanzrate, und die zusätzliche Entwurfsarbeit kann mehr Zeit kosten, als sie spart.
Das ergibt eine einfache Regel für Self-Hoster. Nutze einen Entwurf, der in dieselbe Richtung abgestimmt wurde, oder eine Methode, die kein separates Modell benötigt: Prompt-Suche, oder Heads und Module, die direkt am Zielmodell trainiert wurden. Verifiziere mit einem Testlauf auf deinen eigenen Prompts, da kreatives Schreiben bei hoher Temperatur der schwierigste Fall für jeden Drafter ist. Zufälligkeit senkt die Übereinstimmung, und Fiktion neigt dazu, heiß zu laufen.
Für die API auf dieser Website ist das Modell ein Open-Weight-Modell, das von einem unabhängigen Anbieter betrieben wird, das darauf abgestimmt ist, für rechtmäßige Erwachsenennutzung ohne Inhaltsablehnungen zu antworten. Sexuelle Inhalte mit Minderjährigen sind unter keinen Einstellungen erlaubt.
Was du als API-Nutzer kontrollieren kannst
Du kannst den Entwerfer nicht umschalten, aber mehrere Anfrageeinstellungen beeinflussen, wie schnell sich eine Antwort anfühlt.
- Stream die Antwort. Mit
stream: truekommen die ersten Wörter an, während der Rest noch generiert wird. Die wahrgenommene Geschwindigkeit verbessert sich, unabhängig von Server-Tricks. Denk daran, dass ein Stream seinen Concurrency-Slot bis zum Ende belegt; ein vollständiger Schlüssel erlaubt 8 gleichzeitig. - Begrenze die Ausgabe.
max_tokensist optional, aber eine Obergrenze begrenzt die Worst-Case-Wartezeit und die Kosten. - Senke die Temperatur. Wenn dein Server Spekulation nutzt, ist Low-Temperature-Output leichter vorhersehbar, was dazu neigt, schneller zu laufen. Betrachte das als etwas zum Testen, nicht als Versprechen.
- Prompts kurz halten. Weniger Input, der verarbeitet werden muss, bevor das erste Token erscheint.
- Parallelisiere innerhalb der Limits. Bis zu 8 gleichzeitige Anfragen und 300 pro Minute auf einem vollständigen Schlüssel verbessern den Durchsatz eines Batches, auch wenn eine einzelne Antwort nicht schneller ist.
Die Geschwindigkeit ändert nichts an den Kosten. Die Abrechnung erfolgt unabhängig von der Methode mit $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token, und fehlgeschlagene Anfragen werden nicht berechnet. Sieh dir die Preise-Übersicht für die Details an.
Messe es selbst
Vertraue keiner Geschwindigkeitszahl, nicht einmal der eines Anbieters, bis du sie mit eigenen Prompts reproduziert hast. Dieses Skript misst die Zeit für eine nicht-streamende Anfrage und teilt die Anzahl der Completion-Token durch die verstrichene Zeit. Es führt denselben Prompt bei zwei verschiedenen Temperaturen mit einem festen seed aus.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Führe es mehrmals zu verschiedenen Tageszeiten aus und bilde den Median. Der Wert umfasst die Netzwerkzeit und Wartezeiten, ist also eine End-to-End-Messung, genau wie sie deine Nutzer erleben. Wenn du die Zeit bis zum ersten Token messen möchtest, wechsle zu stream=True und protokolliere den Zeitpunkt, an dem das erste Chunk eintrifft. Das quickstart zeigt den Streaming-Aufruf.
Dafür kannst du das Testguthaben nutzen. Ein Klick auf die Seite für API-Schlüssel gibt $0,50, gültig für 7 Tage, ohne Karte. Das obige Skript nutzt pro Durchlauf maximal 400 Output-Token, also kosten zehn Durchläufe mit 400 Output- und 20 Input-Token 10 x ($0,000003 + $0,0002) = $0,00203, ein Fünftel eines Cents.
Wenn du vor hast, selbst zu hosten
Starte ohne Spekulation und erstelle eine Basislinie. Füge dann Prompt Lookup hinzu, wenn deine Anwendung Text aus dem Prompt kopiert. Versuche anschließend ein Draft-Modell, das denselben Tokenizer und dieselbe Ausrichtung wie das Zielmodell nutzt. Miss Tokens pro Sekunde und den Anteil der akzeptierten Draft-Tokens bei deiner echten Temperatur. Beende die Optimierung, wenn der Gewinn den zusätzlichen Speicherbedarf nicht mehr rechtfertigt, da ein Draft-Modell ebenfalls GPU-Speicher benötigt.
Wenn Self-Hosting mehr Aufwand bedeutet, als du betreiben möchtest, entfernt ein gehosteter Endpunkt mit Abrechnung pro Token diese Frage. Der Artikel zu Mythen und Fakten zu günstigen API-Preisen behandelt, was du prüfen solltest, bevor du einem niedrigen Preis vertraust.
Weitere Anleitungen
Fragen und Antworten
Dokumentation lesenÄndert spekulatives Decoding die Qualität der Antworten?
Nein, wenn es mit der Standard-Akzeptanzregel implementiert ist, da akzeptierte Tokens der Verteilung des Hauptmodells folgen. Es ändert nur die Geschwindigkeit.
Kann ich spekulatives Decoding mit einem Anfrageparameter aktivieren?
Nein. Es wird auf dem Inference-Server konfiguriert. Nichts in der Chat-Vervollständigungsanfrage schaltet es für diese API ein.
Ist es bei Temperatur 0 schneller?
Oft, da Vorhersagen leichter abzugleichen sind, aber es variiert je nach Methode und Prompt. Miss deine eigene Workload.
Welche Methode ist am besten für Roleplay und Fiktion?
Kreativer Text bei hoher Temperatur ist schwer zu verfassen. Die Prompt-Suche hilft dort wenig, daher ist ein Entwurf oder Heads, die auf demselben Modell trainiert wurden, die bessere Wahl, wenn du selbst hostest.
Dein Schlüssel ist nur einen Schritt entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
https://api.cheapaiapis.com/v1