NL ▾
API-sleutel aanvragen

Beste speculatieve decodering voor ongecensureerd LLM-gebruik

Speculatieve decodering is een snelheidstechniek aan de serverkant. Dit artikel legt uit hoe het werkt, welke varianten passen bij een ongecensureerd model, en wat je aan de clientkant van een API kunt doen.

Bijgewerkt

Een klein, snel element dat voorspelt terwijl een groter blok elke stap verifieert, ter illustratie van speculatieve decoding

Cheap AI APIs

Belangrijkste punten

  1. Speculatieve decoding voorspelt meerdere tokens goedkoop, en controleert ze daarna in één pass van het hoofdmodel.
  2. Met correcte sampling komt de uitvoerverdeling overeen met gewone decodering; alleen de snelheid verandert.
  3. Op een gehoste API is de setup de keuze van de aanbieder, geen verzoekparameter.
  4. Deze site publiceert geen snelheidscijfers; meet op je eigen prompts met het script hieronder.

Kort antwoord

Als je vraagt naar de beste speculatieve decoding voor ongecensureerde LLM-implementaties, hangt het antwoord af van wie de server beheert. Als je het model zelf draait, wint een voorspellingsmodel of een kop getraind op dat exacte model meestal; als je een gehoste API aanroept, kun je helemaal niets kiezen, omdat speculatieve decoding een eigenschap is van de inferenceserver en geen veld in het verzoek. Geen enkele parameter van POST /v1/chat/completions zet het aan.

Deze API geeft niet aan welke decoderingsmethode erachter zit, en dit artikel zal niet raden. Wat volgt is de algemene techniek, hoe je methoden kiest als je zelf host, en wat je van buitenaf kunt meten en afstellen.

Hoe speculatieve decodering werkt

Een taalmodel schrijft normaal gesproken één token per forward pass, en elke pass moet de modelgewichten uit het geheugen lezen. Dit maakt generatie beperkt door geheugenbandbreedte in plaats van rekenkracht. Speculatieve decodering benut de inactieve rekenkracht.

  1. Een goedkoop voorspellings mechanisme stelt de volgende paar tokens voor, zeg vier.
  2. Het volledige model evalueert alle vier de posities in één forward pass.
  3. Het accepteert de langste prefix die overeenkomt met wat het zou hebben geproduceerd, en corrigeert de eerste mismatch.
  4. Generatie gaat daarvandaan verder.

Met de gepubliceerde rejection-sampling scheme volgen de geaccepteerde tokens dezelfde verdeling als gewone sampling van het hoofdmodel. Dus de kwaliteit verandert niet door ontwerp. Je krijgt meerdere tokens voor de prijs van ongeveer één pass wanneer de draft goed raadt, en ongeveer één token per pass wanneer dat niet zo is. De snelheidsverbetering is het gemiddelde aantal geaccepteerde tokens, wat in de literatuur de acceptatiegraad wordt genoemd.

Methoden en wanneer elke past

MethodeHoe het draftGoede pasvorm
Klein draftmodelEen kleiner model uit dezelfde familie voorspelt tokensAlgemene chat, als er een klein zustermodel bestaat
Prompt-opzoeking / n-gramKopieert delen die al in de prompt voorkomenBewerken, samenvatten, code herschrijven, antwoorden uit retrieval
Extra decoderingshoofden (Medusa-stijl)Toegevoegde hoofden voorspellen meerdere toekomstige tokensZelf hosten met trainingsbudget
Functieniveau speculatief genereren (EAGLE-stijl)Een lichte module voorspelt vanuit de eigen verborgen toestanden van het modelZelf hosten waar een getrainde module bestaat

Populaire inferentie-engines, waaronder vLLM en llama.cpp, ondersteunen speculatieve decodering in zekere mate, hoewel opties en volwassenheid verschillen per versie, dus controleer de documentatie van de release die je draait.

Geen enkele methode is in het abstract het beste. Prompt lookup kost niets om op te zetten en blinkt uit wanneer de output de input herhaalt. Een voorspelmodel helpt het meest wanneer het het doelmodel wat betreft stijl volgt. Getrainde koppen geven stabiele winst op het model waar ze voor getraind zijn.

Waarom acceptatiegraad de snelheidsverbetering bepaalt

Een eenvoudig model toont het effect. Als de voorspeller k tokens voorstelt en elk wordt geaccepteerd met waarschijnlijkheid p, onafhankelijk, produceert het hoofdmodel gemiddeld (1 - p^(k+1)) / (1 - p) tokens per doorloop. Dit negeert de tijd die aan het draften wordt besteed, dus echte winsten zijn kleiner. Met k = 4:

Acceptatie pTokens per doorloopLezen
0,83,36Draft komt goed overeen; grote winst
0,51,94Matige winst, makkelijk opgegeten door draftkosten
0,31,43Weinig winst; kan overall langzamer zijn

De cijfers verklaren waarom het matchen van de voorspeller aan het doelmodel belangrijker is dan het kiezen van een beroemde methode. Een matige voorspeller bij p = 0.3 verslaat plain decoding nauwelijks, terwijl een goed matchende bij p = 0.8 meer dan drie tokens per doorloop produceert.

Wat verandert voor een ongecensureerd model

De methode zelf is onverschillig voor contentbeleid. De praktische valkuil is de draft-overeenstemming. Veel kleine modellen worden uitgebracht met refusal-gedrag ingebakken. Een ongecensureerd doelmodel schrijft dingen die een voorspeller nooit zou voorstellen, of zou nuanceren. Wanneer de voorspeller blijft voorspellen dat er een disclaimer komt en het doelmodel de scène blijft schrijven, daalt de acceptance rate, en kan het extra drafting werk meer tijd kosten dan het bespaart.

Dat geeft een eenvoudige regel voor self-hosters. Gebruik een voorspeller die in dezelfde richting is getuned als het doelmodel, of een methode die geen apart model nodig heeft: prompt-opzoeking, of koppen en modules getraind op het doelmodel zelf. Verifieer met een proefrun op je eigen prompts, omdat creatief schrijven bij hoge temperatuur het moeilijkste geval is voor elke voorspeller. Willekeur verlaagt de overeenstemming, en fictie neigt naar heet.

Voor de API op deze site is het model een open-weight model dat wordt gedraaid door een onafhankelijke provider, afgestemd om te antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Seksuele inhoud met minderjarigen is onder elke instelling niet toegestaan.

Wat je kunt bepalen als API-gebruiker

Je kunt de drafter niet schakelen, maar verschillende verzoekinstellingen beïnvloeden hoe snel een antwoord voelt.

  • Stream de reactie. Met stream: true komen de eerste woorden aan terwijl de rest nog gegenereerd wordt. De waargenomen snelheid verbetert ongeacht servertrucs. Onthoud dat een stream zijn concurrency-slot vasthoudt tot het eindigt; een volledige sleutel staat 8 tegelijk toe.
  • Beperk de output. max_tokens is optioneel, maar een limiet begrenst de worst-case wachttijd en kosten.
  • Verlaag temperatuur. Als je server speculatie gebruikt, is uitvoer bij lage temperatuur makkelijker te voorspellen, dus het gaat vaak sneller. Beschouw dit als iets om te testen, niet als een belofte.
  • Houd prompts kort. Minder invoer om te verwerken voordat het eerste token verschijnt.
  • Parallelliseer binnen limieten. Tot 8 gelijktijdige verzoeken en 300 per minuut op een volledige sleutel verbeteren de doorvoer van een batch, zelfs als één antwoord niet sneller is.

Snelheid verandert niet wat je betaalt. Facturatie is $0,15 per 1M input tokens en $0,50 per 1M output tokens, hoe dan ook, en failed requests worden niet in rekening gebracht. Zie de prijzenpagina voor de details.

Meet het zelf

Vertrouw niet op ieders snelheidscijfer, inclusief dat van een provider, totdat je het reproduceert met je eigen prompts. Dit script meet de tijd van een niet-gestreamd verzoek en deelt de completion tokens door de totale tijd. Het voert dezelfde prompt uit bij twee temperaturen met een vaste seed.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Voer het meerdere keren uit op verschillende uren en neem de mediaan. De figuur bevat netwerktijd en wachtrijtijd, dus het is een end-to-end getal, wat je gebruikers ervaren. Als je de tijd tot het eerste token wilt meten, schakel dan over op stream=True en registreer wanneer de eerste chunk aankomt. De quickstart toont de gestreamde call.

Je kunt het trial credit hiervoor gebruiken. Één klik op de API-sleutelpagina geeft $0,50, geldig voor 7 dagen, geen kaart. Het script hierboven gebruikt maximaal 400 output tokens per run, dus tien runs van 400 output en 20 input tokens kosten 10 x ($0,000003 + $0,0002) = $0,00203, een vijfde van een cent.

Als je van plan bent zelf te hosten

Begin zonder speculatie en registreer een baseline. Voeg dan prompt lookup toe als je workload tekst van de prompt kopieert. Probeer vervolgens een draft model dat de tokenizer en tuning direction van het doelmodel deelt. Meet tokens per second en het aandeel van de drafted tokens geaccepteerd, bij je echte temperatuur. Stop wanneer de winst niet meer de extra memory waard is, omdat een draft model ook GPU-ruimte nodig heeft.

Als self-hosting meer werk is dan je wilt, verwijdert een gehost endpoint met per-token facturatie de vraag. Het artikel over cheap API myths and facts behandelt wat je moet controleren voordat je een lage prijs vertrouwt.

Vragen en antwoorden

Lees de documentatie
Verandert speculative decoding de kwaliteit van antwoorden?

Niet wanneer geïmplementeerd met de standaard acceptatieregel, omdat geaccepteerde tokens de verdeling van het hoofdmodel volgen. Het verandert alleen de snelheid.

Kan ik speculatieve decoding inschakelen met een verzoekparameter?

Nee. Het is geconfigureerd op de inference server. Niets in de chat completions request zet het aan voor deze API.

Is het sneller bij temperature 0?

Vaak, omdat voorspellingen makkelijker te matchen zijn, maar het varieert per methode en prompt. Meet je eigen werklast.

Welke methode is het beste voor roleplay en fictie?

Creatieve tekst bij hoge temperatuur is moeilijk op te stellen. Prompt lookup helpt daar weinig, dus een draft of heads getraind op hetzelfde model is de betere keuze als je zelf host.

Je sleutel is nog maar één stap verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen

https://api.cheapaiapis.com/v1