FR ▾
Obtenir une clé API

Meilleur décodage spéculatif pour LLM sans censure

Le décodage spéculatif est une technique de vitesse côté serveur. Cet article explique comment il fonctionne, quelles variantes conviennent à un modèle sans censure, et ce que vous pouvez faire depuis le client d'une API.

Mis à jour le

Un petit élément rapide rédigeant à l'avance pendant qu'un bloc plus grand vérifie chaque étape, illustrant le décodage spéculatif

Cheap AI APIs

Points clés

  1. Le décodage spéculatif rédige plusieurs tokens à moindre coût, puis les vérifie en un seul passage du modèle principal.
  2. Avec un échantillonnage correct, la distribution de sortie correspond au décodage ordinaire ; seule la vitesse change.
  3. Sur une API hébergée, la configuration est le choix du fournisseur, pas un paramètre de requête.
  4. Ce site ne publie pas de chiffres de vitesse ; mesurez sur vos propres prompts avec le script ci-dessous.

Réponse courte

Si vous demandez le meilleur décodage spéculatif pour des déploiements de LLM sans censure, la réponse dépend de celui qui héberge le serveur. En exécutant le modèle vous-même, un modèle de proposition ou un modèle de tête entraîné pour ce modèle précis gagne généralement ; en appelant une API hébergée, vous ne pouvez pas choisir du tout, car le décodage spéculatif est une propriété du serveur d’inférence et non un champ de la requête. Aucun paramètre de POST /v1/chat/completions ne l’active.

Cette API n'indique pas quelle méthode de décodage est utilisée en arrière-plan, et cet article ne fera pas de suppositions. Ce qui suit est la technique générale, comment choisir parmi les méthodes si vous vous auto-hébergez, et ce que vous pouvez mesurer et ajuster de l'extérieur.

Fonctionnement du décodage spéculatif

Un modèle de langage écrit normalement un token par passage avant, et chaque passage doit lire les poids du modèle depuis la mémoire. Cela limite la génération à la bande passante mémoire plutôt qu'à l'arithmétique. Le décodage spéculatif exploite l'arithmétique inutilisée.

  1. Un mécanisme draft peu coûteux propose les quelques tokens suivants, disons quatre.
  2. Le modèle complet évalue les quatre positions en un seul passage avant.
  3. Il accepte le plus long préfixe qui correspond à ce qu'il aurait produit, et corrige la première incohérence.
  4. La génération reprend à partir de là.

Avec le schéma d'échantillonnage par rejet publié, les tokens acceptés suivent la même distribution que l'échantillonnage simple du modèle principal. Donc la qualité ne change pas par conception. Vous obtenez plusieurs tokens pour le prix d'environ un passage lorsque le modèle de proposition devine bien, et environ un token par passage lorsqu'il ne devine pas. Le gain de vitesse est le nombre moyen de tokens acceptés, appelé taux d'acceptation dans la littérature.

Méthodes et quand chacune convient

MéthodeComment il rédigeBon ajustement
Petit modèle de brouillageUn modèle plus petit de la même famille propose des tokensChat général, si un petit frère proche existe
Recherche dans le prompt / n-grammeCopie des segments qui apparaissent déjà dans le promptÉdition, résumé, réécriture de code, réponses de récupération
Têtes de décodage supplémentaires (style Medusa)Des têtes ajoutées prévoient plusieurs tokens futursAuto-hébergement avec budget de formation
Rédaction au niveau des fonctionnalités (style EAGLE)Un module léger prédit à partir des états cachés du modèleAuto-hébergement où un module entraîné existe

Les moteurs d'inférence populaires, y compris vLLM et llama.cpp, prennent en charge le décodage spéculatif sous une forme ou une autre, bien que les options et la maturité diffèrent selon la version, donc vérifiez la documentation de la version que vous exécutez.

Aucune méthode n'est la meilleure en soi. La recherche dans le prompt ne coûte rien à configurer et brille lorsque la sortie répète l'entrée. Un modèle de brouillage aide davantage lorsqu'il est d'accord avec la cible sur le style. Les têtes entraînées donnent des gains réguliers sur le modèle pour lequel elles ont été entraînées.

Pourquoi le taux d'acceptation décide du gain de vitesse

Un modèle simple montre l'effet. Si le drafteur propose k tokens et que chacun est accepté avec une probabilité p, indépendamment, le modèle principal produit en moyenne (1 - p^(k+1)) / (1 - p) tokens par passage. Cela ignore le temps passé à la phase de draft, donc les gains réels sont plus faibles. Avec k = 4 :

Acceptation pTokens par passageLecture
0,83,36Le brouillage s'accorde bien ; grand gain
0,51,94Gain modeste, facilement absorbé par le coût du brouillage
0,31,43Peu de gain ; peut être plus lent dans l'ensemble

Les chiffres expliquent pourquoi faire correspondre le rédacteur à la cible est plus important que de choisir une méthode célèbre. Un rédacteur médiocre à p = 0.3 bat à peine le décodage simple, tandis qu'un bien adapté à p = 0.8 produit plus de trois tokens par passage.

Ce qui change pour un modèle sans censure

La méthode elle-même est indifférente à la politique de contenu. Le piège pratique est l'accord du brouillon. De nombreux petits modèles sont publiés avec un comportement de refus intégré. Un modèle cible sans censure écrit des choses qu'un tel brouillon ne proposerait jamais, ou atténuerait. Lorsque le brouillon continue de prédire une mention légale et que la cible continue d'écrire la scène, le taux d'acceptation chute, et le travail de rédaction de brouillons supplémentaire peut coûter plus de temps qu'il n'en économise.

Cela donne une règle simple pour ceux qui s'hébergent eux-mêmes. Utilisez un draft qui a été ajusté dans la même direction que la cible, ou une méthode qui ne nécessite pas de modèle séparé : recherche de prompt, ou têtes et modules entraînés sur le modèle cible lui-même. Vérifiez avec un essai sur vos propres prompts, car l'écriture créative à haute température est le cas le plus difficile pour n'importe quel draft. L'aléatoire réduit l'accord, et la fiction a tendance à être plus chaude.

Pour l'API de ce site, le modèle est un modèle à poids ouverts exécuté par un fournisseur indépendant, ajusté pour répondre sans refus de contenu pour une utilisation adulte légale. Le contenu sexuel impliquant des mineurs n'est pas autorisé dans aucune configuration.

Ce que vous pouvez contrôler en tant qu'utilisateur API

Vous ne pouvez pas basculer le rédacteur, mais plusieurs paramètres de requête affectent la rapidité perçue d'une réponse.

  • Mettez en streaming la réponse. Avec stream: true, les premiers mots arrivent pendant que le reste est encore généré. La vitesse perçue s'améliore indépendamment des astuces du serveur. Souvenez-vous qu'un streaming occupe son slot de concurrence jusqu'à sa fin ; une clé complète permet 8 slots à la fois.
  • Limitez la sortie. max_tokens est optionnel, mais un plafond limite l'attente et le coût dans le pire des cas.
  • Baissez la température. Si votre serveur utilise la spéculation, les sorties à basse température sont plus faciles à prédire, donc elles ont tendance à aller plus vite. Traitez cela comme quelque chose à tester, pas comme une promesse.
  • Gardez les prompts courts. Moins d'entrée à traiter avant l'apparition du premier token.
  • Parallélisez dans les limites. Jusqu'à 8 requêtes simultanées et 300 par minute sur une clé complète améliorent le débit d'un lot, même si une seule réponse n'est pas plus rapide.

La vitesse ne change pas ce que vous payez. La facturation est de 0,15 $ par 1M de tokens d'entrée et de 0,50 $ par 1M de tokens de sortie, dans les deux cas, et les requêtes échouées ne sont pas facturées. Voir la page des tarifs pour les détails.

Mesurez-le vous-même

Ne faites confiance au chiffre de vitesse de personne, y compris celui d'un fournisseur, tant que vous ne l'avez pas reproduit avec vos propres prompts. Ce script chronomètre une requête non en streaming et divise les tokens de complétion par le temps écoulé. Il exécute le même prompt à deux températures avec un seed fixe.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Exécutez-le plusieurs fois à différentes heures et prenez la médiane. Le chiffre inclut le temps réseau et la file d'attente, c'est donc un nombre de bout en bout, ce que vos utilisateurs expérimentent. Si vous voulez le temps jusqu'au premier token, passez en stream=True et enregistrez quand le premier chunk arrive. Le guide de démarrage montre l'appel en streaming.

Vous pouvez utiliser le crédit d'essai pour cela. Un clic sur la page de la clé API donne 0,50 $, valable 7 jours, sans carte. Le script ci-dessus utilise au plus 400 tokens de sortie par exécution, donc dix exécutions de 400 tokens de sortie et 20 tokens d'entrée coûtent 10 x (0,000003 $ + 0,0002 $) = 0,00203 $, un cinquième de centime.

Si vous prévoyez de l’héberger vous-même

Commencez sans spéculation et enregistrez une ligne de base. Ajoutez ensuite la recherche de prompt si votre charge de travail copie du texte depuis le prompt. Essayez ensuite un modèle de draft qui partage le tokenizer et la direction de tuning du modèle cible. Mesurez les tokens par seconde et la part des tokens de draft acceptés, à votre température réelle. Arrêtez lorsque le gain ne vaut plus la mémoire supplémentaire, car un modèle de draft a aussi besoin d’espace GPU.

Si l'auto-hébergement demande plus de travail que ce que vous souhaitez, un endpoint hébergé avec une facturation par token supprime la question. L'article sur les mythes et faits des API bon marché couvre ce qu'il faut vérifier avant de faire confiance à n'importe quel prix bas.

Questions et réponses

Lire la documentation
Le décodage spéculatif change-t-il la qualité des réponses ?

Non, lorsqu’il est implémenté avec la règle d’acceptation standard, car les tokens acceptés suivent la distribution du modèle principal. Cela ne change que la vitesse.

Puis-je activer le décodage spéculatif avec un paramètre de requête ?

Non. Il est configuré sur le serveur d’inférence. Rien dans la requête de complétions de chat ne l’active pour cette API.

Est-ce plus rapide à la température 0 ?

Souvent, car les prédictions sont plus faciles à faire correspondre, mais cela varie selon la méthode et le prompt. Chronométrez votre propre charge de travail.

Quelle méthode est la meilleure pour le jeu de rôle et la fiction ?

Le texte créatif à haute température est difficile à draft. La recherche de prompt aide peu là-dessus, donc un draft ou des têtes d'attention entraînés sur le même modèle est le meilleur choix si vous vous auto-hébergez.

Votre clé n'est qu'à une étape d'obtention

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API

https://api.cheapaiapis.com/v1