ES ▾
Obtener clave de API

Mejor decodificación especulativa para LLM sin censura

La decodificación especulativa es una técnica de velocidad del lado del servidor. Este artículo explica cómo funciona, qué variantes se adaptan a un modelo sin censura y qué puedes hacer desde el lado cliente de una API.

Actualizado

Un elemento rápido pequeño que redacta por adelantado mientras un bloque mayor verifica cada paso, ilustrando la decodificación especulativa

Cheap AI APIs

Puntos clave

  1. La decodificación especulativa propone varios tokens de forma económica, luego los verifica en una sola pasada del modelo principal.
  2. Con el muestreo correcto, la distribución de salida coincide con la decodificación normal; solo cambia la velocidad.
  3. En una API alojada, la configuración es elección del proveedor, no un parámetro de petición.
  4. Este sitio no publica cifras de velocidad; mide en tus propios prompts con el script de abajo.

Respuesta corta

Si preguntas por la decodificación especulativa mejor para implementaciones de LLM sin censura, la respuesta depende de quién tenga el servidor. Cuando ejecutas el modelo tú mismo, un modelo de borrador o una cabeza entrenada para ese modelo exacto suele ganar; cuando llamas a una API alojada, no puedes elegir en absoluto, porque la decodificación especulativa es una propiedad del servidor de inferencia y no un campo en la petición. Ningún parámetro de POST /v1/chat/completions lo activa.

Esta API no indica qué método de decodificación tiene detrás, y este artículo no adivinará. Lo que sigue es la técnica general, cómo elegir entre métodos si alojas tú mismo, y qué puedes medir y ajustar desde fuera.

Cómo funciona la decodificación especulativa

Un modelo de lenguaje normalmente escribe un token por paso hacia adelante, y cada paso debe leer los pesos del modelo desde la memoria. Eso limita la generación al ancho de banda de memoria en lugar de la aritmética. La decodificación especulativa explota la aritmética inactiva.

  1. Un mecanismo borrador barato propone los próximos pocos tokens, digamos cuatro.
  2. El modelo completo puntúa las cuatro posiciones en un solo pase hacia adelante.
  3. Acepta el prefijo más largo que coincida con lo que habría producido, y corrige la primera discrepancia.
  4. La generación continúa desde ahí.

Con el esquema de muestreo por rechazo publicado, los tokens aceptados siguen la misma distribución que el muestreo directo del modelo principal. Así que la calidad no cambia por diseño. Obtienes varios tokens por el precio de aproximadamente un paso cuando el borrador adivina bien, y aproximadamente un token por paso cuando no lo hace. La mejora de velocidad es el número promedio de tokens aceptados, lo que se llama tasa de aceptación en la literatura.

Métodos y cuándo se adapta cada uno

MétodoCómo proponeBuena compatibilidad
Modelo de borrador pequeñoUn modelo más pequeño de la misma familia propone tokensChat general, si existe un modelo hermano pequeño cercano
Búsqueda en prompt / n-gramasCopia tramos que ya aparecen en el promptEdición, resumen, reescritura de código, respuestas de recuperación
Cabezas de decodificación adicionales (estilo Medusa)Cabezas añadidas predicen varios tokens futurosAutoalojamiento con presupuesto de entrenamiento
Propuesta a nivel de características (estilo EAGLE)Un módulo ligero predice a partir de los estados ocultos del modeloAutoalojamiento donde existe un módulo entrenado

Los motores de inferencia populares, incluyendo vLLM y llama.cpp, admiten decodificación especulativa de alguna forma, aunque las opciones y la madurez difieren por versión, así que consulta la documentación de la versión que ejecutes.

Ningún método es el mejor en teoría. La búsqueda de prompts no cuesta nada configurarla y destaca cuando la salida repite la entrada. Un modelo de borrador ayuda más cuando coincide con el objetivo en estilo. Las cabezas entrenadas dan mejoras constantes en el modelo para el que fueron entrenadas.

Por qué la tasa de aceptación decide la mejora de velocidad

Un modelo simple muestra el efecto. Si el modelo de borrador propone k tokens y cada uno se acepta con probabilidad p, de forma independiente, el modelo principal produce en promedio (1 - p^(k+1)) / (1 - p) tokens por pasada. Esto ignora el tiempo dedicado al borrador, por lo que las ganancias reales son menores. Con k = 4:

Aceptación pTokens por paseLectura
0,83,36El borrador coincide bien; gran ganancia
0,51,94Ganancia modesta, fácilmente consumida por el costo del borrador
0,31,43Poca ganancia; puede ser más lento en general

Los números explican por qué igualar el borrador con el objetivo es más importante que elegir un método famoso. Un borrador mediocre con p = 0.3 apenas supera la decodificación directa, mientras que uno bien ajustado con p = 0.8 produce más de tres tokens por paso.

Qué cambia para un modelo sin censura

El método en sí es indiferente a la política de contenido. La trampa práctica es la concordancia entre el borrador y el objetivo. Muchos modelos pequeños se lanzan con comportamiento de rechazo incorporado. Un modelo objetivo sin censura escribe cosas que un borrador nunca propondría, o matizaría. Cuando el borrador sigue prediciendo una advertencia y el objetivo sigue escribiendo la escena, la tasa de aceptación cae, y el trabajo de redacción extra puede costar más tiempo del que ahorra.

Eso da una regla simple para quienes se autoalojan. Usa un borrador que fue ajustado en la misma dirección que el objetivo, o un método que no necesita un modelo separado: búsqueda en prompt, o cabezas y módulos entrenados en el objetivo mismo. Verifica con una prueba en tus propios prompts, porque la escritura creativa a alta temperatura es el caso más difícil para cualquier modelo de borrador. La aleatoriedad reduce la concordancia, y la ficción tiende a ser intensa.

Para la API de este sitio, el modelo es un modelo de pesos abiertos ejecutado por un proveedor independiente, ajustado para responder sin rechazos de contenido para uso adulto legal. El contenido sexual que involucra a menores de edad no está permitido bajo ninguna configuración.

Qué puedes controlar como usuario de API

No puedes alternar el modelo de borrador, pero varias configuraciones de petición afectan qué tan rápido se siente una respuesta.

  • Transmite la respuesta. Con stream: true las primeras palabras llegan mientras el resto aún se está generando. La velocidad percibida mejora independientemente de los trucos del servidor. Recuerda que un stream mantiene su ranura de concurrencia hasta que termina; una clave completa permite 8 a la vez.
  • Limita la salida. max_tokens es opcional, pero un límite acota la espera y el costo peores.
  • Baja la temperatura. Si tu servidor usa especulación, la salida a baja temperatura es más fácil de predecir, así que tiende a ir más rápido. Trata eso como algo a probar, no como una promesa.
  • Mantén los prompts cortos. Menos entrada que procesar antes de que aparezca el primer token.
  • Paraleliza dentro de los límites. Hasta 8 peticiones simultáneas y 300 por minuto por clave completa mejoran el rendimiento de un lote, incluso si una respuesta no es más rápida.

La velocidad no cambia lo que pagas. La facturación es de $0,15 por cada 1M de tokens de entrada y $0,50 por cada 1M de tokens de salida en ambos casos, y las peticiones fallidas no se cobran. Consulta la página de precios para los detalles.

Mídelo tú mismo

No confíes en ningún número de velocidad de nadie, incluido el de un proveedor, hasta que lo reproduzcas con tus propios prompts. Este script mide el tiempo de una petición no streaming y divide los tokens de completado entre el tiempo transcurrido. Ejecuta el mismo prompt a dos temperaturas con un seed fijo.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

Ejecútalo varias veces a distintas horas y toma la mediana. La cifra incluye el tiempo de red y la cola, por lo que es un número de extremo a extremo, que es lo que experimentan tus usuarios. Si quieres medir el tiempo hasta el primer token, cambia a stream=True y registra cuándo llega el primer fragmento. La guía de inicio rápido muestra la llamada streaming.

Puedes usar el crédito de prueba para esto. Un clic en la página de claves de API te da $0,50, válido por 7 días, sin tarjeta. El script anterior usa como máximo 400 tokens de salida por ejecución, por lo que diez ejecuciones de 400 tokens de salida y 20 tokens de entrada cuestan 10 x ($0,000003 + $0,0002) = $0,00203, una quinta parte de un centavo.

Si planeas autoalojarlo

Empieza sin especulación y registra una línea base. Luego añade la búsqueda de prompts si tu carga de trabajo copia texto del prompt. Después prueba un modelo de borrador que comparta el tokenizador y la dirección de ajuste del modelo objetivo. Mide los tokens por segundo y la proporción de tokens de borrador aceptados, a tu temperatura real. Detente cuando la ganancia deje de valer la pena por la memoria adicional, ya que un modelo de borrador también necesita espacio de GPU.

Si autoalojarlo es más trabajo del que quieres, un endpoint alojado con facturación por token elimina la duda. El artículo sobre mitos y hechos de las APIs baratas cubre qué verificar antes de confiar en cualquier precio bajo.

Preguntas y respuestas

Leer la documentación
¿La decodificación especulativa cambia la calidad de las respuestas?

No cuando se implementa con la regla de aceptación estándar, porque los tokens aceptados siguen la distribución del modelo principal. Solo cambia la velocidad.

¿Puedo habilitar la decodificación especulativa con un parámetro de petición?

No. Se configura en el servidor de inferencia. Nada en la petición de finalización de chat lo activa para esta API.

¿Es más rápido a temperatura 0?

A menudo, ya que las predicciones son más fáciles de verificar, pero varía según el método y el prompt. Mide tu propia carga de trabajo.

¿Qué método es mejor para roleplay y ficción?

El texto creativo a alta temperatura es difícil de proponer. La búsqueda de prompts ayuda poco allí, así que un borrador o cabezas entrenados en el mismo modelo es la mejor opción si te autoalojas.

Tu clave está a un clic de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.

Obtener clave de API

https://api.cheapaiapis.com/v1