Лучшее спекулятивное декодирование для использования LLM без цензуры
Спекулятивное декодирование — это серверный метод ускорения. В этой статье объясняется, как это работает, какие варианты подходят для модели без цензуры и что вы можете сделать со стороны клиента API.
Обновлено

Cheap AI APIs
Ключевые моменты
- Спекулятивное декодирование дёшево генерирует черновик из нескольких токенов, а затем проверяет их за один проход основной модели.
- При правильной выборке распределение вывода совпадает с обычным декодированием; меняется только скорость.
- В хостинговом API настройка — выбор провайдера, а не параметр запроса.
- Этот сайт не публикует показатели скорости; измеряйте на своих промптах со скриптом ниже.
Краткий ответ
Если вы спрашиваете о лучшем спекулятивном декодировании для LLM без цензуры, ответ зависит от того, кто управляет сервером. Когда вы запускаете модель самостоятельно, модель-черновик или голова, обученные именно для этой модели, обычно выигрывают; при вызове размещённого API вы вообще ничего не можете выбрать, потому что спекулятивное декодирование — это свойство сервера инференса, а не поле в запросе. Ни один параметр POST /v1/chat/completions не включает его.
Это API не указывает, какой метод декодирования стоит за ним, и эта статья не будет гадать. Далее — общее описание техники, способы выбора метода при самостоятельном размещении и что вы можете измерить и настроить извне.
Как работает спекулятивное декодирование
Языковая модель обычно пишет один токен за прямой проход, и каждый проход должен читать веса модели из памяти. Это ограничивает генерацию пропускной способностью памяти, а не арифметикой. Спекулятивное декодирование использует простаивающие вычислительные ресурсы.
- Дешёвый механизм draft предлагает следующие несколько токенов, например, четыре.
- Полная модель оценивает все четыре позиции за один прямой проход.
- Она принимает самый длинный префикс, который совпадает с тем, что она бы произвела, и исправляет первое несовпадение.
- Генерация продолжается оттуда.
При схеме отклонения с выборкой принятые токены следуют тому же распределению, что и обычная выборка из основной модели. Так что качество не меняется по замыслу. Вы получаете несколько токенов по цене примерно одного прохода, когда черновик угадывает хорошо, и примерно один токен за проход, когда нет. Ускорение — это среднее количество принятых токенов, что в литературе называется коэффициентом принятия.
Методы и когда каждый подходит
| Метод | Как он составляет черновик | Хорошее соответствие |
|---|---|---|
| Маленькая модель-черновик | Меньшая модель из того же семейства предлагает токены | Общий чат, если существует близкая родственная модель |
| Поиск по промпту / n-грамма | Копирует фрагменты, которые уже есть в промпте | Редактирование, суммаризация, переписывание кода, ответы с поиском |
| Дополнительные декодирующие головы (стиль Medusa) | Дополнительные головы предсказывают несколько будущих токенов | Самохостинг с бюджетом на обучение |
| Черновое предсказание на уровне признаков (стиль EAGLE) | Легкий модуль предсказывает из скрытых состояний самой модели | Самохостинг, где существует обученный модуль |
Популярные движки вывода, включая vLLM и llama.cpp, поддерживают спекулятивное декодирование в той или иной форме, хотя возможности и зрелость различаются по версиям, поэтому проверьте документацию выпуска, который вы запускаете.
Нет метода, который был бы лучшим сам по себе. Поиск по промпту ничего не стоит настраивать и показывает лучшие результаты, когда вывод повторяет ввод. Модель-черновик помогает больше всего, когда она согласна с целевой по стилю. Обученные головы дают стабильные улучшения для модели, для которой они обучены.
Почему коэффициент принятия решает ускорение
Простая модель демонстрирует эффект. Если модель-черновик предлагает k токенов и каждый из них принимается с вероятностью p независимо, основная модель генерирует в среднем (1 - p^(k+1)) / (1 - p) токенов за проход. Это не учитывает время, затраченное на генерацию черновика, поэтому реальный прирост меньше. При k = 4:
| Принятие p | Токенов за проход | Чтение |
|---|---|---|
| 0,8 | 3,36 | Черновик хорошо согласуется; большой выигрыш |
| 0,5 | 1,94 | Умеренный выигрыш, легко съедается стоимостью черновика |
| 0,3 | 1,43 | Малый выигрыш; может быть медленнее в целом |
Цифры объясняют, почему согласование генератора черновика с целевой моделью важнее, чем выбор известного метода. Посредственный генератор при p = 0,3 едва обходит обычное декодирование, а хорошо подобранный при p = 0,8 генерирует более трёх токенов за проход.
Что меняется для модели без цензуры
Сам метод нечувствителен к политике контента. Практическая проблема — согласие черновика. Многие маленькие модели выпускаются с поведением отказа, встроенным в них. Целевая модель без цензуры пишет то, что такой черновик никогда бы не предложил или смягчил. Когда черновик продолжает предсказывать оговорку, а цель продолжает писать сцену, коэффициент принятия падает, и дополнительная работа по чернованию может стоить больше времени, чем экономит.
Это даёт простое правило для самостоятельного размещения. Используйте черновик, настроенный в том же направлении, что и целевая модель, или метод, не требующий отдельной модели: поиск по промпту, или головы и модули, обученные непосредственно на целевой модели. Проверьте это тестовым запуском на ваших собственных промптах, так как креативный текст при высокой температуре — самый сложный случай для любого черновика. Случайность снижает согласованность, а художественный текст часто генерируется при высоких температурах.
Для API на этом сайте модель — одна модель с открытыми весами, запущенная независимым провайдером, настроенная отвечать без отказов по контенту для законного использования взрослыми. Сексуальный контент с участием несовершеннолетних не разрешен ни при каких настройках.
Чем вы можете управлять как пользователь API
Вы не можете переключать черновик, но несколько настроек запроса влияют на то, насколько быстро ощущается ответ.
- Потоковая передача ответа. С
stream: trueпервые слова приходят, пока остальная часть всё ещё генерируется. Воспринимаемая скорость улучшается независимо от серверных трюков. Помните, что поток удерживает слот параллелизма до завершения; полный ключ позволяет 8 одновременно. - Ограничьте вывод.
max_tokens— необязательный параметр, но ограничение ограничивает максимальное время ожидания и стоимость в худшем случае. - Снизьте температуру. Если ваш сервер использует спекулятивное декодирование, вывод при низкой температуре легче предсказать, поэтому он обычно работает быстрее. Рассматривайте это как то, что нужно протестировать, а не как обещание.
- Делайте промпты короткими. Меньше входных данных для обработки до появления первого токена.
- Параллельные запросы в рамках лимитов. До 8 параллельных запросов и 300 в минуту на полном ключе повышают пропускную способность пакета, даже если один ответ не становится быстрее.
Скорость не меняет то, что вы платите. Тарификация составляет $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов в любом случае, а неудачные запросы не оплачиваются. Подробности см. на странице цен.
Измерьте самостоятельно
Не доверяйте никаким показателям скорости, включая провайдера, пока не воспроизведёте его с помощью своих промптов. Этот скрипт измеряет время непотокового запроса и делит количество токенов завершения на реальное время. Он запускает тот же промпт при двух температурах с фиксированным seed.
import time
from openai import OpenAI
client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")
def run(prompt, temperature):
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
max_tokens=400,
seed=7,
)
dt = time.time() - t0
n = r.usage.completion_tokens
return n, dt, n / dt
for temp in (0.0, 0.8):
n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")Запустите его несколько раз в разное время суток и возьмите медиану. Показатель включает время сети и ожидание в очереди, поэтому это сквозной показатель, который видят ваши пользователи. Если вам нужно время до первого токена, переключитесь на stream=True и запишите момент поступления первого фрагмента. В быстром старте показан вызов потоковой передачи.
Вы можете использовать пробный баланс для этого. Один клик на странице API-ключей даёт $0,50, действительный в течение 7 дней, без карты. Скрипт выше использует не более 400 выходных токенов за запуск, поэтому десять запусков по 400 выходных и 20 входных токенов стоят 10 x ($0,000003 + $0,0002) = $0,00203, пятая часть цента.
Если вы планируете самостоятельное размещение
Начните без спекулятивного декодирования и зафиксируйте базовый уровень. Затем добавьте поиск промптов, если ваша нагрузка копирует текст из промпта. Далее попробуйте модель-черновик, которая использует тот же токенизатор и направление дообучения, что и целевая модель. Измерьте количество токенов в секунду и долю принятых токенов черновика при вашей реальной температуре. Остановитесь, когда прирост перестанет оправдывать дополнительные затраты памяти, так как модели-черновику тоже требуется место на GPU.
Если самостоятельное размещение — это больше работы, чем вы хотите, размещённый эндпоинт с оплатой за токен снимает этот вопрос. В статье мифы и факты о дешёвых API описано, что нужно проверить, прежде чем доверять любой низкой цене.
Дополнительные руководства
Вопросы и ответы
Читать документациюВлияет ли спекулятивное декодирование на качество ответов?
Нет, если реализовано по стандартному правилу принятия, так как принятые токены следуют распределению основной модели. Это влияет только на скорость.
Могу ли я включить спекулятивное декодирование параметром запроса?
Нет. Он настраивается на сервере инференса. Ничто в запросе chat completions не включает его для этого API.
Быстрее ли это при температуре 0?
Часто, поскольку предсказания легче согласовать, но это зависит от метода и промпта. Проведите бенчмарк своей нагрузки.
Какой метод лучше всего подходит для ролевых игр и художественной литературы?
Генерация креативного текста при высокой температуре затрудняет создание черновика. Поиск по промптам здесь мало помогает, поэтому, если вы размещаете модель самостоятельно, лучше использовать черновик или головы, обученные на той же модели.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.
https://api.cheapaiapis.com/v1