KO ▾
API 키 받기

무검열 LLM을 위한 최적의 Speculative Decoding

추측 디코딩은 서버 측 속도 향상 기법입니다. 이 문서에서는 작동 방식, 무검열 모델에 적합한 변형, API 클라이언트 측에서 수행할 수 있는 작업을 설명합니다.

업데이트

더 큰 블록이 각 단계를 검증하는 동안 작은 빠른 요소가 앞서 작성하는 추측 디코딩의 예시

Cheap AI APIs

주요 포인트

  1. 추측 디코딩은 여러 토큰을 저렴하게 추측한 후, 메인 모델의 한 번의 순회로 검증합니다.
  2. 올바른 샘플링을 사용하면 출력 분포가 일반 디코딩과 일치하며, 속도에만 변화가 생깁니다.
  3. 호스팅 API에서는 설정이 제공자의 선택 사항이며 요청 파라미터가 아닙니다.
  4. 이 사이트는 속도 수치를 게시하지 않습니다. 아래 스크립트를 사용해 자체 프롬프트로 측정해 보세요.

간단한 답변

무검열 LLM 최적의 추측 디코딩 배포에 대해 묻는다면, 정답은 서버를 운영하는 주체에 따라 다릅니다. 모델을 직접 실행할 때는 해당 모델에 맞춰 훈련된 추측 모델이나 헤드가 일반적으로 가장 잘 작동합니다. 호스팅 API를 호출할 때는 추측 디코딩이 추론 서버의 속성이며 요청의 필드가 아니기 때문에 선택할 수 없습니다. POST /v1/chat/completions의 어떤 매개변수도 이를 활성화하지 않습니다.

이 API는 뒤에 어떤 디코딩 방법이 있는지 명시하지 않으며, 이 글도 추측하지 않습니다. 이어지는 내용은 일반적인 기법, 자체 호스팅 시 방법 선택 방법, 외부에서 측정하고 조정할 수 있는 사항입니다.

추측 디코딩 작동 방식

언어 모델은 일반적으로 순전파 패스당 하나의 토큰을 생성하며, 각 패스는 메모리에서 모델 가중치를 읽어야 합니다. 이로 인해 생성 속도는 연산이 아닌 메모리 대역폭에 의해 제한됩니다. 추측 디코딩은 유휴 연산 능력을 활용합니다.

  1. 저렴한 draft 메커니즘이 다음 몇 개의 토큰(예: 4개)을 제안합니다.
  2. 전체 모델은 이 네 위치를 단일 순전파 패스로 평가합니다.
  3. 주 모델이 생성했을 것으로 예상되는 결과와 일치하는 가장 긴 접두사를 수용하고, 첫 번째 불일치 지점을 수정합니다.
  4. 생성은 그 지점부터 계속됩니다.

공개된 거절 샘플링 방식에서는 수용된 토큰이 메인 모델의 일반 샘플링과 동일한 분포를 따릅니다. 따라서 품질은 설계상 변하지 않습니다. 드래프트 예측이 정확할 경우 약 한 패스 비용으로 여러 토큰을 얻으며, 예측이 맞지 않을 경우 패스당 약 하나의 토큰을 얻습니다. 속도 향상은 문헌에서 수용률이라고 부르는 수용된 토큰의 평균 개수입니다.

방법 및 각 방법의 적합 시기

메서드드래프트 생성 방식적합한 용도
작은 드래프트 모델동일한 계열의 더 작은 모델이 토큰을 제안합니다.가까운 소형 형제 모델이 존재하는 일반 채팅
프롬프트 조회 / n-gram프롬프트에 이미 나타난 구문을 복사합니다.편집, 요약, 코드 재작성, 검색 답변
추가 디코딩 헤드 (Medusa 스타일)추가 헤드는 여러 미래 토큰을 예측합니다.학습 예산이 있는 자체 호스팅
기능 수준 추론 (EAGLE 스타일)경량 모듈은 모델의 자체 숨겨진 상태에서 예측합니다.학습된 모듈이 존재하는 자체 호스팅

vLLM 및 llama.cpp를 포함한 인기 있는 추론 엔진은 일부 형태로 추측 디코딩을 지원하지만, 옵션과 성숙도는 버전마다 다르므로 실행 중인 릴리스의 문서를 확인하십시오.

보편적으로 가장 좋은 방법은 없습니다. 프롬프트 조회는 설정 비용이 없으며 출력이 입력을 반복할 때 빛을 발합니다. 드래프트 모델은 타겟과 스타일이 일치할 때 가장 큰 도움을 줍니다. 학습된 헤드는 학습된 모델에서 일관된 개선을 제공합니다.

수용률이 속도 향상을 결정하는 이유

간단한 모델은 그 효과를 보여줍니다. 드래프터가 k개의 토큰을 제안하고 각각이 독립적으로 확률 p로 수락된다고 가정하면, 메인 모델은 패스당 평균적으로 (1 - p^(k+1)) / (1 - p)개의 토큰을 생성합니다. 이는 드래프트 생성에 소요된 시간을 무시한 것이므로 실제 이득은 더 작습니다. k = 4일 때:

수용률 p패스당 토큰 수해석
0.83.36드래프트가 잘 일치함; 큰 이득
0.51.94미미한 이득, 드래프트 비용에 쉽게 상쇄됨
0.31.43작은 이득; 전체적으로 더 느릴 수 있음

이 숫자들은 유명 방법을 선택하는 것보다 드래프터를 대상 모델에 맞게 맞추는 것이 왜 더 중요한지 설명합니다. p = 0.3일 때 평범한 드래프터는 일반 디코딩을 겨우 능가하는 반면, p = 0.8일 때 잘 맞는 드래프터는 패스당 3개 이상의 토큰을 생성합니다.

무검열 모델에서의 변화

방법 자체는 콘텐츠 정책과 무관합니다. 실제 문제는 드래프트 일치도입니다. 많은 소형 모델에는 거절 행동이 내장되어 있습니다. 무검열 대상 모델은 드래프터가 제안하지 않거나, 유보적으로 말할 내용들을 작성합니다. 드래프터가 면책 조항을 계속 예측하고 대상 모델이 장면을 계속 작성할 때, 수락률이 떨어지고 추가 드래프트 작업이 절약하는 시간보다 더 많은 시간을 소모할 수 있습니다.

이는 자체 호스팅 사용자를 위한 간단한 규칙을 제공합니다. 타겟과 같은 방향으로 튜닝된 드래프트를 사용하거나, 별도 모델이 필요 없는 방법(프롬프트 조회, 또는 타겟 자체에 학습된 헤드 및 모듈)을 사용하세요. 높은 temperature에서의 창의적 작문은 모든 드래프터에게 가장 어려운 사례이므로 자체 프롬프트로 테스트 실행을 통해 검증하세요. 무작위성은 일치도를 낮추며, 픽션은 경향이 뜨겁게 흐릅니다.

이 사이트의 API 모델은 독립적인 제공자가 운영하는 하나의 오픈 웨이트 모델로, 합법적인 성인 사용에 대해 콘텐츠 거절 없이 답변하도록 튜닝되었습니다. 미성년자가 관련된 성 콘텐츠는 어떤 설정에서도 허용되지 않습니다.

API 사용자로서 제어할 수 있는 사항

드래프터를 토글할 수는 없지만, 여러 요청 설정이 응답이 느껴지는 속도에 영향을 줍니다.

  • 응답을 스트리밍하십시오. stream: true를 사용하면 나머지 생성이 진행 중일 때 첫 번째 단어가 도착합니다. 서버의 트릭과 상관없이 체감 속도가 향상됩니다. 스트림은 종료될 때까지 동시성 슬롯을 유지한다는 점을 기억하십시오. 전체 키는 동시에 8개를 허용합니다.
  • 출력을 제한하세요. max_tokens은 선택 사항이지만, 최대 대기 시간과 비용을 제한합니다.
  • 낮은 온도 설정. 서버에서 추측을 사용하는 경우, 낮은 온도에서의 출력은 예측이 더 쉬워 속도가 더 빨라지는 경향이 있습니다. 이를 약속이 아닌 테스트해야 할 사항으로 간주하십시오.
  • 프롬프트를 짧게 유지하세요. 첫 번째 토큰이 나타나기 전에 처리할 입력이 적습니다.
  • 한도 내에서 병렬화하세요. 전체 키에서 최대 8개의 동시 요청과 분당 300개의 요청은 배치의 처리량을 향상시키지만, 하나의 응답이 더 빨라지지는 않습니다.

속도는 지불 금액에 영향을 주지 않습니다. 청구는 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며, 실패한 요청에는 요금이 부과되지 않습니다. 자세한 내용은 가격 책정 페이지를 참조하세요.

직접 측정하세요

제공업체의 속도 숫자라도 자체 프롬프트로 재현하기 전까지 누구의 속도 숫자도 신뢰하지 마십시오. 이 스크립트는 비스트리밍 요청의 시간을 측정하고 완료된 토큰을 실제 경과 시간(wall time)으로 나눕니다. 고정된 seed로 두 가지 온도에서 동일한 프롬프트를 실행합니다.

import time
from openai import OpenAI

client = OpenAI(base_url="https://api.cheapaiapis.com/v1", api_key="YOUR_KEY")

def run(prompt, temperature):
    t0 = time.time()
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=400,
        seed=7,
    )
    dt = time.time() - t0
    n = r.usage.completion_tokens
    return n, dt, n / dt

for temp in (0.0, 0.8):
    n, dt, tps = run("Write a short scene set in a lighthouse.", temp)
    print(f"temp={temp} tokens={n} seconds={dt:.1f} tokens/s={tps:.1f}")

다른 시간에 여러 번 실행하고 중앙값을 취하십시오. 이 수치에는 네트워크 시간과 대기열 시간이 포함되므로 엔드투엔드 수치이며, 이는 사용자가 경험하는 것입니다. 첫 번째 토큰까지의 시간을 원한다면 stream=True로 전환하고 첫 번째 청크가 도착하는 시간을 기록하십시오. quickstart은 스트리밍 호출을 보여줍니다.

이 용도로 무료 체험 크레딧을 사용할 수 있습니다. API 키 페이지에서 한 번 클릭하면 7일 동안 유효한 $0.50이 제공되며, 카드가 필요하지 않습니다. 위의 스크립트는 실행당 최대 400개의 출력 토큰을 사용하므로, 400개의 출력 토큰과 20개의 입력 토큰으로 10번 실행하는 데는 10 x ($0.000003 + $0.0002) = $0.00203이 들며, 이는 1센트의 5분의 1입니다.

셀프 호스팅을 계획 중이라면

추측 없이 시작하여 기준선을 기록하세요. 그런 다음 워크로드가 프롬프트에서 텍스트를 복사하는 경우 프롬프트 조회를 추가하세요. 그 다음 타겟 토크나이저와 튜닝 방향을 공유하는 드래프트 모델을 시도해 보세요. 실제 온도에서 초당 토큰 수와 승인된 드래프트 토큰의 비율을 측정하세요. 추가 메모리 사용량 대비 이득이 더 이상 의미 없어지면 멈추세요. 드래프트 모델도 GPU 공간을 필요로 하기 때문입니다.

자체 호스팅이 원하지 않는 작업보다 많다면, 토큰별 과금을 지원하는 호스팅 엔드포인트가 이 문제를 해결합니다. 저렴한 API의 흔한 오해와 사실에 있는 기사는 낮은 가격을 신뢰하기 전에 확인해야 할 내용을 다룹니다.

질문과 답변

문서 읽기
추측 디코딩은 답변의 품질을 변경합니까?

표준 수락 규칙으로 구현된 경우 영향을 미치지 않습니다. 수락된 토큰은 메인 모델의 분포를 따르기 때문입니다. 속도에만 영향을 줍니다.

요청 매개변수를 통해 추측 디코딩을 활성화할 수 있습니까?

아니요. 이는 추론 서버에서 구성됩니다. 이 API의 채팅 완료 요청에는 이를 활성화하는 항목이 없습니다.

온도 0에서 더 빠릅니까?

예측이 일치하기 쉽기 때문에 종종 그렇지만, 이는 방법과 프롬프트에 따라 다릅니다. 자체 워크로드의 시간을 측정하십시오.

롤플레이와 픽션에 가장 적합한 방법은 무엇인가요?

높은 온도에서 창의적인 텍스트는 작성하기 어렵습니다. 프롬프트 검색은 그 경우에 거의 도움이 되지 않으므로, 자체 호스팅 시에는 해당 모델로 학습된 드래프트 모델이나 헤드 모델이 더 나은 선택입니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기

https://api.cheapaiapis.com/v1