How Deep Learning Computes

nano-vLLM Kernel Integration Points

마지막 수정:

inferencenano-vllmkerneloptimization

Kernel 최적화는 아무 곳에나 붙이는 일이 아니다.

먼저 serving loop에서 교체 가능한 지점을 찾아야 한다.

model layer:
RMSNorm, MLP, attention projection

attention:
prefill attention, decode attention, KV cache read/write

sampling:
logits processing, top-k/top-p, argmax

좋은 integration point는 세 조건을 만족한다.

correctness reference가 있다.
standalone benchmark가 있다.
serving loop에서 호출 경로가 명확하다.

확인

  • standalone kernel benchmark가 있어도 integration point가 필요한 이유는 무엇인가?
  • RMSNorm과 attention 중 serving 성능에 더 큰 영향을 줄 가능성이 높은 것은 무엇인가?
  • correctness reference 없이 kernel을 교체하면 어떤 위험이 생기는가?
먼저 보면 좋은 카드nano-vLLM Benchmark Baselinenano-vLLM의 TTFT, TPOT, throughput, peak memory를 kernel 최적화 전 기준선으로 측정한다.먼저 보면 좋은 카드Optimized Attention Benchmarkmanual attention, PyTorch SDPA, optimized attention backend를 prefill/decode workload에서 비교한다.다음에 보기 좋은 카드nano-vLLM Attention Kernel Swapmanual/SDPA/optimized attention을 nano-vLLM prefill/decode loop에 연결하고 전후 성능을 비교한다.다음에 보기 좋은 카드nano-vLLM RMSNorm Kernel SwapPyTorch RMSNorm을 custom/optimized RMSNorm kernel로 교체하고 model output과 serving metric을 비교한다.다음에 보기 좋은 카드nano-vLLM Sampling Kernel Candidatelogits에서 token을 고르는 sampling 경로가 언제 kernel 최적화 후보가 되는지 판단한다.