Nvidia Nemotron Nano 9B V2

어려운 질문만 이 모델로 보내고 쉬운 건 더 싼 모델로 내려보냅니다. 목표 절감률(0~0.8)을 정하면 실제 절감이 목표에 수렴하도록 라우터가 조절해요.

{
  "model": "celon/auto",
  "celon": {
    "anchor": "nvidia/nvidia-nemotron-nano-9b-v2",
    "savings_target": 0.4
  }
}

모델을 직접 지정하면 그 모델로만 나가고 절감은 적용되지 않습니다.