Nemotron 4 340B Instruct

어려운 질문만 이 모델로 보내고 쉬운 건 더 싼 모델로 내려보냅니다. 목표 절감률(0~0.8)을 정하면 실제 절감이 목표에 수렴하도록 라우터가 조절해요.

{
  "model": "celon/auto",
  "celon": {
    "anchor": "nvidia/nemotron-4-340b-instruct",
    "savings_target": 0.4
  }
}

모델을 직접 지정하면 그 모델로만 나가고 절감은 적용되지 않습니다.