使用智能模型路由
智能模型路由决定一次 Agent 工作在当前阶段使用哪个模型。HiRoute 只在允许重选的自然边界做决定;普通工具续轮保持原模型,让同一阶段可以持续复用前缀缓存。
下面以桌面应用页面说明产品概念。Linux 无界面版使用相同的路由合同,通过 routing options/list/show/preview/apply 完成配置;先阅读 Linux 无界面版安装 和 HiRoute CLI,并以当前安装返回的 schema 为准。
先选择一种路由模式
在“智能路由”中创建或编辑一份计划,然后选择“怎样使用模型”:
| 模式 | 适合什么情况 | 行为 |
|---|---|---|
| 固定模型 | 需要可预测的候选顺序 | 按顺序尝试候选;能力不满足或暂时不可用的候选会被跳过 |
| 智能省钱 | 希望按任务需要选择经济或主力组合 | 简单任务先用省钱组合,复杂任务直接使用主力组合 |
| 免费优先 | 希望优先使用免费模型 | 按固定顺序尝试免费候选,可选择停止或进入主力兜底 |
候选模型必须能够满足请求需要的文本、图片、工具和上下文等能力。开始向客户端交付回答后,HiRoute 不会在同一回答中透明换模。
配置智能省钱
- 在“省钱组合”中加入适合常规、边界清晰任务的模型。
- 在“主力组合”中加入处理复杂任务的模型。
- 选择省钱组合不可用时是否继续主力组合。复杂任务不会反向降级到省钱组合。
- 先使用内置规则即可发布。需要 Jev、LLM 或自定义策略时,再切换到外部决策服务。

外部服务不是开始路由的前提。若启用,它通过通用 Decision API 选择当前计划允许的分支,并可评价上一执行阶段;官方 Jev 决策器 是一份可自行部署的参考实现。
服务能看到被接受的回答文本、按顺序排列的工具名和粗粒度结果,但看不到工具参数与输出。Messages 映射显式 is_error;Responses 映射显式 function output 与供应商 web search 状态。Chat 工具结果、custom output 或缺少显式状态时记为 unknown,HiRoute 不从自由文本结果中猜测失败。
理解切换边界
新用户输入会产生新的决策机会。Agent 自主工作期间,上下文压缩及随后的重建也会成为重新选择分支、评价上一阶段的自然机会。是否能继承已有决策由 HiRoute 路由引擎判断,客户端无需额外识别或上报压缩事件。连续追加的工具调用仍留在当前阶段。
重新决策不等于一定换模。如果原分支仍适合后续工作,HiRoute 可以继续使用它。不同模型不能共享 KV cache,但把选择放在本来就要重建上下文的边界,可以避免为了分类在普通工具续轮中主动打断稳定前缀。
发布并连接 Agent
选择“启用”发布路由。随后在“Agent”页面选择目标 Agent,打开“模型路由”,启用 HiRoute 模型路由,勾选这份计划并选择默认项。
保存只代表配置已经应用;按页面提供的“再试一次”或真实业务请求验证模型入口,避免把保存成功误认为上游推理成功。
查看实际效果
- 在“会话”中查看一次请求实际选择的计划、分支和模型。
- 在计划的“运行表现”中查看当前版本所选模型在时间范围内的阶段胜任度。
- 未评分不是 0 分,部分历史也不是完整结论;评分应结合计划版本、覆盖范围和证据理解。
胜任度用于阻止冒险降本,复杂度用于提供降本机会。HiRoute 不会根据一次低分自动修改或拆分计划。