USE CASE / Noul + Score
代理循环进展判断
判断是否朝目标推进、重复或陷入停滞
一条代表性的输入(state)
目标、最近几步动作及观察结果
问题类型
Noul + Score
问题说明(建议用英文写给模型)
判断是否朝目标推进、重复或陷入停滞
低于阈值时
代码决定继续、换策略、停止或求助
用可观察事件定义进展
不要只把代理的自我描述送给模型。记录最近三步的工具调用、文件差异、测试结果、已完成目标和失败次数。Noul 可以判断轨迹是否显示前进,但代码仍要对循环次数、时间和预算设硬上限。
三个必须测的边界样本
- 同一文件反复修改后撤销:疑似循环
- 测试失败但错误类别改变:可能有进展
- 没有新证据却声称完成:要求可验证产物
示例请求
这是设计草案,不是 Jev 的实际回答或准确率测试。
{
"state": "The agent edited the same file and reverted it three times.",
"model": "jev-latest",
"questions": {
"decision": {
"type": "noul",
"instructions": "Is the agent making measurable progress toward the goal?"
}
}
}边界与回退
必须同时记录可验证的事实,避免模型仅凭叙述放行。
先看原始任务:客服真正需要什么?
从客户原话、核实订单、设计三道问题,到阅读示意结果、处理边界案例和上线评估,完整走一遍 Jev 工作流。
完整实战:一条“显示送达却没收到”的工单,如何设计 Jev 决策流程