USE CASE / Noul + Score
RAG 资料筛选
判断片段是否包含回答证据,并评估相关度
一条代表性的输入(state)
用户问题与候选文档片段
问题类型
Noul + Score
问题说明(建议用英文写给模型)
判断片段是否包含回答证据,并评估相关度
低于阈值时
代码保留候选并交给生成模型;最终答案仍需核引
相关性不等于答案可信
先为问题和片段保留来源、版本与时间。Noul 可以问“片段是否直接包含相关证据”,Score 可以按预先定义的尺度排序,但二者不能证明资料真实或仍然有效。生成最终回答前还要检查引用是否真的支持那句话。
三个必须测的边界样本
- 退款政策过期:即使相关也不能直接用
- 只含相同关键词:不等于有答案证据
- 多个冲突片段:标记冲突并复核来源
示例请求
这是设计草案,不是 Jev 的实际回答或准确率测试。
{
"state": "Question: What is the refund period? Excerpt: Refunds are accepted within 14 days.",
"model": "jev-latest",
"questions": {
"decision": {
"type": "noul",
"instructions": "Does the excerpt contain evidence directly relevant to the question?"
}
}
}边界与回退
相关不等于真实;不能把检索评分当事实核验。
先看原始任务:客服真正需要什么?
从客户原话、核实订单、设计三道问题,到阅读示意结果、处理边界案例和上线评估,完整走一遍 Jev 工作流。
完整实战:一条“显示送达却没收到”的工单,如何设计 Jev 决策流程