JJEV 学习站
首页/RAG 资料筛选

USE CASE / Noul + Score

RAG 资料筛选

判断片段是否包含回答证据,并评估相关度

一条代表性的输入(state)

用户问题与候选文档片段

问题类型

Noul + Score

问题说明(建议用英文写给模型)

判断片段是否包含回答证据,并评估相关度

低于阈值时

代码保留候选并交给生成模型;最终答案仍需核引

相关性不等于答案可信

先为问题和片段保留来源、版本与时间。Noul 可以问“片段是否直接包含相关证据”,Score 可以按预先定义的尺度排序,但二者不能证明资料真实或仍然有效。生成最终回答前还要检查引用是否真的支持那句话。

三个必须测的边界样本

  1. 退款政策过期:即使相关也不能直接用
  2. 只含相同关键词:不等于有答案证据
  3. 多个冲突片段:标记冲突并复核来源

示例请求

这是设计草案,不是 Jev 的实际回答或准确率测试。

{
  "state": "Question: What is the refund period? Excerpt: Refunds are accepted within 14 days.",
  "model": "jev-latest",
  "questions": {
    "decision": {
      "type": "noul",
      "instructions": "Does the excerpt contain evidence directly relevant to the question?"
    }
  }
}

边界与回退

相关不等于真实;不能把检索评分当事实核验。

先看原始任务:客服真正需要什么?

从客户原话、核实订单、设计三道问题,到阅读示意结果、处理边界案例和上线评估,完整走一遍 Jev 工作流。

完整实战:一条“显示送达却没收到”的工单,如何设计 Jev 决策流程