JEV / 判断設計ガイド
Jev の信頼度：しきい値と人の確認
確率を処理の振り分けに使い、正解の保証と混同しない方法。
間違いの費用から考える
自動処理できるもの、追加情報が必要なもの、人が確認すべきものを分けます。しきい値は普遍的な数値ではなく、自分の正解付きデータで調整します。
境界事例を集める
候補の重複、情報不足、否定文、多言語、未知の分類を含めます。正解、モデルの出力、最終処理を記録します。
処理全体を測る
正解率だけでなく、重大な誤振り分け、人への引き継ぎ率、全体時間と費用を見ます。モデル更新後には再確認します。
確率、confidence、正解率は異なる
Choice と Score の probabilities は一件の候補の分布で、confidence はその形から算出される値です。正解率は正解付きの多くの例から測ります。一件の 0.9 は将来の十件中九件の正解を保証しません。Noul に confidence はありません。
動作によって条件を変える
取り消せる担当ラベルと返金では影響が違います。前者の条件は自分の事例で検証し、後者には本人、注文、規則、権限の確認も必要です。同じ confidence でも同じ危険度ではありません。
誤りから条件を調整する
言語、業務、誤りの損失で例を分け、しきい値ごとの自動処理率、人の確認率、重大な誤りを記録します。別の例で確認し、モデルや候補、利用者の変化後には再評価します。
確認できる処理規則
Choice の confidence が低い結果は人へ回します。しきい値を超える場合も、最初は読み取りや取り消せる処理に限定します。Noul に confidence 項目はなく、noul の確率と質問の意味から別の規則を作ります。
進捗はこのブラウザーだけに保存されます