JEV / 判断設計ガイド
分類タスクで Jev と LLM を公平に比較する
宣伝上の倍率ではなく、同じ仕事の品質、全体時間、総費用を比べます。
仕事とデータを固定する
同じ匿名化した入力と、人が付けた正解を使います。簡単な例と曖昧な例を含めます。
処理全体を比較する
LLM には適切な構造化出力と検証を用意します。Jev 側にも state 作成、しきい値、人の確認、後続処理を含めます。
結果をすべて示す
正解率、重大な誤り、p50/p95、同時実行数、入力長、千件当たり総費用、人の確認率を報告します。公式の大きな倍率は特定の評価結果です。
最低限必要な比較結果
サンプルの出典と件数、人による正解付けの規則、モデルと版、地域、同時実行数、p50/p95、千件当たりの総費用、失敗例、人の確認率を示します。独自に測定していなければ出典の範囲を明記します。