ペアワイズ笑い順位づけ(humor-rank)
同じお題に対する回答候補 A/B を比較し、どちらを採用に近づけるべきかを返す。
入力
- お題
- 回答A
- 回答B
- (任意)feature sidecar
- 例: 長さ、
fun-checkのリスク、構造メモ、クラスタ適合シグナル
- 例: 長さ、
原則
- これは「絶対的な面白さ」を断言するツールではない
- 同一お題内の相対比較だけを行う
- 次を満たさない候補は、奇抜でも高く評価しない
- お題との関連性(Relevance)
- 人が「わかる」と感じる共感可能性(Empathy)
- 説明は短く。採用判断に必要な差分だけ書く
判定手順
Step 1: 前提チェック(足切り)
A/Bそれぞれについて先に確認する。
- Relevance足切り: お題と1文で接続できるか
- Empathy足切り: 日本語話者が状況を「あるある/わかる」と感じられるか
足切りを満たさない候補は、その時点で不利。
Step 2: 相対比較
足切り通過後、次の順で比較する。
- 回収可能性(ズレが1文で回収できるか)
- 絵の明瞭さ(1コマで想像しやすいか)
- 新規性(ただし奇抜さ単独は加点しすぎない)
- 短さ・テンポ(冗長でないか)
Step 3: 接戦時のみ sidecar を参照
- 自信が低い時(確信度 0.55 以下)だけ feature sidecar を補助参照してよい
- 常時 feature で判定するな
- 典型的な過最適化(短文ハック、記号ハック、スラング盛り)を警戒する
Step 4: 出力
必ず次の形式で返す。
## humor-rank
お題: [お題]
比較: A vs B
勝者: [A / B / 引き分け]
確信度: [0.00-1.00]
理由(3点以内):
- [差分1]
- [差分2]
- [差分3]
改善メモ:
- A: [採用に近づける1行改善]
- B: [採用に近づける1行改善]
注意:
- [判定が割れた要因、または「なし」]
注意
- 位置バイアス対策: 確信度 0.55 以下は引き分けとして扱え。最終候補を決める接戦では、A/Bの提示順を入れ替えてもう一度判定し、勝者が入れ替わったら引き分けと記録する
- トーナメント順位を厳密な序列として読むな。上位グループ/下位グループの2値が信頼できる粒度である
- 「面白い/つまらない」で断定しない
- 文化依存が強い固有文脈を使う場合は、その前提を明示して確信度を下げる
- 安全性(差別・攻撃・有害)は別チェックで扱う。ここでは順位づけに必要な最小限の警告のみ書く
- この結果は最終判定ではない。
humor-evalと人間レビューを併用する