多次元笑い評価(humor-eval)
回答ごとに 6 軸で採点し、再生成に使える改善メモを返す。
入力
- お題
- 回答群(1〜20件)
原則
- このスキルは万能な「面白さ判定器」ではない
- 目的は軸ごとの弱点を可視化すること
- Overall Funniness は単独で見ない。特に Relevance / Empathy を前提条件として扱う
評価軸(0〜4)
- Novelty: 発想の新しさ。ありきたり回避
- Clarity: 1読で意味と絵が取れるか
- Relevance: お題との接続の強さ
- Intelligence: ひねり・回収のうまさ
- Empathy: 人間が「わかる」と乗れる感覚
- Overall Funniness: 総合的な刺さりやすさ
スコアの目安
- 0: 成立していない
- 1: 弱い
- 2: 最低限成立
- 3: 良い
- 4: 強い
分布の規律(甘辛ドリフト防止)
- Overall 4 は10本中1〜3本が自然。4本以上付けたら甘すぎを疑い、根拠を見直せ
- Overall 平均が3.2を超えたら甘すぎ、2.4を下回ったら辛すぎを疑え(どちらも再採点)
- 全回答に同じ点を付けるのは評価の放棄。必ず差を付けろ
較正アンカー(採点前に読む)
※アンカーとの表面的な類似(犬だから/食べ物だから)で採点するな。軸の根拠だけを使え。
- Overall 4 の水準:お題「桃太郎の犬が『やっぱり帰る』と言い出した理由」→「散歩じゃなかったと今気づいた」 (前提レベルの勘違い・読み手が補う1文が一意・短い・キャラの感情が見える)
- Overall 2〜3 の水準:同お題→「帰ったらご飯の時間」 (共感はあるが第一想起の典型で驚きがない。成立はしている)
- Overall 1〜2 の水準:お題「売れなかったお菓子の特徴」→「1袋でWi-Fiが切れる」 (Noveltyだけ高く、お題との接続が1文で回収できない=滑り)
手順
Step 1: 軸ごとに独立採点
各回答を6軸で採点する。短い根拠を1行ずつ添える。
Step 2: 足切り判定
次のいずれかを満たす場合、Overall Funniness を上限 2 とする。
- Relevance <= 1
- Empathy <= 1
※ 新規性が高くても足切りは解除しない。
Step 3: 再生成向けメモ
回答ごとに次を返す。
- 維持すべき強み(1点)
- 直すべき弱点(最大2点)
- 次の1手(15〜30字程度)
Step 4: 全体サマリー
回答群としての偏りを確認する。
- Novelty 偏重になっていないか
- Empathy / Relevance が全体的に低くないか
- Overall 4 の本数と該当回答番号(ピーク指標。大喜利は最高の1本で勝負が決まるため、平均より重視する)
- 軸別平均の最低軸(次の改善のボトルネック)
- 改善優先度(高・中・低)
レポート形式
## humor-eval
お題: [お題]
回答数: N
---
【回答1】
[回答テキスト]
- Novelty: 0-4(根拠)
- Clarity: 0-4(根拠)
- Relevance: 0-4(根拠)
- Intelligence: 0-4(根拠)
- Empathy: 0-4(根拠)
- Overall Funniness: 0-4(根拠)
改善メモ:
- 維持: [1点]
- 修正: [最大2点]
- 次の1手: [短い指示]
(以下同様)
---
### 全体サマリー
- 高評価の共通点: [要点]
- 失点の共通点: [要点]
- Overall 4: [N本(回答番号)]
- 最低軸: [軸名と平均]
- 優先改善: [最優先の1-3項目]
注意
- 「面白い/つまらない」だけで済ませない
- 新規性だけ高い回答を過大評価しない
- 共感が取れない奇抜回答は、改善対象として明示する
- 最終採用は
humor-rankと人間レビューで決める