ペア比較ランキングについて

より良い意思決定の科学。

ペア比較は新しい考えではありません。心理学、経済学、意思決定科学のほぼ 1 世紀にわたる研究で、検討され、検証され、裏付けられてきました。

1927 サーストンが手法を定式化
900+ 19 分野で発表された応用例
14 ペア比較がスケールに勝ると示した独立研究
タイプライター、メモ帳、鉛筆

心理物理学から役員会議室へ

1927 年に定式化され、その後何度も再現されてきた手法。

サーストン『A Law of Comparative Judgment』、シカゴ大学、1927 年。

ペア比較の思想史は、ある実践的な問題から始まります。自然な単位をもたないものを、どう測るのか。

シカゴ大学の心理学者ルイス・レオン・サーストンが示した答えは、物事を直接ペアで比べることでした。1927 年の論文『A Law of Comparative Judgment』は、この洞察を精密な数学モデルにまとめました。

「一対比較法は、他のどの尺度構成法よりも信頼性の高い心理的価値の尺度をもたらす。」

Louis Leon Thurstone · Psychological Review · 1927

サーストンの洞察は経験的な観察に基づいていました。人は「1 から 10 で言うと、これはどれくらいうるさいか」よりも「この 2 つのうちどちらがうるさいか」のほうが、はるかに正確に答えられるのです。

ペアがスケールより優れている理由

評価する際の認知的負荷は、見かけより大きいものです。

戦略上の優先事項の重要度を 1 から 10 で評価してもらうとき、相手には複数の認知作業を同時に求めています。この過程は、各段階で系統的な誤差を生みます。

中でも最も有害なのがアンカリング・バイアスです。最初に評価した項目は、その後の評価すべてに影響しがちです。トヴェルスキーとカーネマン(1974)の研究は、アンカリング効果が大きく、修正しにくいことを示しました。

もう 1 つの誤差の原因はスケールの圧縮です。実際には、多くの回答者がスケールの両端を避けて中央に回答を集めます。だからこそ、12 項目の優先順位を尋ねたアンケートが、12 項目すべて「とても重要」という結果になりがちなのです。

やり取りはこれだけ。すべての項目が他のすべての項目と比べられるまで繰り返します。

昇給
または
休暇を 1 週間追加
より安い価格
または
より速い配送
シニアを 1 人採用
または
ジュニアを 2 人採用

10 点満点で評価してもらうと、どちらも 9 点になります。どちらか選んでもらうと、1 秒で答えが返ってきます — しかも本心で。

研究メモ
評価スケールに対するペア比較の優位性は、14 件の独立した研究で繰り返し示されています(Dillon, Frederick & Tangpanichdee, 1985)。

好みが順位になるまで

集計方法はシンプルで透明性があり、数学的な裏付けがあります。

順位付けする項目が n 個あるとき、各項目は他のすべての項目とちょうど 1 回ずつ比較されます。必要な比較の総数は n(n−1)/2 です。

個人の回答の集計

個人のランキングセッションでは、結果は勝ち数から直接決まります。各項目は比較に 1 回勝つごとに 1 点を得ます。最終的なリストは勝ち数の多い順に並びます。

グループの回答の集計

グループセッションでは、各参加者の比較を集計してから最終順位を計算します。どの比較でも、グループの勝ち数はすべての参加者の個別投票の合計です。

重要なのは、集計結果から意見の分かれ方も見えることです。グループの意見が割れる項目はデータに現れます — そしてそれこそが、グループセッションで最も価値ある成果であることが少なくありません。

非推移性について
まれに、ペア比較から非推移的な結果が生じることがあります。A が B に勝ち、B が C に勝ち、しかし C が A に勝つ。これはコンドルセのパラドックスとして知られています。

診断ツールとしてのグループセッション

順位付きリストだけが成果ではありません。意見の分かれ方も同じくらい重要です。

従来のグループ意思決定の手法には、共通の根本的な欠陥があります。意見が述べられる順番に左右されるのです。最初に発言した人がグループの基準を作ってしまいます。

これは個人の失敗ではなく、グループダイナミクスから予測できる帰結です。研究では一貫して、グループ討議は独立した個人の判断を集計するよりも不正確な集団判断を生むことが示されています。この効果は隠れたプロフィール問題と呼ばれることもあります。

「グループは一部のメンバーだけが持つ情報を共有することに一貫して失敗し、その失敗は偶然ではなく系統的である。」

Stasser & Titus · Journal of Personality and Social Psychology · 1985
ファシリテーター向けメモ
グループセッションを最も効果的に使うには、議論の前に結果を見せることです。後ではありません。誰かが発言する前に、グループ全体の考えを見せることで、その後の対話の質が変わります。

使われている場面

心理音響学から AI の学習まで — この手法は応用が利きます。

戦略立案とマネジメント

階層分析法(AHP)は、防衛、インフラ、医療、行政などで重大な戦略的意思決定に使われてきました。2008 年のレビューでは、19 の分野で 900 件を超える応用例が発表されていると報告されています。

機械学習と AI

現在の大規模言語モデルの学習に使われる人間のフィードバックによる強化学習(RLHF)は、完全にペア比較に基づいています。評価者はモデルの 2 つの出力を見て、より良いほうを選びます。

スポーツと競技のランキング

チェスやサッカーなど数多くの競技で使われるイロレーティングは、ブラッドリー–テリーのペア比較モデルを直接応用したものです。

さらに読む

一次資料と主要文献。

01
Thurstone, L. L. (1927)
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
02
Bradley, R. A. & Terry, M. E. (1952)
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
03
Saaty, T. L. (1977)
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
04
Tversky, A. & Kahneman, D. (1974)
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
05
Stasser, G. & Titus, W. (1985)
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
06
Christiano, P. et al. (2017)
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
この手法を試してみませんか?

個人またはグループのセッションを 2 分以内に設定できます。始めるのにアカウントは不要です。

新しいランキングを作成 →