CleanRanking
O rankingu parami

Nauka o lepszych decyzjach.

Porównywanie parami to nie nowy pomysł. Badano je, testowano i potwierdzano przez blisko sto lat badań w psychologii, ekonomii i naukach o decyzjach.

1927 Thurstone formalizuje metodę
1952 Bradley i Terry modelują wybory w parach
Maszyna do pisania, notatnik i ołówek
01

Od psychofizyki do sal zarządu

Metoda sformalizowana w 1927 roku — i od tamtej pory wielokrotnie potwierdzana.

A Law of Comparative Judgment Thurstone’a, University of Chicago, 1927.

Historia porównywania parami zaczyna się od praktycznego problemu: jak mierzyć rzeczy, które nie mają naturalnej jednostki?

Odpowiedzią, zaproponowaną przez psychologa Louisa Leona Thurstone’a z University of Chicago, było bezpośrednie porównywanie rzeczy w parach. Jego artykuł z 1927 roku, A Law of Comparative Judgment, ujął tę myśl w precyzyjny model matematyczny.

Spostrzeżenie Thurstone’a opierało się na obserwacji empirycznej: ludzie znacznie lepiej odpowiadają na pytanie „który z tych dwóch dźwięków jest głośniejszy?” niż „jak głośny jest ten dźwięk w skali od jednego do dziesięciu?”

02

Dlaczego pary działają lepiej niż skale

Obciążenie poznawcze oceniania jest większe, niż się wydaje.

Gdy prosisz kogoś o ocenę ważności priorytetu strategicznego w skali od jednego do dziesięciu, prosisz go o wykonanie kilku operacji poznawczych jednocześnie. Ten proces na każdym kroku wprowadza błąd systematyczny.

Najbardziej szkodliwym z tych błędów jest efekt zakotwiczenia. Pierwszy oceniany element wpływa na wszystkie kolejne oceny; badania Tversky’ego i Kahnemana (1974) wykazały, że efekty zakotwiczenia są zarówno silne, jak i wyjątkowo odporne na korektę.

Drugim źródłem błędu jest kompresja skali. W praktyce większość respondentów unika krańców skali i skupia odpowiedzi pośrodku — dlatego ankieta o dwunastu priorytetach tak często zwraca dwanaście rzeczy, z których wszystkie są „bardzo ważne”.

Cała interakcja, powtarzana raz za razem, aż każdy element zostanie porównany z każdym innym.

Podwyżka
LUB
Dodatkowy tydzień urlopu
Niższa cena
LUB
Szybsza dostawa
Jedna osoba na stanowisko seniorskie
LUB
Dwie osoby juniorskie

Poproś kogokolwiek o ocenę w skali do dziesięciu, a obie opcje dostaną dziewiątkę. Poproś o wybór, a odpowie w sekundę — i będzie tak myśleć naprawdę.

03

Jak preferencje stają się rankingiem

Metoda agregacji jest prosta, przejrzysta i ugruntowana matematycznie.

Mając n elementów do uszeregowania, każdy element jest porównywany z każdym innym dokładnie raz. Łączna liczba wymaganych porównań wynosi n(n−1)/2.

Agregacja odpowiedzi indywidualnych

Wynik każdego elementu to jego odsetek wygranych: część jego porównań, które wygrał, przy czym remis lub pominięcie liczy się jako połowa. Porządkowanie elementów według wygranych jest proste i przejrzyste, a badania pokazują, że dobrze wypada w zestawieniu z bardziej złożonymi modelami statystycznymi (Shah & Wainwright, 2018).

Agregacja odpowiedzi grupowych

W sesjach grupowych porównania każdego uczestnika są agregowane przed obliczeniem końcowego rankingu. Grupowa suma wygranych dla danego porównania to suma indywidualnych głosów wszystkich uczestników.

Co kluczowe, zagregowany wynik pokazuje też kształt niezgody. Elementy, które dzielą grupę, są widoczne w danych — i często jest to najcenniejszy wynik sesji grupowej.

O nieprzechodniości
W rzadkich przypadkach porównywanie parami może dać wyniki nieprzechodnie — gdy A wygrywa z B, B wygrywa z C, ale C wygrywa z A. Zjawisko to nazywa się paradoksem Condorceta.
04

Sesja grupowa jako narzędzie diagnostyczne

Uszeregowana lista nie jest jedynym wynikiem. Kształt niezgody jest równie ważny.

Konwencjonalne metody grupowego podejmowania decyzji mają wspólną podstawową wadę: są wrażliwe na kolejność, w jakiej wyrażane są opinie. Pierwsza osoba, która zabiera głos, zakotwicza grupę.

Grupy częściej rozmawiają o tym, co wszyscy już wiedzą, i słabo wykorzystują to, co wie tylko jedna osoba. To problem ukrytego profilu (Stasser & Titus, 1985). Zebranie wyborów każdej osoby prywatnie, przed jakąkolwiek dyskusją, wykłada na stół każdy punkt widzenia.

Uwaga dla prowadzącego
Najskuteczniej wykorzystasz sesję grupową, ujawniając wynik przed rozpoczęciem dyskusji, a nie po niej. Pokazanie grupie, co zbiorowo myśli — zanim ktokolwiek zabierze głos — zmienia jakość rozmowy, która następuje potem.
05

Gdzie się jej używa

Od psychoakustyki po trenowanie AI — metoda się skaluje.

Planowanie strategiczne i zarządzanie

Analityczny proces hierarchiczny (AHP) stosowano przy strategicznych decyzjach o wysokiej stawce w obronności, infrastrukturze, ochronie zdrowia i administracji. Przegląd z 2008 roku wskazał ponad 900 opublikowanych zastosowań w 19 różnych dziedzinach.

Uczenie maszynowe i AI

Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF), technika używana do trenowania współczesnych dużych modeli językowych, opiera się w całości na porównywaniu parami. Oceniającym pokazuje się dwie odpowiedzi modelu i prosi o wybranie lepszej.

Sport i rankingi rywalizacyjne

System rankingowy Elo, stosowany w szachach, piłce nożnej i dziesiątkach innych dziedzin rywalizacji, jest blisko spokrewniony z modelem porównań parami Bradleya–Terry’ego.

06

Dalsza lektura

Źródła pierwotne i kluczowe teksty.

01
Thurstone, L. L. (1927)
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
02
Bradley, R. A. & Terry, M. E. (1952)
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
03
Saaty, T. L. (1977)
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
04
Tversky, A. & Kahneman, D. (1974)
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
05
Stasser, G. & Titus, W. (1985)
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
06
Christiano, P. et al. (2017)
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
07
Shah, N. B. & Wainwright, M. J. (2018)
Simple, Robust and Optimal Ranking from Pairwise Comparisons. Journal of Machine Learning Research.

Gotowy, by wypróbować tę metodę?

Skonfiguruj sesję indywidualną lub grupową w niecałe dwie minuty. Na start nie potrzebujesz konta.

Utwórz sesję →