O rangiranju u parovima
Nauka o boljim odlukama.
Poređenje u parovima nije nova ideja. Proučavano je, testirano i potvrđivano kroz gotovo stoljeće istraživanja u psihologiji, ekonomiji i nauci o odlučivanju.
Od psihofizike do sala za sastanke
Metoda formalizovana 1927. — i od tada iznova potvrđivana.
Intelektualna historija poređenja u parovima počinje praktičnim problemom: kako izmjeriti stvari koje nemaju prirodnu jedinicu?
Odgovor koji je predložio psiholog Louis Leon Thurstone s Univerziteta u Chicagu bio je da se stvari porede direktno, u parovima. Njegov rad iz 1927., A Law of Comparative Judgment, pretočio je taj uvid u precizan matematički model.
„Metoda poređenja u parovima daje skalu psiholoških vrijednosti pouzdaniju od bilo koje druge metode skaliranja.“
Louis Leon Thurstone · Psychological Review · 1927Thurstoneov uvid temeljio se na empirijskom zapažanju: ljudi mnogo bolje odgovaraju na pitanje „koje je od ovo dvoje glasnije?“ nego na „koliko je ovo glasno, na skali od jedan do deset?“
Zašto parovi rade bolje od skala
Kognitivno opterećenje ocjenjivanja veće je nego što se čini.
Kada nekoga zamolite da ocijeni važnost strateškog prioriteta na skali od jedan do deset, tražite da istovremeno izvede nekoliko kognitivnih operacija. Taj proces unosi sistematsku grešku u svaki korak.
Najštetnija od tih grešaka je efekat sidrenja. Prva ocijenjena stavka obično utiče na sve naredne ocjene; istraživanje Tverskog i Kahnemana (1974) pokazalo je da su efekti sidrenja veliki i izuzetno otporni na ispravljanje.
Drugi izvor greške je sabijanje skale. U praksi većina ispitanika izbjegava krajeve skale i gomila odgovore u sredini — zato anketa s dvanaest prioriteta tako često vrati dvanaest stvari koje su sve „veoma važne“.
Cijela interakcija, ponovljena iznova dok svaka stavka ne bude poređena sa svakom drugom.
Zamolite bilo koga da ih ocijeni od deset i oboje dobiju devetku. Zamolite ga da izabere i odgovara za sekundu — i misli tako.
Kako sklonosti postaju poredak
Metoda zbrajanja je jednostavna, transparentna i matematički utemeljena.
Za n stavki koje treba rangirati, svaka stavka se poredi sa svakom drugom tačno jednom. Ukupan broj potrebnih poređenja je n(n−1)/2.
Zbrajanje pojedinačnih odgovora
Kod pojedinačnih sesija rezultat proizlazi direktno iz broja pobjeda: svaka stavka dobija bod za svako dobijeno poređenje. Konačna lista ređa stavke od najviše do najmanje pobjeda.
Zbrajanje grupnih odgovora
Kod grupnih sesija poređenja svakog učesnika zbrajaju se prije izračuna konačnog poretka. Ukupan broj pobjeda grupe u bilo kojem poređenju zbir je pojedinačnih glasova svih učesnika.
Ključno je da zbirni rezultat otkriva i oblik neslaganja. Stavke koje dijele grupu vidljive su u podacima — i to je često najvredniji ishod grupne sesije.
Grupna sesija kao dijagnostički alat
Poredana lista nije jedini rezultat. Oblik neslaganja jednako je važan.
Uobičajene metode grupnog odlučivanja imaju zajedničku osnovnu manu: osjetljive su na redoslijed kojim se iznose mišljenja. Ko prvi progovori, usidri grupu.
To nije neuspjeh pojedinaca — to je predvidiva posljedica grupne dinamike. Istraživanja dosljedno pokazuju da grupne rasprave daju manje tačne zajedničke procjene od zbira nezavisnih ličnih procjena. Ovaj efekat se ponekad naziva problem skrivenog profila.
„Grupe dosljedno ne uspijevaju podijeliti informacije koje imaju samo pojedini članovi, a taj neuspjeh je sistematski, ne slučajan.“
Stasser & Titus · Journal of Personality and Social Psychology · 1985Gdje se koristi
Od psihoakustike do treniranja AI-a — metoda se skalira.
Strateško planiranje i upravljanje
Analitički hijerarhijski proces (AHP) koristi se u strateškim odlukama visokog rizika u odbrani, infrastrukturi, zdravstvu i javnoj upravi. Pregled iz 2008. godine utvrdio je više od 900 objavljenih primjena u 19 različitih oblasti.
Mašinsko učenje i AI
Učenje s potkrepljenjem iz ljudskih povratnih informacija (RLHF), tehnika kojom se treniraju savremeni veliki jezički modeli, u potpunosti se oslanja na poređenje u parovima. Ljudi ocjenjivači vide dva odgovora modela i biraju bolji.
Sport i takmičarska rangiranja
Elo sistem, koji se koristi u šahu, fudbalu i desetinama drugih takmičarskih oblasti, direktna je primjena Bradley–Terryjevog modela u parovima.
Dodatno čitanje
Primarni izvori i ključni tekstovi.
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Postavite pojedinačnu ili grupnu sesiju za manje od dvije minute. Za početak ne treba nalog.