A páros rangsorolásról
A jobb döntések tudománya.
A páros összehasonlítás nem új ötlet. Csaknem egy évszázadnyi pszichológiai, közgazdasági és döntéstudományi kutatás vizsgálta, tesztelte és igazolta.
A pszichofizikától a tárgyalótermekig
Egy 1927-ben formalizált módszer — amelyet azóta is újra és újra igazolnak.
A páros összehasonlítás eszmetörténete egy gyakorlati problémával kezdődik: hogyan mérjünk olyan dolgokat, amelyeknek nincs természetes mértékegységük?
A választ Louis Leon Thurstone pszichológus javasolta a Chicagói Egyetemen: hasonlítsuk össze a dolgokat közvetlenül, párosával. 1927-es tanulmánya, az A Law of Comparative Judgment, pontos matematikai modellé formálta ezt a felismerést.
„A páros összehasonlítás módszere megbízhatóbb pszichológiai értékskálát ad, mint bármely más skálázási módszer.”
Louis Leon Thurstone · Psychological Review · 1927Thurstone felismerése egy empirikus megfigyelésen alapult: az emberek sokkal jobban tudnak válaszolni arra, hogy „e kettő közül melyik a hangosabb?”, mint arra, hogy „mennyire hangos ez egy egytől tízig terjedő skálán?”
Miért működnek jobban a párok, mint a skálák
Az értékelés kognitív terhe nagyobb, mint amilyennek látszik.
Ha valakit arra kérsz, hogy egy stratégiai prioritás fontosságát egytől tízig értékelje, egyszerre több kognitív műveletet kérsz tőle. Ez a folyamat minden lépésben szisztematikus hibát visz be.
E hibák közül a legkárosabb a horgonyhatás. Az elsőként értékelt elem hajlamos befolyásolni az összes későbbi értékelést; Tversky és Kahneman (1974) kutatása kimutatta, hogy a horgonyhatás erős, és figyelemre méltóan ellenáll a korrekciónak.
A hiba második forrása a skálaösszenyomódás. A gyakorlatban a legtöbb válaszadó kerüli a skálák szélső értékeit, és a válaszokat középre tömöríti — ezért ad vissza egy tizenkét prioritásról szóló kérdőív olyan gyakran tizenkét „nagyon fontos” dolgot.
Ez az egész interakció, újra és újra ismételve, amíg minden elemet össze nem hasonlítottak minden másikkal.
Kérj meg bárkit, hogy pontozza ezeket tízből, és mindkettő kilencest kap. Kérd meg, hogy válasszon, és egy másodperc alatt felel — és komolyan is gondolja.
Hogyan lesz a preferenciákból rangsor
Az összesítési módszer egyszerű, átlátható és matematikailag megalapozott.
n rangsorolandó elem esetén minden elemet pontosan egyszer hasonlítunk össze minden másikkal. A szükséges összehasonlítások száma n(n−1)/2.
Egyéni válaszok összesítése
Egyéni rangsoroló munkamenetekben az eredmény közvetlenül a győzelmek számából adódik: minden elem egy pontot kap minden megnyert összehasonlításért. A végső rangsor a legtöbb győzelemtől a legkevesebbig rendezi az elemeket.
Csoportos válaszok összesítése
Csoportos munkamenetekben a végső rangsor kiszámítása előtt összesítjük minden résztvevő összehasonlításait. Bármely összehasonlításban a csoport győzelmeinek összege az összes résztvevő egyéni szavazatainak összege.
Döntő, hogy az összesített eredmény a nézeteltérés alakját is megmutatja. A csoportot megosztó elemek látszanak az adatokban — és gyakran ez a csoportos munkamenet legértékesebb eredménye.
A csoportos munkamenet mint diagnosztikai eszköz
Nem a rangsorolt lista az egyetlen eredmény. A nézeteltérés alakja ugyanilyen fontos.
A hagyományos csoportos döntéshozatali módszereknek közös, alapvető hibájuk van: érzékenyek arra, milyen sorrendben hangzanak el a vélemények. Aki elsőként szólal meg, lehorgonyozza a csoportot.
Ez nem az egyének kudarca — hanem a csoportdinamika kiszámítható következménye. A kutatások következetesen azt mutatják, hogy a csoportos viták kevésbé pontos közös ítéleteket hoznak, mint a független, egyéni ítéletek összesítése. Ezt a jelenséget néha rejtett profil problémának nevezik.
„A csoportok következetesen nem osztják meg azt az információt, amely csak egyes tagjaik birtokában van, és ez a kudarc nem véletlenszerű, hanem szisztematikus.”
Stasser & Titus · Journal of Personality and Social Psychology · 1985Hol használják
A pszichoakusztikától az MI-tanításig — a módszer skálázható.
Stratégiai tervezés és menedzsment
Az analitikus hierarchia folyamatot (AHP) nagy tétű stratégiai döntésekben alkalmazták a védelem, az infrastruktúra, az egészségügy és a kormányzat területén. Egy 2008-as áttekintés több mint 900 publikált alkalmazást azonosított 19 különböző területen.
Gépi tanulás és MI
Az emberi visszajelzésen alapuló megerősítéses tanulás (RLHF), amellyel a mai nagy nyelvi modelleket tanítják, teljes egészében a páros összehasonlításra épül. Az emberi értékelők két modellválaszt látnak, és kiválasztják a jobbat.
Sport és versenyrangsorok
A sakkban, a labdarúgásban és sok tucat más versenyterületen használt Élő-pontrendszer a Bradley–Terry-féle páros modell közvetlen alkalmazása.
További olvasnivaló
Elsődleges források és kulcsszövegek.
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Állíts be egyéni vagy csoportos munkamenetet két percen belül. A kezdéshez nem kell fiók.