Despre clasamentul pe perechi
Știința deciziilor mai bune.
Comparația pe perechi nu este o idee nouă. A fost studiată, testată și validată de-a lungul a aproape un secol de cercetare în psihologie, economie și știința deciziei.
De la psihofizică la sălile de consiliu
O metodă formalizată în 1927 — și confirmată de atunci iar și iar.
Istoria intelectuală a comparației pe perechi începe cu o problemă practică: cum măsori lucruri care nu au o unitate naturală?
Răspunsul, propus de psihologul Louis Leon Thurstone de la Universitatea din Chicago, a fost să compari lucrurile direct, pe perechi. Articolul său din 1927, A Law of Comparative Judgment, a transformat această idee într-un model matematic precis.
„Metoda comparațiilor pe perechi produce o scală a valorilor psihologice mai fiabilă decât orice altă metodă de scalare.”
Louis Leon Thurstone · Psychological Review · 1927Ideea lui Thurstone se sprijinea pe o observație empirică: oamenii răspund mult mai bine la „care dintre acestea două e mai puternic?” decât la „cât de puternic e acesta, pe o scală de la unu la zece?”
De ce perechile funcționează mai bine decât scalele
Efortul cognitiv al notării este mai mare decât pare.
Când cereți cuiva să noteze importanța unei priorități strategice pe o scală de la unu la zece, îi cereți să facă mai multe operații cognitive deodată. Acest proces introduce o eroare sistematică la fiecare pas.
Cea mai dăunătoare dintre aceste erori este efectul de ancorare. Primul element notat tinde să influențeze toate notele următoare; cercetarea lui Tversky și Kahneman (1974) a arătat că efectele de ancorare sunt mari și remarcabil de rezistente la corectare.
A doua sursă de eroare este comprimarea scalei. În practică, majoritatea respondenților evită capetele scalei și grupează răspunsurile la mijloc — de aceea un sondaj cu douăsprezece priorități returnează atât de des douăsprezece lucruri „foarte importante”.
Întreaga interacțiune, repetată iar și iar până când fiecare element a fost comparat cu fiecare altul.
Cereți oricui să le noteze din zece și amândouă primesc nouă. Cereți-i să aleagă și răspunde într-o secundă — și chiar așa crede.
Cum devin preferințele un clasament
Metoda de agregare este simplă, transparentă și întemeiată matematic.
Pentru n elemente de clasat, fiecare element este comparat cu fiecare altul exact o dată. Numărul total de comparații necesare este n(n−1)/2.
Agregarea răspunsurilor individuale
În sesiunile individuale, rezultatul rezultă direct din numărul de victorii: fiecare element primește un punct pentru fiecare comparație câștigată. Lista finală ordonează elementele de la cele mai multe victorii la cele mai puține.
Agregarea răspunsurilor de grup
În sesiunile de grup, comparațiile fiecărui participant sunt agregate înainte de calculul clasamentului final. Totalul victoriilor grupului la orice comparație este suma voturilor individuale ale tuturor participanților.
Esențial este că rezultatul agregat arată și forma dezacordului. Elementele care împart grupul sunt vizibile în date — și adesea acesta este cel mai valoros rezultat al unei sesiuni de grup.
Sesiunea de grup ca instrument de diagnostic
Lista ordonată nu este singurul rezultat. Forma dezacordului este la fel de importantă.
Metodele convenționale de decizie în grup au un defect fundamental comun: sunt sensibile la ordinea în care sunt exprimate opiniile. Primul care vorbește ancorează grupul.
Nu este un eșec al indivizilor — este o consecință previzibilă a dinamicii de grup. Cercetările au arătat constant că discuțiile de grup produc judecăți colective mai puțin precise decât agregarea unor judecăți private independente. Efectul este numit uneori problema profilului ascuns.
„Grupurile nu reușesc în mod constant să împărtășească informațiile deținute doar de unii membri, iar acest eșec este sistematic, nu aleatoriu.”
Stasser & Titus · Journal of Personality and Social Psychology · 1985Unde se folosește
De la psihoacustică la antrenarea AI — metoda se extinde.
Planificare strategică și management
Procesul de ierarhizare analitică (AHP) a fost folosit în decizii strategice cu miză mare în apărare, infrastructură, sănătate și administrație. O analiză din 2008 a identificat peste 900 de aplicații publicate în 19 domenii diferite.
Învățare automată și AI
Învățarea prin recompensă din feedback uman (RLHF), tehnica folosită pentru antrenarea modelelor lingvistice mari moderne, se bazează în întregime pe comparația pe perechi. Evaluatorii umani văd două răspunsuri ale modelului și îl aleg pe cel mai bun.
Sport și clasamente competitive
Sistemul Elo, folosit în șah, fotbal și zeci de alte domenii competitive, este o aplicație directă a modelului pe perechi Bradley–Terry.
Lecturi suplimentare
Surse primare și texte esențiale.
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Configurați o sesiune individuală sau de grup în mai puțin de două minute. Nu e nevoie de cont pentru a începe.