Pareittaisesta paremmuusjärjestyksestä
Tiede paremmista päätöksistä.
Pareittainen vertailu ei ole uusi ajatus. Sitä on tutkittu, testattu ja validoitu lähes vuosisadan ajan psykologian, taloustieteen ja päätöksentekotieteen tutkimuksessa.
Psykofysiikasta johtoryhmiin
Vuonna 1927 muotoiltu menetelmä — ja toistettu siitä lähtien.
Pareittaisen vertailun aatehistoria alkaa käytännön ongelmasta: miten mitata asioita, joilla ei ole luonnollista yksikköä?
Chicagon yliopiston psykologi Louis Leon Thurstone ehdotti vastaukseksi asioiden vertaamista suoraan, pareittain. Hänen vuonna 1927 julkaistu artikkelinsa A Law of Comparative Judgment muotoili tämän oivalluksen täsmälliseksi matemaattiseksi malliksi.
Thurstonen oivallus perustui empiiriseen havaintoon: ihmiset vastaavat huomattavasti paremmin kysymykseen ”kumpi näistä kahdesta on kovaäänisempi?” kuin kysymykseen ”kuinka kovaääninen tämä on asteikolla yhdestä kymmeneen?”
Miksi parit toimivat asteikkoja paremmin
Arvioinnin kognitiivinen kuormitus on suurempi kuin miltä näyttää.
Kun pyydät jotakuta arvioimaan strategisen prioriteetin tärkeyttä asteikolla yhdestä kymmeneen, pyydät häntä suorittamaan useita kognitiivisia operaatioita samanaikaisesti. Tämä prosessi tuo järjestelmällistä virhettä jokaiseen vaiheeseen.
Haitallisin näistä virheistä on ankkurointivinouma. Ensimmäisenä arvioitu kohde vaikuttaa yleensä kaikkiin myöhempiin arvioihin; Tverskyn ja Kahnemanin tutkimus (1974) osoitti, että ankkurointivaikutukset ovat sekä suuria että hämmästyttävän vaikeita korjata.
Toinen virhelähde on asteikon kutistuminen. Käytännössä useimmat vastaajat välttelevät asteikon ääripäitä ja keskittävät vastauksensa keskelle — minkä vuoksi kahdentoista prioriteetin kysely palauttaa niin usein kaksitoista asiaa, jotka kaikki ovat ”erittäin tärkeitä”.
Koko vuorovaikutus, toistettuna yhä uudelleen, kunnes jokaista kohdetta on verrattu jokaiseen muuhun kohteeseen.
Pyydä ketä tahansa arvioimaan nämä asteikolla yhdestä kymmeneen, ja molemmat saavat yhdeksän. Pyydä häntä valitsemaan, ja hän vastaa sekunnissa — ja tarkoittaa sitä.
Miten preferensseistä tulee järjestys
Yhdistämismenetelmä on yksinkertainen, läpinäkyvä ja matemaattisesti perusteltu.
Kun järjestettäviä kohteita on n, jokaista kohdetta verrataan jokaiseen muuhun kohteeseen täsmälleen kerran. Tarvittavien vertailujen kokonaismäärä on n(n−1)/2.
Yksittäisten vastausten yhdistäminen
Kunkin kohteen pistemäärä on sen voittoprosentti: osuus vertailuista, jotka se voitti, ja tasapeli tai ohitus lasketaan puolikkaaksi. Kohteiden järjestäminen voittojen mukaan on yksinkertaista ja läpinäkyvää, ja tutkimusten mukaan se pärjää hyvin monimutkaisempiin tilastollisiin malleihin verrattuna (Shah & Wainwright, 2018).
Ryhmän vastausten yhdistäminen
Ryhmäistunnoissa kunkin osallistujan vertailut yhdistetään ennen lopullisen järjestyksen laskemista. Ryhmän voittojen summa missä tahansa vertailussa on kaikkien osallistujien yksittäisten äänten summa.
Ratkaisevaa on, että yhdistetty tulos paljastaa myös erimielisyyden muodon. Ryhmää jakavat kohteet näkyvät tiedoissa — ja tämä on usein ryhmäistunnon arvokkain tulos.
Ryhmäistunto diagnostisena työkaluna
Järjestetty luettelo ei ole ainoa tulos. Erimielisyyden muoto on yhtä tärkeä.
Perinteisillä ryhmäpäätöksenteon menetelmillä on yhteinen perustavanlaatuinen heikkous: ne ovat herkkiä sille, missä järjestyksessä mielipiteet esitetään. Ensimmäisenä puhuva ankkuroi ryhmän.
Ryhmillä on taipumus keskustella siitä, minkä kaikki jo tietävät, ja hyödyntää liian vähän sitä, minkä vain yksi jäsen tietää. Tätä kutsutaan piilotetun profiilin ongelmaksi (Stasser & Titus, 1985). Kun jokaisen valinnat kerätään yksityisesti ennen keskustelua, jokainen näkemys tulee pöydälle.
Missä sitä käytetään
Psykoakustiikasta tekoälyn koulutukseen — menetelmä skaalautuu.
Strateginen suunnittelu ja johtaminen
Analyyttistä hierarkiaprosessia (AHP) on käytetty merkittävissä strategisissa päätöksissä puolustuksessa, infrastruktuurissa, terveydenhuollossa ja julkishallinnossa. Vuonna 2008 tehdyssä katsauksessa tunnistettiin yli 900 julkaistua sovellusta 19 eri alalla.
Koneoppiminen ja tekoäly
Ihmispalautteesta oppiva vahvistusoppiminen (RLHF), jota käytetään nykyaikaisten suurten kielimallien koulutukseen, perustuu kokonaan pareittaiseen vertailuun. Ihmisarvioijille näytetään kaksi mallin tuotosta, ja heitä pyydetään valitsemaan parempi.
Urheilu ja kilpailullinen järjestys
Shakissa, jalkapallossa ja kymmenillä muilla kilpailualoilla käytetty Elo-luokitus liittyy läheisesti Bradleyn–Terryn parivertailumalliin.
Lisälukemista
Alkuperäislähteet ja keskeiset tekstit.
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Simple, Robust and Optimal Ranking from Pairwise Comparisons. Journal of Machine Learning Research.
Määritä yksilö- tai ryhmäistunto alle kahdessa minuutissa. Aloittaminen ei vaadi tiliä.