Věda o lepších rozhodnutích.

Od psychofyziky po zasedačky

Metoda formalizovaná v roce 1927 — a od té doby stále znovu ověřovaná.

Intelektuální dějiny párového porovnávání začínají praktickým problémem: jak měřit věci, které nemají přirozenou jednotku?

Odpověď, kterou navrhl psycholog Louis Leon Thurstone z Chicagské univerzity, zněla porovnávat věci přímo, po dvojicích. Jeho článek z roku 1927, A Law of Comparative Judgment, převedl tuto myšlenku do přesného matematického modelu.

Thurstonova myšlenka vycházela z empirického pozorování: lidé mnohem lépe odpovídají na otázku „která z těchto dvou věcí je hlasitější?“ než „jak hlasitá je tato věc na škále od jedné do deseti?“

Proč páry fungují lépe než škály

Kognitivní zátěž hodnocení je vyšší, než se zdá.

Když někoho požádáte, aby na škále od jedné do deseti ohodnotil důležitost strategické priority, žádáte ho o několik kognitivních operací současně. Tento proces vnáší systematickou chybu do každého kroku.

Nejškodlivější z těchto chyb je efekt ukotvení. První hodnocená položka má sklon ovlivnit všechna další hodnocení; výzkum Tverského a Kahnemana (1974) ukázal, že efekty ukotvení jsou velké a pozoruhodně odolné vůči korekci.

Druhým zdrojem chyby je stlačení škály. V praxi se většina respondentů vyhýbá krajním hodnotám a odpovědi soustřeďuje doprostřed — proto dotazník s dvanácti prioritami tak často vrátí dvanáct věcí, které jsou všechny „velmi důležité“.

Jak se z preferencí stane pořadí

Metoda agregace je jednoduchá, transparentní a matematicky podložená.

Máte-li seřadit n položek, každá se porovná s každou další právě jednou. Celkový počet potřebných porovnání je n(n−1)/2.

Agregace jednotlivých odpovědí

U individuálních relací se výsledek odvozuje přímo z počtu výher: každá položka dostane jeden bod za každé vyhrané porovnání. Výsledný seznam řadí položky od nejvíce výher po nejméně.

Agregace odpovědí skupiny

U skupinových relací se porovnání každého účastníka sečtou dříve, než se vypočítá konečné pořadí. Celkový počet výher skupiny v kterémkoli porovnání je součtem jednotlivých hlasů všech účastníků.

Podstatné je, že agregovaný výsledek ukazuje i tvar neshody. Položky, které skupinu rozdělují, jsou v datech vidět — a to bývá nejcennějším výstupem skupinové relace.

Skupinová relace jako diagnostický nástroj

Seřazený seznam není jediným výstupem. Tvar neshody je stejně důležitý.

Běžné metody skupinového rozhodování mají společnou zásadní vadu: jsou citlivé na pořadí, v jakém zazní názory. První, kdo promluví, skupinu ukotví.

Nejde o selhání jednotlivců — je to předvídatelný důsledek skupinové dynamiky. Výzkum opakovaně zjistil, že skupinové diskuse vedou k méně přesným společným úsudkům než agregace nezávislých soukromých úsudků. Tento jev se někdy nazývá problém skrytého profilu.

Kde se používá

Od psychoakustiky po trénování AI — metoda škáluje.

Strategické plánování a řízení

Analytický hierarchický proces (AHP) se používá při strategických rozhodnutích s vysokými sázkami v obraně, infrastruktuře, zdravotnictví a státní správě. Přehledová studie z roku 2008 identifikovala přes 900 publikovaných aplikací v 19 různých oborech.

Strojové učení a AI

Posilované učení ze zpětné vazby lidí (RLHF), technika používaná k trénování dnešních velkých jazykových modelů, stojí výhradně na párovém porovnávání. Lidští hodnotitelé vidí dva výstupy modelu a vybírají ten lepší.

Sport a soutěžní žebříčky

Systém Elo, používaný v šachu, fotbale a desítkách dalších soutěžních oborů, je přímou aplikací párového modelu Bradleyho–Terryho.

Další četba

Primární zdroje a klíčové texty.