CleanRanking
Über das paarweise Ranking

Die Wissenschaft besserer Entscheidungen.

Der Paarvergleich ist keine neue Idee. Er wurde in fast einem Jahrhundert Forschung in Psychologie, Wirtschaftswissenschaft und Entscheidungswissenschaft untersucht, getestet und bestätigt.

1927 Thurstone formalisiert die Methode
1952 Bradley und Terry modellieren Paarentscheidungen
Eine Schreibmaschine, ein Notizblock und ein Bleistift
01

Von der Psychophysik in die Vorstandsetage

Eine 1927 formalisierte Methode — und seitdem immer wieder bestätigt.

Thurstones A Law of Comparative Judgment, University of Chicago, 1927.

Die Ideengeschichte des Paarvergleichs beginnt mit einem praktischen Problem: Wie misst man Dinge, die keine natürliche Einheit haben?

Die Antwort, vorgeschlagen vom Psychologen Louis Leon Thurstone an der University of Chicago, lautete, Dinge direkt zu vergleichen, paarweise. Sein Aufsatz von 1927, A Law of Comparative Judgment, fasste diese Erkenntnis in ein präzises mathematisches Modell.

Thurstones Erkenntnis beruhte auf einer empirischen Beobachtung: Menschen beantworten „Welches von beiden ist lauter?“ deutlich besser als „Wie laut ist das auf einer Skala von eins bis zehn?“

02

Warum Paare besser funktionieren als Skalen

Die kognitive Last einer Bewertung ist höher, als es scheint.

Wenn Sie jemanden bitten, die Bedeutung einer strategischen Priorität auf einer Skala von eins bis zehn zu bewerten, verlangen Sie mehrere kognitive Operationen gleichzeitig. Dieser Prozess bringt bei jedem Schritt systematische Fehler ein.

Der schädlichste dieser Fehler ist der Ankereffekt. Das zuerst bewertete Element beeinflusst tendenziell alle folgenden Bewertungen; Forschungen von Tversky und Kahneman (1974) zeigten, dass Ankereffekte groß und bemerkenswert resistent gegen Korrektur sind.

Eine zweite Fehlerquelle ist die Skalenkompression. In der Praxis meiden die meisten Befragten die Enden einer Skala und häufen ihre Antworten in der Mitte — deshalb liefert eine Umfrage zu zwölf Prioritäten so oft zwölf Dinge, die alle „sehr wichtig“ sind.

Die ganze Interaktion, immer wieder wiederholt, bis jedes Element mit jedem anderen verglichen wurde.

Eine Gehaltserhöhung
ODER
Eine Woche mehr Urlaub
Niedrigerer Preis
ODER
Schnellere Lieferung
Eine erfahrene Fachkraft
ODER
Zwei Berufseinsteiger

Bitten Sie jemanden, diese mit Punkten von eins bis zehn zu bewerten, und beide bekommen eine Neun. Bitten Sie um eine Wahl, und die Antwort kommt in einer Sekunde — und ist ernst gemeint.

03

Wie aus Präferenzen ein Ranking wird

Die Aggregationsmethode ist einfach, transparent und mathematisch fundiert.

Bei n zu rankenden Elementen wird jedes Element genau einmal mit jedem anderen verglichen. Insgesamt sind n(n−1)/2 Vergleiche nötig.

Aggregation einzelner Antworten

Der Wert jedes Elements ist seine Gewinnquote: der Anteil seiner Vergleiche, den es gewonnen hat, wobei ein Unentschieden oder ein Überspringen als halber Sieg zählt. Elemente nach Siegen zu ordnen ist einfach und nachvollziehbar, und die Forschung zeigt, dass es sich gegenüber komplexeren statistischen Modellen gut behauptet (Shah & Wainwright, 2018).

Aggregation von Gruppenantworten

Bei Gruppensitzungen werden die Vergleiche aller Teilnehmer aggregiert, bevor das endgültige Ranking berechnet wird. Die Gruppensumme der Siege für einen Vergleich ist die Summe der einzelnen Stimmen aller Teilnehmer.

Entscheidend ist, dass das aggregierte Ergebnis auch die Form der Uneinigkeit sichtbar macht. Elemente, die die Gruppe spalten, sind in den Daten erkennbar — und das ist oft das wertvollste Ergebnis einer Gruppensitzung.

Zur Intransitivität
In seltenen Fällen kann der Paarvergleich intransitive Ergebnisse liefern — A schlägt B, B schlägt C, aber C schlägt A. Das ist als Condorcet-Paradoxon bekannt.
04

Die Gruppensitzung als Diagnosewerkzeug

Die Rangliste ist nicht das einzige Ergebnis. Die Form der Uneinigkeit ist genauso wichtig.

Herkömmliche Methoden der Gruppenentscheidung teilen einen grundlegenden Fehler: Sie hängen von der Reihenfolge ab, in der Meinungen geäußert werden. Wer zuerst spricht, setzt den Anker für die Gruppe.

Gruppen sprechen eher über das, was alle schon wissen, und nutzen zu wenig, was nur ein Mitglied weiß. Das ist das Hidden-Profile-Problem (Stasser & Titus, 1985). Werden die Entscheidungen jeder Person vor jeder Diskussion privat erfasst, kommt jede Sichtweise auf den Tisch.

Hinweis für Moderatoren
Am wirksamsten ist eine Gruppensitzung, wenn das Ergebnis vor der Diskussion aufgedeckt wird, nicht danach. Der Gruppe zu zeigen, was sie gemeinsam denkt — bevor jemand gesprochen hat —, verändert die Qualität des folgenden Gesprächs.
05

Wo sie eingesetzt wird

Von der Psychoakustik bis zum KI-Training — die Methode skaliert.

Strategische Planung und Management

Der Analytic Hierarchy Process wird bei folgenreichen strategischen Entscheidungen in Verteidigung, Infrastruktur, Gesundheitswesen und Verwaltung eingesetzt. Eine Übersichtsarbeit von 2008 zählte über 900 veröffentlichte Anwendungen in 19 verschiedenen Fachgebieten.

Maschinelles Lernen und KI

Reinforcement Learning from Human Feedback (RLHF), die Technik, mit der moderne große Sprachmodelle trainiert werden, beruht vollständig auf Paarvergleichen. Menschlichen Bewertern werden zwei Modellausgaben gezeigt, und sie wählen die bessere aus.

Sport und Wettkampf-Rankings

Das Elo-System, das im Schach, im Fußball und in Dutzenden anderen Wettkampfbereichen genutzt wird, ist eng mit dem paarweisen Bradley-Terry-Modell verwandt.

06

Weiterführende Literatur

Primärquellen und Schlüsseltexte.

01
Thurstone, L. L. (1927)
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
02
Bradley, R. A. & Terry, M. E. (1952)
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
03
Saaty, T. L. (1977)
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
04
Tversky, A. & Kahneman, D. (1974)
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
05
Stasser, G. & Titus, W. (1985)
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
06
Christiano, P. et al. (2017)
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
07
Shah, N. B. & Wainwright, M. J. (2018)
Simple, Robust and Optimal Ranking from Pairwise Comparisons. Journal of Machine Learning Research.

Bereit, die Methode auszuprobieren?

Richten Sie in unter zwei Minuten eine Einzel- oder Gruppensitzung ein. Zum Starten ist kein Konto nötig.

Sitzung erstellen →