Για την κατάταξη ανά ζεύγη
Η επιστήμη των καλύτερων αποφάσεων.
Η σύγκριση ανά ζεύγη δεν είναι νέα ιδέα. Έχει μελετηθεί, δοκιμαστεί και επικυρωθεί σε σχεδόν έναν αιώνα έρευνας στην ψυχολογία, την οικονομία και την επιστήμη των αποφάσεων.
Από την ψυχοφυσική στις αίθουσες συσκέψεων
Μια μέθοδος που διατυπώθηκε το 1927 — και επιβεβαιώνεται από τότε ξανά και ξανά.
Η πνευματική ιστορία της σύγκρισης ανά ζεύγη ξεκινά με ένα πρακτικό πρόβλημα: πώς μετράς πράγματα που δεν έχουν φυσική μονάδα;
Η απάντηση, που πρότεινε ο ψυχολόγος Louis Leon Thurstone στο Πανεπιστήμιο του Σικάγου, ήταν να συγκρίνεις τα πράγματα απευθείας, ανά ζεύγη. Το άρθρο του του 1927, A Law of Comparative Judgment, μετέτρεψε αυτή τη διαίσθηση σε ακριβές μαθηματικό μοντέλο.
«Η μέθοδος των ζευγαρωτών συγκρίσεων δίνει μια κλίμακα ψυχολογικών τιμών πιο αξιόπιστη από οποιαδήποτε άλλη μέθοδο κλιμάκωσης.»
Louis Leon Thurstone · Psychological Review · 1927Η διαίσθηση του Thurstone βασιζόταν σε μια εμπειρική παρατήρηση: οι άνθρωποι απαντούν πολύ καλύτερα στο «ποιο από τα δύο είναι πιο δυνατό;» παρά στο «πόσο δυνατό είναι αυτό, σε κλίμακα από ένα έως δέκα;»
Γιατί τα ζεύγη λειτουργούν καλύτερα από τις κλίμακες
Το γνωστικό φορτίο της βαθμολόγησης είναι μεγαλύτερο απ' όσο φαίνεται.
Όταν ζητάτε από κάποιον να βαθμολογήσει τη σημασία μιας στρατηγικής προτεραιότητας σε κλίμακα από ένα έως δέκα, του ζητάτε να κάνει πολλές γνωστικές λειτουργίες ταυτόχρονα. Αυτή η διαδικασία εισάγει συστηματικό σφάλμα σε κάθε βήμα.
Το πιο επιζήμιο από αυτά τα σφάλματα είναι η προκατάληψη αγκύρωσης. Το πρώτο στοιχείο που βαθμολογείται τείνει να επηρεάζει όλες τις επόμενες βαθμολογίες· η έρευνα των Tversky και Kahneman (1974) έδειξε ότι τα φαινόμενα αγκύρωσης είναι μεγάλα και εντυπωσιακά ανθεκτικά στη διόρθωση.
Μια δεύτερη πηγή σφάλματος είναι η συμπίεση της κλίμακας. Στην πράξη οι περισσότεροι ερωτώμενοι αποφεύγουν τα άκρα της κλίμακας και συγκεντρώνουν τις απαντήσεις στη μέση — γι' αυτό μια έρευνα με δώδεκα προτεραιότητες τόσο συχνά επιστρέφει δώδεκα πράγματα που είναι όλα «πολύ σημαντικά».
Όλη η αλληλεπίδραση, ξανά και ξανά, μέχρι κάθε στοιχείο να έχει συγκριθεί με κάθε άλλο.
Ζητήστε από οποιονδήποτε να τα βαθμολογήσει με άριστα το δέκα και και τα δύο παίρνουν εννιά. Ζητήστε του να διαλέξει και απαντά σε ένα δευτερόλεπτο — και το εννοεί.
Πώς οι προτιμήσεις γίνονται κατάταξη
Η μέθοδος συνάθροισης είναι απλή, διαφανής και μαθηματικά θεμελιωμένη.
Με n στοιχεία προς κατάταξη, κάθε στοιχείο συγκρίνεται με κάθε άλλο ακριβώς μία φορά. Ο συνολικός αριθμός συγκρίσεων είναι n(n−1)/2.
Συνάθροιση ατομικών απαντήσεων
Στις ατομικές συνεδρίες το αποτέλεσμα προκύπτει απευθείας από τις νίκες: κάθε στοιχείο παίρνει έναν βαθμό για κάθε σύγκριση που κερδίζει. Η τελική λίστα κατατάσσει τα στοιχεία από τις περισσότερες νίκες στις λιγότερες.
Συνάθροιση ομαδικών απαντήσεων
Στις ομαδικές συνεδρίες οι συγκρίσεις κάθε συμμετέχοντα συναθροίζονται πριν υπολογιστεί η τελική κατάταξη. Το σύνολο νικών της ομάδας σε κάθε σύγκριση είναι το άθροισμα των ατομικών ψήφων όλων των συμμετεχόντων.
Κρίσιμο είναι ότι το συναθροισμένο αποτέλεσμα δείχνει και το σχήμα της διαφωνίας. Τα στοιχεία που διχάζουν την ομάδα φαίνονται στα δεδομένα — και αυτό είναι συχνά το πιο πολύτιμο αποτέλεσμα μιας ομαδικής συνεδρίας.
Η ομαδική συνεδρία ως διαγνωστικό εργαλείο
Η ταξινομημένη λίστα δεν είναι το μόνο αποτέλεσμα. Το σχήμα της διαφωνίας είναι εξίσου σημαντικό.
Οι συνηθισμένες μέθοδοι ομαδικής λήψης αποφάσεων έχουν ένα κοινό θεμελιώδες ελάττωμα: επηρεάζονται από τη σειρά με την οποία εκφράζονται οι απόψεις. Όποιος μιλά πρώτος αγκυρώνει την ομάδα.
Αυτό δεν είναι αποτυχία των ατόμων — είναι προβλέψιμη συνέπεια της δυναμικής της ομάδας. Η έρευνα έχει δείξει σταθερά ότι οι ομαδικές συζητήσεις παράγουν λιγότερο ακριβείς συλλογικές κρίσεις από τη συνάθροιση ανεξάρτητων ιδιωτικών κρίσεων. Το φαινόμενο αυτό λέγεται μερικές φορές πρόβλημα του κρυφού προφίλ.
«Οι ομάδες αποτυγχάνουν σταθερά να μοιραστούν πληροφορίες που κατέχουν μόνο μεμονωμένα μέλη, και αυτή η αποτυχία είναι συστηματική, όχι τυχαία.»
Stasser & Titus · Journal of Personality and Social Psychology · 1985Πού χρησιμοποιείται
Από την ψυχοακουστική ως την εκπαίδευση AI — η μέθοδος κλιμακώνεται.
Στρατηγικός σχεδιασμός και διοίκηση
Η Αναλυτική Ιεραρχική Διαδικασία (AHP) έχει χρησιμοποιηθεί σε στρατηγικές αποφάσεις υψηλού ρίσκου στην άμυνα, τις υποδομές, την υγεία και τη δημόσια διοίκηση. Μια ανασκόπηση του 2008 εντόπισε πάνω από 900 δημοσιευμένες εφαρμογές σε 19 διαφορετικά πεδία.
Μηχανική μάθηση και AI
Η ενισχυτική μάθηση από ανθρώπινη ανατροφοδότηση (RLHF), η τεχνική με την οποία εκπαιδεύονται τα σύγχρονα μεγάλα γλωσσικά μοντέλα, βασίζεται εξ ολοκλήρου στη σύγκριση ανά ζεύγη. Οι αξιολογητές βλέπουν δύο απαντήσεις του μοντέλου και διαλέγουν την καλύτερη.
Αθλητισμός και ανταγωνιστικές κατατάξεις
Το σύστημα Elo, που χρησιμοποιείται στο σκάκι, στο ποδόσφαιρο και σε δεκάδες άλλα ανταγωνιστικά πεδία, είναι άμεση εφαρμογή του μοντέλου ζευγών Bradley–Terry.
Περαιτέρω ανάγνωση
Πρωτογενείς πηγές και βασικά κείμενα.
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Στήστε ατομική ή ομαδική συνεδρία σε λιγότερο από δύο λεπτά. Δεν χρειάζεται λογαριασμός για να ξεκινήσετε.