जोड़ीवार रैंकिंग के बारे में

बेहतर निर्णयों का विज्ञान

जोड़ीवार तुलना कोई नया विचार नहीं है। मनोविज्ञान, अर्थशास्त्र और निर्णय विज्ञान में लगभग एक सदी के शोध में इसका अध्ययन, परीक्षण और सत्यापन हुआ है।

1927 Thurstone ने पद्धति को औपचारिक रूप दिया
1952 ब्रैडली और टेरी ने जोड़ीवार चुनावों का मॉडल बनाया
एक टाइपराइटर, एक नोटपैड और एक पेंसिल

मनोभौतिकी से बोर्डरूम तक

1927 में औपचारिक रूप दी गई एक पद्धति — और तब से बार-बार दोहराई गई।

Thurstone की A Law of Comparative Judgment, University of Chicago, 1927।

जोड़ीवार तुलना का बौद्धिक इतिहास एक व्यावहारिक समस्या से शुरू होता है: उन चीज़ों को कैसे मापें जिनकी कोई प्राकृतिक इकाई नहीं है?

University of Chicago के मनोवैज्ञानिक Louis Leon Thurstone ने इसका उत्तर सुझाया: चीज़ों की सीधे, जोड़ियों में तुलना करें। उनके 1927 के शोधपत्र A Law of Comparative Judgment ने इस अंतर्दृष्टि को एक सटीक गणितीय मॉडल का रूप दिया।

Thurstone की अंतर्दृष्टि एक अनुभवजन्य अवलोकन पर आधारित थी: लोग “एक से दस के पैमाने पर यह कितना तेज़ है?” की तुलना में “इन दोनों में से कौन अधिक तेज़ है?” का उत्तर कहीं बेहतर देते हैं।

जोड़ियाँ स्केल से बेहतर क्यों काम करती हैं

रेटिंग का संज्ञानात्मक बोझ जितना दिखता है, उससे अधिक है।

जब आप किसी से एक से दस के पैमाने पर किसी रणनीतिक प्राथमिकता के महत्व को रेट करने को कहते हैं, तो आप उनसे एक साथ कई संज्ञानात्मक क्रियाएँ करने को कह रहे होते हैं। यह प्रक्रिया हर कदम पर व्यवस्थित त्रुटि लाती है।

इन त्रुटियों में सबसे हानिकारक है एंकरिंग पूर्वाग्रह। पहला रेट किया गया आइटम बाद की सभी रेटिंग को प्रभावित करता है; Tversky और Kahneman (1974) के शोध ने दिखाया कि एंकरिंग के प्रभाव बड़े भी होते हैं और सुधार के प्रति उल्लेखनीय रूप से प्रतिरोधी भी।

त्रुटि का दूसरा स्रोत है स्केल संपीड़न। व्यवहार में अधिकांश उत्तरदाता स्केल के चरम सिरों से बचते हैं और जवाबों को बीच में केंद्रित कर देते हैं — इसीलिए बारह प्राथमिकताओं का सर्वे अक्सर बारह ऐसी चीज़ें लौटाता है जो सभी “बहुत महत्वपूर्ण” होती हैं।

पूरी प्रक्रिया, बार-बार दोहराई गई, जब तक हर आइटम की तुलना हर दूसरे आइटम से न हो जाए।

वेतन वृद्धि
या
एक अतिरिक्त सप्ताह की छुट्टी
कम कीमत
या
तेज़ डिलीवरी
एक वरिष्ठ भर्ती
या
दो जूनियर

किसी से इन्हें दस में से रेट करने को कहें, तो दोनों को नौ मिलते हैं। उनसे चुनने को कहें, तो वे एक सेकंड में जवाब देते हैं — और पूरे मन से।

प्राथमिकताएँ रैंकिंग कैसे बनती हैं

एकत्रीकरण की पद्धति सरल, पारदर्शी और गणितीय रूप से ठोस है।

रैंक करने के लिए n आइटम दिए जाने पर, हर आइटम की तुलना हर दूसरे आइटम से ठीक एक बार होती है। आवश्यक तुलनाओं की कुल संख्या n(n−1)/2 है।

व्यक्तिगत जवाबों का एकत्रीकरण

हर आइटम का स्कोर उसकी जीत दर है: उसकी तुलनाओं में से जितनी उसने जीतीं उनका हिस्सा, जिसमें बराबरी या स्किप को आधा गिना जाता है। जीत के आधार पर आइटम को क्रम देना सरल और पारदर्शी है, और शोध बताते हैं कि यह अधिक जटिल सांख्यिकीय मॉडलों के मुकाबले अच्छा प्रदर्शन करता है (Shah & Wainwright, 2018)।

समूह के जवाबों का एकत्रीकरण

समूह सत्रों में अंतिम रैंकिंग की गणना से पहले हर प्रतिभागी की तुलनाओं को एकत्रित किया जाता है। किसी भी तुलना के लिए समूह की कुल जीत सभी प्रतिभागियों के व्यक्तिगत वोटों का योग है।

सबसे अहम बात, एकत्रित परिणाम असहमति के स्वरूप को भी उजागर करता है। समूह को बाँटने वाले आइटम डेटा में दिखाई देते हैं — और यह अक्सर समूह सत्र का सबसे मूल्यवान परिणाम होता है।

असंक्रामकता पर
दुर्लभ मामलों में जोड़ीवार तुलना असंक्रामक परिणाम दे सकती है — जहाँ A, B को हराता है, B, C को हराता है, लेकिन C, A को हराता है। इसे Condorcet विरोधाभास कहा जाता है।

निदान के साधन के रूप में समूह सत्र

रैंक की गई सूची एकमात्र परिणाम नहीं है। असहमति का स्वरूप भी उतना ही महत्वपूर्ण है।

समूह निर्णय की पारंपरिक पद्धतियों में एक बुनियादी खामी है: वे उस क्रम के प्रति संवेदनशील होती हैं जिसमें राय व्यक्त की जाती है। पहले बोलने वाला व्यक्ति समूह को एंकर कर देता है।

समूह अक्सर उन बातों पर चर्चा करते हैं जो सब पहले से जानते हैं, और उस जानकारी का कम उपयोग करते हैं जो केवल एक सदस्य जानता है। यही छिपी प्रोफ़ाइल समस्या है (Stasser & Titus, 1985)। किसी भी चर्चा से पहले हर व्यक्ति के चुनाव निजी तौर पर इकट्ठा करने से हर दृष्टिकोण सामने आ जाता है।

फ़ैसिलिटेटर नोट
समूह सत्र का सबसे प्रभावी उपयोग चर्चा शुरू होने से पहले परिणाम दिखाना है, बाद में नहीं। किसी के बोलने से पहले ही समूह को यह दिखाना कि वे सामूहिक रूप से क्या मानते हैं, आगे होने वाली बातचीत की गुणवत्ता बदल देता है।

इसका उपयोग कहाँ होता है

मनो-ध्वनिकी से AI प्रशिक्षण तक — पद्धति हर पैमाने पर काम करती है।

रणनीतिक योजना और प्रबंधन

Analytic Hierarchy Process का उपयोग रक्षा, इन्फ़्रास्ट्रक्चर, स्वास्थ्य सेवा और सरकार में बड़े दाँव वाले रणनीतिक निर्णयों में हुआ है। 2008 की एक समीक्षा में 19 अलग-अलग क्षेत्रों में 900 से अधिक प्रकाशित अनुप्रयोगों की पहचान की गई।

मशीन लर्निंग और AI

मानव फ़ीडबैक से रीइन्फ़ोर्समेंट लर्निंग (RLHF), जो आधुनिक बड़े भाषा मॉडल को प्रशिक्षित करने की तकनीक है, पूरी तरह जोड़ीवार तुलना पर निर्भर है। मानव मूल्यांकनकर्ताओं को मॉडल के दो आउटपुट दिखाए जाते हैं और बेहतर को चुनने को कहा जाता है।

खेल और प्रतिस्पर्धी रैंकिंग

शतरंज, फ़ुटबॉल और दर्जनों अन्य प्रतिस्पर्धी क्षेत्रों में उपयोग होने वाली Elo रेटिंग प्रणाली, ब्रैडली–टेरी जोड़ीवार मॉडल से निकटता से संबंधित है।

आगे पढ़ें

प्राथमिक स्रोत और मुख्य ग्रंथ।

01
Thurstone, L. L. (1927)
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
02
Bradley, R. A. & Terry, M. E. (1952)
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
03
Saaty, T. L. (1977)
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
04
Tversky, A. & Kahneman, D. (1974)
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
05
Stasser, G. & Titus, W. (1985)
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
06
Christiano, P. et al. (2017)
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
07
Shah, N. B. & Wainwright, M. J. (2018)
Simple, Robust and Optimal Ranking from Pairwise Comparisons. Journal of Machine Learning Research.
यह पद्धति आज़माने के लिए तैयार हैं?

दो मिनट से कम में व्यक्तिगत या समूह सत्र सेट करें। शुरू करने के लिए खाते की ज़रूरत नहीं।

नई रैंकिंग बनाएँ →