Về xếp hạng theo cặp

Khoa học của những quyết định tốt hơn.

So sánh theo cặp không phải ý tưởng mới. Phương pháp này đã được nghiên cứu, kiểm nghiệm và xác thực qua gần một thế kỷ trong tâm lý học, kinh tế học và khoa học quyết định.

1927 Thurstone hệ thống hóa phương pháp
900+ ứng dụng đã công bố trong 19 lĩnh vực
14 nghiên cứu độc lập cho thấy so sánh cặp vượt trội thang đo
Một chiếc máy đánh chữ, một cuốn sổ và một cây bút chì

Từ tâm vật lý học đến phòng họp

Một phương pháp được hệ thống hóa năm 1927 — và được xác nhận lại nhiều lần từ đó.

Thurstone, A Law of Comparative Judgment, Đại học Chicago, 1927.

Lịch sử tư tưởng của so sánh theo cặp bắt đầu từ một vấn đề thực tế: làm sao đo những thứ không có đơn vị tự nhiên?

Câu trả lời do nhà tâm lý học Louis Leon Thurstone tại Đại học Chicago đề xuất là so sánh trực tiếp các thứ theo từng cặp. Bài báo năm 1927 của ông, A Law of Comparative Judgment, đã đưa nhận định này thành một mô hình toán học chính xác.

“Phương pháp so sánh theo cặp cho ra một thang giá trị tâm lý đáng tin cậy hơn bất kỳ phương pháp lập thang đo nào khác.”

Louis Leon Thurstone · Psychological Review · 1927

Nhận định của Thurstone dựa trên một quan sát thực nghiệm: con người trả lời câu “cái nào trong hai cái này to hơn?” tốt hơn nhiều so với “cái này to đến mức nào, trên thang từ một đến mười?”

Vì sao so sánh cặp hiệu quả hơn thang đo

Gánh nặng nhận thức của việc chấm điểm lớn hơn ta tưởng.

Khi bạn yêu cầu ai đó chấm mức độ quan trọng của một ưu tiên chiến lược trên thang từ một đến mười, bạn đang yêu cầu họ thực hiện nhiều thao tác nhận thức cùng lúc. Quá trình này gây ra sai số có hệ thống ở mọi bước.

Sai số tai hại nhất là thiên kiến mỏ neo. Mục được chấm đầu tiên thường ảnh hưởng đến mọi điểm số sau đó; nghiên cứu của Tversky và Kahneman (1974) cho thấy hiệu ứng mỏ neo vừa lớn vừa đặc biệt khó sửa.

Nguồn sai số thứ hai là sự nén thang đo. Trên thực tế, phần lớn người trả lời tránh hai đầu thang đo và dồn câu trả lời vào giữa — vì thế một khảo sát về mười hai ưu tiên thường cho ra mười hai điều đều “rất quan trọng”.

Toàn bộ tương tác, lặp đi lặp lại cho đến khi mọi mục đều được so sánh với mọi mục khác.

Tăng lương
HAY
Thêm một tuần nghỉ
Giá thấp hơn
HAY
Giao hàng nhanh hơn
Tuyển một người cấp cao
HAY
Hai người mới vào nghề

Nhờ ai đó chấm điểm trên mười, cả hai đều được chín. Nhờ họ chọn, họ trả lời trong một giây — và thật lòng như vậy.

Ghi chú nghiên cứu
Ưu thế của so sánh theo cặp so với thang chấm điểm đã được chứng minh nhiều lần trong mười bốn nghiên cứu độc lập (Dillon, Frederick & Tangpanichdee, 1985).

Sở thích trở thành thứ hạng như thế nào

Phương pháp tổng hợp đơn giản, minh bạch và có cơ sở toán học.

Với n mục cần xếp hạng, mỗi mục được so sánh với mọi mục khác đúng một lần. Tổng số lần so sánh cần thiết là n(n−1)/2.

Tổng hợp câu trả lời cá nhân

Với phiên xếp hạng cá nhân, kết quả lấy trực tiếp từ số lần thắng: mỗi mục được một điểm cho mỗi lần so sánh thắng. Danh sách cuối cùng sắp xếp các mục từ nhiều lần thắng nhất đến ít nhất.

Tổng hợp câu trả lời của nhóm

Với phiên nhóm, các so sánh của từng người tham gia được tổng hợp trước khi tính thứ hạng cuối cùng. Tổng số lần thắng của nhóm ở mỗi so sánh là tổng phiếu cá nhân của mọi người tham gia.

Điều quan trọng là kết quả tổng hợp còn cho thấy hình dạng của sự bất đồng. Những mục chia rẽ nhóm hiện rõ trong dữ liệu — và đây thường là kết quả giá trị nhất của một phiên nhóm.

Về tính không bắc cầu
Trong một số ít trường hợp, so sánh theo cặp có thể cho kết quả không bắc cầu — A thắng B, B thắng C, nhưng C thắng A. Điều này được gọi là nghịch lý Condorcet.

Phiên nhóm như một công cụ chẩn đoán

Danh sách xếp hạng không phải là kết quả duy nhất. Hình dạng của sự bất đồng cũng quan trọng không kém.

Các phương pháp ra quyết định nhóm thông thường có chung một khiếm khuyết cơ bản: chúng phụ thuộc vào thứ tự các ý kiến được nêu ra. Người nói trước sẽ neo cả nhóm.

Đây không phải lỗi của cá nhân — mà là hệ quả có thể đoán trước của động lực nhóm. Nghiên cứu nhất quán cho thấy thảo luận nhóm tạo ra phán đoán tập thể kém chính xác hơn so với việc tổng hợp các phán đoán riêng độc lập. Hiệu ứng này đôi khi được gọi là vấn đề hồ sơ ẩn.

“Các nhóm thường xuyên không chia sẻ được những thông tin chỉ một số thành viên nắm giữ, và thất bại này mang tính hệ thống chứ không ngẫu nhiên.”

Stasser & Titus · Journal of Personality and Social Psychology · 1985
Ghi chú cho người điều phối
Cách dùng phiên nhóm hiệu quả nhất là công bố kết quả trước khi thảo luận bắt đầu, không phải sau đó. Cho nhóm thấy họ cùng nghĩ gì — trước khi ai lên tiếng — sẽ thay đổi chất lượng cuộc trò chuyện tiếp theo.

Được dùng ở đâu

Từ tâm lý âm học đến huấn luyện AI — phương pháp này mở rộng được.

Hoạch định chiến lược và quản lý

Quy trình phân tích thứ bậc (AHP) đã được dùng trong các quyết định chiến lược quan trọng về quốc phòng, hạ tầng, y tế và chính phủ. Một tổng quan năm 2008 ghi nhận hơn 900 ứng dụng đã công bố trong 19 lĩnh vực khác nhau.

Học máy và AI

Học tăng cường từ phản hồi của con người (RLHF), kỹ thuật dùng để huấn luyện các mô hình ngôn ngữ lớn hiện nay, hoàn toàn dựa trên so sánh theo cặp. Người đánh giá được xem hai câu trả lời của mô hình và chọn câu tốt hơn.

Thể thao và xếp hạng thi đấu

Hệ thống Elo, dùng trong cờ vua, bóng đá và hàng chục môn thi đấu khác, là ứng dụng trực tiếp của mô hình cặp Bradley–Terry.

Đọc thêm

Nguồn gốc và tài liệu chính.

01
Thurstone, L. L. (1927)
A Law of Comparative Judgment. Psychological Review, 34(4), 273–286.
02
Bradley, R. A. & Terry, M. E. (1952)
Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324–345.
03
Saaty, T. L. (1977)
A Scaling Method for Priorities in Hierarchical Structures. Journal of Mathematical Psychology, 15(3), 234–281.
04
Tversky, A. & Kahneman, D. (1974)
Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
05
Stasser, G. & Titus, W. (1985)
Pooling of Unshared Information in Group Discussion. Journal of Personality and Social Psychology, 48(6), 1467–1478.
06
Christiano, P. et al. (2017)
Deep Reinforcement Learning from Human Preferences. NeurIPS 2017.
Sẵn sàng thử phương pháp này?

Thiết lập phiên cá nhân hoặc nhóm trong chưa đầy hai phút. Không cần tài khoản để bắt đầu.

Tạo xếp hạng mới →