Câu hỏi khác chữ thì kết quả khảo sát có thể khác hẳn, vì người trả lời không chỉ nghe nội dung mà còn nghe sắc thái của từ, khung so sánh mà câu hỏi gợi ra, và cả những gì phương án trả lời ngầm báo. Thí nghiệm "cấm" và "không cho phép" từ năm 1941, hay cặp "trợ cấp xã hội" và "giúp đỡ người nghèo" trong Khảo sát Xã hội Tổng quát của Mỹ, là bằng chứng kinh điển. Cũng nên biết điều ngược lại: không phải mọi thay đổi câu chữ đều làm lệch kết quả, và chính các nhà nghiên cứu đã phải đo đi đo lại mới tách được đâu là hiệu ứng thật.
Thí nghiệm "cấm" và "không cho phép"
Năm 1941, nhà nghiên cứu Donald Rugg công bố trên tạp chí Public Opinion Quarterly một thí nghiệm chia đôi phiếu hỏi. Một nửa người Mỹ được hỏi nước Mỹ có nên cho phép những bài diễn thuyết công khai chống lại nền dân chủ hay không. Nửa kia được hỏi có nên cấm những bài diễn thuyết đó không.
Về logic, "không cho phép" và "cấm" là một. Nhưng theo bài tổng hợp của CBS News về thí nghiệm này, 75% người được hỏi theo kiểu thứ nhất chọn "không cho phép", trong khi chỉ 54% người được hỏi theo kiểu thứ hai chọn "cấm". Chữ "cấm" nghe nặng, nghe như đụng tới quyền tự do, nên nhiều người ngần ngại nói ra.
Điều thú vị là các lần làm lại về sau cho kết quả không đều. Howard Schuman và Stanley Presser lặp lại thí nghiệm ở Mỹ những năm 1970; các nhóm ở Tây Đức, Hà Lan, New Zealand cũng thử. Có nơi chênh lệch còn, có nơi gần như mất: một câu hỏi trong Khảo sát Xã hội Tổng quát năm 1989 về việc cho một người cộng sản diễn thuyết cho ra 34% "cấm" và 35% "không cho phép", gần như không khác. Bài học không phải "đổi chữ là đổi kết quả", mà là đổi chữ có thể đổi kết quả, và chỉ biết được bằng cách thử.
"Trợ cấp" hay "giúp người nghèo": cùng một chính sách, hai phản ứng
Khảo sát Xã hội Tổng quát (GSS) của Mỹ nhiều năm liền hỏi người dân rằng nhà nước chi cho một số khoản là quá nhiều, vừa đủ hay quá ít. Một nửa mẫu được hỏi về "welfare" (trợ cấp xã hội), nửa kia về "assistance to the poor" (giúp đỡ người nghèo).
Kết quả lệch nhau rõ và bền theo thời gian. Phân tích số liệu GSS năm 2010 của Viện Albert Shanker cho thấy khoảng hai phần ba người được hỏi về "giúp đỡ người nghèo" nói chi quá ít, trong khi với "trợ cấp xã hội" chỉ khoảng một phần tư nói vậy. Báo cáo phương pháp của nhà xã hội học Tom Smith cho GSS ghi nhận các chênh lệch kiểu này lớn và lặp lại qua nhiều năm, nhiều tổ chức khảo sát.
Nhưng một nghiên cứu năm 2013 của Gregory Huber và Celia Paris trên Public Opinion Quarterly chỉ ra điều tinh tế hơn: người Mỹ không hình dung cùng một danh sách chương trình khi nghe hai cụm từ. Tức là hai câu hỏi không chỉ khác "giọng", mà người nghe hiểu chúng là hai thứ khác nhau. Đây là cảnh báo cho người làm khảo sát: trước khi kết luận người ta "bị từ ngữ dắt mũi", hãy kiểm tra xem họ có đang trả lời cùng một câu hỏi không.
Một động từ đổi cả trí nhớ
Năm 1974, Elizabeth Loftus và John Palmer cho sinh viên xem phim về một vụ va chạm ô tô, rồi hỏi xe chạy nhanh cỡ nào khi chúng "đâm sầm vào", "va vào", "đụng", "chạm vào" nhau. Động từ càng mạnh, con số ước lượng tốc độ càng cao. Ở một phần khác của nghiên cứu, những người nghe chữ "đâm sầm" về sau dễ "nhớ" ra có kính vỡ trong phim hơn, dù trong phim không có kính vỡ nào.
Đây là thí nghiệm về trí nhớ nhân chứng chứ không phải khảo sát sở thích, nhưng nó cho thấy cơ chế chung: câu hỏi không chỉ thu thông tin mà còn gieo thông tin vào đầu người trả lời.
Phương án trả lời cũng là một lời gợi ý
Nhà tâm lý học Norbert Schwarz và cộng sự công bố năm 1985 trên Public Opinion Quarterly một thí nghiệm hỏi người Đức mỗi ngày xem tivi bao lâu. Một nhóm nhận thang trả lời có các mức thấp (từ "tới nửa tiếng" trở lên), nhóm kia nhận thang có các mức cao (từ "tới hai tiếng rưỡi" trở lên). Nhóm nhận thang mức cao báo cáo xem nhiều hơn hẳn.
Lý do: người ta không đếm từng phút mình xem tivi. Họ nhìn thang để đoán "mức bình thường" là bao nhiêu, rồi tự đặt mình so với mức đó. Ô ở giữa thang được hiểu ngầm là "người bình thường". Nhóm của Schwarz còn thấy thang trả lời ảnh hưởng tới cả cách người ta tự đánh giá tầm quan trọng của tivi trong đời mình.
Áp vào khảo sát quen thuộc: hỏi "Mỗi tuần bạn uống trà sữa mấy lần?" với các ô "0 / 1–2 / 3–4 / 5 trở lên" sẽ cho kết quả khác với các ô "0–2 / 3–5 / 6–10 / trên 10". Người uống 3 lần một tuần sẽ thấy mình "nghiện" ở thang thứ nhất và "bình thường" ở thang thứ hai.
Năm kiểu câu chữ làm lệch kết quả
| Kiểu | Ví dụ dễ gặp | Cách viết lại trung tính hơn |
|---|---|---|
| Từ mang cảm xúc | "Bạn có ủng hộ việc dẹp bỏ hàng rong lộn xộn?" | "Bạn nghĩ hàng rong trên vỉa hè nên được quản lý thế nào?" kèm các phương án |
| Câu dẫn dắt | "Ai cũng biết cà phê phin đậm đà hơn, bạn có đồng ý không?" | "Bạn thích cà phê pha phin hay pha máy hơn?" |
| Hai ý trong một câu | "Quán có ngon và rẻ không?" | Tách thành hai câu: vị và giá |
| Chỉ nêu một vế | "Bạn có thích đi biển không?" | "Nếu chỉ chọn một, bạn chọn biển hay núi?" |
| Thang trả lời gợi mức chuẩn | Thang giờ chơi điện thoại bắt đầu từ "dưới 3 tiếng" | Hỏi số giờ cụ thể, hoặc thang trải đều từ thấp tới cao |
Cách hỏi đóng khung lựa chọn
Năm 1981, Amos Tversky và Daniel Kahneman công bố trên tạp chí Science các thí nghiệm cho thấy cùng một phương án, nói theo kiểu "cứu được bao nhiêu người" hay "bao nhiêu người sẽ chết", khiến người ta chọn khác nhau. Hiệu ứng "đóng khung" này đã được lặp lại nhiều lần. Trong khảo sát sở thích đời thường, nó hiện ra dưới dạng quen thuộc hơn: "thịt nạc 80%" nghe hấp dẫn hơn "thịt có 20% mỡ", dù là cùng một miếng thịt.
Những thiên kiến nhận thức liên quan như hiệu ứng mỏ neo đã có bài riêng ở wiki Sắc Sảo; ở đây chỉ cần nhớ: người viết câu hỏi luôn đang chọn một khung, kể cả khi không cố ý.
Góc nhìn hôm nay: đọc câu hỏi trước khi đọc con số
Các tổ chức khảo sát nghiêm túc luôn công bố nguyên văn câu hỏi, và đó là chỗ đầu tiên đáng đọc. Pew Research Center có cả mục giải thích cách họ thử câu hỏi bằng thí nghiệm chia đôi mẫu trước khi dùng. Cuốn Questions and Answers in Attitude Surveys (1981) của Schuman và Presser là sách kinh điển cho ai muốn đi sâu.
Khi tự soạn một phiếu hỏi, mẹo hiệu quả nhất là tự làm thí nghiệm nhỏ của Rugg: viết hai phiên bản câu hỏi, gửi mỗi bản cho một nửa nhóm, xem kết quả có lệch không. Nếu lệch nhiều, câu hỏi đang nói thay người trả lời.
Câu hỏi thường gặp
Vì sao cách đặt câu hỏi ảnh hưởng tới kết quả khảo sát?
Vì người trả lời phản ứng với sắc thái của từ, với khung mà câu hỏi gợi ra và với mức "bình thường" mà thang trả lời ngầm báo. Hai câu cùng nội dung logic có thể cho tỷ lệ khác nhau rõ rệt. Hiệu ứng này đã được đo bằng nhiều thí nghiệm chia đôi mẫu.
Thí nghiệm "cấm" và "cho phép" của Rugg là gì?
Năm 1941, Donald Rugg hỏi một nửa mẫu có nên "cho phép" diễn thuyết chống dân chủ, nửa kia có nên "cấm". Theo CBS News, 75% chọn "không cho phép" nhưng chỉ 54% chọn "cấm". Các lần làm lại sau này cho kết quả không đều, có lần gần như không chênh.
Câu hỏi dẫn dắt là gì?
Là câu hỏi cài sẵn đáp án mong muốn, như "Ai cũng biết X tốt hơn, bạn có đồng ý không?". Nó đẩy người trả lời về một phía. Câu hỏi trung tính nêu đủ các phương án và không khen chê trước.
Thang trả lời có ảnh hưởng tới kết quả không?
Có. Thí nghiệm của Schwarz và cộng sự năm 1985 cho thấy người nhận thang có các mức cao báo cáo xem tivi nhiều hơn người nhận thang mức thấp. Người ta dùng thang để đoán mức bình thường rồi tự so mình với mức đó.
Làm sao biết câu hỏi của mình có trung lập không?
Cách chắc nhất là viết hai phiên bản, gửi mỗi bản cho một nửa nhóm và so kết quả. Ngoài ra nên nhờ vài người đọc thử và hỏi họ hiểu câu hỏi thế nào.
