Cơ chế dữ liệu khuyết là gì? Cách đọc và xử lý trong SPSS
Cơ chế dữ liệu khuyết là gì
Cơ chế dữ liệu khuyết, tiếng Anh là missing data mechanism, mô tả lý do một giá trị không xuất hiện trong file dữ liệu. Khi một sinh viên bỏ trống một biến trong bảng hỏi, bạn chưa thể kết luận đó chỉ là lỗi nhập liệu. Người đó có thể bỏ qua ngẫu nhiên, bỏ qua vì câu hỏi nhạy cảm, hoặc bỏ qua vì đặc điểm của chính họ liên quan đến câu trả lời.
Ba cơ chế thường được nhắc đến là MCAR, MAR và MNAR. MCAR nghĩa là việc thiếu dữ liệu hoàn toàn không liên quan đến dữ liệu quan sát được hay chưa quan sát được. MAR nghĩa là khả năng thiếu có liên quan đến các biến bạn đã quan sát, chẳng hạn nhóm tuổi hoặc giới tính. MNAR nghĩa là khả năng thiếu còn liên quan đến chính giá trị đáng lẽ phải được ghi nhận, hoặc một yếu tố chưa quan sát được.
Bạn có thể hình dung xác suất một giá trị bị khuyết là P(R = 0), trong đó R = 0 biểu thị ô dữ liệu bị thiếu. Cơ chế dữ liệu khuyết không phải là một con số duy nhất nằm trong một cột SPSS. Bạn suy luận nó từ mẫu hình thiếu, biến liên quan và bối cảnh thu thập dữ liệu.
Nếu đang mở file .sav, hãy phân biệt hai việc. Thống kê tần suất dữ liệu khuyết cho biết thiếu bao nhiêu. Cơ chế dữ liệu khuyết giúp bạn quyết định nên xử lý phần thiếu đó bằng cách nào. Hai câu hỏi này liên quan nhưng không thay thế cho nhau.
Ý nghĩa của cơ chế dữ liệu khuyết trong nghiên cứu định lượng
Cơ chế dữ liệu khuyết quyết định mức độ rủi ro khi bạn xóa dòng, xóa biến hoặc thay thế giá trị. Ví dụ, nếu người trả lời bỏ trống câu hỏi hoàn toàn ngẫu nhiên, việc loại một số dòng có thể ít gây lệch hơn. Nếu người có mức thu nhập thấp thường bỏ qua câu hỏi thu nhập, xóa các dòng thiếu sẽ làm mẫu còn lại thiên về nhóm thu nhập cao.
Trong SPSS, bạn thường gặp dữ liệu khuyết ở ba dạng. Dạng thứ nhất là ô trống thật sự. Dạng thứ hai là mã quy ước như 99, 999 hoặc -1 nhưng chưa được khai báo là missing. Dạng thứ ba là giá trị hệ thống do người trả lời không đi qua câu hỏi lọc. Nếu mã 99 vẫn được tính như một mức Likert, mọi kiểm định sau đó đều có thể bị sai.
Trước khi suy luận cơ chế, hãy kiểm tra các điểm sau:
- Biến nào có dữ liệu khuyết và tỷ lệ khuyết là bao nhiêu.
- Các giá trị khuyết phân bố theo dòng, theo cột hay theo một nhóm người trả lời.
- Mẫu hình thiếu có xuất hiện sau một câu hỏi lọc hay do người trả lời dừng giữa chừng.
- Các biến quan sát khác có dự đoán được việc một ô bị bỏ trống hay không.
- Việc thiếu dữ liệu có liên quan đến nội dung nhạy cảm, độ khó câu hỏi hoặc thời điểm thu thập hay không.
Bạn có thể đọc thêm về kiểm định Little MCAR để hiểu cách kiểm tra giả định MCAR. Tuy nhiên, một kiểm định không nên được dùng tách rời khỏi bối cảnh bảng hỏi. Kết quả thống kê chỉ là một phần của lập luận phương pháp.
Cơ chế dữ liệu khuyết bao nhiêu là đạt
Không có một ngưỡng duy nhất áp dụng cho mọi bộ dữ liệu. Câu hỏi “cơ chế dữ liệu khuyết bao nhiêu là tốt” thường đang trộn lẫn hai khái niệm: tỷ lệ ô bị khuyết và giả định về cơ chế khuyết. Tỷ lệ thấp chưa chứng minh dữ liệu là MCAR, còn tỷ lệ cao chưa tự động chứng minh là MNAR.
Bảng dưới đây là các mốc thực hành để bạn kiểm tra và giải trình. Đây là mốc tham khảo, không phải giấy phép tự động chọn một phương pháp xử lý.
| Nội dung cần kiểm tra | Mốc hoặc quy tắc tham khảo | Nguồn |
|---|---|---|
| Tỷ lệ dữ liệu khuyết của từng biến | Báo cáo tỷ lệ thực tế, không gán một ngưỡng chung cho mọi đề tài | (Nguyễn Đình Thọ, 2011) |
| Missing value được mã hóa | Khai báo mã quy ước trước khi chạy phân tích | (Hoàng Trọng và Chu Nguyễn Mộng Ngọc, 2008) |
| MCAR | Kiểm tra bằng Little MCAR, sau đó đối chiếu với mẫu hình và bối cảnh dữ liệu | (Field, 2013) |
| Tỷ lệ quan sát trên biến trong phân tích hồi quy | Cỡ mẫu hồi quy từ 50 + 8m trở lên, với m là số biến độc lập | (Tabachnick và Fidell, 2013) |
| Dữ liệu thiếu trong thang đo khám phá | Ghi rõ số dòng bị loại và lý do, không tự động thay bằng trung bình | (Hair và cộng sự, 2010) |
| Mẫu hình dữ liệu khuyết | So sánh giữa nhóm có và không có dữ liệu ở biến cần kiểm tra | (Field, 2013) |
Dòng MCAR trong bảng chỉ chỉ dẫn quy trình kiểm tra bằng SPSS và cách báo cáo, không phải một ngưỡng định lượng. Bạn vẫn cần đối chiếu với thiết kế bảng hỏi, các biến đã quan sát và yêu cầu của người hướng dẫn. Một kiểm định riêng lẻ không đủ để chứng minh hoàn toàn MAR hoặc MNAR.
Với dữ liệu khuyết rất ít và phân bố rải rác, một số nghiên cứu có thể chọn xóa theo dòng hoặc thay thế có điều kiện. Với dữ liệu tập trung ở một nhóm, bạn cần thận trọng hơn vì xóa dòng có thể làm thay đổi cơ cấu mẫu. Khi tỷ lệ thiếu lớn, hãy báo cáo giới hạn của dữ liệu thay vì cố làm cho bảng số liệu trông đẹp.
Cách đọc cơ chế dữ liệu khuyết trên output
SPSS không thường in ra một dòng có tên “MCAR”, “MAR” hoặc “MNAR” để bạn chép vào luận văn. Bạn phải ghép nhiều output lại. Bắt đầu bằng Analyze > Missing Value Analysis nếu phiên bản SPSS của bạn có mô-đun này. Chọn các biến cần kiểm tra, xem phần Descriptive Statistics, Patterns và các bảng liên quan đến mẫu hình thiếu.
Bạn cũng có thể dùng Analyze > Descriptive Statistics > Frequencies để xem số lượng hợp lệ và khuyết của từng biến. Trong hộp thoại, đưa các biến vào ô phân tích, chọn Display frequency tables nếu cần xem mã giá trị. Nếu biến dùng mã 99, vào Variable View, cột Missing, khai báo 99 là missing trước khi chạy lại Frequencies.
Bảng dưới đây là số liệu minh họa, không phải kết quả của một nghiên cứu thật. Tên cột được trình bày theo kiểu bạn có thể gặp trong output SPSS.
| Output SPSS | Variable | Valid N | Missing N | Missing Percent | Mean |
|---|---|---|---|---|---|
| Descriptive Statistics | TN1 | 286 | 14 | 4.7% | 3.82 |
| Descriptive Statistics | TN2 | 291 | 9 | 3.0% | 3.76 |
| Descriptive Statistics | TN3 | 286 | 14 | 4.7% | 3.69 |
| Descriptive Statistics | TN4 | 252 | 48 | 16.0% | 3.41 |
Trong ví dụ này, TN4 có tỷ lệ thiếu cao hơn rõ rệt. Bạn chưa nên kết luận TN4 là MNAR. Hãy kiểm tra xem TN4 có phải câu hỏi nhạy cảm, câu hỏi chỉ hiện với một nhánh người trả lời, hoặc câu cuối bảng hỏi khiến người trả lời bỏ dở hay không.
Nếu chạy bảng chéo giữa biến chỉ báo thiếu và giới tính, bạn có thể tạo một biến mới: TN4_missing = 1 khi TN4 bị khuyết và 0 khi TN4 có dữ liệu. Sau đó vào Analyze > Descriptive Statistics > Crosstabs, đưa TN4_missing vào một biến và giới tính vào biến còn lại. Chênh lệch lớn giữa các nhóm là dấu hiệu cần điều tra thêm. Nó gợi ý MAR nếu giới tính đã được quan sát, nhưng vẫn chưa đủ để chứng minh hoàn toàn cơ chế.
Khi trình bày output, đừng chỉ chép Missing N. Hãy nêu biến nào thiếu, tỷ lệ bao nhiêu, mẫu hình có tập trung theo nhóm không, bạn dùng cách xử lý nào và vì sao. Người đọc cần thấy chuỗi lập luận, không chỉ một con số.
Khi cơ chế dữ liệu khuyết không đạt thì xử lý thế nào
Bạn có thể xử lý theo thứ tự từ dễ kiểm tra đến phức tạp hơn. Mỗi bước cần lưu lại một bản sao file, syntax và số dòng trước sau xử lý.
Bước 1: Sửa mã missing và lỗi nhập liệu
Kiểm tra Variable View, nhãn giá trị, kiểu biến và các mã như 99, 999, -1. Nếu một người nhập 99 cho thang Likert 1 đến 5, đó thường là mã không trả lời chứ không phải mức độ đồng ý. Khai báo đúng mã rồi chạy lại Frequencies.
Bước 2: Kiểm tra dữ liệu thiếu do logic bảng hỏi
Một số ô trống là hợp lệ vì người trả lời không thuộc nhóm được hỏi. Ví dụ, câu hỏi về trải nghiệm mua hàng có thể bỏ qua với người chưa từng mua. Bạn cần phân biệt ô trống do thiết kế nhánh với ô trống do người trả lời bỏ qua câu hỏi bắt buộc.
Bước 3: Xóa theo dòng hoặc theo cặp khi có lý do
Listwise deletion loại một dòng nếu dòng đó thiếu ít nhất một biến trong nhóm phân tích. Pairwise deletion dùng các cặp quan sát có sẵn cho từng phép tính. Hai cách này có ưu điểm là dễ giải thích nhưng có thể làm cỡ mẫu thay đổi giữa các phân tích. Xem hướng dẫn listwise và pairwise deletion trước khi chọn.
Bước 4: Thay thế có điều kiện
Thay thế bằng mean chỉ giữ được trung bình gần với dữ liệu ban đầu nhưng có thể làm giảm độ phân tán và ảnh hưởng tương quan giữa các biến. Bạn có thể xem phân tích riêng về thay thế giá trị khuyết bằng trung bình, sau đó hỏi người hướng dẫn liệu cách này có phù hợp với đề tài không.
Bước 5: Dùng Multiple Imputation khi cần bảo toàn thông tin
Multiple Imputation tạo nhiều bộ dữ liệu hoàn chỉnh, phân tích từng bộ rồi gộp kết quả để phản ánh thêm sự không chắc chắn do dữ liệu thiếu. Trong SPSS, đường dẫn thường là Analyze > Multiple Imputation > Impute Missing Data Values. Bạn cần chọn các biến dự đoán hợp lý, kiểm tra kết quả và báo cáo phương pháp rõ ràng. Xem thêm Multiple Imputation là gì.
Bạn không nên chạy nhiều phương pháp rồi chọn kết quả có p-value đẹp hơn. Nếu phải so sánh, hãy đặt tiêu chí trước, lưu toàn bộ kết quả và giải thích vì sao phương pháp cuối cùng phù hợp với cơ chế thiếu cũng như thiết kế nghiên cứu.
Cách viết vào luận văn: “Trong tổng số [N] quan sát, biến [tên biến] có [n] giá trị khuyết, tương đương [x]%. Kiểm tra mẫu hình dữ liệu cho thấy dữ liệu khuyết [phân bố rải rác/tập trung ở nhóm], do đó nghiên cứu sử dụng [phương pháp] và còn lại [N cuối] quan sát cho phân tích.”
Phân biệt cơ chế dữ liệu khuyết với tỷ lệ dữ liệu khuyết
Tỷ lệ dữ liệu khuyết trả lời câu hỏi “thiếu bao nhiêu”. Cơ chế dữ liệu khuyết trả lời câu hỏi “vì sao thiếu”. Một biến có 2% missing vẫn có thể gây lệch nếu toàn bộ 2% đó đến từ một nhóm quan trọng. Ngược lại, một biến có tỷ lệ cao hơn có thể ít đáng lo hơn nếu nguyên nhân là một nhánh lọc đã được thiết kế từ đầu.
Cơ chế cũng khác với phương pháp xử lý. MCAR, MAR và MNAR là cách mô tả cơ chế. Listwise deletion, pairwise deletion và Multiple Imputation là các lựa chọn xử lý. Bạn không thể nói “dữ liệu là Multiple Imputation” vì đó là tên phương pháp, không phải cơ chế.
Cũng cần phân biệt dữ liệu khuyết với outlier. Outlier là một giá trị có mặt nhưng khác biệt mạnh so với các quan sát khác. Dữ liệu khuyết là giá trị không có hoặc được mã hóa là không hợp lệ. Hai vấn đề có thể cùng xuất hiện trong một file nhưng phải kiểm tra bằng cách khác.
Lỗi thường gặp
Lỗi đầu tiên là coi ô trống và số 0 như nhau. Số 0 có thể là một câu trả lời hợp lệ, còn ô trống mới là missing. Hãy đọc bảng mã của bảng hỏi trước khi thay đổi dữ liệu.
Lỗi thứ hai là thấy kiểm định Little MCAR có p-value lớn rồi kết luận mọi thứ đã an toàn. Kiểm định chỉ hỗ trợ một giả định. Bạn vẫn phải xem mẫu hình khuyết, nhóm người trả lời và cách bảng hỏi được triển khai.
Lỗi thứ ba là thay toàn bộ missing bằng mean trước khi chạy Cronbach's Alpha hoặc EFA. Cách này có thể làm dữ liệu trông đủ nhưng làm thay đổi phương sai và tương quan. Nếu dùng, bạn phải ghi rõ biến nào, bao nhiêu giá trị và lý do.
Lỗi thứ tư là xóa dòng mà không báo cỡ mẫu thay đổi. Bảng mô tả có thể có N = 300, nhưng hồi quy chỉ còn N = 244. Hãy kiểm tra N trong từng output và giải thích sự khác biệt.
Lỗi cuối là sửa trực tiếp file gốc. Hãy lưu data_raw.sav, data_clean.sav và một file syntax riêng. Khi người hướng dẫn hỏi vì sao còn 286 quan sát, bạn có thể truy lại từng bước thay vì đoán.
Bạn có thể xem thêm các hướng dẫn liên quan trong chủ đề Thống kê, nhất là khi cần nối bước làm sạch dữ liệu với Cronbach's Alpha, EFA hoặc hồi quy.
Câu hỏi thường gặp
Cơ chế dữ liệu khuyết bao nhiêu là tốt
Không có một tỷ lệ duy nhất được xem là tốt cho mọi đề tài. Bạn cần báo cáo tỷ lệ theo từng biến, kiểm tra dữ liệu thiếu có tập trung ở nhóm nào không và giải thích cách xử lý. Tỷ lệ thấp chỉ cho thấy số ô thiếu ít, chưa chứng minh MCAR.
Cơ chế dữ liệu khuyết trong SPSS nằm ở đâu
SPSS không đặt một chỉ số duy nhất tên là cơ chế dữ liệu khuyết. Bạn có thể bắt đầu tại Analyze > Missing Value Analysis, hoặc dùng Analyze > Descriptive Statistics > Frequencies để thống kê số lượng missing. Sau đó tạo biến chỉ báo missing và kiểm tra sự khác biệt giữa các nhóm bằng Crosstabs hoặc phân tích phù hợp.
Có thể dùng mã 99 cho dữ liệu khuyết không
Có thể dùng mã 99 như một mã quy ước, nhưng phải khai báo nó trong Variable View, cột Missing. Nếu chưa khai báo, SPSS có thể tính 99 như một giá trị thật, làm sai trung bình, độ lệch chuẩn và các kiểm định.
Khi nào nên dùng listwise deletion
Listwise deletion phù hợp hơn khi số lượng dòng bị loại có lý do rõ ràng, tỷ lệ thiếu thấp và việc loại dòng không làm mất một nhóm quan trọng. Bạn phải báo cáo số quan sát ban đầu, số bị loại và cỡ mẫu cuối cùng. Nếu dữ liệu thiếu nhiều hoặc có mẫu hình theo nhóm, hãy cân nhắc phương pháp khác.
Có nên thay dữ liệu khuyết bằng giá trị trung bình không
Không nên mặc định dùng mean cho mọi biến. Cách này dễ thực hiện nhưng có thể làm giảm độ phân tán và ảnh hưởng tương quan. Nếu vẫn sử dụng, hãy nêu rõ tiêu chí, số lượng giá trị được thay thế và kiểm tra xem kết quả có nhạy cảm với phương pháp đó không.
MCAR, MAR và MNAR có thể chứng minh hoàn toàn bằng SPSS không
SPSS hỗ trợ mô tả và kiểm tra một số dấu hiệu, nhưng cơ chế dữ liệu khuyết luôn cần gắn với bối cảnh thu thập dữ liệu. MAR và MNAR đặc biệt không nên được kết luận chỉ từ một bảng output. Bạn cần trình bày giả định, bằng chứng quan sát được và giới hạn của quyết định xử lý.
Mở file .sav của bạn, tạo bảng Frequencies cho từng biến, ghi lại Valid N, Missing N và mẫu hình theo nhóm trước khi xóa hay thay bất kỳ giá trị nào. Nếu cần chạy xử lý trên chính file .sav hoặc .csv và lưu lại toàn bộ quyết định phân tích, bạn có thể xem module M4 phân tích dữ liệu của DoThesis.