Hệ số ICC là gì? Cách đọc và chạy trong SPSS

Hệ số ICC là gì

Hệ số ICC, viết đầy đủ là Intraclass Correlation Coefficient, đo mức độ tương đồng hoặc nhất quán của các lần đánh giá trên cùng đối tượng. Bạn thường gặp ICC khi có nhiều người chấm cùng một đối tượng, một người chấm lặp lại ở hai thời điểm, hoặc một công cụ đo được áp dụng lặp lại. Đối tượng có thể là bài làm, sản phẩm, bệnh nhân, hình ảnh, hồ sơ hoặc điểm tổng hợp của một thang đo.

Điểm quan trọng nằm ở chữ class. ICC xem các điểm số có cùng thuộc một đối tượng hay không, sau đó tách phần biến thiên giữa các đối tượng khỏi phần sai số do người chấm, thời điểm hoặc phép đo. Giá trị ICC thường được tính từ các thành phần phương sai trong mô hình ANOVA hoặc mô hình hỗn hợp. Vì vậy, ICC không chỉ là tương quan giữa hai cột điểm.

Trong SPSS, bạn có thể chạy ICC qua Analyze > Scale > Reliability Analysis, đưa các biến đánh giá vào hộp Items, chọn Statistics, rồi bật nhóm Intraclass correlation coefficient. Tùy phiên bản SPSS, tên hộp thoại có thể trình bày hơi khác, nhưng bảng kết quả vẫn xoay quanh Intraclass Correlation Coefficient và 95% Confidence Interval.

Nếu bạn đang đánh giá độ tin cậy của nhiều biến quan sát trong cùng một thang đo Likert, hãy xem thêm Cronbach's Alpha và corrected item-total correlation. ICC trả lời một câu hỏi khác: các phép đánh giá trên cùng đối tượng có nhất quán với nhau hay không.

Ý nghĩa của hệ số ICC trong nghiên cứu định lượng

ICC giúp bạn quyết định liệu điểm số có đủ ổn định để tiếp tục sử dụng trong phân tích hay không. Ví dụ, bạn có 30 bài làm và mỗi bài được hai giảng viên chấm. Nếu hai người cho điểm rất khác nhau, điểm trung bình của hai người có thể che giấu vấn đề về độ nhất quán. ICC cho biết mức độ đồng thuận hoặc nhất quán đó trong toàn bộ nhóm đối tượng.

Có ba tình huống thường gặp. Thứ nhất là inter-rater reliability, tức độ tin cậy giữa các người chấm. Thứ hai là intra-rater reliability, tức một người chấm có cho kết quả ổn định khi đánh giá lại hay không. Thứ ba là test-retest reliability, tức cùng một thang đo hoặc phép đo cho kết quả ổn định ở hai thời điểm.

Bạn cũng cần phân biệt hai ý trong cách diễn giải. Consistency quan tâm đến việc các lần đánh giá có thay đổi theo cùng một trật tự hay không. Absolute agreement nghiêm ngặt hơn, vì nó xem cả trường hợp một người chấm thường xuyên cho điểm cao hơn người khác. Hai người có thể có tương quan cao nhưng vẫn bất đồng về mức điểm tuyệt đối. Vì vậy, chọn mô hình ICC phải dựa vào thiết kế dữ liệu, không chọn theo thói quen.

Trong luận văn định lượng, ICC thường xuất hiện ở phần kiểm tra độ tin cậy của phép đo, bảng chấm điểm hoặc dữ liệu lặp lại. Nó không tự chứng minh rằng thang đo có giá trị nội dung, giá trị hội tụ hay giá trị phân biệt. Nếu bạn đang dùng SmartPLS, các chỉ số như composite reliability và AVE thuộc nhóm đánh giá khác, không nên thay ICC vào đó.

Hệ số ICC bao nhiêu là đạt

Câu hỏi “hệ số ICC bao nhiêu là tốt” không thể trả lời bằng một con số dùng cho mọi nghiên cứu. ICC phụ thuộc vào thiết kế nghiên cứu, số người chấm, việc bạn quan tâm đến consistency hay absolute agreement, và việc kết luận dựa trên một lần đo hay trung bình nhiều lần đo. Danh sách nguồn được cung cấp cho bài viết này không có một ngưỡng ICC chính thức, nên không nên gắn nhãn “đạt” cho một con số ICC chỉ vì nó thường xuất hiện trên Internet.

Bảng dưới đây giúp bạn kiểm tra đúng điểm cần báo cáo. Cột nguồn chỉ sử dụng các nguồn trong allowlist và không biến những ngưỡng của chỉ số khác thành ngưỡng ICC.

Với bài của bạn, hãy hỏi giảng viên hướng dẫn hoặc xem phương pháp của ngành để chọn cách diễn giải ICC. Khi chưa có quy ước được chấp thuận, cách an toàn hơn là báo cáo giá trị ICC, khoảng tin cậy, mô hình đã chọn và lý do chọn mô hình. Đừng tự ghi “ICC trên 0.75 là tốt” nếu bạn không có nguồn được chấp nhận cho chính thiết kế đó.

Cách đọc hệ số ICC trên output SPSS

Sau khi chạy, SPSS thường cho bạn bảng Intraclass Correlation Coefficient. Bảng có thể hiển thị các cột Intraclass Correlation, 95% Confidence Interval, F Test with True Value 0, Value, df1, df2 và Sig. Một số phiên bản sắp xếp tên cột hơi khác, nên bạn cần đọc theo nhãn thực tế trên file output.

Dưới đây là số liệu minh họa, không phải kết quả của một nghiên cứu thật. Giả sử 25 sản phẩm được hai người chấm và bạn chọn mô hình Two-Way Random với Absolute Agreement, loại Single Measures.

Trong ví dụ này, Single Measures phản ánh độ tin cậy nếu bạn chỉ dùng điểm của một người chấm. Average Measures phản ánh độ tin cậy của điểm trung bình từ hai người chấm. Hai dòng không phải hai kết quả để bạn tùy ý chọn dòng đẹp hơn. Bạn phải chọn dòng khớp với cách dữ liệu được sử dụng trong mô hình nghiên cứu.

95% Confidence Interval cho biết độ bất định của ước lượng. Khoảng càng rộng, kết quả càng cần được diễn giải thận trọng, thường do cỡ mẫu nhỏ hoặc dữ liệu giữa các đối tượng chưa đủ đa dạng. Cột Sig. trong kiểm định F cho biết ICC có khác giá trị 0 theo kiểm định đang dùng hay không. Một p-value nhỏ không tự biến ICC thành độ tin cậy cao, vì độ lớn ICC và khoảng tin cậy vẫn cần được xem cùng.

Bảng Case Processing Summary cũng đáng kiểm tra. Nếu số trường hợp hợp lệ thấp hơn dự kiến, hãy xem lại giá trị thiếu, mã hóa dữ liệu và những dòng bị loại. Một ICC chạy trên số quan sát ít hơn kế hoạch phải được giải thích trong phần phương pháp hoặc hạn chế nghiên cứu.

Khi hệ số ICC không đạt thì xử lý thế nào

Trước hết, đừng xóa ngay người chấm hoặc đối tượng có điểm khác biệt. Bạn mở lại file dữ liệu và kiểm tra bốn việc theo thứ tự.

Thứ nhất, kiểm tra cấu trúc dữ liệu. Mỗi hàng phải đại diện cho một đối tượng được đánh giá. Các cột phải đại diện cho các lần đánh giá hoặc người chấm. Nếu bạn nhập ngược hàng và cột, SPSS vẫn có thể chạy nhưng ý nghĩa ICC đã sai.

Thứ hai, kiểm tra mã hóa. Một người chấm có thể dùng thang 1 đến 5 trong khi người khác dùng 1 đến 10. Cũng có trường hợp một cột bị nhập dạng text, dấu thập phân bị đổi, hoặc một biến đảo chiều chưa được xử lý. Bạn cần sửa nguyên nhân dữ liệu trước khi thử mô hình khác.

Thứ ba, kiểm tra loại ICC. Nếu nghiên cứu muốn khái quát kết quả cho nhiều người chấm tương tự, mô hình random có thể phù hợp hơn mô hình chỉ xem những người chấm hiện tại. Nếu bạn chỉ quan tâm đến đúng nhóm người chấm đó, cách chọn mô hình có thể khác. Phần này cần bám vào thiết kế nghiên cứu, không bám vào việc mô hình nào cho con số cao hơn.

Thứ tư, kiểm tra các đối tượng có điểm bất thường. Một outlier có thể là lỗi nhập liệu, nhưng cũng có thể là một đối tượng thật sự khó đánh giá. Nếu loại một dòng, bạn cần có lý do quan sát được và ghi lại kết quả trước, sau khi xử lý. Reviewer có thể hỏi vì sao cỡ mẫu thay đổi.

Nếu ICC vẫn thấp sau khi kiểm tra, hãy báo cáo đúng kết quả và thảo luận nguyên nhân có thể có. Thu thập thêm dữ liệu chỉ hợp lý khi bạn còn thời gian, kế hoạch lấy mẫu rõ ràng và việc tăng cỡ mẫu thực sự phù hợp với thiết kế. Chạy lại nhiều lần rồi giữ bảng có ICC cao nhất là cách khó bảo vệ khi bị hỏi.

Phân biệt hệ số ICC với Cronbach's Alpha và hệ số KR-20

ICC và Cronbach's Alpha đều liên quan đến độ tin cậy, nhưng đơn vị dữ liệu và câu hỏi phân tích khác nhau. ICC thường xem nhiều lần đánh giá trên cùng đối tượng. Cronbach's Alpha xem mức độ nhất quán nội tại giữa các biến quan sát trong một thang đo. Bạn có thể đọc thêm về Cronbach's Alpha trong SPSS nếu bảng output của bạn có Reliability Statistics và Item-Total Statistics.

Hệ số KR-20 là chỉ số dành cho các biến quan sát nhị phân, thường được mã hóa 0 và 1. Câu hỏi “hệ số KR 20 là gì” vì thế liên quan đến độ tin cậy nội tại của bộ mục có hai lựa chọn, không phải độ nhất quán giữa hai người chấm. Nếu các biến của bạn dùng Likert 1 đến 5, bạn cần xem xét Alpha hoặc chỉ số phù hợp khác thay vì tự chuyển sang KR-20.

Vì vậy, nếu đề tài của bạn có hai giám khảo chấm cùng một bộ hồ sơ, ICC có thể là câu hỏi chính. Nếu bạn có bảng hỏi Likert với các biến Q1, Q2, Q3 đo cùng một khái niệm, Cronbach's Alpha thường gần với câu hỏi bạn đang cần hơn. Nếu bạn dùng SmartPLS, hãy xem thêm độ tin cậy tổng hợp, nhưng đừng trộn tiêu chí của PLS-SEM vào phần ICC.

Lỗi thường gặp khi chạy và báo cáo ICC

Lỗi đầu tiên là chỉ chụp con số ICC mà không ghi mô hình. Người đọc cần biết bạn chọn One-Way Random, Two-Way Random hay Two-Way Mixed, đồng thời biết bạn dùng Consistency hay Absolute Agreement. Thiếu thông tin này khiến kết quả khó tái lập.

Lỗi thứ hai là dùng Average Measures dù nghiên cứu chỉ sử dụng điểm của một người chấm. Bạn cần đối chiếu với biến cuối cùng được đưa vào phân tích. Nếu mô hình hồi quy dùng điểm của một đánh giá đơn lẻ, dòng Single Measures thường mới là dòng cần xem xét, còn kết luận cuối cùng vẫn phải theo thiết kế được phê duyệt.

Lỗi thứ ba là gọi ICC là “tương quan Pearson nâng cao”. ICC có thể liên quan đến các thành phần phương sai và cấu trúc đánh giá, nên cách diễn giải không giống việc chỉ chạy Analyze > Correlate > Bivariate. Tương quan cao không bảo đảm hai người chấm cho cùng mức điểm.

Lỗi thứ tư là dùng một ngưỡng trên mạng nhưng không kiểm tra nguồn. Allowlist của bài này không cung cấp ngưỡng ICC cụ thể, nên bài viết không gán nhãn tốt, khá hay kém cho con số minh họa. Bạn có thể nêu cách diễn giải mà khoa hoặc giảng viên đã chấp thuận, kèm nguồn phương pháp tương ứng.

Cách viết vào luận văn

Bạn có thể điều chỉnh đoạn sau theo output thật: “Kết quả kiểm định độ tin cậy giữa các lần đánh giá cho thấy hệ số ICC của [Single Measures/Average Measures] theo mô hình [tên mô hình], tiêu chí [Consistency/Absolute Agreement], đạt [ICC = ...], với khoảng tin cậy 95% từ [cận dưới] đến [cận trên]. Kết quả này được diễn giải dựa trên [quy ước hoặc nguồn phương pháp được sử dụng], phù hợp với thiết kế [mô tả thiết kế].”

Không điền số vào mẫu trước khi bạn kiểm tra đúng dòng Single Measures hoặc Average Measures, đúng loại ICC và khoảng tin cậy trên file .spv của mình.

Câu hỏi thường gặp

Hệ số ICC có phải là Cronbach's Alpha không

Không. ICC thường đánh giá mức độ nhất quán hoặc đồng thuận giữa nhiều lần đánh giá trên cùng đối tượng. Cronbach's Alpha đánh giá độ nhất quán nội tại giữa các biến quan sát trong một thang đo. Hai chỉ số có thể cùng xuất hiện trong một nghiên cứu nhưng không thay thế cho nhau.

Cách chạy hệ số ICC trong SPSS như thế nào

Bạn vào Analyze > Scale > Reliability Analysis, đưa các cột điểm đánh giá vào Items, mở Statistics, chọn Intraclass correlation coefficient, rồi chọn mô hình và loại đánh giá phù hợp. Sau đó đọc bảng Intraclass Correlation Coefficient, khoảng tin cậy 95% và số trường hợp hợp lệ.

Hệ số ICC bao nhiêu là tốt

Không nên dùng một ngưỡng duy nhất nếu chưa xác định thiết kế ICC và nguồn phương pháp. Hãy báo cáo ICC cùng khoảng tin cậy, mô hình, loại Single Measures hoặc Average Measures, và quy ước được giảng viên hoặc lĩnh vực của bạn chấp thuận.

Hệ số KR-20 có chạy thay cho ICC trong SPSS được không

KR-20 dành cho bộ biến nhị phân 0 và 1, dùng để xem độ nhất quán nội tại. ICC dành cho các lần đánh giá trên cùng đối tượng. Nếu dữ liệu của bạn là điểm chấm từ nhiều người đánh giá, KR-20 không trả lời câu hỏi về mức độ đồng thuận giữa người chấm.

ICC thấp thì có được giữ kết quả không

Bạn vẫn có thể giữ và báo cáo kết quả nếu quy trình phân tích đúng, nhưng cần thảo luận ý nghĩa của ICC thấp và giới hạn của phép đo. Trước đó hãy kiểm tra mã hóa, giá trị thiếu, cách sắp xếp hàng cột và lựa chọn mô hình. Không nên loại dữ liệu chỉ để làm ICC tăng mà không có lý do phương pháp rõ ràng.

Mở file SPSS của bạn, xác định mỗi hàng là một đối tượng và mỗi cột là một lần đánh giá, sau đó chạy lại ICC với mô hình đã ghi trong phương pháp. Nếu bạn cần chạy phân tích trên chính file .sav hoặc .csv và kiểm tra cách viết bảng kết quả, M4 phân tích của DoThesis hỗ trợ bước này.