Power của kiểm định là gì? Cách đọc và đánh giá trong nghiên cứu định lượng
Power của kiểm định là gì
Bạn có thể đã mở bảng kết quả, nhìn thấy p-value và tự hỏi vì sao luận văn còn nói đến power của kiểm định. Power, còn gọi là statistical power, là xác suất một kiểm định phát hiện được hiệu ứng thật sự tồn tại khi hiệu ứng đó thực sự có trong tổng thể. Nói gần với tình huống làm luận văn, power trả lời câu hỏi: với cỡ mẫu, mức ý nghĩa và kích thước hiệu ứng hiện tại, nghiên cứu có khả năng nhận ra mối quan hệ hoặc khác biệt mà bạn đang tìm hay không.
Về mặt khái niệm, power được viết là:
Power = 1 - β
Trong đó β là xác suất mắc sai lầm loại II, tức là không bác bỏ H0 dù H0 thực tế không đúng. Power chịu ảnh hưởng bởi ít nhất bốn yếu tố: cỡ mẫu, mức ý nghĩa α, kích thước hiệu ứng và dạng kiểm định. Khi cỡ mẫu tăng, power thường tăng. Khi hiệu ứng lớn hơn, power cũng thường tăng. Nếu bạn đặt mức ý nghĩa nghiêm ngặt hơn, việc bác bỏ H0 khó hơn và power có thể giảm nếu các yếu tố khác giữ nguyên.
Power không phải là tỷ lệ phần trăm kết quả của bạn đúng, cũng không phải xác suất H1 đúng sau khi đã thấy p-value. Đây là chỉ số dùng để đánh giá khả năng phát hiện hiệu ứng trong một thiết kế nghiên cứu cụ thể. Nếu bạn đang xem các khái niệm liên quan, có thể đọc thêm mức ý nghĩa là gì, khoảng tin cậy và bậc tự do là gì.
Ý nghĩa của power của kiểm định trong nghiên cứu định lượng
Power quan trọng nhất ở giai đoạn thiết kế nghiên cứu, trước khi bạn phát bảng hỏi. Bạn cần ước lượng cỡ mẫu sao cho kiểm định có cơ hội hợp lý để phát hiện hiệu ứng mà mô hình lý thuyết dự đoán. Nếu power quá thấp, một kết quả không có ý nghĩa thống kê có thể xuất phát từ việc mẫu chưa đủ lớn, thay vì chứng minh rằng biến độc lập không tác động đến biến phụ thuộc.
Ví dụ, bạn kiểm định ảnh hưởng của chất lượng dịch vụ đến sự hài lòng. Kết quả hồi quy có p-value lớn hơn mức ý nghĩa đã chọn. Khi đó, bạn có thể kết luận chưa có đủ bằng chứng thống kê về ảnh hưởng trong mẫu, nhưng không nên viết rằng chất lượng dịch vụ chắc chắn không ảnh hưởng. Nếu nghiên cứu chỉ có 60 quan sát trong khi mô hình có nhiều biến giải thích, power có thể thấp và khả năng bỏ sót hiệu ứng tăng lên.
Power cũng giúp bạn giải thích kết quả không có ý nghĩa thống kê một cách thận trọng. Một kiểm định có power cao nhưng vẫn không phát hiện hiệu ứng cung cấp bằng chứng mạnh hơn so với kiểm định có power thấp. Tuy vậy, power cao không biến một mô hình sai thành mô hình đúng. Bạn vẫn phải kiểm tra thang đo, cách chọn mẫu, giả định của mô hình, dữ liệu thiếu và cách diễn giải hệ số.
Trong nghiên cứu định lượng, power thường được dùng cho hai mục tiêu. Mục tiêu thứ nhất là phân tích power trước khi thu thập dữ liệu, nhằm ước lượng cỡ mẫu cần thiết. Mục tiêu thứ hai là phân tích power sau nghiên cứu, nhằm xem thiết kế và cỡ mẫu thực tế có đủ khả năng phát hiện hiệu ứng hay không. Với luận văn sinh viên, phân tích trước nghiên cứu thường hữu ích hơn vì nó giúp bạn quyết định số phiếu cần thu ngay từ đầu.
Bạn cũng nên phân biệt power với df. df là thông tin liên quan đến số lượng thông tin tự do còn lại trong một kiểm định, còn power là khả năng phát hiện hiệu ứng. Nếu bạn đang đọc bảng SPSS có cột df, bài df là gì và bài df trong SPSS sẽ phù hợp hơn.
Power của kiểm định bao nhiêu là đạt
Câu hỏi “power của kiểm định bao nhiêu là tốt” thường xuất hiện khi bạn chuẩn bị phần phương pháp. Trong thực tế, bạn không nên chỉ lấy một con số rồi tuyên bố mọi nghiên cứu phải đạt đúng con số đó. Mức power phù hợp còn phụ thuộc vào loại kiểm định, kích thước hiệu ứng tối thiểu có ý nghĩa về mặt lý thuyết hoặc thực tiễn, số biến dự báo, mức ý nghĩa và cỡ mẫu có thể thu thập.
Nhiều tài liệu phương pháp dùng power 0.80 như một mốc lập kế hoạch phổ biến, nhưng danh sách nguồn được phép trích dẫn của bài này không có tài liệu riêng để gắn con số đó vào một quy tắc bắt buộc. Vì vậy, bạn có thể trình bày 0.80 như một mục tiêu thiết kế được lựa chọn, đồng thời ghi rõ căn cứ của lựa chọn và các giả định đầu vào. Đừng biến nó thành kết luận rằng mọi power dưới 0.80 đều làm nghiên cứu vô giá trị.
Các ngưỡng dưới đây là những mốc thường xuất hiện trong việc lập kế hoạch, còn quyết định cuối cùng phải gắn với thiết kế nghiên cứu. Nguồn trong bảng chỉ hỗ trợ phần kích thước hiệu ứng, cỡ mẫu hoặc bối cảnh phương pháp tương ứng, không phải mọi con số trong bảng đều là quy tắc chung cho mọi kiểm định.
| Thành phần cần kiểm tra | Cách hiểu khi lập kế hoạch | Nguồn hoặc lưu ý |
|---|---|---|
| Power mục tiêu | Chọn trước một mức mục tiêu, thường gặp là 0.80 trong kế hoạch nghiên cứu, nhưng cần giải trình theo bối cảnh | Không có ngưỡng power chung trong danh sách nguồn được phép trích dẫn |
| Kích thước hiệu ứng f² = 0.02 | Hiệu ứng nhỏ | (Cohen, 1988) |
| Kích thước hiệu ứng f² = 0.15 | Hiệu ứng trung bình | (Cohen, 1988) |
| Kích thước hiệu ứng f² = 0.35 | Hiệu ứng lớn | (Cohen, 1988) |
| Cỡ mẫu hồi quy | Có thể tham khảo quy tắc n từ 50 + 8m, trong đó m là số biến dự báo | (Tabachnick và Fidell, 2013) |
| 5 đến 10 quan sát cho một biến quan sát | Mốc tham khảo khi thiết kế nghiên cứu có thang đo nhiều biến quan sát | (Hair và cộng sự, 2010) |
Bảng này không cho phép bạn nhìn vào số biến quan sát rồi suy ra power chính xác. Hai nghiên cứu có cùng cỡ mẫu vẫn có power khác nhau nếu kiểm định, hiệu ứng kỳ vọng hoặc số biến dự báo khác nhau. Khi dùng phần mềm, bạn cần nhập đúng dạng kiểm định và các tham số đầu vào, sau đó lưu lại ảnh chụp hoặc bảng kết quả để giải trình.
Một cách viết thận trọng trong chương phương pháp là: “Nghiên cứu lựa chọn power mục tiêu là [power mục tiêu] dựa trên giả định kích thước hiệu ứng [f²], mức ý nghĩa [α], số biến dự báo [m] và loại kiểm định [tên kiểm định]. Cỡ mẫu tối thiểu được ước lượng là [n tối thiểu], sau đó nghiên cứu dự kiến thu [n thực tế] quan sát để dự phòng dữ liệu không hợp lệ.” Bạn cần thay toàn bộ phần trong ngoặc vuông bằng thông tin thật trong file và kế hoạch của mình.
Cách đọc power của kiểm định trên output
Power của kiểm định trong SPSS thường gây nhầm vì các hộp thoại SPSS phổ biến như Analyze > Compare Means, Analyze > Correlate hoặc Analyze > Regression thường trả về test statistic, p-value, hệ số và khoảng tin cậy, chứ không luôn có một cột tên là Power. SPSS có thể hỗ trợ một số quy trình và mở rộng, nhưng nhiều sinh viên dùng phần mềm phân tích power chuyên biệt để tính cỡ mẫu trước, rồi dùng SPSS để chạy kiểm định trên dữ liệu thật.
Hãy tách hai màn hình thành hai nhiệm vụ. Màn hình phân tích power cho biết thiết kế cần bao nhiêu quan sát hoặc có khả năng phát hiện hiệu ứng đến đâu. Output SPSS cho biết dữ liệu thu được đã cho ra hệ số, sai số chuẩn, t, F và p-value như thế nào. Bạn không nên tìm một cột Power trong bảng Coefficients rồi lấy p-value thay thế cho power.
Số liệu minh họa
Bảng dưới đây là số liệu minh họa cho một kế hoạch hồi quy tuyến tính với ba biến dự báo. Đây không phải kết quả của một nghiên cứu thật và không phải số liệu bạn có thể chép vào chương 4.
| Phần mềm hoặc bảng | Thông tin hiển thị | Giá trị minh họa | Cách đọc |
|---|---|---|---|
| Power analysis, Test family | Linear multiple regression | Fixed model, R² deviation from zero | Loại phân tích đã chọn |
| Power analysis, Effect size f² | Effect size | 0.15 | Giả định hiệu ứng trung bình theo (Cohen, 1988) |
| Power analysis, α err prob | Alpha | 0.05 | Mức ý nghĩa đã đặt trước |
| Power analysis, Predictors | Number of predictors | 3 | Số biến độc lập trong mô hình |
| Power analysis, Total sample size | Cỡ mẫu yêu cầu | 77 | Kết quả minh họa từ bộ tham số trên |
| Power analysis, Power | Power | 0.80 | Mức power mục tiêu minh họa |
| SPSS, Model Summary | R Square | 0.128 | Tỷ lệ biến thiên được mô hình giải thích trong mẫu minh họa |
| SPSS, ANOVA | Sig. | 0.041 | p-value của kiểm định tổng thể trong mẫu minh họa |
| SPSS, Coefficients | Sig. của X1 | 0.118 | Riêng X1 chưa có ý nghĩa ở mức α = 0.05 trong ví dụ |
Cách đọc là: với các giả định đầu vào đã nhập, kế hoạch minh họa cần 77 quan sát để đạt power mục tiêu được đặt trong phần mềm. Khi chạy dữ liệu thật, R Square và Sig. trong SPSS là kết quả của mẫu đã thu, không phải bằng chứng rằng power thực tế đúng bằng 0.80. Một biến có p-value lớn vẫn có thể là hiệu ứng nhỏ, hoặc dữ liệu chưa đủ thông tin để phát hiện hiệu ứng.
Nếu bạn chạy hồi quy trong SPSS, đường dẫn thường dùng là Analyze > Regression > Linear. Đưa biến phụ thuộc vào ô Dependent, các biến độc lập vào ô Independent(s), sau đó xem Model Summary, ANOVA và Coefficients. Để tính power, bạn phải xác định trước loại kiểm định, effect size, α, số biến dự báo và cỡ mẫu. Đừng dùng Sig. của một bảng sau khi chạy để tuyên bố rằng nghiên cứu ban đầu đã có power cao.
Trong phần kết quả, bạn có thể viết: “Phân tích power trước nghiên cứu với các tham số [loại kiểm định], [f²], α = [α], số biến dự báo = [m] cho thấy cỡ mẫu tối thiểu là [n]. Dữ liệu hợp lệ thu được gồm [n thực tế] quan sát. Kết quả hồi quy trên mẫu này được trình bày qua các bảng Model Summary, ANOVA và Coefficients.” Đây là đoạn mẫu để thích nghi, không phải kết quả có sẵn cho đề tài của bạn.
Khi power của kiểm định không đạt thì xử lý thế nào
Trước tiên, kiểm tra bạn đang nói về power kế hoạch hay power tính sau nghiên cứu. Nếu power kế hoạch thấp, cách xử lý có cơ sở nhất là điều chỉnh thiết kế trước khi thu thập dữ liệu. Bạn có thể tăng cỡ mẫu trong giới hạn nguồn lực, giảm số biến dự báo không cần thiết theo mô hình lý thuyết, xác định effect size thực tế hơn hoặc chọn kiểm định phù hợp với câu hỏi nghiên cứu.
Nếu đã thu dữ liệu, bạn không thể dùng phần mềm để biến một thiết kế yếu thành thiết kế mạnh. Bạn có thể kiểm tra dữ liệu nhập sai, dữ liệu thiếu, giá trị ngoại lệ và giả định của mô hình. Việc loại một biến quan sát chỉ vì nó làm power hoặc p-value đẹp hơn là không có cơ sở nếu không có lý do lý thuyết và quy trình báo cáo rõ ràng.
Đừng tự ý tăng α chỉ để power tăng và p-value dễ đạt hơn. Mức ý nghĩa cần được xác định trước hoặc giải trình minh bạch, vì thay đổi sau khi xem kết quả làm tăng rủi ro kết luận thiên lệch. Bạn cũng không nên thu thêm dữ liệu nhiều lần rồi dừng ngay khi p-value nhỏ mà không ghi lại quy tắc dừng.
Nếu không thể tăng mẫu, hãy báo cáo giới hạn đó và diễn giải kết quả theo hướng thận trọng. Một kết quả không có ý nghĩa thống kê trong nghiên cứu power thấp nên được viết là “chưa tìm thấy bằng chứng thống kê đủ để bác bỏ H0 trong mẫu nghiên cứu”, thay vì “H0 được chứng minh là đúng”. Đồng thời, xem khoảng tin cậy để biết phạm vi hiệu ứng còn phù hợp với các khả năng nào.
Phân biệt power của kiểm định với p-value và mức ý nghĩa
Power và p-value cùng xuất hiện trong kiểm định giả thuyết nhưng trả lời các câu hỏi khác nhau. p-value cho biết mức độ phù hợp của dữ liệu với H0 theo cách tính của kiểm định đã chọn. Power cho biết khả năng phát hiện hiệu ứng nếu hiệu ứng đó thực sự tồn tại trong điều kiện thiết kế đã đặt ra.
Mức ý nghĩa α là ngưỡng bạn chọn trước để ra quyết định thống kê, thường được dùng để kiểm soát xác suất sai lầm loại I trong khuôn khổ kiểm định. Power liên quan đến sai lầm loại II. Bạn có thể xem mức ý nghĩa là gì để tách rõ α khỏi p-value.
Một p-value nhỏ không tự động chứng minh power của nghiên cứu cao. Với mẫu lớn, một hiệu ứng rất nhỏ cũng có thể cho p-value nhỏ. Ngược lại, một p-value lớn không chứng minh không có hiệu ứng, đặc biệt khi power thấp hoặc khoảng tin cậy còn rộng.
Power cũng khác effect size. Effect size mô tả độ lớn của khác biệt hoặc mối liên hệ, còn power là khả năng phát hiện độ lớn đó trong một thiết kế cụ thể. Trong hồi quy, f² có thể được dùng để mô tả kích thước hiệu ứng và các mốc nhỏ, trung bình, lớn được nêu trong (Cohen, 1988). Không được lấy f² = 0.15 rồi gọi đó là power 0.15.
Lỗi thường gặp
Lỗi đầu tiên là viết “power đạt 80% nên kết quả chắc chắn đúng”. Power chỉ là khả năng phát hiện hiệu ứng theo các giả định, không đánh giá toàn bộ chất lượng dữ liệu, thang đo hay mô hình lý thuyết.
Lỗi thứ hai là tìm power trong bảng Coefficients của SPSS. Bảng này thường có B, Std. Error, Beta, t và Sig., còn power có thể phải được tính ở bước lập kế hoạch bằng một quy trình khác. Hãy ghi rõ bạn dùng phần mềm nào, nhập tham số nào và power là power dự kiến hay power sau nghiên cứu.
Lỗi thứ ba là dùng cùng một power cho mọi loại phân tích. Kiểm định t, tương quan, hồi quy, ANOVA và kiểm định tỷ lệ có cấu trúc tham số khác nhau. Chọn sai test family sẽ làm cỡ mẫu tính ra không còn phù hợp.
Lỗi thứ tư là chọn effect size chỉ để đạt cỡ mẫu dễ thu. Effect size cần có căn cứ từ nghiên cứu trước, lý thuyết hoặc mức thay đổi có ý nghĩa thực tiễn. Nếu không có căn cứ chắc chắn, hãy nêu rõ đây là giả định lập kế hoạch và phân tích thêm các kịch bản hợp lý.
Lỗi cuối là chỉ báo cáo “cỡ mẫu đạt” mà không nói power, α, effect size và số biến dự báo. Người đọc không thể kiểm tra kết quả nếu thiếu các đầu vào này.
Câu hỏi thường gặp
Power của kiểm định là gì trong SPSS?
Power là khả năng phát hiện hiệu ứng thật của một kiểm định, nhưng không phải mọi bảng output SPSS đều có cột Power. SPSS thường cho bạn p-value, test statistic, hệ số và khoảng tin cậy sau khi chạy phân tích. Power thường được tính ở bước thiết kế nghiên cứu bằng công cụ hoặc quy trình phù hợp với loại kiểm định.
Power của kiểm định bao nhiêu là tốt?
Không có một ngưỡng duy nhất áp dụng cho mọi nghiên cứu. Nhiều kế hoạch dùng 0.80 làm mục tiêu, nhưng bạn cần ghi rõ đây là lựa chọn thiết kế cùng với α, effect size, loại kiểm định và số biến dự báo. Không nên kết luận nghiên cứu vô giá trị chỉ từ việc power thấp mà bỏ qua toàn bộ bối cảnh.
Power thấp thì có được dùng dữ liệu để chạy SPSS không?
Bạn vẫn có thể chạy SPSS và báo cáo kết quả, nhưng cần nêu giới hạn về cỡ mẫu hoặc khả năng phát hiện hiệu ứng. Kiểm tra lại dữ liệu và giả định của mô hình trước khi kết luận. Nếu còn thời gian trước khi khóa dữ liệu, tăng số quan sát theo một kế hoạch đã giải trình thường có cơ sở hơn việc sửa dữ liệu hoặc thay đổi α sau khi xem p-value.
Power có giống p-value không?
Không. p-value là kết quả của dữ liệu quan sát được dưới H0, còn power là khả năng phát hiện hiệu ứng trong một thiết kế khi hiệu ứng tồn tại. Một p-value lớn không cho biết power chắc chắn thấp, và một p-value nhỏ cũng không chứng minh power chắc chắn cao.
Có cần đưa power vào chương 4 không?
Nếu bạn đã phân tích power trước nghiên cứu để xác định cỡ mẫu, nên trình bày phương pháp và kết quả đó ở chương 3, sau đó nhắc cỡ mẫu thực tế ở chương 4. Nếu có phân tích power sau nghiên cứu, hãy nói rõ đây là phân tích sau dữ liệu và ghi đầy đủ giả định. Không chép bảng minh họa hoặc số liệu từ tài liệu hướng dẫn vào kết quả nghiên cứu của mình.
Mở file kế hoạch phân tích của bạn, ghi lại loại kiểm định, α, effect size, số biến dự báo, power mục tiêu và cỡ mẫu thực tế, rồi đối chiếu với các bảng SPSS trước khi viết kết luận. Nếu cần chạy phân tích trên chính file .sav hoặc .csv của bạn, M4 phân tích của DoThesis thực hiện bước này bằng SPSS và SmartPLS.