Ordinary Least Squares là gì? Cách đọc và đánh giá hồi quy OLS

Ordinary Least Squares là gì

Bạn mở output SPSS và thấy các bảng Model Summary, ANOVA, Coefficients, nhưng chưa biết hệ số B được tính từ đâu. Ordinary Least Squares, thường viết tắt là OLS, là phương pháp ước lượng các hệ số trong mô hình hồi quy tuyến tính bằng cách làm cho tổng bình phương phần dư giữa giá trị quan sát và giá trị dự báo nhỏ nhất.

Với một biến phụ thuộc Y và một hoặc nhiều biến độc lập X, mô hình có dạng:

Y = β0 + β1X1 + β2X2 + ... + βkXk + ε

Trong đó, β0 là hằng số, β1 đến βk là các hệ số hồi quy, còn ε là phần sai số. OLS chọn các giá trị của hệ số sao cho tổng ε² của toàn bộ quan sát là nhỏ nhất. Vì phần dư được bình phương, sai số dương và âm không triệt tiêu nhau trong quá trình ước lượng.

Trong nghiên cứu định lượng, OLS thường xuất hiện khi bạn chạy hồi quy tuyến tính trên SPSS. Chẳng hạn, bạn muốn kiểm tra chất lượng dịch vụ, sự thuận tiện và giá cả có ảnh hưởng đến ý định mua hay không. OLS giúp ước lượng mức thay đổi của ý định mua khi một yếu tố thay đổi, trong điều kiện các yếu tố còn lại được giữ cố định.

Ý nghĩa của Ordinary Least Squares trong nghiên cứu định lượng

OLS trả lời hai nhóm câu hỏi. Nhóm thứ nhất là mô hình có giải thích được sự biến thiên của biến phụ thuộc hay không. Nhóm thứ hai là từng biến độc lập có mối liên hệ có ý nghĩa thống kê với biến phụ thuộc hay không.

Nếu hệ số hồi quy của X1 dương, giá trị dự báo của Y có xu hướng tăng khi X1 tăng, sau khi đã giữ các biến độc lập khác trong mô hình. Nếu hệ số âm, mối liên hệ có hướng ngược lại. Tuy nhiên, dấu của hệ số chưa đủ để kết luận giả thuyết được chấp nhận. Bạn còn phải xem Sig. hoặc p-value, khoảng tin cậy, độ phù hợp của mô hình và các vấn đề như đa cộng tuyến.

OLS đặc biệt phù hợp với hồi quy tuyến tính khi biến phụ thuộc là một biến định lượng và câu hỏi nghiên cứu tập trung vào quan hệ tuyến tính. Khi biến phụ thuộc là nhị phân, chẳng hạn có mua hoặc không mua, logistic regression thường phù hợp hơn. Khi mục tiêu là kiểm định biến trung gian hoặc biến điều tiết, bạn cần thiết kế mô hình và cách kiểm định riêng. Bạn có thể xem thêm sự khác nhau giữa mediator, moderator và moderating trước khi đưa các biến này vào mô hình.

OLS cũng không tự động chứng minh quan hệ nhân quả. Một hệ số có p-value nhỏ cho thấy bằng chứng về mối liên hệ trong dữ liệu và mô hình đã chỉ định. Để diễn giải thành tác động nhân quả, bạn còn phải dựa vào thiết kế nghiên cứu, thứ tự thời gian, cách chọn mẫu và nền tảng lý thuyết.

Trong luận văn, OLS thường được dùng sau khi bạn hoàn thành bước đo lường. Nếu biến độc lập và biến phụ thuộc được đo bằng nhiều biến quan sát, bạn có thể tổng hợp thành nhân tố hoặc giá trị trung bình sau khi kiểm tra thang đo. Xem thêm scale là gì nếu bạn đang phân biệt giữa khái niệm nghiên cứu, thang đo và biến dùng trong file SPSS.

Ordinary Least Squares bao nhiêu là đạt

OLS không có một con số duy nhất để kết luận là đạt hay không đạt. Bạn cần đọc nhiều chỉ số trong output. Các ngưỡng dưới đây là mốc tham khảo thường dùng, nhưng phải đặt cạnh câu hỏi nghiên cứu, cỡ mẫu và cách đo lường.

R² bằng 0.50 chẳng hạn có nghĩa là mô hình giải thích khoảng 50% biến thiên của Y trong mẫu, không có nghĩa mô hình đúng 50% hay mọi dự báo đều chính xác 50%. R² thấp cũng chưa đủ để bác bỏ mô hình trong các lĩnh vực hành vi, nơi biến phụ thuộc thường chịu ảnh hưởng của nhiều yếu tố ngoài mô hình.

Với hồi quy có nhiều biến độc lập, bạn nên xem thêm Adjusted R Square. Chỉ số này điều chỉnh R² theo số lượng biến và cỡ mẫu, nên thường hữu ích hơn khi so sánh các mô hình có số biến khác nhau. Khi báo cáo, hãy ghi rõ bạn đang dùng R Square hay Adjusted R Square.

VIF cần được đọc cùng Tolerance và ma trận tương quan. VIF cao có thể khiến hệ số hồi quy không ổn định, sai số chuẩn tăng và một biến có thể trở nên không có ý nghĩa dù tương quan đơn giản với Y khá rõ. Mốc VIF nhỏ hơn 5 được Hair và cộng sự đề xuất trong hướng dẫn báo cáo PLS-SEM, nhưng trong thực hành luận văn, bạn vẫn cần giải thích bối cảnh và không nên coi đây là nút quyết định duy nhất.

Cách đọc Ordinary Least Squares trên output

Trong SPSS, bạn vào Analyze > Regression > Linear. Đưa biến phụ thuộc vào ô Dependent, các biến độc lập vào ô Independent(s), sau đó trong Statistics chọn Estimates, Model fit, Collinearity diagnostics và Durbin-Watson. Trong Plots, có thể chọn biểu đồ phần dư để kiểm tra thêm dạng phân tán và phân phối phần dư.

Bảng dưới đây là số liệu minh họa, không phải kết quả của một nghiên cứu thật. Giả sử Y là Ý định mua, còn X1 là Chất lượng dịch vụ, X2 là Sự thuận tiện và X3 là Giá trị cảm nhận.

Đọc bảng theo thứ tự sẽ tránh nhầm. Trong Model Summary, R Square bằng 0.468 cho biết ba biến độc lập giải thích 46.8% biến thiên của Ý định mua trong mẫu minh họa. Adjusted R Square bằng 0.451 là con số nên được báo cáo khi mô hình có nhiều biến độc lập. Durbin-Watson bằng 1.842 nằm trong khoảng tham khảo từ 1 đến 3 theo (Field, 2013).

Tiếp theo, bảng ANOVA cho biết mô hình tổng thể có phù hợp với dữ liệu hơn mô hình chỉ có hằng số hay không. Nếu Sig. của kiểm định F nhỏ hơn 0.05, bạn có thể kết luận mô hình hồi quy tổng thể có ý nghĩa thống kê ở mức 5%, với điều kiện cách diễn giải này phù hợp với thiết kế kiểm định của bạn.

Trong bảng Coefficients, cột B là hệ số chưa chuẩn hóa. Với X1 bằng 0.318, khi Chất lượng dịch vụ tăng một đơn vị thì Ý định mua dự kiến tăng 0.318 đơn vị, trong điều kiện X2 và X3 giữ cố định. Cột Beta là hệ số chuẩn hóa, thường được dùng để so sánh tương đối độ lớn của các biến độc lập trong cùng mô hình.

Cột Sig. của X1 là nhỏ hơn 0.001, X2 là 0.003 và X3 là 0.038. Trong ví dụ này, cả ba biến đều có bằng chứng thống kê ở mức 5%. Bạn vẫn cần kiểm tra dấu của B có đúng với giả thuyết hay không. Một p-value nhỏ nhưng hệ số mang dấu ngược dự đoán là tình huống cần giải thích, không nên tự động ghi là giả thuyết được chấp nhận.

Cột VIF trong ví dụ đều nhỏ hơn 5. Đây là dấu hiệu chưa thấy đa cộng tuyến nghiêm trọng theo mốc (Hair và cộng sự, 2019). Khi output của bạn có VIF cao, hãy xem phần xử lý ở mục tiếp theo thay vì xóa biến ngay.

Khi Ordinary Least Squares không đạt thì xử lý thế nào

Trước tiên, xác định chính xác chỉ số nào đang có vấn đề. R² thấp, p-value lớn, VIF cao, phần dư không phù hợp và thang đo thiếu độ tin cậy là các tình huống khác nhau, nên không thể dùng một cách sửa cho tất cả.

Nếu Cronbach's Alpha hoặc Corrected Item-Total Correlation không đạt, quay lại bảng Reliability Statistics và Item-Total Statistics. Kiểm tra biến đảo chiều đã được mã hóa đúng chưa, rồi xem cột Alpha if Item Deleted. Chỉ loại biến khi có lý do về thống kê và nội dung đo lường. Việc xóa liên tục để Alpha tăng nhưng làm khái niệm bị thiếu nội dung thường khó giải trình với giảng viên.

Nếu VIF cao, kiểm tra các biến độc lập có đang đo gần như cùng một nội dung hay không. Xem tương quan giữa chúng, kiểm tra cách tạo biến tổng hợp và rà lại việc nhập dữ liệu. Có thể cân nhắc loại một biến trùng lặp nếu lý thuyết cho phép, gộp khái niệm chỉ khi mô hình lý thuyết biện minh, hoặc thu thập lại dữ liệu nếu lỗi nằm ở thiết kế bảng hỏi. Không nên xóa biến chỉ vì nó làm giả thuyết không có ý nghĩa.

Nếu p-value của một biến lớn hơn mức bạn chọn, hãy báo cáo kết quả không có ý nghĩa thống kê và đối chiếu với giả thuyết. Bạn có thể kiểm tra cỡ mẫu, chất lượng thang đo, outliers và đặc tả mô hình. Outliers có thể ảnh hưởng mạnh đến hệ số OLS, nhưng việc loại một quan sát phải có tiêu chí và ghi nhận rõ ràng, không dựa riêng vào việc nó làm kết quả đẹp hơn.

Nếu phần dư cho thấy phương sai thay đổi, phân phối lệch mạnh hoặc quan hệ giữa X và Y không tuyến tính, hãy dừng việc diễn giải hệ số như thể các điều kiện đã được thỏa mãn. Kiểm tra biểu đồ và các chẩn đoán phù hợp trong SPSS, sau đó trao đổi về cách biến đổi biến, đặc tả lại mô hình hoặc dùng phương pháp ước lượng khác. Bạn không thể sửa một vấn đề về dữ liệu chỉ bằng cách đổi tên bảng trong chương 4.

Nếu mô hình không đạt vì cỡ mẫu quá nhỏ, việc chạy lại cùng một file nhiều lần không tạo thêm thông tin. Hãy xem lại số quan sát hợp lệ, số biến độc lập và kế hoạch thu thập dữ liệu. Không được tự tạo thêm dòng dữ liệu để làm cho p-value nhỏ hơn.

Phân biệt Ordinary Least Squares với hồi quy tuyến tính và các chỉ số dễ nhầm

Hồi quy tuyến tính là tên của mô hình quan hệ tuyến tính giữa biến phụ thuộc và biến độc lập. OLS là một phương pháp thường dùng để ước lượng các hệ số của mô hình đó. Hai cụm từ thường được dùng gần nhau trong luận văn, nhưng chúng không hoàn toàn đồng nghĩa.

R Square cũng không phải OLS. R Square là chỉ số mô tả mức độ biến thiên của Y được mô hình giải thích. OLS là cách tìm hệ số sao cho tổng bình phương phần dư nhỏ nhất. Một mô hình OLS có thể có R² thấp hoặc cao tùy dữ liệu.

Pearson correlation đo mức độ và hướng liên hệ tuyến tính giữa hai biến, thường không kiểm soát các biến độc lập khác. Hệ số B trong hồi quy OLS thể hiện mối liên hệ riêng phần của một biến khi các biến khác trong mô hình được giữ cố định. Vì vậy, hệ số tương quan và hệ số hồi quy có thể khác nhau về độ lớn, thậm chí khác dấu khi có tương quan giữa các biến độc lập.

Standardized Beta và B cũng dễ bị trộn lẫn. B giữ nguyên đơn vị đo của biến, nên phù hợp để viết phương trình dự báo. Beta đã chuẩn hóa đơn vị và thuận tiện hơn khi so sánh tương đối giữa các biến độc lập. Cả hai đều nằm trong bảng Coefficients nhưng trả lời hai câu hỏi khác nhau.

OLS trong hồi quy tuyến tính khác với CB-SEM và PLS-SEM. Khi chạy SmartPLS, bạn sẽ gặp outer loading, CR, AVE, HTMT, path coefficient và bootstrapping. Không nên đưa các ngưỡng CFI, TLI, RMSEA của CB-SEM vào một bài phân tích OLS hoặc SmartPLS. Nếu bạn đang đọc các chủ đề thống kê khác, có thể xem chuyên mục Thống kê để đối chiếu đúng loại mô hình trước khi chọn chỉ số.

Lỗi thường gặp

Lỗi đầu tiên là viết “OLS đạt” như thể OLS có một ngưỡng duy nhất. Bạn cần nêu rõ mô hình đang được đánh giá qua R², kiểm định F, hệ số từng biến, VIF, phần dư và cỡ mẫu.

Lỗi thứ hai là chỉ nhìn Sig. rồi bỏ qua dấu của hệ số. Một biến có Sig. nhỏ nhưng hệ số âm sẽ không ủng hộ giả thuyết dương. Hãy ghi cả B hoặc Beta, t, Sig. và hướng tác động.

Lỗi thứ ba là dùng R² để nói rằng mô hình giải thích nguyên nhân của Y. R² chỉ mô tả mức độ phù hợp theo phương diện biến thiên trong mẫu. Phần kết luận cần thận trọng hơn, nhất là với dữ liệu khảo sát cắt ngang.

Lỗi thứ tư là loại outlier hoặc biến độc lập sau nhiều lần thử cho đến khi kết quả có ý nghĩa. Hãy lưu từng phiên bản file, ghi tiêu chí loại và giữ lại căn cứ lý thuyết. Nếu thay đổi mô hình sau khi xem kết quả, bạn cần nói rõ đó là phân tích bổ sung hay mô hình ban đầu.

Cách viết vào luận văn có thể điều chỉnh như sau: “Kết quả hồi quy OLS cho thấy mô hình có Adjusted R Square bằng [giá trị], nghĩa là các biến độc lập giải thích [tỷ lệ]% sự biến thiên của [biến phụ thuộc]. Biến [tên biến] có tác động [cùng chiều/ngược chiều] đến [biến phụ thuộc] với hệ số Beta bằng [giá trị] và Sig. bằng [giá trị], do đó giả thuyết [H] được [ủng hộ/không được ủng hộ] ở mức ý nghĩa [mức chọn].” Chỉ thay placeholder bằng số liệu thật trong output của bạn.

Câu hỏi thường gặp

Ordinary Least Squares là gì và OLS dùng để làm gì?

OLS là phương pháp ước lượng hệ số hồi quy bằng cách tối thiểu hóa tổng bình phương phần dư. Trong luận văn định lượng, OLS thường được dùng để đánh giá mối liên hệ tuyến tính giữa một biến phụ thuộc và một hoặc nhiều biến độc lập.

OLS có phải là hồi quy tuyến tính không?

OLS là một phương pháp ước lượng thường dùng trong hồi quy tuyến tính. Hồi quy tuyến tính mô tả dạng mô hình, còn OLS mô tả cách ước lượng các hệ số của mô hình đó.

Ordinary Least Squares bao nhiêu là đạt?

Không có một ngưỡng duy nhất cho OLS. Bạn cần xem đồng thời Adjusted R Square, kiểm định F, B hoặc Beta, Sig., VIF, Durbin-Watson và các chẩn đoán phần dư. Các mốc như VIF nhỏ hơn 5 theo (Hair và cộng sự, 2019) hay Durbin-Watson từ 1 đến 3 theo (Field, 2013) chỉ là tiêu chí tham khảo cho từng khía cạnh.

Vì sao R² thấp nhưng một số biến vẫn có Sig. nhỏ?

R² phản ánh mức độ giải thích của toàn bộ mô hình, còn Sig. của từng biến phản ánh bằng chứng thống kê cho hệ số riêng phần của biến đó. Một mô hình có thể giải thích được một phần nhỏ biến thiên của Y nhưng vẫn có một biến độc lập có mối liên hệ thống kê rõ trong mẫu.

OLS không đạt thì có nên xóa biến không?

Bạn chỉ nên xóa biến khi có căn cứ từ lý thuyết, chất lượng đo lường, đa cộng tuyến hoặc chẩn đoán dữ liệu. Không nên xóa biến chỉ vì p-value lớn hoặc vì muốn tăng R². Mọi thay đổi sau khi chạy mô hình cần được lưu lại và giải trình trong luận văn.

Bạn hãy mở lại file .sav hoặc .csv, kiểm tra bảng Model Summary, ANOVA và Coefficients theo đúng thứ tự, sau đó ghi các giá trị B, Beta, Sig., Adjusted R Square và VIF vào bảng kết quả của mình; nếu cần chạy phân tích trên chính dữ liệu đó, M4 phân tích của DoThesis hỗ trợ bước này.