Outlier là gì? Cách nhận biết và xử lý điểm dị biệt
Outlier là gì
Outlier, thường gọi là điểm dị biệt hoặc giá trị ngoại lệ, là một quan sát có giá trị cách xa phần lớn dữ liệu trong cùng biến hoặc trong một tổ hợp nhiều biến. Ví dụ, phần lớn người trả lời đánh giá một dịch vụ từ 2 đến 5 điểm, nhưng một bản ghi có giá trị 99, hoặc một người có thu nhập cao hơn hẳn nhóm còn lại. Bản ghi đó có thể là lỗi nhập liệu, câu trả lời không hợp lệ, hoặc một trường hợp thật sự khác biệt trong tổng thể.
Bạn cần phân biệt outlier với một giá trị chỉ lớn hoặc nhỏ. Một giá trị 5 trong thang Likert 1 đến 5 không phải outlier chỉ vì nó nằm ở mức cao nhất. Outlier được xác định dựa trên vị trí của nó so với phân phối dữ liệu và mục tiêu phân tích. Cách kiểm tra thường dùng gồm biểu đồ Boxplot, điểm số chuẩn hóa Z-score, khoảng tứ phân vị IQR và khoảng cách Mahalanobis khi xét nhiều biến cùng lúc.
Với một biến đơn, IQR được tính bằng khoảng cách giữa tứ phân vị thứ ba và tứ phân vị thứ nhất:
IQR = Q3 - Q1
Một quan sát thường được đánh dấu là nghi ngờ outlier nếu nhỏ hơn Q1 - 1,5 × IQR hoặc lớn hơn Q3 + 1,5 × IQR. Đây là quy tắc sàng lọc để bạn kiểm tra tiếp, không phải mệnh lệnh tự động phải xóa dòng dữ liệu. Khi đọc kết quả, bạn nên xem cả trung vị, độ lệch chuẩn và bối cảnh của người trả lời.
Ý nghĩa của outlier trong nghiên cứu định lượng
Outlier có thể làm thay đổi trung bình, độ lệch chuẩn, hệ số tương quan và hệ số hồi quy. Một vài quan sát cực đoan có thể khiến đường hồi quy bị kéo về phía chúng, làm hệ số trở nên lớn hơn, nhỏ hơn hoặc đổi dấu. Khi đó, p-value và kết luận về giả thuyết cũng có thể thay đổi.
Tuy nhiên, sự xuất hiện của outlier không chứng minh dữ liệu sai. Một khách hàng thật sự có mức chi tiêu rất cao vẫn là một phần của tổng thể nếu đề tài của bạn nghiên cứu toàn bộ khách hàng. Xóa người này chỉ để bảng kết quả đẹp hơn sẽ làm thay đổi đối tượng nghiên cứu và có thể bị hỏi khi bảo vệ.
Outlier thường dẫn tới bốn quyết định thực tế:
- Giữ nguyên vì đó là quan sát hợp lệ và phản ánh tổng thể.
- Sửa dữ liệu nếu xác định được lỗi nhập, chẳng hạn nhập 55 thay vì 5.
- Loại bản ghi nếu có bằng chứng rõ ràng rằng người trả lời không hợp lệ.
- Chạy phân tích độ nhạy, tức là so sánh kết quả trước và sau khi xử lý để xem kết luận có phụ thuộc vào vài quan sát cực đoan hay không.
Bạn nên lưu một bản dữ liệu gốc trước khi chỉnh sửa. Tạo thêm biến hoặc một file dữ liệu đã làm sạch, ghi mã bản ghi, lý do xử lý và kết quả sau mỗi lần chạy. Cách làm này giúp bạn giải trình được vì sao số quan sát trong bảng Descriptive Statistics hoặc Regression giảm xuống.
Outlier cũng liên quan đến chất lượng bảng hỏi. Một người chọn cùng một phương án cho toàn bộ biến quan sát, hoàn thành bảng hỏi quá nhanh hoặc để trống nhiều câu có thể tạo ra một bản ghi đáng nghi. Tuy vậy, những dấu hiệu này cần được xem cùng quy tắc sàng lọc đã nêu trong phương pháp nghiên cứu, không nên kết luận chỉ từ một biểu hiện.
Outlier bao nhiêu là đạt
Câu hỏi “outlier bao nhiêu là tốt” dễ dẫn tới cách hiểu sai. Outlier không có một mức tỷ lệ cố định mà càng thấp thì càng tốt. Mục tiêu là xác định quan sát nào bất thường về mặt thống kê, sau đó xem quan sát đó có hợp lệ về mặt thực tế hay không.
Các ngưỡng dưới đây là mốc sàng lọc thường gặp. Mỗi dòng chỉ cho biết dấu hiệu cần kiểm tra, không tự động quyết định xóa dữ liệu.
| Cách kiểm tra | Dấu hiệu cần xem | Cách diễn giải và nguồn |
|---|---|---|
| IQR và Boxplot | Giá trị nằm ngoài Q1 - 1,5 × IQR hoặc Q3 + 1,5 × IQR | Điểm nghi ngờ cần kiểm tra lại bối cảnh, không phải quy tắc xóa tự động, dựa trên quy tắc IQR |
| Z-score | Giá trị tuyệt đối rất lớn so với trung bình và độ lệch chuẩn | Dùng để sàng lọc dữ liệu đơn biến; cách kiểm tra cần đặt trong quy trình chẩn đoán dữ liệu |
| Mahalanobis distance | Khoảng cách lớn trong tổ hợp nhiều biến | Kiểm tra outlier đa biến trước hồi quy hoặc mô hình nhiều biến; cần xem thêm mức ý nghĩa và số biến |
| Thang Likert | Giá trị ngoài khoảng mã hóa, chẳng hạn 6 trong thang 1 đến 5 | Đây thường là lỗi nhập hoặc lỗi mã hóa cần đối chiếu bảng hỏi |
| Missing value | Nhiều ô trống trong cùng một bản ghi | Cần áp dụng quy tắc loại bản ghi đã nêu trong phương pháp, không gán nhãn outlier chỉ vì thiếu dữ liệu |
| Câu trả lời một mẫu | Chọn cùng một mức cho gần như toàn bộ biến quan sát | Là dấu hiệu cần kiểm tra chất lượng phản hồi, không phải ngưỡng thống kê độc lập |
Quy tắc IQR là công cụ sàng lọc dựa trên tứ phân vị. Với hồi quy, bạn nên đọc thêm phương sai và công thức tính phương sai để hiểu vì sao một giá trị cực đoan có thể làm độ phân tán tăng mạnh.
Đừng đặt mục tiêu “outlier bằng 0”. Trong mẫu thực tế, một số quan sát khác biệt có thể là điều bình thường. Mục tiêu có thể bảo vệ được là dữ liệu hợp lệ, tiêu chí kiểm tra được nêu trước và mọi quyết định xử lý đều có lý do.
Cách đọc outlier trên output
Trong SPSS, bạn có thể bắt đầu bằng Analyze > Descriptive Statistics > Explore. Đưa biến cần kiểm tra vào ô Dependent List, chọn Plots, đánh dấu Boxplots và Normality plots with tests nếu cần. Bảng Descriptives cho biết trung bình, trung vị, độ lệch chuẩn và các tứ phân vị. Biểu đồ Boxplot giúp bạn nhìn những điểm nằm ngoài râu hộp.
SPSS thường gắn nhãn cho các điểm xa bằng số thứ tự của trường hợp. Bạn phải truy ngược số thứ tự đó về dữ liệu gốc, xem người trả lời nào, mã biến nào và giá trị được nhập là bao nhiêu. Một chấm nằm ngoài râu hộp chỉ là tín hiệu kiểm tra. Nó không cho biết bản ghi đó chắc chắn sai.
Số liệu minh họa
Bảng dưới đây là số liệu minh họa, không phải kết quả của một nghiên cứu cụ thể. Giả sử bạn kiểm tra biến TN1, biểu diễn thu nhập theo triệu đồng, bằng Analyze > Descriptive Statistics > Explore.
| Thống kê trong bảng Descriptives | Giá trị minh họa | Cách đọc |
|---|---|---|
| N | 120 | Có 120 quan sát hợp lệ được đưa vào kiểm tra |
| Mean | 12,48 | Giá trị trung bình, có thể bị kéo lên bởi giá trị cao |
| Median | 8,00 | Trung vị, thấp hơn Mean, cho thấy phân phối có thể lệch phải |
| Std. Deviation | 15,62 | Độ phân tán của biến trong mẫu |
| Percentile 25 | 5,00 | Q1 bằng 5 |
| Percentile 75 | 14,00 | Q3 bằng 14 |
| IQR | 9,00 | 14 - 5 = 9 |
| Upper fence | 27,50 | 14 + 1,5 × 9 = 27,5; giá trị cao hơn mức này cần kiểm tra |
| Maximum | 85,00 | Có ít nhất một quan sát nằm xa phần lớn dữ liệu |
Trong ví dụ này, giá trị 85 là outlier theo quy tắc IQR. Bạn mở Data View, tìm đúng bản ghi, kiểm tra phiếu gốc hoặc nguồn nhập liệu. Nếu bảng hỏi xác nhận người đó thực sự có thu nhập 85 triệu đồng, bạn có thể giữ lại và nêu cách kiểm tra. Nếu file gốc ghi 8,5 nhưng nhập thành 85, bạn sửa theo bằng chứng và ghi lại lịch sử thay đổi.
Với nhiều biến độc lập cùng lúc, Boxplot từng biến có thể bỏ sót một trường hợp không cực đoan ở riêng từng biến nhưng bất thường khi xét cả tổ hợp. Khi đó, Mahalanobis distance là cách kiểm tra phù hợp hơn. Bạn cần nói rõ dùng biến nào, tiêu chí nào và xử lý bao nhiêu bản ghi. Không nên lấy một giá trị khoảng cách từ phần mềm rồi xóa ngay mà không kiểm tra bản ghi gốc.
Khi outlier không đạt thì xử lý thế nào
Bạn có thể xử lý theo thứ tự từ ít can thiệp đến nhiều can thiệp. Cách này giữ được nhiều thông tin nhất và dễ giải trình hơn.
Kiểm tra lỗi nhập và mã hóa
Đầu tiên, đối chiếu giá trị nghi ngờ với bảng hỏi, file Excel hoặc nguồn thu thập. Kiểm tra cả nhãn biến, khoảng mã hóa và các biến đảo chiều. Một giá trị 99 có thể là mã “không trả lời”, nhưng nếu bạn để nó như một số hợp lệ thì trung bình và hồi quy sẽ sai. Trong SPSS, dùng Analyze > Descriptive Statistics > Frequencies để xem các giá trị nhỏ nhất, lớn nhất và tần suất.
Giữ lại quan sát hợp lệ
Nếu dữ liệu được xác nhận là thật và thuộc đúng đối tượng nghiên cứu, giữ lại thường là lựa chọn có cơ sở. Bạn có thể báo cáo số outlier phát hiện được, cách kiểm tra và kết quả phân tích độ nhạy. Hội đồng có thể hỏi vì sao không loại, và câu trả lời cần dựa trên phạm vi tổng thể chứ không phải vì hệ số sau khi loại trở nên đẹp hơn.
Loại bản ghi không hợp lệ
Bạn chỉ nên loại khi có lý do rõ ràng, chẳng hạn bản ghi nằm ngoài tiêu chí sàng lọc, nhập sai không thể khôi phục, trả lời ngoài thang đo hoặc có quá nhiều dữ liệu thiếu theo quy tắc đã định. Hãy ghi mã bản ghi, biến liên quan, lý do loại và số quan sát còn lại. Không xóa trực tiếp trong file gốc.
Biến đổi hoặc giới hạn giá trị
Log transformation, winsorization hoặc thay thế giá trị là những kỹ thuật có thể được cân nhắc trong một số mô hình. Bạn cần nêu công thức, lý do và tác động của chúng. Không nên tự ý cắt mọi giá trị lớn về cùng một mức chỉ để giảm độ lệch. Nếu đề tài ở bậc đại học không yêu cầu kỹ thuật này, giữ dữ liệu và trình bày phân tích độ nhạy thường dễ bảo vệ hơn.
Sau khi xử lý, chạy lại các bảng chính và so sánh hệ số, p-value, R² hoặc các chỉ số liên quan. Nếu kết luận thay đổi, bạn phải báo cáo điều đó. Nếu kết luận không đổi, vẫn ghi nhận quy trình kiểm tra thay vì nói rằng outlier không tồn tại.
Phân biệt outlier với điểm dữ liệu dễ nhầm
Outlier là khái niệm về độ bất thường của một quan sát. Nó khác với các khái niệm sau:
- Giá trị cực trị là giá trị lớn nhất hoặc nhỏ nhất trong mẫu. Giá trị cực trị có thể đồng thời là outlier, nhưng không phải mọi giá trị lớn nhất đều là outlier.
- Độ lệch chuẩn đo mức phân tán quanh trung bình. Độ lệch chuẩn lớn không cho biết bản ghi nào là outlier.
- Phương sai là bình phương độ lệch chuẩn và cũng mô tả độ phân tán của cả biến. Nó không thay thế cho việc kiểm tra từng quan sát.
- Skewness mô tả độ lệch của toàn bộ phân phối về một phía. Một phân phối lệch phải có thể chứa outlier, nhưng skewness không xác định trực tiếp bản ghi nào cần xóa.
- Leverage cho biết một quan sát có giá trị độc lập cách xa trung tâm của các biến độc lập trong hồi quy. Leverage cao chưa chắc làm mô hình bị ảnh hưởng mạnh.
- Influential point là quan sát có ảnh hưởng đáng kể đến kết quả mô hình. Một điểm có thể là outlier nhưng ảnh hưởng thấp, hoặc không quá cực đoan trên từng biến nhưng lại ảnh hưởng lớn khi chạy hồi quy.
Vì vậy, khi giảng viên hỏi “outlier có làm sai mô hình không”, câu trả lời cần gắn với chẩn đoán cụ thể như Cook's Distance, leverage, residual và kết quả chạy lại. Không dùng từ outlier để gọi mọi con số khác với trung bình.
Lỗi thường gặp
Lỗi phổ biến nhất là xóa mọi điểm nằm ngoài Boxplot. Boxplot chỉ giúp phát hiện điểm cần xem xét, còn quyết định xử lý phải dựa vào dữ liệu gốc và phạm vi mẫu.
Lỗi thứ hai là kiểm tra outlier sau khi đã xóa những dòng “xấu”. Khi đó, bạn không còn biết dữ liệu ban đầu có vấn đề gì. Hãy lưu file gốc, tạo bản sao làm sạch và xuất bảng danh sách các bản ghi đã xem xét.
Lỗi thứ ba là nhầm mã thiếu với giá trị thật. Các mã 0, 9, 99 hoặc 999 cần được đọc theo codebook. Nếu một biến Likert từ 1 đến 5 có giá trị 99, đó thường là dấu hiệu mã hóa cần xử lý trước khi tính trung bình hoặc chạy EFA.
Lỗi thứ tư là chỉ nhìn vào trung bình. Trung bình, trung vị và độ lệch chuẩn có thể cho bạn bức tranh ban đầu, nhưng cần kết hợp Boxplot, tần suất và bối cảnh bảng hỏi. Bạn cũng nên kiểm tra chủ đề Thống kê để đặt phần chẩn đoán dữ liệu đúng vị trí trong quy trình phân tích.
Lỗi cuối là không báo cáo việc loại dữ liệu. Nếu N thay đổi giữa bảng mô tả, tương quan và hồi quy, người đọc cần biết lý do. Một đoạn giải trình ngắn, có số liệu trước và sau, đáng tin hơn việc bỏ qua thay đổi đó.
Câu hỏi thường gặp
Outlier là gì trong SPSS?
Trong SPSS, outlier là quan sát có giá trị nằm khác biệt đáng kể so với phần lớn dữ liệu. Bạn thường phát hiện qua Boxplot trong Analyze > Descriptive Statistics > Explore, qua thống kê mô tả hoặc qua các chỉ số chẩn đoán của mô hình.
SPSS có thể gắn nhãn số thứ tự trường hợp trên biểu đồ. Bạn cần dùng số đó để tìm bản ghi trong Data View, sau đó kiểm tra dữ liệu gốc trước khi quyết định giữ, sửa hoặc loại.
Outlier bao nhiêu là tốt?
Không có tỷ lệ outlier cố định được xem là tốt cho mọi đề tài. Outlier là tín hiệu cần kiểm tra, không phải một chỉ tiêu mà bạn phải đưa về bằng 0.
Bạn nên nêu quy tắc đã dùng, số quan sát bị đánh dấu, lý do xử lý và kết quả so sánh trước hoặc sau xử lý. Một outlier hợp lệ có thể được giữ lại nếu nó thuộc đúng tổng thể nghiên cứu.
Có nên xóa outlier trước khi chạy hồi quy không?
Bạn không nên xóa tự động trước khi biết nguyên nhân. Hãy kiểm tra lỗi nhập, mã thiếu, tiêu chí chọn mẫu và mức ảnh hưởng của quan sát đến mô hình. Nếu bản ghi hợp lệ, có thể giữ lại và báo cáo phân tích độ nhạy.
Nếu bản ghi sai hoặc không đáp ứng tiêu chí dữ liệu, bạn có thể loại theo quy tắc đã nêu trong phương pháp. File gốc phải được giữ nguyên để có thể đối chiếu.
Vì sao Boxplot có chấm outlier nhưng dữ liệu vẫn đúng?
Boxplot dùng quy tắc khoảng tứ phân vị để đánh dấu những điểm nằm xa phần lớn quan sát. Quy tắc này không biết người trả lời có thật sự thuộc nhóm đặc biệt hay không.
Ví dụ, một khách hàng có chi tiêu cao có thể là trường hợp hợp lệ. Chấm trên Boxplot chỉ nói rằng bạn cần kiểm tra bản ghi, phiếu gốc và phạm vi tổng thể.
Outlier có làm Cronbach's Alpha và EFA sai không?
Outlier có thể ảnh hưởng đến trung bình, độ phân tán và mối liên hệ giữa các biến, từ đó tác động đến một số kết quả phân tích thang đo. Mức ảnh hưởng phụ thuộc vào dữ liệu và số lượng bản ghi, nên không thể đoán trước cho mọi file.
Bạn nên kiểm tra dữ liệu trước khi chạy Cronbach's Alpha và EFA, ghi lại những bản ghi đáng nghi, sau đó so sánh kết quả khi giữ và khi xử lý theo lý do có thể bảo vệ được. Đừng loại biến quan sát chỉ vì một outlier ở một người trả lời.
Bạn hãy mở bản sao file dữ liệu ngay bây giờ, chạy Analyze > Descriptive Statistics > Explore, lưu Boxplot và lập danh sách các bản ghi cần đối chiếu trước khi chỉnh sửa; nếu muốn chạy toàn bộ bước phân tích trên chính file .sav hoặc .csv, bạn có thể dùng M4 phân tích dữ liệu của DoThesis.