Tag Archives: p value

Số liệu như thế nào là đẹp trong Stata?

Stata, , , , ,

1. Thế nào là một kết quả hồi quy "đẹp"?

Khi chạy hồi quy trong Stata, ta thường lo lắng khi nhìn vào bảng kết quả và thấy "không giống trong sách" hay "khác với các nghiên cứu trước". Vậy một kết quả hồi quy được xem là "đẹp" cần đáp ứng những tiêu chí nào?

  • P-value của biến độc lập quan trọng < 5% (hoặc ít nhất < 10% với một số ngành khoa học xã hội): cho thấy biến đó có ý nghĩa thống kê trong việc giải thích biến phụ thuộc.

  • R² hoặc R² hiệu chỉnh ở mức chấp nhận được: mức "chấp nhận được" phụ thuộc vào loại dữ liệu. Với dữ liệu chuỗi thời gian hoặc dữ liệu bảng vĩ mô, R² có thể trên 0.7–0.8. Nhưng với dữ liệu chéo (cross-section) quy mô lớn, đặc biệt trong các nghiên cứu hành vi, khảo sát cá nhân, R² chỉ 0.2–0.3 vẫn hoàn toàn bình thường và được chấp nhận trong các tạp chí uy tín.
  • Dấu hệ số hồi quy đúng với kỳ vọng lý thuyết: ví dụ biến "trình độ học vấn" được kỳ vọng có tác động dương đến "thu nhập" — nếu hệ số ra âm, cần xem lại mô hình hoặc dữ liệu.
  • Không bị đa cộng tuyến nghiêm trọng (VIF < 10, tốt nhất < 5).
  • Không có phương sai sai số thay đổi hoặc tự tương quan chưa được xử lý — nếu có, cần dùng các phương pháp ước lượng phù hợp (robust standard errors, FGLS, GLS…).

Nói cách khác, "đẹp" không có nghĩa là mọi biến đều phải có p<5%, mà là kết quả phản ánh đúng bản chất dữ liệu và được ước lượng bằng phương pháp phù hợp.

2. Vì sao kết quả hồi quy bị "xấu"? 4 nhóm nguyên nhân thường gặp

Nguyên nhân 1: Mô hình chưa đúng dạng hàm

Đây là nguyên nhân phổ biến nhất nhưng lại ít được để ý. Các lỗi thường gặp:

  • Thiếu biến độc lập quan trọng (omitted variable bias), khiến mô hình không giải thích được nhiều biến động của biến phụ thuộc.
  • Sai dạng hàm: dùng dạng tuyến tính trong khi mối quan hệ thực tế là phi tuyến (cần lấy log, bình phương, hoặc thêm biến tương tác).
  • Đưa vào biến không liên quan về mặt lý thuyết, làm nhiễu mô hình.

Nguyên nhân 2: Đa cộng tuyến giữa các biến độc lập

Khi hai hay nhiều biến độc lập có tương quan cao với nhau, mô hình khó tách bạch được tác động riêng của từng biến, dẫn đến hệ số không ổn định, sai số chuẩn bị phóng đại, và p-value không có ý nghĩa dù về lý thuyết biến đó quan trọng.

Nguyên nhân 3: Cỡ mẫu nhỏ hoặc dữ liệu không đại diện

Cỡ mẫu quá nhỏ so với số biến độc lập sẽ làm giảm sức mạnh thống kê (statistical power), khiến ngay cả những tác động thực sự tồn tại cũng khó đạt được ý nghĩa thống kê ở mức p<5%.

Nguyên nhân 4: Phương sai sai số thay đổi và tự tương quan chưa xử lý

Với dữ liệu chéo, phương sai sai số thay đổi (heteroskedasticity) là hiện tượng rất phổ biến. Với dữ liệu bảng và chuỗi thời gian, tự tương quan (autocorrelation) cũng thường xảy ra. Nếu không phát hiện và xử lý, sai số chuẩn bị ước lượng sai, kéo theo p-value không đáng tin cậy.

3. Cách chẩn đoán trong Stata

Trước khi tìm cách "sửa" kết quả, cần chẩn đoán chính xác vấn đề đang gặp phải bằng các lệnh sau (sau khi chạy reg hoặc xtreg):

  • Kiểm tra đa cộng tuyến: vif
  • Kiểm tra phương sai sai số thay đổi: estat hettest hoặc lệnh kiểm định White/Breusch-Pagan
  • Kiểm tra tự tương quan với dữ liệu bảng: xtserial
  • Đọc R², R² hiệu chỉnh và p-value ngay trong bảng kết quả sau reg/xtreg

(Bạn có thể xem chi tiết cách thực hiện từng kiểm định này trong các bài viết chuyên sâu khác trên trang.)

4. Cách khắc phục đúng phương pháp

  • Loại biến gây đa cộng tuyến dựa trên cơ sở lý thuyết, không phải chọn ngẫu nhiên biến nào cho hệ số đẹp hơn.
  • Đổi dạng hàm (lấy log, thêm biến bậc hai) khi có căn cứ lý thuyết cho thấy mối quan hệ phi tuyến, không phải để "làm đẹp" R².
  • Sử dụng robust standard errors khi phát hiện phương sai sai số thay đổi, thay vì bỏ qua vấn đề.
  • Dùng FGLS/GLS khi có cả phương sai thay đổi và tự tương quan trong dữ liệu bảng.
  • Xem xét lại cỡ mẫu và cách thu thập dữ liệu nếu nghi ngờ mẫu không đại diện.

Trong trường hợp vẫn chưa ra được số liệu có ý nghĩa, hay liên  hệ dịch vụ xử lý số liệu của ThS Khánh 0903396688 và team để được xử lý triệt để bộ số liệu ra đẹp nhé.

 

Hệ số p value trong kiểm định thống kê với stata là gì?

Stata

Hôm nay nhóm MBA Bách Khoa giới thiệu một hệ số cực kì quan trọng trong kiểm định thống kê, đó là hệ số p value, thường dùng để đánh giá giả thiết. Trong một số phần mềm khác như SPSS thì đây là hệ số sig.


Nghĩa là hệ số sig. và hệ số p value chỉ là hai cách gọi khác nhau thôi nhé.

  • p-value là viết tắt của probability value.
  • sig. là viết tắt của significance level.

Thường trong các kiểm định thì người ta muốn p-value <5% để các kiểm định có ý nghĩa thống kê. Vậy bài này sẽ đi vào chi tiết các vấn đề này nhé.
Bài này sẽ đi vào các phần chính sau đây:
-Quy trình kiểm định giả thiết thống kê test of significance.
-Ý nghĩa của trị số p value, ý nghĩa hệ số sig.
-Giả thiết là gì?
-Giả thiết vô hiệu, giả thuyết không(H0)) là gì?
-Giả thuyết khác, giả thiết đảo (Ha) là gì?
-Sai lầm loại I và loại II
-Ví dụ về sai lầm loại 1 và 2
-Mức ý nghĩa là gì?

Quy trình kiểm định giả thiết thống kê test of significance

Bước 1: Phát biểu giả thiết vô hiệu( null hypothesis H0). Nhà nghiên cứu cần phải định nghĩa một giả thuyết đảo (null hypothesis), tức là một giả thuyết ngược lại với những gì mà nhà nghiên cứu tin là sự thật.
Bước 2: Nhà nghiên cứu cần phải định nghĩa một giả thuyết phụ (alternative hypothesis), tức là một giả thuyết mà nhà nghiên cứu nghĩ là sự thật, và điều cần được “chứng minh” bằng số liệu.
Bước 3: sau khi đã thu thập đầy đủ những dữ kiện liên quan, nhà nghiên cứu dùng một hay nhiều phương pháp thống kê để kiểm tra xem trong hai giả thuyết trên, giả thuyết nào được xem là khả dĩ. Cách kiểm tra này được tiến hành để trả lời câu hỏi: nếu giả thuyết đảo đúng, thì xác suất mà những dữ kiện thu thập được phù hợp với giả thuyết đảo là bao nhiêu. Giá trị của xác suất này thường được đề cập đến trong các báo cáo khoa học bằng kí hiệu “P value”. Điều cần chú ý ở đây là nhà nghiên cứu không thử nghiệm giả thuyết khác, mà chỉ thử nghiệm giả thuyết đảo mà thôi.
Bước 4: quyết định chấp nhận hay loại bỏ giả thuyết đảo, bằng cách dựa vào giá trị xác suất trong bước thứ ba. Chẳng hạn như theo truyền thống lựa chọn nếu giá trị xác suất nhỏ hơn 5% thì nhà nghiên cứu sẵn sàng bác bỏ giả thuyết đảo. Tuy nhiên, nếu giá trị xác suất cao hơn 5%, thì nhà nghiên cứu chỉ có thể phát biểu rằng chưa có bằng chứng đầy đủ để bác bỏ giả thuyết đảo, và điều này không có nghĩa rằng giả thuyết đảo là đúng, là sự thật. Nói một cách khác, thiếu bằng chứng không có nghĩa là không có bằng chứng.
Bước 5: nếu giả thuyết đảo bị bác bỏ, thì nhà nghiên cứu mặc nhiên thừa nhận giả thuyết phụ.
Theo một qui ước khoa học, tất cả các trị số P thấp hơn 0.05 (tức thấp hơn 5%) được xem là “significant”, tức là “có ý nghĩa thống kê”.

Ý nghĩa của trị số p value,ý nghĩa hệ số sig.

Ý nghĩa của p-value, sig là xác suất của dữ liệu xảy ra nếu giả thiết vô hiệu H0 là đúng. Nghĩa là có bao nhiêu phần trăm của dữ liệu thỏa mãn trị số P. Giả sử P =2%, thì có 2% dữ liệu trong bộ số liệu thỏa mãn điều kiện nào đó.
Lưu ý không được hiểu là : xác suất của giả thiết vô hiệu H0 là 2%, hay P(H0)=2% , mà phải hiểu ở đây là xác suất của dữ liệu xảy ra
Logic của trị số P là chứng minh nghịch đảo, chứng minh phủ định:
-Nếu giả thiết vô hiệu H0 là đúng thì dữ liệu không thể xảy ra.
-Dữ liệu xảy ra
-Nên giả thiết vô hiệu H0 là không đúng.

Vậy giả thiết là gì?

Giả thuyết là một giả sử hay phát biểu về các tham số của tổng thể. Nó có thể đúng hoặc sai

Giả thiết vô hiệu (giả thuyết không (H0)) là gì?

H0 là một phát biểu (đẳng thức hoặc bất đẳng thức) liên quan đến tham số của tổng thể. Giả thiết vô hiệu là giả thiết ngược với giả thiết chính. Thường người ta muốn bác bỏ giả thiết vô hiệu.
Ví dụ: H0: Không có sự khác biệt giữa hai nhóm, không có mối tương quan giữa X và Y.
H0 thường được giả định đúng trong thủ tục kiểm định giả thuyết. Và người ta sẽ cố tìm cách để chứng minh H0 sai. Ví dụ một tuyên bố của nhà sản xuất thường bị nghi ngờ và để trong phát biểu trong H0.

Giả thuyết khác, giả thiết đảo(Ha) là gì?

Ha là phát biểu ngược với H0
Ha được kết luận là đúng nếu H0 bị bác bỏ
Nhà nghiên cứu mong muốn ủng hộ Ha và nghi ngờ H0
Nhiệm vụ của tất cả kiểm định giả thuyết hoặc là bác bỏ H0 hay không bác bỏ H0

Sai Lầm Loại I và Loại II

-Sai lầm loại I là sai lầm của việc bác bỏ H0 khi nó đúng
-Sai lầm loại II là sai lầm của việc không bác bỏ H0 khi nó sai
-Cụ thể đối với bất kỳ một thủ tục kiểm định nào, có thể xảy ra ba kết quả sau: (1) quyết định đúng được thực hiện (nghĩa là, thủ tục chấp nhận giả thuyết đúng và bác bỏ giả thuyết sai), (2) một giả thuyết đúng bị bác bỏ, (3) một giả thuyết sai được chấp nhận. Sai lầm bác bỏ H0 khi nó đúng được gọi là sai lầm loại I. Sai lầm không bác bỏ H0 khi nó sai được gọi là sai lầm loại II. Tương ứng với mỗi loại sai lầm này là một giá trị xác suất. Chúng được gọi là các xác suất sai lầm loại I và loại II và được ký hiệu là P(I) và P(II).

Ví dụ về sai lầm loại 1 và 2

Xem xét một bị cáo trong phiên xử hình sự. Giả thuyết không là bị cáo “vô tội” và giả thuyết ngược lại và bị cáo “có tội”. Giả định là bên bị đơn là vô tội và bên nguyên đơn phải chứng minh được rằng bên bị đơn là có tội, nghĩa là, thuyết phục ban bồi thẩm bác bỏ giả thuyết không. Nếu ban bồi thẩm tuyên bố một người vô tội “không có tội” hoặc một người phạm tội “có tội”, một quyết định đúng đã được thực hiện. Nếu một người vô tội bị tuyên bố có tội, ta phạm phải sai lầm loại I vì giả thuyết đúng đã bị bác bỏ. Sai lầm loại II xảy ra khi một người có tội được tuyên bố trắng án.

Một cách lý tưởng, chúng ta muốn giữ cho cả xác suất sai lầm loại I  P(I) và loại II P(II) càng nhỏ càng tốt bất chấp giá trị của thông số không biết có giá trị là bao nhiêu. Rủi thay, nỗ lực giảm P(I) sẽ tự động kéo theo sự gia tăng trị P(II). Chẳng hạn, trong ví dụ về phiên tòa hình sự, giả sử chúng ta không muốn một người phạm tội nào được tuyên bố trắng án. Các duy nhất để thực hiện được điều này là tuyên bố mọi người có tội. Trong trường hợp này, P(II) = 0, nhưng P(I) = 1 vì chúng ta cũng kết án tất cả những người vô tội.
Tương tự như trên, cách duy nhất để tránh kết án một người vô tội là tuyên bố mọi người vô tội. Trong trường hợp này, chúng ta cũng thả tự do cho tất cả những kẻ phạm tội hay P(II) = 1 và P(I) = 0. 1 Trong thực tế, sự đánh đổi giữa các sai lầm không đến nỗi cực đoan như vậy, tuy nhiên một quy tắc ra quyết định cụ thể sẽ tốt hơn cho một số giá trị của thông số và không tốt cho những giá trị khác.
Thủ tục kiểm định giả thuyết cổ điển là chọn giá trị cực đại cho sai lầm loại I chấp nhận được với người phân tích và sau đó đưa ra quy tắc quyết định sao cho sai lầm loại II là thấp nhất. Trong ví dụ về phiên tòa hình sự, điều này có nghĩa là chọn quy tắc ra quyết định sao cho số lần người vô tội bị kết tội không vượt qua một số phần trăm số lần nào đó (chẳng hạn, 1%) và cực tiểu xác suất người có tội được thả tự do.

Mức ý nghĩa là gì?

Xác suất sai lầm loại I lớn nhất khi H0 đúng được gọi là mức ý nghĩa (còn được gọi là kích thước của kiểm định). Trong ví dụ phiên tòa hình sự, đó chính là xác suất lớn nhất của việc kết án một người vô tội.

Liên hệ nhóm thạc sĩ Hỗ trợ Stata

– SMS, Zalo, Viber:

– Facebook  facebook.com/hotroStata

– Email  hotrostata@gmail.com