추정 & 가설검정
통계적추론이란 sample (표본)을 통해 population (실제)의 기댓값과 표준편차를 추정하는 것이다.
통계적추론이란 특정가설을 "표본"을 통해 검증하는 것이다. 귀무가설과 대립가설을 세워 귀무가설을 검정하여 기각 또는 채택하여 대립가설이 참인지 거짓인지를 추론하게 된다.
검정통계량이란 표본으로부터 얻은 통계량이다. 이를 통해 귀무가설의 진위여부를 판단하게 된다.
1종오류란 귀무가설이 실제로는 참인데 귀무가설을 reject하는 경우로, 대립가설이 참이라고 판단하는 경우이다.
-> 1종오류 확률: 알파
2종오류란 귀무가설이 실제로는 거짓인데 귀무가설을 accept 하여, 대립가설이 거짓이라고 판단하는 경우이다.
-> 2종오류 확률: 베타
1종오류 : 귀무가설이 맞는데 귀무가설이 아니라고 할 확률 : 알파 (=유의수준)
검정통계량은 sample 로부터 오는 것
Z-분포, t-분포, F-분포 등은 Population mean이 특정 sample mean을 따를 때,
sample mean들의 분포들이 정규분포를 따른다는 가정에서 오는 분포
-> 즉 무수히 많은 sample들을 통해 sample mean들을 측정할 시, sample mean들의 분포이다.
가령 유의수준 (critical point, 1종오류)가 5%라는것은, Population이 특정 mean을 따를 때,
sample mean들에 대한 확률분포의 95% 확률 밖으로 검정통계량이 위치할 시, 유의한다는 뜻이다.
가령 100번의 sample 검정을 진행할 시,
통계학적으로 검정통계량이 95번은 95%의 특정 distribution 안으로 들어오게 되는데,
5번정도는 유의수준으로 들어오게 되며, 이는 극히 드문 경우이다.
즉, 특정 sample로부터 가져온 검정통계량이 유의하다면,
sample이 population의 mean을 유추하기에 좋지못한 sample (유의한 sample)임을 나타내며,
이를 통해 그 특정 sample을 통해 population mean을 검정하기에는 부적절하다고 판단한다.
검정하기
1. 먼저 대립가설과 귀무가설을 설정한다.
귀무가설의 경우 '같음'이 포함된 정보
대립가설의 경우 포함되지 않은 정보
ex) 귀무가설 : M = 100
대립가설: M != 100
2. 유의수준 설정 : 보통 1%, 5%, 10% 등 설정
3. 통계량설정
-> 표본으로부터 계산한 통계량 파악
예를들어 표본집단이 총 4개 존재한다고 했을 때, 각각의 sample mean 과 sample std 는 모두 다르게 나올 것이다.
가령, 모집단이 정규분포를 따르거나, 개별 표본집단 내의 sample 개수가 30개 이상일 때,
우리는 표본집단들의 분포가 정규분포를 따른다고 판단한다. -> 표본집단1, 2, 3, 4, .... , 들의 분포
이때 표본집단들의 분포는 기댓값을 Population mean과 같은 기댓값을 가지며,
분산의 경우 Population Variance / n 의 분산을 갖는다.
x̅ ~ N(M, δ^2 / n)
우리는 표본집단들의 분포를 이용하여 Population에 대한 통계검정을 진행하게 된다.
통계검정을 위해 우리는 표준화를 진행한다. 표준화를 진행함으로써 표준화된 분포로 검정을 진행할 수 있다. 가령 Z-분포, t-분포, F-분포, 카이제곱분포 등 모든 분포들은 정규화된 분포이기 때문에, 통계량 또한 표준화를 진행하여 각 분포에 대입시켜 검정을 진행한다.
Z-분포를 예를들면, Z 분포의 경우 mean = 0, variance =1인 정규분포를 따른다.
모집단의 population mean이 특정 표본집단의 mean과 같다는 귀무가설을 전제하고, 이에 sample mean을 population mean으로 갖는 Z-분포를 가져온다. Z-분포의 경우 Population mean이 sample mean일시, 여러 표본집단들이 가질 수 있는 확률분포를 나타낸다. 이에 통계검정값이 유의수준에 있을경우, 귀무가설이 유의하다고 판단하고 이에 sample이 population mean을 유추하기에 대표할 수 없다고 판단 (유의하다고) 한다.
sample로 부터 모집단을 추정하기 위한 case by case 정리이다.
4. 유의수준에 대한 기각영역도출
H0를 reject하는 의미
귀무가설을 세웠고, 그 가설에 대한 검정통계량이 95%확률로 신뢰구간안에 존재하게 되는데, 5%확률구간 (유의구간)에 존재하기때문에 귀무가설을 reject했다.
- H0를 reject해서 Ha를 accept 한다는 것은 맞는 말이지만
- Ho를 accept 했다고해서 Ha를 reject 하는건 아니다.
why? 실제 sample data가 population으로부터 sampling하는 모든 case를 가져오는것이 아닌, 특정 sample만 가져오기 때문에 case에 따라서 H0를 reject한 경우에는 Ha를 accept하지만, H0를 accpet한 경우에는 Ha와 관계없이 H0를 reject할 근거가 없기 때문에 accept 한것이다.
Sample data의 S (Sample Variance), n ( sample numbers) 의 의미
n (sample number)의 의미는 더 많은 sample이 있을수록 검정통계량이 더 커지고, 이에 t-value가 올라가 p-value는 낮아지게 된다. 이에 귀무가설을 reject할 확률이 높아지게 된다.
n이 작으면, H0를 reject하기엔 너무 작은 sample 개수이지만, n이 크면, H0를 reject하기에 충분한 sample이며, 더 valid한 sample data임을 나타낸다.
sample standard deviation (variance)가 낮을경우, 그만큼 sample에 대한 검증력이 높아짐을 의미한다. 이는 H0를 reject (sample mean과 Population mean이 다름을 유추)하는데 있어서, 변동성이 높은 sample 때문에 sampling한 표본집단의 데이터들이 실제 population mean 과 다른 mean에 대하여 옳다고 검증할 수 있기 때문이다.
즉, 변동성이 높은 sample data는 다양한 sample이 존재한다는 의미이고, 이는 그만큼 population mean을 유추하는데 검증력이 낮아질 수 있다는 의미이다.
t-value를 높이고, p-value를 낮추는 방법
p-value의 의미
p-value?
통계적 가설 검정에서 유의 확률 또는 p-값은 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률 ; 즉, sampling한 데이터들보다 더 worse한 data들이 sampling될 확률을 의미
t통계량에 따라 p-value가 결정되고, p-value가 작을수록 같은 유의수준에서 귀무가설을 reject할 가능성이 높아진다.
p-value를 알면, 유의수준에 따라 귀무가설을 reject할지 안할지 결정할 수 있다.
정리
Mo를 고정하는 경우 vs 유의수준 (알파)를 고정하는 경우
1. Mo를 고정
Mo (Population Mean 가정) 이 고정된 경우, 검정통계량을 통해 p-value를 알아내고, 유의수준에 따라 귀무가설을 accept 할지 reject할지를 결정할 수 있음.
즉 p-value가 나오기 때문에,
유의수준을 어떻게 정할지에 따라 귀무가설의 accpet와 reject가 결정되는 것임
2. 알파(유의수준)을 고정
알파 (유의수준)을 고정하게되면, x̄에 따라 신뢰구간 (Confident Level)이 달라지게 되고, 신뢰구간에 따라 다양한 Mo를 적용해보면서 귀무가설을 accept할지 reject할지 결정할 수 있다.
신뢰구간?
통계학에서 신뢰 구간은 모수가 어느 범위 안에 있는지를 확률적으로 보여주는 방법;
즉,x̄에 관한 구간 (모수 속할 확률)