쭈쌤
쭈쌤 Hello World

[R 데이터분석] 가설검정

크리에이티브 커먼즈 라이선스 ITPAPER(호쌤,쭈쌤)에 의해 작성된 ≪[R 데이터분석] 가설검정≫은(는) 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 4.0 국제 라이선스에 따라 이용할 수 있습니다.
이 라이선스의 범위 이외의 이용허락을 얻기 위해서는 leekh4232@gmail.com으로 문의하십시오.

[R 데이터분석] 가설검정

가설검정은 통계적 추측의 하나로서, 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정을 의미합니다.

1) 통계기반 데이터 분석의 구분

  기술 통계 분석 추론 통계 분석
정의 데이터를 요약해 설명하는 기법 단순히 숫자를 요약하는 것을 넘어 어떤 값이 발생할 확률을 계산하는 통계 기법.
모집단에서 샘플링한 표본을 가지고 모집단의 특성을 추론하고 그 결과가 신뢰성이 있는지 검정하는 것이다.
예시 사람들이 받는 월급을 집계해 전체 월급 평균을 구한다. 수집된 데이터에서 성별에 따라 월급에 차이가 있는 것으로 나타났을 때 이런 차이가 우연히 발생할 확률을 계산한다.

추론 통계 분석의 결론

성별에 따른 월급의 차이가 우연히 나타날 확률이 작다면 통계적으로 유의하다(statistically signficant)라고 결론 내린다.

성별에 따른 월급의 차이가 우연히 나타날 확률이 크다면 통계적으로 유의하지 않다(not statistically signficant)고 결론 내린다.

일반적으로 통계 분석을 수행했다는 것은 추론 통계를 이용해 가설 검정을 했다는 의미.

2) 가설검정

정의

모집단의 특성에 대한 통계적 가설을 모집단으로부터 추출한 표본을 사용하여 검토하는 통계적인 추론

통계적인 유의성을 검정하는 것으로, 유의성(有意性) 검정(Significance Test)이라고도 함

절차

가설 설정 ▶ 유의수준 설정 ▶ 검정통계량 산출 ▶ 기각/채택 판단

용어 설명

  • 귀무가설 (=영가설=H0) : 일반적으로 맞다고 가정하는 가설
  • 대립가설 (=H1) : 새롭게 맞다고 증명하려는 가설

예시

새로운 교육법이 학생들의 성적 향상에 도움이 되는지를 알아보고자 한다.

귀무가설

모집단 평균(μ)이 가설 평균(μ0)과 같다.

새로운 교육법을 적용한 학생 100명과 새로운 교육법을 적용하지 않은 학생 100명의 평균 점수가 같다.

즉, 새로운 교육법을 도입했더니 학생 성적이 오르지 않았다.

대립가설

모집단 평균(μ)이 가설 평균(μ0)과 다르다.
모집단 평균(μ)이 가설 평균(μ0)보다 크다.
모집단 평균(μ)이 가설 평균(μ0)보다 작다.

새로운 교육법을 적용한 학생 100명보다 새로운 교육법을 적용하지 않은 학생 100명의 평균 점수가 더 높다.

즉, 새로운 교육법을 적용한 결과 그렇지 않은 학생들과 평균점수가 다르다.

해설

대부분의 설명에서 대립가설은 우리가 증명하려는 가설이라고 정의하기 때문에 마치 분석기법을 적용할 때 우리가 대립가설이 뭔지 정해줘야 하는 것처럼 착각이 일기도 한다. 하지만 분석기법별로 귀무가설/대립가설의 패턴은 이미 정해져 있다고 보면 된다.

예를 들어 회귀분석의 경우 귀무가설은 “설명변수(x)는 반응변수(y)에 영향을 주지 않는다.” 이고 대립가설은 “설명변수(x)는 반응변수(y)에 영향을 준다.”

편하게 기억하자면,

귀무가설은 차이가 없다, 영향력이 없다, 연관성이 없다, 효과가 없다. (부정)
대립가설은 귀무 가설에 대한 부정

이라고 기억하는 게 편하다.

3) 유의수준의 이해

신뢰수준

모집단에서 반복해서 표본을 추출할 경우 모수를 포함할 구간의 비율

모수: 모집단의 평균

신뢰수준이 95% 이상 될 경우 그 구간을 신뢰구간이라고 한다.

유의수준 (p-value)

가설이 어느 정해진 수치를 벗어나면 귀무가설이 오류라고 인정할 것인가를 판단하는 기준.

다르게 말하면 전체를 1로 봤을 때 신뢰수준을 제외한 값. 즉 0.05이다.

p-값은 귀무 가설(null hypothesis)이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 ‘같거나 더 극단적인’ 통계치가 관측될 확률이다.

p-value는 관찰된 데이터가 귀무가설과 양립하는 정도를 0에서 1 사이의 수치로 표현한 것이다. p-value가 작을수록 그 정도가 약하다고 보며, 특정 값 (대개 0.05나 0.01 등) 보다 작을 경우 귀무가설을 기각하는 것이 관례.


t 검정(t-test)

t-테스트(t-test) 또는 ‘t-검증’은 모집단의 분산이나 표준편차를 알지 못할 때, 표본으로부터 추정된 분산이나 표준편차를 이용하여 두 모집단의 평균에 통계적으로 유의한 차이가 있는지 알아볼 때 사용하는 통계 분석 기법

R에는 t검정을 위한 함수가 내장되어 있기 때문에 특별한 패키지 설치 없이 수행할 수 있다.

#01. One-Sample T-test(단일 표본 t-검정)

하나의 모집단 평균이 이전보다 커졌는지/작아졌는지/달라졌는지를 통계적으로 알아보기 위해 사용한다.

하나의 양적 자료가 사용된다.

학생들의 평균키 검증

전체 학생들 중 20명의 학생들을 추려 키를 측정해서 전체 학생들의 평균 키가 175cm인지 아닌지 알아보고 싶다.

  • 귀무 가설: 학생들의 평균 키가 175cm가 맞다. (학생들의 평균키가 175와 차이가 없다.)
  • 대립 가설: 학생들의 평균 키가 175cm가 아니다. (학생들의 평균키가 175보다 크다/작다/다르다)

1) 학생 20명에 대한 키를 리스트 구성 (랜덤배치)

1
height = c(174, 175, 173, 165, 180, 173, 175, 177, 176, 176, 181, 173, 173,170, 172, 171, 178, 178, 175, 176)

2) t테스트 수행

구문 설명

1
2
3
4
t.test(데이터,
       alternative = c("two.sided", "less", "greater"),
       mu = 0,
       conf.level = 0.95)
  • alternative: 대립가설과 같지 않다.(two.sided), 작다(less), 크다(greater)
  • mu : 귀무가설이 참일 때의 모평균
  • conf.level : 신뢰수준 (95% 기본값)

t테스트의 의미

귀무가설이 참인 경우

관측된 p-value가 0.05 이상인 경우

학생들의 평균 키는 175cm와 차이가 없다..

그러므로 평균키는 175다.

대립가설을 기각한다.

귀무가설이 거짓인 경우

관측된 p-value가 0.05보다 작은 경우

학생들의 평균 키는 175cm와 차이가 있다

그러므로 평균은 175가 아니다. (alternative값에 따라 크다, 작다로 판별될 수 있음)

대립가설을 채택한다.

1
t.test(height, alternative="two.sided", mu=175)
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
One Sample t-test

data:  height
t = -0.55597, df = 19, p-value = 0.5847
alternative hypothesis: true mean is not equal to 175
95 percent confidence interval:
 172.8559 176.2441
sample estimates:
mean of x
   174.55

유의확률(p-value) 0.5847이므로 유의수준 0.05(95percent)에서 귀무가설을 채택한다.
즉, 학생들의 평균키는 175이다.

#02. Independent two sample T-test(독립 표본 t-검정)

서로 다른 두개의 그룹 간 평균의 차이가 유의미한지 여부를 판단.

두 개의 데이터로 이루어진다.

두개의 표본이 “독립”적 이기 위해서는 아래 조건을 만족해야 한다.

  • 두개의 표본이 서로 관계 없는 모집단에서 추출 되었을 것
  • 표본 간에는 아무런 관계가 없을 것

집단 1과 집단 2에서 각각 20명의 학생들을 추려, 각 집단의 키가 같은지, 다른지 알아보고 싶다.

  • 귀무 가설: 두 집단의 평균 키는 차이가 없다. –> 그러므로 두 집단의 평균은 같다.
  • 대립 가설: 두 집단의 평균은 같지 않다.

p-value가 0.05보다 작은 경우 귀무가설을 기각하고 대립가설 채택

1) 두 집단의 키 샘플링하기

1
2
group1Heights <- sample(157:178, 20)
group1Heights
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1. 174
2. 158
3. 161
4. 164
5. 178
6. 157
7. 166
8. 173
9. 159
10. 168
11. 162
12. 172
13. 171
14. 175
15. 177
16. 167
17. 160
18. 169
19. 165
20. 170
1
2
group2Heights <- sample(162:182, 20)
group2Heights
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1. 169
2. 174
3. 180
4. 166
5. 164
6. 176
7. 177
8. 175
9. 167
10. 173
11. 162
12. 168
13. 181
14. 178
15. 179
16. 182
17. 163
18. 171
19. 170
20. 172

구문설명

단일 표본 t-검정구문에서 데이터를 두 개로 구분짓고 모집단의 평균을 의미하는 mu대신 두 집단의 분산 동일성 여부가 같은지 다른지에 대한 옵션인 var.equal 파라미터를 지정한다.

1
2
3
4
t.test(데이터1, 데이터2,
       alternative = c("two.sided", "less", "greater"),
       var.equal = FALSE,
       conf.level = 0.95)

두 집단의 평균키가 같지 않다.

랜덤값을 사용하고 있기 때문에 실행시마다 결과가 다를 수 있다.

1
2
3
4
t.test(group1Heights, group2Heights,
       alternative = "two.sided",
       var.equal = FALSE,
       conf.level = 0.95)
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
Welch Two Sample t-test

data:  group1Heights and group2Heights
t = -2.5327, df = 37.91, p-value = 0.01558
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -9.086765 -1.013235
sample estimates:
mean of x mean of y
   167.30    172.35

p-value가 0.01558이므로 (0.05보다 작으므로) 귀무가설을 기각하고 대립가설을 채택
두 집단의 평균키는 같지 않다.

group1Heights는 group2Heights보다 작다.

랜덤값을 사용하고 있기 때문에 실행시마다 결과가 다를 수 있다.

1
2
3
4
t.test(group1Heights, group2Heights,
       alternative = "less",
       var.equal = FALSE,
       conf.level = 0.95)
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
Welch Two Sample t-test

data:  group1Heights and group2Heights
t = -2.5327, df = 37.91, p-value = 0.00779
alternative hypothesis: true difference in means is less than 0
95 percent confidence interval:
      -Inf -1.688167
sample estimates:
mean of x mean of y
   167.30    172.35

p-value가 0.00779이므로 (0.05보다 작으므로) 귀무가설(두 집단의 평균에 차이가 없음/평균이 같음)을 기각하고 대립가설을 채택

#03. Paired T-test(대응 표본 t-검정)

표본의 각 사례마다 대응하는 2개의 관측치가 있다.

어느 제약회사가 개발 중인 약은 3개월 동안 이 약을 먹으며 고지한 생활규칙을 지키면 2kg 이상의 효과를 볼 수 있다고 자신하고 있을 때, 다이어트 보조제를 복용한 사람들 중 20명을 추려 복용 전/후의 체중 차이가 유의미한지 알아보고 싶다.

  • 귀무 가설: 복용 전/후의 체중 차이가 없다. –> 그러므로 이 약은 다이어트에 효과가 없다.
  • 대립 가설 : 귀무 가설을 부정하므로 이 약은 다이어트에 효과가 있다.

1) 데이터 샘플링

보조제 복용전 몸무게

1
2
beforeWeight <- sample(60:90, 20)
beforeWeight
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1. 64
2. 67
3. 84
4. 60
5. 69
6. 87
7. 65
8. 83
9. 90
10. 71
11. 89
12. 61
13. 78
14. 72
15. 79
16. 75
17. 66
18. 68
19. 80
20. 85

보조제 복용 후 몸무게 랜덤 계산

1
2
3
4
5
6
7
8
9
afterWeight <- beforeWeight

x <- sample(2:3, 20, replace=T)

for (i in seq(0:19)) {
    afterWeight[i] <- afterWeight[i] - x[i]
}

afterWeight
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1. 62
2. 64
3. 82
4. 57
5. 67
6. 85
7. 62
8. 81
9. 88
10. 68
11. 86
12. 58
13. 75
14. 70
15. 76
16. 73
17. 63
18. 66
19. 78
20. 83

2) 대응 표본 t-검정 확인

before가 after보다 mu=2 만큼 greater 하다.
랜덤값을 사용하고 있기 때문에 실행시마다 결과가 다를 수 있다.

1
t.test(beforeWeight, afterWeight, mu=2, alternative="greater", paired=TRUE)
▶ 출력결과
1
2
3
4
5
6
7
8
9
10
Paired t-test

data:  beforeWeight and afterWeight
t = 3.9428, df = 19, p-value = 0.0004366
alternative hypothesis: true difference in means is greater than 2
95 percent confidence interval:
 2.252649      Inf
sample estimates:
mean of the differences
                   2.45

p-value가 0.0004366이므로 (0.05보다 작으므로) 귀무가설(두 집단의 평균에 차이가 없음/평균이 같음)을 기각하고 대립가설을 채택
그러므로 이 약을 먹기 전이 먹은 후 보다 2kg정도 몸무게가 더 많이 나간다
이 약은 다이어트에 효과가 있다

Rating:

크리에이티브 커먼즈 라이선스 ITPAPER(호쌤,쭈쌤)에 의해 작성된 ≪[R 데이터분석] 가설검정≫은(는) 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 4.0 국제 라이선스에 따라 이용할 수 있습니다.
이 라이선스의 범위 이외의 이용허락을 얻기 위해서는 leekh4232@gmail.com으로 문의하십시오.

comments powered by Disqus