[통계적 추론] 2. 결과 해석의 기초

SD / SE / CI의 개념과 차이

세 개념 모두 데이터의 변동성이나 불확실성을 표현하지만 의미가 다릅니다.

표준편차 (SD, Standard Deviation)

표준편차는 데이터가 평균으로부터 얼마나 퍼져 있는지를 나타냅니다.
개별 관측값들이 평균에서 얼마나 벗어나 있는지의 평균적인 정도입니다.
표본의 특성을 기술할 때 사용합니다.

SD가 크면 데이터가 넓게 퍼져 있고, 작으면 평균 근처에 모여 있습니다. 표본 크기가 달라져도 SD는 크게 변하지 않습니다.
데이터 자체의 산포도를 표현하는 값이기 때문입니다.

표준오차 (SE, Standard Error)

표준오차는 표본 평균이 모집단 평균으로부터 얼마나 벗어나 있는지를 나타냅니다.
표본을 여러 번 뽑았을 때 표본 평균들이 얼마나 퍼져 있는지를 나타내는 값입니다.

표본 크기(n)가 클수록 SE는 작아집니다.
표본이 클수록 표본 평균이 모집단 평균에 가까워지기 때문입니다.
SD는 데이터의 변동성을, SE는 표본 평균의 정밀도를 나타냅니다.

SD와 SE는 목적에 따라 구분해서 사용합니다.
데이터 자체의 분포를 보여줄 때는 SD, 평균 추정의 정밀도를 표현할 때는 SE를 씁니다.
논문에서 에러바를 그릴 때 SD와 SE 중 무엇을 사용했는지 확인하는 것이 중요한 이유입니다.

신뢰구간 (CI, Confidence Interval)

신뢰구간은 모집단의 모수(예: 평균)가 포함될 것으로 기대되는 범위입니다.
95% 신뢰구간은 같은 방식으로 표본을 100번 뽑아 신뢰구간을 구하면 그 중 95번은 모집단의 참값을 포함한다는 의미입니다.

흔히 오해하는 표현이 "모집단 평균이 95% 확률로 이 범위 안에 있다"인데 이는 정확하지 않습니다.
모집단 평균은 하나의 고정된 값이고, 신뢰구간은 표본마다 달라지는 구간입니다.
95%는 모집단 평균에 대한 확률이 아니라 이 방법의 성공률에 해당합니다.

 

신뢰구간이 넓을수록 추정이 불확실하고, 좁을수록 정밀합니다.
표본 크기를 늘리면 SE가 줄어들기 때문에 신뢰구간도 좁아집니다.

---

p-value의 의미와 한계

의미

p-value는 귀무가설이 참이라는 가정 하에, 현재 관측된 결과 또는 그보다 극단적인 결과가 나올 확률입니다.

p-value가 작을수록 귀무가설 하에서 현재 데이터가 나오기 어렵다는 의미이고, 이를 근거로 귀무가설을 기각합니다.
일반적으로 p < 0.05를 유의수준(significance level, α)으로 사용하지만, 이 기준은 관례적인 것이지 절대적인 기준이 아닙니다.

한계

p-value에 대한 오해와 남용이 많아서 한계를 이해하는 것이 중요합니다.

p-value는 효과의 크기를 말하지 않는다.

표본 크기가 매우 크면 실질적으로 의미 없는 아주 작은 차이도 p < 0.05가 나올 수 있습니다. 반대로 표본이 작으면 실제로 큰 차이가 있어도 유의하지 않게 나올 수 있습니다.

p-value는 결과가 재현될 확률이 아니다.

p = 0.03이라고 해서 이 실험을 반복하면 97%의 확률로 같은 결과가 나온다는 의미가 아닙니다.

p < 0.05가 중요한 발견을 보장하지 않는다.

통계적 유의성과 실질적 중요성(clinical significance, biological significance)은 다릅니다.
p-value만으로 결과를 판단하지 않고 효과 크기와 함께 해석해야 합니다.

---

효과 크기 (Effect Size)

효과 크기는 두 집단 간의 차이나 관계의 실질적인 크기를 나타내는 지표입니다.
p-value가 "차이가 있는가"에 답한다면, 효과 크기는 "차이가 얼마나 큰가"에 답합니다.
표본 크기에 영향을 받지 않기 때문에 p-value의 한계를 보완합니다.

Cohen's d

두 집단의 평균 차이를 표준편차 단위로 표현합니다.
주로 두 집단을 비교하는 t-검정 결과와 함께 보고됩니다.

 

Cohen이 제안한 해석 기준은 다음과 같습니다.

d 값	효과 크기
0.2	작음 (small)
0.5	중간 (medium)
0.8	큼 (large)

 

이 기준은 절대적인 것이 아니며, 분야마다 다르게 해석할 수 있습니다.

eta-squared (η²)

분산 분석(ANOVA)에서 사용하는 효과 크기입니다.
전체 변동 중 집단 간 차이로 설명되는 비율을 나타냅니다. 0~1 사이의 값을 가지며, 1에 가까울수록 집단 간 차이가 전체 변동을 많이 설명합니다.

η² 값	효과 크기
0.01	작음
0.06	중간
0.14	큼

 

eta-squared는 표본 크기가 커질수록 과대 추정되는 경향이 있어, 이를 보정한 partial eta-squared나 omega-squared(ω²)를 사용하기도 합니다.

r (상관계수)

두 변수 간의 관계 강도를 나타냅니다.

-1에서 1 사이의 값을 가지며, Cohen의 기준으로 0.1(작음), 0.3(중간), 0.5(큼)으로 해석합니다.

---

Type I / II Error와 검정력

Type I Error (1종 오류)

귀무가설이 실제로 참인데 기각하는 오류입니다. 즉, 차이가 없는데 있다고 잘못 결론 내리는 경우입니다. 이 오류를 범할 확률이 유의수준 α입니다. α = 0.05로 설정하면 귀무가설이 참일 때 이를 잘못 기각할 확률이 5%라는 의미입니다.

Type II Error (2종 오류)

귀무가설이 실제로 거짓인데 기각하지 못하는 오류입니다. 즉, 실제로 차이가 있는데 없다고 잘못 결론 내리는 경우입니다. 이 오류를 범할 확률을 β라고 합니다.

검정력 (Power)

검정력은 1 - β입니다.

귀무가설이 거짓일 때 이를 올바르게 기각할 확률, 즉 실제로 존재하는 차이를 탐지할 확률입니다.

일반적으로 80% 이상의 검정력을 권장합니다.

	H₀가 참	H₀가 거짓
H₀ 기각	Type I Error (α)	올바른 결정 (검정력, 1-β)
H₀ 유지	올바른 결정 (1-α)	Type II Error (β)

 

α를 낮추면(예: 0.01로 설정) Type I Error는 줄지만 Type II Error가 늘어납니다.

표본 크기를 늘리는 것이 두 오류를 동시에 줄이는 가장 직접적인 방법입니다.

 

검정력은 표본 크기, 효과 크기, 유의수준에 의해 결정됩니다.

연구 설계 단계에서 원하는 검정력을 달성하기 위해 필요한 표본 크기를 계산하는 것을 검정력 분석(power analysis)이라고 합니다.

---

다중 검정 보정 (Multiple Testing Correction)

하나의 가설을 한 번 검정할 때 유의수준을 0.05로 설정하면 Type I Error 확률이 5%입니다.

그런데 동시에 여러 가설을 검정하면 그 중 적어도 하나에서 Type I Error가 발생할 확률이 크게 높아집니다.

예를 들어 독립적인 가설 20개를 α = 0.05로 검정하면 모두 귀무가설이 참이더라도 적어도 하나에서 유의한 결과가 나올 확률은 약 64%입니다.

유전체 연구에서는 수천~수만 개의 유전자 또는 변이를 동시에 검정하기 때문에 다중 검정 보정이 필수입니다.

Bonferroni 보정

가장 단순하고 보수적인 방법입니다. 유의수준을 검정 횟수로 나눕니다.

 

α_adjusted = α / 검정 횟수

 

검정을 1000번 수행한다면 각 검정의 유의수준을 0.05 / 1000 = 0.00005로 낮춥니다.

이 기준을 통과해야 유의하다고 판단합니다.

보수적이기 때문에 Type I Error는 잘 통제되지만, 실제로 유의한 결과도 놓칠 가능성(Type II Error)이 높아집니다.

검정 횟수가 많을수록 기준이 매우 엄격해집니다.

FDR 보정 (False Discovery Rate)

FDR은 유의하다고 판정한 결과 중에서 실제로는 차이가 없는 결과의 비율을 통제하는 방법입니다.

Bonferroni처럼 모든 검정에 동일한 엄격한 기준을 적용하는 것이 아니라, 거짓 양성의 비율을 일정 수준 이하로 유지하는 방식입니다.

Benjamini-Hochberg(BH) 방법이 가장 널리 사용됩니다.

p-value를 오름차순으로 정렬한 뒤 순위를 기반으로 보정된 p-value(q-value 또는 adjusted p-value)를 계산합니다.

FDR 보정은 Bonferroni보다 덜 보수적이어서 검정력이 높습니다.

유전체 연구처럼 검정 횟수가 매우 많고 실제로 유의한 결과도 많이 기대되는 상황에서는 FDR 보정이 더 적합합니다.

일반적으로 FDR < 0.05 또는 < 0.1을 기준으로 사용합니다.

어떤 보정을 쓸 것인가

Bonferroni는 Type I Error를 엄격하게 통제해야 할 때, 즉 거짓 양성을 절대 허용할 수 없을 때 적합합니다.

FDR은 많은 검정 중에서 진짜 신호를 최대한 찾아내되 거짓 양성의 비율을 일정 수준 이하로 유지하고 싶을 때 적합합니다.

RNA-seq DEG 분석처럼 수만 개의 유전자를 동시에 검정하는 경우에는 FDR 보정이 표준입니다.