다중비교 보정(Multiple Comparison Correction), 언제 필요할까
결과변수 다섯 개, 하위군 여섯 개, 시점 세 개. 이렇게 분석하다 보면 p<0.05인 결과가 하나쯤은 나오기 마련이다. 문제는 그 결과가 실제 효과인지 검정을 많이 한 대가인지 구분하기 어렵다는 점이다. 반대로 모든 분석에 기계적으로 Bonferroni 보정을 적용하면 실제 효과까지 놓칠 수 있다. 다중비교 보정은 “무조건 해야 한다”와 “할 필요 없다”라는 주장이 모두 방법론 문헌에 존재하는 주제다.[1][2] 이 글은 두 입장의 논리, 대표적 보정 방법의 차이, 그리고 논문에서 다중성을 어떻게 다루고 보고해야 하는지를 정리한다.
한눈에 보는 핵심 요약
왜 검정이 많아지면 문제가 되는가
유의수준 0.05는 영가설이 참일 때 한 번의 검정에서 잘못 기각할 확률을 5%로 묶는다는 뜻이다. 검정을 여러 번 하면 “적어도 하나”를 잘못 기각할 확률이 커진다. Assel 등은 참인 영가설 다섯 개에 대해 독립적으로 p-value를 보고하면 최소 하나를 잘못 기각할 확률이 5%가 아니라 20%를 넘는다고 설명한다.[7] 그림 1은 이 확률이 검정 수에 따라 어떻게 커지는지를 보여준다.
두 가지 오류율: FWER와 FDR
가족단위 오류율(familywise error rate, FWER)은 검정 묶음 전체에서 하나라도 잘못 기각할 확률이다. Bonferroni와 Holm 방법이 이를 통제한다. 거짓발견률(false discovery rate, FDR)은 기각한 가설 가운데 잘못 기각한 것의 기대 비율이다. Benjamini와 Hochberg는 FWER 통제 접근의 약점을 지적하며 FDR 통제를 제안했다. 모든 영가설이 참일 때 FDR은 FWER와 같고, 그렇지 않을 때는 더 작아서 검정력 이득을 얻을 수 있다.[5]
어느 오류율을 통제할지는 연구의 목적이 정한다. 하나라도 틀리면 결론 전체가 무너지는 확증적 상황이라면 FWER, 많은 후보 중 후속 검증할 것을 고르는 탐색적 상황이라면 FDR이 자연스럽다. Bender와 Lange도 다중 유의성 검정을 할 때 어떤 오류율을 통제했는지 밝히는 것이 바람직하다고 권고한다.[1]
대표적 보정 방법 비교
- Bonferroni — 각 p-value에 검정 수 m을 곱하거나, 유의수준을 α/m으로 낮춘다. 단순하지만 검정 수가 많거나 검정끼리 상관이 높으면 지나치게 보수적이 된다.
- Holm — p-value를 작은 순으로 정렬해 단계적으로 기준을 완화한다. FWER를 통제하면서 Bonferroni보다 검정력이 낮아지지 않으며, R 공식 문서는 Bonferroni가 Holm 방법에 의해 지배되므로 수정하지 않은 Bonferroni를 쓸 이유가 없어 보인다고 설명한다.[6][3]
- Benjamini–Hochberg — FDR을 통제한다. 탐색적 분석이나 오믹스처럼 검정 수가 많을 때 주로 쓴다.[5]
| 결과변수 | 원 p-value | Bonferroni | Holm | Benjamini–Hochberg |
|---|---|---|---|---|
| 결과변수 A | 0.004 | 0.020 | 0.020 | 0.020 |
| 결과변수 B | 0.012 | 0.060 | 0.048 | 0.030 |
| 결과변수 C | 0.021 | 0.105 | 0.063 | 0.035 |
| 결과변수 D | 0.035 | 0.175 | 0.070 | 0.044 |
| 결과변수 E | 0.300 | 1 | 0.300 | 0.300 |
R의 p.adjust() 함수로 계산한 수정 p-value다.[3] 원 p-value 기준으로는 네 개가 0.05 미만이지만, Bonferroni에서는 1개, Holm에서는 2개, Benjamini–Hochberg에서는 4개가 남는다. 표 작성: Editverse.
p <- c(0.004, 0.012, 0.021, 0.035, 0.30)
p.adjust(p, method = "bonferroni")
p.adjust(p, method = "holm")
p.adjust(p, method = "BH")언제 보정이 필요하고, 언제 아닌가
보정이 필요하다는 입장
Bender와 Lange는 다중성이 생물의학·역학 연구에서 흔한 문제임에도 다중검정 절차가 충분히 활용되지 않는다고 지적하고, 여러 검정 결과를 하나의 최종 결론과 결정으로 결합해야 하는 확증적 연구에서는 다중검정 보정이 필요하다고 강조했다.[1] 예를 들어 “세 개의 주요 결과 중 하나라도 개선되면 효과가 있다”고 결론 내리는 시험이라면 보정 없이는 결론의 오류율을 통제할 수 없다.
일상적 보정에 반대하는 입장
Rothman은 다중비교 보정이 귀무 연관에 대한 제1종 오류를 줄이는 대신 실제로 존재하는 연관에 대한 제2종 오류를 키운다고 지적했다. 그는 일상적 보정의 이론적 근거가 “우연이 관찰된 현상의 일차적 설명”이라는 보편적 영가설인데, 이는 자연이 법칙을 따른다는 경험적 연구의 전제와 맞지 않으며, 실제 관찰 자료를 다룰 때는 보정하지 않는 정책이 해석 오류를 더 적게 만든다고 주장했다.[2]
실무적 정리
두 입장은 생각보다 멀지 않다. Streiner와 Norman도 다중성 절차를 언제 쓰고 언제 쓰지 말아야 하는지에 대한 권고를 제시하며 이 논쟁을 정리했다.[4] Assel 등은 유전체 연구처럼 형식적 보정이 적절한 경우가 있지만, 더 흔한 접근은 다중검정의 맥락에서 p-value를 해석하는 것이라고 설명한다. 열 개의 변수와 세 개의 결과변수로 서른 개의 가설을 검정했다면, 그중 p=0.04는 단일 가설에서의 p=0.04와 같은 의미로 해석해서는 안 된다는 것이다.[7] 정리하면 다음과 같다.
- 보정을 계획한다 — 복수의 주요 결과변수, 세 군 이상의 주요 비교, 중간분석, 확증적 하위군 분석, 대량 검정(유전체·오믹스)
- 보정 대신 탐색적임을 명시한다 — 사전에 계획하지 않은 하위군 분석, 다수의 이차 결과변수, 가설 생성 목적의 분석. 이 경우 결과를 확증적 결론으로 쓰지 않는다[8][9]
- 어느 쪽이든 — 몇 개의 검정을 했는지 모두 보고하고, 유의한 결과만 골라 보고하지 않는다
논문에는 이렇게 보고한다
- Methods에 주요·이차 결과변수와 계획된 비교를 명시하고, 보정 방법과 통제한 오류율(FWER 또는 FDR)을 밝힌다.[1]
- 사전 계획 분석과 탐색적 분석을 구분한다. ICMJE와 CONSORT 2025 모두 이 구분을 요구한다.[9][8]
- 보정 p-value를 제시할 때는 원 p-value와 보정 p-value 중 무엇인지 표 주석에 명시한다.
- 보정하지 않았다면 그 이유를 쓰고, Limitations에서 다중 분석의 영향을 논의한다. CONSORT 2025 항목 30은 해당하는 경우 다중 분석을 한계에서 다루도록 한다.[8]
자주 묻는 질문
사후검정(post hoc test)도 다중비교 보정인가요?
그렇다. 분산분석 후 Tukey 등으로 집단 쌍을 비교하는 사후검정은 여러 쌍별 비교의 오류율을 통제하기 위한 방법이다. 쌍별 t검정을 보정 없이 반복하는 것과는 다르다.
기저 특성 표의 p-value도 보정해야 하나요?
기저 특성 비교는 가설 검정의 대상이라기보다 집단 특성을 기술하는 표다. 보정 여부보다 그 p-value를 근거로 결론을 내리지 않는 것이 중요하다. 목표 저널의 투고 규정에서 기저 특성 표의 p-value 제시를 허용하는지도 확인한다.
Bonferroni 보정 후 유의성이 사라졌습니다. 어떻게 써야 하나요?
사전에 보정을 계획한 확증적 분석이라면 보정 결과를 따른다. 효과 크기와 신뢰구간을 함께 제시하고, 원 p-value와 보정 p-value를 모두 보고해 독자가 판단할 수 있게 한다. 사후에 보정 방법을 바꾸어 유의성을 되살리는 것은 피해야 한다.
분석 계획 단계에서 다중성을 정리하려면
Editverse 통계 분석 지원은 통계 전문가가 주요·이차 결과변수의 위계를 정리하고, 연구 목적에 맞는 오류율 통제 전략과 보정 방법을 통계 분석 계획서에 반영합니다. 이미 분석을 마친 원고의 다중성 관련 심사 지적 대응과 재분석도 지원합니다.
마무리
다중비교 보정은 정답이 하나인 기술적 절차가 아니라 연구 목적에 맞는 오류율을 선택하는 문제다. 확증적 결론을 내리려면 보정을 계획하고[1], 탐색적 분석이라면 그렇다고 명시하고 해석의 강도를 낮추면 된다.[2][7] 어떤 경우든 몇 번 검정했는지 숨기지 않는 것이 출발점이다. p-value 자체의 해석은 p-value의 함정에서, 결과 수치의 표기 형식은 논문에 통계 결과 보고하는 법에서 다룬다. 분석 계획서에 다중비교 처리 방식을 미리 확정해 두는 작업은 통계분석계획서(SAP)·방법 섹션 작성으로 의뢰할 수 있다.
참고문헌
- Bender R, Lange S. Adjusting for multiple testing — when and how? J Clin Epidemiol. 2001;54(4):343-349. PMID: 11297884. DOI: 10.1016/S0895-4356(00)00314-0
- Rothman KJ. No adjustments are needed for multiple comparisons. Epidemiology. 1990;1(1):43-46. PMID: 2081237. DOI: 10.1097/00001648-199001000-00010
- R Core Team. p.adjust: Adjust P-values for Multiple Comparisons (stats package documentation). R documentation
- Streiner DL, Norman GR. Correction for multiple testing: is there a resolution? Chest. 2011;140(1):16-18. PMID: 21729890. DOI: 10.1378/chest.11-0523
- Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. J R Stat Soc Series B Stat Methodol. 1995;57(1):289-300. DOI: 10.1111/j.2517-6161.1995.tb02031.x
- Holm S. A simple sequentially rejective multiple test procedure. Scand J Stat. 1979;6(2):65-70.
- Assel M, Sjoberg D, Elders A, et al. Guidelines for reporting of statistics for clinical research in urology. Eur Urol. 2019;75(3):358-367. PMID: 30580902. DOI: 10.1016/j.eururo.2018.12.014
- Hopewell S, Chan AW, Collins GS, et al. CONSORT 2025 statement: updated guideline for reporting randomised trials. BMJ. 2025;389:e081123. PMID: 40228833. DOI: 10.1136/bmj-2024-081123
- International Committee of Medical Journal Editors. Recommendations — Preparing for Submission: Statistics. icmje.org (2026년 10월 확인)
이어서 읽기
원고 상담
이 주제로 원고를 준비 중이신가요?
연구 분야와 원고 단계를 남겨 주시면 PhD·MD·통계 전문가가 검토 방향을 이메일로 안내해 드립니다.
- PhD · 의학박사(MD) · 통계 전문가 · 분야 전문가가 함께 검토
- 선결제 없이 시작, 첫 초안 확인 후 결제
- 대학·기관 지침과 COPE·ICMJE 기준 준수, 비밀유지(NDA)
- 영업일 기준 24시간 이내 이메일 답변
