ChatGPT로 쓴 논문, AI 탐지기에 걸릴까? 오탐(False Positive) 피하는 법

ChatGPT로 초안을 다듬거나 문장을 매끄럽게 손본 뒤, “이 원고가 AI 탐지기에 걸리면 어떻게 하지”라는 걱정을 해본 적이 있다면 혼자가 아니다. 최근 SCI·SCIE·Scopus 저널 상당수가 GPTZero, Turnitin AI 감지 기능 같은 도구로 투고 원고를 사전 검토하기 시작하면서, 한국 연구자들 사이에서도 이 걱정은 빠르게 퍼지고 있다. 문제는 이 걱정이 단순한 기우가 아니라는 점이다. 실제로 다수의 동료심사 연구가 오탐(false positive), 즉 사람이 직접 쓴 원고를 AI 생성물로 잘못 판정하는 사례가 드물지 않다는 것을 확인했다. 특히 영어를 모국어로 쓰지 않는 연구자일수록 그 위험은 통계적으로 유의하게 커진다.

이 글에서는 추측이나 커뮤니티에 떠도는 이야기가 아니라, PubMed에 등재된 동료심사 연구와 COPE·ICMJE·Elsevier·Springer Nature 등 국제 학술 기구의 공식 입장을 근거로 세 가지를 정리한다. AI 탐지기가 실제로 얼마나 정확한지, 왜 한국 연구자의 영어 논문이 오탐에 더 취약한지, 그리고 투고 전 오탐 위험을 실질적으로 낮추는 방법은 무엇인지다.

AI 탐지기, 실제로 얼마나 정확할까: 데이터로 확인하는 오탐지율

먼저 확인해야 할 것은 “AI 탐지기가 얼마나 믿을 만한가”라는 근본적인 질문이다. 이 질문에 가장 포괄적으로 답한 연구는 독일 HTW 베를린의 Debora Weber-Wulff 연구팀이 2023년 International Journal for Educational Integrity에 발표한 검증 연구다. 연구팀은 Turnitin, GPTZero를 포함한 14개의 상용·무료 AI 텍스트 탐지 도구를 인간 작성 텍스트, AI 생성 텍스트, 기계 번역 텍스트, AI 생성 후 사람이 수정한 텍스트 등 다양한 조건에서 검증했다. 결과는 냉정했다. 이진판정(AI 여부만 판단) 기준으로 80%를 넘는 정확도를 기록한 도구는 단 하나도 없었고, 70%를 넘긴 도구도 5개에 불과했다. 도구별 오탐지율은 최저 0%(Turnitin)에서 최고 50%(GPTZero)까지 도구마다 극단적으로 갈렸다. 연구팀의 결론은 명확하다. “우리가 검증한 시스템들은 학술 현장에서 사용되어서는 안 된다”는 것이다.^[1]

같은 논문에서 특히 주목할 부분은 기계번역 텍스트에 대한 결과다. 순수 인간 작성 텍스트의 판정 정확도는 96%였지만, 사람이 쓴 원문을 기계번역기로 옮긴 텍스트는 정확도가 76%로 20%포인트 가까이 떨어졌다. 한국어로 초고를 쓰고 번역기를 거쳐 영문화하는 경우가 많은 한국 연구자에게는 직접적으로 해당하는 대목이다.

개별 분야별 검증 연구도 비슷한 그림을 보여준다. 2025년 Acta Neurochirurgica에 발표된 신경외과 저널 검증 연구는 인간이 쓴 초록·서론 250편과 ChatGPT(3.5, 4, 4o)가 생성한 750편을 GPTZero, ZeroGPT, Corrector App 세 도구로 판정했다. GPTZero는 인간 작성 원고를 AI로 오판한 사례가 0%로 가장 안정적이었지만, ZeroGPT는 16.0%, Corrector App은 30.4%의 인간 작성 원고를 AI 생성물로 잘못 표시했다.^[2] 즉 같은 원고라도 어떤 탐지기를 쓰느냐에 따라 결과가 크게 달라질 수 있다는 뜻이다.

반대로 2026년 Research Integrity and Peer Review에 실린 치의학 논문 검증 연구는 다소 다른 그림을 보인다. GPTZero, Copyleaks, Originality.AI, Aidetector 등 상위 4개 도구는 96.7~100%의 민감도로 인간 작성 텍스트 30편 중 오탐 사례가 없었지만, Turnitin은 민감도가 26.7%에 그쳤고 DetectingAI는 0%였다.^[3] 행동보건 분야 논문을 대상으로 한 2025년 Accountability in Research 연구 역시 무료·유료를 가리지 않고 “문제적 수준의” 오탐지·미탐지율을 확인했다고 보고했다.^[4]

이 연구들을 종합하면 하나의 결론에 도달한다. 탐지기마다, 분야마다, 텍스트 종류마다 오탐지율이 널뛰기하듯 달라진다는 것이다. 하나의 탐지기, 하나의 점수만으로 원고의 AI 생성 여부를 단정할 근거는 어디에도 없다.

표 1. AI 탐지기 정확도·오탐지율에 관한 주요 동료심사 연구

연구 (저자, 연도)	학술지	분석 대상	핵심 발견
Weber-Wulff et al. 2023	Int J Educational Integrity	탐지기 14종, 다양한 텍스트 유형	전 도구 정확도 80% 미만, 오탐지율 0~50%, 기계번역 텍스트 정확도 76%로 급락
Liang et al. 2023	Patterns (Cell Press)	TOEFL 에세이(비원어민) vs 미국 중2 에세이(원어민)	비원어민 오탐지율 61.2% vs 원어민 5.2%; 비원어민 에세이의 97.8%가 최소 1개 탐지기에서 AI로 판정
Erol et al. 2025	Acta Neurochirurgica	신경외과 저널 초록·서론, 인간 250편 + ChatGPT 750편	인간 원고 오탐지율: GPTZero 0%, ZeroGPT 16.0%, Corrector App 30.4%
Villa et al. 2026	Research Integrity and Peer Review	치의학 논문, 인간 30편 + AI 생성 90편	상위 도구는 인간 원고 오탐 0%였으나, 도구 간 민감도 편차가 0~100%로 극심 (Turnitin 26.7%)
Popkov & Barrett 2025	Accountability in Research	행동보건 논문 100편(인간) + 200편(AI)	무료·유료 탐지기 모두에서 “문제적 수준”의 오탐지·미탐지율 확인

한국 연구자가 특히 취약한 이유: 원어민과 비원어민의 오탐지율 격차

이 글에서 가장 중요하게 다뤄야 할 연구는 스탠퍼드대 James Zou 연구팀이 2023년 Patterns(Cell Press)에 발표한 논문이다. 연구팀은 GPTZero를 포함한 여러 GPT 탐지기에 TOEFL 에세이(비원어민 영어 작성자)와 미국 중학교 2학년생이 쓴 에세이(원어민 작성자)를 각각 입력했다. 두 그룹 모두 100% 사람이 쓴 글이었다. 결과는 충격적이었다. 원어민 에세이의 평균 오탐지율은 5.2%에 그쳤지만, 비원어민 에세이의 평균 오탐지율은 61.2%에 달했다. 더 심각한 것은 비원어민 에세이의 97.8%가 최소 하나 이상의 탐지기에서 “AI 생성”으로 표시되었다는 점이다.^[5]

왜 이런 격차가 생길까. 연구팀은 그 원인을 퍼플렉시티(perplexity)라는 지표에서 찾았다. 대다수 AI 탐지기는 문장의 어휘 다양성과 예측 가능성을 측정해 “너무 예측 가능하고 단조로운 문장은 AI가 썼을 확률이 높다”고 판단한다. 그런데 비원어민 작성자는 문법적으로 완벽하고 안전한 표현을 반복적으로 사용하는 경향이 있어, 어휘 다양성이 자연히 낮아진다. 결과적으로 “실수 없이 깔끔하게 쓴 영어 논문일수록 오히려 AI로 의심받기 쉬운” 역설적인 상황이 발생한다.

2026년 Brazilian Journal of Anesthesiology에 실린 논평 역시 이 문제를 정면으로 다룬다. 저자들은 “통제된 평가에서 비원어민 영어 학술 글쓰기 표본에 대해 60%를 넘는 오탐지율이 보고되었다”고 지적하며, AI 탐지기에 대한 과도한 의존이 튜링 테스트의 근본 전제와 모순된다고 비판한다. 이들은 탐지기 결과를 1차 스크리닝 참고자료로만 사용하고, 최종 판단은 반드시 사람 편집자의 검토를 거쳐야 한다고 제안한다.^[6]

이 연구가 한국 연구자에게 갖는 의미는 명확하다. SCI·SCIE 저널에 투고하는 한국 연구자 대부분은 영어를 모국어로 쓰지 않는다. 문법적으로 정확하지만 표현이 다소 정형화된 영어 원고는, 설령 100% 본인이 직접 쓴 글이라 해도 통계적으로 오탐 위험이 원어민보다 훨씬 높다는 뜻이다. 이는 개인의 작문 실력 문제가 아니라 탐지기 알고리즘 자체의 구조적 편향에 가깝다.

저널과 국제 학술단체는 AI 사용에 대해 뭐라고 말하는가

탐지기의 신뢰도 문제와 별개로, 주요 국제 학술 기구들은 이미 명확한 공식 입장을 갖고 있다. 핵심은 “AI 사용 자체를 금지하지는 않되, 반드시 투명하게 공개하라”는 것이다.

COPE(Committee on Publication Ethics)는 공식 성명에서 “AI 도구는 논문의 저자로 이름을 올릴 수 없다”고 명시한다. AI는 이해상충을 선언할 수도, 저작권 계약을 관리할 수도 없는 비법적 주체이기 때문이다. 대신 저자가 원고 작성이나 그래픽 요소 제작, 데이터 분석에 AI를 사용했다면 “Materials and Methods(또는 이에 준하는 section)에 어떤 도구를 어떻게 사용했는지 투명하게 공개해야 한다”고 요구한다. 그리고 “AI 도구가 생성한 부분을 포함해 원고 전체에 대한 책임은 전적으로 저자에게 있다”고 못박는다.^[7]

ICMJE(International Committee of Medical Journal Editors)도 같은 방향이다. 저자는 투고 시 LLM, 챗봇, 이미지 생성기 등 AI 지원 기술 사용 여부를 공개해야 하며, “챗봇은 결과물의 정확성·완전성·독창성에 책임을 질 수 없으므로 저자로 등재될 수 없다”고 규정한다. AI가 생성한 콘텐츠는 반드시 사람이 검토·수정해야 하고, AI 생성물을 1차 출처로 인용하는 것은 허용되지 않는다. 공개 의무를 지키지 않으면 “시정 조치가 필요하거나, 경우에 따라 연구 부정행위로 간주될 수 있다”고 명시한다.^[8]

출판사 차원의 정책도 같은 틀을 따른다. Elsevier는 저자가 AI 도구를 사용했다면 투고 시 별도의 “생성형 AI 및 AI 지원 기술 선언문”을 제출하도록 요구하며, 단순 문법·철자 교정에는 별도 신고가 필요 없다고 안내한다. AI는 저자나 공저자로 인용될 수 없다는 원칙도 동일하다.^[9] Springer Nature 역시 “AI가 아니라 당신이 원고의 정확성·독창성·완결성에 대한 책임자”라는 원칙 아래, 생성형 AI 사용을 서문이나 감사의 글에 투명하게 밝히도록 요구한다. 가독성이나 문법 교정 목적의 AI 활용은 별도 공개가 필요 없다는 예외도 명시하고 있다.^[10]

여기서 주목할 점이 있다. 이들 기구와 출판사 어디에도 “GPTZero 점수가 몇 % 이상이면 게재 거부”라는 식의 자동화된 기준은 없다는 것이다. 정책의 초점은 탐지기 점수가 아니라 저자의 투명한 공개와 책임에 있다. 즉 오탐 걱정의 실질적 해법은 탐지기를 속이는 기술이 아니라, 정직한 공개와 자연스러운 학술 문체 두 가지에 있다는 뜻이다.

오탐지가 실제로 미치는 영향: 왜 가볍게 넘길 수 없는가

“어차피 내가 AI로 안 썼으니 상관없다”고 생각하기 쉽지만, 현실은 그렇게 단순하지 않다. 2024년 JCO Clinical Cancer Informatics에 발표된 연구는 미국임상종양학회(ASCO) 연례학술대회에 제출된 초록 15,553편을 분석해, 2021년부터 2023년 사이 AI 생성 콘텐츠로 추정되는 비중이 유의하게 증가했음을 확인했다.^[11] 이런 흐름 속에서 저널과 편집위원회는 AI 탐지 절차를 점점 더 적극적으로 도입하고 있으며, 그 과정에서 오탐 피해자가 발생할 가능성도 함께 커지고 있다.

원고가 AI 탐지기에서 높은 점수로 걸리면 실제로 벌어지는 일은 다음과 같다. 편집자가 원고 초안 이력이나 데이터 원본을 추가로 요구할 수 있고, 심사가 몇 주에서 몇 달까지 지연될 수 있으며, 최악의 경우 연구 부정행위 조사로 이어질 수 있다. 설령 최종적으로 결백이 입증되더라도, 그 과정에서 소요되는 시간과 이미 쌓인 저자의 심리적 부담, 그리고 해당 저널·기관에 남는 인상은 결코 가볍지 않다. 학위논문 심사나 임용·승진 심사처럼 시간이 촉박한 상황이라면 그 타격은 더 커진다.

오탐(False Positive)을 피하는 실전 전략

탐지기의 구조적 한계를 이해했다면, 이제 실질적으로 무엇을 할 수 있는지가 중요하다. 연구가 공통적으로 시사하는 방향을 바탕으로 실행 가능한 전략을 정리했다.

1. 작성 과정을 기록하라. Google Docs 버전 기록, Word의 변경 내용 추적, Overleaf 리비전 히스토리 등으로 초고부터 최종본까지의 작성 이력을 남겨두면, 만에 하나 오탐 이의제기가 들어와도 사람이 직접 작성했다는 근거를 즉시 제시할 수 있다.
2. AI 사용을 정직하게 공개하라. 문법 교정 이상으로 AI를 활용했다면 COPE·ICMJE가 요구하는 대로 Methods나 Acknowledgements에 사용한 도구명과 용도를 명시한다. 공개는 오탐 위험을 낮추는 것을 넘어, 애초에 연구 부정행위 논란 자체를 예방하는 가장 확실한 방법이다.
3. 탐지기 하나의 결과에 의존하지 마라. 앞서 살펴본 것처럼 같은 원고도 탐지기에 따라 오탐지율이 0%에서 50% 이상까지 달라질 수 있다. 특정 도구 하나에서 높은 점수가 나왔다고 해서 곧바로 원고를 전면 재작성할 필요는 없다.
4. 지나치게 정형화된 문장을 피하라. 같은 문장 구조와 안전한 표현을 반복하면 어휘 다양성(퍼플렉시티)이 낮아져 오탐 확률이 올라간다. 문단마다 문장 길이와 구조에 변화를 주고, 자신만의 논증 흐름을 살리는 것이 오탐 위험을 낮추는 동시에 좋은 글쓰기이기도 하다.
5. 번역기에만 의존한 원고는 반드시 사람이 다시 검토하라. Weber-Wulff 연구가 보여주듯 기계번역 텍스트는 인간 작성 텍스트보다 오판 확률이 확연히 높다. 한국어 초고를 번역기로 옮긴 뒤 그대로 투고하는 방식은 오탐 위험과 어색한 표현이라는 두 가지 문제를 동시에 안고 간다.
6. 전문 학술 편집자의 사람 교정을 거쳐라. 자연스러운 학술 영어 문체로 다듬는 과정 자체가 오탐 위험을 구조적으로 낮춘다. 이 부분은 학술 문체 교정 서비스처럼 AI 탐지 원리를 이해하는 전문 편집자가 가장 효과적으로 도와줄 수 있는 영역이다.

투고 전 셀프 체크리스트

원고를 저널에 제출하기 전, 아래 항목을 스스로 점검해보자.

• 초고부터 최종본까지의 작성 이력(버전 기록, 변경 추적)을 보관하고 있는가
• AI 도구를 사용했다면 투고 저널의 AI 공개 정책을 확인하고 이를 준수했는가
• 대상 저널이 COPE·ICMJE 회원인지, AI 관련 별도 정책이 있는지 확인했는가
• 원고를 2개 이상의 서로 다른 AI 탐지기로 사전 점검해보았는가
• 기계번역에 의존한 문단이 있다면 원어민 수준의 사람 교정을 거쳤는가
• 문장 구조와 표현이 지나치게 반복적이지 않은지 다시 읽어보았는가

Editverse 학술 문체 교정이 필요한 이유

지금까지 살펴본 연구들이 말하는 결론은 하나다. AI 탐지기는 완벽하지 않고, 그 불완전함의 피해는 특히 영어를 모국어로 쓰지 않는 연구자에게 집중된다. 이 문제를 해결하는 방법은 탐지기를 속이는 기술이 아니라, 애초에 오탐 소지가 없는 자연스러운 학술 문체로 원고를 다듬는 것이다. Editverse의 학술 문체 교정 서비스는 바로 이 지점을 위해 설계되었다. 원고의 의미와 데이터는 그대로 유지하면서, 형식적이고 반복적인 문장을 자연스러운 학술 영어로 다듬어 GPTZero·Turnitin 기준 오탐 위험을 낮추는 방식이다.

특히 프리미엄 편집 + AI 증명(Premium + AI-Proofing) 패키지는 전체 언어 교정과 저널 서식 적용에 더해, GPTZero·Turnitin 기준 AI 감지 점검 및 결과 리포트를 제공하며 48시간 우선 처리와 무제한 재교정을 함께 제공한다. 투고 마감이 임박했거나, 이미 한 차례 오탐 이의제기를 경험한 원고라면 이 패키지가 실질적인 안전장치가 되어줄 수 있다. 자세한 구성과 가격은 프리미엄 편집 + AI 증명 패키지 안내 페이지에서 확인할 수 있으며, 서비스 전반에 대한 설명은 학술 문체 교정 페이지에서 더 살펴볼 수 있다.

마무리: AI 탐지기는 참고 지표일 뿐, 절대적 판단 기준이 아니다

정리하면 이렇다. 동료심사를 거친 검증 연구들은 하나같이 AI 탐지기의 정확도가 도구·분야·텍스트 유형에 따라 크게 요동친다는 것을 보여준다. 그리고 그 불확실성의 피해는 영어를 모국어로 쓰지 않는 연구자, 즉 한국 연구자 다수가 속한 집단에 통계적으로 더 집중된다. 동시에 COPE, ICMJE를 비롯한 국제 학술 기구는 특정 탐지기 점수를 합격선으로 강제하지 않으며, 대신 투명한 공개와 저자의 책임을 요구한다.

결국 오탐을 피하는 가장 현실적인 방법은 탐지기와의 기술적 숨바꼭질이 아니라, 정직한 공개와 자연스러운 학술 문체라는 원칙으로 돌아가는 것이다. 원고 작성 이력을 남기고, AI 사용 여부를 투명하게 밝히고, 필요하다면 AI 탐지 원리를 이해하는 전문 편집자의 도움을 받는 것. 이 세 가지가 통계로 확인된 오탐 위험을 실질적으로 낮추는 가장 확실한 길이다.

---

참고문헌

1. Weber-Wulff D, Anohina-Naumeca A, Bjelobaba S, et al. Testing of detection tools for AI-generated text. International Journal for Educational Integrity. 2023;19:26. DOI: 10.1007/s40979-023-00146-z
2. Erol G, Ergen A, Erol BG, et al. Can we trust academic AI detective? Accuracy and limitations of AI-output detectors. Acta Neurochirurgica. 2025;167(1):214. PMID: 40773066. DOI: 10.1007/s00701-025-06622-4
3. Villa J, Garcovich D, Lombardo L, Siciliani G, Adobes Martin M. AI text detection in dentistry: a comparative analysis across generative models. Research Integrity and Peer Review. 2026;11(1). PMID: 42260683. DOI: 10.1186/s41073-026-00228-9
4. Popkov AA, Barrett TS. AI vs academia: Experimental study on AI text detectors’ accuracy in behavioral health academic writing. Accountability in Research. 2025;32(7):1072-1088. PMID: 38516933. DOI: 10.1080/08989621.2024.2331757
5. Liang W, Yuksekgonul M, Mao Y, Wu E, Zou J. GPT detectors are biased against non-native English writers. Patterns. 2023;4(7):100779. PMID: 37521038. DOI: 10.1016/j.patter.2023.100779
6. Doğan AR, Doğan Aİ. From the Turing Test to AI detectors: an epistemological mismatch in scholarly publishing. Brazilian Journal of Anesthesiology. 2026. PMID: 41775318. DOI: 10.1016/j.bjane.2026.844740
7. Committee on Publication Ethics (COPE). Authorship and AI tools — Position Statement. publicationethics.org
8. International Committee of Medical Journal Editors (ICMJE). AI Use by Authors — Recommendations. icmje.org
9. Elsevier. Generative AI policies for journals. elsevier.com
10. Springer Nature. AI guidance for our researchers and communities. group.springernature.com
11. Howard FM, Li A, Riffon MF, Garrett-Mayer E, Pearson AT. Characterizing the Increase in Artificial Intelligence Content Detection in Oncology Scientific Abstracts From 2021 to 2023. JCO Clinical Cancer Informatics. 2024;8:e2400077. PMID: 38822755. DOI: 10.1200/CCI.24.00077
12. Turnitin. Understanding the false positive rate for sentences of our AI writing detection capability. turnitin.com