AI 탐지 점수 오탐지율: GPTZero 0%, ZeroGPT 16%, Corrector App 30.4% (사람이 작성한 신경외과 논문 250편 기준)

AI 탐지 점수를 낮추는 실제 글쓰기 습관 5가지

SCI 저널에 논문을 투고했는데 리젝트 사유에 “AI 생성 의심”이라는 코멘트가 달렸다면, 대부분의 경우 실제로 ChatGPT가 문장을 썼다는 뜻이 아니다. 스탠퍼드 대학교 연구팀이 2023년 학술지 Patterns에 발표한 연구에 따르면, 비원어민 영어 작성자의 TOEFL 에세이 91편 가운데 89편(97.8%)이 7개 AI 탐지기 중 최소 한 곳에서 AI 생성물로 판정되었다[1]. 시험을 위해 사람이 직접, 그것도 정직하게 쓴 글이 이 정도로 오탐지된다면, 영어가 모국어가 아닌 한국 연구자가 밤새워 쓴 학술 논문이 같은 위험에 노출되는 것도 이상한 일이 아니다. 이 글에서는 AI 탐지 점수를 낮추는 실제 글쓰기 습관 5가지를, 탐지기가 실제로 무엇을 측정하는지에 대한 근거와 함께 정리했다.

한 줄 요약

AI 탐지 도구는 “이 글을 AI가 썼는가”를 직접 알아내는 것이 아니라, 문장이 얼마나 예측 가능하고 균일한지를 통계적으로 추정한다. 문장 길이에 리듬을 주고, 학술적 헤지 표현을 자연스럽게 쓰고, 최근 남용되는 AI 상투어를 피하고, 초고를 여러 차례 스스로 고쳐 쓰고, 막연한 주장 대신 구체적 근거를 넣는 것만으로도 오탐지 위험을 크게 낮출 수 있다.

AI 탐지기는 실제로 무엇을 보고 판단할까

AI 탐지기가 원고를 읽고 “AI 확률 92%”라는 점수를 내놓을 때, 실제로 계산하는 값은 크게 두 가지다. 첫째는 perplexity(당혹도)로, GPTZero는 이를 “문장이 탐지기를 얼마나 놀라게 하는가”를 나타내는 지표라고 설명한다[2]. 예측하기 쉬운 단어와 문장 구조가 이어지면 perplexity가 낮아지고, 이는 AI가 쓴 글의 전형적 특징으로 간주된다. 둘째는 burstiness(변동성)로, 문서 전체에서 perplexity가 얼마나 오르내리는지를 측정한다. GPTZero는 “사람의 글에는 짧은 문장과 긴 문장이 섞여 있고 단순한 문장과 복잡한 문장이 교차하는 리듬이 있다”고 설명하는데, 반대로 언어모델은 토큰을 순차적으로 생성하기 때문에 문장 길이와 구조가 상대적으로 균일한 경향을 보인다[2].

문제는 이 두 지표가 재는 것이 “얼마나 정교하게 썼는가”이지 “실제로 누가 썼는가”가 아니라는 점이다. 표현이 단순하거나 특정 패턴이 반복되는 글, 즉 안전하게 쓰려고 애쓴 글은 실제 작성자와 무관하게 낮은 perplexity와 burstiness를 보이며 탐지기에는 AI가 쓴 것처럼 읽힐 수 있다. 탐지기 회사들도 이 문제를 인지하고 있다. Turnitin은 AI 점수가 1~19% 구간에 해당하는 경우 아예 점수나 하이라이트를 표시하지 않도록 정책을 운영하는데[3], 이는 애매한 구간에서의 오탐지가 실무적으로 무시할 수 없는 수준이라는 점을 탐지기 회사 스스로 인정한 것이기도 하다.

실제 연구에서 이 문제가 얼마나 뚜렷하게 나타나는지 아래 표에 정리했다.

연구 대상 텍스트 주요 결과
Liang 등, 2023
(Patterns, 스탠퍼드대)[1]
비원어민 영어 작성자의 TOEFL 에세이 91편 7개 탐지기 평균 오탐률 61.22%. 89편(97.8%)이 최소 1개 탐지기에서 AI로 판정, 18편(19.8%)은 7개 탐지기 전원 일치로 AI 판정. 원어민 대조군(미국 중학생 에세이)에서는 90% 이상이 정확히 사람 작성으로 분류됨
Erol 등, 2025
(Acta Neurochirurgica)[4]
사람이 작성한 신경외과 저널 원저 논문 250편(ChatGPT 등장 이전 시기) GPTZero 오탐 0건(0%), ZeroGPT 40건(16%), Corrector App 76건(30.4%)
Popkov & Barrett, 2025
(Accountability in Research)[5]
행동건강 분야 학술논문 100편 + ChatGPT·Claude 생성 텍스트 200편 무료·유료 탐지기 모두에서 위양성(오탐)과 위음성이 함께 문제가 될 만한 수준으로 나타남
Turnitin 자체 연구, 2024[6] 300단어 이상 vs 150~300단어 문서, 영어 모국어 화자 대 비원어민(L1 vs L2) 비교 300단어 이상에서는 두 그룹의 오탐률 차이가 통계적으로 유의하지 않았으나, 150~300단어의 짧은 글에서는 유의한 차이가 나타남

왜 한국 연구자가 특히 더 위험한가

첫 번째 연구가 특히 뼈아픈 이유는, 탐지기가 비원어민의 “진짜” 학술 영어를 AI 생성물로 착각하는 원인까지 함께 밝혔기 때문이다. 연구팀은 TOEFL 에세이가 원어민 대조군보다 유의하게 낮은 perplexity를 보였다고 보고했으며, 어휘 다양성과 통사적 복잡성이 제한된 글일수록 탐지기가 불리하게 판단할 가능성이 있다는 해석을 제시한다[1]. 안전하게 쓰려고 익숙한 단어와 짧고 단순한 문장 구조를 반복하는 습관, 많은 한국 연구자가 실제로 영어 논문을 쓸 때 취하는 전략 자체가 탐지기 입장에서는 “AI가 쓴 것처럼” 보이는 신호가 될 수 있다는 뜻이다.

같은 연구는 흥미로운 개입 실험도 함께 진행했다. ChatGPT에게 단순히 “원어민처럼 들리도록 단어 선택을 개선하라”고 지시한 것만으로 TOEFL 에세이의 평균 오탐률이 61.22%에서 11.77%로 떨어졌다[1]. 억지로 화려한 단어를 끼워 넣은 것이 아니라 표현의 다양성을 자연스럽게 넓힌 것만으로 절반 이하로 줄어든 셈이다. 다만 이 결과를 “무조건 어렵게 쓰라”는 뜻으로 오해해서는 안 된다. Turnitin이 300단어 이상 원고를 대상으로 자체 재검증한 결과에서는 원어민과 비원어민 사이의 오탐률 차이가 통계적으로 유의하지 않았다[6]. 글이 충분히 길고 문장 구조에 자연스러운 변화가 있다면, 비원어민이라는 사실 자체가 결정적 불리함으로 작용하지는 않는다는 뜻이기도 하다. 관건은 원어민 여부가 아니라 문장에 자연스러운 변화와 정보 밀도가 있느냐다.

AI 탐지 점수 오탐지율 비교: GPTZero 0%, ZeroGPT 16%, Corrector App 30.4%
사람이 작성한 신경외과 학술논문 250편(ChatGPT 등장 이전 시기)을 세 가지 AI 탐지기에 넣었을 때, 각 도구가 몇 편을 AI 생성물로 잘못 판정했는지 보여준다. GPTZero는 오탐이 한 건도 없었던 반면(0/250), ZeroGPT는 40편(16%), Corrector App은 76편(30.4%)을 사람이 쓴 글임에도 AI로 오판했다. Editverse가 GPTZero와 Turnitin을 기준으로 검증하는 것도 이런 탐지기별 신뢰도 차이 때문이다. 출처: Erol 등, 2025, Acta Neurochirurgica 167:214(PMID 40773066)[4]. Prepared by Editverse.

AI 탐지 점수를 낮추는 실제 글쓰기 습관 5가지

탐지기가 실제로 측정하는 신호를 알면, 막연히 “더 사람처럼 쓰자”는 조언 대신 구체적으로 무엇을 바꿔야 하는지가 보인다. 아래 다섯 가지는 위에서 소개한 연구 결과에 근거해 정리한, 실제로 효과가 검증된 습관이다.

습관 1. 문장 길이에 의도적으로 리듬을 만든다

초고를 다 쓴 뒤 한 단락을 골라 문장마다 단어 수를 세어 보자. 15~20단어짜리 문장이 서너 개 연속으로 이어진다면, 이것이 바로 GPTZero가 말하는 낮은 burstiness, 즉 AI 생성물의 전형적 신호다[2]. 실제로 사람이 쓴 논문 단락은 결과를 요약하는 짧고 단정적인 문장(8~10단어) 뒤에 조건과 예외를 설명하는 긴 복문(30단어 이상)이 이어지는 경우가 많다. 퇴고 단계에서 문장 서너 개 중 최소 1개는 길이를 절반 이하로 줄이거나 두 배로 늘려 보는 것만으로 리듬이 살아난다.

습관 2. 단정적 서술 대신 학술적 헤지 표현을 자연스럽게 섞는다

화학 분야 논문 저자와 ChatGPT가 쓴 글을 20가지 특징으로 구분해 99% 이상의 정확도를 낸 연구에 따르면, 사람 과학자는 단정적으로 결론을 말하기보다 “but”, “however”, “although” 같은 양보·대조 접속어를 훨씬 자주 쓰고 문단도 더 길게 쓰는 경향을 보였다[7]. 이는 우연이 아니라 학술적 글쓰기의 오래된 관행과도 맞닿아 있다. 연구 결과를 과도하게 단정하지 않고 한계와 대안적 해석을 함께 언급하는 습관은 탐지기를 피하기 위한 기교가 아니라, 원래도 좋은 논문이 갖춰야 할 신중함이다. “~로 나타났다” 뒤에 “다만 표본 크기를 고려할 때”, “~와 달리 본 연구에서는” 같은 절을 붙이는 연습을 해보자.

습관 3. 최근 남용되는 “AI 상투어”를 피하고 전공 특유의 표현을 쓴다

2025년 Science Advances에 발표된 연구는 2010~2024년 PubMed 생의학 초록 1,500만 건 이상의 어휘 변화를 분석해, ChatGPT 등장 이후 특정 단어의 사용 빈도가 급격히 늘었다는 사실을 확인했다. 이 초과 어휘 분석에 따르면 2024년 발표된 초록 중 최소 13.5%가 LLM으로 가공된 흔적을 보였고, 일부 세부 분야·저널에서는 그 비율이 40%에 달했다[8]. 이때 빈도가 급증한 단어에는 “delves”, “underscores”, “showcasing”, “meticulously”, “intricate”처럼 화려해 보이지만 실제 정보를 더하지 않는 단어들이 포함된다. 아이러니하게도 이런 단어는 애초에 “더 세련되게 쓰자”는 생각으로 고르는 경우가 많다. 초고를 다 쓴 뒤 이런 단어가 있는지 검색해서, 전공 분야에서 실제로 통용되는 더 구체적인 동사·명사로 바꾸는 편이 낫다. 예를 들어 “delves into” 대신 “분석했다”, “측정했다”, “비교했다”처럼 실제로 한 행동을 그대로 쓰는 문장이 더 자연스럽고 정보량도 많다.

습관 4. 초고를 한 번에 끝내지 않고 최소 2~3회 스스로 고쳐 쓴다

언어모델이 한 번의 순전파로 토큰을 순차 생성하는 것과 달리, 사람의 퇴고 과정은 원래 고르지 않다. 어떤 문장은 여러 번 다시 쓰고, 어떤 문장은 처음 그대로 남기고, 순서를 바꾸고, 자료를 더 찾아본 뒤 특정 단락만 다시 쓰는 식이다. 이 불균일한 과정 자체가 문장 길이와 어휘 선택의 자연스러운 변동, 즉 burstiness를 만들어 낸다[2]. 초고를 쓰고 곧바로 투고하는 대신 최소 하루 간격을 두고 두세 차례 소리 내어 읽으며 고치는 습관만으로도 이런 변동이 자연스럽게 생긴다. 특히 서론과 결론처럼 형식이 정형화되기 쉬운 섹션일수록 문장을 갈아엎는 수정이 도움이 된다.

습관 5. 막연한 일반화 대신 구체적 수치와 자신의 해석을 넣는다

“본 연구는 이 분야에 중요한 기여를 한다”처럼 어떤 논문에나 붙일 수 있는 문장은 정보량이 낮다. Perplexity는 본질적으로 “다음에 나올 단어를 얼마나 예측하기 어려운가”를 재는 지표이므로, 구체적인 수치와 특정 선행연구와의 직접 비교, 저자만의 해석이 담긴 문장은 구조적으로 예측하기 어려워 perplexity가 높아질 수밖에 없다. “기존 연구보다 개선되었다” 대신 “선행연구 A의 민감도 72%와 비교해 본 연구는 89%를 보였다”처럼 쓰는 습관은 AI 탐지 관점에서도, 심사위원을 설득한다는 관점에서도 이득이다.

이렇게 해도 안 되는 것들

AI 탐지 점수를 낮추려는 시도 중에는 오히려 역효과를 내거나 더 근본적인 문제를 일으키는 경우도 있다.

  • 문법 교정·패러프레이징 도구에 원고 전체를 통째로 맡기는 것. 이런 도구 상당수가 내부적으로 언어모델을 사용하므로, 오히려 탐지 신호를 더 뚜렷하게 남길 수 있다.
  • 무작정 어려운 단어로 바꾸는 것. 습관 3에서 본 것처럼, 특정 스타일의 “화려한” 어휘 자체가 이제는 AI 탐지기와 심사위원 모두에게 하나의 신호로 인식되고 있다[8].
  • 실제로 AI 도구로 초안을 작성했는데 문체만 다듬어 점수를 낮추고 이를 밝히지 않는 것. 이는 별개의, 더 심각한 문제다. 출판윤리위원회(COPE)는 AI 도구가 저자가 될 수 없으며 저자는 AI 도구를 어떻게 사용했는지 투명하게 밝히고 그 내용에 전적으로 책임져야 한다고 명시하고 있다[9]. 이 글에서 다루는 습관은 사람이 직접 쓴 원고가 오탐지되는 것을 막기 위한 것이지, 실제 AI 사용을 감추기 위한 것이 아니다.
  • 탐지기 하나의 결과만 믿는 것. 같은 텍스트를 두고도 탐지기마다 판정이 크게 엇갈릴 수 있다. GPTZero, ZeroGPT, Writer ACD, Originality 네 도구에 같은 글을 넣어 비교한 사례 연구에서도 도구별 판정이 서로 크게 달랐다[10].

제출 전 5분 자가 점검 체크리스트

  • 임의로 고른 한 단락에서 문장 길이를 세어 보았다 (너무 균일하지 않은가?)
  • “delve”, “underscore”, “showcase”, “intricate”, “meticulous”류의 상투적 표현을 검색해 제거했다
  • 주요 결과 문장에 구체적 수치나 선행연구와의 직접 비교를 최소 1개 넣었다
  • 초고 작성 후 최소 하루 간격을 두고 2회 이상 다시 읽고 고쳤다
  • 실제로 AI 도구를 사용했다면 투고 규정에 따라 사용 내역을 공개했다
  • 짧은 발췌문이 아니라 300단어 이상 섹션 단위로 AI 탐지 결과를 확인했다

그래도 안심할 수 없다면: 전문가의 AI 감지 안전성 검토

위 다섯 가지 습관은 대부분의 오탐지 위험을 줄여 주지만, 투고 마감이 임박했거나 영어 초고 작성 자체가 부담스러운 상황이라면 모든 것을 직접 점검할 시간이 부족할 수 있다. Editverse의 학술 문체 교정 서비스는 원고의 의미와 데이터는 그대로 유지하면서, 위에서 설명한 문장 리듬과 헤지 표현, 어휘 다양성을 편집자가 직접 검토하고 GPTZero·Turnitin 기준으로 실제 점수를 확인한 뒤 결과물을 전달한다.

표준 편집

₩149,000~

전체 언어 편집에 기본 AI 감지 안전성 검토를 더한 서비스. 3영업일 이내 완료.

패키지 보기 →

프리미엄 편집 + AI 증명

₩229,000~

GPTZero·Turnitin 기준 AI 감지 점검 및 결과 리포트 제공, 저널 서식 적용, 48시간 우선 처리와 무제한 수정.

패키지 보기 →

완전 출판 패키지

₩349,000~

프리미엄 편집부터 저널 선택, 커버레터, 리뷰어 답변까지 출판 전 과정을 지원하는 올인원 패키지.

패키지 보기 →

세 패키지 모두 고영향지수 저널 게재 경험을 갖춘 분야 전문 박사·의사 편집자가 의학 · STEM · 사회과학 전 분야를 담당한다. 어떤 단계가 본인 원고에 맞는지 확실치 않다면, 서비스 페이지에서 단계별 차이를 먼저 비교해 볼 수 있다.

Editverse의 무료 연구 도구

  • GraphPro: t-검정, ANOVA, 상관분석, 카이제곱 검정 p-값을 자동 계산해 주는 25종 논문용 차트 제작 도구. 무료, 회원가입 불필요.
  • StatPro: 그룹 비교, 범주형 결과, 생존분석, 진단정확도까지 다루는 무료 통계 계산기 및 검정법 추천 도구.
  • Flowchart Pro: PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE, ARRIVE 흐름도를 브라우저에서 바로 생성.

마무리

AI 탐지 점수를 낮추는 것은 결국 더 좋은 학술 영어를 쓰는 것과 상당 부분 겹친다. 문장에 리듬을 주고, 근거 없는 단정을 피하고, 상투어 대신 구체적인 표현을 쓰고, 초고를 여러 번 다듬고, 막연한 주장 대신 수치로 말하는 습관은 그 자체로 논문의 설득력을 높인다. 다만 투고 마감이 촉박하거나 원고 전체를 스스로 재검토할 여유가 없다면, 각 항목을 실제로 GPTZero와 Turnitin 기준에서 확인해 주는 전문 편집의 도움을 받는 편이 안전하다.


참고문헌

  1. Liang W, Yuksekgonul M, Mao Y, Wu E, Zou J. GPT detectors are biased against non-native English writers. Patterns (N Y). 2023;4(7):100779. doi:10.1016/j.patter.2023.100779. PMID: 37521038.
  2. GPTZero. How do AI detectors work? Techniques, limitations & more. gptzero.me/news.
  3. Turnitin. AI writing detection model [help guide]. guides.turnitin.com.
  4. Erol G, Ergen A, Erol BG, et al. Can we trust academic AI detective? Accuracy and limitations of AI-output detectors. Acta Neurochir (Wien). 2025;167(1):214. doi:10.1007/s00701-025-06622-4. PMID: 40773066.
  5. Popkov AA, Barrett TS. AI vs academia: Experimental study on AI text detectors’ accuracy in behavioral health academic writing. Account Res. 2025;32(7):1072-1088. doi:10.1080/08989621.2024.2331757. PMID: 38516933.
  6. Turnitin. New research: Turnitin’s AI detector shows no statistically significant bias against English language learners. Turnitin Blog.
  7. Desaire H, Chua AE, Isom M, Jarosova R, Hua D. Distinguishing academic science writing from humans or ChatGPT with over 99% accuracy using off-the-shelf machine learning tools. Cell Rep Phys Sci. 2023;4(6):101426. doi:10.1016/j.xcrp.2023.101426. PMID: 37426542.
  8. Kobak D, González-Márquez R, Horvát EÁ, Lause J. Delving into LLM-assisted writing in biomedical publications through excess vocabulary. Sci Adv. 2025;11(27):eadt3813. doi:10.1126/sciadv.adt3813. PMID: 40601754.
  9. Committee on Publication Ethics (COPE). Authorship and AI tools [position statement]. publicationethics.org.
  10. Bellini V, Semeraro F, Montomoli J, Cascella M, Bignami E. Between human and AI: assessing the reliability of AI text detection tools. Curr Med Res Opin. 2024;40(3):353-358. doi:10.1080/03007995.2024.2310086. PMID: 38265047.

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *