AI 논문 심사, 일부러 넣은 오류 73%·실제 철회 논문 16% 찾았다

논문 한 편이 학술대회에 실리기까지는 보통 동료 검토(peer review)라는 관문을 거칩니다. 같은 분야의 연구자 여러 명이 논문을 읽고, 주장이 근거와 맞는지, 실험이 제대로 설계됐는지, 결론이 과장되지 않았는지 따져 보는 과정이죠. 그런데 최근 몇 년 사이 인공지능 분야 학술대회에는 투고 편수와 저자 수가 가파르게 늘었습니다. 꼼꼼한 심사에는 전문 지식과 시간이 필요한데, 이런 자원은 논문 수만큼 빠르게 늘어나지 않습니다. 그래서 심사의 질이 떨어지고 있다는 우려가 꾸준히 나왔고, 심사자들 사이에서도 업무 부담을 덜기 위해 대규모 언어모델(LLM)을 쓰는 경우가 늘고 있습니다.

 

글로벌AI로봇협회

 

일본의 인공지능 연구 기업 사카나 AI(Sakana AI) 연구진은 이 문제를 조금 다른 각도에서 들여다봤습니다. 지난 10월 8일 논문 공개 사이트 아카이브(arXiv)에 올린 '비욘드 이미테이션(Beyond Imitation)'이라는 논문에서, AI 심사 시스템이 사람 심사자를 얼마나 닮았는지가 아니라 논문 속 오류를 실제로 얼마나 찾아내는지를 재는 평가 방법과 새 심사 시스템을 함께 내놓았죠. 결과는 숫자 하나로 요약하기 어렵습니다. 연구진이 일부러 넣은 핵심 오류는 73% 넘게 찾아냈지만, 실제로 철회된 논문에서는 탐지율이 16~26%로 내려갔기 때문입니다. 이 두 숫자가 각각 무엇을 뜻하는지 하나씩 살펴보겠습니다.

사람을 흉내 내는 심사에서 오류를 찾는 심사로

지금까지 나온 AI 논문 심사 연구는 대부분 AI가 쓴 심사 의견이 사람 심사자의 의견과 얼마나 비슷한지를 기준으로 성능을 평가했습니다. AI가 매긴 점수가 사람이 매긴 점수와 얼마나 맞아떨어지는지, 심사 문장이 얼마나 닮았는지를 재는 방식이죠. 이 방식은 대규모로 비교하기 쉽다는 장점이 있지만, AI가 그럴듯한 심사 의견을 '흉내' 내는 능력과 논문의 문제를 '검증'하는 능력을 구분하지 못한다는 한계가 있습니다.

 

연구진은 동료 검토의 핵심 기능 가운데 하나로 오류 탐지를 꼽았습니다. 논문의 가정과 주장, 근거를 처음부터 끝까지 맞대어 보며 어긋나는 곳을 찾는 일은 심사에서 가장 손이 많이 가는 작업이기도 합니다. 연구진은 AI가 사람 심사자를 대신하는 것이 아니라, 바로 이 고된 작업을 거들어 사람 심사자를 보완하는 쪽에 목표를 두었습니다.

일부러 오류를 심은 '모순 벤치마크'

문제는 오류를 찾는 능력을 어떻게 공정하게 재느냐입니다. 실제 논문에 숨어 있는 오류는 정답이 무엇인지부터 분명하지 않은 경우가 많기 때문이죠. 그래서 연구진은 정답이 분명한 시험지를 직접 만들었습니다. 이것이 '모순 벤치마크(Contradiction Benchmark)'입니다.

 

연구진은 2025년에 열린 주요 인공지능 학술대회 네 곳(ACL, AISTATS, CVPR, ICML)과 NeurIPS 2024에서 발표된 논문 257편을 모았습니다. 그리고 이 논문들에 총 1,164개의 논리적 모순을 의도적으로 집어넣었습니다. 내용을 고쳐 다시 배포해도 되는지 법적인 문제를 피하기 위해, 수정과 재배포를 허용하는 공개 라이선스로 나온 논문만 골랐다고 합니다.

 

여기서 눈여겨볼 점은 오류를 넣는 방식입니다. 처음에는 논문에서 문장을 무작위로 골라 모순되게 고치는 방식을 시도했는데, 그렇게 하면 어떤 오류는 초록의 핵심 주장을 건드리고 어떤 오류는 사소한 실험 설정만 바꾸게 됩니다. 두 오류가 논문의 타당성에 미치는 무게는 전혀 다르죠. 그래서 연구진은 먼저 언어모델을 이용해 논문마다 일종의 지도인 '지식 그래프'를 그렸습니다. 논문의 핵심 주장을 중심에 두고, 이를 뒷받침하는 하위 주장, 근거, 방법론, 실험 세부 사항이 서로 어떻게 연결되는지를 선으로 이은 것입니다.

 

이 지도에서 핵심 주장으로부터 몇 단계 떨어져 있는지가 오류의 심각도가 됩니다. 핵심 주장 자체를 뒤집는 오류는 가장 심각한 오류로, 몇 단계 건너 있는 실험 설정을 바꾸는 오류는 덜 심각한 오류로 분류하는 식이죠. 실제로 평가해 보니 핵심 주장에서 멀리 떨어진 오류일수록 심사 시스템이 찾아내는 비율이 낮아졌고, 연구진은 이를 심각도 구분이 제대로 작동한다는 근거로 들었습니다.

먼저 읽고 나서 쓰는 다층 검토 시스템 MLR

연구진이 함께 내놓은 심사 시스템은 '다층 검토(MLR, Multi-Layered Review)'입니다. 이름처럼 논문을 여러 겹으로 읽는 것이 특징입니다. 핵심 생각은 간단합니다. 심사 의견을 쓰기 전에 논문부터 충분히 이해하자는 것이죠.

 

글로벌AI로봇협회

 

시스템은 세 부분으로 나뉩니다. 부록 담당은 논문 뒤쪽 부록을 읽고 실험과 구현 세부 사항을 요약합니다. 선행 연구 담당은 관련 연구를 찾아보며 이 논문이 기존 연구와 어떻게 다르고 얼마나 새로운지를 살핍니다. 이 기능은 필요에 따라 뺄 수도 있습니다. 마지막으로 가장 중요한 심사 담당이 논문 본문을 세 차례에 걸쳐 읽습니다.

 

첫 번째 읽기에서는 논문의 전체 구조와 핵심 아이디어를 정리합니다. 두 번째 읽기에서는 내용을 자세히 따라가며 주장과 근거를 맞대어 보고 약점, 숨은 가정, 논리의 빈틈을 찾습니다. 세 번째에는 앞선 분석과 부록 요약, 선행 연구 정보를 모두 모아 강점과 약점, 저자에게 던질 질문, 종합 평가와 점수를 씁니다. 사람이 논문을 읽을 때 먼저 훑어보며 뼈대를 잡고, 다음에 꼼꼼히 읽고, 마지막에 평가를 내리는 순서를 그대로 옮긴 셈입니다. 논문은 PDF 파일 그대로 넣어 수식과 그림이 최대한 살아 있게 했고, 본문의 심층 분석은 10쪽까지로 제한했습니다.

 

비용 면에서도 눈에 띄는 부분이 있습니다. 연구진은 모델을 따로 학습시키거나 GPU로 추가 훈련을 하지 않고, 시중에서 쓸 수 있는 상용 언어모델의 API만으로 시스템을 꾸렸습니다. 선행 연구 조사 기능을 빼면 논문 한 편을 심사하는 데 드는 비용은 약 0.47달러였습니다.

73%라는 숫자를 읽는 법

그렇다면 성능은 어땠을까요? 모순 벤치마크에서 MLR은 핵심 주장에 직접 넣은 오류를 네 번 검토했을 때 73.43% 찾아냈습니다. 한 번만 검토해도 60.79%였습니다. 비교 대상이 된 기존 AI 심사 시스템 가운데 가장 높은 탐지율이 14.81%였으니, 약 5배 차이입니다. 기존 시스템들이 여러 번 검토를 거듭해야 성능이 크게 오르는 것과 달리, 한 번의 검토만으로도 높은 탐지율을 보였다는 점도 특징입니다.

 

다만 이 숫자를 'AI가 논문 오류의 73%를 찾아낸다'로 읽으면 틀립니다. 73.43%는 연구진이 인위적으로 넣은 모순 가운데, 그것도 핵심 주장에 직접 연결된 가장 심각한 오류만 따로 놓고 본 수치입니다. 심각도와 상관없이 벤치마크 전체 오류를 기준으로 하면 탐지율은 네 번 검토 시 40.95%, 한 번 검토 시 28.32%로 내려갑니다. 앞서 본 것처럼 핵심에서 먼 오류일수록 찾기 어려웠기 때문이죠.

 

인위적으로 넣은 오류라는 점도 함께 기억해야 합니다. 연구진이 고쳐 쓴 문장은 앞뒤 문맥과 어색하게 어울리는 경우가 있을 수 있고, 이런 어색함이 오히려 오류를 찾기 쉽게 만들었을 가능성이 있습니다. 연구진도 논문에서 이 점을 인정했습니다.

실제 철회 논문에서는 16~26%

그래서 연구진은 진짜 오류로도 시험해 봤습니다. 아카이브에서 실제로 철회된 논문 211편을 모은 '위드드로어아카이브-체크(WithdrarXiv-Check)' 데이터를 이용했죠. 철회된 논문에는 저자가 밝힌 철회 사유가 있으니, AI의 심사 의견이 그 사유를 짚어 냈는지 확인하는 방식입니다.

 

글로벌AI로봇협회

 

결과는 크게 달라졌습니다. 심사 의견이 철회 사유와 정확히 맞아떨어진 경우만 인정하면 탐지율은 16.11%였습니다. 같은 종류의 문제를 지적한 경우까지 넓게 인정해도 26.07%에 머물렀습니다. 그래도 두 기준 모두에서 MLR은 비교 대상 시스템들보다 높았습니다. 기존 시스템의 최고 기록은 정확히 일치하는 기준에서 9%, 넓은 기준에서 18.48%였습니다.

 

이 차이는 실제 논문의 오류가 인위적으로 만든 모순보다 훨씬 복잡하고 다양하다는 것을 보여 줍니다. 철회된 논문의 문제 중에는 수학적 증명이 틀렸거나 이론 자체가 성립하지 않는 경우가 많은데, 머신러닝 학술대회 논문을 중심으로 설계된 시스템이 이런 문제까지 모두 잡아내기는 어렵습니다. 철회 사유가 모호하게 적혀 있어서, 시스템이 실제 문제를 짚었는데도 정답으로 인정받지 못한 경우도 있었다고 합니다.

AI와 사람은 서로 다른 곳을 본다

연구진은 AI 심사와 사람 심사가 무엇에 주목하는지도 비교했습니다. MLR은 논문의 타당성과 실험 결과가 맞는지를 확인하는 데 더 큰 비중을 두었습니다. 반면 사람 심사자는 글이 얼마나 명확하게 쓰였는지, 아이디어가 얼마나 새로운지를 상대적으로 더 중요하게 보는 경향이 있었습니다.

 

이 결과는 AI가 사람 심사자의 자리를 대신하기보다, 사람이 놓치기 쉬운 부분을 한 번 더 들여다보는 보조 도구로 쓰일 수 있다는 가능성을 보여 줍니다. 실제로 이 시스템을 써 본 저자들은 연구 과정에 도움이 된다고 평가했는데, 사람 심사와 마찬가지로 AI가 지적한 약점에 대해서는 가장 많이 반론을 제기했다고 합니다.

 

한계도 분명합니다. 연구진은 논문 초록에서 AI 심사 시스템이 의도적인 조작에 여전히 취약하다는 점을 확인했다고 밝혔습니다. 누군가 AI 심사를 유리하게 이끌려고 논문에 손을 쓰면 판단이 흔들릴 수 있다는 뜻입니다. 연구진이 자동 심사 시스템에 견고함이 필요하다고 강조한 이유입니다.

'AI가 검토했다'는 말을 들었을 때

이번 연구는 논문 심사라는 전문적인 영역의 이야기지만, AI에게 무언가를 검토해 달라고 맡기는 일은 이미 우리 일상과 업무 곳곳에 들어와 있습니다. 보고서의 앞뒤가 맞는지, 계약서에 서로 어긋나는 조항은 없는지, 기획안의 숫자가 근거와 맞는지를 AI에게 물어보는 일은 이제 낯설지 않죠.

 

이 연구가 보여 주는 것은 AI 검토의 성능이 '무엇을 기준으로 재느냐'에 따라 크게 달라진다는 점입니다. 눈에 띄게 심어 둔 모순은 꽤 잘 찾지만, 현실에서 저절로 생긴 복잡한 오류 앞에서는 탐지율이 크게 떨어집니다. 그리고 AI는 사람과 다른 곳을 봅니다. 그러니 AI가 검토를 마쳤다는 말은 '문제가 없다'는 뜻이 아니라 '한 사람이 더 읽었다'는 뜻에 가깝습니다. 73%와 16% 사이 어디쯤에 지금 내가 맡긴 검토가 놓여 있는지, 그리고 AI가 보지 않는 부분은 누가 볼 것인지를 함께 생각해 보는 것이 AI를 검토 도구로 쓰는 첫걸음일 것입니다.

내 AI 활용능력은 어느 정도일까요?

CARIS 무료 레벨테스트로 확인해 볼 수 있습니다.

CARIS 무료 레벨테스트 →