[인공지능 리서치] AI는 스스로 연구할 수 있는가?… ‘ResearchGym’이 밝힌 인공지능 연구자의 현재 수준

이경희 기자
입력 2026.06.09 07:22
댓글 0

인공지능은 이미 글을 쓰고, 그림을 그리며, 복잡한 문제를 해결하는 단계에 이르렀다. 그렇다면 AI는 과연 인간 연구자처럼 새로운 지식을 발견하고 독립적으로 연구를 수행할 수 있을까. 최근 발표된 한 연구는 이러한 질문에 정면으로 답하고자 했다. 연구 결과는 AI가 일부 영역에서 놀라운 연구 역량을 보여주었지만, 아직은 인간 연구자를 완전히 대체하기보다는 연구를 지원하는 수준에 머물러 있음을 시사한다. 특히 AI가 스스로 가설을 세우고 실험을 설계하는 과정에서 드러난 가능성과 한계는 미래 과학 연구의 방향을 가늠하게 하는 중요한 단서를 제공한다.

이번 연구는 'ResearchGym: 실제 AI 연구에서 언어 모델 에이전트 평가(ResearchGym: Evaluating Language Model Agents on Real-World AI Research)'라는 제목으로 발표되었으며, 아리조나주립대학교와 관련 연구기관의 연구자인 아니케스 가리카파르티(Aniketh Garikaparthi), 마나시 파트와르단(Manasi Patwardhan), 아르만 코한(Arman Cohan)이 수행했다. 논문은 2026년 2월 16일 공개되었으며, 인공지능 연구자들이 실제 연구 환경에서 대규모 언어모델 기반 에이전트의 연구 수행 능력을 평가하기 위해 개발한 새로운 벤치마크인 ‘ResearchGym’을 소개하고 있다.

연구진은 AI가 단순히 논문을 요약하거나 코드를 작성하는 수준을 넘어 실제 연구를 수행할 수 있는지를 검증하기 위해 실험 환경을 구축했다. 이를 위해 국제 인공지능 학회인 ICLR, ICML, ACL에서 발표된 우수 논문들을 선정한 뒤, 논문에 사용된 데이터셋과 평가 환경은 제공하되 핵심 알고리즘과 연구 아이디어는 제거한 상태로 AI 에이전트에게 과제를 부여했다. AI는 연구 문제를 이해하고, 새로운 가설을 수립하며, 코드를 작성하고, 실험을 설계한 뒤 결과를 분석해 성능을 향상시키는 전 과정을 스스로 수행해야 했다.

실험은 총 39개의 세부 연구 과제를 대상으로 진행되었다. 평가 결과 AI 에이전트는 평균 26.5%의 과제를 성공적으로 완수하는 데 그쳤다. 또한 인간 연구자가 설정한 기준 성능을 넘어선 경우는 전체 평가 가운데 약 6.7%에 불과했다. 이는 현재의 AI가 연구 활동 전반을 독립적으로 수행하기에는 아직 상당한 한계를 가지고 있음을 보여준다.

그러나 결과가 모두 부정적인 것은 아니었다. 일부 과제에서는 AI가 최신 최고 성능에 근접하거나 이를 달성하는 수준의 결과를 만들어냈다. 특정 문제에서는 인간 연구자가 기존에 제시한 방법을 뛰어넘는 성능 향상도 관찰되었다. 이는 AI가 적절한 환경과 조건이 주어질 경우 새로운 연구적 통찰을 생성할 잠재력을 가지고 있음을 시사한다.

연구진은 현재 AI 연구 에이전트의 가장 큰 문제를 ‘능력과 신뢰성의 격차(Capability–Reliability Gap)’라고 분석했다. AI는 때때로 매우 뛰어난 연구 성과를 창출하지만, 동일한 수준의 결과를 안정적으로 반복하지 못한다는 것이다. 특히 장기간의 연구 과정에서 목표를 유지하지 못하거나, 충분한 근거 없이 특정 가설에 집착하는 경향, 제한된 자원을 효율적으로 배분하지 못하는 문제 등이 반복적으로 관찰되었다.

연구진은 이러한 결과를 통해 현재의 AI가 독립적인 과학자라기보다는 연구자의 생산성을 높여주는 연구 보조자에 가까운 위치에 있다고 평가했다. AI는 문헌 조사와 코드 작성, 실험 자동화와 같은 영역에서 강력한 도구가 될 수 있지만, 연구 방향을 설정하고 장기적인 전략을 수립하며 결과를 비판적으로 해석하는 능력에서는 여전히 인간 연구자의 역할이 중요하다는 것이다.

이번 ResearchGym 연구는 AI가 과학 연구를 얼마나 수행할 수 있는지를 체계적으로 측정한 최초의 대규모 평가 가운데 하나로 평가된다. 동시에 미래의 AI 연구 에이전트가 해결해야 할 과제를 제시했다는 점에서도 의미가 크다. 연구자들은 앞으로 AI가 단순한 연구 도구를 넘어 진정한 공동 연구자로 발전할 수 있을지에 대한 논의가 더욱 활발해질 것으로 전망하고 있다.