【후생신보】  전 세계적으로 인공지능(AI)을 활용한 거대언어모델(LLM, Large Language Model)은 다양한 영역에서 인간과 유사한 텍스트 응답을 생성하는 도구로 급부상했다.

특히 최근에는 ChatGPT가 미국 의사면허 시험(USMLE)에 통과하는 등 과학, 법률, 의학 등 전문 분야에서도 두각을 나타내고 있다. 이제는 AI가 암 정보를 넘어 치료법까지 설명해주는 시대다. 과연 AI의 암 정보는 얼마나 신뢰할 수 있을까?

국내 대학병원 연구팀이 AI 언어모델의 한국어 암 정보 응답 정확도를 직접 비교한 연구 결과 발표했다.

▲ (왼쪽부터) 장현 교수 정진우 교수 김용호 교수

가톨릭관동대 국제성모병원 종양혈액내과 장현 교수팀(비뇨의학과 정진우, 방산선종양학과 김용호)이 대표적인 AI 언어모델인 ‘ChatGPT’와 ‘클로바X’의 한국어 암 정보 응답 정확도를 비교·분석한 연구 결과를 발표했다.

이번 연구는 AI 언어모델이 한국어로 된 암 관련 질문에 얼마나 정확하고 이해하기 쉬운 답변을 제공하는지를 비교한 첫 연구로 주목받고 있다.

장 교수팀은 국가암정보센터와 미국국립암연구소 홈페이지에 등록된 암 관련 질문을 ChatGPT와 클로바X에 입력하고 두 모델의 응답을 전문의가 평가했다.

평가 결과, 두 모델 모두 전체적으로 유사한 수준의 응답 품질을 보였으며 통계적으로 유의미한 차이는 없었다.

다만 일부 문항에서는 두 모델 모두 비의학적 정보나 검증되지 않은 내용을 포함한 환각 응답을 제공하기도 했다.

장 교수팀은 인공지능 언어모델이 한국어로 된 의료 정보를 어느 정도 수준으로 제공할 수 있는지에 대한 기초자료를 제시한 의미 있는 연구로 평가했다.

장현 교수는 “인공지능이 암환자에게 신뢰할 수 있는 의료 정보를 제공하는 도구가 될 수 있도록 언어모델의 정확성을 높이는 연구를 이어가겠다”고 밝혔다.

한편 장 교수팀의 연구 논문은 ‘한국어 암 관련 질문에 대한 대규모 언어모델의 응답 비교 분석’이라는 제목으로 국제적 학술지인 연세의학저널(Yonsei Medical Journal) 7월호에 게재됐다.