AI 검색 답변 출처 확인, 스탠퍼드대 연구에서 절반만 출처와 맞았습니다
AI 검색 서비스에 "제임스 웹 우주망원경이 최근에 발견한 것은 뭐야?"라고 물으면 몇 문단짜리 답이 바로 나옵니다. 문장 끝마다 [1] [2] [3] 같은 출처 번호가 달려 있어서 꼼꼼히 찾아본 자료처럼 보이죠. 그런데 그 번호를 눌러 출처 페이지를 끝까지 읽어 보는 사람은 많지 않습니다. 2023년 미국 스탠퍼드대 연구진이 바로 이 부분을 확인했습니다. AI 검색 서비스 4곳의 답변을 사람이 한 문장씩 출처와 맞대 본 결과, 출처가 내용을 제대로 받쳐 주는 문장은 절반 정도였습니다.
AI 검색은 답 옆에 출처 번호를 붙입니다
예전 검색은 링크 목록을 보여 주고 읽는 일은 사람에게 맡겼습니다. AI 검색은 여러 웹페이지를 찾아 읽은 뒤 질문에 맞춰 답을 직접 써 줍니다. 연구진은 이런 서비스를 생성형 검색엔진(generative search engine)이라고 불렀습니다. 답을 대신 써 주니 편하지만 그 답이 어디서 왔는지는 문장 옆의 작은 번호로만 알 수 있습니다.
그래서 연구진은 믿을 만한 AI 검색이 갖춰야 할 조건으로 확인할 수 있는 답을 꼽았습니다. 세상에 관한 문장이라면 하나도 빠짐없이 출처가 붙어 있어야 하고 붙어 있는 출처는 그 문장의 내용을 실제로 담고 있어야 한다는 것입니다. 이 두 가지가 지켜져야 독자가 번호를 눌러 내용을 바로 확인할 수 있습니다.
논문 제목은 「생성형 검색엔진의 검증 가능성 평가(Evaluating Verifiability in Generative Search Engines)」이고 스탠퍼드대 컴퓨터과학과의 넬슨 리우(Nelson F. Liu), 톈이 장(Tianyi Zhang), 퍼시 량(Percy Liang)이 썼습니다. 2023년 4월 논문 공개 사이트 아카이브(arXiv)에 올라왔습니다.
연구진은 문장마다 출처를 열어 봤습니다
연구진은 당시 많이 쓰이던 AI 검색 서비스 4곳에 질문을 1,450개씩 던졌습니다. 질문은 여러 곳에서 골라 왔습니다. 사람들이 실제로 구글에 검색했던 질문이 있었고 온라인 커뮤니티 레딧(Reddit)에서 "다섯 살 아이에게 설명하듯 알려 달라"며 올라온 질문도 있었습니다. 영국 옥스퍼드대 올소울스 칼리지 입학시험에 나온 논술 문제와 "아보카도 자르기"처럼 생활 요령을 묻는 검색어도 넣었습니다. 답은 2023년 2월 말부터 3월 말 사이에 모았습니다.
레딧 질문 일부는 새 글이 올라오는 순간 바로 AI 검색에 물었습니다. 원래 글이 아직 검색에 잡히지 않은 상태에서 묻기 위해서였습니다. 그래야 AI 검색이 원래 글의 답을 찾아 그대로 옮기는 일을 줄일 수 있습니다.
모은 답은 사람이 직접 읽고 평가했습니다. 먼저 답이 매끄럽게 읽히는지와 질문에 도움이 되는지를 5단계로 매겼습니다. 그다음 답을 문장 단위로 나눠 두 가지를 확인했습니다. 문장마다 붙은 출처를 모두 열어 그 문장의 내용이 출처에 다 들어 있는지 보고 반대로 출처 하나하나가 붙어 있는 문장을 실제로 받쳐 주는지도 따로 봤습니다.
확인할 문장을 고르는 기준도 엄격했습니다. 연구진은 세상에 관한 문장이면 너무 당연해 보여도 모두 확인 대상으로 삼았습니다. "교황은 가톨릭 신자다"처럼 누구나 아는 말 같아도 어떤 독자에게는 당연하지 않을 수 있고 AI가 쓴 문장은 틀릴 수도 있기 때문입니다. 빠진 것은 "저는 언어 모델이라서 책을 금지할 수 없습니다"처럼 AI가 자기에 대해 한 말이나 "더 알고 싶으신가요?"처럼 사용자에게 되묻는 문장 정도였습니다.
출처가 받쳐 준 문장은 절반 정도였습니다
결과는 이렇습니다. 네 서비스의 평균으로 보면 답 속 문장 가운데 출처가 내용을 완전히 받쳐 주는 문장은 51.5%였습니다. 두 문장 중 한 문장은 출처가 아예 없거나 출처를 열어 봐도 그 내용이 다 나오지 않았다는 뜻입니다.
출처 쪽에서 세어 봐도 비슷했습니다. 답에 달린 출처 가운데 붙어 있는 문장을 실제로 받쳐 주는 출처는 74.5%였습니다. 출처 4개 중 1개꼴로 옆 문장과 맞지 않았던 셈입니다. 앞의 51.5%는 문장을 하나씩 센 숫자이고 74.5%는 출처를 하나씩 센 숫자라서 두 숫자를 바로 비교하지는 않습니다.
출처가 문장의 일부만 받쳐 주는 경우도 많습니다. 논문에 나온 예를 빌리면 "블루베리[1], 체리[2], 포도[3]는 나무에서 자란다[4]"라는 문장에는 출처가 네 개 붙어 있습니다. 각 출처가 과일 이름 하나씩만 언급하고 나무에서 자란다는 내용은 없다면 출처는 여러 개여도 문장 전체는 확인되지 않습니다. 번호가 많이 달려 있다고 해서 문장이 다 확인된 것은 아닙니다.
연구진은 이 결과가 걱정스러울 만큼 낮다고 적었습니다. 사람들이 정보를 찾을 때 가장 먼저 여는 도구가 될 수 있는 서비스인데 겉으로는 믿음직해 보이기 때문입니다.
도움이 돼 보이는 답일수록 출처가 어긋났습니다
이 연구에서 눈여겨볼 결과는 하나 더 있습니다. 평가자들이 보기에 답은 대체로 매끄러웠고 도움이 될 것 같다는 점수도 높았습니다. 그런데 도움이 돼 보이는 답일수록 출처가 문장과 맞지 않는 경우가 많았습니다. 읽는 사람이 믿고 싶어지는 답일수록 확인해 보면 어긋나는 곳이 더 나왔다는 이야기입니다.
연구진은 그 이유를 AI 검색이 답을 만드는 방식에서 찾았습니다. 출처 페이지의 문장을 거의 그대로 옮겨 오면 출처와 내용이 맞을 수밖에 없습니다. 대신 옮겨 온 문장이 질문과 딱 맞지 않거나 앞뒤 문장과 잘 이어지지 않아 덜 도움이 되는 답이 됩니다. 반대로 질문에 맞춰 문장을 새로 다듬을수록 읽기에는 좋아지지만 출처에 실제로 적힌 내용에서 멀어지기 쉽습니다.
이런 어긋남은 그 분야를 잘 모르는 사람일수록 알아채기 어렵습니다. 논문은 제임스 웹 우주망원경 예를 들어 이 점을 짚었습니다. 망원경에 대해 아는 것이 적어서 질문한 사람은 답 속에서 출처가 받쳐 주지 않는 문장을 골라내기 힘듭니다. 모르는 것을 물을 때 AI 검색을 쓰는데 바로 그때 틀린 곳을 찾기가 가장 어렵다는 것입니다.
출처 번호를 눌러 볼 때 볼 것
이 연구는 2023년 초의 서비스를 평가한 것입니다. 그 뒤로 AI 검색 서비스는 많이 바뀌었기 때문에 지금 서비스의 성적으로 읽으면 안 됩니다. 다만 연구진이 쓴 확인 방법은 지금도 그대로 따라 할 수 있습니다.
번호를 눌렀다면 페이지가 열렸는지에서 멈추지 않고 그 문장의 내용이 페이지 안에 실제로 적혀 있는지 찾아봅니다. 숫자나 날짜나 이름이 들어간 문장이라면 그 값이 출처에 똑같이 나오는지 보면 됩니다. 한 문장에 여러 내용이 섞여 있으면 블루베리 예처럼 일부만 확인되는 경우가 있으니 문장 전체가 맞는지 봐야 합니다. 번호가 아예 붙지 않은 문장은 확인할 길이 없는 문장입니다.
모든 문장을 다 확인할 필요는 없습니다. 보고서에 옮겨 적거나 다른 사람에게 전할 문장, 결정을 내리는 근거로 쓸 문장만이라도 출처를 열어 보면 됩니다. 특히 답이 매끄럽고 내가 잘 모르는 분야일 때 한 번 더 열어 보는 편이 좋습니다. 연구 결과를 보면 그럴 때 어긋난 출처가 더 많이 나왔습니다.
AI 검색이 붙여 주는 출처 번호는 답을 확인할 수 있게 해 주는 장치입니다. 확인은 번호를 누르는 사람의 몫으로 남아 있습니다. 스탠퍼드대 연구진은 평가에 쓴 자료를 공개하면서 출처를 빠짐없이 정확하게 다는 AI 검색이 나오기를 바란다고 적었습니다.
출처: 아카이브(arXiv) 논문 「Evaluating Verifiability in Generative Search Engines」(Liu, Zhang, Liang, 스탠퍼드대, 2023) https://arxiv.org/html/2304.09848