[체험기] 네이버 AI 서비스 큐: 적용 됐지만 “아직 갈 길 멀다”
질문자의 구체적 의도 파악 의문… 네이버 서비스 간 연계도 보완 필요
지난 9월 공개된 네이버의 검색 특화 생성형 인공지능(AI) 서비스인 ‘큐:(CUE:)’가 1일 네이버 포털 검색에 시범 적용됐다.
큐:는 현재 PC 버전으로만 제공되며, 서비스 정식 출시 전까지 큐:를 사용하기 위해서는 홈페이지를 방문해 별도의 등록과 승인을 거쳐야 한다. 네이버는 큐:가 축적된 데이터를 바탕으로 최신 정보를 제공하는 것은 물론, 네이버 쇼핑, 네이버 예약 등 네이버의 다양한 서비스와의 연계를 이뤘다고 밝혔다.
네이버가 자신하는 만큼, 큐:는 사용자가 기대하는 수준의 성능을 보여줄 수 있을까? 직접 사용해봤다.
큐:, 얼마나 도움이 될까?
큐:의 성능을 확인하기 위해 우선 요즘 사용자가 가장 많이 물어볼 ‘연말’과 관련된 질문을 던져봤다. “연말에 가족과 함께 갈 만한 발레 공연 추천해 줘”라고 묻자, 실제로 이번 연말 기간에 예정된 공연을 추천해줬다.
관련 공연 추천 링크로 접속하면 공연에 대한 자세한 정보를 안내 받을 수 있고, 예약 페이지로 접속을 이어갈 수도 있으니, 괜찮은 성능을 보여주는 듯 했다.
이번에는 크리스마스와 관련된 질문을 던져봤다. “오는 크리스마스에 기차로 갈 수 있는 국내 여행지 몇 개 알려줘”라고 묻자, 블로그 정보를 토대로 몇 가지 여행지를 추천해줬다. ‘기차’라는 키워드에 맞게 KTX, SRT 기차로 방문할 수 있는 ‘부산’과 ‘나주’를 추천해주는 것은 물론, ‘동해 산타 열차’ ‘백두대간 협곡열차’와 같이 특색 있는 기차를 소개해주기도 했다. 아직까지는 사용자의 의도에 맞게 실효성 있는 답변을 제공하는 것으로 보였다.
그러나 답변의 기반이 된 블로그를 방문해보자, 2011년에 작성된 글임을 확인할 수 있었다. 2011년에 작성된 글이어도 글에서 추천하는 여행지가 아직까지 인기가 있을 수도 있으며, 해당 여행지의 축제 등이 사라지지 않았다면 유효하다고 볼 수도 있을 것이다.
다만 큐:가 답변을 제공할 때 그런 점까지 고려했다고 보기는 어려운 것이 사실이며, 2023년도 크리스마스 계획을 세우며 2011년에 작성된 추천글을 참고하는 것이 효과적이라고 볼 수 있을지 또한 의문이다.
큐:에게 제공 받은 답변이 지금도 유효한 것인지 묻자, 큐:는 “과거의 데이터를 기반으로 학습되었기 때문에 제공하는 답변이 현재 상황과 맞지 않을 수 있다”는 답을 내놨다.
데이터란 모두 과거의 것이다. 그러나 최신 여행지를 묻는 대화 맥락에서 2011년도의 데이터와 2022년도의 데이터가 갖는 가치는 분명 다르다. 과거의 데이터라고 2011년도의 데이터와 2022년의 데이터를 같은 데이터로 볼 수 있을까?
큐:는 네이버의 데이터를 기반으로 답변한다. 가장 보편적이고 많은 사용자가 활발하게 사용하는 네이버 블로그에는 과연 2011년 이후 ‘크리스마스에 떠나는 기차 여행’에 대한 글이 없었을지 의문이다.
문답이 이어질수록 떨어지는 정확도
‘오는’이라는 키워드에 문제가 있는 것은 아닌지 확인하기 위해 해당 키워드를 ‘2023년’이라는 좀 더 구체적인 키워드로 바꿔 질문해봤다.
해당 질문에 큐:가 제공한 답변은 ‘콜마르’와 ‘프라하’였다. 질문에 분명 ‘국내’라는 키워드가 있음에도 불구하고, 해외에 위치한 지역을 추천한 것이다. 분단 국가인 대한민국에서 기차로 갈 수 없는 여행지인 건 덤이다.
사용자와의 문답이 길어지자, 큐:는 첫 질문과 비교했을 때 눈에 띄게 떨어진 정확도를 보였다. 맥락과 전혀 맞지 않을 뿐더러, 정확하지도 않았다.
문답이 길어질수록 정확도가 떨어진다는 건 대화 맥락을 충분히 이해하지 못한다는 뜻일 수 있다. 이를 확인하기 위해 다른 주제로 새롭게 질문을 던져봤다.
요즘 볼만한 영화를 추천해 달라고 하자, 큐:는 현재 상영 중인 영화의 리스트를 보여줬다. 해당 리스트는 ‘네이버 영화’에서 제공하는 현재 상영작 리스트와 동일하다.
‘요즘 볼만한 영화’와 ‘현재 상영 중인 영화’에는 분명한 차이가 있다. 질문의 의도는 현재 개봉 중인 영화 중 볼만한 영화에 대한 큐레이션을 요청한 것인데, 큐:의 답변은 큐레이션이 빠진 현재 상영 중인 영화에 대한 단순한 나열에 가까웠다. 그러나 요즘 상영 중인 영화라는 정보는 틀리지 않았으니, 석연치 않아도 마냥 틀린 답변이라고 볼 수는 없겠다.
질문을 바꿔 30대 남성이 볼만한 걸로 다시 추천을 부탁했다. 그러자 큐:는 일반적으로 30대 남성이 선호하는 장르인 ‘액션’ ‘느와르’ 등의 장르에서 영화를 추천해줬다. 30대 남성의 평균 취향에서 데이터를 도출해 제공한 답변이라는 점은 긍정적이었으나, 아쉽게도 큐:는 ‘다시’라는 키워드의 의미를 이해하지 못했다.
다시라는 키워드가 내포한 질문자의 의도는 “요즘 볼만한 영화 중 30대 남성이 볼만한 영화로 추려달라”는 것이다. 인간의 입장에서는 쉽게 유추할 수 있는 기본적인 맥락이지만, 큐:는 해당 맥락을 이해하지 못하고 요즘이 아닌 과거에 개봉된 영화로 추천하고 말았다.
큐:가 좀 더 쉽게 질문의 의도를 파악할 수 있게 ‘다시’를 ‘요즘’이라는 키워드로 바꿔 물었다. 큐:는 다시 몇 가지 영화를 추천해줬다. 아쉽게도 큐:가 새롭게 추천한 영화는 대체로 2023년 5월에서 6월 사이에 개봉한 영화였다. 넓은 의미로는 요즘이라는 키워드에 부합할 수도 있지만, 아쉬움이 남는 답변이었다.
더해서 큐:가 새롭게 추천한 영화는 바로 직전에 추천한 영화와 맥락이 일치하지 않았다. 직전 큐:는 30대 남성이 평균적으로 좋아하는 액션, 느와르 장르에서 영화를 뽑아 추천했으나, 직후 이어진 답변에서는 메인 키워드인 ’30대 남성’은 변하지 않았음에도 불구하고 엘리멘탈, 인어 공주 등 전혀 다른 장르의 영화를 섞어 추천한 것이다.
질문에 더욱 구체적인 키워드인 ‘지금 개봉한 영화’를 넣어 다시 물었으나, 지속된 문답에 큐:의 정확도는 또 다시 눈에 띄게 저하됐다.
큐:가 추천한 세 영화 모두 현재 상영 중이지 않은 데 더해, ‘미쓰백’의 경우 무려 2018년에 상영된 영화였다.
다른 네이버 서비스와의 연계는?
큐:에 대해 네이버가 홍보하는 주된 기능 중 하나는 네이버 서비스와의 연계였다. 앞서 연말 공연을 묻는 질문에 큐:는 예약까지 이어질 수 있는 괜찮은 답변을 제공했다.
다른 서비스와의 연동성에 있어 계속해서 괜찮은 답변을 제공할 수 있을지, 좀 더 자세히 알아보기 위해 큐:에게 몇 가지 질문을 추가로 던져봤다.
큐:의 추천 질문 중 하나인 제주도 애월읍에 위치한 오션뷰가 좋은 카페를 추천해 달라는 질문에 큐:는 만족할 만한 답변을 제공했다. 실효성 있는 카페를 추려 제공한 것은 물론, 네이버 플레이스’랑 연계해 카페의 사진, 리뷰 등을 함께 확인할 수 있는 점 또한 긍정적이었다.
이번에는 네이버 지도와의 연동성을 확인하기 위해 교통편에 대한 질문을 던졌다. 방배역 인근에 위치한 상문고등학교에서 일산 킨텍스까지 가는 방법에 대해 묻자, 큐:는 이수역을 들려 4호선을 타고 사당역에 도착해 다시 2호선으로 환승 후 합정역에서 광역 버스를 타는 경로를 추천해줬다.
해당 경로는 다수의 환승을 거쳐야 하는 복잡한 경로다. 과연 큐:가 답변한 경로가 최적의 경로일까?
네이버 지도에 기반한 빠른 길찾기 서비스에 같은 경로를 묻자, 상문 고등학교 인근의 방배역에서 출발해 합정역에서 광역 버스로 한번의 환승을 거치는, 좀 더 편리한 경로를 추천해줬다.
요컨대 큐:는 네이버 지도와는 전혀 다른 경로를 추천한 것은 물론, 빠른 길찾기 서비스에 비해 비효율적인 경로를 제공한 것이다.
큐:와 네이버 지도의 연동성을 더욱 확실히 검증하기 위해 네이버 지도가 제공하는 정보와 큐:가 안내하는 답변이 일치하는지 추가로 확인해봤다.
서울숲 인근에 위치한 유명 카페 체인점 eert의 성수 분점은 이미 폐업 처리된 매장이다. 따라서 네이버 지도에 해당 매장을 검색하면 업체 정보를 찾을 수 없다는 안내를 볼 수 있다.
네이버 지도에 검색했던 eert 성수점에 대해 큐:에게 현재 영업 중인지 묻자, 큐:는 마치 해당 업체가 여전히 영업 중인 듯 오해할 수 있는 내용의 답변을 제공했다. 큐:가 추가로 제공한 해당 업체의 인스타그램 계정 또한 현재 운영되지 않는 계정으로 확인됐다.
아직 갈 길이 멀다
지금까지 다양한 질문을 통해 큐:의 성능을 실험해봤다. 큐:는 사용자가 필요로 하는 기본적인 정보 제공에는 문제가 없었다. 상영중인 영화 리스트 등 단순한 정보의 나열이나 분야가 확실한 공연, 행사 등 특정된 정보의 경우 알맞은 정보 제공이 이뤄졌으며, 예약 홈페이지 방문 등 다음 단계로 사용자를 이동 시키는 과정 또한 자연스러웠다.
문제는 조금 더 심화된 과정에 있었다. 요컨대 사용자가 기본적이고 포괄적인 정보 이외에 좀 더 구체적인 정보를 얻기 위해 문답을 이어갈 경우 눈에 띄게 저하되는 정확도를 보였으며, 데이터가 너무 오래전 기록된 것은 아닌지, 현재는 달라지지 않았는지 등, 사용자를 위해 학습된 데이터를 검증하는 능력에서도 아쉬움을 자아냈다. 더해서 네이버가 자신했던 자사의 여러 서비스와의 연동성에서도 아직 개선이 필요해 보였다.
물론 한국어를 기반으로 국내 기업이 생성형 AI 개발에 몰두하고 있다는 점은 반가운 소식이다. 이를 통해 해외 생성형 AI가 한국어를 기반으로 한 서비스에서 보이는 한계를 개선할 가능성도 다분해 보인다.
더해서 오늘의 주요 뉴스 요약 등, 아직 챗GPT 등이 하지 못하는 서비스를 큐:를 통해 제공 받을 수 있는 점 등, 큐:만의 장점이 있는 것 또한 분명한 사실이다.
국내에 한정하면 생성형 AI 필드에서 네이버와 호각을 다툴 수 있는 기업을 꼽기는 어렵다. 그러나 네이버가 마주한 상대는 오픈AI, 구글 등 대형 LLM 모델을 가진 기업일 것이다. 아직 정식 출시 이전인 만큼, 강점을 더욱 부각하고 미비한 점에 대한 꼼꼼한 보안을 거쳐 더욱 향샹된 큐:를 기대해본다.
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터이민호 (treewords@ditoday.com)
- 섬네일황 철민
