올해 생성형 AI 시장 화두는 ‘실용성’… 과제는?
파인튜닝과 검색증강생성, 환격 해결 기술로 꼽혀
지난해 본격적인 생성형 인공지능(AI) 시장이 개막한 가운데, 여전히 해결해야 할 문제가 많은 것으로 나타났다. 업계는 올해 AI 시장의 화두로 ‘실용성’을 꼽으며 “누구나 쉽게 활용할 수 있는 제품이 살아남을 것”으로 전망했다.
16일 국내 AI 업계에 따르면, 올해는 AI 서비스가 산업 전반을 넘어 실생활 속에 널리 활용되는 ‘상용화 원년’이 될 전망이다. 실제로 지난 12일 폐막한 세계 최대 IT 박람회 CES 2024에는 다양한 분야에 접목한 AI 제품이 모습을 드러냈다. 각 기업은 파인튜닝과 검색증강생성(RGA) 등의 기술을 도입, 고질적인 문제로 꼽히는 ‘환각 현상’을 해결한다는 방침이다.
AI 시장, LLM과 sLLM으로 이원화
지난해는 생성형 AI 제품이 시장에 본격적으로 등장한 시기다. 내로라하는 기업들이 자체 거대언어모델(LLM)을 기반으로 한 제품을 선보였다.
해외에서는 오픈AI의 챗GPT가 시장을 장악한 가운데 구글이 자사 챗봇 바드에 LLM ‘제미나이(Gemini)’를 탑재하며 시장 경쟁을 알렸다. 국내에서는 네이버가 한국어에 최적화된 LLM ‘하이퍼클로바X’를 출시했으며, KT와 LG는 각각 AI ‘믿음(Mi:dm)’ ’엑사원(EXAONE)’을 선보이는 등 외산 AI 대항에 나섰다.
소형 거대언어모델(sLLM)의 등장도 주목을 받았다. sLLM은 LLM에 비해 한 분야에 특화된 언어모델이다. 상대적으로 크기가 작은 대신 학습 비용 및 시간을 절감할 수 있다는 장점이 있다.
sLLM의 대표 주자는 메타와 마이크로소프트다. 메타는 지난해 초 LLM과 비슷한 성능을 지닌 sLLM ‘라마(LLaMA)’를 공개했으며, 마이크로소프트가 공개한 sLLM ‘파이2(Phi-2)’는 노트북이나 모바일 기기에서도 구동이 가능하다는 점에서 주목을 받았다. 국내에서는 AI 스타트업 스켈터랩스와 포티투마루는 각각 ‘BELLA LLM’ ’LLM42’ 등을 공개했다.
국내 한 AI 업계 관계자는 “사실 기업이 필요로 하는 AI 챗봇은 범용 챗봇이 아닐 가능성이 높다”며 “모든 상황에 만능으로 동작하기 보다는 특정 업무에만 특출나면 충분한 경우가 많기 때문에, 거대언어모델보다 도입 및 운영 비용이 낮은 소형 거대언어모델에 대한 수요가 늘고 있다”고 전했다.
환각 해결 위해 ‘파인튜닝’과 ‘검색증강생성’ 주목
AI가 없는 말을 지어내는 ‘환각 현상(할루시네이션)’은 여전히 해결해야 할 과제다. 현재 환각 현상을 해결하기 위한 방법으로 크게 두 가지가 꼽힌다. 파인튜닝과 검색증강생성(RAG)이다.
파인튜닝은 AI에 특정 데이터셋을 학습시켜 오답률을 낮추는 작업이다. 일종의 특정 분야 전문가로 만드는 셈. 답변의 최신성과 적합성을 높일 수 있지만, 데이터 용량 증가에 따른 비용 상승과 지속적인 업데이트 필요성은 단점으로 지목된다.
RAG은 최근 주목 받는 기술이다. LLM이 답변을 생성하기 전 외부의 신뢰할 수 있는 데이터를 참조해 답변의 적합성을 높이는 방식이다. 파인튜닝에 비해 한 분야에 대한 전문성은 낮지만, 답변을 한번 더 체크하는 과정이 추가돼 환각 현상 방지에 유리하다는 평가다.
한 국내 업계 관계자는 “파인튜닝을 해도 익숙하지 않은 입력이 들어오면 환각 현상이 발생할 가능성은 존재하기 때문에 새로운 데이터를 끊임없이 학습시켜야 하는 번거로움이 있다”며 “반면 검색증강생성 기술은 모든 답변을 ‘근거 있게 생성(based on retrieval evidence)’하는 작동 원리를 갖고 있어 태생적으로 환각 현상 방지에 더 유리하다”고 설명했다.
실제로 국내에서도 RAG를 활용한 곳이 등장하고 있다. 스켈터랩스의 경우 대화형 AI 개발 경험을 바탕으로 RAG 기술을 적용한 제품을 출시, 실제 사용 사례까지 성공적으로 구축한 바 있다.
올해 들어 실생활에 활용될 수 있는 AI 시장이 본격 열릴 것으로 전망되는 만큼, 업계에서는 환각 현상을 최소화하는 것이 시장 공략의 관건이라는 목소리가 나온다.
스켈터랩스 관계자는 “올해 AI 시장의 키워드는 ‘실용주의'”라며 “환각 현상을 줄일 수 있는 RAG 기술이나 사용자의 편리함을 끌어올리는 자율 AI 에이전트 기술을 LLM에 접합하는 것이 업계의 주요한 과제가 될 것”이라고 전망했다.
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터장준영 (zzangit@ditoday.com)
