“토큰값 내려도 AI 비용 5배 ↑”… 기업 옥죄는 ‘추론의 역설’
에이전트 도입 늘면서 전체 비용 상승
구글 검색 선호 매체로 추가
AI 모델의 토큰 단가가 하락하고 있음에도 불구하고, 에이전트 중심의 고도화된 워크플로우 도입이 급증하면서 전체 AI 추론 비용이 2028년까지 5배 이상 증가할 것이라는 경고가 나왔다. 이에 AI 도입 기업들이 ROI를 확보하기 위해선 과업 난이도에 따라 최적화된 AI 제품 생태계를 구축하는 것이 필수라는 지적이다.
17일(현지 시간) 글로벌 IT 리서치 기관 가트너(Gartner)는 최신 보고서를 통해 이 같은 내용을 발표하며, 이에 따라 추론 비용 관리가 기업들의 최우선 과제로 부상했다고 강조했다.
특히 가트너는 AI 제품이 단순 보조 기능에서 다단계 실행 시스템으로 진화함에 따라 기업들이 ‘추론의 역설(Inference Paradox)’이라는 새로운 수익성 문제에 직면했다고 설명했다. ‘추론의 역설’이란 토큰 단가, 1회 추론 비용 등 AI 분야의 개별 경제성이 개선돼도, 그것이 곧 비즈니스적 이익이나 예측 가능한 가치 창출로 이어지지 않고 도리어 전체 AI 운용 비용만 오르고 있는 현상을 의미한다.
이러한 현상 뒤에는 AI 산업의 최신 흐름이 자리잡고 있다. 가트너는 추론의 역설을 유발하는 주요 배경으로 ▲파운데이션 모델의 단위 단가 하락 ▲AI 효율성 향상에 따른 고가 모델 도입과 더 정교한 애플리케이션 개발 ▲고도화된 AI 워크플로우의 토큰 사용량 폭증 등을 지목했다. 토큰 단가 하락이 AI 사용량 증가와 에이전트 기반 워크플로우 도입의 기폭제가 되면서 결과적으로 기업이 부담하는 AI 비용은 상승하게 된 것이라는 분석이다.
실제 보고서에 따르면, 사용자가 같은 과업을 AI 챗봇 대신 에이전트 추론 모델에 맡길 경우, 추론 비용은 최소 5배 이상 증가하며 작업의 복잡도가 커질수록 그 비용은 대폭 늘어나는 것으로 나타났다.
윌 소머 가트너 선임 분석가는 “추론의 역설이 지닌 냉혹한 경제성은 단순 챗봇과 AI 에이전트의 차이에서 명확히 드러난다”며 “챗봇은 질문을 해석하고 확률적으로 타당한 답변을 빠르게 제공하면 되지만, AI 에이전트는 끊임없이 추론하고 협상하며 스스로에게 질문을 던지는 과정을 거쳐야 한다”고 설명했다.
이렇다 보니 에이전트와 같은 고급 AI 모델을 사용하며 투자 수익률(ROI)를 확보하는 것이 기업의 핵심 현안으로 부상하고 있다. 이에 대해 가트너는 “ROI를 확보하려면 모델 대비 파격적으로 높은 수익을 창출하거나, 정교한 추론 티어링·라우팅·오케스트레이션을 통해 과업마다 최적화된 모델을 매칭해야 한다”며 “이를 구현하기 위해선 상당한 노력이 필요하다”고 조언했다.
이어 “AI는 발전할수록 더 많은, 때로 더 비싼 토큰을 필요로 할 것이다. 믿을 만하면서 경제적인 만능 모델은 아직 존재하지 않는다”라며 “일반적으로 쓰이는 범용 AI에 의존하는 것은 최적화된 AI 생태계보다 훨씬 큰 비용을 초래할 것”이라고 경고했다.
구글 크롬, 신규 ‘광고 경험’ 측정 도구 공개
사용자가 체감하는 광고 부하 정도 분석
AI 답변에 쓰인 내 콘텐츠, 보상 받을 수 있다? 구글, 비공개 테스트 진행
AI 시대 고품질 콘텐츠 데이터 확보를 위한 움직임
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터최석영 (csyeong720@ditoday.com)
