UI/UX

“보이지 않던 경험을 데이터화하다” 나인파이브의 XR 콘텐츠 평가 플랫폼

나인파이브의 ‘XR UX 공간 반응형 콘텐츠 최적화를 위한 멀티 모달 평가 플랫폼’ 프로젝트 분석

2025.12.22

---

“이 콘텐츠, 사용자가 진짜 몰입한 게 맞을까?”

XR(확장현실) 콘텐츠 제작자라면 누구나 한 번쯤 마주하는 질문이다. AR·VR·MR 등 가상 현실 기술 군을 포괄한 XR 시장은 지난 코로나19 이후 비대면 콘텐츠 및 기술에 대한 기술·사회적 주목이 폭발적으로 높아지며 현재 다양한 콘텐츠와 기기들이 출시되고 있다.

하지만 이런 와중에도 XR 콘텐츠의 사용성 및 평가 기준에 대해선 명확한 답을 찾기 어려운 상황이다. 특히 기술이 고도화될수록 ‘통할 것 같다’ ‘재미있었다’ ‘어지러웠다’ 같은 정성적 예측 및 후기 경험 평가만으로는 한계에 봉착해 산업의 성장을 뒷받침하기 어려워지고 있다는 것이 현장의 고초다.

나인파이브가 한국콘텐츠진흥원과 함께한 ‘XR UX 공간 반응형 콘텐츠 최적화를 위한 멀티모달 평가 플랫폼(이하 XR 평가 플랫폼)’ 프로젝트가 짚은 지점이 바로 이 부분이다. 나인파이브는 연세대·한양대·한국외대·국민대, 스코넥 엔터테인먼트, 딥브레인AI 등과의 산학협력을 통해 XR 경험을 데이터라는 객관적 언어로 번역하고, 누구나 신뢰할 수 있는 평가의 표준을 제시하는 플랫폼 구축이라는 포부를 내세우고 있다.

과연 XR 평가 플랫폼은 어떤 특징을 갖추었고, 어떻게 개발됐기에 이런 포부를 내세우고 있는 것일까? 내년도 오픈을 앞둔 상황에서 기획부터 개발, 데이터 구조 설계까지 전 과정을 주도한 나인파이브의 이야기를 들어봤다.

데이터에 기반한 객관적인 UX 분석·측정 평가

상술했듯 XR 콘텐츠는 시각과 청각 정보뿐만 아니라 사용자의 신체 움직임, 시선, 그리고 생체 반응 등이 복합적으로 작용하는 경험의 총체다. 문제는 이런 복합성으로 인해, 현장의 콘텐츠 제작 실무자들이 명확한 평가 기준 없이 ‘감’이나 불특정 다수의 사용자 후기 설문에 의존해왔다는 점이다.

이에 나인파이브는 이번 프로젝트의 주요 목표 중 하나로, 제작자의 경험과 직관에 의존하던 판단을 데이터 기반의 객관적인 판단으로 지원하는 분석 체계를 구축하는 데에 초점을 맞췄다. 특히 단순한 로그 수집을 넘어, 센서 데이터가 유의미한 UX 인사이트로 전환될 수 있도록 명확한 ‘파이프라인’을 설계하는 데에 나인파이브의 역량이 집중됐다.

실제 최수지 나인파이브 기획팀 리더는 이번 프로젝트에 대해 “XR 콘텐츠를 만드는 사람들이 데이터를 기반으로 콘텐츠의 UX 현황을 파악·평가하고 개선할 수 있도록 돕는 통합 평가 인프라를 구축하는 것이 핵심“이라고 설명했다.

나인파이브가 설정한 핵심 목적을 한 문장으로 정리하면, XR 콘텐츠를 만드는 사람들이 데이터를 기반으로 콘텐츠의 UX 현황을 평가하고 개선할 수 있도록 돕는 통합 평가 인프라를 구축하는 것이었습니다.

이에 다양한 센서에서 수집되는 방대한 데이터를 표준화하고, 이를 UX 지표와 자연어 분석까지 연결함으로써, 기획자·연구자·개발자가 공통된 기준으로 XR 경험을 해석할 수 있도록 설계했습니다

이를 위해 나인파이브는 연세대학교·한국외국어대학교·한양대학교·국민대학교 등 국내 유수의 학계 연구진과 협력했다. 연구진들은 학계에서 축적된 선행 연구를 기반으로 476편 이상의 관련 문헌을 체계적으로 검토하고, 180명 규모의 사용자 실험을 병행하며 XR 경험을 구성하는 핵심 공통 UX 요소들을 도출했다.

또한 실제 XR 콘텐츠 이용자들이 어떤 불편을 겪고 어떤 경험 요소를 중요하게 인식하는지 파악하기 위해, 세계 최대 PC 전자 소프트웨어 유통 플랫폼인 스팀(Steam)의 VR 콘텐츠 리뷰 약 100만 문장을 수집해 토픽 모델링 기법으로 분석했다.

평가의 정교함을 높이기 위해 다양한 분석 기법도 도입됐다. 로그, 생체 데이터를 히트맵, 작업 자세 분석 도구, 시계열 같은 분석 기법을 활용해 메트릭의 구조를 구체화한 후, 행동 이벤트, 멀미, 위험 자세, 집중 단계 같은 행동적 결과와의 관계를 함께 살폈다.

그 결과 플랫폼은 수집한 원천 데이터를 유의미한 메트릭으로 가공하고, 이를 다시 직관적인 UX 지표로 연결해 해석해 주는 통합 구조를 갖추는 데 성공했다. 나인파이브는 이를 두고 “단순한 기록 도구를 넘어 사용 경험을 이해하는 분석 도구로 작동할 수 있게 만든 핵심 기반”이라고 설명했다. 특히 이러한 해석 구조를 구성하는 일부 핵심 모듈은 특허 출원까지 진행되며 기술적 완성도와 가치를 인정받았다는 것이 나인파이브 측의 설명이다.

서로 다른 전문가들을 이어주는 통합 뷰 설계

물론 데이터 해석 및 평가만으로 플랫폼이 만들어지는 것은 아니다. 수집 및 측정한 데이터와 평가 리포트를 ‘어떻게 사용자에게 보여주는가’ 또한 중요한 과제이며, 특히 방대한 양의 멀티 모달 데이터를 다루는 플랫폼 구축의 가장 큰 난관은 ‘같은 실무 사용자라고 하더라도 사용자마다 보고 싶은 데이터의 깊이가 다르다’는 지점이다.

실제 기획자들은 테스트 결과에서 바로 활용할 수 있는 정확한 개선 포인트와 요약된 인사이트를 가장 필요로 하는 반면, 연구자들은 콘텐츠 간 비교나 메트릭 조합, 조건 분석처럼 자유로운 탐색 기능과 깊이 있는 데이터 접근을 중요하게 보며, 개발자들은 문제 상황을 빠르게 파악하고 필요시 로우 데이터를 직접 다운로드할 수 있는 실용성을 요구하는 것이 현장의 상황이다.

나인파이브는 이런 문제를 해결하기 위해 ‘통합 뷰’라는 UI 전략을 수립하고 정보의 밀도를 개요–탐색–세션 3단계로 구조화하는 전략을 꺼냈다. 예를 들어 개요 단계는 정보를 카드 형태로 쉽게 요약해 데이터 진입 장벽을 낮추고, 탐색 단계는 더 깊이 있는 정보를 보고 싶어 하는 사용자들에게 ‘정규화 기준 선택’ ‘메트릭 간 조합’ ‘다차원 비교’ 등의 세부 기능을 제공한다.

또한 개별 세션 단계에서는 단일 실험 단위를 중심으로 멀티모달 데이터를 심층 분석할 수 있도록 설계됐다. 멀미 분석의 경우, 사용자가 지정한 구간에 따라 심박변이도(HRV)의 변화를 시각화해 보여주며, 멀미도가 높아질수록 저주파 성분이 활성화되는 패턴을 구간별 수치와 함께 확인할 수 있다.

위험 자세 분석에서는 촬영 영상을 기반으로 사용자의 신체 중 위험도가 높은 부위를 시각적으로 표시하고, 자세 위험도의 분포를 함께 제공해 특정 구간의 부담 요인을 직관적으로 파악할 수 있도록 했다. 상호작용 분석에서는 사용자의 머리 방향 데이터를 히트맵 영상 형태로 재생하고, 제스처 발생이나 태스크 성공과 같은 주요 이벤트를 타임라인 피커로 확인할 수 있어, 사용자의 행동 흐름을 시간 축에서 입체적으로 분석할 수 있다.

그 결과, 해당 단계별 통합 뷰 설계를 통해 XR 평가 플랫폼 사용자들은 서로 다른 직군의 다른 정보 중요성을 가진 전문가들이 모이더라도 여러 플랫폼을 사용할 필요 없이, 하나의 플랫폼 안에서 유기적으로 협업할 수 있게 됐다.

실제 나인파이브는 “사용자는 자신의 역할에 따라 원하는 깊이에서 멈추거나 더 들어가는 선택을 할 수 있고, UI는 그 선택을 자연스럽게 안내하는 흐름을 제공한다. 이것은 단순한 시각화 기능을 넘어, 데이터를 사용하는 경험 전체를 디자인한 방식이다”고 강조했다.

사용자 인지 흐름에 맞춘 데이터 해석 지원 UX 디자인

이번 XR 평가 플랫폼의 또 다른 장점은 심미적 표현보다 사용자의 인지 속도와 정보 위계를 우선한 디자인이다. 다양한 데이터와 지표가 동시에 제시되는 환경에서는 화려한 그래픽이나 장식적 요소가 오히려 판단을 방해하는 노이즈로 작용할 수 있기 때문이다. 이에 따라 나인파이브는 절제된 시각 요소와 명확한 정보 구조를 중심으로, 사용자가 필요한 정보를 빠르게 이해하고 해석할 수 있는 디자인에 집중했다.

이번 프로젝트를 총괄한 최수지 나인파이브 기획팀 리더는 데이터 기반 디자인에서 가장 중요한 요소로 ‘사용자가 정보를 얼마나 빠르게 이해할 수 있는가’를 꼽는다. 이러한 관점은 방대한 데이터가 동시에 제시되는 XR 평가 플랫폼 환경에서, 정보 구조와 가독성을 중심으로 한 UX 설계로 자연스럽게 이어졌다.

대표적으로 개요 단계에선 메트릭을 카드 단위로 요약해 정보의 밀도를 낮추는 것을 넘어, 필요에 따라 카드를 추가·삭제하거나 순서를 바꿀 수 있는 인터랙션이 설계됐다. 탐색 단계에서도 상호작용 그래프, 시간축 기반 분포, 메트릭 간 연동 그래프처럼 인터랙션 중심의 UI 패턴을 활용해, 복잡성을 UI가 직접 흡수하고 있다. 세션 단계 역시 주요 이벤트가 테이블과 그래프가 동기화돼 사용자가 특정 문제 지점을 탐색할 때 화면 간 이동 없이 흐름을 이어갈 수 있다.

이런 세심하고 정교한 디자인 구조는 사용자가 수많은 데이터를 마주했을 때 압도되지 않고, 가장 중요한 문제 지점을 직관적으로 발견하게 만드는 나침반 역할을 한다. 이는 나인파이브가 단순히 데이터를 예쁘게 보여주는 것을 넘어, 사용자가 데이터를 ‘활용’하는 경험 자체를 디자인했음을 보여준다.

커뮤니티 형태와 자연어 기반 평가 리포트로 그리는 미래

하지만 나인파이브가 그리는 청사진은 단순한 데이터 분석 도구 하나로 끝나지 않는다. 현재 나인파이브는 파편화되어 있던 XR 콘텐츠 개발 지식이 모여 순환되는 생태계를 꿈꾸고 있으며, 이를 위해 이번 XR 평가 플랫폼은 계정 기반의 커뮤니티형 구조를 띄고 있다. 실제 나인파이브가 밝힌 커뮤니티형 구조 선택 이유는 ‘데이터의 축적 구조’와 ‘지식이 순환되는 생태계 구축’ 두 가지다.

XR 콘텐츠에 대한 평가는 단일 실험으로 끝나지 않기에 사용자별·프로젝트별 데이터를 지속적으로 쌓고 비교할 수 있는 구조가 필요했으며, 표준화된 메트릭·테스트 템플릿·분석 결과·오픈소스 모듈 등이 계정 단위로 공유돼야 XR 제작자들이 서로의 인사이트를 활용하며 성장할 수 있다는 것이 나인파이브 측의 설명이다.

이와 동시에 나인파이브는 미래 기술을 적극적 도입해 플랫폼 고도화도 진행 중이다. 대표적으로 현재 고도화가 이뤄지고 있는 ‘자연어 기반 평가 리포트’ 기능과 ‘휴리스틱 LLM 모델’ 기능은 복잡한 데이터를 사용자가 바로 이해할 수 있는 언어로 전환해 사용성 장벽을 해결할 예정이다.

기존의 데이터 분석 도구들이 단순히 ‘수치가 변경됐다’는 화면만 무미건조하게 표시했다면, 이 기능들이 도입된 XR 평가 플랫폼은 왜 수치가 변경됐는지에 대한 설명과 함께 사용자에게 추가 제안 진행한다.

예를 들어 “사용자의 인지 부하가 급격히 상승하고 있습니다. 이는 시야각이 급격히 변하는 연출 때문일 가능성이 높으니, 카메라 움직임을 부드럽게 조정하거나 시각적 단서를 추가하세요”와 같이 자연스럽고 구체적인 설명과 가이드를 제공하는 식이다.

최수지 리더는 두 기능들을 두고 “XR 데이터는 원천 값과 메트릭만으로는 의미를 해석하기 어렵기 때문에, 이를 어떻게 구조화하고 설명하느냐가 사용자 경험을 좌우한다” “이 기능들이 도입되면 기획자·연구자·개발자 모두가 동일한 결과를 각자의 관점에서 손쉽게 해석할 수 있는 환경이 마련될 것”이라고 설명했다.

Mini Interview
나인파이브 기획팀 최수지 리더

이번 프로젝트는 단순한 플랫폼 구축을 넘어, 연세대·한양대·한국외대·국민대의 HCI·산업공학·AI 연구진, 스코넥 엔터테인먼트, 딥브레인AI와 함께 XR 평가의 표준을 새롭게 정립하는 R&D 과정이었습니다.

다양한 멀티모달 데이터를 어떻게 구조화하고 어떤 지표로 해석해야 하는지 실험과 검증을 거쳐 정교하게 다듬는 과정에서,나인파이브가 그동안 쌓아온 XR 제작 경험과 데이터·UX·개발 역량이 실제 연구 체계와 자연스럽게 결합되는 순간들을 경험할 수 있었습니다.

무엇보다 인상적이었던 점은, 이번 프로젝트가 ‘현재의 과제 해결’에 머물지 않고 다가올 XR 산업의 확장에 대비한 기반 기술을 스스로 축적하는 과정이 되었다는 것입니다.

앞으로 XR이 더 많은 산업으로 확장될 때, 이번 연구가 그 변화를 준비하는 실질적 출발점이 되었기를 바라는 마음이며, 이러한 R&D를 통해 나인파이브의 역할을 더욱 분명히 할 수 있었다는 점에서 큰 보람을 느끼고 있습니다.  

• UI
• UX
• XR
• 나인파이브
• 디자인

• 에디터김동욱 (jkkims@ditoday.com)
• 섬네일강다연