VR, 이제 골프채도 길이·무게 느낀다
김상연 한기대 교수 “다양한 햅틱감각 제공, 새로운 시장 기대”
가상/증강현실의 상황에 따라 콘트롤러 형태와 부피가 자동으로 변화한다면 어떨까? 위 사례에서 보듯 가상현실에서 도구를 이용할 때 길이와 무게가 변화한다면 몰입감에 더 빠져들 수 있지 않을까? 최근 김상연 한국기술교육대학교 교수팀이 무게 중심과 함께 길이도 변화하는 2세대 가상현실 콘트롤러를 개발해 업계 주목을 받고 있다. 나아가 김 교수팀은 각 분야 교수진과 함께 2022년까지 단계별로 진화한 최종 가상현실 콘트롤러를 개발할 예정이라 기대감이 팽배하다.
자료제공 및 도움말. 김상연 한국기술교육대학교 교수
#사례
가상현실에서 자신의 집 터를 고르고 못질을 하는 A씨. 능수능란하게 못질을 하고 대패질을 한다. 못을 넣고 망치로 서너 번 내리치고 나사를 조이고 나니 튼튼한 지붕을 완성했다. A씨는 VR헤드셋을 벗고, 가상현실에서 도구를 이용할 때 길이와 무게를 감지할 수 있는 가상현실 콘트롤러를 바라보며 만족감을 나타냈다.
현재까지 가상현실은 시각과 청각, 촉각 중심으로 발전했다. 현재 시중에 나와 있는, 상용화된 VR 기기 역시 대부분 시각과 청각에 초점이 맞춰졌다. 그리고 가상현실 기술개발은 지금도 계속되고 있다. 감지 센터 터치나 근접, 압력, 제스처 인식 식별 기능도 탑재했다. 이는 게임뿐 아니라 향후 원격으로 각종 기기를 직관적으로 제어하는 데 필요한 기술이다.
가상현실 콘트롤러는 이처럼 사용자의 움직임을 측정해 영상장치(HMD)에 노출하는 것은 물론 사용자에게 톡톡 치는 느낌이나 충돌감, 충격감을 제공하기도 한다. 그러나 이와 같은 가상현실 콘트롤러는 손으로 쥔 그립감이 동일하고 크기와 무게가 당초와 변함이 없어 몰입감을 높일 수 없다는 것을 업계에서도 늘 지적하던 터였다.
이에 최근 김상연 교수팀(김상연 한국기술교육대학교 교수, 최승문 포항공대 교수, 박진아 KAIST 교수, 경기욱 KAIST 교수, 신병석 인하대 교수, 황진상 부품디비 대표)이 정보통신기획평가원(IITP) 지원으로 특정 가상현실 환경에 국한하지 않고 길이는 물론 무게중심이 변화하는 가상현실 콘트롤러를 개발해 주목받고 있다.
여기에 KAIST 경기욱 교수팀이 필요한 순간 사용자가 원하는 형태로 여러 버튼이 터치패드 위에 생성, 사용자의 상황에 맞도록 콘텐츠를 제어할 수 있는 모핑형 촉각패드의 기본모듈로 개발돼 가상현실 몰입감을 더욱 느낄 수 있는 발판을 만들었다.
길이가 변화하는 모듈은 전기를 인가하면 길이가 늘어나는 새로운 소재(전기활성고분자)를 이용해 개발했다. 이 모듈의 질량은 약 2그램 정도로 매우 가벼워 가상현실 콘트롤러에 쉽게 적용할 수 있었다. 또한 내부에 질량을 이동시키는 메커니즘을 적용해 콘트롤러의 길이가 길어지는 순간 무게 중심도 같이 이동해 마치 콘트롤러가 매우 길어진 느낌을 사용자에게 전달한다.
이렇게 길이와 무게가 변화하는 가상현실 콘트롤러는 인하대학교 신병석 교수팀이 개발한 가상현실 골프와 연동해 사용자에게 아이언을 휘두르는 느낌, 드라이버를 휘두르는 느낌 및 퍼터를 이용해 공을 배팅하는 느낌 등 다양한 촉감을 사용자에게 제공한다.
또한 최승문 포항공과대학교 교수팀이 개발한 ‘인지기반 길이변형 UX’ 를 길이/무게 변형 가상현실 콘트롤러에 적용, 촉각 기반 두더지게임을 개발했다. 사용자는 이 콘트롤러로 게임 상에서 일반 막대나 망치로 두더지를 잡는 느낌을 그대로 전달받는다.
이처럼 길이와 무게가 직접 콘트롤러에서 느낄 수 있는 사용자는 가상현실 속에서도 실제 해당 도구를 이용한 듯한 느낌으로 몰입할 수 있으며, 앞으로 적용사례는 더욱 많아질 것으로 김 교수팀은 예상했다.
<김상연 한국기술교육대학교 교수 일문일답>
한국기술교육대학교 교수
가상현실 콘트롤러 개발 계기는?
최근 사용자들이 가상현실 콘트롤러를 이용해 가상의 물체를 조작할 때, 현실감을 더하기 위해 가상촉감(햅틱스) 기술을 가상현실 콘트롤러에 적용합니다. 이와 같은 햅틱 기술로 사용자는 가상현실 콘트롤러를 이용해 가상의 물체를 조작할 때 물체를 톡톡치거나 쥐는 느낌을 전달받을 수 있습니다. 그러나 가상환경 내에서 사용자는 다양한 것을 쥐고 가상물체들을 조작합니다.
가상현실기반 게임을 예를 들면, 사용자는 야구배트를 들 수도 있고, 탁구채를 잡거나, 총을 들 수도 있습니다. 그러나 가상현실 콘트롤러는 형상이 바뀌지 않기 때문에 몰입감이 떨어지게 됩니다. 그래서 칼모양, 배트모양, 골프채모양, 총모양 등 다양한 형상을 갖는 가상현실 콘트롤러를 준비해 상황에 따라 적합한 가상현실 콘트롤러로 가상현실을 즐기려고 하지만, 눈을 가리고 있으므로 현실 속에서 가상현실 콘트롤러가 어디에 있는지 알기도 힘들 뿐 아니라 상황에 따라 수많은 형태의 가상현실 콘트롤러를 준비할 수도 없습니다.
그래서 하나의 가상현실 콘트롤러가 물리적으로 형상이 바뀌고 무게가 바뀌고, 부피가 달라질 수만 있다면 이런 것들이 쉽게 해결할 수 있다고 생각해 정보통신기획평가원(IITP)의 지원으로 이를 연구/개발하기 시작했습니다.
개발 소요 기간
한국기술교육대학교의 김상연 교수가 KAIST 경기욱 교수와 포항공과대학교의 최승문 교수와 함께 본 연구주제를 생각하게 된 것은 2019년 초였습니다. 이때부터 어떻게 개발을 하면 좋을까를 가끔 만나서 이야기하던 중 정보통신기획평가원 (IITP)의 가상현실 콘트롤러의 연구과제 공모를 보면서 지원했고, 2020년 4월 1일부터 연구/개발을 본격적으로 하기 시작했으며 현재 길이변형 및 무게가 바뀌는 콘트롤러까지 개발한 상황입니다. 2021년 12월까지는 길이변형뿐 아니라 굽힘변형이 발생하며 다양한 촉감을 생성하는 가상현실 콘트롤러를 개발할 것이며, 2022년 12월까지는 길이/굽힘변형뿐 아니라 부피변형까지 가능한 가상현실 콘트롤러를 개발할 예정입니다.
최종적으로 어떤 점을 사용자에게 부각할 수 있을까?
본 연구팀이 개발중인 가상현실 콘트롤러는 소비자에게 디자인과 이미지뿐 아니라 ‘나만의 감각’, ‘나를 위한 감각’이란 사용자 감성을 자극할 수 있는 ‘사용자 경험(User eXperience, UX)’을 제공합니다. 이와 같은 것을 중점적으로 부각해 사용자에게 어필할 생각입니다.
시제품에 대한 주변 반응은?
얼마 전 20대 10명에게 실제 경험 후 이에 대한 의견을 들어봤습니다. 그 결과 “콘트롤러가 직관적이어서 보다 쉽게 사용방법을 익힐 수 있었다“ “진동감각뿐 아니라 다양한 그립감을 느낄 수 있으며 가상환경인데도, 물체를 조작하는 느낌을 받을 수 있어서 좋았다”는 반응을 보였습니다. 이를 참고해 더욱 완성도를 높여가겠습니다.
실제 시장은 언제쯤 출시될까?
우선 개발이 끝나고 참여한 기관에서 1~2년 상품화를 위한 과정을 거치면 가능하지 않을까 생각합니다. 지금도 가상현실 콘트롤러 시장은 이미 활성화 있으므로 사용자가 원하는 그리고 차별화된 가상현실 콘트롤러를 개발한다면, 가상현실 시장에 출시되자마자 시장을 이끌어 나갈 것이라고 생각합니다.
인터랙티브, 혹은 UX/UI적인 측면도 고려할 기능 등이 있을까?
본 연구팀에서 개발하고 있는 가상현실 콘트롤러는 가상/증강현실의 상황에 따라 콘트롤러의 형태 및 부피가 자동으로 변화돼 도구 종류에 관계없이 사용자가 가상의 도구(탁구채, 테니스라켓, 야구방망이, 골프채 등)를 잡는 느낌을 그대로 모사 할 수 있다. 또한 콘텐츠에 따라 콘트롤러의 무게 중심이 변화되기 때문에 마치 실제 환경에서 사용자가 도구를 잡고 움직일 때 발생하는 운동감을 가상 환경에서도 실감나게 표현됩니다.
이런 형상이 변화하는 햅틱 콘트롤러를 효과적으로 응용하기 위해 사용자가 물체를 조작할 때 발생하는 촉감을 생성하는 햅틱 렌더링 및 역동적 접촉기반 길이/굽힘/부피 등 종합적으로 UX를 고려해야 합니다. 이와 같은 인터랙티브 UX는 현재 포항공과대학교의 최승문 교수팀이 개발 중이며, 이미 길이 인지모델 및 이를 기반으로 한 다형성 햅틱 콘트롤러의 길이 변형 UX는 개발완료해 인하대학교 신병석 교수팀이 개발한 가상현실 기반 골프 게임에 적용했습니다. 또한 사용자의 엄지가 닿는 부분에 필요한 순간 사용자가 원하는 형태로 버튼들이 터치패드 위에 생성돼 사용자로 하여금 상황에 맞도록 콘텐츠를 제어할 수 있도록 구축된 모핑형 촉각터치 UX는 KAIST 경기욱 교수팀이 개발하고 있습니다.
추후 기대효과
김상연 한국기술교육대학교 교수팀이 개발하고 있는 다형성 햅틱 콘트롤러는 전 세계적으로도 개발된 예가 없는 세계최초의 기술로 원천특허를 확보할 수 있습니다. 특히 단순한 진동기반 촉감정보만을 생성해 사용자에게 전달해주는 기존의 상용 콘트롤러와 달리, 개발중인 다형성 햅틱 콘트롤러는 자체의 형상/무게 중심이 변화하며, 다양한 햅틱감각을 사용자들에게 제공할 수 있으므로 타 기술들과 차별성을 갖습니다. 본 기술은 햅틱 콘트롤러 개발을 활성화할 수 있는 촉매제가 될 것으로 예상되며, 남들과 차별되고자 하는 소비자들의 욕구를 자극시켜, 다형성 햅틱 콘트롤러라는 새로운 형태의 시장을 활성화시킬 것으로 기대합니다.
