KR102491509B1

KR102491509B1 - Xr 홈클라이밍 시스템

Info

Publication number: KR102491509B1
Application number: KR1020210024947A
Authority: KR
Inventors: 표기훈; 박성하; 이시경; 소요환; 김선호
Original assignee: 한남대학교 산학협력단
Priority date: 2021-02-24
Filing date: 2021-02-24
Publication date: 2023-01-20
Also published as: KR20220121042A

Abstract

본 발명은 XR 홈클라이밍 시스템에 관한 것이다. 코로나 19 및 각종 바이러스로 인하여 실외 활동의 제한으로 인해 실내에서 단순한 클라이밍 활동이 아닌 XR 게임과 접목시켜 재미를 주면서 운동효과를 제공할 수 있는 시스템에 관한 것이다.

Description

XR 홈클라이밍 시스템{XR HOME CLIMBING SYSTEM}

가상현실 기술은 컴퓨터로 만들어 놓은 가상의 환경에서 실제와 같은 체험을 할 수 있도록 하는 기술로 머리에 장착하는 디스플레이 디바이스인 HMD(Head mounted display)를 활용해 체험이 이루어진다.

확장현실(XR, eXtended Reality)은 가상현실(VR)과 증강현실(AR)을 아우르는 혼합현실(MR) 기술을 망라하는 용어다. 가상현실(VR)이 360도 영상을 바탕으로 새로운 현실을 경험하도록 하는 기술이라면 증강현실(AR)은 실제 사물 위에 컴퓨터그래픽(CG)을 통해 정보와 콘텐츠를 표시한다. 증강현실(AR)과 가상현실(VR)은 별개이지만 이 두 기술은 각자 단점을 보완하며 상호 진화를 하고 있다. 그러나 현 단계에서는 차이가 분명히 드러난다. 가상현실(VR)은 눈 전체를 가리는 헤드셋 형(HMD) 단말기가 필요하고, 증강현실(AR)은 구글 글라스와 같은 안경으로 표현이 가능하다. 확장현실(XR)은 가상·증강현실(VR·AR) 기술의 개별 활용 또는 혼합 활용을 자유롭게 선택하며, 확장된 현실을 창조한다.

선행기술문헌을 참조하여 보면, 대한민국 등록특허공보 10-2117521에는 "가상현실(VR) 크라이밍 운동을 이용한 상지 재활훈련 기기"가 기재되어 있다. 청구항 1을 보면, "대상자의 머리에 착용되며, 대상자의 머리의 움직임을 측정하는 방향감지부(111)와, 인가된 영상 콘텐츠를 상기 방향감지부(111)의 측정결과를 반영하여 출력하는 디스플레이(112)를 구비한 HMD부(110); 천장 또는 벽체에 고정하기 위한 고정부(121)와, 파지 가능한 손잡이(122) 및 상기 손잡이(122)의 파지를 감지하는 압력센서(123)를 구비한 복수의 손잡이부(120); 대상자의 어깨 부분에 부착되어 근전도를 측정하는 근전도센서(131)와, 대상자 신체의 전후좌우의 기울기를 측정하는 동작감지부(132)를 구비하는 착용부(130); 대상자가 상기 손잡이부(120)를 잡은 상태로 특정 자세를 취하도록 지도하는 지도영상과 클라이밍을 1인칭 시점으로 구현한 가상영상을 포함하는 영상 콘텐츠가 저장된 저장부(151)와, 모드선택에 따른 지도영상 또는 가상영상을 상기 디스플레이(112)로 인가하되 상기 압력센서(123)의 감지결과와 상기 동작감지부(132)의 측정결과를 인가되는 영상 콘텐츠에 반영하는 동기화부(152)를 구비하는 제어부(150); 로 이루어지는 것을 특징으로 하는 가상현실(VR) 크라이밍 운동을 이용한 상지 재활훈련 기기."가 기재되어 있는데, 가상현실 기술을 적용하여 어깨의 진단 및 재활훈련이 이루어지는 기기에 기술적 특징이 있다.

대한민국 등록특허공보 10-1718427에는 "웨어러블 디바이스를 이용한 체감형 상호작용 암벽 기반 스크린 클라이밍 학습 시스템 및 방법"이 기재되어 있다. 청구항 1을 살펴보면, "다수의 홀드들이 결합되어 있는 암벽이 형성되고, 조사되는 영상이 표시되는 적어도 하나 이상의 클라이밍 스크린을 포함하는 스크린부; 상기 클라이밍 스크린을 등반할 등반자의 신체에 착용되어 경보정보를 포함하는 경로 안내정보를 수신받아 등반자가 상기 경보정보를 몸으로 느낄 수 있도록 전달하는 적어도 하나 이상의 웨어러블 디바이스를 포함하는 웨어러블 디바이스부; 스크린 클라이밍 학습 개시 시 선택된 클라이밍 학습 영상을 상기 스크린부에 구성된 암벽의 홀드들과 매핑하여 표시하고, 상기 암벽을 따라 올라가는 등반자의 위치를 검출하고, 검출된 위치에 따른 등반자의 등반 경로를 추적하고, 검출된 등반자의 위치 및 등반 경로에 근거하여 표시되는 클라이밍 학습 영상에 따라 학습하고 있는지를 판단하고, 판단에 대응되는 상기 경로 안내 정보가 반영된 클라이밍 학습 영상을 재생성하여 표시하며, 상기 등반 경로에 따른 경보정보를 포함하는 경로 안내정보를 상기 웨어러블 디바이스로 무선 전송하는 스크린 클라이밍 학습 서버부를 포함하는 것을 특징으로 하는 웨어러블 디바이스를 이용한 체감형 상호작용 암벽 기반 스크린 클라이밍 학습 시스템."이 기재되어 있는데, 웨어러블 디바이스와 미리 설정된 등반 기준 경로에 따라 효율적으로 클라이밍을 학습시키는 것을 기술적 특징으로 하고 있다.

대한민국 등록특허공보 10-2117521 (2020.05.26 등록) 대한민국 등록특허공보 10-1718427 (2017.03.15 등록)

해결과제는 XR 클라이밍 게임을 즐기면서 운동효과를 제공할 수 있는 XR 홈클라이밍 시스템을 제공하는 것이다.

해결수단은, 물리운동기구; 머리 착용 디스플레이(HMD, Head Mounted Display); 및 컴퓨터 애플리케이션;을 포함하는 XR 홈클라이밍 시스템에 있어서,

HMD를 착용한 사용자가 물리운동기구에 위치하고 애플리케이션이 XR 클라이밍 게임을 시작하면,

물리운동기구 상단에 포함된 트리거 홀더는, 사용자가 게임 화면의 암벽 돌기를 잡을 때 물리적으로 기구를 밀면서 버튼을 누르게 구성되고,

물리운동기구는, 버튼을 누르는 타이밍, 트리거 홀더가 장착된 기구 부위의 회전 속도 및 회전 반경을 포함하는 트리거 데이터 및 기구의 동작 회수 및 동작 시간을 포함하는 운동 데이터를 측정하여 애플리케이션에 제공하는 것을 특징으로 하는, XR 홈클라이밍 시스템이다.

상기 애플리케이션은,

트리거 데이터와 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도 및 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 여부에 대한 정보를 종합하여 사용자의 클라이밍을 분석하는 것을 특징으로 한다.

상기 애플리케이션은,

트리거 데이터 및 운동 데이터를 이용하여 사용자의 운동량과 운동패턴을 분석하는 것을 특징으로 한다.

다른 해결수단은,

물리운동기구; 머리 착용 디스플레이(HMD, Head Mounted Display); 및 컴퓨터 애플리케이션;을 포함하는 XR 홈클라이밍 시스템의 동작방법에 있어서,

HMD를 착용한 사용자가 물리운동기구에 위치하고 애플리케이션이 XR 클라이밍 게임을 시작하는 1 단계;

사용자가 3D 암벽에 위치한 암벽 돌기를 잡을 때 물리운동기구에 있는 트리거 홀더를 밀면서 버튼을 누르는 2 단계;

버튼을 누르는 타이밍, 트리거 홀더가 장착된 기구 부위의 회전 속도 및 회전 반경을 포함하는 트리거 데이터를 물리운동기구가 측정하는 3 단계;

기구의 동작 회수 및 동작 시간을 포함하는 운동 데이터를 물리운동기구가 측정하는 4 단계;

애플리케이션이 트리거 데이터와 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도 및 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 여부에 대한 정보를 종합하여 사용자의 클라이밍을 분석하는 5 단계; 및

애플리케이션이 트리거 데이터 및 운동 데이터를 이용하여 사용자의 운동량과 운동패턴을 분석하는 6 단계;를 포함하는 XR 홈클라이밍 시스템의 동작방법이다.

상기에서,

서버;를 추가로 포함하고,

네트워크 게임인 경우,상기 1 단계 이후에 애플리케이션이 복수 명의 사용자가 동일한 암벽에서 경쟁하는 게임을 제공하는 단계를 추가로 포함하는 것을 특징으로 한다.

본 발명에 따른 시스템은 코로나 19 및 각종 바이러스로 인하여 실외 활동의 제한으로 인해 실내에서 단순한 클라이밍 활동이 아닌 XR 게임과 접목시켜 재미를 주면서 운동효과를 제공할 수 있다.

특히, XR 게임을 통한 운동량과 운동패턴을 분석 제공함으로써 재미와 건강을 모두 제공할 수 있다.

도 1 내지 도 4는 본 발명에 따른 XR 홈클라이밍 시스템에 포함되는 물리운동기구를 나타낸 도면이다. 도 5 내지 도 7은 애플리케이션에서 제공하는 VR 게임 화면 일부를 캡쳐한 도면이다. 도 8은 본 발명에 따른 XR 홈클라이밍 시스템을 실제로 사용하는 것을 나타낸 사진이다.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 XR 기술을 활용하여 기존 클라이밍 기구의 단점인 흥미를 금방 잃게 되는 부분을 다양한 콘텐츠와 게임 연동으로 보완하여, 컨트롤러의 부속품인 핸들러를 이용해 다양한 운동 기구에 결합만 하면 여러 운동과 게임을 IPTV와 운동 기구만 있다면 언제든지 운동할 수 있는 장점이 있다.

본 발명에 따른 XR 홈클라이밍 시스템은 물리운동기구, 머리 착용 디스플레이(HMD, Head Mounted Display) 및 애플리케이션을 포함한다. 애플리케이션은 PC에 설치되어서 VR 게임을 제공한다. 서버는 네트워크 게임으로 이용될 때 구성요소로 포함될 수 있다.

사용자가 HMD를 착용하고 VR 게임을 즐기면서 물리운동기구와 애플리케이션이 상호 연동되도록 구성한다.

물리운동기구는 사용자가 VR 클라이밍 게임을 할 때 팔다리 운동 효과를 같이 제공하기 위한 기구이다. 물리운동기구는 트리거 홀더, 센서, 카운터, 타이머 및 통신부를 포함한다. (도 1 및 2 참조)
여기에서, 센서는 사용자의 동작을 감지하는 구성으로서, 스마트폰, 오락기기 또는 조이스틱 등에서 사용되는 1종 이상의 센서를 포함한다. 즉 일반적으로 이용되는 가속도 센서, 압력센서 또는 자이로센서 등이 채용되어 일반적인 기능으로서의 센싱값을 발생시킨다. 청구항 1에 기재된 바와 같이 "트리거 홀더가 장착된 기구 부위의 회전 속도 및 회전 반경을 포함하는 트리거 데이터"를 알아내기 위하여 트리거 홀더 내부 또는 트리거 홀더 근처에 센서가 배치 포함될 수 있다. 물리운동기구의 상단은 도면에 나타나있는바와 같이 그 길이가 변화되면서 움직일 수 있는 형태이기 때문에, 암벽 클라이밍을 하듯이 손을 위로 올려서 돌기를 잡을 때기구 길이가 길어지면서 앞쪽으로 밀리고 이는 트리거 홀더 부분이 회전하듯이 움직이게 되는 동작이 되며 그 움직임의 속도 및 거리를 센싱하여 정지값 대비 회전 속도 및 반경(거리)을 측정할 수 있게 된다.

트리거 홀더는 기구의 상단에 구비되어 화면에 구현된 암벽을 클라이밍하면서 손으로 암벽 돌기를 잡을 때 사용되는 수단이다. 즉 사용자는 트리거 홀더 부분을 밀면서 버튼을 누르게 되면 게임 화면에서 암벽 돌기를 잡게 되는 것이다. 이 때 기구 상단 부분을 밀면서 다리도 클라이밍 운동을 하도록 기구가 구성되어 있다.

카운터 및 타이머는 물리운동기구 중단에 구성되어 기구의 동작 횟수 및 이용시간을 연산한다. (도 3 및 4 참조)

통신부는 트리거 데이터와 운동 데이터를 애플리케이션에 전송한다. 트리거 데이터는 사용자가 트리거할 때의 타이밍, 기구 회전 반경, 기구 회전 속도 등의 값을 포함하고 있다. 여기에서, 타이밍은 버튼을 누를 때의 타이밍 정보, 회전 반경이나 회전 속도는 센서가 측정한 정보이다.

애플리케이션은 사용자에게 VR 클라이밍 게임을 제공한다. UI가 코스별로구현되어 있는 3D 암벽 화면을 제공하여 사용자가 HMD를 착용하고 게임을 즐길 수 있도록 한다. 또한, 목표 도달 시간 표시, 순위 등 화면도 제공한다. (도 5 내지 7 참조)

애플리케이션은 물리운동기구 인터페이스 모듈을 포함하여, 트리거 데이터와 운동 데이터를 처리하여 사용자가 인터랙티브한 게임을 제공할 수 있도록 한다. 도 8을 참조하여 보면, 사용자가 암벽을 오르면서 운동을 하게 되는데, 트리거 데이터는 버튼을 누르는 타이밍, 버튼을 누르면서 기구를 밀 때의 기구 회전반경, 버튼을 누르면서 기구를 밀 때의 기구 회전속도를 포함한다.

인터페이스 모듈은 이 데이터를 이용하여 암벽 돌기를 제대로 잡았는지 사용자의 무게중심이 문제없는지 등을 판단하게 되는데, 이는 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도, 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 등을 이용하여 판단하게 된다. 예를 들어, 암벽 돌기의 크기가 작은데 버튼을 누르는 타이밍은 좋으나 회전속도가 작은 경우 암벽 돌기를 제대로 잡지 못했다고 판단한다. 이 경우 다른 손이 다른 암벽 돌기를 잡고 있지 않다면 무게 중심이 흔들리게 되어 제대로 클라이밍이 되고 있지 않다고 판단한다.

또한, 인터페이스 모듈은 카운터 및 타이머 데이터를 포함한 운동 데이터를 전송받아서 사용자의 운동량을 측정하여 화면으로 제공할 수 있다.

애플리케이션은 운동패턴 분석 모듈을 추가로 포함할 수 있다. 인터페이스 모듈에서 제공받은 트리거 데이터와 운동 데이터를 집적시키면서 사용자의 운동패턴을 분석한다. 예를 들어, 회전 속도, 회전 반경의 증가 감소, 카운터 등을 이용하여 사용자의 운동패턴을 분석하여 클라이밍 능력이 향상되고 있는지 운동량이 증감하고 있는지 등을 분석한다. 애플리케이션은 운동패턴 분석 모듈의 결과를 사용자에게 제공하여 운동도 하면서 보다 재미있게 게임을 즐길 수 있도록 할 수 있다.

서버는 다수 사용자가 사용하는 네트워크 게임을 제공할 때 포함된다. 네트워크 게임의 경우 애플리케이션은 다수 사용자 모드로 변환되어 하나의 암벽에 복수 명의 사용자가 클라이밍하면서 상호 경쟁할 수 있는 게임으로 전환하여 제공한다.

본 발명에 따른 XR 홈클라이밍 시스템의 구동방법은 다음의 단계를 포함한다.

1단계) HMD를 착용한 사용자가 물리운동기구에 위치하고 PC에 설치된 애플리케이션이 XR 클라이밍 게임을 시작하는 단계

2단계) 사용자가 3D 암벽의 복수 개의 암벽 돌기를 잡을 때 물리운동기구에 있는 트리거 홀더를 밀면서 버튼을 누르는 단계

3단계) 버튼을 누르는 타이밍, 트리거 홀더가 장착된 기구 부위의 회전 속도, 회전 반경을 포함하는 트리거 데이터를 물리운동기구가 측정하는 단계

4단계) 기구의 동작 회수 및 동작 시간을 포함하는 운동 데이터를 물리운동기구의 카운터 및 타이머가 각각 측정하는 단계

5단계) 애플리케이션이 트리거 데이터와 모델링되어 제시되는 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도, 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 여부에 대한 정보를 종합하여 사용자의 클라이밍을 분석하는 단계

6단계) 애플리케이션이 트리거 데이터 및 운동 데이터를 이용하여 사용자의 운동량과 운동패턴을 분석하는 단계

만약 네트워크 게임이면 상기 1단계) 이후에 애플리케이션이 복수 명의 사용자가 동일한 암벽에서 경쟁하는 게임을 제공하는 단계가 포함될 수 있다.

이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

Claims

물리운동기구; 머리 착용 디스플레이(HMD, Head Mounted Display); 및 컴퓨터 애플리케이션;을 포함하는 XR 홈클라이밍 시스템에 있어서,
HMD를 착용한 사용자가 물리운동기구에 위치하고 애플리케이션이 XR 클라이밍 게임을 시작하면,
물리운동기구 상단에 포함된 트리거 홀더는, 사용자가 게임 화면의 암벽 돌기를 잡을 때 물리적으로 기구를 밀면서 버튼을 누르게 구성되고,
물리운동기구는, 버튼을 누르는 타이밍, 트리거 홀더가 장착된 기구 부위의 회전 속도 및 회전 반경을 포함하는 트리거 데이터 및 기구의 동작 회수 및 동작 시간을 포함하는 운동 데이터를 측정하여 애플리케이션에 제공하는 것을 특징으로 하는, XR 홈클라이밍 시스템.
청구항 1에 있어서,
상기 애플리케이션은,
트리거 데이터와 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도 및 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 여부에 대한 정보를 종합하여 사용자의 클라이밍을 분석하는 것을 특징으로 하는, XR 홈클라이밍 시스템.
청구항 2에 있어서,
상기 애플리케이션은,
트리거 데이터 및 운동 데이터를 이용하여 사용자의 운동량과 운동패턴을 분석하는 것을 특징으로 하는, XR 홈클라이밍 시스템.
물리운동기구; 머리 착용 디스플레이(HMD, Head Mounted Display); 및 컴퓨터 애플리케이션;을 포함하는 XR 홈클라이밍 시스템의 동작방법에 있어서,
HMD를 착용한 사용자가 물리운동기구에 위치하고 애플리케이션이 XR 클라이밍 게임을 시작하는 1 단계;
사용자가 3D 암벽에 위치한 암벽 돌기를 잡을 때 물리운동기구에 있는 트리거 홀더를 밀면서 버튼을 누르는 2 단계;
버튼을 누르는 타이밍, 트리거 홀더가 장착된 기구 부위의 회전 속도 및 회전 반경을 포함하는 트리거 데이터를 물리운동기구가 측정하는 3 단계;
기구의 동작 회수 및 동작 시간을 포함하는 운동 데이터를 물리운동기구가 측정하는 4 단계;
애플리케이션이 트리거 데이터와 암벽 돌기의 크기, 암벽 돌기의 암벽에 대한 접착 강도 및 사용자 다른 손이 다른 암벽 돌기를 잡고 있는지 여부에 대한 정보를 종합하여 사용자의 클라이밍을 분석하는 5 단계; 및
애플리케이션이 트리거 데이터 및 운동 데이터를 이용하여 사용자의 운동량과 운동패턴을 분석하는 6 단계;를 포함하는 XR 홈클라이밍 시스템의 동작방법.
청구항 4에 있어서,
서버;를 추가로 포함하고,
네트워크 게임인 경우,상기 1 단계 이후에 애플리케이션이 복수 명의 사용자가 동일한 암벽에서 경쟁하는 게임을 제공하는 단계를 추가로 포함하는 것을 특징으로 하는 XR 홈클라이밍 시스템의 동작방법.