KR102253352B1

KR102253352B1 - Vr/ar 기반의 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법 및 장치

Info

Publication number: KR102253352B1
Application number: KR1020200180391A
Authority: KR
Inventors: 이준서
Original assignee: 이준서
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2021-05-17

Abstract

본 발명의 일 실시예에 따른 재활 콘텐츠 제공 방법은 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장하는 동작; 상기 재활 콘텐츠의 로딩에 따라 상기 복수의 필드를 가상 공간에 출력하는 동작; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체와 대칭되는 신체 부위인 제2 하체에 착용된 웨어러블 장치로부터 상기 환자의 움직임에 따른 제2 하체의 형태 및 움직임을 획득하는 동작; 상기 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 상기 가상 공간에 생성하는 동작; 상기 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 상기 가상 공간에 출력하고 상기 환자에 선택된 코딩 블록을 상기 가상 공간에 생성하는 동작; 상기 가상의 신체 영상의 움직임에 기초하여 상기 코딩 블록을 상기 복수의 필드 중 어느 하나의 필드에 배치하는 동작; 및 상기 복수의 필드에 대한 코딩 블록의 배치 완료에 따라 상기 캐릭터가 상기 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 수행하도록 제어하는 동작을 포함할 수 있다.

Description

VR/AR 기반의 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING REHABILITATION CONTENT USING VIRTUAL TRANSPLANT FOOT BASED ON VR/AR}

본 발명은 VR/AR 기반의 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법 및 장치에 관한 것이다.

당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다.

환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다.

그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하기 때문에 현실 생활에서 사용되는 다양한 움직임과 달리 제한된 동작만 이뤄진다는 한계가 있었다.

또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.

한국 등록특허공보 제10-200112호: 자이로 센서를 이용한 모션인식 장치 및 그 모션인식 방법

본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.

또한, 상술한 치료 기술에 더하여 VR/AR 기술의 특징을 활용한 콘텐츠를 함께 제공함으로써, 환자가 치료 과정에서 현실감 있게 팔과 다리를 사용한다는 느낌을 받으면서도 흥미를 느낄 수 있도록 하는 VR/AR 콘텐츠를 제공하고자 한다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.

본 발명의 일 실시예에 따른 재활 콘텐츠 제공 장치가 수행하는 재활 콘텐츠 제공 장치가 수행하는 재활 콘텐츠 제공 방법은 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장하는 동작; 상기 재활 콘텐츠의 로딩에 따라 상기 복수의 필드를 가상 공간에 출력하는 동작; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체와 대칭되는 신체 부위인 제2 하체에 착용된 웨어러블 장치로부터 상기 환자의 움직임에 따른 제2 하체의 형태 및 움직임을 획득하는 동작; 상기 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 상기 가상 공간에 생성하는 동작; 상기 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 상기 가상 공간에 출력하고 상기 환자에 선택된 코딩 블록을 상기 가상 공간에 생성하는 동작; 상기 가상의 신체 영상의 움직임에 기초하여 상기 코딩 블록을 상기 복수의 필드 중 어느 하나의 필드에 배치하는 동작; 및 상기 복수의 필드에 대한 코딩 블록의 배치 완료에 따라 상기 캐릭터가 상기 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 수행하도록 제어하는 동작을 포함할 수 있다.

또한, 상기 코딩 블록을 생성하는 동작은 복수의 코딩 블록을 포함하는 목록을 상기 가상 공간에 출력하는 동작; 및 상기 목록에 대한 상기 환자의 음성 또는 상기 가상의 신체 영상의 움직임을 통한 지명에 의해 선택된 코딩 블록을 상기 가상 공간의 바닥에 생성하는 동작을 포함할 수 있다.

또한, 상기 필드에 배치하는 동작은 상기 가상의 신체 영상이 상기 코딩 블록을 발로 차는 움직임을 감지하는 동작; 상기 가상의 신체 영상이 움직이는 방향 및 속도를 기초로 상기 코딩 블록이 나아가는 방향 및 속도를 계산하여 상기 가상 공간 내에 상기 코딩 블록의 움직임을 출력하는 동작; 및 상기 코딩 블록의 움직임에 따라 상기 코딩 블록이 상기 복수의 필드 중 어느 하나의 필드에 도달한 것으로 판별된 경우, 상기 어느 하나의 필드에 상기 코딩 블록에 대응되는 동작에 대한 코딩 정보를 매핑시키는 동작을 포함할 수 있다.

또한, 상기 복수의 필드는 캐릭터가 통과 가능한 제1 필드; 캐릭터가 통과 시 게임 오버되는 제2 필드; 및 몬스터가 존재하는 제3 필드를 포함하고, 상기 복수의 필드를 가상 공간에 출력하는 동작은 상기 제1 필드, 상기 제2 필드 및 상기 제3 필드 중 적어도 두개 이상의 필드를 선별하는 동작; 및 상기 선별된 필드 중 어느 하나의 필드의 한 면에는, 적어도 하나의 다른 선별된 필드가 연결되도록 상기 맵을 생성하여 상기 가상 공간에 출력하는 동작을 포함할 수 있다.

또한, 상기 코딩 블록은 상기 캐릭터를 전진시키는 제1 코딩 정보; 상기 캐릭터를 점프시켜 전방의 필드를 뛰어넘는 제2 코딩 정보; 상기 캐릭터를 왼쪽으로 회전시키는 제3 코딩 정보; 상기 캐릭터를 오른쪽으로 회전시키는 제4 코딩 정보; 상기 캐릭터가 공격을 수행하여 전방의 몬스터를 제거하는 제5 코딩 정보; 및 하나의 필드에 복수의 코딩 블록이 매핑될 수 있도록 상기 하나의 필드에 대한 아이템 매핑 규칙을 변경시키는 제6 코딩 정보를 포함하고, 상기 제어하는 동작은 상기 제6 코딩 정보에 의해 매핑 규칙이 변하여 하나의 필드에 복수의 코딩 블록이 매핑되어 있는 필드를 상기 캐릭터가 경유하는 경우, 상기 복수의 코딩 블록이 매핑되어 있는 순서대로 상기 캐릭터의 동작을 제어하는 동작을 포함할 수 있다.

또한, 상기 재활 콘텐츠 제공 방법은 상기 필드에 배치하는 동작 이후에, 상기 복수의 필드에 대한 코딩 블록의 배치에 따라, 상기 복수의 필드에 매핑된 코딩 정보가 실행되는 순서에 대한 코드 진행 정보를 상기 가상 공간에 출력하는 동작을 더 포함할 수 있다.

또한, 상기 웨어러블 장치는 양측 단부가 상기 제2 하체의 관절부위 상측 및 하측에 연결되어 상기 제2 하체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서; 상기 소프트센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및 상기 접착부의 일측에 구비되어 상기 제2 신체에 진동을 인가하는 액츄에이터를 포함할 수 있다.

또한, 상기 가상의 신체 영상을 상기 가상 공간에 생성하는 동작은 상기 웨어러블 장치로부터 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 포함할 수 있다.

본 발명의 일 실시예에 따른 재활 콘텐츠 제공 장치는 영상을 출력하는 디스플레이부; 소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작 가능 하도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 로딩하는 동작; 상기 재활 콘텐츠의 로딩에 따라 상기 복수의 필드를 가상 공간에 출력하는 동작; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체와 대칭되는 신체 부위인 제2 하체에 착용된 웨어러블 장치로부터 상기 환자의 움직임에 따른 제2 하체의 형태 및 움직임을 획득하는 동작; 상기 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 상기 가상 공간에 생성하는 동작; 상기 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 상기 가상 공간에 출력하고 상기 환자에 선택된 코딩 블록을 상기 가상 공간에 생성하는 동작; 상기 가상의 신체 영상의 움직임에 기초하여 상기 코딩 블록을 상기 복수의 필드 중 어느 하나의 필드에 배치하는 동작; 및 상기 복수의 필드에 대한 코딩 블록의 배치 완료에 따라 상기 캐릭터가 상기 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 수행하도록 제어하는 동작을 포함할 수 있다.

본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.

더불어, 환자는 HMD 장치를 통해 가상 공간 속에서 보여지는 가상의 신체 영상을 이용하여 현실감 있게 가상으로 생성된 손, 팔, 다리 등을 이용하면서, 주어진 과제를 완료하기까지 캐릭터가 경유하는 각 필드에서 요구되는 코딩 블록을 배치하여 과제를 해결해 나감으로써, 치료 과정에서 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 재활 콘텐츠 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 HMD 장치가 수행하는 가상 이식 손을 이용한 재활 콘텐츠 제공 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 가상 공간에 출력되는 복수의 필드로 구성된 맵의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 HMD 장치를 착용한 환자의 모습을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따라 HMD 장치를 사용하는 동작을 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따라 손에 웨어러블 장치의 착용예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라 가상 공간에 출력되는 복수의 코딩 블록을 포함하는 목록의 예시도이다.
도 9는 본 발명의 일 실시예에 따라 가상의 신체 영상의 위치와 움직임을 가상 공간에 출력하여 코딩 블록을 선택하는 동작의 예시도이다.
도 10은 본 발명의 일 실시예에 따라 가상의 신체 영상이 움직이는 방향과 속도를 반영하여 가상의 신체 영상이 코딩 블록을 필드에 놓거나 던지는 동작의 예시도이다.
도 11은 본 발명의 일 실시예에 따라 놓거나 던져진 코딩 블록이 필드에 도달하는 경우 코딩 블록의 코딩 정보가 필드에 매핑되는 동작의 예시도이다.
도 12는 본 발명의 일 실시예에 따라 환자가 배치한 코딩 정보에 따른 동작을 수행하는 도중의 예시로서 캐릭터가 몬스터를 공격하는 동작의 예시도이다.
도 13은 본 발명의 일 실시예에 따른 HMD 장치가 수행하는 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법의 흐름도이다.
도 14는 본 발명의 일 실시예에 따라 하체에 웨어러블 장치의 착용예를 도시한 도면이다.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

본 발명의 실시예에 따른 재활 콘텐츠 제공 시스템(10)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다. 또한, 상술한 치료 기술에 더하여 VR/AR 기술의 특징을 활용한 콘텐츠를 함께 제공함으로써, 환자가 치료 과정에서 현실감 있게 팔과 다리를 사용한다는 느낌을 받으면서도 흥미를 느낄 수 있도록 하는 VR/AR 콘텐츠를 제공한다.

본 발명의 실시예에 따른 재활 콘텐츠 제공 시스템은 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체 영상을 구현하고, 이때 구현된 가상의 신체 영상은 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현되어, VR/AR 콘텐츠를 플레이할 수 있도록 한다. 이를 위해, 본 발명의 실시예에 따른 재활 콘텐츠 제공 시스템이 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 재활 콘텐츠 제공 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 콘텐츠 제공 시스템은 웨어러블 장치(Wearable Device)(100), 재활 콘텐츠 제공 장치(200)(ex. HMD 장치(200)), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 시스템은 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다.

재활 콘텐츠 제공 장치(200)는 HMD 장치(200)를 통해 구현될 수 있다, HMD 장치(200)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 이하의 설명에서는 이해의 편의를 위해, 재활 콘텐츠 제공 장치(200)를 "HMD 장치"라는 용어로 지칭하기로 한다. 다만, 재활 콘텐츠 제공 장치(200)의 구현이 반드시 "HMD 장치"의 형태로 한정되는 것은 아니며, 도 2와 함께 설명될 구성을 포함하는 다양한 형태의 장치로서 구현될 수 있다.

웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다.

예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 제2 신체(12)가 "손 또는 팔"에 해당하는 경우, 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.

또한, 제2 신체(12)가 "하체"에 해당하는 경우, 도 14를 참조하면 웨어러블 장치(100)는 양측 단부가 제2 신체(12)의 관절부위(12a) 상측 및 하측에 연결되어 제2 신체(12)의 관절부위(12a)의 움직임에 따라 저항값이 변하는 소프트 센서(101), 소프트 센서(101)의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부(102) 및 접착부(102)의 일측에 구비되어 제2 신체(12)에 진동을 인가하는 액츄에이터(103)를 포함할 수 있다. 이에 따라, 환자가 제2 신체(12)의 관절부위(12a)를 움직이는 경우 소프트 센서(101)의 저항값 변화를 통해 관절부위(12a)의 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.

트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 웨어러블 밴드(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다.

뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다.

도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 메모리(210), 프로세서(220), 입력 인터페이스(230), 디스플레이부(240) 및 통신 인터페이스(250)를 포함할 수 있다.

메모리(210)는 재활 콘텐츠 DB(211) 및 명령어 DB(215)를 포함하여, 실시예들을 수행시키기 위한 정보 및 명령어들을 저장할 수 있다.

재활 콘텐츠 DB(211)는 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장할 수 있다. 재활 콘텐츠 DB(211)는 기 생성된 맵을 파일 형태로 저장할 수 있으며, 맵은 본 발명의 일 실시예에 따른 재활 콘텐츠가 플레이됨에 따라 디스플레이부(240)에 출력되는 3차원 가상 공간 또는 3차원 객체로서 그 예시는 도 4와 같다.

명령어 DB(215)는 후술할 프로세서(120)의 동작을 수행시키는 명령어, 또는 후술할 프로세서(220)의 동작들과 대응되는 동작을 수행하도록 하는 컴퓨터 코드를 저장할 수 있다.

프로세서(220)는 HMD 장치(200)가 포함하는 구성들, 메모리(210), 입력 인터페이스(230), 디스플레이부(240), 및 통신 인터페이스(250)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는 콘텐츠 모듈(221), 센싱 모듈(223), 연산 모듈(225), 및 제어 모듈(227)을 포함할 수 있다. 프로세서(220)는 메모리(210)에 저장된 명령어들을 실행해 콘텐츠 모듈(221), 센싱 모듈(223), 연산 모듈(225), 및 제어 모듈(227)을 구동 시킬 수 있다. 콘텐츠 모듈(221), 센싱 모듈(223), 연산 모듈(225), 및 제어 모듈(227)에 의해 수행되는 동작은 프로세서(220)에 의해 수행되는 동작으로 이해될 수 있다.

콘텐츠 모듈(221)은 재활 콘텐츠 DB(211)에 저장된 데이터를 로딩하여 디스플레이부(240)에 출력할 수 있다. 예를 들어, 콘텐츠 모듈(221)은 재활 콘텐츠 DB(211)에 저장된 복수의 필드로 구성된 맵 등을 가상 공간에 구성하여 디스플레이부(240)에 출력할 수 있다.

센싱 모듈(223)은 외부 장치(ex. 웨어러블 장치(100), 트래커(300), 뎁스 카메라(400) 등)로부터 획득한 데이터를 목적에 맞도록 사용할 수 있게끔 데이터를 정제 및 관리할 수 있다.

연산 모듈(225)은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)에 착용된 웨어러블 장치(100)로부터 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임에 대해 센싱된 정보를 활용하여 제2 신체(12)의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상(31)을 가상 공간에 생성하고 디스플레이부(240)에 출력할 수 있다.

제어 모듈(227)은 환자의 입력 또는 가상의 신체 영상(31)의 움직임에 따라 재활 콘텐츠의 플레이를 제어할 수 있다.

입력 인터페이스(230)는 환자의 입력(ex. 물리적 입력, 제스쳐 입력 또는 음성 입력)을 획득할 수 있다. 입력 인터페이스(130)는 터치 센서, 음성 센서, 카메라 등과 같은 하드웨어 모듈을 포함할 수 있다.

디스플레이부(240)는 디스플레이 패널을 포함하여 가상의 신체 영상(31) 및 가상 공간(ex. 도 9 내지 도 12)을 포함하는 영상을 출력하는 하드웨어 구성을 포함할 수 있다.

통신 인터페이스(250)는 외부 장치(ex. 웨어러블 장치(100), 트래커(300), 뎁스 카메라(400) 등)와 통신하여 정보를 송수신 할 수 있게 한다. 이를 위해, 통신 인터페이스(250)는 무선 통신 모듈 또는 유선 통심 모듈을 포함할 수 있다.

이하, 도 3 내지 도 14를 통해 본 발명의 실시예에 따른 재활 콘텐츠 제공 장치(200)의 구성들이 연동하여 실시예들을 수행하는 동작의 흐름을 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 HMD 장치(200)가 수행하는 가상 이식 손을 이용한 재활 콘텐츠 제공 방법의 흐름도이다. 도 3에 따른 재활 콘텐츠 제공 방법의 각 단계는 도 2를 통해 설명된 HMD 장치(200)의 구성들에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.

재활 콘텐츠 DB(211)는 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장할 수 있다(S310).

콘텐츠 모듈(221)은 재활 콘텐츠가 로딩됨에 따라 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 생성하여 디스플레이부(240)에 출력할 수 있다(S320). 맵은 본 발명의 일 실시예에 따른 재활 콘텐츠가 플레이됨에 따라 디스플레이부에 출력되는 3차원 가상 공간 또는 3차원 객체로서 그 예시는 도 4와 같다.

도 4는 본 발명의 일 실시예에 따라 가상 공간에 출력되는 복수의 필드로 구성된 맵의 예시도이다.

도 4를 참조하면, 맵을 구성하는 필드는 캐릭터가 특정 동작을 취해야 경유할 수 있도록 다양한 형태로 구성될 수 있다. 예를 들어, 필드의 종류는 캐릭터가 출발하게 되는 출발지인 출발지 필드, 캐릭터가 방향을 올바르게 설정함에 따라 통과 가능한 제1 필드, 캐릭터가 통과 시 게임 오버되는 제2 필드, 몬스터가 존재하는 제3 필드, 및 캐릭터가 도착해야 하는 목적지인 목적지 필드를 포함할 수 있다.

콘텐츠 모듈(221)은 기 저장된 맵을 출력할 수 있으며, 또는 다양한 형태의 필드(ex. 제1 필드, 제2 필드 및 제3 필드) 중 같은 형태의 필드이든 서로 다른 형태의 필드이든, 적어도 두 개 이상의 필드를 선별하여 맵을 생성할 수 있다. 이때 필드는 예를 들어 사각형 형태일 수 있고, 선별된 필드 중 어느 하나의 필드의 한 면에는, 적어도 하나의 다른 선별된 필드가 연결되도록 필드의 연결을 구성하여 맵을 생성할 수 있다. 예를 들어, 콘텐츠 모듈(221)은 도 4에 예시된 맵 구성과 같이 "출발지 필드 - 제1 필드 - 제2 필드 - 제3 필드 - 도착지 필드"를 일직선으로 연결할 수 있다. 또한, 콘텐츠 모듈(221)은 도 12의 도면부호 51에 예시된 맵 구성과 같이, 일부의 필드가 90도로 꺾이는 형태로 연결되도록 맵을 생성할 수 있다.

콘텐츠 모듈(221)은 재활 콘텐츠가 로딩됨에 따라, 3차원 가상 공간을 형성하고 재활 콘텐츠 DB(211)에 저장된 맵을 가상 공간 내의 객체로서 배치하여, 3차원 가상 공간 및 3차원 맵(3차원 객체)을 포함하는 이미지 정보를 생성하고, 디스플레이부(240)에 출력할 수 있다. 콘텐츠 모듈(221)은 3차원 가상 공간 내부의 한 지점에서 1인칭 시점 또는 3인칭 시점으로 바라보는 이미지 정보를 생성하는 가상 카메라를 가상 공간 내부의 기 설정된 지점에 배치할 수 있다. 가상 카메라는 가상의 공간에 배치된 지점에서 소정의 화각으로 일 방향을 바라보는 1인칭 시점 또는 3인칭 시점의 이미지 정보를 생성할 수 있다. 콘텐츠 모듈(221)은 가상 카메라의 초점 거리 또는 투영 방식을 제어하여 생성한 이미지 정보(ex. 도 9 내지 도 12)를 디스플레이부(240)에 출력할 수 있다.

센싱 모듈(223)은 재활 콘텐츠를 플레이하는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 손(11)과 대칭되는 신체 부위인 제2 손(12)에 착용된 웨어러블 장치(100)로부터 환자의 움직임에 따른 제2 손(12)의 형태 및 움직임을 획득할 수 있다(S330).

도 5는 본 발명의 일 실시예에 따른 HMD 장치(200)를 착용한 환자의 모습을 나타낸 예시도이다.

도 5를 참조하면, 환자는 제1 손(11)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 콘텐츠를 플레이하기 위해, 환자는 제2 손(12)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용할 수 있다. 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 손(11)의 말단 부근(도 5 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.

연산 모듈(225)은 웨어러블 장치(100)로부터 획득한 정보를 기초로 제2 손(12)의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상(31)을 가상 공간에 생성할 수 있다(S340).

도 6은 본 발명의 일 실시예에 따라 HMD 장치(200)를 사용하는 동작을 나타낸 예시도이다.

도 6을 참조하면, HMD 장치(200)는 환자의 절단된 신체 부위와 대칭되는 신체 부위와 좌우가 반전된 움직임을 갖는 가상의 신체 영상(31)을 생성할 수 있다.

일 실시예에 따르면, 센싱 모듈(223)은 웨어러블 장치(100)로부터 획득한 정보를 기초로, 제2 손(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다. 이에 따라, 연산 모듈(225)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 연산 모듈(225)은 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 연산 모듈(225)은 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다. 이후, 연산 모듈(225)은 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상(31)을 생성할 수 있다.

도 6의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 말단에 가상의 신체 영상(31)을 VR 영상 또는 AR 영상과 함께 출력할 수 있다.

일 실시예에 따르면, 연산 모듈(225)은 환자의 신체에 가상의 신체 영상(31)을 연결시킬 수 있다. 이를 위해, 연산 모듈(225)은 통신 인터페이스(250)의 유무선 통신을 통해 환자의 제1 손(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 연산 모듈(225)은 가상의 신체 영상(31)에서 웨어러블 장치(100)가 착용된 신체 부분(도 5의 도면 부호 12)과 착용되지 않은 신체 부분(도 5의 도면 부호 13)의 경계 지점(도 5의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점에 가상의 신체 영상(31)의 제2 지점이 연결되도록 가상의 신체 영상(31)을 디스플레이부(240)에 출력할 수 있다.

더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 센싱 모듈(223)은 웨어러블 밴드(300)로부터 획득한 정보를 기초로 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 환자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. 연산 모듈(225)은 웨어러블 밴드(300)에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상(31)이 움직이는 모습을 시각적으로 확인할 수 있다.

또한, 일 실시예로서 연산 모듈(225)은 웨어러블 장치(100)가 착용된 신체의 영역과 대칭되는 가상의 신체 영상(31)을 신체에 연결되지 않은 형태로, 도 9 내지 도 11처럼 가상의 신체 영상(31)만을 가상 공간에 생성하여 출력할 수 있다.

콘텐츠 모듈(221)은 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 가상 공간에 출력하고, 환자에 의해 선택된 코딩 블록을 생성할 수 있다(S350). 이때 코딩 블록은 환자의 음성 또는 가상의 신체 영상의 움직임(ex. 누르는 동작, 잡는 동작 등)에 기초하여 선택될 수 있다.

도 8은 본 발명의 일 실시예에 따라 가상 공간에 출력되는 복수의 코딩 블록을 포함하는 목록(10)의 예시도이다.

도 8을 참조하면, 코딩 블록은 캐릭터가 소정의 동작을 취하도록 하는 코딩 정보를 포함할 수 있다. 예를 들어, 코딩 정보는 전방의 필드로 캐릭터를 전진시키는 제1 코딩 정보(11), 캐릭터를 점프시켜 전방의 필드를 뛰어넘는 제2 코딩 정보(12), 캐릭터를 왼쪽으로 회전시키는 제3 코딩 정보(13), 캐릭터를 오른쪽으로 회전시키는 제4 코딩 정보(14), 캐릭터가 전방의 몬스터를 공격하여 전방의 장애물을 제거하는 제5 코딩 정보(15)를 포함할 수 있다. 또한, 기본적으로 하나의 필드에는 하나의 코딩 블록이 배치된다는 규칙이 있는 상태에서, 하나의 필드에 복수의 코딩 블록이 매핑될 수 있도록 필드에 대한 아이템 매핑 규칙을 변경시키는 제6 코딩 정보(16)를 포함할 수 있다. 또한, 코딩 블록을 포함하는 목록(10)은 맵 전환 버튼(17), 재시작 버튼(18), 코딩 블록의 배치 완료에 따른 코드 실행 버튼(19)을 포함할 수 있다.

제어 모듈(227)은 가상의 신체 영상(31)의 움직임에 기초하여 코딩 블록을 복수의 필드 중 어느 하나의 필드에 배치할 수 있다.

도 9는 본 발명의 일 실시예에 따라 가상의 신체 영상(31)의 위치와 움직임을 가상 공간에 출력하여 코딩 블록(21)을 선택하는 동작의 예시도이다.

도 9를 참조하면, 제어 모듈(227)은 상기 목록(10)에 대한 환자의 선택에 따라 지정된 코딩 블록(21)을 가상의 신체 영상(31) 부근의 위치에 생성할 수 있다. 예를 들어, 제어 모듈(227)은 복수의 코딩 블록을 포함하는 목록(10)을 가상 공간의 일부분에 출력하고, 상기 목록(10)에 대한 환자의 음성 또는 가상의 신체 영상(31)의 선택/잡기 모션에 의해 선택된 코딩 블록을 가상의 신체 영상(31) 부근의 위치에 생성할 수 있다. 가상의 신체 영상(31)은 웨어러블 장치(100)를 착용한 제1 손(11)의 움직임에 대칭되어 움직이므로, 선택 모션 또는 잡기 모션은 웨어러블 장치(100)를 착용한 제2 손(12)의 움직임에 따라 식별될 수 있다.

제어 모듈(227)은 가상의 신체 영상(31)의 움직임에 기초하여 코딩 블록을 복수의 필드 중 어느 하나의 필드에 배치할 수 있다(S360).

도 10은 본 발명의 일 실시예에 따라 가상의 신체 영상(31)이 움직이는 방향과 속도를 반영하여 가상의 신체 영상(31)이 코딩 블록(21)을 필드(41)에 놓거나 던지는 동작의 예시도이다.

도 10을 참조하면, 센싱 모듈(223)은 웨어러블 장치(100)로부터 환자의 손이 움직이는 방향 및 속도에 대한 정보를 획득하고, 연산 모듈(225)은 제2 손(12)과 대칭되는 가상의 신체 영상(31)의 움직임을 가상 공간에 생성하여 코딩 블록(21)을 놓거나 던지는 모션을 구현하면서, 가상의 신체 영상이 던지거나 놓는 모션을 취한 것으로 판별함에 따라 코딩 블록(21)이 움직여야 하는 방향 및 속도를 계산하여 코딩 블록(21)이 가상 공간에서 움직이는 형태를 구현하여 출력할 수 있다.

위의 과정에 따라, 가상의 신체 영상(31)이 던지는 동작을 취한 것으로 판별된 경우, 또는 가상 공간 특정 위치에서 손을 펴면서 놓는 동작을 취하는 것으로 판별된 경우, 또는 던지는 동작을 취하면서 움겨킨 손모양이 펼친 손모양으로 바뀐 것으로 판별된 경우, 연산 모듈(225)은 환자가 코딩 블록(21)을 던지거나 놓는 모션을 취한 것으로 판별하여, 센싱 모듈(223)은 환자의 손이 움직이는 방향, 속도, 및 환자가 던지거나 놓는 모션을 행하여 종결된 가상 공간 상의 좌표(=코딩 블록이 가상의 신체 영상을 떠나기 시작한 가상 공간 내 위치 정보)에 대한 정보를 획득할 수 있다. 연산 모듈(225)은 환자가 코딩 블록(21) 던지거나 놓는 모션을 행하여 코딩 블록(21)이 환자의 손을 이탈한 좌표로부터, 가상의 신체 영상이 움직인 가상 공간 내 방향을 향해, 움직인 속도에 비례하는 가상 공간 상의 속도로, 코딩 블록(21)이 물리법칙(ex. 가상 공간 내 설정된 중력가속도, 가상 공간 내 설정된 공기저항)에 따른 중력과 공기저항을 받아 움직이도록 계산하여, 가상 공간 내 코딩 블록(21)의 움직임을 구현할 수 있다.

제어 모듈(227)은 가상 공간 내 코딩 블록(21)의 움직임에 따른 코딩 블록(21)의 좌표 정보와, 가상 공간 내 복수의 필드가 배치된 좌표 정보를 비교하여, 코딩 블록(21)의 정보를 필드에 매핑하는 다음의 동작을 수행할 수 있다.

도 11은 본 발명의 일 실시예에 따라 놓거나 던져진 코딩 블록(21)이 필드(41)에 도달하는 경우 코딩 블록(21)의 코딩 정보가 필드(41)에 매핑되는 동작의 예시도이다.

도 11을 참조하면, 제어 모듈(227)은 코딩 블록(21)의 움직임에 따라 코딩 블록(21)이 복수의 필드 중 어느 하나의 필드(41)의 위치에 도달한 것으로 판별된 경우, 상기 어느 하나의 필드(41)에 코딩 블록(21)이 포함하는 코딩 정보를 매핑시킬 수 있다.

본 발명의 일 실시예에 따르면 기본적으로 하나의 필드에는 하나의 코딩 블록이 배치될 수 있다. 이에 따라, 캐릭터가 특정 필드에 도달하는 경우, 캐릭터는 필드가 포함하는 하나의 코딩 블록에 따른 동작을 수행하게 된다. 한편, 상술한 제6 코딩 정보는 기본적으로 하나의 필드에는 하나의 코딩 블록이 배치될 수 있다는 필드에 대한 기본 규칙을 변경시켜, 하나의 필드에 복수의 코딩 블록이 매핑될 수 있도록 한다. 즉, 제6 코딩 정보는 조건문과 유사한 역할을 수행하여 상술한 기본 규칙을 변경할 수 있다.

도 12는 본 발명의 일 실시예에 따라 하나의 필드에 복수의 코딩 블록이 매핑되어, 하나의 필드에서 캐릭터가 복수의 명령을 수행하는 동작의 예시도이다.

도 12를 참조하면, 제어 모듈(227)은 제6 코딩 정보를 포함하는 코딩 블록이 특정 필드에 배치된 것을 판별하면, 해당 필드에 대해 복수의 코딩 블록이 매핑될 수 있도록 상태를 변경하고, 환자는 해당 필드에 복수의 코딩 블록을 던짐에 따라, 복수의 코딩 블록들이 입력된 순서대로 실행되도록 해당 필드에 복수의 코딩 블록에 대한 정보를 매핑시킬 수 있다. 이에 따라, 캐릭터가 해당 필드를 경유하는 경우, 복수의 코딩 블록이 매핑되어 있는 순서대로 하나의 필드에서 캐릭터의 동작이 제어될 수 있다. (if input of 필드A = 제6 코딩 블록, output of 필드A = 제6 코딩 블록 이후 입력된 복수의 코딩 블록의 입력 순서대로 캐릭터가 필드A에 도달하는 경우 모두 실행)

도 12의 코드 진행 정보(51)의 필드 중에는 2개의 코딩 정보가 매핑된 필드들이 존재하고, 이는 환자가 제6 코딩 정보에 따른 코딩 블록을 해당 필드에 매핑시킨 후, 복수의 코딩 블록을 차례대로 매핑시킨 것이다. 이에 따라, 도 12의 필드 중 "Turn left, Forward"가 매핑되어 있는 필드에서 캐릭터는 "왼쪽으로 돌고, 전진"하는 동작을 수행하여 90도로 꺾여진 필드로 진입할 수 있다. 또한, "Attack, Forward"가 매핑되어 있는 필드에서 캐릭터는 "몬스터를 공격하고, 전진"하는 동작을 수행하여 몬스터를 처치하고 다음 필드로 진입할 수 있다.

즉, 제6 코딩 정보는 기본적으로 하나의 필드에는 하나의 코딩 블록이 배치될 수 있다는 필드에 대한 기본 규칙을 변경시키는 조건문과 유사한 역할을 할 수 있다.

제어 모듈(227)은 복수의 필드에 대한 코딩 블록의 배치 완료에 따라, 캐릭터가 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작이 수행되도록 제어할 수 있다(S370)

제어 모듈(227)은 복수의 필드에 매핑된 코딩 정보가 실행되는 순서에 대한 코드 진행 정보(ex. 도 9 내지 도 12의 도면부호 51)를 가상 공간에 출력할 수 있다. 도 12의 코드 진행 정보(51)를 참조하면, 맵을 이루는 복수의 필드는 함수들을 의미하고, 필드가 연결된 순서는 함수들이 실행되는 순서를 의미할 수 있다. 또한, 각 필드 내부의 코딩 정보는 함수 내부에서 실행되어야 하는 명령어문을 의미하고, 캐릭터의 위치는 코드가 실행되는 순서 및 실행되는 위치를 의미할 수 있다.

한편, 상술한 도 3 내지 도 12에서는 상지가 마비되거나 절단된 환자를 기준으로 재활 콘텐츠를 사용하는 실시예를 설명하였으나, 도 13 및 도 14의 실시예에 따르면 하체가 절단되거나 마비된 환자를 대상으로도 재활 콘텐츠를 적용할 수 있다.

도 13은 본 발명의 일 실시예에 따른 HMD 장치(200)가 수행하는 가상 이식 하체를 이용한 재활 콘텐츠 제공 방법의 흐름도이다. 도 13에 따른 재활 콘텐츠 제공 방법의 각 단계는 도 2를 통해 설명된 HMD 장치(200)의 구성들에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.

콘텐츠 DB(211)는 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장 및 로딩할 수 있다(S1310).

콘텐츠 모듈(221)은 재활 콘텐츠가 플레이됨에 따라 가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 생성하여 디스플레이부(240)에 출력할 수 있다(S1320). 센싱 모듈(223)은 재활 콘텐츠를 플레이하는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체(11)와 대칭되는 신체 부위인 제2 하체(12)에 착용된 웨어러블 장치(100)로부터 환자의 움직임에 따른 제2 하체(12)의 형태 및 움직임을 획득할 수 있다(S1330).

도 14는 본 발명의 일 실시예에 따라 하체에 웨어러블 장치(100)의 착용예를 도시한 도면이다.

도 14를 참조하면, 웨어러블 장치(100)는 양측 단부가 제2 하체(12)의 관절부위(12a) 상측 및 하측에 연결되어 제2 하체(12)의 관절부위(12a)의 움직임에 따라 저항값이 변하는 소프트 센서(101), 소프트 센서(101)의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부(102) 및 접착부(102)의 일측에 구비되어 제2 하체(12)에 진동을 인가하는 액츄에이터(103)를 포함할 수 있다. 이에 따라, 환자가 제2 하체(12)의 관절부위(12a)를 움직이는 경우 소프트 센서(101)의 저항값 변화를 통해 관절부위(12a)의 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.

연산 모듈(225)은 웨어러블 장치(100)로부터 획득한 정보를 기초로 제2 하체(12)의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상(31)을 가상 공간에 생성할 수 있다(S1340).

이후, 콘텐츠 모듈(221)은 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 가상 공간에 출력하고, 환자에 의해 선택된 코딩 블록을 생성할 수 있다(S1350). 이때 코딩 블록은 가상 공간의 바닥에 생성될 수 있다.

제어 모듈(227)은 가상의 신체 영상(31)의 움직임에 기초하여 코딩 블록을 복수의 필드 중 어느 하나의 필드에 배치할 수 있다(S1360). 이때 환자는 웨어러블 장치(100)를 착용한 채로 코딩 블록을 발로 차는 동작을 할 수 있고, 이에 따라 제2 하체(12)와 대칭된 움직임이 가상의 신체 영상(31)으로 구현되어, 가상 공간의 바닥에 생성된 코딩 블록을 차는 동작이 수행될 수 있다.

가상의 신체 영상(31)이 발로 차는 동작을 취한 것으로 판별된 경우, 센싱 모듈(223)은 환자의 하체가 움직이는 방향, 속도, 및 환자의 신체 영상과 코딩 블록이 접하는 가상 공간 상의 좌표(=코딩 블록이 환자에 의해 발로 차지는 지점의 가상 공간 내 위치 정보)에 대한 정보를 획득할 수 있다. 연산 모듈(225)은 환자가 코딩 블록(21)을 차는 모션을 행하여 코딩 블록(21)이 가상의 신체 영상(31)에 접하기 시작한 좌표로부터, 가상의 신체 영상(31)이 움직인 가상 공간 내 방향을 향해, 움직인 속도에 비례하는 가상 공간 상의 속도로, 코딩 블록(21)이 물리 법칙(ex. 가상 공간 내 설정된 중력가속도, 가상 공간 내 설정된 공기저항)에 따른 중력과 공기저항을 받아 움직이도록 계산하여, 가상 공간 내 코딩 블록(21)의 움직임을 구현할 수 있다. 제어 모듈(227)은 가상 공간 내 코딩 블록(21)의 움직임에 따른 코딩 블록(21)의 좌표 정보와, 가상 공간 내 복수의 필드가 배치된 좌표 정보를 비교하여, 코딩 블록(21)의 정보를 필드에 매핑하는 동작을 수행할 수 있다.

제어 모듈(227)은 복수의 필드에 대한 코딩 블록의 배치 완료에 따라, 캐릭터가 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 제어할 수 있다(S1370)

한편, 도 13의 실시예에서는 도 2의 실시예에서의 구현과 차별되는 동작의 내용을 기술하였으며, 도 13에서 설명된 동작 이외의 구현은 도 3 내지 도 12의 설명에서 설명된 내용과 중복되므로 중복되는 내용은 생략하기로 한다.

상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다.

또한, 환자는 HMD 장치(200)를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치(100)가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.

더불어, 환자는 HMD 장치(200)를 통해 가상 공간 속에서 보여지는 가상의 신체 영상(ex. 손 또는 하체)을 이용하여 현실감 있게 가상의 손, 팔, 다리 등을 이용하면서, 주어진 과제를 완료하기까지 캐릭터가 경유하는 각 필드에서 요구되는 코딩 블록을 배치하여 과제를 해결해 나감으로써, 치료 과정에서 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

재활 콘텐츠 제공 장치가 수행하는 재활 콘텐츠 제공 방법에 있어서,
가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 저장하는 동작;
상기 재활 콘텐츠의 로딩에 따라 상기 복수의 필드를 가상 공간에 출력하는 동작;
환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체와 대칭되는 신체 부위인 제2 하체에 착용된 웨어러블 장치로부터 상기 환자의 움직임에 따른 제2 하체의 형태 및 움직임을 획득하는 동작;
상기 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 상기 가상 공간에 생성하는 동작;
상기 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 상기 가상 공간에 출력하고 상기 환자에 선택된 코딩 블록을 상기 가상 공간에 생성하는 동작;
상기 가상의 신체 영상의 움직임에 기초하여 상기 코딩 블록을 상기 복수의 필드 중 어느 하나의 필드에 배치하는 동작; 및
상기 복수의 필드에 대한 코딩 블록의 배치 완료에 따라 상기 캐릭터가 상기 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 수행하도록 제어하는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제1항에 있어서,
상기 코딩 블록을 생성하는 동작은,
복수의 코딩 블록을 포함하는 목록을 상기 가상 공간에 출력하는 동작; 및
상기 목록에 대한 상기 환자의 음성 또는 상기 가상의 신체 영상의 움직임을 통한 지명에 의해 선택된 코딩 블록을 상기 가상 공간의 바닥에 생성하는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제2항에 있어서,
상기 필드에 배치하는 동작은,
상기 가상의 신체 영상이 상기 코딩 블록을 발로 차는 움직임을 감지하는 동작;
상기 가상의 신체 영상이 움직이는 방향 및 속도를 기초로 상기 코딩 블록이 나아가는 방향 및 속도를 계산하여 상기 가상 공간 내에 상기 코딩 블록의 움직임을 출력하는 동작; 및
상기 코딩 블록의 움직임에 따라 상기 코딩 블록이 상기 복수의 필드 중 어느 하나의 필드에 도달한 것으로 판별된 경우, 상기 어느 하나의 필드에 상기 코딩 블록에 대응되는 동작에 대한 코딩 정보를 매핑시키는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제1항에 있어서,
상기 복수의 필드는,
캐릭터가 통과 가능한 제1 필드; 캐릭터가 통과 시 게임 오버되는 제2 필드; 및 몬스터가 존재하는 제3 필드를 포함하고,
상기 복수의 필드를 가상 공간에 출력하는 동작은,
상기 제1 필드, 상기 제2 필드 및 상기 제3 필드 중 적어도 두개 이상의 필드를 선별하는 동작; 및
상기 선별된 필드 중 어느 하나의 필드의 한 면에는, 적어도 하나의 다른 선별된 필드가 연결되도록 상기 맵을 생성하여 상기 가상 공간에 출력하는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제1항에 있어서,
상기 코딩 블록은,
상기 캐릭터를 전진시키는 제1 코딩 정보; 상기 캐릭터를 점프시켜 전방의 필드를 뛰어넘는 제2 코딩 정보; 상기 캐릭터를 왼쪽으로 회전시키는 제3 코딩 정보; 상기 캐릭터를 오른쪽으로 회전시키는 제4 코딩 정보; 상기 캐릭터가 공격을 수행하여 전방의 몬스터를 제거하는 제5 코딩 정보; 및 하나의 필드에 복수의 코딩 블록이 매핑될 수 있도록 상기 하나의 필드에 대한 아이템 매핑 규칙을 변경시키는 제6 코딩 정보를 포함하고,
상기 제어하는 동작은,
상기 제6 코딩 정보에 의해 매핑 규칙이 변하여 하나의 필드에 복수의 코딩 블록이 매핑되어 있는 필드를 상기 캐릭터가 경유하는 경우, 상기 복수의 코딩 블록이 매핑되어 있는 순서대로 상기 캐릭터의 동작을 제어하는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제1항에 있어서,
상기 재활 콘텐츠 제공 방법은,
상기 필드에 배치하는 동작 이후에, 상기 복수의 필드에 대한 코딩 블록의 배치에 따라, 상기 복수의 필드에 매핑된 코딩 정보가 실행되는 순서에 대한 코드 진행 정보를 상기 가상 공간에 출력하는 동작을 더 포함하는,
재활 콘텐츠 제공 방법.
제1항에 있어서,
상기 웨어러블 장치는,
양측 단부가 상기 제2 하체의 관절부위 상측 및 하측에 연결되어 상기 제2 하체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서;
상기 소프트센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및
상기 접착부의 일측에 구비되어 상기 제2 하체에 진동을 인가하는 액츄에이터를 포함하는,
재활 콘텐츠 제공 방법.
제7항에 있어서,
상기 가상의 신체 영상을 상기 가상 공간에 생성하는 동작은,
상기 웨어러블 장치로부터 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 포함하는,
재활 콘텐츠 제공 방법.
제1항 내지 제8항 중 어느 한 항의 재활 콘텐츠 제공 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
재활 콘텐츠 제공 장치에 있어서,
영상을 출력하는 디스플레이부; 소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작 가능 하도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는,
가상 공간 내 캐릭터가 출발지에서 목적지로 가기 위해 경유하는 복수의 필드로 구성된 맵을 포함하는 재활 콘텐츠를 로딩하는 동작;
상기 재활 콘텐츠의 로딩에 따라 상기 복수의 필드를 가상 공간에 출력하는 동작;
환자의 절단되거나 마비된 신체 부위에 해당하는 제1 하체와 대칭되는 신체 부위인 제2 하체에 착용된 웨어러블 장치로부터 상기 환자의 움직임에 따른 제2 하체의 형태 및 움직임을 획득하는 동작;
상기 획득한 정보를 기초로 상기 제2 하체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 상기 가상 공간에 생성하는 동작;
상기 캐릭터의 동작을 제어하는 코딩 블록에 대한 목록을 상기 가상 공간에 출력하고 상기 환자에 선택된 코딩 블록을 상기 가상 공간에 생성하는 동작;
상기 가상의 신체 영상의 움직임에 기초하여 상기 코딩 블록을 상기 복수의 필드 중 어느 하나의 필드에 배치하는 동작; 및
상기 복수의 필드에 대한 코딩 블록의 배치 완료에 따라 상기 캐릭터가 상기 출발지로부터 경유하게 되는 필드에 매핑된 코딩 정보에 따른 동작을 수행하도록 제어하는 동작을 포함하는,
재활 콘텐츠 제공 장치.