KR102446921B1

KR102446921B1 - Vr/ar 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치, hmd 장치 및 시스템

Info

Publication number: KR102446921B1
Application number: KR1020200149842A
Authority: KR
Inventors: 이준서
Original assignee: 이준서
Priority date: 2020-11-11
Filing date: 2020-11-11
Publication date: 2022-09-22
Also published as: KR20220131886A; KR102499113B1; KR20220063906A

Abstract

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 치료 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다.

Description

VR/AR 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치, HMD 장치 및 시스템{WEARABLE APPARATUS, HEAD MOUNTED DISPLAY APPARATUS AND SYSTEM FOR REHABILITATION TREATMENT USING VIRTUAL TRANSPLANT BASED ON VR/AR FOR OVERCOMING PHANTOM PAIN}

본 발명은 VR/AR 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치, HMD 장치 및 시스템에 관한 것이다.

당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다.

환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다.

그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하여 현실감이 떨어진다는 단점이 있었다.

또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.

한국 등록특허공보 제10-200112호: 자이로 센서를 이용한 모션인식 장치 및 그 모션인식 방법

본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송할 수 있다.

또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.

또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다.

또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다.

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 치료 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이를 포함할 수 있다.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 생성할 수 있다.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이를 포함할 수 있다.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 치료 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 치료 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 상기 방법을 수행하는 프로세서를 포함하는 컴퓨터 프로그램을 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.

본 발명의 일 실시예에 따른 가상 이식을이용한 재활 치료 장치는, 환자의 절단된거나 마비된 제1 신체에 착용되는 트래커; 상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서; 및 환자의 머리에 착용되어 상기 제1 신체의 일단에 상기 프로세서가 생성한 가상의 신체 영상을 출력하여 디스플레이하는 HMD(Head Mounted Display) 장치;를 포함할 수 있다.

또한, 상기 웨어러블 장치는 표면의 인장 여부에 따라 변화하는 저항 값을 통해 형태 변화를 센싱하는 플렉스 필름; 및 외부 장치와 유무선 통신을 수행하는 유무선 통신부; 및 상기 제2 신체에 진동을 인가하는 액츄에이터;를 포함할 수 있다.

또한, 상기 웨어러블 장치는 환자의 손에 착용 가능한 모션캡쳐 장갑, VR 스마트 장갑 또는 모션 인식 장갑 등 어느 하나의 형태로 구비될 수 있다.

또한, 상기 웨어러블 장치는 양측 단부가 상기 제2 신체의 관절부위 상측 및 하측에 연결되어 상기 제2 신체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서; 상기 소프트센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및 상기 접착부의 일측에 구비되어 상기 제2 신체에 진동을 인가하는 액츄에이터를 포함할 수 있다.

또한, 상기 프로세서는, 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 사익 복수의3 차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.

또한, 상기 프로세서는, 상기 제1 신체 중 소점 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않는 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행할 수 있다.

본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.

더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 재활 치료 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따라 재활 치료 시스템을 사용하는 환자의 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 재활 치료 시스템을 사용하는 동작을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 시스템이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치의 디스플레이에 추가적으로 출력한 콘텐츠의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 재활 치료 시스템을 실제로 착용한 모습과, 웨어러블 장치 내부가 신체 형상을 한 FLEX 필름으로 제작된 모습의 예시도이다.
도 8은 본 발명의 일 실시예에 웨어러블 장치의 착용예를 도시한 도면이다.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

본 발명의 실시예에 따른 VR/AR 기반의 가상이식을 이용한 재활 치료 시스템(10)(이하, '재활 치료 시스템(10)'으로 지칭)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다.

본 발명의 실시예에 따른 재활 치료 시스템(10)은 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체를 구현하고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현할 수 있다. 이를 위해, 본 발명의 실시예에 따른 재활 치료 시스템(10)이 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 재활 치료 시스템(10)의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 치료 시스템(10)은 웨어러블 장치(Wearable Device)(100), HMD(Head Mounted Display) 장치(200), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 시스템은 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다.

웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다.

예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.

뿐만 아니라, 도 8을 참조하면 웨어러블 장치(100)는 양측 단부가 제2 신체(12)의 관절부위(12a) 상측 및 하측에 연결되어 제2 신체(12)의 관절부위(12a)의 움직임에 따라 저항값이 변하는 소프트 센서(101), 소프트 센서(101)의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부(102) 및 접착부(102)의 일측에 구비되어 제2 신체(12)에 진동을 인가하는 액츄에이터(103)를 포함할 수 있다. 환자가 제2 신체(12)의 관절부위(12a)를 움직이는 경우 소프트 센서(101)의 저항값 변화를 통해 관절부위(12a)의 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.

뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다.

HMD 장치(200)(Head Mounted Display)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 본 발명의 실시예의 HMD 장치(200)는 FMD(Face Mounted Display) 또는 스마트 글래스(Smart Glasses)를 포괄하는 개념이다.

도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 프로세서(220), 메모리(210), 및 디스플레이(230)를 포함할 수 있다.

메모리(210)는 프로세서(220)를 동작하도록 하는 명령어와 프로세서(220)의 동작에 필요한 데이터를 저장할 수 있다.

프로세서(220)는 중앙 처리 장치(CPU; central processing unit) 등을 포함하여 다양한 데이터의 처리 및 연산을 수행할 수 있다. 프로세서(220)는 웨어러블 장치(100) 또는 뎁스 카메라(400)가 센싱한 정보를 기초로 환자의 제2 신체(12)의 형태/움직임과 좌우가 반전된 형태/움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다.

디스플레이(230)는 환자에게 가상 정보를 포함하는 영상을 출력할 수 있다. 디스플레이(230)는 환자의 제1 신체(11)의 일단에 프로세서(220)가 생성한 가상의 신체 영상을 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 출력할 수 있다.

또한, HMD 장치(200)는 외부 장치와 유무선 통신을 수행하는 통신 모듈(도면 미도시) 및 외부 환경을 인식하고 촬영하는 카메라(도면 미도시)를 더 포함할 수 있다.

트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 웨어러블 밴드(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다.

도 3은 본 발명의 일 실시예에 따라 재활 치료 시스템(10)을 사용하는 환자의 모습을 나타낸 예시도이다.

도 3을 참조하면, 환자는 제1 신체(11)(도 3 인물의 왼손)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 치료 시스템(10)을 사용하기 위해, 환자는 제2 신체(12)(도 3 인물의 오른손)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용될 수 있다. 또한, 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 신체(11)의 일단(도 3 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.

도 4는 본 발명의 일 실시예에 따라 재활 치료 시스템(10)을 사용하는 동작을 나타낸 예시도이다.

도 4를 참조하면, HMD 장치(200)는 환자의 상지 절단된 부위와 대칭되는 부위의 신체와 좌우가 반전된 움직임을 갖는 가상의 신체 영상을 생성할 수 있다.

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 웨어러블 장치(100)가 환자의 절단된 신체 부위와 대칭되는 부위의 신체에 착용된 웨어러블 장치(100)가 센싱한 정보를 기초로, 제2 신체(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다.

이에 따라, 프로세서(220)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 프로세서(220)는 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다.

이후, 프로세서(220)는 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상을 생성할 수 있다.

도 4의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 일단에 가상의 신체 영상을 VR 영상 또는 AR 영상과 함께 출력할 수 있다.

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 카메라 또는 통신모듈을 이용하여 환자의 제1 신체(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 프로세서(220)는 카메라 또는 통신모듈을 이용하여 가상의 신체 영상에서 웨어러블 장치(100)가 착용된 신체 부분(도 3의 도면 부호 12)과 착용되지 않은 신체 부분(도 3의 도면 부호 13)의 경계 지점(도 3의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점(300)에 가상의 신체 영상의 제2 지점이 연결되도록 가상의 신체 영상을 디스플레이(230)에 출력할 수 있다.

더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 웨어러블 밴드(300)는 환자의 인대의 움직임을 기초로, 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. HMD 장치(200)는 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상이 움직이는 모습을 시각적으로 확인할 수 있다.

도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 시스템(10)이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치(200)의 디스플레이(230)에 추가적으로 출력한 콘텐츠의 예시도이다.

도 5를 참조하면, HMD 장치(200)는 손등을 위로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 옆으로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 아래로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 각 손가락을 움직이는 미션, 영상에 출력되는 소정 위치의 버튼을 누르는 미션, 영상에 출력되는 소정 위치의 객체를 옮기는 미션, 영상에 출력되는 객체에 그림을 그리는 미션, 영상에 출력되는 객체에 소정의 동작을 취하는 미션 등을 포함하는 콘텐츠를 VR 영상과 함께 출력하고, 환자가 해당 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다.

도 6를 참조하면, HMD 장치(200)는 환자가 위치한 실제 주변 환경에 가상의 신체 영상을 출력한 AR 영상을 생성하여 출력할 수 있고, 상술한 도 5의 콘텐츠와 동일한 미션의 콘텐츠를 제공하여, 환자가 미션들을 수행하도록 유도할 수 있다. 또한, HMD 장치(200)는 영상에 특정한 손 동작이나, 숫자, 또는 수학 문제를 출력하여, 환자가 가상의 신체 영상이 특정한 손 동작을 나타내도록 유도하고, 환자가 취한 손 동작이 콘텐츠에 기 설정된 답 또는 기 설정된 손동작과 같은 것으로 인식되면 환자에게 점수를 부여하는 방식으로, 환자가 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다.

상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

환자의 절단되거나 마비된 제1 신체에 착용되는 트래커;
상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서와, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함하고,
상기 트래커는,
환자의 손목 또는 팔목을 둘러싸는 본체부;
상기 환자의 손목 또는 발목의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 상기 환자가 의도한 동작을 판별하는 연산부를 포함하고,
상기 HMD 장치는,
상기 트래커가 판별한 상기 환자가 의도한 동작과 대응하는 가상의 신체 영상을 상기 디스플레이에 출력하는,
가상이식을 이용한 재활 치료 시스템.
제1항에 있어서,
상기 웨어러블 장치는,
표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송하는,
가상이식을 이용한 재활 치료 시스템.
제1항에 있어서,
상기 프로세서는,
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행하는,
가상이식을 이용한 재활 치료 시스템.
제1항에 있어서,
상기 프로세서는,
상기 트래커가 위치하는 제1 지점을 특정하는 동작;
상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및
상기 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행하는
가상이식을 이용한 재활 치료 시스템.
삭제