KR20220066495A

KR20220066495A - 확장현실 기반의 침술 시스템 및 그 방법

Info

Publication number: KR20220066495A
Application number: KR1020200152587A
Authority: KR
Inventors: 김지성; 권오상
Original assignee: 쿼드러쳐 주식회사
Priority date: 2020-11-16
Filing date: 2020-11-16
Publication date: 2022-05-24
Also published as: WO2022102863A1; KR102443956B1

Abstract

본 발명은 확장현실을 기반으로 관절 조작이 가능한 인체 모형에 뼈 및 근육정보를 투영하여 표시하면서 취혈과 침술을 할 수 있도록 하는 확장현실 기반의 침술 시스템 및 그 방법을 제안한다. 본 발명의 확장현실 기반의 침술 시스템은, 소정 실습 공간 내에 위치하는 인체 모형과, 상기 인체 모형의 혈 자리에 시술되는 시술 침, 실습자의 시선 및 손 동작을 인식하고 상기 실습자의 시선에 따라 상기 인체 모형에 뼈 또는 근육 정보를 가지는 가상 모델이 투영된 상태로 표시하는 XR 헤드셋, 상기 실습 공간내에 위치하는 상기 인체 모형과 함께 상기 시술 침 및 실습자가 착용하는 상기 XR 헤드셋의 공간 좌표를 제공하는 모션 캡처 유닛, 그리고 상기 모션 캡처 유닛이 제공한 상기 공간 좌표를 기초로 상기 인체 모형에 투영될 상기 가상 모델을 생성하여 상기 XR 헤드셋에 제공하며, 취혈 및 침술과정에 필요한 정보들을 실습자의 시선에 맞게 재구성하여 상기 XR 헤드셋에 제공하는 중앙처리장치를 포함하여 구성된다.

Description

확장현실 기반의 침술 시스템 및 그 방법{eXtended reality-based acupuncture system and method thereof}

본 발명은 취혈 및 침술시스템에 관한 것으로, 특히 관절 조작이 가능하며 뼈와 근육이 내재된 인체 모형과 근육 및 뼈의 3D 가상 모델을 홀로그램으로 합성하여 보여주는 확장현실 환경하에서 실습자가 인체 모형에 취혈과 침술을 할 수 있도록 하는 시스템 및 방법에 관한 것이다.

한의학에서 시행되고 있는 침술은 인체에 분포되어 있는 각종 경혈에 침을 시술하여 각종 질병을 치료할 수 있는 의료행위다. 침술이 시술되는 부위인 경혈은 신체에 무수히 많이 분포되어 있으며, 질병의 종류에 따라 침을 시술하여야 하는 경혈의 부위는 각각 상이하다. 침술을 시술하기 위해서는 경혈의 위치를 올바르게 알고 있어야 하며, 경혈의 정확한 위치를 파악하기 위한 취혈이 무엇보다 중요하다. 침을 잘못 놓게 될 경우, 주변의 신경이나 혈관, 근육, 근막, 인대, 골막 등이 자극되어 상해를 입히거나 환자가 불쾌해하는 경우가 있다.

상기 경혈의 위치를 정확하게 찾아내고, 찾아낸 혈자리에 침을 시술하기 위해서는 사전에 많은 실습이나 훈련이 필요하다. 종래에는 실습이나 훈련에 참가한 실습자(교육생)가 직접 자신 또는 동료의 신체를 대상으로 시술을 하는 경우가 있었다. 그러나 이러한 행위는 신체의 신경조직이나 근육에 직접 침을 시술하기 때문에 상당한 위험을 초래할 수 있었고, 침술 횟수에 제한이 따를 수 밖에 없다.

다른 방법으로 한국공개특허 10-2020-0073492호의 선행문헌을 들 수 있다. 상기 선행문헌은 인체모형(인체더미)에 침을 직접 시침하면서 반복 실습할 수 있는 방안이다. 그러나 여기에 사용된 인체모형은 재질만 실리콘으로 제조됐을 뿐, 경혈 위치나 침술 행위를 위한 어떠한 정보도 제공하지 않아 학습효과가 떨어진다. 또 상기 선행문헌은 인체모형에 경혈점의 위치가 표시되어 있다. 그래서 경혈점의 위치가 표시된 인체모형에 침을 시침하기 때문에, 앞서 언급한 바와 같이 경혈점의 위치를 찾는 것이 무엇보다 중요한 한의학 분야에서 이러한 선행문헌은 경혈의 위치를 찾는 훈련이나 실습을 실질적이면 효과적으로 제공할 수 없어, 실습방법으로 부적합하다.

근래에 더 나은 침술 실습방안으로 VR(Virtual Reality) 환경을 이용한 침술시스템이 제안되고 있다. 실제 침을 놓거나 인체모형을 이용한 방법보다 실습이 용이한 이점이 있다.

그러나 상기 VR 환경은 그래픽으로만 구성된 가상 환경 속에서 실습을 진행하기 때문에 실제 환경과 시각적 차이가 발생하며, 또한 가상 환경 속 인체 모형을 만질 수 없어 실습 효과가 떨어진다. 이를 해결하기 위해 실제 인체 모형과 상호작용하는 VR 실습 시스템도 제안되었으나, VR 속 가상 인체 모형과 실제 인체 모형의 연동을 위해서는 센서를 부착해야만 하기 때문에, 이 과정에서 인체 모형 변형이 일어난다. 이로 인하여 실제 침술 환경과 많은 차이가 있어 실습 효과가 떨어진다.

따라서 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 뼈와 근육이 내재된 인체모형에 뼈와 근육에 대한 3D 가상모델을 홀로그램 형태로 합성하여 실제와 동일한 환경에서 취혈 및 침술 행위에 대한 피드백을 실시간으로 제공할 수 있는 확장현실 기반의 침술 시스템 및 그 방법을 제공하는 것이다.

이와 같은 목적을 달성하기 위한 본 발명은, 소정 실습 공간 내에 위치하는 인체 모형; 상기 인체 모형의 혈 자리에 시술되는 시술 침; 실습자의 시선 및 손 동작을 인식하고 상기 실습자의 시선에 따라 상기 인체 모형에 뼈 또는 근육 정보를 가지는 가상 모델이 투영된 상태로 표시하는 XR 헤드셋; 상기 실습 공간내에 위치하는 상기 인체 모형과 함께 상기 시술 침 및 실습자가 착용하는 상기 XR 헤드셋의 공간 좌표를 제공하는 모션 캡처 유닛; 및 상기 모션 캡처 유닛이 제공한 상기 공간 좌표를 기초로 상기 인체 모형에 투영될 상기 가상 모델을 생성하여 상기 XR 헤드셋에 제공하며, 취혈 및 침술과정에 필요한 정보들을 실습자의 시선에 맞게 재구성하여 상기 XR 헤드셋에 제공하는 중앙처리장치를 포함하는 것을 특징으로 하는 확장현실 기반의 침술 시스템을 제공한다.

상기 모션 캡처 유닛은, 상기 실습 공간 내에 위치하는 상기 인체 모형, 시술 침 및 XR 헤드셋을 촬영하는 복수 대의 카메라; 상기 인체 모형, 시술 침, XR 헤드셋과의 거리를 측정하는 거리 측정부; 측정된 상기 거리에 따라 인체 모형, 시술 침 및 XR 헤드셋의 위치 좌표를 계산하는 제1 계산부; 상기 인체 모형에 시술되는 시술 침의 위치, 방향 및 각도를 계산하는 제2 계산부를 포함하여 구성된다.

상기 인체 모형은, 실리콘 재질로 만들어진 신체의 전부 또는 일부이며, 관절 움직임이 가능한 모형이다.

상기 시술 침은, 3개의 축(x, y, z축) 방향을 가리키는 마커; 및 상기 마커를 시술 침에 부착하는 침 마커 부착 유닛을 포함한다.

상기 XR 헤드셋은, 머리에 착용 가능한 형상의 본체; 상기 본체의 전방에 설치되며 실습자의 시선과 손동작 인식을 위해 영상을 촬영하는 카메라; 상기 카메라가 촬영한 정보를 기초로 실습자의 손동작과 시선 정보를 처리하는 영상처리부; 상기 중앙처리장치와 정보 송수신을 위한 송수신부; 및 상기 중앙처리장치가 실습자에게 제공할 정보들을 실습자의 시선에 맞게 표시하는 투명재질의 디스플레이부를 포함하여 구성된다.

상기 디스플레이부는, 상기 본체의 전방에 상기 실습자의 눈의 전방에 이격되어 위치한다.

상기 가상 모델은, 상기 인체 모형의 뼈 및 근육 정보를 포함하며, 상기 인체 모형에 가상 모델이 투영되면 XR 헤드셋을 통해 상기 인체 모형으로부터 얻지 못하는 정보들을 표시해준다.

상기 인체 모형의 관절 움직임에 따라, 상기 가상 모델도 동일하게 움직인다.

본 발명의 다른 특징에 따르면, 확장현실 기반의 침술 시스템을 이용하여 침술 실습을 하는 침술방법에 있어서, 실습 공간에 위치한 인체 모형과 동일한 위치에 있도록 가상 모델을 생성하는 제1 단계; 상기 가상 모델이 합성된 인체 모형을 실습자가 XR 헤드셋을 통해 확인하는 제2 단계; 상기 XR 헤드셋을 통해 인체 모형과 더불어 가상 모델의 정보도 확인하면서 상기 인체 모형에서 시술 침을 놓을 경혈점을 찾는 제3 단계; 및 상기 경혈점에 시술 침을 시술하는 제4 단계를 포함하는 확장현실 기반의 침술 방법을 제공한다.

상기 제1 단계는, 상기 인체 모형의 움직임이 발생하면, 상기 움직임에 따라 변경된 좌표로 상기 가상 모델이 합성되도록 한다.

상기 제3 단계는, 상기 경혈점을 찾지 못하면, 상기 확장현실 기반의 침술 시스템은 상기 실습자에게 경혈점을 찾아가는 손동작 위치정보를 순차적으로 제공한다.

상기 제4 단계는, 상기 확장현실 기반의 침술 시스템이 상기 인체 모형에 시술된 상기 시술 침의 위치, 방향, 각도 정보를 제공받고, 상기 시술 침의 정상 시술여부를 판단한다.

상기 시술 침의 시술상태가 잘못된 경우, 수정된 상기 시술 침의 위치, 방향, 각도 정보를 안내한다.

이상과 같은 본 발명의 확장현실 기반의 침술 시스템 및 그 방법에 따르면, 기존의 가상현실이 아닌 실제와 같은 현실 조건에서 침술 실습을 할 수 있어, 실습 효과를 높일 수 있다.

본 발명에 따르면, 실제 침술에 사용하는 침(시술침)을 사용하기 때문에 모형 침이나 각종 센서 등이 장착된 침을 이용한 실습보다 더 효율적인 실습을 기대할 수 있다.

본 발명에 따르면, 실습과정에 대한 평가 정보가 실시간으로 제공되기 때문에, 사용자는 취혈 및 침술과정에서의 잘못을 바로 피드백 받을 수 있어, 취혈 및 침술동작을 수정해가면서 실습, 학습이 가능하다.

도 1은 본 발명의 바람직한 실시 예에 따른 확장현실 기반의 침술 시스템을 보인 구성도
도 2는 도 1의 모션 캡처 유닛에 구비된 유닛 박스의 구성도
도 3에 본 발명에 따라 마커가 부착된 시술 침의 예시도
도 4는 본 발명에 따라 실습자가 착용하는 XR 헤드셋의 블록 구성도
도 5는 본 발명에 따라 인체 모형에 가상 모델이 적용된 예시도
도 6은 본 발명의 바람직한 실시 예에 따른 확장현실 기반의 침술 방법을 설명하는 흐름도
도 7 내지 도 9는 본 발명에 따라 취혈 및 침술 과정의 일부를 나타내는 예시도면

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하에서는 도면에 도시한 실시 예에 기초하면서 본 발명에 대하여 더욱 상세하게 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 확장현실 기반의 취혈 및 침술 시스템을 보인 전체 구성도이다. 도 1과 같이 본 발명에 따라 취혈 및 침술을 위한 일련의 실습 공간과 상기 실습 공간 내에 위치하는 인체 모형(200), 실습자가 착용하는 XR 헤드셋(300), 시술 침(400, 도 3 참조)들의 각각의 위치를 인식하고 계산하는 모션 캡처 유닛(100)이 구비된다.

모션 캡처 유닛(100)은 복수 대의 카메라(101) 및 각 카메라(101)와 연결된 유닛 박스(102. 도 2 참조)를 포함한다. 카메라(101)들은 실습 공간에서 인체 모형(200)을 중심으로 둘러싸는 형태로 설치되며,유닛 박스(102)는 카메라(101)에 일체로 구성되거나 별개 구성으로 제공될 수 있다.

상기 카메라(101)는 실습 공간과 상기 실습 공간내에 위치하는 상기 구성들(인체 모형, XR 헤드셋, 시술 침)을 촬영하는 역할을 한다. 각 구성들의 위치 좌표를 계산하기 위함이다.

도 2는 유닛 박스(102)의 구성이다. 도시된 바와 같이 거리 측정부(104) 및 좌표 계산부(제1 계산부)(106)를 포함하고 있다. 거리 측정부(104)는 상기한 구성들과의 거리를 측정하고, 좌표 계산부(106)는 측정된 거리값에 따라 각 구성들의 위치 좌표를 계산하는 기능을 수행한다. 이처럼 상기 실습 공간(A) 내에서 각 구성들의 위치를 인식하는 것은 인체 모형(200)에 가상 모델(600)을 정확하게 일치시키기 위한 것이다. 즉 아래에서 설명하겠지만, 인체 모형(200)은 실제 신체와 같이 관절 움직임이 가능한 구조로서, 실습자가 인체 모형(200)의 관절을 움직이더라도(즉 인체 모형의 위치가 변경), 인체 모형(200)에 가상 모델(600)을 정확하게 투영시키기 위한 것이다. 여기서 가상 모델(600)은 상기 인체 모형(200)에 투영될 뼈나 근육정보 등을 포함한다. 그래서 인체 모형(200)에 가상 모델(600)이 투영되면 실습자는 실제 신체 내부와 동일한 형상을 볼 수 있는 것이다.

상기 가상 모델(600)이 적용된 인체 모형(200)의 예는 도 5에 도시하고 있다. 도 5a는 인체 모형(200)에 뼈와 근육 정보(602)가 투영된 상태, 도 5b는 인체 모형(200)에 뼈 정보(604)가 투영된 상태이다. 이처럼 실제 신체를 보는 것과 같이 효과를 제공한다.

다시 도 2를 살펴보면, 상기 모션 캡처 유닛(100)은 인체 모형(200)에 시술되는 시술 침(400)의 위치, 방향 및 각도를 계산하기 위한 제2 계산부(108)도 포함한다. 시술 침(400)이 인체 모형(200)의 경혈점에 정확하게 시술되고 있는가를 판단하기 위해서이다.

상기 인체 모형(200)은 취혈 및 침술 대상인 구조체의 인체 모형을 말한다. 인체 모형(200)은 신체의 전부 또는 일부가 될 수 있으며, 전부 또는 일부와 대응하는 모형으로 만들어진다. 본 실시 예에서 인체 모형(200)은 3차원 형상으로 형성되며, 실제 피부와 유사한 재질로 만들어지고, 무릎이나 발목 등의 관절이 실습자의 조작에 의해 움직일 수 있게 제작된다. 즉 일반적으로 실습에 사용되었던 단순한 인체 모형이 아닌 실제 신체와 유사한 재질 및 관절 움직임이 가능한 인체 모형이 사용된다.

본 실시 예에 따르면, 도 3에 도시한 바와 같이 상기 모션 캡처 유닛(100)이 시술 침(400)의 움직임을 인식할 수 있도록 3개의 축(x, y, z축)이 표시된 마커(412, 414, 416)를 시술 침(400)에 부착할 수 있는 침 마커 부착유닛(410)이 구비된다. 침 마커 부착 유닛(410)은 시술 침(400)의 일단에 다양한 방식으로 부착할 수 있는 구조를 가진다. 예를 들면, 시술 침(400)의 끝단에 고정되거나 또는 시술 침(400)의 외경에 끼움 고정방식으로 부착하는 방법 등을 들 수 있다. 이처럼 본 발명은 실제 침술에 사용하는 동일한 시술 침을 그대로 사용할 수 있는 것이다. 즉 본 실시 예는 종래에 실습에 사용하는 모형 침이나 각종 센서 등이 부착된 시술 침을 사용하는 것이 아니다. 그만큼 실습과 실제 시술시의 침의 변경으로 인해 손 감각 등이 달라지는 문제 등을 방지할 수 있다.

상기 침 마커 부착 유닛(410) 및 마커(412, 414, 416)는 시술 침(400)의 길이나 직경 등에 따라 다양한 사이즈로 설계된다. 시술 침(400)의 크기에 대해 너무 작거나 크면 시술 침(400)의 움직임을 효과적으로 추적하지 못할 수도 있기 때문이다.

도 4는 본 발명에 따라 실습자가 착용하는 XR 헤드셋(300)의 블록 구성도이다. 도시된 바와 같이 상기 XR 헤드셋(300)은 실습자가 머리에 착용한 상태에서 실습자의 시선 및 손 동작을 인식하고 시선에 따라 각종 정보들을 표시하는 장치를 말한다. 이러한 XR 헤드셋(300)은 머리에 착용할 수 있도록 형성된 본체의 전방에 설치되는 카메라(310), 본체 내의 소정 위치에 구비되는 영상처리부(320) 및 송수신부(330), 실습자의 눈 전방에 위치하는 디스플레이부(340)를 포함하고 있다.

상기 카메라(310)는 실습자의 시선 및 손동작 인식을 위하여 영상을 촬영하기 위한 장치이다. 카메라(310)는 사용자의 시선과 대응될 수 있도록 시선과 손동작을 오차 없이 인식할 수 있도록 여러 개의 카메라 센서와 IR 카메라를 포함하여 구성된다.

상기 영상처리부(320)는 상기 카메라(310)가 촬영한 정보를 기초로 실습자의 손동작와 시선 정보, 즉 시선 방향, 위치, 각도를 처리하기 위한 장치이다.

상기 송수신부(330)는 중앙처리장치(500)와 각종 정보를 송수신하기 위한 장치로서, 송수신은 다양한 통신매체를 이용할 수 있다. 이러한 상기 송수신부(330)는 영상처리부(320)가 처리한 정보를 중앙처리장치(500)로 전송하고, 중앙처리장치(500)가 상기 XR 헤드셋(300)에 표시할 정보를 전송받는 역할을 한다. 송수신부(330)는 유선 통신방식 대신 편의를 위해 무선 통신 방식이 적용되는 것이 좋다. 무선 통신방식의 예로. 본 실시 예는 RF 모듈, 블루투스(BT) 모듈, 와이파이(WiFi) 모듈, 지그비(Zigbee) 모듈 등과 같이 다양한 방식을 적용할 수 있으나, 이외에도 다른 무선모듈을 이용한 통신방식이 얼마든지 적용될 수 있음은 당연하다.

상기 디스플레이부(340)는 상기 중앙처리장치(500)가 실습자에게 제공할 정보들을 실습자의 시선에 맞게 표시하는 부분이다. 디스플레이부(340)는 가상현실에서 정보를 표시하는 것이 아니고, 실습자의 전방에 위치한 인체 모형(200)과 함께 상기 인체 모형(200)에 가상 모델(600)이 투영된 형상, 그리고 실습자의 손 움직임과 같은 실제 시야 정보를 볼 수 있어야 하기 때문에 투명 재질로 이루어진다. 이는 종래 VR과 같은 가상현실 정보를 표시하도록 만들어진 헤드셋과는 전혀 다른 구성이라 할 수 있다.

본 실시 예에 따르면, 실습 공간의 소정 위치에 마련된 중앙처리장치(500)를 포함한다. 중앙처리장치(500)는 일련의 컴퓨터 장치일 수 있다. 중앙처리장치(500)는 상기 모션 캡처 유닛(100)이 계산한 각 구성들의 좌표들을 실습자의 시선에 맞게 재구성하여 영상을 생성하는 역할을 한다. 즉 인체 모형(200)에 투영할 가상 모델(600)을 생성하는 것이다.

이러한 중앙처리장치(500)는 취혈 및 침술 과정에서 올바른 취혈 동작 및 시술 침(400)의 위치를 판단하고, 판단 결과를 XR 헤드셋(300)에 전송하는 기능도 제공한다. 또 중앙처리장치(500)는 취혈 및 침술 과정에 따른 각종 메뉴 정보를 XR 헤드셋(300)에 전송하기도 한다. 이때 상기 메뉴 정보는 실습자의 손동작에 따라 중앙처리장치(500)가 호출하여 XR 헤드셋(300)에 전송되며, 실습자는 표시되는 메뉴를 손으로 터치 조작하여 명령을 실행한다. 그리고 상기 중앙처리장치(500)는 실습자 이외의 다른 사용자가 실습 과정을 볼 수 있도록 취혈 및 침술 실습의 전 과정을 화면 표시할 수 있고, 이러한 화면 표시된 정보들을 다른 장소에 위치한 모니터 등에 표시하게 할 수 있다.

다음에는 이와 같이 구성된 시스템을 이용한 취혈 및 침술 과정에 대하여 도 6을 참조하여 살펴본다. 본 발명의 취혈 및 침술과정은 크게 준비과정, 실습과정을 포함할 수 있고, 실습과정에는 평가 및 실습 결과에 대한 피드백을 수행하는 과정이 포함될 수 있다.

상기 준비과정은 취혈 및 침술을 위한 선행과정이라 할 수 있다.

실습을 위해 마련된 실습 공간에 카메라(101)를 포함한 모션 캡처 유닛(100)이 설치된다. 모션 캡처 유닛(100)은 인식 정확도를 높이도록 중앙의 인체 모형(200)을 중심으로 방사형으로 복수 개가 설치된다. 또 실습 공간에는 실습을 위해 실습자가 착용한 XR 헤드셋(300), 침술을 위한 시술 침 등이 위치한다(s100).

이러한 환경하에서 모션 캡처 유닛(100)은 카메라(101)에 의해 상기 실습 공간의 전체 공간 좌표를 인식한다. 아울러 유닛 박스(102)에 구비된 거리 측정부(104)는 상기 카메라(101)가 촬영한 영상정보를 기초로 하여 상기 실습 공간에 위치한 인체 모형(200)과의 거리를 측정하고, 제1 계산부(106)는 상기 측정된 거리 정보를 이용하여 인체 모형(200)의 위치 좌표를 계산한다(s102). 이에 실습 공간에 위치하고 있는 인체 모형(200)의 정확한 위치를 알 수 있다. 여기서 상기한 거리 측정부(104) 및 제1 계산부(106)가 실습자나 시술 침(400)의 거리 측정 및 위치도 계산하는데, 이는 실제 취혈 및 침술 행위가 이루어질 때 수행될 것이다. 이처럼 일단은 실습 공간 및 인체 모형(200)의 위치를 인식하는 과정이 우선하여 진행된다.

이와 같이 인체 모형(200)의 위치를 인식하는 이유는 인체 모형(200)에 투영하게 될 가상 모델(600)을 생성하기 위해서이다. 본 발명은 기존의 VR(가상현실)이 아닌 실제와 같은 현실환경하에서 실습하는 것이기 때문에 인체 모형(200)의 위치가 정확할 필요가 있기 때문이다.

중앙처리장치(500)는 상기 모션 캡처 유닛(100)에 의해 계산된 인체 모형(200)의 좌표값을 기초로 하여 상기 인체 모형(200)에 투영할 가상 모델(600)을 생성한다(s104). 인체 모형(200)의 위치를 알 수 있기 때문에 그 인체 모형(200)에 그대로 투영할 수 있는 가상 모델의 생성이 가능한 것이다. 상기 가상 모델(600)은 실습 공간에 위치한 인체 모형(200)과 동일한 형상을 가지며, 도 5에 설명한 바와 같이 인체 모형(200)의 뼈, 근육, 경혈점 등의 정보를 가지는 모델을 의미한다.

이러한 가상 모델(600)은 인체 모형(200)의 관절 움직임에 따라 대응되게 투영된다. 즉 인체 모형(200)의 위치 좌표는 실시간으로 계산되어 중앙처리장치(500)에 전달되고, 중앙처리장치(500)는 움직임 발생하는 상기 인체 모형(200)에 일치되게 투영할 가상 모델(600)을 이동시킬 수 있기 때문이다. 이에 따라 실습자는 인체 모형(200)을 보면, 상기 뼈나 근육이 합성된 인체 모형을 볼 수 있다.

이처럼 인체 모형(200) 및 상기 인체 모형(200)에 투영할 가상 모델(600)이 생성되면 이후 실습과정을 할 수 있는 상태가 된다. 참고로 가상 모델(600)은 성/별에 따른 모델, 신체의 전부 또는 일부에 대한 모델이 될 수 있고, 이러한 모델들은 사전에 생성될 수도 있고, 이 경우 중앙처리장치(500)에 데이터베이스(DB)화 되어 제공될 수 있다. 그래서 실습한 인체 모형(200)에 대응하는 모델을 바로 불러올 수도 있다. 이렇게 하면 가상 모델(600)을 생성하는 과정을 생략할 수 있을 것이다.

실습 과정은 실습자가 취혈 및 침술을 실습하는 과정이다. 실습을 위하여 실습자가 XR 헤드셋(300)을 착용한다(s106). XR 헤드셋(300)을 착용하더라도 VR 헤드셋과는 달리 중앙에 위치한 인체 모형(200)을 실습자는 육안으로 직접 볼 수 있어 전방 시야는 그대로 확보된다.

실습자가 XR 헤드셋(300)을 착용한 후 전방을 주시하면, XR 헤드셋(300)에 장착된 카메라(310)는 인체 모형(200)을 촬영한다. 또 실습자가 손을 움직이면 손 움직임을 촬영한다(s108). 이때 인체 모형(200) 및 손 움직임에 대한 좌표는 모션 캡처 유닛(100)에 의해 실시간 계산되어 중앙처리장치(500)로 전송되고 있다. 또 XR 헤드셋(300)의 상기 카메라(310)가 촬영한 정보는 영상처리부(320)가 처리하여 실습자의 손동작이나 시선 정보를 처리하여 중앙처리장치(500)로 전송되고 있다. 따라서 중앙처리장치(500)는 실습자의 시선에 맞춰 인체 모형(200)과 가상 모델(600)이 동일한 위치에 있도록 좌표를 설정할 수 있다(s110).

이와 같이 인체 모형(200)과 가상 모델(600)의 좌표가 동일한 위치에 있도록 셋팅되면, 실습자가 전달하는 사용자 명령에 따라 인체 모형(200)에 가상 모델(600)을 투영시킬 수 있다(s112). 이러한 작업은 사용자 인터페이스를 통해 가능하다. 즉 실습자가 미리 정의된 명령, 예를 들어 뼈 또는 근육 정보를 선택하는 메뉴 버튼들이 표시된 사용자 메뉴가 표시되고, 실습자는 다른 손으로 메뉴 버튼을 조작하면 인체 모형(200)에 뼈나 근육을 맵핑하여 합성한다. 합성된 예는 도 5을 보면 알 수 있다. 즉 인체 모형(200)과 가상 모델(600)의 좌표를 일치시키는 것이라 할 수 있다. 이에 실습자는 XR 헤드셋(300)을 통해 뼈 또는 근육이 투영된 상태의 인체 모형(200)을 볼 수 있게 된다.

실습자는 XR 헤드셋(300)을 계속 착용한 상태에서 실습 과정을 수행한다. 실습과정은 실습자의 선택에 따라 인체 모형(200)만을 대상으로 하거나, 인체 모형(200)에 뼈나 근육정보가 투영된 상태에서 할 수 있다. 실습을 하는 도중에 인체 모형(200)에 뼈 또는 근육을 투영시키거나, 반대로 투영된 뼈 또는 근육을 제거할 수 있다.

실습과정은 취혈 및 침술 순서로 진행된다. 취혈은 시술 침을 놓기 위한 혈자리를 찾는 과정으로, 병 종류나 증세에 따라 혈자리는 다양하기 때문에 취혈과정 역시 복잡하다 할 수 있다. 그리고 취혈 과정은 대부분 한 번에 혈자리를 찾는 것이 아니라 위치를 옮겨가면서 혈자리를 찾고 있다.

취혈과정은 도 8에 도시한 바와 같이 실습자의 손 동작, 즉 인체 모형(200)을 잡은 상태에서 혈자리를 찾는 손동작을 취하는 것부터 시작된다(s114). 그리고 이러한 혈을 찾는 손 움직임은 모션 캡처 유닛(100) 및 XR 헤드셋(300)이 지속적으로 인식하고, 인식된 정보는 중앙처리장치(500)가 전달받는다.

그러면 중앙처리장치(500)는 손의 공간적 위치와 인체 모형(200)에서의 위치를 서로 비교하여 취혈 위치의 정확성을 판단한다(s116). 이에 대한 결과는 중앙처리장치(500)가 XR 헤드셋(300)에 실시간 전달하며, 따라서 실습자는 상기 결과를 확인하면서 취혈 동작을 계속할 수 있다. 상기 결과 정보는 취혈 위치가 정확한 경우, 별도의 정보를 표시하지 않을 수 있다. 반대로 취혈 위치가 정확하지 않는 경우에만 취혈 위치가 아님을 실습자가 확인할 수 있도록 표시한다(s117). 이러한 정보 표시에 따라 실습자는 자신의 손 위치를 옮겨가면서 혈자리를 찾는 과정을 계속 수행하게 되며, 이러한 과정은 침을 놓게될 정확한 혈자리를 찾을 때까지 반복된다. 정확한 혈자리를 찾게 되면 중앙처리장치(500)는 현재 누르고 있는 자리가 정확한 혈자리임을 알려주고, 필요에 따라 상기 혈자리를 소정 색상으로 표시할 수 있다.

이러한 취혈 과정이 끝나면, 해당 혈자리에 시술 침을 시술하는 침술 과정을 수행하게 된다(s118). 침술 과정은 도 9에 도시한 바와 같이 자침을 위한 안내 메시지를 참조하면서, 마커가 구비된 시술 침(400)을 이용한다.

침술과정은 실습자가 상기 혈자리에 시술 침을 놓는 행위인데, 이러한 침술 과정시 모션 캡처 유닛(100)의 제2 계산부(108)는 시술 침(400)의 위치, 방향, 각도를 계산한다(s120). 즉 시술 침(400)에 부착된 x, y, z축 방향의 마커(412, 414, 416)를 이용하면 제2 계산부(108)는 인체 모형(200)에 놓게 되는 시술 침(400)의 위치, 방향, 각도를 계산할 수 있는 것이다. 계산된 이러한 정보들은 중앙처리장치(500)로 실시간 전송된다.

그러면 중앙처리장치(500)는 인체 모형(200)의 혈자리에 올바르게 시술 침(400)이 시술되었는지를 판단한다(s122). 즉 중앙처리장치(500)는 혈자리 별로 시술되는 시술 침(400)의 올바른 침술에 대한 정보들을 가지고 있기 때문에, 인체 모형(200)에 시술된 시술 침의 위치, 방향, 각도에 기초하여 자침이 올바르게 되었는지를 알 수 있다. 이러한 판단 결과에 대한 정보는 상기한 취혈 과정과 같이 동일하게 적용된다. 즉 자침이 올바른 경우 정보를 별도 표시하지 않을 수 있다. 반대로 시출 침(400)의 위치나, 방향, 각도가 정확하지 않는 경우 중앙처리장치(500)는 위치, 방향, 각도 중 적어도 하나 이상의 정보를 실습자가 확인할 수 있도록 XR 헤드셋(300)의 디스플레이부(340)에 표시한다.

실습자는 이렇게 전달되는 정보를 통해 시술 침(400)이 잘못된 경우 즉시 확인할 수 있으며, 정보를 확인하면서 시술 침의 위치나 방향, 각도 등을 수정하면서 실습을 계속 진행한다(s123).

이처럼 본 발명의 실시 예는 취혈 및 침술 실습시에 취혈 및 침술이 잘못된 경우 즉시 잘못된 정보를 실습자가 확인하고 수정할 수 있도록 한다. 따라서 실습자가 혼자 실습을 할 때, 단계별로 실수를 하거나 잘못한 경우 이를 쉽게 인지할 수 있어 올바른 실습이 이루어지도록 한다.

또 본 발명은 신체와 거의 유사한 인체 모형과 함께 실제 침을 이용하기 때문에 실제의 침술 환경과 동일한 환경에서 실습을 할 수 있음을 알 수 있다. 더욱이 인체 모형에 뼈나 근육 정보를 추가하여 투영하기 때문에, 실습자는 마치 실제 신체를 이용하여 실습하는 것과 같은 이점이 있다.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.

100: 모션 캡처 유닛 101: (모션 캡처용) 카메라
102: 유닛 박스 104: 거리 측정부
106: 제1 계산부 108: 제2 계산부
200: 인체 모형 300: XR 헤드셋
310: (헤드셋용)카메라 320: 영상처리부
330: 송수신부 340: 디스플레이부
400: 시술 침 412, 414, 416: 마커
410: 침 마커 부착 유닛 500: 중앙처리장치
600: 가상 모델

Claims

소정 실습 공간 내에 위치하는 인체 모형;
상기 인체 모형의 혈 자리에 시술되는 시술 침;
실습자의 시선 및 손 동작을 인식하고 상기 실습자의 시선에 따라 상기 인체 모형에 뼈 또는 근육 정보를 가지는 가상 모델이 투영된 상태로 표시하는 XR 헤드셋;
상기 실습 공간내에 위치하는 상기 인체 모형과 함께 상기 시술 침 및 실습자가 착용하는 상기 XR 헤드셋의 공간 좌표를 제공하는 모션 캡처 유닛; 및
상기 모션 캡처 유닛이 제공한 상기 공간 좌표를 기초로 상기 인체 모형에 투영될 상기 가상 모델을 생성하여 상기 XR 헤드셋에 제공하며, 취혈 및 침술과정에 필요한 정보들을 실습자의 시선에 맞게 재구성하여 상기 XR 헤드셋에 제공하는 중앙처리장치를 포함하는 것을 특징으로 하는 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 모션 캡처 유닛은,
상기 실습 공간 내에 위치하는 상기 인체 모형, 시술 침 및 XR 헤드셋을 촬영하는 복수 대의 카메라;
상기 인체 모형, 시술 침, XR 헤드셋과의 거리를 측정하는 거리 측정부;
측정된 상기 거리에 따라 인체 모형, 시술 침 및 XR 헤드셋의 위치 좌표를 계산하는 제1 계산부; 및
상기 인체 모형에 시술되는 시술 침의 위치, 방향 및 각도를 계산하는 제2 계산부를 포함하는 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 인체 모형은,
실리콘 재질로 만들어진 신체의 전부 또는 일부이며, 관절 움직임이 가능한 모형인 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 시술 침은,
3개의 축(x, y, z축) 방향을 가리키는 마커; 및
상기 마커를 시술 침에 부착하는 침 마커 부착 유닛을 포함하는 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 XR 헤드셋은,
머리에 착용 가능한 형상의 본체; 상기 본체의 전방에 설치되며 실습자의 시선과 손동작 인식을 위해 영상을 촬영하는 카메라;
상기 카메라가 촬영한 정보를 기초로 실습자의 손동작과 시선 정보를 처리하는 영상처리부;
상기 중앙처리장치와 정보 송수신을 위한 송수신부; 및
상기 중앙처리장치가 실습자에게 제공할 정보들을 실습자의 시선에 맞게 표시하는 투명재질의 디스플레이부를 포함하는 확장현실 기반의 침술 시스템.
제 5 항에 있어서,
상기 디스플레이부는,
상기 본체의 전방에 상기 실습자의 눈의 전방에 이격되어 위치하는 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 가상 모델은,
상기 인체 모형의 뼈 및 근육 정보를 포함하며,
상기 인체 모형에 가상 모델이 투영되면 XR 헤드셋을 통해 상기 인체 모형으로부터 얻지 못하는 정보들을 표시해주는 확장현실 기반의 침술 시스템.
제 1 항에 있어서,
상기 인체 모형의 관절 움직임에 따라, 상기 가상 모델도 동일하게 움직이는 확장현실 기반의 침술 시스템.
확장현실 기반의 침술 시스템을 이용하여 침술 실습을 하는 침술방법에 있어서,
실습 공간에 위치한 인체 모형과 동일한 위치에 있도록 가상 모델을 생성하는 제1 단계;
상기 가상 모델이 합성된 인체 모형을 실습자가 XR 헤드셋을 통해 확인하는 제2 단계;
상기 XR 헤드셋을 통해 인체 모형과 더불어 가상 모델의 정보도 확인하면서 상기 인체 모형에서 시술 침을 놓을 경혈점을 찾는 제3 단계; 및
상기 경혈점에 시술 침을 시술하는 제4 단계를 포함하여 수행되는 것을 특징으로 하는 확장현실 기반의 침술 방법.
제 9 항에 있어서,
상기 제1 단계는,
상기 인체 모형의 움직임이 발생하면, 상기 움직임에 따라 변경된 좌표로 상기 가상 모델이 합성되는 확장현실 기반의 침술 방법.
제 9 항에 있어서,
상기 제3 단계는,
상기 경혈점을 찾지 못하면, 상기 확장현실 기반의 침술 시스템은 상기 실습자에게 경혈점을 찾아가는 손동작 위치정보를 순차적으로 제공하는 확장현실 기반의 침술 방법.
제 9 항에 있어서,
상기 제4 단계는,
상기 확장현실 기반의 침술 시스템이 상기 인체 모형에 시술된 상기 시술 침의 위치, 방향, 각도 정보를 제공받고, 상기 시술 침의 정상 시술여부를 판단하는 확장현실 기반의 침술 방법.
제 12 항에 있어서,
상기 시술 침의 시술상태가 잘못된 경우, 수정된 상기 시술 침의 위치, 방향, 각도 정보를 안내하는 확장현실 기반의 침술 방법.