KR102077607B1 - 환자처치실습을 위한 증강현실구현방법 - Google Patents

Abstract

본 발명은 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 상기 현실상의 객체 영상과 합성하여 증강현실 영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 다수개의 처치실습을 위한 가상영상을 데이터베이스에 저장함에 있어 각각의 처치실습 가상영상과 각 해당마커를 매칭하는 단계와, 상기 처치실습 가상영상을 증강현실구현장치에 표현될 객체의 좌표에 설정하는 단계로 이루어지되, 상기 좌표에 객체의 위치를 설정함에 있어 증강현실구현장치의 디스플레이에 출력되는 마커와 처치실습 가상영상은 서로 소정간격 이격되게 표현되도록 하여 처치실습시 실습자에 의해 마커가 가려지는 것을 방지하도록 구성되는 환자처치실습을 위한 증강현실구현방법을 제공하기 위한 것으로, 본 발명의 효과로는 실제 환자의 상처 및 골절과 같은 상황을 증강현실 이미지로 객체(모델이나 마네킹)의 신체에 실감나게 표현하여 실습자들은 직접 실제 환자를 처치하는 것과 같은 느낌을 가질 수 있게 되어 매우 효율적인 처치실습교육이 가능할 뿐만 아니라 마커와 실제 객체에 구현되는 이미지를 서로 상당거리 이격시켜 처치실습도중 학습자가 마커가 가리는 것을 방지하여 실습효과를 높일 수 있는 매우 유용한 발명인 것이다.

Description

환자처치실습을 위한 증강현실구현방법{Augmented Reality Projection Method For The First Aid Training To The Patient}

본 발명은 환자처치실습을 위한 증강현실구현방법에 관한 것으로, 보다 상세하게는 실제 환자의 상처 및 골절과 같은 상황을 증강현실 이미지로 모델의 신체에 표현하고 환자처치실습자들에게 상황에 맞는 처치방법을 교육하고 실습자들에게 직접 실제처치방법과 동일한 방법으로 실감나게 실습해볼 수 있도록 하기 위한 증강현실구현방법에 관한 것이다.

일반적으로 증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상(객체)에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것이다.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 따라서 증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

예를 들어, 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 안내 서비스 등은 이미 상업적 서비스로 운영되고 있다.

한편, 증강현실의 구현에 있어서 중요한 기술적 과제로서, 실제 환경과 가상의 객체가 시간적 및 공간적으로 정확하게 정합된 영상이 구현되어야 하는 점이 중요한데, 이러한 영상 정합을 위해서, 기존에는 현실환경의 객체와 함께 인식될 수 있는 다양한 형태의 마커가 필요하다.

이러한 마커는 인위적으로 제작 또는 생성된 마커를 현실환경의 객체에 부착 또는 인쇄하거나, 영상 인식이 가능한 객체 자체의 특징점을 마커로서 미리 등록하는 등의 방식으로 제공된다.

그러나 이와 같은 증강현실이 실제 의료분야에 있어서는 널리 사용되고 있지 못하다. 특히 사고로 인해 긴급한 구호조치(응급처치)를 받아야 하는 환자들의 경우 신속한 처치가 매우 중요한데, 이를 완벽하게 배워야 하는 실습자들에게 현재 제공되는 환자처치실습교육은 의료적 응급상황을 상상에 의존하거나, 또는 같은 실습자나 마네킹을 대상으로 현장감 없는 실습을 반복하고 있는 것이 현실이다.

이는 실습교육자들이 신속한 처치가 필요한 환자를 직접 보거나, 실제와 같은 상황에 노출될 기회가 없기 때문이고, 따라서 실제 응급처치를 교육하는 교육자의 입장에서도 현장감있고 임펙트있는 교육이 곤란할 뿐만 아니라, 학습자 입장에서도 집중력이 떨어지고 실습효과가 현저히 낮아지는 단점을 갖게 되는 것이다.

[선행기술문헌]

1. 국내등록특허 : 10-0957189

2. 공개특허 10-2014-0096672

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은, 실제 환자의 상처 및 골절과 같은 상황을 증강현실 이미지로 객체(실제 인체 또는 마네킹)에 실제 이미지로 표현하여 교육자는 실습자들에게 상황에 맞는 환자처치실습방법을 현장감있게 교육할 수 있고, 실습자들은 직접 모델의 신체 일부에 실제 처치를 해봄으로써 실감나게 실습해볼 수 있으며, 이를 통해 교육자와 실습자들의 효율적인 처치실습교육이 가능하게 하고 학습자들의 몰입도와 집중력을 높일 수 있도록 함에 있다.

상기한 바와 같은 목적을 성취하기 위한 본 발명의 실시예에 따른 해결수단을 살펴보면, 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 상기 현실상의 객체 영상과 합성하여 증강현실 영상을 증강현실구현장치의 디스플레이에 출력하는 단계로 이루어지는 증강현실구현방법에 있어서, 상기 증강현실에서 사용될 다수개의 처치실습을 위한 가상영상을 데이터베이스에 저장함에 있어 각각의 처치실습 가상영상과 각 해당마커를 매칭하는 단계와, 상기 처치실습 가상영상을 증강현실구현장치에 표현될 객체의 좌표에 설정하는 단계로 이루어지되, 상기 좌표에 객체의 위치를 설정함에 있어 증강현실구현장치의 디스플레이에 출력되는 마커와 처치실습 가상영상은 서로 소정간격 이격되게 표현되도록 하여 처치실습시 실습자에 의해 마커가 가려지는 것을 방지하도록 구성됨을 특징으로 한다.

본 발명의 다른 실시예로는, 상기 객체는 실습자(전문 모델)의 신체, 또는 마네킹 신체모형중 어느 하나로 이루어짐을 특징으로 한다

본 발명의 또 다른 실시예로는, 상기 마커에는 상처 또는 부상의 종류 및 표현되는 신체의 부위가 기재됨을 특징으로 한다

상기와 같은 본 발명의 효과로는 실제 환자의 상처 및 골절과 같은 상황을 증강현실 이미지로 객체(모델이나 마네킹)의 신체에 실감나게 표현하여 교육자는 실습자들에게 상황에 맞는 처치방법을 현장감있게 교육할 수 있다.

또한 실습자들은 직접 실제 환자를 처치하는 것과 같은 느낌으로 실감나게 실습해볼 수 있게 되어 매우 효율적인 처치실습교육이 가능할 뿐만 아니라 마커와 실제 객체에 구현되는 이미지를 서로 상당거리 이격시켜 처치실습도중 학습자가 마커가 가리는 것을 방지함으로써 실습효과는 물론 학습자들의 관심과 집중력을 높일 수 있는 매우 유용한 발명인 것이다.

도 1은 본 발명의 실시예에 따른 환자처치실습을 위한 증강현실구현방법을 위한 마커의 착용상태를 보이기 위한 참고도.
도 2는 증강현실구현장치의 카메라로 마커를 촬영한 상태를 보이기 위한 참고도.
도 3은 본 발명의 실시예에 따른 환자처치실습을 위한 증강현실구현방법의 순서도.
도 4는 본 발명은 복부 손상을 증강영상으로 표현하기 위한 마커의 착용상태를 보이기 위한 참고도.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 또 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다. 다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 공식적인 의미로 해석되지 않는다.

사시도를 참조하여 설명된 본 발명의 실시예는 본 발명의 이상적인 실시예를 구체적으로 나타낸다. 그 결과, 도해의 다양한 변형, 예를 들면 제조 방법 및/또는 사양의 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다. 예를 들면, 편평하다고 도시되거나 설명된 영역은 일반적으로 거칠거나/거칠고 비선형인 특성을 가질 수 있다. 또 도면에 도시된 영역은 원래 대략적인 것에 불과하며, 이들의 형태는 영역의 정확한 형태를 도시하도록 의도된 것이 아니고, 본 발명의 범위를 좁히려고 의도된 것이 아니다.

이하, 본 발명에 따른 환자처치실습을 위한 증강현실구현방법에 대한 바람직한 실시예에 대해 첨부된 도면들을 참조로 하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 환자처치실습을 위한 증강현실구현방법을 위한 마커의 착용상태를 보이기 위한 참고도이고, 도 2는 증강현실구현장치의 카메라로 마커를 촬영한 상태를 보이기 위한 참고도이며, 도 3은 본 발명의 실시예에 따른 환자처치실습을 위한 증강현실구현방법의 순서도이고, 도 4는 본 발명은 복부 손상을 증강영상으로 표현하기 위한 마커의 착용상태를 보이기 위한 참고도이다.

우선, 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략하기로 한다.

본 발명의 실시예에 따른 환자처치실습을 위한 증강현실구현방법은 카메라와 디스플레이를 구비한 증강현실구현장치에 의해 실행된다.

상기 증강현실구현장치에 의해 구현되는 증강현실구현방법은 먼저 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체의 영상과 합성하여 증강현실 영상이 증강현실구현장치의 디스플레이에 출력된다.

본 발명은 상기와 같은 증강현실구현방법을 포함하되, 상기 증강현실에서 사용될 다수개의 처치실습을 위한 가상영상을 데이터베이스에 저장함에 있어 각각의 처치실습 가상영상과 각 해당마커를 매칭하는 단계(S1)와, 상기 처치실습 가상영상을 증강현실구현장치에 표현될 객체의 좌표에 설정하는 단계(S2)로 이루어지되, 상기 좌표에 객체의 위치를 설정하는 단계(S3)에 있어 증강현실구현장치의 디스플레이에 출력되는 마커와 처치실습 가상영상은 서로 소정간격 이격되게 표현(S4)되도록 하여 처치실습시 실습자에 의해 마커가 가리는 것을 방지하도록 구성된다.

즉 실습자에 의해 마커가 가리게 되면 증강현실구현장치의 디스플레이에 출력되던 가상이미지가 사라지기 때문에 실습효과가 현저히 떨어지는 단점을 갖기 때문이다.

이때 본 발명에서 '객체'라 함은 카메라에 의해 촬영되는 증강현실 속에서 표현되는 현실상의 대상물을 의미하는데, 본 발명에서는 실습자(전문 모델)의 신체, 또는 마네킹 신체모형이 될 것이다. 물론 신체 일부분만 대상이 될 수도 있다.

물론 상기 객체는 일반적으로 카메라에 의해 촬영되는 실물 자체가 될 수도 있고, LCD 디스플레이등의 디스플레이 수단을 통해 제공되는 영상 내에 존재하는 대상이 될 수도 있다.

또 본 발명에서 '가상 영상'이라 함은 증강현실구현장치의 카메라를 통해 입력된 영상 내의 특정 마커에 대응하여, 증강현실구현장치가 디스플레이 상에 생성하는 가상의 대상물(사물 또는 배경, 또는 이들의 동작)을 의미한다. 본 발명에서는 증강현실구현장치에 표현되는 가상영상은 학습에 필요한 환자의 상처 및 부상을 입은 사진 이미지 또는 그래픽 이미지, 동영상 이미지 등이 될 것이다. 또한 교육을 위한 목적의 처치실습하는 모습이나 방법이 이미지나 영상으로 표현된 것일 수도 있다. 이처럼 각각의 처치실습을 위한 가상영상들은 해당 마커들과 각각 매칭하게 된다.

본 발명은 먼저 증강현실에서 사용될 다수개의 가상영상을 촬영하여 데이터베이스에 저장해야 한다.

이때 마커에는 상처 또는 부상의 종류 및 표현되는 신체의 부위가 표현, 즉 기재되도록 함이 필요하다. 이는 학습자들이 마커를 보고 어떤 교육 및 처치실습이 이루어지는 지를 쉽게 알 수 있도록 하기 위한 구성이다.

따라서 증강현실구현장치의 디스플레이에 표현되는 처치실습을 위한 가상영상은 객체, 즉 모델의 신체영상과 합성되어 출력된다.

무엇보다 본 발명에 있어 마커의 위치가 중요한데, 상기 마커는 증강현실구현장치로 볼때 증강현실을 모델에 구현해야 하므로 효과적인 처치실습을 위해서는 처치실습 가상영상을 표현하고자 하는 정확한 위치에 미리 설정한 적당한 크기의 영상으로 표출되어져야 하기 때문이다.

또한 처치실습은 실제 실습자들이 몸을 움직여가면서 이루어지는 것이어서 마커가 실습자의 신체에 의해 가리게 될 경우 가상 영상이 보이지 않게 되므로 처치실습의 특성을 감안하여 마커의 위치를 잘 설정하여야 한다. 본 발명에서는 마커와 처치실습 가상영상을 서로 상당 거리 이격되도록 좌표를 설정함으로써 이를 해결할 수 있도록 하였다.

즉 도 2에 도시한 바와 같이 팔뚝에 화상이미지를 표현하도록 하기 위해서는 도 1에 도시한 바와 같이 마커를 팔에 착용하되 화상이미지가 표현될 부분보다 상당 간격 이격되도록 한다.

이처럼 화상이미지가 가상현실에 표현되면, 다음 처치실습을 위한 이미지가 표현되도록 구성할 수도 있다. 즉 물병에서 물이 쏟아져 화상부위에 끼얹어지는 이미지가 표현되도록 함으로써 화상의 초기치료를 어떻게 해야 하는지를 보여주게 된다.

또 약제를 도포하는 이미지가 가상현실에 표현되도록 할 수도 있고, 실습자가 실제 객체의 화상부위에 붕대를 감아보는 실습을 할 수도 있다.

이처럼 본 발명은 실습을 위해 학습자들이 상기 마커의 영상을 증강현실구현장치의 카메라로 찍게 되면 상기 마커와 매칭되어있던 가상 영상이 증강현실구현장치에 표현되되 미리 마커와 이격되도록 설정한 간격만큼 떨어져서 객체에 표시되어지고 이로 인해 처치실습시 마커가 가려짐으로인해 교육을 방해하는 것을 해결할 수 있게 된 것이다.

본 발명에서 '마커(marker)'라 함은 증강현실이 구현된 영상에서 가상 영상 또는 가상 객체의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미한다. 이러한 마커는 증강현실에서 구현될 각 가상객체에 대응하여 부여되며, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수도 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 마커로 정의하여 사용할 수도 있다. 합성 마커가 사용되는 경우에는, 해당 마커를 구성하는 기하학적 문양이나 패턴 등이 마커의 인식 정보로 사용될 수 있으며, 실제 객체의 특징점이 마커로 정의되는 경우는 실제 객체의 색상, 윤곽선 및 구성 선분, 에지(edge) 등이 마커의 인식정보로 사용될 수 있다.

상기 증강현실구현장치는 '증강현실 앱(APP)'이 실행되는 장치를 통칭하는 것으로, 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동통신망을 이용하는 통상의 스마트폰, 스마트패드, 고글 등을 의미한다. 이때 상기 증강현실구현장치는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다

증강현실 앱(APP)은 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공 목적으로 배포하는 앱으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 앱(APP)은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다.

이때 앱(APP)의 경우, 기기가 제공하는 하드웨어적 기능을 지원받아 다양한 기능의 구현이 가능하다.

본 발명에서 사용되는 증강현실구현장치는 카메라와 디스플레이를 구비하며, 이들과 연동 기능을 제공하기 위한 영상 입력 모듈과 증강현실 출력 모듈을 구비한다. 또한 입력된 영상으로부터 마커를 인식하는 기능을 수행하는 마커 인식 모듈과, 인식된 마커에 근거하여 가상 영상을 생성하는 증강현실 구현 모듈, 이들 각 모듈의 동작을 전체적으로 제어하기 위한 제어 모듈, 네트워크를 통해 증강현실 서버를 포함한 외부 기기와의 연동을 위한 통신 모듈 등이 구비됨은 당연하다.

또한 본 발명 증강현실구현장치는 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 가상 영상 매칭 정보를 저장하고, 각 마커에 대응한 가상 영상 정보를 저장하기 위한 는 데이터베이스를 구비한다.

상기 데이터베이스는 물리적 관점에서는 이들 정보를 저장하는 통상의 기억장치(예, 하드디스크, 비휘발성 메모리 소자 등)의 개념으로 더욱 확장하여 이해될 수 있다. 본 발명에 있어 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다.

이처럼 본 발명 증강현실구현장치는 증강현실 앱의 구동에 의해 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 통상의 유무선 네트워크를 통해 증강현실 서버와 연동하여 일부 기능을 서버와의 연동을 통해 제공하는 것도 가능하다.

상술 한 바와 같이 본 발명은 비록 한정된 실시예들에 의해 설명되었으나, 본 발명은 이것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다 할 것이다.

110: 실제 마커의 위치
120: 가상현실 영상에서 화상이 표현되는 신체부위
A: 객체(팔)

Claims (3)

1. 카메라와 디스플레이를 구비한 증강현실구현장치에서 실행되되, 상기 카메라를 통해 영상을 입력받는 단계와, 입력된 영상에 포함된 마커를 추출하여 인식하는 단계와, 상기 마커에 대응하는 가상 영상을 현실상의 객체 영상과 합성하여 증강현실 영상을 증강현실구현장치의 디스플레이에 출력하는 단계와, 상기 증강현실에서 사용될 다수개의 처치실습을 위한 가상영상을 데이터베이스에 저장함에 있어 각각의 처치실습 가상영상과 각 해당마커를 매칭하는 단계와, 상기 처치실습 가상영상을 증강현실구현장치에 표현될 객체의 좌표에 설정하는 단계를 포함하는 증강현실구현방법에 있어서,
   상기 좌표에 객체의 위치를 설정함에 있어 증강현실구현장치의 디스플레이에 출력되는 마커와 처치실습 가상영상은 서로 소정간격 이격되게 표현되도록 하여 처치실습시 실습자에 의해 마커가 가려지는 것을 방지하도록 하고,
   상기 마커에는 상처 또는 부상의 종류 및 표현되는 신체의 부위가 기재되도록 하여 학습자들이 어떤 교육 및 처치실습이 이루어지고 있는지를 쉽게 알 수 있도록 구성됨을 특징으로 하는 환자처치실습을 위한 증강현실구현방법.
   
   
2. 삭제
3. 삭제

Images