KR20200080534A

KR20200080534A - 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템

Info

Publication number: KR20200080534A
Application number: KR1020180170079A
Authority: KR
Inventors: 김성원; 김도현; 최요철; 김태균; 김현문; 허재일
Original assignee: 가톨릭대학교 산학협력단
Priority date: 2018-12-27
Filing date: 2018-12-27
Publication date: 2020-07-07
Also published as: WO2020138671A1; KR102143784B1

Abstract

본 발명은 가상 현실을 기반으로 하여 이비인후과나 신경외과 수술의 숙련도를 정량적으로 평가하기 위한 시스템으로서, 의료 실습자에게 공간 정보를 시각적으로 제공하는 고글; 의료 실습자의 손의 움직임의 무빙 정보를 상기 공간 정보 내에 매핑시키는 콘트롤러; 고글이 제공하는 공간 정보를 수신하는 공간정보 수신부; 콘트롤러가 매핑한 의료 실습자의 무빙 정보를 수신하는 무빙정보 수신부; 공간 정보 상에 무빙 정보에 관한 미리 설정된 기준데이터를 사전 획득하고 설정하는 기준데이터 설정부; 및 의료 실습자의 무빙 정보의 정량적인 점수를 산출하는 평가 측정부를 포함하는 기술적 사상을 개시한다.

Description

가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템{System for estimating otorhinolaryngology and neurosurgery surgery based on simulator of virtual reality}

본 발명은 이비인후과 및 신경외과 수술 평가 시스템에 관한 것으로서, 보다 자세하게는, 가상현실 예컨대, VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality)를 기반으로 하여, 이비인후과 과목이나 신경외과의 의료 실습생 등의 수술 평가 시스템에 관한 기술분야이다.

초고령화 시대와 경쟁심화로 인한 심리질환 등 의료서비스 수요 증가에 대응하기 위해 의료 전문가육성 및 심리치료의 대안으로 가상현실(VR) 기술이 부상되고 있다.

게임 중심으로 발전 중인 VR의 응용분야로 의료분야가 새롭게 부상하고 있는데 병원에서 VR을 적극적으로 도입하려는 시도가 추진중이다.

VR기술업계도 앞으로 의료서비스가 대표적인 VR의 B2B시장이 될 것으로 예측하며, 여러가지의 프로젝트를 시도하며 영업력을 확장하고 있다.

이에 따라서, VR기술의 교육기능과 의학적 기능을 결합한 기술적인 시도는 여럿 존재해 왔었는데, 그 중 대표적으로는 "증강현실 기반의 복강경 수술용 시뮬레이션 시스템 및 이를 이용한 방법(등록번호 제10-1887805호, 이하 특허문헌 1이라 한다.)"이 존재한다.

특허문헌 1의 경우, 증강현실 기반의 복강경 수술용 시뮬레이션 시스템 및 이를 이용한 방법이 개시된다. 증강현실 기반의 복강경 수술용 시뮬레이션 시스템은 제1 복강경 수술정보가 생성되도록 하는 복강경 수술도구; 내부에 인체모형이 마련되어, 상기 복강경 수술도구가 상기 인체모형을 절개하거나 상기 인체모형에 삽입되는 것이 감지되면, 제2 복강경 수술정보가 생성되도록 하는 시뮬레이터 모듈; 상기 제1 복강경 수술정보 및 상기 제2 복강경 수술정보를 기반으로 증강현실 정보가 생성되도록 하는 정보처리 모듈; 및 상기 증강현실 정보가 출력되도록 하는 증강현실 글라스; 를 포함한다. 이에 의해, 증강현실 정보를 이용하여 학습자가 복강경 수술을 시뮬레이션하거나 기저장된 복강경 수술에 대한 영상정보와 학습자 본인이 시뮬레이션해본 복강경 수술을 비교하여, 학습자에 의해 시뮬레이션된 복강경 수술이 기저장된 복강경 수술에 대한 영상정보와 어느 정보 일치하는지 평가받을 수 있어, 복강경 수술에 필요한 수술 술기(clinical skill)를 효과적으로 연마할 수 있으며, 또한, 교육자는 증강현실 정보를 이용하여 복강경 수술에 대한 교육용 3차원 콘텐츠를 용이하게 제작할 수 있다.

마찬가지로 "증강현실을 이용한 복강경 수술 교육시스템(공개번호 제10-2018-0123310호, 이하 특허문헌 2라 한다.)"도 존재한다.

특허문헌 2의 경우, 사용자가 실제로 수술을 하는 듯한 느낌을 주며, 수술방법을 안내 받으면서 실습할 수 있도록 한 증강현실을 이용한 복강경 수술 교육시스템에 관한 것이다. 이를 위하여, 가상현실 글래스를 이용한 복강경 수술실습시스템을 제공한다. 따라서, 본 발명에 의하면, 직접 실습하기 어려운 현실을 극복하여 실제 내부장기를 다뤄볼 수 있는 기회를 줄 수 있어 의료교육을 받는 학생들에게 간접적으로나마 효과적인 교육이 될 수 있는 장점이 있다.

또한, "치과학용 가상 현실 실습 시스템 및 방법(공개번호 특2003-0044909호, 이하 특허문헌 3이라 한다.)"도 존재한다.

특허문헌 3의 경우, 손에 들고 쓸 수 있는 실제 요소의 공간 위치에 관한 데이터를 감지하고, 스크린 상에 가상 물체의 3차원 표시를 하고, 상기 실제 요소의 실제 공간적인 위치에 대응하는 가상 기구의 공간 표시를 제공하기 위하여 공간적인 위치 데이터를 처리하고, 상기 가상 물체 상에서 작동하는 가상 기구를 제공하고 그리고 상기 가상 물체와 상기 가상 기구 사이의 상호 작용을 모델링함으로써 치과학에서 절차 이동을 얻기 위한 가상 현실 실습을 위한 시스템에 관한 것이다. 손에 들고 쓸 수 있는 요소는 가상 기구가 가상 물체와 상호 작용할 때 상기 실제 요소를 손에 보유하고 있는 사용자에게 힘 피드백을 제공하도록 제어되는 액츄에이터를 구비하는 촉각형 사람-기계 인터페이스(IHM) 장치에 속한다. 해당 발명은 교육 상 또는 직업적인 목적으로 유용하다.

또한, "가상 수술 시뮬레이션 장치 및 그 동작 방법(공개번호 제10-2016-0092425호, 이하 특허문헌4라 한다.)"도 존재한다.

특허문헌 4의 경우, 가상 수술 시뮬레이션 장치가 제공된다. 상기 장치는 환자의 수술 대상 부위에 대한 3차원 영상을 이용하여, 상기 환자에 대한 가상 수술을 수행하는 제어부; 상기 가상 수술의 과정 중 적어도 일부를 포함하는 수술 영상을 생성하는 영상 처리부; 및 상기 수술 영상 및 수술 결과 중 적어도 하나를 전송하는 통신부를 포함하는 것을 특징으로 한다.

그러나, 이들 특허문헌들의 경우, 대부분 정형외과나 성형외과, 치과 등의 특정 의료분야에의 문헌만이 존재하고, 기타 이외의 의료분야에 대한 문헌은 소수만 기재되고 있으며, 해당 분야의 수술과정을 평가할 수 있는 수단이 없어 교육방법이 효율성이 떨어지는 문제가 있다.

기존의 종래 기술들은 가상 현실 예컨대, VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality) 등을 기반으로 하여, 의대생이나 의사들의 특정 시술이나 수술, 혹은 원격 진료 및 진단 등에 대한 기술적 지원에 대한 컨셉은 가지고 있었으나, 교육생 예컨대, 의대생이나 의료 전문의이나 최신 의학 관련 실습을 요하는 자의 VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality) 기반의 실습에서 나아가, 이들 행위에 대한 정량적인 평가와 가이드라인을 제시하도록 하는 기술적 플랫폼이 전무한 실정이었다.

등록번호 제10-1887805호 공개번호 제10-2018-0123310호 공개번호 특2003-0044909호 공개번호 제10-2016-0092425호

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.

첫째, 의료 실습생들에 대한 물리적인 실습물 예컨대, 시체나 인형 등을 통해서가 아니라, 가상현실을 기반으로 교육받을 수 있도록 기술적 시스템을 제공하고자 한다.

둘째, 이비인후과 수술이나 신경외과 수술에서 주요 수술의 주요 부위에 대한 수술의 경험과 이에 대한 정량적인 평가를 받을 수 있도록 하고자 한다.

셋째, 의료 실습생들에 수술의 평가를 객관적인 데이터를 기준으로 평가될 수 있도록 하고자 하며, 이에 대한 내용을 외부의 서버와 공유하게 되어, 국민의 고품질 의료 서비스를 받을 권리를 확보하고자 한다.

본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 의료 실습자의 안면(front face)에 장착되어, 상기 의료 실습자에게 공간 정보를 시각적으로 제공하는 고글; 상기 의료 실습자의 손에 제공되어, 상기 의료 실습자의 손의 움직임의 무빙 정보를 상기 공간 정보 내에 매핑시키는 콘트롤러; 상기 고글이 제공하는 상기 공간 정보를 수신하는 공간정보 수신부; 상기 콘트롤러가 매핑한 상기 의료 실습자의 상기 무빙 정보를 수신하는 무빙정보 수신부; 상기 공간 정보 상에 상기 무빙 정보에 관한 미리 설정된 기준데이터를 사전 획득하고 설정하는 기준데이터 설정부; 및 상기 기준데이터 설정부로부터 상기 미리 설정된 기준데이터를 수신하고, 상기 공간 정보 상에 상기 의료 실습자의 상기 무빙 정보를 비교하여 정량적인 점수를 산출하는 평가 측정부를 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 미리 설정된 기준데이터는, 복수의 전문의들에 의해 제공된 무빙 정보들을 미리 획득하여, 상기 공간 정보 상에서의 상기 복수의 전문의들에 의한 무빙 정보들의 3차원 좌표에서의 트레이스들의 평균치로 설정되는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 고글은, VR(virtual reality), AR(Augmented　Reality) 또는 MR(Mixed　Reality) 중 적어도 하나 이상의 가상 현실을 제공하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 평가 측정부는, 상기 공간 정보를 3차원 공간 좌표로 판독하여 획득하는 공간좌표 인식부; 상기 공간 정보의 상기 3차원 공간 좌표 내, 상기 무빙 정보가 가지는 3차원 공간 좌표를 획득하는 무빙좌표 인식부; 및 상기 공간 정보 내에 미리 결정된 수술 부위 상에, 상기 무빙 정보의 평가를 위한 소정의 차원을 추출하는 차원 추출부를 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 차원 추출부는, 상기 소정의 차원을 복수 개의 1차원으로 설정하되, 상기 평가 측정부는, 상기 미리 결정된 수술 부위를 1차원의 터치 라인(touch line)으로 설정하며, 상기 터치 라인으로부터 소정의 뎁스(depth)를 가지는 하부에는 패일 라인(fail line)으로 설정하는 포인트 트리거링(point triggering)부를 더 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 포인트 트리거링부는, 상기 미리 결정된 수술 부위를 설정하여, 상기 고글을 통해 상기 공간 정보로 제공하는 타깃지점 설정부; 상기 콘트롤러에 의해 입력되는 상기 의료 실습자의 상기 무빙 정보가 상기 터치 라인을 터치하는지 여부를 인식하는 터치라인 인식부; 및 상기 콘트롤러에 의해 입력되는 상기 의료 실습자의 상기 무빙 정보가 상기 터치 라인의 하부에 형성된 상기 패일 라인을 터치하는지 여부를 인식하는 패일라인 인식부를 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 포인트 트리거링부는, 상기 의료 실습자의 상기 무빙 정보가 상기 미리 결정된 수술 부위에 머무르는 총 시간을 획득하는 터치시간 인식부; 상기 터치 라인으로부터 상기 패일 라인까지 이어지는 공간 내에 삽입되는 상기 무빙 정보의 깊이에 따라 상기 무빙 정보의 점수를 연속적으로 산출하여, 상기 무빙 정보의 깊이에 비례하여 점수를 연속적으로 감하는 뎁스 가중치부; 및 상기 터치 라인으로부터 상기 패일 라인까지 이어지는 공간 내에 삽입되는 상기 무빙 정보의 깊이의 분산을 측정하여, 분산에 반비례하여 상기 무빙 정보의 점수를 부여하는 뎁스분산 측정부를 더 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 차원 추출부는, 상기 소정의 차원을 2차원으로 설정하되, 상기 평가 측정부는, 상기 미리 결정된 수술 부위를 2차원 면적으로 설정하며, 상기 2차원 면적의 원점으로부터 이격되는 거리를 산출하는 라인 트리거링부를 더 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 라인 트리거링부는, 상기 2차원 면적의 원점을 상기 미리 결정된 수술 부위를 위한 타깃 영역으로 설정하는 타깃영역 설정부; 상기 2차원 면적을 x-y 좌표로 설정하고, 상기 무빙 정보의 상기 2차원 면적의 x-y좌표 내의 좌표를 인식하는 좌표 설정부; 상기 무빙 정보가 상기 원점으로부터 상기 x-y 좌표 상에서 이격된 거리를 측정하는 이탈직경 산출부; 및 상기 2차원 면적을 쉬프트 하여, 상기 타깃영역 설정부로 하여금 상기 수술 부위를 위한 타깃 영역을 재설정시키는 좌표 쉬프트부를 포함하는 것을 특징으로 할 수 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 상기 라인 트리거링부는, 상기 의료 실습자의 상기 무빙 정보가 상기 2차원 면적의 x-y 좌표를 터치하는 횟수를 카운트하여, 상기 무빙 정보가 상기 2차원 면적의 x-y 좌표를 복수 회 터치하는지 여부를 인식하는 터치 카운트부를 더 포함하는 것을 특징으로 할 수 있다.

이상과 같은 구성의 본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 다음과 같은 효과를 제공한다.

첫째, 의료 실습생들에 대한 가상현실 예컨대, VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality) 기반으로 다양한 체험을 해볼 수 있게 한다.

둘째, 의료 실습생들에 대한 VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality) 등의 가상 현실 상에서 자신이 직접 특정 부위에 대한 수술을 집도해보고, 이에 대한 정량적인 평가를 받을 수 있도록 하는 시스템을 제공한다.

셋째, 의료 실습생들에 대한 VR(virtual reality), AR(Augmented　Reality), MR(Mixed　Reality) 등이 기존 해당 부위에 대한 전문 의료진의 기준 데이터로부터 얼마나 벗어났는지를 벤치마킹 할 수 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 일 구성요소 중 하나인 평가 측정부의 하위 구성들을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 사용을 위해 의료 실습생이 VR 등을 통해 접할 수 있는 가상현실의 예시적은 화면이다.
도 5는 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 사용을 위해 의료 실습생이 AR 또는 MR 등을 통해 접할 수 있는 가상현실의 예시적은 화면이다.
도 6은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 일 구성요소인 포인트 트리거링부의 하위 구성들을 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 포인트 트리거링부가 타깃 지점에 대한 터치 라인(touch line)과 패일 라인(fail line)을 도시한 정단면도이다.
도 8은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 포인트 트리거링부가 타깃 지점에 대한 터치 라인(touch line)과 패일 라인(fail line)을 도시한 측단면도이다.
도 9는 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 일 구성요소인 라인 트리거링부의 하위 구성들을 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템의 일 구성요소인 라인 트리거링부의 타깃 영역에 대한 좌표를 도시한 개념도이다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 도 1에 도시된 바와 같이, 의대생, 인턴, 레지던트, 일반의사, 전공의 또는 기타 의료 계통에서 종사하는 사람(이하, '의료 실습자'라 한다.)에게 유형물을 이용하지 않고도, 가상 현실인 공간 정보를 통하여 수술 관련의 체험을 가지게 하고, 이러한 체험을 통해 정량적인 평가가 이루어질 수 있도록 하는 시스템에 관한 기술분야이다.

도 1에 도시된 바와 같이, 의료 실습자는 고글(goggle, 11)을 착용한 후, 의료 실습자에게 가상현실(virtual reality)를 제공하여, 이러한 가상현실 내에서 자신의 손 동작을 통해 수술의 진행 과정이 해당 수술에 능통한 전문 의료진들이 보편적으로 행하는 수술 진행과정과 얼마나 근접했는지를 기준으로 정량적인 평가에 대한 기술적 사상을 개시하고 있다.

본 발명에 따른 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템은 도 1에 도시된 바와 같이, 이비인후과 수술 평가 시스템이 있으며, 이러한 시스템의 전방에는 VR을 제공하는 장비인 고글(11)과 의료 실습자의 손 동작 즉, 무빙 정보를 3차원적으로 읽어들이는 콘트롤러(12)를 포함할 수 있다.

상술한 바와 같이, 고글(11)은 의료 실습자의 안면(front face)에 장착되면서, 의료 실습자에게 공간 정보를 제공하게 되는 구성이다.

고글(11)으로는 로 데이터(raw data, 13)가 저장된 저장소로부터 다양한 공 정보가 제공되는데, 이러한 공간 정보는 도 4 및 5에 도시된 바와 같은 이비인후과 계통의 비강 등에 대한 3차원적 입체 정보이다.

고글(11)의 경우, VR(virtual reality), AR(augmented reality), MR(Mixed Reality) 중 적어도 하나 이상의 가상현실을 제공할 수 있다.

콘트롤러(12)의 경우, 도 1에 도시된 바와 같이, 의료 실습자의 손에 제공되어 의료 실습자의 손의 움직임 즉, 무빙(moving) 정보를 읽어들여, 상술한 바와 같은, 고글(11)이 제공하는 공간 정보에 매핑하는 구성이다.

콘트롤러(12)의 경우, 의료 실습자의 손이 집도하여 수술을 진행하는데 필요한 3차원적 무빙 정보를 모두 읽어들일 수 있다.

콘트롤러(12)는 그 행동 반경이 큰 영역을 다 아우르기 보다는, 성인 남성 주먹 하나의 부피 내에서 움직이는 미세한 동작을 읽어들일 수 있도록 섬세한 동작 파악이 이루어질 수 있도록 하는 것이 바람직하다.

공간정보 수신부(100)의 경우, 고글(11)이 제공하는 공간 정보를 수신하는 구성이다.

공간정보 수신부(100)의 경우, 고글(11)을 통해 의료 실습자의 안면을 통해 시각적으로 제공되는 3차원 입체적 정보가 제공되는 구성이다.

공간정보 수신부(100)는 가상현실 제공유닛(10)이 고글(11)에 제공하는 공간 정보의 시각적인 요소 그대로 수신할 수도 있으며, 시각적인 요소가 아닌, 공간 좌표적인 정보만을 축약해서 수용할 수도 있다.

무빙정보 수신부(200)의 경우, 콘트롤러(12)가 매핑한 의료 실습자의 무빙 정보를 수신하는 구성이다.

무빙정보 수신부(200)는 콘트롤러(12)에 전산적으로 연결되어, 콘트롤러(12)가 실습자의 손 동작 즉, 무빙 정보를 읽어들이는 것을 3차원 공간 좌표적으로 수용하게 된다.

기준데이터 설정부(300)의 경우, 공간정보 수신부(100)가 고글(11)로부터 수신한 공간 정보 상에서 의료 실습자가 움직여야할 바람직한 무빙정보 즉, 미리 설정된 기준데이터를 사전에 획득하고 설정하는 구성이다.

여기서 미리 설정된 기준데이터의 경우, 수술 실습자가 현재 체험하고 테스트받게 되는 수술 부위의 바람직한 손의 움직임에 대한 3차원 좌표에서의 트레이스들(traces)의 평균치에 해당한다. 보다 자세하게는, 공간 정보 상에서 복수의 전문의들에 의한 무빙 정보들을 3차원 좌표 상에서 획득하고, 이러한 복수의 전문의들에 의한 무빙 정보에 의한 트레이스들(traces)의 평균값을 미리 설정된 기준데이터로 설정하게 된다.

당연히, 미리 설정된 기준데이터는 복수의 전문의들이 각각 고글(11)을 쓴 상태로 콘트롤러(12)를 집도한 후, 취득될 수 있다.

평가 측정부(400)의 경우, 기준데이터 설정부(300)로부터 미리 설정된 기준데이터를 수신하고, 상술한 바와 같은 공간 정보 상에 의료 실습자의 무빙 정보를 비교하여, 의료 실습자의 무빙 정보를 미리 설정된 기준데이터(전문 의료진의 무빙정보)와 비교하여 정량적인 점수를 산출하는 구성에 해당한다.

보다 자세하게, 평가 측정부(400)의 경우, 도 3에 도시된 바와 같이, 공간좌표 인식부(410), 무빙좌표 인식부(420), 및 차원 추출부(430)를 포함할 수 있다.

먼저, 공간좌표 인식부(410)의 경우, 도 4에 도시된 바와 같은 공간 정보를 3차원의 공간 좌표로서 판독하여 획득하는 구성이다.

즉, 도 4 및 5의 공간 정보는 외형적 또는 시각적으로 고글(11)을 통해 사람의 육안 확인이 되는 형상 외, 3차원의 x-y-z 축에 의한 미시적인 좌표적 정보까지 반영된 것을 획득하게 된다.

무빙좌표 인식부(420)의 경우, 무빙 정보가 반영되고 매핑되는 공간 정보 내에서 무빙 정보가 가지는 3차원적인 공간 좌표를 시간의 추이에 따라 획득하게 된다.

차원 추출부(430)의 경우, 공간 정보 내에서 미리 결정된 수술 부위 상에서, 무빙 정보의 평가를 위한 소정의 차원을 추출하는 구성이다.

도 7를 참고하면, 도 7의 패일 라인(fail line)은 수술 부위 중에서 건드려서는 절대로 안되는 혈관으로 설정할 수 있고, 터치 라인(touch line)은 의료 실습자가 집도하여 깔끔하게 매스(mass)를 통해 절개해 나가야 하는 라인으로 설정할 수 있다.

도 7에 있어서, 미리 결정된 수술 부위는 터치 라인(touch line)으로 볼 수 있으며, 상술한 바와 같이, 의료 실습자의 손동작 즉 무빙 정보의 판단을 위해서는 도 8과 같이 소정의 차원을 직선 즉, 1차원으로 설정할 수도 있다.

다른 예를 들면, 도 10을 참고하면, 도 10에서 검은 실선은 의료 실습자가 매스(mass)를 통해, 비강 내의 특정 피부 표면을 약한 S자 형태로 절개해 나가야 하는 바람직한 절개 라인을 의미하게 된다. 이 경우, 해당 절개 라인에 직교하는 평면 즉, 2차원의 평면을 추출하게 된다.

따라서, 소정의 차원은 상술한 바와 같이, 의료 실습자의 손동작 즉, 무빙 정보의 정량적 평가를 위하여 추출해내는 차원을 의미하게 된다.

차원 추출부(430)의 경우, 도 6에 도시된 바와 같이, 포인트 트리거링(point triggering)부(440)를 더 포함할 수 있다.

도 7 및 8에 도시된 바와 같이, 차원 추출부(430)가 소정의 차원을 복수 개, 여기서는 두 개의 1차원 라인으로 설정하며, 이 경우, 포인트 트리거링부(440)는 상술한 바와 같이 미리 결정된 수술 부위를 1차원의 터치 라인(touch line)으로 설정하며, 터치 라인(touch line)으로부터 소정의 뎁스(depth)를 가지는 하부에는 패일 라인(fail line)으로 설정하게 된다.

여기서의 소정의 뎁스는 이비인후과 수술 부위에서 임의로 설정할 수 있는데, 비강 내 부풀어 오른 피부 조직과, 부풀어 오른 피부 조직의 하부에서 동맥 또는 정맥 또는 신경 들의 표면을 패일 라인(line)으로 설정할 수 있다.

나아가, 포인트 트리거링부(440)의 경우, 타깃지점 설정부(441), 터치라인 인식부(442), 패일라인 인식부(443)를 포함할 수 있다.

타깃지점 설정부(441)의 경우, 수술 부위 즉, 미리 결정된 수술 부위를 설정하여, 의료 실습자에게 고글(11)을 통해 공간 정보를 시각적으로 제공하게 된다.

미리 결정된 수술 부위가 비강 내 특정한 조직 예컨대, 결정종(ganglion)이라 하면, 타깃지점 설정부(441)는 비강 내 결정종을 고글(11)을 통해 시각적으로 제공하게 된다. 의료 실습자는 육안의 관찰만으로 이러한 조직의 존부를 판단하도록 할 수 있으며, 이러한 육안 관찰을 통해 의료 실습자는 결정종을 찾아내도록 하게 된다.

터치라인 인식부(442)의 경우, 콘트롤러에 의해 입력되는 의료 실습자의 무빙 정보가 터치 라인을 터치하는지 여부를 인식하게 된다.

상술한 예와 같이, 비강 내 결정종이 있으면, 결정종을 절개하게 위하여 매스(mass)가 절개하며 찔러 들어가야하는 최적의 라인을 터치 라인으로 인식하게 되는데, 이러한 터리 라인을 터치하는지 여부를 터치라인 인식부(442)는 인식하게 된다.

물론 이와 같은 터치라인 인식부(442)의 기작의 경우, 공간 정보와 무빙 정보가 상호 3차원 좌표공간에서의 좌표지점이 상호 연동되는 것을 전제로 한다.

패일라인 인식부(443)의 경우, 콘트롤러(12)에 의해 입력되는 의료 실습자의 무빙 정보 즉, 손동작의 3차원 좌표 정보가 터치 라인(touch line)의 하부에 형성된 패일 라인(fail line)을 터치하는지 여부를 인식하게 된다.

상술한 예를 통해 다시 설명하면, 비강 내 결정종이 있으면, 결정종을 절개하게 위하여 매스(mass)가 절개하며 찔러 들어가야하는 최적의 라인을 터치 라인으로 인식하게 되는데, 이러한 터리 라인을 찢고 매스가 하부로 내려간 후, 절대로 건드려서는 안되는 영역 예컨대, 신경, 동맥, 정맥 등을 터치하는지 여부를 패일라인 인식부(443)는 인식하게 된다.

패일라인 인식부(443)는 패일 라인(fail line)을 터치하는지 안하는지 여부만을 인식하고, 이러한 패일 라인의 터치가 있으면, 의료 실습자의 수술 행위가 실패하였음으로 인지시키게 된다.

나아가, 포인트 트리거링부(440)는 터치시간 인식부(444), 뎁스 가중치부(445), 및 뎁스분산 측정부(446)을 더 포함할 수 있다.

의료 실습자의 경우, 수술해야 하는 부위를 매스(mass)를 통하여 매끄럽게 적절한 속도로 절개해야하는데, 이는 매스(mass)의 날의 날카로움과 수술 부위의 탄력 그리고 조직의 출혈 및 수분 증발 등을 고려하여야 하기 때문이다.

따라서, 절개의 속도는 의료 실습자의 무빙 정보가 수술 부위에 머무르는 총 시간이 중요한데, 터치시간 인식부(444)는 의료 실습자가 이를 획득하게 된다.

터치시간 인식부(444)는 가상의 공간에서 의료 실습자가 매스를 집도하여 절개하는 시간을 중심으로 측정하게 된다.

상술한 바와 같이, 터치라인 인식부(442)와 패일라인 인식부(443)의 경우, 터치라인을 얼마나 잘 따라서 절개하는지와 패일라인을 건드리는지만을 파악하게 되는데, 나아가 뎁스 가중치부(445)의 경우, 터치라인을 찌르고 더 깊이있게 들어간 매스가 터치라인으로부터 매스가 얼마나 더 들어가는지에 따라 비례하여 감점을 부여하게 된다.

도 8(a)에서는 터치 라인의 인식 여부와 패일 라인의 인식 여부만 판단하게 되는데, 도 8(b)에서는 터치 라인으로부터 패일 라인까지의 깊이의 정도에 따라 연속적으로 그 감점의 정도가 커지도록 뎁스 가중치부(445)가 설정하게 된다.

뎁스분산 측정부(446)의 경우, 터치 라인으로부터 패일 라인까지 이어지는 공간 내에 삽입되는 무빙 정보의 깊이의 분산을 측정하여, 분산에 반비례하여 무빙 정보에 점수를 부여한다.

즉, 도 8(b)에서 의료 실습자가 매스(mass)를 통해 터치 라인을 뚫고 들어간 후, 터치 라인과 패일 라인 사이에서 매스의 깊이가 고르지 못하고 오르락 내리락 하게 되면 그 분산의 정도가 커지면서 낮은 점수가 부여되도록 하며, 반대로 터치 라인을 뚫고 패일 라인 전까지 매스가 침투한 경우라도 그 깊이의 정도가 균일하면 균일하지 못한 경우보다는 좋은 점수를 받도록 하게 된다.

평가 측정부(400)는 포인트 트리거링부(440)와 함께, 혹은 별도로 라인 트리거링부(450)를 더 포함할 수 있다.

도 10에 도시된 바와 같이, 라인 트리거링부(450)의 경우, 차원 추출부(430)가 소정의 차원을 2차원으로 설정하되, 라인 트리거링부(450)는 미리 결정된 수술 부위를 2차원 면적으로 설정하며, 2차원 면적의 원점(c)으로부터 이격되는 거리(l)를 산출하는 구성이다.

상술한 바와 같이, 도 10의 실선은 복수의 전문의가 집도하여 수술을 집행할 때 나타내는 미리 설정된 기준데이터 즉, 바람직한 절개라인을 의미하게 된다.

이를 위하여 도 9 및 10에 도시된 바와 같이, 라인 트리거링부(450)는 타깃영역 설정부(451), 좌표설정부(452), 이탈직경 산출부(454) 및 좌표 쉬프트부(455)를 포함할 수 있다.

먼저, 타깃영역 설정부(451)의 경우, 2차원 면적의 원점(c)을 미리 결정된 수술 부위를 위한 타깃 영역으로 설정하게 된다.

도 10에서 도시된 바와 같이, 실선의 경우, 비강 내 특정 표면을 절개해야하는 부분이며, 이러한 부분은 미리 설정된 기준데이터에 해당하게 된다.

이러한 절개는 원점(c)으로 설정되며, 이러한 절개 라인에 수직하는 또 하나의 가상의 2차원 평면, 즉 면적을 소정의 차원으로 추출하게 된다.

좌표 설정부(452)의 경우, 상술한 바와 같은 2차원의 면적을 x-y좌표로 설정하여, 의료 실습자의 무빙 정보 즉, 가상의 공간인 비강 내에서 매스(mass)가 절개하며 지나가는 부분을 도 10의 x-y 좌표로서 인식하게 된다. 물론 여기서 c는 도 10의 실선을 의미하게 되며, 2차원 면적은 실선을 가로지르는 면적인 w에 해당하게 된다.

이탈직경 산출부(454)의 경우, 좌표 설정부(452)가 인식한 무빙 정보의 x-y좌표 내에서의 c로부터의 이격된 거리(l)을 측정하게 되는 것이다.

물론, 이탈직경 산출부(454)에 의해 의료 실습자의 무빙 정보가 x-y좌표 상에서의 원점(c)로부터 이격된 거리(l)가 클수록 낮은 점수를 부여받게 된다.

좌표 쉬프트부(455)의 경우, 도 10에서 w에서 w'로 이동하는 바와 같이, 2차원 면적을 쉬프트하여, 타깃영역 설정보(451)로 하여금 수술 부위를 위한 타깃 영역을 재설정시키게 된다.

나아가, 라인 트리거링부(450)의 경우, 터치 카운트부(453)를 더 포함할 수 있다.

터치 카운트부(453)의 경우, 의료 실습자의 무빙 정보가 2차원 면적의 x-y좌표를 터치하는 횟수를 카운트하여, 무빙 정보가 2차원 면적의 x-y좌표를 복수 회 터치하는지 여부를 인식하게 된다.

터치 카운트부(453)의 경우, 도 10과 같은 절개 라인을 두번 지나면 안되기 때문에, 즉, 두번 절개하면 안되기 때문에, 이러한 절개의 횟수를 카운트하게 된다.

무빙타임 측정부(456)의 경우, 터치시간 인식부(442)와 유사하게, 도 10의 절개라인을 따라 움직이는 매스의 절개 시간을 측정하게 된다.

기준데이터 백업부(500)의 경우, 상술한 바와 같은 복수의 전문의에 의하여 미리 획득된 정보 즉, 의료 실습자가 가급적 모방해야할 바람직한 매스의 움직임 즉, 무빙 정보를 백업하는 저장소로서, 이러한 저장소에 미리 설정된 기준데이터가 물리적으로 분할되어 저장될 수 있다.

본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.

1: 수술용 매스(mass) 10: 가상현실 제공유닛
11: 고글(goggle) 12: 콘트롤러(controller)
13: 로 데이터(raw data) 20: 데이터 관리유닛
21: 데이터베이스(database) 22: 폴더
23: 웹사이트
100: 공간정보 수신부 101: 중앙 제어부
102: 백업 스토리지(backup storage) 200: 무빙정보 수신부
300: 기준데이터 설정부 400: 평가 측정부
410: 공간좌표 인식부 420: 무빙좌표 인식부
430: 차원 추출부 440: 포인트 트리거링부
441: 타깃지점 설정부 442: 터치라인 인식부
443: 패일라인 인식부 444: 터치시간 인식부
445: 뎁스 가중치부 446: 뎁스분산 측정부
450: 라인 트리거링부 451: 타깃영역 설정부
452: 좌표 설정부 453: 터치 카운트부
454: 이탈직경 산출부 455: 좌표 쉬프트부
456: 무빙타임 측정부 500: 기준데이터 백업부

Claims

의료 실습자의 안면(front face)에 장착되어, 상기 의료 실습자에게 공간 정보를 시각적으로 제공하는 고글;
상기 의료 실습자의 손에 제공되어, 상기 의료 실습자의 손의 움직임의 무빙 정보를 상기 공간 정보 내에 매핑시키는 콘트롤러;
상기 고글이 제공하는 상기 공간 정보를 수신하는 공간정보 수신부;
상기 콘트롤러가 매핑한 상기 의료 실습자의 상기 무빙 정보를 수신하는 무빙정보 수신부;
상기 공간 정보 상에 상기 무빙 정보에 관한 미리 설정된 기준데이터를 사전 획득하고 설정하는 기준데이터 설정부; 및
상기 기준데이터 설정부로부터 상기 미리 설정된 기준데이터를 수신하고, 상기 공간 정보 상에 상기 의료 실습자의 상기 무빙 정보를 비교하여 정량적인 점수를 산출하는 평가 측정부를 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제1항에 있어서, 상기 미리 설정된 기준데이터는,
복수의 전문의들에 의해 제공된 무빙 정보들을 미리 획득하여, 상기 공간 정보 상에서의 상기 복수의 전문의들에 의한 무빙 정보들의 3차원 좌표에서의 트레이스들의 평균치로 설정되는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제1항에 있어서, 상기 고글은,
VR(virtual reality), AR(Augmented　Reality) 또는 MR(Mixed　Reality) 중 적어도 하나 이상의 가상 현실을 제공하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제1항에 있어서, 상기 평가 측정부는,
상기 공간 정보를 3차원 공간 좌표로 판독하여 획득하는 공간좌표 인식부;
상기 공간 정보의 상기 3차원 공간 좌표 내, 상기 무빙 정보가 가지는 3차원 공간 좌표를 획득하는 무빙좌표 인식부; 및
상기 공간 정보 내에 미리 결정된 수술 부위 상에, 상기 무빙 정보의 평가를 위한 소정의 차원을 추출하는 차원 추출부를 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제4항에 있어서, 상기 차원 추출부는,
상기 소정의 차원을 복수 개의 1차원으로 설정하되,
상기 평가 측정부는,
상기 미리 결정된 수술 부위를 1차원의 터치 라인(touch line)으로 설정하며, 상기 터치 라인으로부터 소정의 뎁스(depth)를 가지는 하부에는 패일 라인(fail line)으로 설정하는 포인트 트리거링(point triggering)부를 더 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제5항에 있어서, 상기 포인트 트리거링부는,
상기 미리 결정된 수술 부위를 설정하여, 상기 고글을 통해 상기 공간 정보로 제공하는 타깃지점 설정부;
상기 콘트롤러에 의해 입력되는 상기 의료 실습자의 상기 무빙 정보가 상기 터치 라인을 터치하는지 여부를 인식하는 터치라인 인식부; 및
상기 콘트롤러에 의해 입력되는 상기 의료 실습자의 상기 무빙 정보가 상기 터치 라인의 하부에 형성된 상기 패일 라인을 터치하는지 여부를 인식하는 패일라인 인식부를 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제6항에 있어서, 상기 포인트 트리거링부는,
상기 의료 실습자의 상기 무빙 정보가 상기 미리 결정된 수술 부위에 머무르는 총 시간을 획득하는 터치시간 인식부;
상기 터치 라인으로부터 상기 패일 라인까지 이어지는 공간 내에 삽입되는 상기 무빙 정보의 깊이에 따라 상기 무빙 정보의 점수를 연속적으로 산출하여, 상기 무빙 정보의 깊이에 비례하여 점수를 연속적으로 감하는 뎁스 가중치부; 및
상기 터치 라인으로부터 상기 패일 라인까지 이어지는 공간 내에 삽입되는 상기 무빙 정보의 깊이의 분산을 측정하여, 분산에 반비례하여 상기 무빙 정보의 점수를 부여하는 뎁스분산 측정부를 더 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제4항에 있어서, 상기 차원 추출부는,
상기 소정의 차원을 2차원으로 설정하되,
상기 평가 측정부는,
상기 미리 결정된 수술 부위를 2차원 면적으로 설정하며, 상기 2차원 면적의 원점으로부터 이격되는 거리를 산출하는 라인 트리거링부를 더 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제8항에 있어서, 상기 라인 트리거링부는,
상기 2차원 면적의 원점을 상기 미리 결정된 수술 부위를 위한 타깃 영역으로 설정하는 타깃영역 설정부;
상기 2차원 면적을 x-y 좌표로 설정하고, 상기 무빙 정보의 상기 2차원 면적의 x-y좌표 내의 좌표를 인식하는 좌표 설정부;
상기 무빙 정보가 상기 원점으로부터 상기 x-y 좌표 상에서 이격된 거리를 측정하는 이탈직경 산출부; 및
상기 2차원 면적을 쉬프트 하여, 상기 타깃영역 설정부로 하여금 상기 수술 부위를 위한 타깃 영역을 재설정시키는 좌표 쉬프트부를 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.
제9항에 있어서, 상기 라인 트리거링부는,
상기 의료 실습자의 상기 무빙 정보가 상기 2차원 면적의 x-y 좌표를 터치하는 횟수를 카운트하여, 상기 무빙 정보가 상기 2차원 면적의 x-y 좌표를 복수 회 터치하는지 여부를 인식하는 터치 카운트부를 더 포함하는 것을 특징으로 하는, 이비인후과 수술 평가 시스템.