KR102464735B1

KR102464735B1 - 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템

Info

Publication number: KR102464735B1
Application number: KR1020210051641A
Authority: KR
Inventors: 이호진; 곽태진
Original assignee: 충남대학교산학협력단; 주식회사 유니브이알
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-11-09
Also published as: KR20220145044A

Abstract

본 발명은 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템에 관한 것이다.
보다 상세하게는 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템은 가상현실에 기반하는 척추 내시경 수술 콘텐츠를 시각적으로 출력하고, 사용자의 머리움직임정보를 생성하는 헤드마운트디스플레이부, 상기 척추 내시경 수술 콘텐츠에 대응하는 사용자의 입력정보를 추출하고, 상기 입력정보에 대응하는 피드백정보에 기반하여 피드백을 출력하는 조작부 및 상기 머리움직임정보를 기반으로 상기 척추 내시경 수술 콘텐츠를 상기 헤드마운트디스플레이부로 전달하고, 상기 입력정보에 대응하는 피드백정보를 생성하여 상기 조작부로 전달하고, 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과를 기반으로 훈련평가정보를 생성하여 상기 헤드마운트디스플레이부를 통하여 상기 사용자에게 제공하는 콘텐츠제공서버를 포함할 수 있다.

Description

가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템{SYSTEM OF TRAINING UNILATERAL BIPORTAL ENDOSCOPY BASED ON VIRTUAL REALITY}

본 발명은 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템에 관한 것이다. 보다 상세하게는 양방향 척추 내시경 수술의 대중화를 위하여, 가상현실을 기반으로 현실성 있는 트레이닝을 제공할 수 있는 시스템에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

양방향 척추 내시경 수술(Unilateral Biportal Endoscopic(UBE) Spine Surgery)는 약 5mm정도 되는 두 개의 작은 구멍을 통해 한쪽에는 초정밀 내시경을 삽입해 시야를 확보하고 다른 한쪽에는 수술도구를 넣어 척추 수술을 진행하는 수술법을 말한다.

일반적으로 양방향 척추 내시경 수술은 추간판 탈출증 또는 척추관 협착증에 진행되면, 일반 단방향 척추 내시경 수술에 비하여 치료효과가 크다는 장점과, 전신마취가 불필요하다는 장점과 회복속도가 빠르다는 장점이 있다.

그러나, 수술 자체의 난이도가 매우 높아 고도의 숙련된 전문의만이 진행할 수 있음에도 불구하고, 표준 수술교육 과정이 부재한 실정이다.

이에, 한국등록특허 제10-1403968호에서는 의료수술 시뮬레이션을 개시하고 있다.

보다 상세하게는, 환자의 신장, 몸무게, 체격을 포함하는 신체조건을 반영하여 3차원의 환자영상을 생성하는 환자영상생성부, 상기 환자에 대해 기 촬영된 영상에 기초하여 병변위치의 좌표 및 상기 병변위치의 좌표에 대응하는 수술시행 루트를 설정하고, 설정된 상기 병변위치의 좌표 및 상기 수술시행 루트를 상기 환자영상생성부에 의해 생성된 환자영상에 표시하는 수술루트설정부, 의료진의 수술용 장갑에 설치된 움직임측정센서에 기초하여 상기 의료진의 손 및 손가락 중의 적어도 하나에 대한 움직임을 측정하는 움직임측정부 및 수술도구의 영상을 생성하며, 상기 움직임측정부에 의해 측정된 움직임에 따라 상기 수술도구에 대응하는 수술 시행영상을 상기 환자영상생성부에 의해 생성된 환자영상에 표시하는 수술영상표시부를 포함하는 것을 특징으로 하는 의료수술 시뮬레이션 시스템을 개시하고 있다.

그러나, 선행기술은 척추 수술이라는 특수성을 반영하지 못하고 있으며, 특히, 수술도구를 통한 정확한 피드백을 체화하는 것이 매우 중요함에도 피드백을 제공하는 구성이 없다는 문제점이 있다.

등록특허공보 제10-1403968호

개시된 실시 예는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템을 제공하는 것이다.

또한, 개시된 실시 예는 헤드마운트디스플레이를 통하여 트레이닝의 몰입도를 향상시키는 것이다.

또한, 개시된 실시 예는 헤드마운트디스플레이와 조작부에 위치하는 다양한 센서를 통해 사용자의 머리위치를 정확하게 추출하는 것이다.

또한, 개시된 실시 예는 척추 내시경 수술 콘텐츠와 사용자의 입력정보에 대응하는 피드백을 제공하여 현실감을 향상시키는 것이다.

또한, 개시된 실시 예는 복수의 사용자가 동일한 척추 내시경 수술 콘텐츠를 동시에 진행하는 것이다.

또한, 개시된 실시 예는 원활한 트레이닝을 진행하기 위하여 통신속도에 기반하여 콘텐츠의 해상도를 조절하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템은 가상현실에 기반하는 척추 내시경 수술 콘텐츠를 시각적으로 출력하고, 사용자의 머리움직임정보를 생성하는 헤드마운트디스플레이부, 상기 척추 내시경 수술 콘텐츠에 대응하는 사용자의 입력정보를 추출하고, 상기 입력정보에 대응하는 피드백정보에 기반하여 피드백을 출력하는 조작부 및 상기 머리움직임정보를 기반으로 상기 척추 내시경 수술 콘텐츠를 상기 헤드마운트디스플레이부로 전달하고, 상기 입력정보에 대응하는 피드백정보를 생성하여 상기 조작부로 전달하고, 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과를 기반으로 훈련평가정보를 생성하여 상기 헤드마운트디스플레이부를 통하여 상기 사용자에게 제공하는 콘텐츠제공서버를 포함할 수 있다.

이 때, 상기 척추 내시경 수술 콘텐츠는, 복와위 채취로 고정 과정, C-arm을 이용한 수술 부위 표시 및 소독 과정, 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 근육 박리 및 골조직 노출 과정, 일측성 추궁절개술 과정, 황색 인대 제거 및 신경 감압 과정, 출혈 부위 지혈 및 음압관 삽입 과정, 절개부 봉합 과정 중 사용자의 선택 또는 기설정된 교육 프로그램에 따라 적어도 하나 이상의 과정이 병합된 것일 수 있다.

이 때, 상기 콘텐츠제공서버는 상기 복와위 채취로 고정 과정에서, 기설정된 제1 압박부위의 수, 기설정된 제1 테이핑부위의 수, 기설정된 제1 워밍(Warming)기구부착부위의 수와 사용자가 시행한 제2 압박부위의 수, 제2 테이핑부위의 수, 제2 워밍기구부착부위의 수를 기반으로 제1 평가정보를 산출하고, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정에서, 기설정된 제1 X-ray촬영위치, 기설정된 제1 수술부위경계면위치, 기설정된 제1 소독넓이와 사용자가 시행한 제2 X-ray촬영위치, 제2 수술부위경계면위치, 제2 소독넓이를 기반으로 제2 평가정보를 산출하고, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정에서, 기설정된 제1 절개목표위치, 기설정된 제1 절개지정크기, 기설정된 제1 연부분리영역과 사용자가 시행한 제2 절개목표위치, 제2 절개지정크기, 제2 연부분리영역을 기반으로 제3 평가정보를 산출하고, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정에서, 기설정된 제1 식염수공급량, 기설정된 제1 내시경진입경로위치와 사용자가 시행한 제2 식염수공급량, 제2 내시경진입경로위치를 기반으로 제4 평가정보를 산출하고, 상기 근육 박리 및 골조직 노출 과정에서, 기설정된 제1 수술뼈조직분리영역, 기설정된 제1 지혈영역, 기설정된 제1 내시경진입공간확보영역과 사용자가 시행한 제2 수술뼈조직분리영역, 제2 지혈영역, 제2 내시경진입공간확보영역을 기반으로 제5 평가정보를 산출하고, 상기 일측성 추궁절개술 과정에서, 기설정된 제1 뼈조직제거영역, 기설정된 제1 상관절돌기노출영역과 사용자가 시행한 제2 뼈조직제거영역, 제2 상관절돌기노출영역을 기반으로 제6 평가정보를 산출하고, 상기 황색 인대 제거 및 신경 감압 과정에서, 기설정된 제1 인대분리영역과 사용자가 시행한 제2 인대분리영역을 기반으로 제7 평가정보를 산출하거나, 상기 출혈 부위 지혈 및 음압관 삽입 과정에서, 기설정된 제3 지혈부위와 사용자가 시행한 제4 지혈부위를 기반으로 상기 제7 평가정보를 산출하고, 상기 절개부 봉합 과정에서, 기설정된 제1 봉합영역과 사용자가 시행한 제2 봉합영역 및 봉합후 음압관형태변형영역을 기반으로 제8 평가정보를 산출하고, 상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 기반으로 상기 훈련평가정보를 생성할 수 있다.

이 때, 상기 콘텐츠제공서버는 상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 정규화(Normalization)한 제1 정규화값들의 평균값을 기반으로 상기 훈련평가정보를 생성할 수 있다.

이 때, 상기 콘텐츠제공서버는 상기 복와위 채취로 고정 과정, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 상기 근육 박리 및 골조직 노출 과정, 상기 일측성 추궁절개술 과정, 상기 황색 인대 제거 및 신경 감압 과정, 상기 출혈 부위 지혈 및 음압관 삽입 과정, 상기 절개부 봉합 과정마다 기설정된 중요도에 따라 가중치를 설정하고, 상기 제1 정규화값에 상기 가중치를 부과하여 제2 정규화값을 산출하고, 상기 제2 정규화값의 평균값을 기반으로 상기 훈련평가정보를 생성할 수 있다.

이 때, 상기 헤드마운트디스플레이부는, 상기 척추 내시경 수술 콘텐츠를 시각적으로 출력하는 양안디스플레이부, 가속도센서 및 자이로센서 중 적어도 하나 이상을 이용하여 상기 머리움직임정보를 생성하는 센서부 및 상기 양안디스플레이부 및 상기 센서부를 수용하고, 상기 사용자의 머리에 거치되는 하우징부를 포함할 수 있다.

이 때, 상기 센서부는, 상기 조작부에 서로 이격되어 위치하는 3개 이상의 비콘을 기반으로 삼변측량법에 의하여 상기 사용자의 머리위치정보를 추출하고, 상기 머리위치정보를 포함하여 상기 머리움직임정보를 생성할 수 있다.

이 때, 상기 조작부는, 상기 척추 내시경 수술 콘텐츠에 포함되는 가상 내시경장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제1 햅틱암 및 상기 척추 내시경 수술 콘텐츠에 포함되는 가상 수술장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제2 햅틱암을 포함할 수 있다.

이 때, 상기 피드백정보는, 상기 척추 내시경 수술 콘텐츠에 상응하는 가상현실환자의 신체와 상기 가상 내시경장치 또는 상기 가상 수술장치의 접촉에 기반하여 생성될 수 있다.

이 때, 상기 가상현실환자의 신체는 피드백계수가 상이한 척추, 신경, 근육, 피하지방 및 피부를 포함하고, 상기 피드백정보는, 상기 가상 내시경장치 또는 상기 가상 수술장치와 접촉하는 상기 가상현실환자의 신체의 종류에 따라 상이한 피드백계수를 기반으로 생성될 수 있다.

이 때, 상기 콘텐츠제공서버는, 복수개의 상기 헤드마운트디스플레이부 및 복수개의 상기 조작부와 통신을 수행하되, 제1 사용자가 사용하는 제1 헤드마운트디스플레이부 및 제1 조작부에 상응하는 제1 가상 내시경장치 및 제1 가상 수술장치와 제2 사용자가 사용하는 제2 헤드마운트디스플레이부 및 제2 조작부에 상응하는 제2 가상 내시경장치 및 제2 가상 수술장치가 서로 중첩되지 않도록 제어하되, 이를 기반으로 피드백정보를 생성할 수 있다.

이 때, 상기 콘텐츠제공서버는, 상기 헤드마운트디스플레이부와의 통신속도를 실시간으로 측정하고, 상기 통신속도와 기설정된 임계통신속도를 기반으로 상기 척추 내시경 수술 콘텐츠의 해상도를 조절할 수 있다.

이 때, 상기 헤드마운트디스플레이부는, 사용자의 동공의 위치에 기반하여 시선정보를 추출하는 시선추출부를 포함하고, 상기 콘텐츠제공서버는, 상기 통신속도가 기설정된 임계통신속도 이하인 경우, 상기 척추 내시경 수술 콘텐츠를 격자형태의 복수개의 영역으로 구분하고, 상기 시선정보에 대응하는 하나 이상의 영역을 제외한 나머지 영역의 해상도를 낮출 수 있다.

개시된 실시 예에 따르면, 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템을 제공할 수 있다.

또한, 개시된 실시 예에 따르면, 헤드마운트디스플레이를 통하여 트레이닝의 몰입도를 향상시킬 수 있다.

또한, 개시된 실시 예에 따르면, 헤드마운트디스플레이와 조작부에 위치하는 다양한 센서를 통해 사용자의 머리위치를 정확하게 추출할 수 있다.

또한, 개시된 실시 예에 따르면, 척추 내시경 수술 콘텐츠와 사용자의 입력정보에 대응하는 피드백을 제공하여 현실감을 향상시킬 수 있다.

또한, 개시된 실시 예에 따르면, 복수의 사용자가 동일한 척추 내시경 수술 콘텐츠를 동시에 진행할 수 있다.

또한, 개시된 실시 예에 따르면, 원활한 트레이닝을 진행하기 위하여 통신속도에 기반하여 콘텐츠의 해상도를 조절할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템의 구성도.
도 2는 실제 양방향 척추 내시경 수술을 나타내는 도면.
도 3은 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 콘텐츠 종류를 나타내는 도면.
도 4는 본 발명의 일 실시예에 따라 사용자의 머리위치를 추출하는 이해도.
도 5는 본 발명의 일 실시예에 따라 다자간 트레이닝에서 상호간섭을 방지하기 위한 구성을 나타내는 이해도.
도 6은 본 발명의 일 실시예에 따라 통신속도를 기반으로 양방향 척추 내시경 수술 콘텐츠의 해상도를 조절하는 이해도.
도 7은 본 발명의 일 실시예에 따라 사용자의 수행결과에 대한 전문가의 훈련평가정보를 사용자에게 전달하는 예시도.
도 8 내지 도 16은 본 발명의 일 실시예에 따른 척추 내시경 수술 콘텐츠별 훈련평가정보를 생성하기 위한 기준에 대한 예시도.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들을 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

이하에서, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템은 가상현실에 기반하는 척추 내시경 수술 콘텐츠를 시각적으로 출력하고, 사용자의 머리움직임정보를 생성하는 헤드마운트디스플레이부(200), 상기 척추 내시경 수술 콘텐츠에 대응하는 사용자의 입력정보를 추출하고, 상기 입력정보에 대응하는 피드백정보에 기반하여 피드백을 출력하는 조작부(300) 및 상기 머리움직임정보를 기반으로 상기 척추 내시경 수술 콘텐츠를 상기 헤드마운트디스플레이부(200)로 전달하고, 상기 입력정보에 대응하는 피드백정보를 생성하여 상기 조작부(300)로 전달하고, 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과를 기반으로 훈련평가정보(610)를 생성하여 상기 헤드마운트디스플레이부(200)를 통하여 상기 사용자에게 제공하는 콘텐츠제공서버(100)를 포함하여, 양방향 척추 내시경 수술을 훈련하려는 사용자에게 현실감 있는 시뮬레이션을 제공할 수 있다.

이 때, 상기 척추 내시경 수술 콘텐츠 및 상기 훈련평가정보(610)를 생성하는 과정은 도 8 내지 도 16을 참조하여 후술하도록 한다.

예를 들면, 사용자는 헤드마운트디스플레이부(200)를 머리에 장착하고, 양 손으로 조작부(300)를 조작하여 양방향 척추 내시경 수술 콘텐츠를 진행할 수 있다.

이 때, 상기 헤드마운트디스플레이부(200)는 상기 척추 내시경 수술 콘텐츠를 시각적으로 출력하는 양안디스플레이부, 가속도센서 및 자이로센서 중 적어도 하나 이상을 이용하여 상기 머리움직임정보를 생성하는 센서부 및 상기 양안디스플레이부 및 상기 센서부를 수용하고, 상기 사용자의 머리에 거치되는 하우징부를 포함할 수 있다.

이 때, 상기 양안디스플레이부는 사용자의 눈 위치에 대응하도록 2개가 서로 이격되도록 위치할 수 있다. 또한, 상기 척추 내시경 수술 콘텐츠는 상기 양안디스플레이부에 출력되되, 사용자가 입체감을 느낄 수 있도록 상호 상이하게 출력될 수 있다.

또한, 센서부는 가속도 센서 및 자이로센서 중 적어도 하나 이상으로 구성되어 상기 사용자의 머리움직임정보를 생성할 수 있는데, 사용자의 머리 움직임은 3차원으로 움직이므로, 상기 가속도 센서 및 상기 자이로센서는 모두 3축 이상으로 구성됨이 바람직하다.

이 때, 하우징부는 상기 양안디스플레이부와 상기 센서부를 수용하는 하우징부본체와 상기 하우징부본체를 사용자의 눈에 밀착시키고 사용자의 머리에 단단히 고정될 수 있는 하나 이상의 밴드를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 조작부(300)는 상기 척추 내시경 수술 콘텐츠에 포함되는 가상 내시경장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제1 햅틱암(310) 및 상기 척추 내시경 수술 콘텐츠에 포함되는 가상 수술장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제2 햅틱암(320)을 포함할 수 있다.

본 발명은 내시경과 수술도구를 한번에 사용하여 수술을 진행하는 양방향 척추 내시경 수술을 위한 것으로써, 가상 내시경장치를 제어하는 조작부(300) 즉, 제1 햅틱암(310)과 가상 수술장치를 제어하는 조작부(300) 즉, 제2 햅틱암(320)으로 구성될 수 있다.

이 때, 제1 햅틱암(310) 및 제2 햅틱암(320)은 사용자가 손으로 움켜쥘 수 있는 그립부와, 상기 그립부가 자유롭게 움직일 수 있도록 하나 이상의 관절부 즉, 다관절로 형성될 수 있다.

이 때, 관절부는 모터로 구성되어 사용자의 움직임에 따라 미끄러짐 또는 저항감을 제공하여 피드백을 출력할 수 있다. 또한, 제1 햅틱암(310) 및 제2 햅틱암(320) 내부에 진동모듈을 포함하여, 상기 진동모듈 및 상기 관절부에 구성된 모터를 기반으로 사용자에게 피드백을 출력할 수도 있다.

이 때, 상기 피드백정보는 상기 척추 내시경 수술 콘텐츠에 상응하는 가상현실환자의 신체와 상기 가상 내시경장치 또는 상기 가상 수술장치의 접촉에 기반하여 생성될 수 있다.

이 때, 상기 가상현실환자의 신체는 피드백계수가 상이한 척추, 신경, 근육, 피하지방 및 피부를 포함하고, 상기 피드백정보는 상기 가상 내시경장치 또는 상기 가상 수술장치와 접촉하는 상기 가상현실환자의 신체의 종류에 따라 상이한 피드백계수를 기반으로 생성될 수 있다.

이는, 내시경 또는 수술도구가 신체조직 즉, 척추(뼈), 신경, 근육, 지방, 피부 등에 닿았을 때의 촉감, 저항감 등이 서로 상이하기 때문에, 콘텐츠제공서버(100)에서 상기 피드백정보를 생성할 때, 사용자의 신체별로 기설정된 피드백계수를 기반으로 상기 피드백정보를 생성할 수 있다.

상술한 구성등을 통하여 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템은 사용자가 보다 현실감 있고, 몰입감 있는 시뮬레이션을 제공할 수 있다.

도 2는 실제 양방향 척추 내시경 수술을 나타내는 도면이다.

도 2를 참조하면, 양방향 척추 내시경 수술(Unilateral Biportal Endoscopic(UBE) Spine Surgery)는 상술한 바와 같이 약 5mm정도 되는 두 개의 작은 구멍을 통해 한쪽에는 초정밀 내시경을 삽입해 시야를 확보하고 다른 한쪽에는 수술도구를 넣어 척추 수술을 진행하는 수술법을 말한다.

따라서, 내시경을 제어할 수 있는 조작부(300) 즉, 제1 햅틱부와 수술도구 등을 제어할 수 있는 조작부(300) 즉, 제2 햅틱부를 포함함이 바람직하다.

도 3은 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 콘텐츠 종류를 나타내는 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템은 난이도가 있는 척추수술에 대한 척추 내시경 수술 콘텐츠를 사용자에게 제공할 수 있다.

이 때, 상기 척추 내시경 수술 콘텐츠는 척추 뼈 그라인딩, 척추 뼈 펀칭 및 근육 분리 등을 포함할 수 있다. 이는 순차적으로 제공될 수도 있고 개별적으로 제공되어 질 수도 있다.

또한, 상기 척추 내시경 수술 콘텐츠는 상술한 콘텐츠에 한정되는 것이 아니고 수술 프로세스에 따라 더 추가될 수도 있다.

도 4는 본 발명의 일 실시예에 따라 사용자의 머리위치를 추출하는 이해도이다.

도 4를 참조하면, 상기 센서부는 상기 조작부(300)에 서로 이격되어 위치하는 3개 이상의 비콘(330)을 기반으로 삼변측량법에 의하여 상기 사용자의 머리위치정보를 추출하고, 상기 머리위치정보를 포함하여 상기 머리움직임정보를 생성할 수 있다.

이는 사용자에게 가상현실 속에서 손의 위치와 머리의 위치를 보다 정확하게 매칭하여 몰입도를 높이기 위함이다.

이 때, 삼변측량법이란, 삼각형 기하학을 사용하여 물체의 상대 위치를 구하는 방법이다. 하나의 변의 길이와, 양 끝의 두 각을 이용하는 삼각측량과는 달리 삼변측량은 목표의 위치를 알기 위해서 두 개 이상의 기준점과, 물체와 각 기준점과의 거리를 이용한다. 삼변측량만으로 2차원 면에서의 상대위치를 정확하고 유일하게 결정하기 위해서는 최소한 3개의 기준점이 필요하다.

따라서, 비콘(330)은 조작부(300)에 서로 이격되어 위치하도록 3개 이상 포함됨이 바람직하다.

이 때, 상기 센서부는 상기 비콘(330)(Beacon)의 값인 RSSI에 따라 비콘(330)들과 상기 헤드마운트디스플레이부의 위치중심(210)과의 거리를 계산하고, 삼변측량공식을 기반으로 상기 사용자의 머리위치정보를 추출할 수 있다.

도 5는 본 발명의 일 실시예에 따라 다자간 트레이닝에서 상호간섭을 방지하기 위한 구성을 나타내는 이해도이다.

도 5를 참조하면, 상기 콘텐츠제공서버(100)는 복수개의 상기 헤드마운트디스플레이부(200) 및 복수개의 상기 조작부(300)와 통신을 수행하여 다자간 훈련이 가능하도록 구성될 수 있다.

예를 들면, 콘텐츠제공서버(100)는 제1 사용자가 사용하는 제1 헤드마운트디스플레이부(200) 및 제1 조작부(300)에 상응하는 제1 가상 내시경장치 및 제1 가상 수술장치와 제2 사용자가 사용하는 제2 헤드마운트디스플레이부(200) 및 제2 조작부(300)에 상응하는 제2 가상 내시경장치 및 제2 가상 수술장치가 서로 중첩되지 않도록 제어하되, 이를 기반으로 피드백정보를 생성할 수 있다.

보다 상세하게는 도 5에 도시된 바와 같이 콘텐츠제공서버(100)는 제1 가상 내시경장치 또는 제1 가상 수술장치를 사용하는 제1 사용자의 가상손의 제1 중심좌표(410)와 제2 가상 내시경장치 또는 제2 가상 수술장치를 사용하는 제2 사용자의 가상손의 제2 중심좌표(420)를 추출하고, 상기 제1 중심좌표 및 상기 제2 중심좌표를 중심으로 기설정된 임계반경이 서로 중첩되지 않는 범위에서만 동작할 수 있도록 제어할 수 있다.

이 때, 콘텐츠제공서버(100)는 제1 중심좌표(410)의 임계반경과 제2 중심좌표(420)의 임계반경이 중첩된 경우, 그에 상응하는 피드백정보 또한 생성할 수도 있다.

도 6은 본 발명의 일 실시예에 따라 통신속도를 기반으로 양방향 척추 내시경 수술 콘텐츠의 해상도를 조절하는 이해도이다.

도 6을 참조하면, 콘텐츠제공서버(100)는 상기 헤드마운트디스플레이부(200)와의 통신속도를 실시간으로 측정하고, 상기 통신속도와 기설정된 임계통신속도를 기반으로 상기 척추 내시경 수술 콘텐츠의 해상도를 조절할 수 있다.

가상현실의 가장 중요한 것은 현실감 및 몰입감인데, 통신속도로 인하여 정확한 타이밍에 콘텐츠를 사용자에게 제공하지 않으면, 현실감 및 몰입감이 매우 떨어지게 된다.

따라서, 콘텐츠제공서버(100)는 상기 헤드마운트디스플레이부(200)와의 통신속도를 고려하여 상기 척추 내시경 수술 콘텐츠의 해상도를 조절함이 바람직하며, 보다 상세하게는 상기 척추 내시경 수술 콘텐츠의 현재 해상도 상에서 상기 척추 내시경 수술 콘텐츠가 끊기지 않을 최소한의 임계통신속도를 사전에 설정하고, 상기 통신속도가 상기 임계통신속도보다 낮아지는 경우, 상기 해상도를 낮춤으로써 끊김을 방지할 수 있다.

다만, 이 경우, 신경과 근육 등과 같이 미세한 가상 신체조직을 보면서 수술을 진행해야 함으로 사용자가 집중적으로 보고 있는 지점까지 해상도를 낮추게 되면 이 또한 현실감 및 몰입감을 떨어지게 하고, 트레이닝의 효과 또한 낮아지게 된다.

따라서, 이 때, 상기 헤드마운트디스플레이부(200)는 사용자의 동공의 위치에 기반하여 시선정보를 추출하는 시선추출부(220)를 포함하고, 상기 콘텐츠제공서버(100)는 상기 통신속도가 기설정된 임계통신속도 이하인 경우, 상기 척추 내시경 수술 콘텐츠를 격자형태의 복수개의 영역으로 구분하고, 상기 시선정보에 대응하는 하나 이상의 영역(510)을 제외한 나머지 영역(520)의 해상도를 낮출 수 있다.

또한, 콘텐츠제공서버(100)는 상기 척추 내시경 수술 콘텐츠의 해상도 및 통신속도를 입력으로 상기 임계통신속도를 출력하는 기계학습모델을 생성하는 인공지능모듈을 포함할 수 있다.

이 때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여 정확한 상관 관계가 도출될 수 있도록 학습을 수행할 수 있다.

또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.

또한, 인공지능망 모델로 패턴 인식 등에 잘 활용되는 SVM(Supported Vector Machine) 신경망 알고리즘을 활용하여 기계학습모델을 생성할 수 있다.

여기서, SVM 즉, 서포트 벡터 머신은 기계학습의 분야 중 하나로 패턴인식, 자료분석을 위한 지도학습모델이며, 주로 분류와 회귀분석을 위해 사용될 수 있고, 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만들 수 있다.

도 7은 본 발명의 일 실시예에 따라 사용자의 수행결과(530)에 대한 전문가의 훈련평가정보(610)를 사용자에게 전달하는 예시도이다.

본 발명의 일 실시예에 따른 콘텐츠제공서버(100)는 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과(530)를 기반으로 훈련평가정보(610)를 생성하여 상기 사용자에게 제공할 수 있다.

이 때, 훈련평가정보(610)는 수술의 시간, 수술도구 사용의 정확성, 수술 부위 침습 최소화 정도, 목표 수술 부위 제거 정도, 위기 상황 대처 등에 관한 정량적 평가정보와 수술 집도의 자세, 수술도구의 배치 및 정리, 수술의 집중력, 수술의 긴장도, 수술도구의 안정적 파지법 등에 관한 정성적 평가정보를 포함할 수 있다.

이 때, 보다 정확한 평가를 위하여, 콘텐츠제공서버(100)는 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과(530)를 전문가 단말(600)로 전달하고, 전문가 단말(600)에서 상기 수행결과(530)에 기반하여 생성한 훈련평가정보(610)를 전달받아 상기 사용자가 착용하고 있는 헤드마운트디스플레이부(200)에 전달할 수도 있다.

도 8 내지 도 16은 본 발명의 일 실시예에 따른 척추 내시경 수술 콘텐츠별 훈련평가정보를 생성하기 위한 기준에 대한 예시도이다.

본 발명의 일 실시예에 따른 척추 내시경 수술 콘텐츠는 크게 아래의 표와 같이 구분할 수 있다.

정리하면, 크게 준비단계와 시행단계 및 정리단계로 구분할 수 있으며, 세부단계는 총 9개의 과정으로 구분할 수 있다.

이는, 척추 내시경 수술 콘텐츠를 사용하는 사용자가 특정 과정만을 반복하여 훈련할 필요성도 있기 때문에 사용자가 선택할 수 있도록 구성될 수 있고, 또는 교육 커리큘럼에 따라 사용자가 훈련할 수 있도록 기설정된 교육 프로그램에 따라 구성될 수도 있다.

도 8 내지 도 16을 참조하면, 상기 콘텐츠제공서버는 상기 복와위 채취로 고정 과정에서, 기설정된 제1 압박부위의 수, 기설정된 제1 테이핑부위의 수, 기설정된 제1 워밍(Warming)기구부착부위의 수와 사용자가 시행한 제2 압박부위의 수, 제2 테이핑부위의 수, 제2 워밍기구부착부위의 수를 기반으로 제1 평가정보를 산출하고, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정에서, 기설정된 제1 X-ray촬영위치, 기설정된 제1 수술부위경계면위치, 기설정된 제1 소독넓이와 사용자가 시행한 제2 X-ray촬영위치, 제2 수술부위경계면위치, 제2 소독넓이를 기반으로 제2 평가정보를 산출하고, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정에서, 기설정된 제1 절개목표위치, 기설정된 제1 절개지정크기, 기설정된 제1 연부분리영역과 사용자가 시행한 제2 절개목표위치, 제2 절개지정크기, 제2 연부분리영역을 기반으로 제3 평가정보를 산출하고, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정에서, 기설정된 제1 식염수공급량, 기설정된 제1 내시경진입경로위치와 사용자가 시행한 제2 식염수공급량, 제2 내시경진입경로위치를 기반으로 제4 평가정보를 산출하고, 상기 근육 박리 및 골조직 노출 과정에서, 기설정된 제1 수술뼈조직분리영역, 기설정된 제1 지혈영역, 기설정된 제1 내시경진입공간확보영역과 사용자가 시행한 제2 수술뼈조직분리영역, 제2 지혈영역, 제2 내시경진입공간확보영역을 기반으로 제5 평가정보를 산출하고, 상기 일측성 추궁절개술 과정에서, 기설정된 제1 뼈조직제거영역, 기설정된 제1 상관절돌기노출영역과 사용자가 시행한 제2 뼈조직제거영역, 제2 상관절돌기노출영역을 기반으로 제6 평가정보를 산출하고, 상기 황색 인대 제거 및 신경 감압 과정에서, 기설정된 제1 인대분리영역과 사용자가 시행한 제2 인대분리영역을 기반으로 제7 평가정보를 산출하거나, 상기 출혈 부위 지혈 및 음압관 삽입 과정에서, 기설정된 제3 지혈부위와 사용자가 시행한 제4 지혈부위를 기반으로 상기 제7 평가정보를 산출하고, 상기 절개부 봉합 과정에서, 기설정된 제1 봉합영역과 사용자가 시행한 제2 봉합영역 및 봉합후 음압관형태변형영역을 기반으로 제8 평가정보를 산출하고, 상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 기반으로 상기 훈련평가정보(610)를 생성할 수 있다.

상기 훈련평가정보(610)는 상술한 구성 외에도, 도 8 내지 도 16에 도시된 바와 같이, 절차의 준수여부, 시행시간의 준수여부, 도구의 선택 및 조작, 체온 모니터 응시여부, 심박수 모니터 응시여부, 시계의 응시여부 등 다른 요소도 반영하여 생성할 수도 있다.

다만, 이때, 각 요소별 수치는 도 8 내지 도 16에 도시된 바와 같이 동일한 단위를 사용하지 않아 일률적으로 평균을 구하는 것은 다소 적합하지 않다.

따라서, 상기 콘텐츠제공서버는 상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 정규화(Normalization)한 제1 정규화값들의 평균값을 기반으로 상기 훈련평가정보(610)를 생성할 수 있다.

또한, 상기 복와위 채취로 고정 과정, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 상기 근육 박리 및 골조직 노출 과정, 상기 일측성 추궁절개술 과정, 상기 황색 인대 제거 및 신경 감압 과정, 상기 출혈 부위 지혈 및 음압관 삽입 과정, 상기 절개부 봉합 과정은 상호간에 중요도가 상이할 수 있다. 예를 들어, 근육 박리 및 골조직 노출 과정은 사용자의 신체를 직접적으로 훼손할 우려가 있는데 반하여, 수술 부위 표시 및 소독 과정은 사용자의 신체를 훼손할 우려가 없기 때문에 동일한 수치로 정규화하는 것은 다소 적합하지 않다.

따라서, 상기 콘텐츠제공서버는 상기 복와위 채취로 고정 과정, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 상기 근육 박리 및 골조직 노출 과정, 상기 일측성 추궁절개술 과정, 상기 황색 인대 제거 및 신경 감압 과정, 상기 출혈 부위 지혈 및 음압관 삽입 과정, 상기 절개부 봉합 과정마다 기설정된 중요도에 따라 가중치를 설정하고, 상기 제1 정규화값에 상기 가중치를 부과하여 제2 정규화값을 산출하고, 상기 제2 정규화값의 평균값을 기반으로 상기 훈련평가정보(610)를 생성할 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시예는 필요에 따라 서로 조합되어 운용할 수 있다.

또한, 본 발명의 일 실시예에 따른 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

이와 같이, 본 발명의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM)와, 랜덤-접속 메모리(random access memory: RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.

또한 본 발명의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 다양한 실시예들에 따른 방법은 제어모듈 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 발명의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.

따라서, 본 발명은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 발명에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

100 : 콘텐츠제공서버
200 : 헤드마운트디스플레이부
220 : 시선추출부
300 : 조작부
310 : 제1 햅틱암
320 : 제2 햅틱암
330 : 비콘
600 : 전문가 단말

Claims

가상현실에 기반하는 척추 내시경 수술 콘텐츠를 시각적으로 출력하고, 사용자의 머리움직임정보를 생성하는 헤드마운트디스플레이부;
상기 척추 내시경 수술 콘텐츠에 대응하는 사용자의 입력정보를 추출하고, 상기 입력정보에 대응하는 피드백정보에 기반하여 피드백을 출력하는 조작부; 및
상기 머리움직임정보를 기반으로 상기 척추 내시경 수술 콘텐츠를 상기 헤드마운트디스플레이부로 전달하고, 상기 입력정보에 대응하는 피드백정보를 생성하여 상기 조작부로 전달하고, 상기 사용자의 척추 내시경 수술 콘텐츠 수행결과를 기반으로 훈련평가정보를 생성하여 상기 헤드마운트디스플레이부를 통하여 상기 사용자에게 제공하는는 콘텐츠제공서버;를 포함하며,
상기 척추 내시경 수술 콘텐츠는,
복와위 채취로 고정 과정, C-arm을 이용한 수술 부위 표시 및 소독 과정, 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 근육 박리 및 골조직 노출 과정, 일측성 추궁절개술 과정, 황색 인대 제거 및 신경 감압 과정, 출혈 부위 지혈 및 음압관 삽입 과정, 절개부 봉합 과정 중 사용자의 선택 또는 기설정된 교육 프로그램에 따라 적어도 하나 이상의 과정이 병합되고,
상기 콘텐츠제공서버는
상기 복와위 채취로 고정 과정에서, 기설정된 제1 압박부위의 수, 기설정된 제1 테이핑부위의 수, 기설정된 제1 워밍(Warming)기구부착부위의 수와 사용자가 시행한 제2 압박부위의 수, 제2 테이핑부위의 수, 제2 워밍기구부착부위의 수를 기반으로 제1 평가정보를 산출하고,
상기 C-arm을 이용한 수술 부위 표시 및 소독 과정에서, 기설정된 제1 X-ray촬영위치, 기설정된 제1 수술부위경계면위치, 기설정된 제1 소독넓이와 사용자가 시행한 제2 X-ray촬영위치, 제2 수술부위경계면위치, 제2 소독넓이를 기반으로 제2 평가정보를 산출하고,
상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정에서, 기설정된 제1 절개목표위치, 기설정된 제1 절개지정크기, 기설정된 제1 연부분리영역과 사용자가 시행한 제2 절개목표위치, 제2 절개지정크기, 제2 연부분리영역을 기반으로 제3 평가정보를 산출하고,
상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정에서, 기설정된 제1 식염수공급량, 기설정된 제1 내시경진입경로위치와 사용자가 시행한 제2 식염수공급량, 제2 내시경진입경로위치를 기반으로 제4 평가정보를 산출하고,
상기 근육 박리 및 골조직 노출 과정에서, 기설정된 제1 수술뼈조직분리영역, 기설정된 제1 지혈영역, 기설정된 제1 내시경진입공간확보영역과 사용자가 시행한 제2 수술뼈조직분리영역, 제2 지혈영역, 제2 내시경진입공간확보영역을 기반으로 제5 평가정보를 산출하고,
상기 일측성 추궁절개술 과정에서, 기설정된 제1 뼈조직제거영역, 기설정된 제1 상관절돌기노출영역과 사용자가 시행한 제2 뼈조직제거영역, 제2 상관절돌기노출영역을 기반으로 제6 평가정보를 산출하고,
상기 황색 인대 제거 및 신경 감압 과정에서, 기설정된 제1 인대분리영역과 사용자가 시행한 제2 인대분리영역을 기반으로 제7 평가정보를 산출하거나, 상기 출혈 부위 지혈 및 음압관 삽입 과정에서, 기설정된 제3 지혈부위와 사용자가 시행한 제4 지혈부위를 기반으로 상기 제7 평가정보를 산출하고,
상기 절개부 봉합 과정에서, 기설정된 제1 봉합영역과 사용자가 시행한 제2 봉합영역 및 봉합후 음압관형태변형영역을 기반으로 제8 평가정보를 산출하고,
상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 기반으로 상기 훈련평가정보를 생성하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
삭제
삭제
청구항 1에 있어서,
상기 콘텐츠제공서버는
상기 제1 평가정보, 상기 제2 평가정보, 상기 제3 평가정보, 상기 제4 평가정보, 상기 제5 평가정보, 상기 제6 평가정보, 상기 제7 평가정보 및 상기 제8 평가정보를 정규화(Normalization)한 제1 정규화값들의 평균값을 기반으로 상기 훈련평가정보를 생성하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 4에 있어서,
상기 콘텐츠제공서버는
상기 복와위 채취로 고정 과정, 상기 C-arm을 이용한 수술 부위 표시 및 소독 과정, 상기 내시경 구멍 절개 및 수술 부위 연부조직 박리 과정, 상기 내시경 삽입 및 절개 부위 식염수 순환시작 및 유지 과정, 상기 근육 박리 및 골조직 노출 과정, 상기 일측성 추궁절개술 과정, 상기 황색 인대 제거 및 신경 감압 과정, 상기 출혈 부위 지혈 및 음압관 삽입 과정, 상기 절개부 봉합 과정마다 기설정된 중요도에 따라 가중치를 설정하고,
상기 제1 정규화값에 상기 가중치를 부과하여 제2 정규화값을 산출하고, 상기 제2 정규화값의 평균값을 기반으로 상기 훈련평가정보를 생성하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 1에 있어서,
상기 헤드마운트디스플레이부는,
상기 척추 내시경 수술 콘텐츠를 시각적으로 출력하는 양안디스플레이부;
가속도센서 및 자이로센서 중 적어도 하나 이상을 이용하여 상기 머리움직임정보를 생성하는 센서부; 및
상기 양안디스플레이부 및 상기 센서부를 수용하고, 상기 사용자의 머리에 거치되는 하우징부; 를 포함하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 6에 있어서,
상기 센서부는,
상기 조작부에 서로 이격되어 위치하는 3개 이상의 비콘을 기반으로 삼변측량법에 의하여 상기 사용자의 머리위치정보를 추출하고, 상기 머리위치정보를 포함하여 상기 머리움직임정보를 생성하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 6에 있어서,
상기 조작부는,
상기 척추 내시경 수술 콘텐츠에 포함되는 가상 내시경장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제1 햅틱암; 및
상기 척추 내시경 수술 콘텐츠에 포함되는 가상 수술장치를 제어하고, 상기 피드백정보를 기반으로 피드백을 출력하는 제2 햅틱암; 을 포함하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 8에 있어서,
상기 피드백정보는,
상기 척추 내시경 수술 콘텐츠에 상응하는 가상현실환자의 신체와 상기 가상 내시경장치 또는 상기 가상 수술장치의 접촉에 기반하여 생성되는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 9에 있어서,
상기 가상현실환자의 신체는
피드백계수가 상이한 척추, 신경, 근육, 피하지방 및 피부를 포함하고,
상기 피드백정보는,
상기 가상 내시경장치 또는 상기 가상 수술장치와 접촉하는 상기 가상현실환자의 신체의 종류에 따라 상이한 피드백계수를 기반으로 생성되는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 1에 있어서,
상기 콘텐츠제공서버는,
복수개의 상기 헤드마운트디스플레이부 및 복수개의 상기 조작부와 통신을 수행하되,
제1 사용자가 사용하는 제1 헤드마운트디스플레이부 및 제1 조작부에 상응하는 제1 가상 내시경장치 및 제1 가상 수술장치와 제2 사용자가 사용하는 제2 헤드마운트디스플레이부 및 제2 조작부에 상응하는 제2 가상 내시경장치 및 제2 가상 수술장치가 서로 중첩되지 않도록 제어하되, 이를 기반으로 피드백정보를 생성하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 5에 있어서,
상기 콘텐츠제공서버는,
상기 헤드마운트디스플레이부와의 통신속도를 실시간으로 측정하고, 상기 통신속도와 기설정된 임계통신속도를 기반으로 상기 척추 내시경 수술 콘텐츠의 해상도를 조절하는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.
청구항 12에 있어서,
상기 헤드마운트디스플레이부는,
사용자의 동공의 위치에 기반하여 시선정보를 추출하는 시선추출부; 를 포함하고,
상기 콘텐츠제공서버는,
상기 통신속도가 기설정된 임계통신속도 이하인 경우, 상기 척추 내시경 수술 콘텐츠를 격자형태의 복수개의 영역으로 구분하고, 상기 시선정보에 대응하는 하나 이상의 영역을 제외한 나머지 영역의 해상도를 낮추는 것을 특징으로 하는 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템.