KR102116423B1 - 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 - Google Patents

Abstract

본 발명은 메디컬 트레이닝 가상현실 장치 및 방법에 관한 것이다. 이를 위하여, 리얼 영상 데이터에서의 팬텀에 구성된 팬텀 마커를 기초로 팬텀 기준면 데이터를 생성하고, 의료기구에 구성된 의료기구 마커를 기초로 의료기구 기준면 데이터를 생성하는 기준면 데이터 생성 단계; 팬텀 기준면 데이터와 의료기구 기준면 데이터를 상호 정합하여 정합 데이터를 생성하는 정합 단계; 팬텀 기준면 데이터, 의료기구 기준면 데이터 및 정합 데이터를 기초로 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 출력하는 렌더링 단계; 의료기구의 움직임에 따라 의료기구 기준면 데이터를 업데이트하고, 업데이트된 의료기구 기준면 데이터를 기준으로 의료기구 렌더링 데이터를 생성하고 출력하는 의료기구 움직임 단계;가 제공될 수 있다.

Description

미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치{Microsurgical and injection virtual reality device}

본 발명은 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 및 방법에 관한 것이다.

숙련된 외과의사가 되기 위해 필요한 수술시간은 1.5만 시간에 이른다. 하지만 실질적으로 레지던트의 법정 근무시간 때문에 1.5만 시간에 이르는 충분한 트레이닝이 물리적으로 불가능한 실정이다. 레지던트의 주당 근무 시간 제한은 대한민국의 경우 주당 80시간, 미국의 경우 주당 80시간, EU의 경우 주당 48시간으로 법정되어 있다. 특히 레지던트 1년차들의 경우, 수술 참여 기회가 점점 사라지고 있는 실정이다.

이러한 레지던트들의 수술 참여 기회 부족은 의료 사고로 직결될 수 있다. 특히 미세수술의 경우에 이러한 경향성이 높다. 미세수술은 백내장 등의 안과, 유양돌기수술 등의 이비인후과, 피부/비뇨/성형외과와 같은 미용 성형 외과에서 주로 진행된다. 이러한 미세수술은 대부분 전공의 시절 외과 수술 참여 기회가 거의 없기 때문에 의료 사고가 발생될 가능성이 더 높다. 일예로 국내 발생 의료사고의 40%가 피부/비뇨/성형외과에 집중되어 있는 점이 이를 반증한다.

이에 따라, 시뮬레이션 기반 미세수술 트레이닝, 인젝션 트레이닝이 필요한 실정이었다. 시뮬레이션 기반 미세수술 트레이닝, 인젝션 트레이닝에 따르면 인명 사고의 위험이 없으면서도 반복적으로 전문 수술 교육을 수행할 수 있게 되고, 수치화된 객관적인 평가로 전문 교육자 부족 문제를 해결할 수 있었다.

대한민국 등록특허 10-1887805, 가상현실 기반의 복강경 수술용 시뮬레이션 시스템 및 이를 이용한 방법, 최재용 대한민국 등록특허 10-1862359, 수술 시뮬레이션 데이터 생성방법 및 프로그램, (주)휴톰

하지만, 이러한 시뮬레이션 기반 미세수술 트레이닝 시스템은 인젝션 시뮬레이션을 포함하여 실제에 가까운 수술 환경을 제공하지 못하고 있었고, 이에 따라 미세수술 및 인젝션의 시뮬레이션은 영상과 현실이 정합되지 않은 시스템으로만 진행되고 있는 실정이었다.

따라서, 본 발명의 목적은 미세수술이나 인젝션의 시뮬레이션에서 가상현실과 팬텀/의료기구 등의 현실이 상호 정밀하게 정합되어 현실감 높은 사용자 경험을 제공하는 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 및 방법을 제공하는 데에 있다.

이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.

본 발명의 목적은, 미세수술 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 미세수술의 가상현실 영상 데이터를 출력하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및 상기 프로그램 코드를 처리하여 입력되는 제2영상 데이터의 포즈 데이터인상기 리얼 영상 데이터를 이용하여 상기 가상현실 영상 데이터를 출력하는 처리 모듈; 을 포함하고, 상기 프로그램 코드는, 상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 기준면 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 기준면 데이터를 생성하는 기준면 데이터 생성 단계; 상기 팬텀 기준면 데이터와 상기 의료기구 기준면 데이터를 상호 정합하여 정합 데이터를 생성하는 정합 단계; 상기 팬텀 기준면 데이터, 상기 의료기구 기준면 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 출력하는 렌더링 단계; 상기 의료기구의 움직임에 따라 상기 의료기구 기준면 데이터를 업데이트하고, 업데이트된 상기 의료기구 기준면 데이터를 기준으로 상기 의료기구 렌더링 데이터를 생성하고 출력하는 의료기구 움직임 단계; 및 상기 의료기구의 상기 움직임을 기설정된 커리큘럼에 따라 평가하고 평가 데이터를 생성 및 출력하는 평가 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 영상으로 출력하는 것을 특징으로 하는, 메디컬 트레이닝 가상현실 장치를 제공하여 달성될 수 있다.

본 발명의 다른 목적은, 미세수술 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 미세수술의 가상현실 영상 데이터를 출력하도록 구성되는 메디컬 트레이닝 가상현실 장치가, 상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 기준면 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 기준면 데이터를 생성하는 기준면 데이터 생성 단계; 상기 메디컬 트레이닝 가상현실 장치가, 상기 팬텀 기준면 데이터와 상기 의료기구 기준면 데이터를 상호 정합하여 정합 데이터를 생성하는 정합 단계; 상기 메디컬 트레이닝 가상현실 장치가, 상기 팬텀 기준면 데이터, 상기 의료기구 기준면 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 출력하는 렌더링 단계; 상기 메디컬 트레이닝 가상현실 장치가, 상기 의료기구의 움직임에 따라 상기 의료기구 기준면 데이터를 업데이트하고, 업데이트된 상기 의료기구 기준면 데이터를 기준으로 상기 의료기구 렌더링 데이터를 생성하고 출력하는 의료기구 움직임 단계; 및 상기 메디컬 트레이닝 가상현실 장치가, 상기 의료기구의 상기 움직임을 기설정된 커리큘럼에 따라 평가하고 평가 데이터를 생성 및 출력하는 평가 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 영상으로 출력하는 것을 특징으로 하는, 미세수술 가상현실 방법을 제공하여 달성될 수 있다.

본 발명의 목적은, 인젝션 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 인젝션의 가상현실 영상 데이터를 출력하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및 상기 프로그램 코드를 처리하여 입력되는 제2영상 데이터의 포즈 데이터인상기 리얼 영상 데이터를 이용하여 상기 가상현실 영상 데이터를 출력하는 처리 모듈; 을 포함하고, 상기 프로그램 코드는, 상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 기준면 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 기준면 데이터를 생성하는 기준면 데이터 생성 단계; 상기 팬텀 기준면 데이터와 상기 의료기구 기준면 데이터를 상호 정합하여 정합 데이터를 생성하는 정합 단계; 상기 팬텀 기준면 데이터, 상기 의료기구 기준면 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 출력하는 렌더링 단계; 상기 의료기구의 움직임에 따라 상기 의료기구 기준면 데이터를 업데이트하고, 업데이트된 상기 의료기구 기준면 데이터를 기준으로 상기 의료기구 렌더링 데이터를 생성하고 출력하는 의료기구 움직임 단계; 및 상기 의료기구의 상기 움직임을 기설정된 커리큘럼에 따라 평가하고 평가 데이터를 생성 및 출력하는 평가 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 영상으로 출력하는 것을 특징으로 하는, 인젝션 가상현실 장치를 제공하여 달성될 수 있다.

본 발명의 다른 목적은, 인젝션 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 인젝션의 가상현실 영상 데이터를 출력하도록 구성되는 인젝션 가상현실 장치가, 상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 기준면 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 기준면 데이터를 생성하는 기준면 데이터 생성 단계; 상기 인젝션 가상현실 장치가, 상기 팬텀 기준면 데이터와 상기 의료기구 기준면 데이터를 상호 정합하여 정합 데이터를 생성하는 정합 단계; 상기 인젝션 가상현실 장치가, 상기 팬텀 기준면 데이터, 상기 의료기구 기준면 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 출력하는 렌더링 단계; 상기 인젝션 가상현실 장치가, 상기 의료기구의 움직임에 따라 상기 의료기구 기준면 데이터를 업데이트하고, 업데이트된 상기 의료기구 기준면 데이터를 기준으로 상기 의료기구 렌더링 데이터를 생성하고 출력하는 의료기구 움직임 단계; 및 상기 인젝션 가상현실 장치가, 상기 의료기구의 상기 움직임을 기설정된 커리큘럼에 따라 평가하고 평가 데이터를 생성 및 출력하는 평가 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 영상으로 출력하는 것을 특징으로 하는, 인젝션 가상현실 방법을 제공하여 달성될 수 있다.

본 발명의 다른 목적은, 미세수술 또는 인젝션 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 상기 팬텀 및 상기 의료기구의 가상현실 영상 데이터를 출력하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및 상기 프로그램 코드를 처리하여 상기 가상현실 영상 데이터를 연결된 출력 모듈에 출력하는 처리 모듈;을 포함하고, 상기 프로그램 코드는, 상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 마커 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 마커 데이터를 생성하는 마커 디텍션 단계; 상기 리얼 영상 데이터를 복수개의 그리드 셀로 구획하고, 적어도 하나 이상의 상기 그리드 셀로 구성되는 복수개의 바운딩 박스를 생성하며, 상기 그리드 셀 각각에 대해 상기 팬텀 및 상기 의료기구에 대한 클래스를 예측하여 클래스 예측 데이터를 생성하고, 상기 바운딩 박스 각각에 대해 상기 팬텀 또는 상기 의료기구가 상기 바운딩 박스 내에 포함될 확률과 겹침 데이터를 곱한 바운딩 박스 신뢰도를 생성하며, 상기 클래스 예측 데이터 및 상기 바운딩 박스 신뢰도의 곱을 기초로 상기 바운딩 박스에 대한 클래스 신뢰도를 출력하며, 상기 바운딩 박스에 대한 상기 클래스 신뢰도를 기초로 확정된 오브젝트인 상기 팬텀 및 상기 의료기구에 대해 기준 벡터 데이터를 생성하는 오브젝트 디텍션 단계; 상기 팬텀의 상기 기준 벡터 데이터 및 상기 의료기구의 상기 기준 벡터 데이터를 기초로 시뮬레이션 공간내에서 가상의 오브젝트 매칭 및 공간 위치 반영을 수행하여 정합 데이터를 생성하는 정합 단계; 상기 팬텀의 상기 기준 벡터 데이터, 상기 의료기구의 상기 기준 벡터 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 상기 가상현실 영상 데이터를 출력하는 렌더링 단계; 및 상기 의료기구의 움직임에 따라 상기 의료기구의 상기 기준 벡터 데이터를 업데이트하고, 업데이트된 상기 의료기구의 상기 기준 벡터 데이터를 기준으로 상기 의료기구 렌더링 데이터를 업데이트하여 상기 가상현실 영상 데이터를 출력하는 시뮬레이션 단계; 를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 겹침 데이터는, 상기 팬텀 마커 데이터 또는 상기 의료기구 마커 데이터가 상기 바운딩 박스와 겹치는 정도에 대한 데이터를 의미하고, 상기 오브젝트 디텍션 단계에서 상기 클래스 예측 데이터의 생성은, 상기 그리드 셀을 입력데이터로 하고 상기 팬텀 및 상기 의료기구에 대한 상기 클래스를 출력데이터로 하여 기학습된 클래스 신뢰도 예측 CNN(Convolutional Neural Network)에 의해 상기 그리드 셀에 대한 상기 클래스 예측 데이터가 생성되며, 상기 오브젝트 디텍션 단계에서 상기 기준 벡터 데이터의 생성은, 상기 클래스가 확정된 상기 바운딩 박스 및 상기 바운딩 박스의 상기 클래스 신뢰도를 입력데이터로 하고 상기 기준 벡터 데이터를 출력데이터로 하여 기학습된 기준 벡터 예측 CNN(Convolutional Neural Network)에 의해 상기 클래스의 상기 바운딩 박스에 대한 상기 기준 벡터 데이터가 생성되고, 상기 정합 단계에서, 환경(Environment)을 상기 리얼 영상 데이터와 동일한 뷰 포인트를 가지는 상기 팬텀 렌더링 데이터 및 상기 의료기구 렌더링 데이터를 정합한 데이터인 상기 정합 데이터로 하고, 상태(State)를 상기 리얼 영상 데이터와 동일한 뷰 포인트를 가지는 상기 정합 데이터와의 차이 벡터로 하며, 에이전트(Agent)를 상기 기준 벡터 데이터에 대한 위치 및 방향의 보정을 수행하는 정합 모듈로 하며, 액션(Action)을 상기 기준 벡터 데이터에 대한 보정으로 하고, 리워드(Reward)를 상기 차이 벡터의 저감률로 하여 기학습된 강화학습 모듈에 의해 상기 기준 벡터 데이터가 보정되며, 상기 렌더링 단계 및 상기 시뮬레이션 단계에서의 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 형태의 인터페이스로 HMD, AR HMD 및 디스플레이에 연결된 클라이언트에 출력되는 것을 특징으로 하는, 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 및 방법을 제공하여 달성될 수 있다.

상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.

첫째, 본 발명의 일실시예에 따르면, 미세수술 환경이나 인젝션 환경을 체험적으로 학습할 수 있게 되는 효과가 발생된다.

둘째, 본 발명의 일실시예에 따르면, 수치화된 객관적인 평가로 시뮬레이션 결과를 정밀하게 평가 및 피드백할 수 있게 되는 효과가 발생된다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)의 구동을 도시한 모식도,
도 2는 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)의 상세 구성을 도시한 모식도,
도 3은 본 발명의 일실시예에 따른 미세수술 가상현실 방법을 도시한 흐름도,
도 4는 본 발명의 변형예에 따른 메디컬 트레이닝 가상현실 장치(1)를 도시한 모식도이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 및 방법

본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)와 관련하여, 도 1은 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)의 구동을 도시한 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)는 카메라 모듈(2), HMD(Head Mounted Display, 3) 또는 기타 디스플레이와 유무선 네트워크로 연결되고, 팬텀(10)과 의료기구(11)에 대한 영상 데이터를 통해 HMD(3)에 메디컬 트레이닝 가상현실을 출력하게 된다.

카메라 모듈(2)은 기설치된 팬텀(10)과 미세수술/인젝션을 위한 의료기구(11)를 촬영하여 리얼 영상 데이터(200)를 생성하도록 구성될 수 있다. 생성된 리얼 영상 데이터(200)는 메디컬 트레이닝 가상현실 장치(1)에 송신되어 팬텀 및 의료기구의 정합, 렌더링 및 미세수술/인젝션 평가에 이용된다. 예를 들어, 본 발명의 일실시예에 따른 카메라 모듈(2)에는 0.5mm 이하의 정밀한 모션 캡쳐가 가능한 OptiTrack Flex 13 모델과 같은 광학 카메라가 이용될 수 있다.

HMD(3)는 사용자의 머리에 착용하는 디스플레이로서, 메디컬 트레이닝 가상현실 장치(1)에서 출력되는 가상현실 영상 데이터를 통해 사용자에게 3D 가상현실을 제공하게 된다. 대표적인 제품으로는 오큘러스 리프트, 플레이스테이션 VR, 기어 VR, HTC Vive 등이 이용될 수 있다. 본 발명에서는 설명의 편의를 위해 HMD 위주로 기재하였으나, 본 발명의 범위는 HMD에 한정되지 않고 AR HMD, 일반 디스플레이 등을 포함할 수 있다.

팬텀(10)은 특정 미세수술/특정 인젝션의 시뮬레이션의 대상이 되는 신체 모사체를 의미한다. 본 발명의 일실시예에 따른 팬텀(10)에는 복수개의 마커인 제1마커(20)가 구성될 수 있다. 예를 들어, 백내장 수술 시뮬레이션인 경우 눕혀진 형태의 토르소가 구성될 수 있고, 실제 피부 텍스쳐와 비슷한 촉감의 팬텀이 구성될 수 있다. 또한, 예를 들어, 백내장 수술 시뮬레이션의 경우 실제 수술과 유사한 촉감을 제공하기 위해 안구의 위치에 의료기구(11)의 일단이 삽입되는 적어도 하나 이상의 홀이 구성될 수 있다. 또한, 예를 들어, 정맥 주사의 경우 실제 주사와 유사한 촉감을 제공하기 위해 팬텀에 서로 다른 텍스쳐를 가지는 복수개의 Layer가 구성될 수 있다.

의료기구(11)는 특정 미세수술/특정 인젝션의 시뮬레이션을 위한 의료기구를 의미하며, 본 발명의 일실시예에 따른 의료기구(11)에는 복수개의 마커인 제2마커(21)가 구성될 수 있다. 예를 들어, 백내장 수술 시뮬레이션인 경우, Discission Knife, Nucleus Spatula, Cataract Knife, Capsul Extractive Forceps, Capsulorhexis Forceps, Infusion Handpiece, Irrigation/aspiration Cannula, Lens Loop, IOL Implantation Forceps, Cataract Scissors Membrance, Micro-needle Holder 등을 모사하는 핸드피스의 형태로 의료기구(11)가 구성될 수 있다. 또한, 예를 들어 정맥 주사인 경우, 정맥 주사기가 모사된 시뮬레이션 제품이 의료기구로 이용될 수 있다.

메디컬 트레이닝 가상현실 장치(1)의 상세 구성과 관련하여, 도 2는 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)의 상세 구성을 도시한 모식도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 장치(1)는 리얼 영상 데이터(200)를 수신하고 가상현실 영상 데이터(300)를 출력하며, 팬텀 디텍션 모듈(100), 의료기구 디텍션 모듈(101), 팬텀 출력 모듈(102), 의료기구 출력 모듈(103), 정합 모듈(104), 수술효과 출력 모듈(105), 수술 평가 모듈(106)을 포함할 수 있다.

팬텀 디텍션 모듈(100)은 팬텀(10)에 구성된 복수개의 제1마커(20)를 기초로 팬텀의 기준면 벡터 및 카메라 모듈(2)과 같은 특정 지점을 기준으로 하는 위치 데이터를 생성하는 구성이다. 본 발명의 일실시예에 따르면, 팬텀 디텍션 모듈(100)은 기저장된 제1마커(20)의 3D 위치 데이터와 리얼 영상 데이터(200)에서 수신되는 제1마커(20)의 위치 데이터를 매칭하여 카메라 모듈(2)에서 팬텀(10)의 위치 데이터와 팬텀(10)의 각도 데이터가 포함된 팬텀(10)의 기준면 벡터 데이터를 생성하도록 구성될 수 있다.

의료기구 디텍션 모듈(101)은 의료기구(11)에 구성된 복수개의 제2마커(21)를 기초로 의료기구(11)의 기준면 벡터 및 카메라 모듈(2)과 같은 특정 지점을 기준으로 하는 위치 데이터를 생성하는 구성이다. 본 발명의 일실시예에 따르면, 의료기구 디텍션 모듈(101)은 기저장된 제2마커(21)의 3D 위치 데이터와 리얼 영상 데이터(200)에서 수신되는 제2마커(21)의 위치 데이터를 매칭하여 카메라 모듈(2)에서 의료기구(11)의 위치 데이터와 의료기구(11)의 각도 데이터가 포함된 의료기구(11)의 기준면 벡터 데이터를 생성하도록 구성될 수 있다.

정합 모듈(104)은 상기 팬텀(10)의 기준면 벡터 데이터 및 상기 의료기구(11)의 기준면 벡터 데이터를 기초로 팬텀(10)의 기준면과 의료기구(11)의 기준면을 정합하여 정합 데이터를 생성하는 구성이다. 본 발명의 일실시예에 따른 정합 데이터는 상기 팬텀(10)의 기준면과 상기 의료기구(11)의 기준면 사이의 벡터 데이터로 구성될 수 있다.

팬텀 출력 모듈(102)은 팬텀(10)의 기준면 벡터 데이터 및 상기 정합 데이터를 기초로 팬텀을 3D 렌더링하는 모듈이다. 예를 들어, 백내장 수술 시뮬레이션의 경우, 팬텀 출력 모듈(102)은 현미경에 의해 확대된 상태의 안구를 3D 렌더링하여 출력하도록 구성될 수 있다.

의료기구 출력 모듈(103)은 의료기구(11)의 기준면 벡터 데이터 및 상기 정합 데이터를 기초로 의료기구(11)를 팬텀(10)과 정합하여 3D 렌더링하는 모듈이다. 예를 들어, 백내장 수술 시뮬레이션의 경우, 의료기구 출력 모듈(103)은 현미경에 의해 확대된 상태의 의료기구를 안구와의 관계에서 3D 렌더링하여 출력하도록 구성될 수 있다.

수술효과 출력 모듈(105)은 의료기구(11)의 움직임에 따라 발생되는 수술효과를 출력하는 모델이다. 수술효과 출력 모듈(105)에는 Rigid body & 파괴 시뮬레이션 모델, Cloth 시뮬레이션 모델, Soft body & Tear 시뮬레이션 모델, Fluid 시뮬레이션 모델을 포함할 수 있다. 또한, 커리큘럼 데이터를 포함하여 의료기구(11)의 특정 움직임에 따라 다음 커리큘럼으로 진행되는 수술효과, 해당 커리큘럼의 성공 및 실패에 따른 수술효과가 출력되도록 구성될 수 있다.

수술 평가 모듈(106)은 커리큘럼 데이터를 기초로 특정 단계에 대해 의료기구(11)의 움직임을 평가하고 성공 또는 실패로 해당 사용자의 의료기구(11)의 움직임을 평가하여 출력하는 모듈이다.

메디컬 트레이닝 가상현실 방법과 관련하여, 도 3은 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 방법을 도시한 흐름도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 메디컬 트레이닝 가상현실 방법은 리얼 영상 데이터 수신 단계(S10), 팬텀 기준면 벡터 생성 단계(S11), 의료기구 기준면 벡터 생성 단계(S12), 정합 및 3D 렌더링 데이터 출력 단계(S13), 의료기구 움직임 단계(S14), 평가 단계(S15)를 포함할 수 있다.

리얼 영상 데이터 수신 단계(S10)는 메디컬 트레이닝 가상현실 장치(1)가 카메라 모듈(2)에서 팬텀(10) 및 의료기구(11)를 촬영한 리얼 영상 데이터(200)를 수신하는 단계이다.

팬텀 기준면 벡터 생성 단계(S11)는 메디컬 트레이닝 가상현실 장치(1)가 리얼 영상 데이터(200)의 팬텀(10)의 제1마커(20)를 이용하여 팬텀(10)의 기준면 벡터를 생성하는 단계이다.

의료기구 기준면 벡터 생성 단계(S12)는 메디컬 트레이닝 가상현실 장치(1)가 리얼 영상 데이터(200)의 의료기구(11)의 제2마커(21)를 이용하여 의료기구(11)의 기준면 벡터를 생성하는 단계이다.

정합 및 3D 렌더링 데이터 출력 단계(S13)는 메디컬 트레이닝 가상현실 장치(1)가 팬텀(10)의 기준면 벡터 및 의료기구(11)의 기준면 벡터를 이용하여 정합 데이터를 생성하고, 팬텀(10) 및 의료기구(11)를 3D 렌더링하여 생성한 3D 렌더링 데이터를 HMD(3) 등의 디스플레이에 출력하는 단계이다.

의료기구 움직임 단계(S14)는 사용자가 의료기구(11)를 움직이고, 의료기구(11)의 움직임에 다라 의료기구(11)의 기준면 벡터 및 의료기구(11)의 3D 렌더링 데이터가 업데이트되어 디스플레이에 출력되는 단계이다.

평가 단계(S15)는 업데이트된 의료기구(11)의 기준면 벡터 및 의료기구(11)의 3D 렌더링 데이터를 기초로 기저장된 커리큘럼에 따라 사용자의 의료기구(11)에 대한 움직임을 평가하여 평가 데이터를 생성하고, 생성된 평가 데이터를 출력하는 단계이다.

본 발명의 변형예와 관련하여, 도 4는 본 발명의 변형예에 따른 메디컬 트레이닝 가상현실 장치(1)를 도시한 모식도이다. 도 4에 도시된 바와 같이, 본 발명의 변형예에 따른 메디컬 트레이닝 가상현실 장치(1)는 리얼 영상 데이터(200) 및 동작 감지 센서 데이터(201)을 입력받아 가상현실 영상 데이터(300) 및 평가 데이터(301)를 출력하도록 구성될 수 있다. 또한, 이를 위하여 메디컬 트레이닝 가상현실 장치(1)는 마커 디텍션 모듈(400), 오브젝트 디텍션 모듈(401), 세부 조정 모듈(402), 정합 모듈(403), 시뮬레이션 모듈(404), 오브젝트 출력 모듈(405), 효과 출력 모듈(406), 평가 모듈(407)을 포함할 수 있다.

마커 디텍션 모듈(400)은 리얼 영상 데이터(200)를 수신하고, 리얼 영상 데이터(200)를 기초로 팬텀(10) 및 의료기구(11)에 구성된 복수개의 마커(식별마커 및 위치 마커)를 디텍션하여 팬텀 마커 데이터(식별 데이터 및 마커 위치 데이터) 및 의료기구 마커 데이터(식별 데이터 및 마커 위치 데이터)를 생성하는 모듈이다. 본 발명의 일실시예에 따른 마커는 식별 마커 및 위치 마커를 포함할 수 있고, 복수개의 마커를 포함하여 해당 오브젝트의 축 변화를 디텍션 할 수 있도록 구성될 수 있다. 식별 마커는 각 오브젝트별로 어떤 오브젝트인지 식별할 수 있는 마커를 의미하고, 색상 또는 모양, 코드, 나열된 모양, 부착 위치 등으로 구별될 수 있다.

오브젝트 디텍션 모듈(401)은 리얼 영상 데이터(200)를 수신하고, 리얼 영상 데이터(200)를 기초로 오브젝트를 디텍션하여 바운딩 박스를 구성하고 오브젝트를 분류하며, 오브젝트의 기준면 벡터 데이터를 생성하도록 구성될 수 있다. 본 발명의 일실시예에 따른 오브젝트 디텍션 모듈(401)은 카메라 모듈(2)에서 수신된 리얼 영상 데이터(200)를 복수개의 n x n 그리드 셀(Grid Cell)로 구획하고, 적어도 하나 이상의 그리드 셀로 구성되는 복수개의 바운딩 박스를 생성하며, 각 그리드 셀 별로 하나의 클래스(어떤 오브젝트인지, 즉 어떤 팬텀인지 및 어떤 의료기구인지)를 예측하여 클래스 예측 데이터를 생성하며, 기생성된 각각의 바운딩 박스마다 바운딩 박스 신뢰도를 출력하고, 상기 클래스 예측 데이터와 상기 바운딩 박스 신뢰도를 기초로 해당 바운딩 박스에 대한 클래스 신뢰도를 생성하며, 해당 바운딩 박스의 클래스 신뢰도를 기초로 기준 벡터 데이터를 예측하도록 구성될 수 있다. (

구체적으로, 특정 그리드 셀에 대한 데이터는 오브젝트 위치 데이터(위치 x, y), 해당 그리드 셀이 포함된 복수개의 바운딩 박스에 대한 오브젝트 크기 데이터(너비 w, 높이 h), 포함된 각각의 바운딩 박스에 대한 바운딩 박스 신뢰도, 해당 그리드 셀에서 예측되는 클래스 예측 데이터를 포함할 수 있다. 이때, 바운딩 박스 신뢰도는 해당 바운딩 박스가 오브젝트를 포함할 확률 및 상기 마커 위치 데이터에 의해 생성되는 기준 박스를 Ground Truth로 할 때의 상기 바운딩 박스와 상기 기준 박스의 겹침 데이터(교집합 영역 넓이/합집합 영역 넓이)의 곱을 의미할 수 있고 오브젝트 디텍션 모듈(401)에 의해 생성될 수 있다. 또한, 클래스 예측 데이터는 특정 그리드 셀을 입력데이터로 하고 특정 클래스(팬텀 및 의료기구의 각 클래스들)를 출력데이터로 하여 기학습된 클래스 신뢰도 예측 CNN(Convolutional Neural Network, 오브젝트 디텍션 모듈(401)에 포함)에 의해 해당 그리드 셀에 대해 출력되는 클래스 예측값을 의미할 수 있다. 또한, 오브젝트 디텍션 모듈(401)은 상기 바운딩 박스 신뢰도 및 상기 클래스 예측 데이터의 곱을 기초로 특정 바운딩 박스에 대한 클래스 신뢰도를 출력하도록 구성될 수 있다. 본 발명의 일실시예에 따른 팬텀 및 의료기구의 각 클래스들은 예를 들어, 안과 미세수술 팬텀, 이비인후과 미세수술 팬텀, 하지 인젝션 팬텀, 상지 인젝션 팬텀, 안과 미세수술 의료기구, 이비인후과 미세수술 의료기구, 인젝션 의료기구 등을 포함할 수 있다. 또한, 본 발명의 일실시예에 따른 클래스 신뢰도 예측 CNN은 마커 중 오브젝트를 식별하는 식별 마커에 의해 클래스 레이블링 된 데이터로 클래스를 한정하고, 클래스 신뢰도 예측 CNN의 출력 노드 중 식별 마커에 의해 식별된 클래스가 아닌 다른 클래스를 예측하는 출력 노드에 대해 nulling 하도록 구성될 수 있다.

오브젝트 디텍션 모듈(401)은 특정 바운딩 박스에 대한 클래스 신뢰도를 기초로 특정 오브젝트를 특정 클래스(팬텀 및 의료기구의 각 클래스들)로 확정하고, 클래스가 확정된 상기 바운딩 박스의 기준 벡터 데이터를 출력하도록 구성될 수 있다. 기준 벡터 데이터는 해당 오브젝트를 정교하게 렌더링하기 위해 렌더링의 기준이되는 벡터값을 의미하며, 3D axis의 위치(x,y,z) 및 방향을 포함할 수 있다. 본 발명의 일실시예에 따른 오브젝트 디텍션 모듈(401)에서 기준 벡터 데이터는 클래스가 확정된 바운딩 박스 및 클래스 신뢰도를 입력데이터로 하고 기준 벡터 데이터를 출력데이터로 하여 기학습된 기준 벡터 예측 CNN(Convolutional Neural Network, 오브젝트 디텍션 모듈(401)에 포함)에 의해 해당 클래스의 해당 바운딩 박스에 대해 출력되는 기준 벡터 예측값을 의미할 수 있다.

본 발명의 일실시예에 따른 오브젝트 디텍션 모듈(401)에 따르면, 바운딩 박스의 구성 자체를 예측하지 않고, 이미 생성된 바운딩 박스에 대해 클래스 신뢰도를 예측하도록 구성되므로 팬텀이나 의료기구의 클래스를 빠르게 디텍션하고 기준 벡터 데이터를 생성할 수 있는 효과가 발생된다. 이에 따르면, 하나의 메디컬 트레이닝에 복수개의 의료기구가 사용되는 경우, 가상현실 렌더링이 원활해지는 효과가 발생된다.

본 발명의 다른 실시예에 따른 오브젝트 디텍션 모듈(401)에 따르면, 메디컬 트레이닝 가상현실을 사용자가 이용할 때(inference 단계) 팬텀의 기준 벡터 데이터와 의료기구의 기준 벡터 데이터가 가장 근접했을 때의 렌더링된 팬텀의 영역과 렌더링된 의료기구의 영역의 거리를 Loss로 이용하여 기준 벡터 예측 CNN을 재학습하도록 구성될 수 있다.

세부 조정 모듈(402)은 외부의 특정 위치에 구성된 IR 센서, 마이크로파 센서 등과 같은 동작 감지 센서에서 입력되는 동작 감지 센서 데이터(201)를 수신하고, 동작 감지 센서 데이터(201)를 기초로 의료기구(11)의 변위를 감지하고, 의료기구(11)의 변위와 상기 오브젝트 디텍션 모듈(401)에 의해 출력된 기준 벡터 데이터의 변위를 비교하여 기준 벡터 데이터를 세부 조정하는 모듈이다.

정합 모듈(403)은 상기 팬텀의 기준 벡터 데이터 및 상기 의료기구의 기준 벡터 데이터를 기초로 시뮬레이션 공간내에서 가상의 오브젝트 매칭 및 공간 위치 반영을 수행하는 모듈이다. 예를 들어, 정합 모듈(403)은 상기 팬텀의 기준 벡터 데이터를 기준 축으로 하는 가상의 정합 공간을 생성하고, 상기 의료기구의 기준 벡터 데이터를 이 공간 내에 투영한 후 시뮬레이션 공간으로 변환하는 작업을 통해 현실의 오브젝트(팬텀, 의료기구)를 시뮬레이션 공간에 정합 시키는 작업을 실행하도록 구성될 수 있다.

본 발명의 일실시예에 따른 정합 모듈(403)은 카메라 모듈(2)에 의해 입력된 2D의 리얼 영상 데이터(200)와 오브젝트 출력 모듈(405)에 의해 생성된 오브젝트 렌더링 데이터를 동일한 뷰 포인트에서 비교하고, 리얼 영상 데이터(200)와 오브젝트 렌더링 데이터와의 차이가 저감되도록 각 오브젝트의 기준 벡터 데이터를 보정하도록 구성될 수 있다. 본 발명의 일실시예에 따른 정합 모듈(403)이 오브젝트 렌더링 데이터에서 리얼 영상 데이터(200)와 동일한 뷰 포인트를 찾는 방법과 관련하여, 특정 오브젝트의 리얼 영상 데이터(200)에서의 기준 벡터 데이터와 시뮬레이션 환경에서의 기준 벡터 데이터가 동일하게 출력되는 오브젝트 렌더링 데이터의 뷰 포인트를 리얼 영상 데이터(200)와 동일한 뷰 포인트로 계산할 수 있다.

본 발명의 일실시예 따른 정합 모듈(403)은 각 오브젝트의 기준 벡터 데이터를 보정하는 강화학습 모듈을 포함할 수 있으며, 상기 강화학습 모듈은 환경(Environment)이 리얼 영상 데이터(200) 및 동일한 뷰 포인트를 가지는 오브젝트 렌더링 데이터이고, 상태(State)가 리얼 영상 데이터(200)와 동일한 뷰 포인트를 가지는 오브젝트 렌더링 데이터의 차이 벡터, 에이전트(Agent)가 각 오브젝트의 기준 벡터 데이터에 대한 보정(3D 위치 x,y,z 및 방향)을 수행하는 정합 모듈(403), 액션(Action)이 각 오브젝트의 기준 벡터 데이터에 대한 보정(3D 위치 x,y,z 및 방향)을 수행, 리워드(Reward)가 상기 차이 벡터의 저감률로 하여, 상기 에이전트가 상기 리워드를 취하는 방향으로 액션하도록 학습되는 강화학습 모듈을 의미할 수 있다. 정교한 정합을 위해서는 현실과 가상현실의 오브젝트(팬텀 및 의료기구)가 일치하여야 한다. 하지만, 3D 렌더링으로 제작되는 가상현실의 오브젝트와 사출성형이나 3D 프린팅 등으로 제작되는 현실의 오브젝트 사이에서는 제작 및 가공 과정에서 미세한 오차가 발생할 수 밖에 없다. 일반적인 경우에는 큰 문제가 아니나, 미세수술이나 인젝션의 경우에는 1mm 의 오차도 매우 큰 차이를 불러오고, 수련자의 몰입감 및 현실감을 방해하는 요소가 된다. 본 발명의 일실시예에 따른 정합 모듈(403)에 따르면, 강화학습에 의해 지속적으로 현실과 가상현실의 오브젝트가 일치하게 되므로, 위와 같은 가상현실 메디컬 트레이닝의 문제가 해소되는 효과가 발생된다.

시뮬레이션 모듈(404)은 상기 의료기구의 기준 벡터 데이터의 움직임 및 상기 팬텀의 기준 벡터 데이터와 상기 의료기구의 기준 벡터 데이터의 위치 관계를 통해 시뮬레이션 데이터 생성하는 모듈이다.

오브젝트 출력 모듈(405)은 정합 모듈(403)에 의해 정합되고 시뮬레이션 모듈(404)에 의해 시뮬레이션 된 상기 의료기구의 기준 벡터 데이터 및 상기 팬텀의 기준 벡터 데이터를 기초로 3D 렌더링된 오브젝트인 오브젝트 렌더링 데이터 및 효과 데이터 생성 및 출력하는 모듈이다. 예를 들어, 백내장 수술 시뮬레이션의 경우, 오브젝트 출력 모듈(405)은 현미경에 의해 확대된 상태의 안구를 3D 렌더링하여 출력하도록 구성될 수 있다. 또한, 예를 들어, 백내장 수술 시뮬레이션의 경우, 오브젝트 출력 모듈(405)은 현미경에 의해 확대된 상태의 수술기구를 안구와의 관계에서 3D 렌더링하여 출력하도록 구성될 수 있다.

효과 출력 모듈(406)은 의료기구(11)의 움직임에 따라 발생되는 수술효과인 효과 데이터를 출력하는 모델이다. 효과 출력 모듈(406)에는 Rigid body & 파괴 시뮬레이션 모델, Cloth 시뮬레이션 모델, Soft body & Tear 시뮬레이션 모델, Fluid 시뮬레이션 모델을 포함할 수 있다. 또한, 커리큘럼 데이터를 포함하여 의료기구(11)의 특정 움직임에 따라 다음 커리큘럼으로 진행되는 수술효과, 해당 커리큘럼의 성공 및 실패에 따른 수술 효과가 출력되도록 구성될 수 있다.

평가 모듈(407)은 커리큘럼 데이터를 기초로 특정 단계에 대해 의료기구(11)의 움직임을 평가하고 성공 또는 실패로 해당 사용자의 의료기구(11)의 움직임을 평가하여 평가 데이터(301)를 출력하는 모듈이다.

오브젝트 출력 모듈(405) 및 효과 출력 모듈(406)에서 출력되는 오브젝트 렌더링 데이터 및 효과 데이터는 오브젝트 출력 모듈(405) 및 효과 출력 모듈(406)과 연결된 HMD, 일반 디스플레이, 빔 프로젝션 등에 출력되도록 구성될 수 있다. 또한, 평가 데이터는 평가 모듈(407)과 연결된 웹서버를 통해 메디컬 트레이닝을 진행한 수련자의 클라이언트 및 지도자의 클라이언트에 출력될 수 있다.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.

본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.

본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.

그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.

1: 메디컬 트레이닝 가상현실 장치
2: 카메라 모듈
3: HMD
10: 팬텀
11: 의료기구
20: 제1마커
21: 제2마커
100: 팬텀 디텍션 모듈
101: 의료기구 디텍션 모듈
102: 팬텀 출력 모듈
103: 의료기구 출력 모듈
104: 정합 모듈
105: 수술효과 출력 모듈
106: 수술 평가 모듈
200: 리얼 영상 데이터
201: 동작 감지 센서 데이터
300: 가상현실 영상 데이터
301: 평가 데이터
400: 마커 디텍션 모듈
401: 오브젝트 디텍션 모듈
402: 세부 조정 모듈
403: 정합 모듈
404: 시뮬레이션 모듈
405: 오브젝트 출력 모듈
406: 효과 출력 모듈
407: 평가 모듈

Claims (1)

1. 미세수술 또는 인젝션 시뮬레이션을 위한 팬텀과 의료기구를 촬영한 리얼 영상 데이터를 수신하고 상기 팬텀 및 상기 의료기구의 가상현실 영상 데이터를 출력하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및
   상기 프로그램 코드를 처리하여 상기 가상현실 영상 데이터를 연결된 출력 모듈에 출력하는 처리 모듈;
   을 포함하고,
   상기 프로그램 코드는,
   상기 리얼 영상 데이터에서의 상기 팬텀에 구성된 팬텀 마커를 기초로 팬텀 마커 데이터를 생성하고, 상기 의료기구에 구성된 의료기구 마커를 기초로 의료기구 마커 데이터를 생성하는 마커 디텍션 단계;
   상기 리얼 영상 데이터를 복수개의 그리드 셀로 구획하고, 적어도 하나 이상의 상기 그리드 셀로 구성되는 복수개의 바운딩 박스를 생성하며, 상기 그리드 셀 각각에 대해 상기 팬텀 및 상기 의료기구에 대한 클래스를 예측하여 클래스 예측 데이터를 생성하고, 상기 바운딩 박스 각각에 대해 상기 팬텀 또는 상기 의료기구가 상기 바운딩 박스 내에 포함될 확률과 겹침 데이터를 곱한 바운딩 박스 신뢰도를 생성하며, 상기 클래스 예측 데이터 및 상기 바운딩 박스 신뢰도의 곱을 기초로 상기 바운딩 박스에 대한 클래스 신뢰도를 출력하며, 상기 바운딩 박스에 대한 상기 클래스 신뢰도를 기초로 확정된 오브젝트인 상기 팬텀 및 상기 의료기구에 대해 기준 벡터 데이터를 생성하는 오브젝트 디텍션 단계;
   상기 팬텀의 상기 기준 벡터 데이터 및 상기 의료기구의 상기 기준 벡터 데이터를 기초로 시뮬레이션 공간내에서 가상의 오브젝트 매칭 및 공간 위치 반영을 수행하여 정합 데이터를 생성하는 정합 단계;
   상기 팬텀의 상기 기준 벡터 데이터, 상기 의료기구의 상기 기준 벡터 데이터 및 상기 정합 데이터를 기초로 상기 팬텀에 대한 3D 렌더링 데이터인 팬텀 렌더링 데이터 및 상기 의료기구에 대한 3D 렌더링 데이터인 의료기구 렌더링 데이터를 생성하고 상기 가상현실 영상 데이터를 출력하는 렌더링 단계; 및
   상기 의료기구의 움직임에 따라 상기 의료기구의 상기 기준 벡터 데이터를 업데이트하고, 업데이트된 상기 의료기구의 상기 기준 벡터 데이터를 기준으로 상기 의료기구 렌더링 데이터를 업데이트하여 상기 가상현실 영상 데이터를 출력하는 시뮬레이션 단계;
   를 포함하여 컴퓨터 상에서 수행되도록 구성되고,
   상기 겹침 데이터는, 상기 팬텀 마커 데이터 또는 상기 의료기구 마커 데이터가 상기 바운딩 박스와 겹치는 정도에 대한 데이터를 의미하고,
   상기 오브젝트 디텍션 단계에서 상기 클래스 예측 데이터의 생성은, 상기 그리드 셀을 입력데이터로 하고 상기 팬텀 및 상기 의료기구에 대한 상기 클래스를 출력데이터로 하여 기학습된 클래스 신뢰도 예측 CNN(Convolutional Neural Network)에 의해 상기 그리드 셀에 대한 상기 클래스 예측 데이터가 생성되며,
   상기 오브젝트 디텍션 단계에서 상기 기준 벡터 데이터의 생성은, 상기 클래스가 확정된 상기 바운딩 박스 및 상기 바운딩 박스의 상기 클래스 신뢰도를 입력데이터로 하고 상기 기준 벡터 데이터를 출력데이터로 하여 기학습된 기준 벡터 예측 CNN(Convolutional Neural Network)에 의해 상기 클래스의 상기 바운딩 박스에 대한 상기 기준 벡터 데이터가 생성되고,
   상기 정합 단계에서, 환경(Environment)을 상기 리얼 영상 데이터와 동일한 뷰 포인트를 가지는 상기 팬텀 렌더링 데이터 및 상기 의료기구 렌더링 데이터를 정합한 데이터인 상기 정합 데이터로 하고, 상태(State)를 상기 리얼 영상 데이터와 동일한 뷰 포인트를 가지는 상기 정합 데이터와의 차이 벡터로 하며, 에이전트(Agent)를 상기 기준 벡터 데이터에 대한 위치 및 방향의 보정을 수행하는 정합 모듈로 하며, 액션(Action)을 상기 기준 벡터 데이터에 대한 보정으로 하고, 리워드(Reward)를 상기 차이 벡터의 저감률로 하여 기학습된 강화학습 모듈에 의해 상기 기준 벡터 데이터가 보정되며,
   상기 렌더링 단계 및 상기 시뮬레이션 단계에서의 상기 가상현실 영상 데이터의 출력은 특정 배율로 확대된 현미경 형태의 인터페이스로 HMD, AR HMD 및 디스플레이에 연결된 클라이언트에 출력되는 것을 특징으로 하는,
   미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치.
   

Images