KR20200083715A - Virtual reality simulation providing system - Google Patents
Virtual reality simulation providing system Download PDFInfo
- Publication number
- KR20200083715A KR20200083715A KR1020180171811A KR20180171811A KR20200083715A KR 20200083715 A KR20200083715 A KR 20200083715A KR 1020180171811 A KR1020180171811 A KR 1020180171811A KR 20180171811 A KR20180171811 A KR 20180171811A KR 20200083715 A KR20200083715 A KR 20200083715A
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- tool
- virtual environment
- virtual
- surgical tool
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 32
- 239000000463 material Substances 0.000 claims abstract description 64
- 230000008859 change Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 6
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000000399 orthopedic effect Effects 0.000 abstract description 2
- 238000001356 surgical procedure Methods 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Mathematical Optimization (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Medical Informatics (AREA)
- Computational Mathematics (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 가상 환경 시뮬레이션 제공 시스템에 관한 것이다.The present invention relates to a system for providing a virtual environment simulation.
의료분야에 있어서 수술은 환자의 치료와 생명에 직결되는 중요한 분야이다. 이러한 수술에 있어서 수술을 수행하는 의사들은 주로 참관과 실습 등을 통하여 수련하게 된다.In the medical field, surgery is an important field directly related to the treatment and life of patients. In these surgeries, doctors who perform surgery are mainly trained through observation and practice.
종래의 참관과 실습을 통한 수련의 경우 수술 상황이 발생하지 않으면 해당 상황에 대해서 수련하지 못하는 경우가 발생하여 수술에 대한 수련이 제한적으로 이뤄지는 문제가 발생했다.In the case of training through conventional observation and practice, if the surgical situation does not occur, there is a case in which training is not possible for the situation, and thus, there is a problem that training for surgery is limited.
또한 종래의 수술 시뮬레이터의 경우에는 정해진 절차에 따라 수술 영상을 학습하거나 이를 시연하더라도 전문가의 피드백을 받을 수 없어 올바른 시뮬레이션이 수행되었는 지에 대해 학습하는 것이 제한되는 문제가 발생했다.In addition, in the case of a conventional surgical simulator, even if a surgical image is learned or demonstrated according to a predetermined procedure, there is a problem in that it is not possible to receive expert feedback and thus learning whether correct simulation has been performed.
일 과제는 가상 환경을 통하여 수술을 시뮬레이션하여 학습할 수 있는 가상 환경 시뮬레이션을 제공하는 것에 있다.One task is to provide a virtual environment simulation that can be learned by simulating surgery through a virtual environment.
일 양상에 따르면 수술 재료; 수술 도구; 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치; 상기 수술 도구에 제공되는 센서부; 및 상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는 가상 환경 시뮬레이션 제공 시스템이 제공될 수 있다.According to one aspect, the surgical material; Surgical instruments; A wearable display device worn on the user and providing an image of the virtual environment to the user; A sensor unit provided in the surgical tool; And providing an image of the virtual environment to be provided to the user by the wearable display device, determining the position of the surgical tool based on a signal obtained from the sensor unit, and on the image of the virtual environment. It provides a guideline for inducing the movement of the surgical tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image of the virtual environment based on the position of the surgical tool; includes A system for providing a virtual environment simulation may be provided.
가상 환경을 통하여 수술을 시뮬레이션하여 학습할 수 있는 가상 환경 시뮬레이션을 제공할 수 있다.It is possible to provide a virtual environment simulation capable of learning by simulating surgery through a virtual environment.
도 1은 일 실시예에 따른 시뮬레이션 시스템을 나타내는 환경도이다.
도 2는 일 실시예에 따른 착용형 디스플레이 장치의 블록도이다.
도 3은 일 실시예에 따른 수술 도구 및 센서부를 나타내는 도면이다.
도 4는 일 실시예에 따른 수술 재료를 나타내는 도면이다.
도 5는 일 실시예에 따른 시뮬레이션 제공 방법을 나타내는 순서도이다.
도 6은 일 실시예에 따른 캘리브레이션을 나타내는 도면이다.
도 7은 일 실시예에 따른 가이드 라인(GL)의 제공을 나타내는 도면이다.1 is an environmental diagram showing a simulation system according to an embodiment.
2 is a block diagram of a wearable display device according to an embodiment.
3 is a view showing a surgical tool and a sensor unit according to an embodiment.
4 is a view showing a surgical material according to an embodiment.
5 is a flowchart illustrating a method for providing a simulation according to an embodiment.
6 is a diagram illustrating calibration according to an embodiment.
7 is a view showing the provision of a guide line GL according to an embodiment.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above-described objects, features and advantages of the present invention will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, the present invention can be modified in various ways and can have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thickness of the layers and regions are exaggerated for clarity, and the element or layer is “on” or “on” of another element or layer. What is referred to includes cases where other layers or other components are interposed in the middle as well as directly above other components or layers. Throughout the specification, the same reference numbers refer to the same components in principle. In addition, elements having the same functions within the scope of the same idea appearing in the drawings of the respective embodiments will be described using the same reference numerals.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the numbers used in the description process of the present specification (for example, first, second, etc.) are only identification numbers for distinguishing one component from other components.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "part" for components used in the following description are given or mixed only considering the ease of writing the specification, and do not have a meaning or a role that is distinguished from each other.
일 양상에 따르면 수술 재료; 수술 도구; 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치; 상기 수술 도구에 제공되는 센서부; 및 상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는 가상 환경 시뮬레이션 제공 시스템이 제공될 수 있다.According to one aspect, the surgical material; Surgical instruments; A wearable display device worn on the user and providing an image of the virtual environment to the user; A sensor unit provided in the surgical tool; And providing an image of the virtual environment to be provided to the user by the wearable display device, determining the position of the surgical tool based on a signal obtained from the sensor unit, and on the image of the virtual environment. It provides a guideline for inducing the movement of the surgical tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image of the virtual environment based on the position of the surgical tool; includes A system for providing a virtual environment simulation may be provided.
또한 상기 제어부는 미리 정해진 시뮬레이션에 의해 정해진 위치에 상기 가이드 라인을 제공할 수 있다.In addition, the controller may provide the guide line at a location determined by a predetermined simulation.
또한 상기 시나리오는 복수의 단계를 포함하고, 상기 제어부는 상기 복수의 단계 중 어느 하나의 단계에서 다음 단계로의 진행 시 상기 수술 도구의 변경 및 상기 수술 재료의 위치 변화 중 적어도 하나에 대한 판단을 수행할 수 있다.In addition, the scenario includes a plurality of steps, and the controller performs a determination on at least one of a change in the surgical tool and a change in the position of the surgical material when proceeding from one of the plurality of steps to the next step. can do.
또한 상기 제어부는 상기 어느 하나의 단계에서 상기 다음 단계로의 진행 시 상기 수술 도구의 변경이 필요한 경우 상기 수술 도구에 대한 설정을 제1 도구에 대한 설정에서 제2 도구에 대한 설정으로 변경할 수 있다.In addition, the controller may change the setting for the surgical tool from the setting for the first tool to the setting for the second tool when changing the surgical tool is necessary when proceeding from one of the steps to the next step.
또한 상기 제1 도구에 대한 설정 시 상기 수술 도구가 상기 가이드 라인을 따라 이동한 경우의 상기 가상 수술 재료의 상태 변화와 상기 제2 도구에 대한 설정 시 상기 가이드 라인을 따라 상기 수술 도구가 이동한 경우의 상기 가상 수술 재료의 상태 변화는 서로 상이할 수 있다.In addition, when the surgical tool is moved along the guide line when the first tool is set, the state of the virtual surgical material changes when the surgical tool is moved along the guide line when setting the second tool. The state changes of the virtual surgical material may be different from each other.
또한 상기 시나리오에 상기 수술 재료의 위치 변경이 포함된 경우 상기 시나리오에 정의된 위치로 상기 가상 수술 재료의 위치를 변경할 수 있다.In addition, when the position of the surgical material is included in the scenario, the position of the virtual surgical material may be changed to a position defined in the scenario.
도 1은 일 실시예에 따른 시뮬레이션 시스템(10000)을 나타내는 환경도이다.1 is an environmental diagram illustrating a
도 1을 참조하면 시뮬레이션 시스템(10000)은 착용형 디스플레이 장치(1000), 센서부(2000), 시뮬레이터 제어부(3000), 수술 도구(4000) 및 실습 재료(5000)를 포함할 수 있다.Referring to FIG. 1, the
착용형 디스플레이 장치(1000)는 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.The
일 실시예에 따르면 착용형 디스플레이 장치(1000)는 사용자에게 AR 이미지를 제공할 수 있다.According to an embodiment, the
예를 들어 착용형 디스플레이 장치(1000)는 사용자에게 현실 세계에서 제공되는 오브젝트와 가상 환경에서 제공되는 오브젝트를 제공할 수 있다.For example, the
보다 구적인 예를 들어 착용형 디스플레이 장치(1000)는 현실 세계에서 제공되는 실습 재료의 이미지, 가상 환경에서 제공되는 실습 재료 가상 오브젝트, 실습 도구 가상 오브젝트 등을 제공할 수 있다.For a more specific example, the
센서부(2000)는 시뮬레이터 제어부(3000)와 연결될 수 있다.The
센서부(2000)는 자신의 위치에 대한 정보를 제공할 수 있다.The
일 예로 센서부(2000)는 현실 세계에서의 자신의 좌표에 대응하는 신호를 제공할 수 있다.For example, the
센서부(2000)는 발신부(2100) 및 수신부(2200)을 포함할 수 있다.The
발신부(2100)는 Magnetic 신호를 발신할 수 있다.The
수신부(2200)는 자화이력(Magnetic Loop)의 변화에 따른 신호를 제공할 수 있다.The
일 실시예에 따르면 센서부(2000)는 EM센서(Electro-Magnetic센서)로 제공될 수 있다.According to an embodiment, the
일 실시예에 따른 센서부(2000)가 EM센서로 한정되는 것은 아니며, 선택에 따라 위치 정보를 제공할 수 있는 다양한 센서로 제공될 수 있다.The
시뮬레이터 제어부(3000)는 시뮬레이터 시스템(10000)의 동작을 총괄할 수 있다.The
일 예로 시뮬레이터 제어부(3000)는 착용형 디스플레이 장치(1000)를 통하여 제공될 이미지를 착용형 디스플레이 장치(1000)로 제공할 수 있다.For example, the
다른 예로 시뮬레이터 제어부(3000)는 센서부(2000)로부터 획득한 신호에 기초하여 센서부(2000)의 위치를 판단할 수 있다.As another example, the
또 다른 예를 들어 시뮬레이터 제어부(3000)는 센서부(2000)로부터 획득한 신호에 기초하여 센서부(2000)와 결합된 수술 도구(4000)의 위치를 판단할 수 있다.For another example, the
수술 도구(4000)는 사용자가 소지하여 시뮬레이션을 수행하는 도구일 수 있다.The
일 예로 수술 도구(4000)는 뼈 절단 기구 등과 같이 수술에 사용되는 도구 또는 이러한 도구들의 모형으로 제공될 수 있다.For example, the
실습 재료(5000)는 시뮬레이션을 수행하는 대상일 수 있다.The
일 예로 정형 외과 시뮬레이션의 경우 실습 재료(5000)는 뼈 모형으로 제공될 수 있다.For example, in the case of orthopedic simulation, the
도 2는 일 실시예에 따른 착용형 디스플레이 장치(1000)의 블록도이다.2 is a block diagram of a
도 2를 참조하면 착용형 디스플레이 장치(1000)는 착용형 디스플레이 통신부(1100), 착용형 디스플레이 저장부(1200), 착용형 디스플레이 센서부(1300), 착용형 디스플레이 제어부(1400), 착용형 디스플레이 화면 출력부(1500) 및 착용형 디스플레이 음향 출력부(1600)를 포함할 수 있다.Referring to FIG. 2, the
착용형 디스플레이 통신부(1100)는 시뮬레이터 제어부(3000)와 연결될 수 있다.The wearable
착용형 디스플레이 통신부(2100)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 시뮬레이터 제어부(3000)와 연결될 수 있다. The wearable
착용형 디스플레이 저장부(1200)는 데이터를 저장할 수 있다.The
착용형 디스플레이 저장부(1200)는 착용형 디스플레이 장치(1000)의 동작에 필요한 프로그램을 저장할 수 있다.The
또한 착용형 디스플레이 저장부(1200)는 외부로부터 획득한 정보를 저장할 수 있다.Also, the wearable
착용형 디스플레이 센서부(1300)는 착용형 디스플레이 장치(1000)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.The wearable
일 실시예에 따른 착용형 디스플레이 센서부(1300)는 착용형 디스플레이 동작 센서모듈(1310) 및 착용형 디스플레이 음향 센서모듈(1300)을 포함할 수 있다.The wearable
착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 상태에 대한 신호를 획득할 수 있다.The wearable display
일 예로 착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 회전에 대한 회전 정보를 획득할 수 있다.For example, the wearable display
다른 예로 착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 위치 이동에 대한 이동 정보를 획득할 수 있다.As another example, the wearable display
착용형 디스플레이 동작 센서모듈(1310)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.The wearable display
착용형 디스플레이 음향 센서모듈(1320)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.The wearable display
일 예로 착용형 디스플레이 음향 센서모듈(1320) 마이크일 수 있다.For example, the wearable display
상기 착용형 디스플레이 제어부(1400)는 착용형 디스플레이 장치(1000)의 동작을 총괄할 수 있다.The wearable
착용형 디스플레이 제어부(1400)는 예시적으로 마이크로 프로세서, 마이크로 컨트롤러, DSP, 프로세서, 제어기 기능 수행을 위한 전기적인 유닛 등으로 구현될 수 있다. The wearable
또한 착용형 디스플레이 제어부(1400)는 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. Also, according to the software implementation, the wearable
착용형 디스플레이 화면 출력부(1500)는 사용자에게 시각적인 정보를 출력할 수 있다.The wearable display
일 예로 착용형 디스플레이 화면 출력부(1500)는 가상 현실에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(1500)는 3차원 가상 현실에 대한 이미지를 출력할 수 있다.For example, the wearable display
착용형 디스플레이 화면 출력부(1500)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.The wearable display
착용형 디스플레이 음향 출력부(1600)는 청각적인 정보를 출력할 수 있다.The wearable display
착용형 디스플레이 음향 출력부(1600)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.The wearable display
도 3은 일 실시예에 따른 수술 도구(4000) 및 센서부(2000)를 나타내는 도면이다.3 is a view showing a
도 3에 도시된 바와 같이 센서부(2000) 중 수신부(2200)는 수술 도구(4000)와 결합되어 제공될 수 있다.As illustrated in FIG. 3, the
수신부(2200)와 수술 도구(4000)가 결합되어 제공됨으로써 시뮬레이터 제어부(3000)는 수신부(2200)의 위치에 기초하여 수술 도구(4000)의 위치를 판단할 수 있다. 또한 시뮬레이터 제어부(3000)는 수술 도구(4000)의 위치에 기초하여 수술 도구(4000)의 이동을 판단할 수 있으며, 수술 도구(4000)가 정확한 위치에 제공되는지 여부를 판단할 수 있다.Since the
도 4는 일 실시예에 따른 수술 재료(5000)를 나타내는 도면이다.4 is a view showing a
도 4에 도시된 바와 같이 수술 재료(5000)는 별도의 거치대에 고정되어 제공될 수 있다.As shown in Figure 4, the
일 실시예에 따르면 수술 재료(5000)는 절단 가능한 뼈 모형(saw bone)으로 제공될 수 있다.According to one embodiment, the
또한 거치대는 수술 재료(5000)는 회전 가능하도록 제공될 수 있다.In addition, the
거치대가 회전함에 따라 수술 재료(5000)의 위치가 변경될 수 있다.The position of the
또한 거치대는 동력을 제공하는 구동부를 더 포함할 수 있으며, 구동부를 통하여 제공되는 동력에 따라 회전하여 수술 재료(5000)의 위치를 변경할 수 있다.In addition, the cradle may further include a driving unit that provides power, and rotate according to the power provided through the driving unit to change the position of the
일 예로 구동부는 모터로 제공될 수 있다.For example, the driving unit may be provided as a motor.
도 5는 일 실시예에 따른 시뮬레이션 제공 방법을 나타내는 순서도이다.5 is a flowchart illustrating a method for providing a simulation according to an embodiment.
도 5를 참조하면 시뮬레이션 제공 방법은 캘리브레이션 단계(S100), 제1 단계를 수행하는 단계(S110), 제1 단계가 완료되었는지 여부를 판단하는 단계(S120), 도구 교체 여부를 판단하는 단계(S130), 도구 교체를 수행하는 단계(S140), 재료 위치 변경 여부를 판단하는 단계(S150), 재료 위치를 변경을 수행하는 단계(S160) 및 제2 단계를 수행하는 단계(S170)를 포함할 수 있다.5, the simulation providing method includes a calibration step (S100), a step of performing a first step (S110), a step of determining whether the first step is completed (S120), and a step of determining whether to replace the tool (S130) ), performing a tool replacement (S140), determining whether to change the material position (S150), performing a material position change (S160) and performing a second step (S170). have.
일 실시예에 따르면 캘리브레이션 단계가 수행될 수 있다(S100).According to an embodiment, a calibration step may be performed (S100 ).
시뮬레이터 제어부(3000)는 초기 위치를 설정하기 위한 캘리브레이션 단계를 수행할 수 있다.The
도 6은 일 실시예에 따른 캘리브레이션을 나타내는 도면이다.6 is a diagram illustrating calibration according to an embodiment.
일 실시예에 따르면 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 재료(5000)에 대응하는 가상 수술 재료에 대한 이미지가 제공될 수 있다. 또한 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 재료(5000)의 이미지가 제공될 수 있다.According to an embodiment, an image of a virtual surgical material corresponding to the
사용자는 키보드 등과 같은 입력 장치를 통하여 가상 수술 재료에 대한 이미지의 위치와 수술 재료(5000)의 이미지의 위치를 일치시킬 수 있다.The user may match the position of the image with respect to the virtual surgical material and the position of the image of the
시뮬레이터 제어부(3000)는 입력 장치를 통하여 획득한 위치로 가상 수술 재료에 대한 이미지의 위치를 변경할 수 있다.The
예를 들어 시뮬레이터 제어부(3000)는 입력 장치에 제공되는 상/하/좌/우 방향키의 입력에 따라 해당하는 방향으로 가상 수술 재료에 대한 이미지의 위치를 변경할 수 있다.For example, the
또한 시뮬레이터 제어부(3000)는 가상 수술 재료에 대한 이미지의 위치 확정에 대한 입력을 획득한 경우 가상 수술 재료에 대한 이미지의 현재 위치를 초기 위치로 획득할 수 있다.In addition, the
일 실시예에 따르면 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 도구(4000)의 초기 위치에 대한 이미지가 제공될 수 있다. 또한 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 도구(4000)의 이미지가 제공될 수 있다.According to an embodiment, an image of an initial position of the
사용자는 소지한 수술 도구(4000)를 가상 환경에는 수술 도구(4000)의 초기 위치에 대한 이미지로 이동할 수 있다.The user may move the carried
또한 시뮬레이터 제어부(3000)는 수술 도구(4000)의 위치 확정에 대한 입력을 획득한 경우 수신부(2200)로부터 획득한 신호에 기초하여 판단한 수술 도구(4000)의 현재 위치를 수술 도구(4000)의 초기 위치로 획득할 수 있다.In addition, the
일 실시예에 따르면 제1 단계를 수행하는 단계가 수행될 수 있다(S110).According to an embodiment, a step of performing the first step may be performed (S110 ).
시뮬레이터 제어부(3000)는 시뮬레이션을 제공하도록 제어할 수 있다.The
일 실시예에 따르면 시뮬레이터 제어부(3000)는 해당 단계에 대한 가이드 라인(GL)을 제공할 수 있다.According to an embodiment, the
도 7은 일 실시예에 따른 가이드 라인(GL)의 제공을 나타내는 도면이다.7 is a view showing the provision of a guide line GL according to an embodiment.
도 7에 도시된 바와 같이 시뮬레이터 제어부(3000)는 제1 단계에 해당하는 가이드 라인(GL)을 제공할 수 있다.As illustrated in FIG. 7, the
시뮬레이터 제어부(3000)는 시뮬레이션에 대응하는 동작의 수행여부를 판단할 수 있다.The
일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가이드 라인이 유도하는 경로로 이동하였는 지 여부를 판단할 수 있다.For example, the
다른 예로 시뮬레이터 제어부(3000)는 미리 정해진 방향으로 미리 정해진 거리 이동하였는 지 여부를 판단할 수 있다.As another example, the
보다 구체적인 예를 들면 시뮬레이션에서 사용자에게 주어지는 과제는 가이드 라인의 경로를 따라 수술 도구(4000)를 이동하여 수술 재료(5000)의 일정 부분을 절단하는 것일 수 있다. 이러한 절단에 있어서 정확한 수술을 위해서는 적절한 방향으로 적절한 길이를 절단하는 것이 중요한데 시뮬레이터 제어부(3000)는 가이드 라인(GL)을 통하여 이동 경로를 제공할 수 있으며, 이러한 이동 경로에 맞춰 이동하여 절단을 수행하였는지 여부를 판단할 수 있다.For a more specific example, the task given to the user in the simulation may be to cut a portion of the
또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 사용자에게 점수를 부여할 수 있다.In addition, the
또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 가상 수술 재료(5000')의 형태를 변경할 수 있다.In addition, the
일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)를 통하여 절단 동작을 수행함에 따라 수술 재료(5000)의 일정 부분이 절단된 것으로 판단된 경우 가상 수술 재료(5000')의 해당 부분이 절단된 이미지가 제공되도록 제어할 수 있다. For example, the
보다 구체적인 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가상 수술 재료(5000')의 서로 다른 방향에서 외부 매쉬를 통과하여 내부에서 교차하는 경우 절단된 것으로 판단할 수 있다.For a more specific example, the
일 실시예에 따르면 제1 단계가 완료되었는지 여부를 판단하는 단계가 수행될 수 있다(S120).According to an embodiment, a step of determining whether the first step has been completed may be performed (S120 ).
시뮬레이터 제어부(3000)는 제1 단계에 제공되는 미리 정해진 동작이 모두 수행된 경우 제1 단계가 완료된 것으로 판단할 수 있다.The
일 실시예에 따르면 도구 교체 여부를 판단하는 단계가 수행될 수 있다(S130).According to an embodiment, a step of determining whether to replace the tool may be performed (S130 ).
시뮬레이터 제어부(3000)는 제2 단계의 수행을 위하여 도구 교체가 필요한지 여부를 판단할 수 있다.The
제2 단계의 수행을 위하여 도구 교체가 필요한지 여부는 미리 정의되어 있을 수 있다.Whether or not a tool change is necessary to perform the second step may be predefined.
일 실시예에 따르면 도구 교체를 수행하는 단계가 수행될 수 있다(S140). According to an embodiment, a step of performing tool replacement may be performed (S140).
일 실시예에 따르면 시뮬레이터 제어부(3000)는 도구 교체 완료에 대한 사용자의 입력을 획득할 수 있다.According to an embodiment, the
예를 들어 시뮬레이터 제어부(3000)는 입력 장치를 통하여 사용자로부터 도구 교체 완료에 대한 사용자의 입력을 획득할 수 있다.For example, the
다른 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)에 제공되는 RF태그를 RF수신기에 태깅하는 경우 RF 수신기를 통하여 획득한 식별 정보에 대응하는 도구로 수술 도구(4000)를 교체한 것으로 판단할 수 있다.For another example, the
이러한 경우 시뮬레이터 제어부(3000)는 획득한 식별 정보에 기초하여 적합한 수술 도구(4000)로 교체하였는 지 여부를 판단할 수 있으며, 부적합한 수술 도구(4000)로 교체한 경우 재교체를 요청할 수 있다.In this case, the
시뮬레이터 제어부(3000)는 도구 교체 완료에 대한 사용자의 입력을 획득한 경우 기존 제1 도구에 대한 설정을 새로운 제2 도구에 대한 설정으로 변경할 수 있다.The
일 예로 제1 단계에는 절단 기구가 사용되었으나, 제2 단계에서는 드릴이 사용될 수 있다. 따라서 시뮬레이터 제어부(3000)는 절단 기구에 대한 도구 설정을 드릴에 대한 도구 설정으로 변경할 수 있다. 따라서 제1 단계에서는 수술 도구(4000)가 가이드 라인(GL)을 따라 이동한 경우 절단한 것으로 판단한 반면, 제2 단계에서는 수술 도구(4000)가 가이드 라인(GL)을 따라 이동한 경우 해당 경로에 구멍이 생성된 것으로 판단할 수 있다.For example, a cutting mechanism was used in the first step, but a drill may be used in the second step. Therefore, the
일 실시예에 따르면 시뮬레이터 제어부(3000)는 제2 단계에 도구 교체가 필요한 경우 사용자의 도구를 교체할 수 있다.According to one embodiment, the
시뮬레이터 제어부(3000)는 제2 단계를 수행하기 위하여 도구 교체가 필요한 경우제 제1 단계 종료 시점으로부터 2 단계 진입전 또는 제2 진입 후 미리 정해진 시간이 경과하기 전에 기존 제1 단계에서의 제1 도구에 대한 설정을 새로운 제2 단계에서 사용될 제2 도구에 대한 설정으로 변경할 수 있다.The
일 실시예에 따르면 재료 위치 변경 여부를 판단하는 단계가 수행될 수(S150). According to an embodiment, a step of determining whether a material position is changed may be performed (S150 ).
시뮬레이터 제어부(3000)는 재료 위치를 변경할 필요가 있는 지 여부를 판단할 수 있다The
시뮬레이션 단계에 따라 수술 재료(5000)의 위치가 변경되어야 하는 경우가 발생할 수 있다. 예를 들어 제1 단계에서 수술 재료(5000)의 앞면에 대한 수술을 진행한 후 제2 단계에서는 수술 재료(5000)의 뒷면에 대한 수술을 진행해야하는 경우가 발생할 수 있다. 이러한 경우에는 거치대를 회전하여 수술 재료(5000)의 위치를 변경할 수 있다.It may happen that the position of the
일 실시예에 따르면 재료 위치를 변경을 수행하는 단계가 수행될 수 있다(S160).According to an embodiment, a step of changing the material position may be performed (S160).
시뮬레이터 제어부(3000)는 가상 수술 재료(5000')의 위치를 제2 단계에 정해진 위치로 변경하여 출력하도록 제어할 수 있다.The
또한 시뮬레이터 제어부(3000)는 구동부를 제어하여 거치대가 회전하여 제2 단계에 정해진 위치로 수술 재료(5000)의 위치를 변경하도록 제어할 수 있다.In addition, the
일 실시예에 따르면 제2 단계를 수행하는 단계가 수행될 수 있다(S170).According to an embodiment, a step of performing the second step may be performed (S170).
시뮬레이터 제어부(3000)는 제2 단계에 해당하는 시뮬레이션을 제공하도록 제어할 수 있다.The
일 실시예에 따르면 시뮬레이터 제어부(3000)는 제2 단계에 대한 가이드 라인(GL)을 제공할 수 있다.According to an embodiment, the
시뮬레이터 제어부(3000)는 제2 단계에 포함된 동작의 수행여부를 판단할 수 있다.The
일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가이드 라인이 유도하는 경로로 이동하였는 지 여부를 판단할 수 있다.For example, the
다른 예로 시뮬레이터 제어부(3000)는 미리 정해진 방향으로 미리 정해진 거리 이동하였는 지 여부를 판단할 수 있다.As another example, the
보다 구체적인 예를 들면 제2 단계 시뮬레이션에서 사용자에게 주어지는 과제는 가이드 라인의 경로를 따라 수술 도구(4000)를 이동하여 수술 재료(5000)에 공공을 형성하는 것일 수 있다. 시뮬레이터 제어부(3000)는 가이드 라인(GL)을 통하여 이동 경로를 제공할 수 있으며, 이러한 이동 경로에 맞춰 이동하여 동공을 생성하였는지 여부를 판단할 수 있다.For a more specific example, the task given to the user in the second step simulation may be to form a void in the
또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 사용자에게 점수를 부여할 수 있다.In addition, the
또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 가상 수술 재료(5000')의 형태를 변경할 수 있다.In addition, the
일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)를 통하여 동공 생성 동작을 수행함에 따라 수술 재료(5000)의 일정 부분에 동공이 생성된 것으로 판단된 경우 가상 수술 재료(5000')의 해당 부분에 동공이 생성된 이미지가 제공되도록 제어할 수 있다. For example, the
보다 구체적인 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가상 수술 재료(5000')의 서로 다른 방향에서 외부 매쉬를 통과하여 내부에서 교차하는 경우 절단된 것으로 판단할 수 있다.For a more specific example, the
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and features of the present invention have been described based on the embodiment according to the present invention, but the present invention is not limited to this, and various modifications or changes can be made within the spirit and scope of the present invention. It is apparent to those skilled in the art, and thus, such changes or modifications are found to be within the scope of the appended claims.
Claims (6)
수술 도구;
사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치;
상기 수술 도구에 제공되는 센서부; 및
상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는
가상 환경 시뮬레이션 제공 시스템.
Surgical materials;
Surgical instruments;
A wearable display device worn on the user and providing an image of the virtual environment to the user;
A sensor unit provided in the surgical tool; And
The wearable display device provides an image of the virtual environment to be provided to the user, determines the position of the surgical tool based on a signal obtained from the sensor unit, and operates the image on the virtual environment. It provides a guideline for inducing the movement of the tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image for the virtual environment based on the position of the surgical tool; includes
Virtual environment simulation system.
상기 제어부는 미리 정해진 시뮬레이션에 의해 정해진 위치에 상기 가이드 라인을 제공하는
가상 환경 시뮬레이션 제공 시스템.
According to claim 1,
The control unit provides the guide line at a location determined by a predetermined simulation.
Virtual environment simulation system.
상기 시나리오는 복수의 단계를 포함하고,
상기 제어부는 상기 복수의 단계 중 어느 하나의 단계에서 다음 단계로의 진행 시 상기 수술 도구의 변경 및 상기 수술 재료의 위치 변화 중 적어도 하나에 대한 판단을 수행하는
가상 환경 시뮬레이션 제공 시스템.
According to claim 2,
The scenario includes a plurality of steps,
The controller performs judgment on at least one of a change in the surgical tool and a change in the position of the surgical material when proceeding from one of the plurality of steps to the next step.
Virtual environment simulation system.
상기 제어부는 상기 어느 하나의 단계에서 상기 다음 단계로의 진행 시 상기 수술 도구의 변경이 필요한 경우 상기 수술 도구에 대한 설정을 제1 도구에 대한 설정에서 제2 도구에 대한 설정으로 변경하는
가상 환경 시뮬레이션 제공 시스템.
According to claim 3,
The control unit changes the setting for the surgical tool from the setting for the first tool to the setting for the second tool when it is necessary to change the surgical tool when proceeding from one of the steps to the next step.
Virtual environment simulation system.
상기 제1 도구에 대한 설정 시 상기 수술 도구가 상기 가이드 라인을 따라 이동한 경우의 상기 가상 수술 재료의 상태 변화와 상기 제2 도구에 대한 설정 시 상기 가이드 라인을 따라 상기 수술 도구가 이동한 경우의 상기 가상 수술 재료의 상태 변화는 서로 상이한
가상 환경 시뮬레이션 제공 시스템.
According to claim 4,
When setting the first tool, when the surgical tool moves along the guide line, the state of the virtual surgical material changes and when setting the second tool, when the surgical tool moves along the guide line State changes of the virtual surgical material are different from each other
Virtual environment simulation system.
상기 시나리오에 상기 수술 재료의 위치 변경이 포함된 경우 상기 시나리오에 정의된 위치로 상기 가상 수술 재료의 위치를 변경하는
가상 환경 시뮬레이션 제공 시스템.
The method of claim 5,
When the position of the surgical material is included in the scenario, changing the position of the virtual surgical material to the position defined in the scenario
Virtual environment simulation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171811A KR102136471B1 (en) | 2018-12-28 | 2018-12-28 | Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171811A KR102136471B1 (en) | 2018-12-28 | 2018-12-28 | Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200083715A true KR20200083715A (en) | 2020-07-09 |
KR102136471B1 KR102136471B1 (en) | 2020-07-23 |
Family
ID=71602449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180171811A KR102136471B1 (en) | 2018-12-28 | 2018-12-28 | Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102136471B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113963592A (en) * | 2021-10-21 | 2022-01-21 | 四川大学 | Virtual simulation jaw surgery training system, method, equipment and readable storage medium |
WO2023072190A1 (en) * | 2021-10-28 | 2023-05-04 | 暨南大学 | Vr-based cardiac surgery simulation method and apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004344491A (en) * | 2003-05-23 | 2004-12-09 | Hideo Fujimoto | Virtual surgery simulation system |
KR20170095007A (en) * | 2016-02-12 | 2017-08-22 | 한국기술교육대학교 산학협력단 | Simulation system and method for surgery training |
KR101887805B1 (en) * | 2017-03-23 | 2018-08-10 | 최재용 | System for simulating laparoscopic surgery base on augmented reality and method for using the same |
-
2018
- 2018-12-28 KR KR1020180171811A patent/KR102136471B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004344491A (en) * | 2003-05-23 | 2004-12-09 | Hideo Fujimoto | Virtual surgery simulation system |
KR20170095007A (en) * | 2016-02-12 | 2017-08-22 | 한국기술교육대학교 산학협력단 | Simulation system and method for surgery training |
KR101887805B1 (en) * | 2017-03-23 | 2018-08-10 | 최재용 | System for simulating laparoscopic surgery base on augmented reality and method for using the same |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113963592A (en) * | 2021-10-21 | 2022-01-21 | 四川大学 | Virtual simulation jaw surgery training system, method, equipment and readable storage medium |
WO2023072190A1 (en) * | 2021-10-28 | 2023-05-04 | 暨南大学 | Vr-based cardiac surgery simulation method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR102136471B1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6751456B2 (en) | Augmented reality navigation system for use in a robotic surgical system and method of use thereof | |
US11137875B2 (en) | Mixed reality intelligent tether for dynamic attention direction | |
CN108701429B (en) | Method, system, and storage medium for training a user of a robotic surgical system | |
JP4871270B2 (en) | System and method for operating in a virtual three-dimensional space and system for selecting operations via a visualization system | |
CN112566579A (en) | Multi-user collaboration and workflow techniques for orthopedic surgery using mixed reality | |
CN109690688A (en) | System and method for preventing operation mistake | |
CN103077633A (en) | Three-dimensional virtual training system and method | |
KR102136471B1 (en) | Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool | |
AU2020316076B2 (en) | Positioning a camera for perspective sharing of a surgical site | |
US20210378750A1 (en) | Spatially-Aware Displays For Computer-Assisted Interventions | |
US11150737B2 (en) | Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors | |
AU2020404991A1 (en) | Surgical guidance for surgical tools | |
US20220375362A1 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
KR102152940B1 (en) | Medical practice contents cps(contents sercice platform) interworking interface | |
JP2020149139A (en) | Work support system, work support method, and program | |
EP3677995A1 (en) | Display device, display method, program, and non-temporary computer-readable information storage medium | |
US20230000508A1 (en) | Targeting tool for virtual surgical guidance | |
WO2023212571A1 (en) | Systems, methods, and media for displaying interactive extended reality content | |
McNutt | Model Preparation and User Interface Aspects for Microsoft Hololens Medical Tutorial Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |