KR102136471B1 - Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool - Google Patents

Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool Download PDF

Info

Publication number
KR102136471B1
KR102136471B1 KR1020180171811A KR20180171811A KR102136471B1 KR 102136471 B1 KR102136471 B1 KR 102136471B1 KR 1020180171811 A KR1020180171811 A KR 1020180171811A KR 20180171811 A KR20180171811 A KR 20180171811A KR 102136471 B1 KR102136471 B1 KR 102136471B1
Authority
KR
South Korea
Prior art keywords
surgical
tool
virtual
image
surgical tool
Prior art date
Application number
KR1020180171811A
Other languages
Korean (ko)
Other versions
KR20200083715A (en
Inventor
송채훈
박종혁
어윤호
김준영
김현문
박용택
Original Assignee
(주)스코넥엔터테인먼트
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스코넥엔터테인먼트, 경북대학교 산학협력단 filed Critical (주)스코넥엔터테인먼트
Priority to KR1020180171811A priority Critical patent/KR102136471B1/en
Publication of KR20200083715A publication Critical patent/KR20200083715A/en
Application granted granted Critical
Publication of KR102136471B1 publication Critical patent/KR102136471B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 양상에 따르면 수술 재료; 수술 도구; 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치; 상기 수술 도구에 제공되는 센서부; 및 상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는 가상 환경 시뮬레이션 제공 시스템이 제공될 수 있다.According to one aspect, the surgical material; Surgical instruments; A wearable display device worn on the user and providing an image of the virtual environment to the user; A sensor unit provided in the surgical tool; And providing an image of the virtual environment to be provided to the user by the wearable display device, determining the position of the surgical tool based on a signal obtained from the sensor unit, and on the image of the virtual environment. It provides a guideline for inducing the movement of the surgical tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image of the virtual environment based on the position of the surgical tool; includes A system for providing a virtual environment simulation may be provided.

Description

자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터{TOTAL HIP REPLACEMENT(BIPOLAR HEMIARTHROPLASTY) SURGICAL VIRTUAL REALITY SIMULATOR USING MAGNETIC SURGICAL TOOL}Virtual reality simulator for orthopedic hip replacement surgery using a magnetic field surgical tool (TOTAL HIP REPLACEMENT(BIPOLAR HEMIARTHROPLASTY) SURGICAL VIRTUAL REALITY SIMULATOR USING MAGNETIC SURGICAL TOOL}

본 발명은 자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터 및 시스템에 관한 것이다.The present invention relates to a virtual reality simulator and system for orthopedic hip joint (half) replacement surgery using a magnetic field surgical tool.

의료분야에 있어서 수술은 환자의 치료와 생명에 직결되는 중요한 분야이다. 이러한 수술에 있어서 수술을 수행하는 의사들은 주로 참관과 실습 등을 통하여 수련하게 된다.In the medical field, surgery is an important field directly related to the treatment and life of patients. In these surgeries, doctors who perform surgery are mainly trained through observation and practice.

종래의 참관과 실습을 통한 수련의 경우 수술 상황이 발생하지 않으면 해당 상황에 대해서 수련하지 못하는 경우가 발생하여 수술에 대한 수련이 제한적으로 이뤄지는 문제가 발생했다.In the case of training through conventional observation and practice, if the surgical situation does not occur, there is a case in which training is not possible for the situation, and thus, there is a problem that training for surgery is limited.

또한 종래의 수술 시뮬레이터의 경우에는 정해진 절차에 따라 수술 영상을 학습하거나 이를 시연하더라도 전문가의 피드백을 받을 수 없어 올바른 시뮬레이션이 수행되었는 지에 대해 학습하는 것이 제한되는 문제가 발생했다.In addition, in the case of a conventional surgical simulator, even if a surgical image is learned or demonstrated according to a predetermined procedure, there is a problem in that it is not possible to receive expert feedback and thus learning whether correct simulation has been performed.

일 과제는 가상 환경을 통하여 수술을 시뮬레이션하여 학습할 수 있는 자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터 및 시스템을 제공하는 것에 있다.One task is to provide a virtual reality simulator and system for orthopedic hip (half) replacement surgery using a magnetic field surgical tool capable of simulating and learning surgery through a virtual environment.

일 양상에 따르면 수술 재료; 수술 도구; 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치; 상기 수술 도구에 제공되는 센서부; 및 상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는 가상 환경 시뮬레이션 제공 시스템이 제공될 수 있다.According to one aspect, the surgical material; Surgical instruments; A wearable display device worn on the user and providing an image of the virtual environment to the user; A sensor unit provided in the surgical tool; And providing an image of the virtual environment to be provided to the user by the wearable display device, determining the position of the surgical tool based on a signal obtained from the sensor unit, and on the image of the virtual environment. It provides a guideline for inducing the movement of the surgical tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image of the virtual environment based on the position of the surgical tool; includes A system for providing a virtual environment simulation may be provided.

가상 환경을 통하여 수술을 시뮬레이션하여 학습할 수 있는 자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터 및 시스템을 제공할 수 있다.It is possible to provide a virtual reality simulator and system for orthopedic hip (half) replacement surgery using a magnetic field surgical tool capable of simulating and learning surgery through a virtual environment.

도 1은 일 실시예에 따른 시뮬레이션 시스템을 나타내는 환경도이다.
도 2는 일 실시예에 따른 착용형 디스플레이 장치의 블록도이다.
도 3은 일 실시예에 따른 수술 도구 및 센서부를 나타내는 도면이다.
도 4는 일 실시예에 따른 수술 재료를 나타내는 도면이다.
도 5는 일 실시예에 따른 시뮬레이션 제공 방법을 나타내는 순서도이다.
도 6은 일 실시예에 따른 캘리브레이션을 나타내는 도면이다.
도 7은 일 실시예에 따른 가이드 라인(GL)의 제공을 나타내는 도면이다.1 is an environmental diagram showing a simulation system according to an embodiment.
2 is a block diagram of a wearable display device according to an embodiment.
3 is a view showing a surgical tool and a sensor unit according to an embodiment.
4 is a view showing a surgical material according to an embodiment.
5 is a flowchart illustrating a method for providing a simulation according to an embodiment.
6 is a diagram illustrating calibration according to an embodiment.
7 is a view showing the provision of a guide line GL according to an embodiment.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above-described objects, features and advantages of the present invention will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, the present invention can be modified in various ways and can have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thickness of the layers and regions are exaggerated for clarity, and the element or layer is “on” or “on” of another element or layer. What is referred to includes cases where other layers or other components are interposed in the middle as well as directly above other components or layers. Throughout the specification, the same reference numbers refer to the same components in principle. In addition, elements having the same functions within the scope of the same idea appearing in the drawings of the respective embodiments will be described using the same reference numerals.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the numbers used in the description process of the present specification (eg, first, second, etc.) are merely identification symbols for distinguishing one component from other components.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "part" for components used in the following description are given or mixed only considering the ease of writing the specification, and do not have a meaning or a role that is distinguished from each other.

일 양상에 따르면 수술 재료; 수술 도구; 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치; 상기 수술 도구에 제공되는 센서부; 및 상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하는 제어부;를 포함하는 가상 환경 시뮬레이션 제공 시스템이 제공될 수 있다.According to one aspect, the surgical material; Surgical instruments; A wearable display device worn on the user and providing an image of the virtual environment to the user; A sensor unit provided in the surgical tool; And providing an image of the virtual environment to be provided to the user by the wearable display device, determining the position of the surgical tool based on a signal obtained from the sensor unit, and on the image of the virtual environment. It provides a guideline for inducing the movement of the surgical tool, a control unit for changing the state of the virtual surgical material corresponding to the surgical material included in the image of the virtual environment based on the position of the surgical tool; includes A system for providing a virtual environment simulation may be provided.

또한 상기 제어부는 미리 정해진 시뮬레이션에 의해 정해진 위치에 상기 가이드 라인을 제공할 수 있다.In addition, the controller may provide the guide line at a location determined by a predetermined simulation.

또한 상기 시나리오는 복수의 단계를 포함하고, 상기 제어부는 상기 복수의 단계 중 어느 하나의 단계에서 다음 단계로의 진행 시 상기 수술 도구의 변경 및 상기 수술 재료의 위치 변화 중 적어도 하나에 대한 판단을 수행할 수 있다.In addition, the scenario includes a plurality of steps, and the controller performs a determination on at least one of a change in the surgical tool and a change in the position of the surgical material when proceeding from one of the plurality of steps to the next step. can do.

또한 상기 제어부는 상기 어느 하나의 단계에서 상기 다음 단계로의 진행 시 상기 수술 도구의 변경이 필요한 경우 상기 수술 도구에 대한 설정을 제1 도구에 대한 설정에서 제2 도구에 대한 설정으로 변경할 수 있다.In addition, the controller may change the setting for the surgical tool from the setting for the first tool to the setting for the second tool when changing the surgical tool is necessary when proceeding from one of the steps to the next step.

또한 상기 제1 도구에 대한 설정 시 상기 수술 도구가 상기 가이드 라인을 따라 이동한 경우의 상기 가상 수술 재료의 상태 변화와 상기 제2 도구에 대한 설정 시 상기 가이드 라인을 따라 상기 수술 도구가 이동한 경우의 상기 가상 수술 재료의 상태 변화는 서로 상이할 수 있다.In addition, when the surgical tool is moved along the guide line when the first tool is set, the state of the virtual surgical material changes when the surgical tool is moved along the guide line when setting the second tool. The state changes of the virtual surgical material may be different from each other.

또한 상기 시나리오에 상기 수술 재료의 위치 변경이 포함된 경우 상기 시나리오에 정의된 위치로 상기 가상 수술 재료의 위치를 변경할 수 있다.In addition, when the position of the surgical material is included in the scenario, the position of the virtual surgical material may be changed to a position defined in the scenario.

도 1은 일 실시예에 따른 시뮬레이션 시스템(10000)을 나타내는 환경도이다.1 is an environmental diagram illustrating a simulation system 10000 according to an embodiment.

도 1을 참조하면 시뮬레이션 시스템(10000)은 착용형 디스플레이 장치(1000), 센서부(2000), 시뮬레이터 제어부(3000), 수술 도구(4000) 및 실습 재료(5000)를 포함할 수 있다.Referring to FIG. 1, the simulation system 10000 may include a wearable display device 1000, a sensor unit 2000, a simulator control unit 3000, a surgical tool 4000 and a training material 5000.

착용형 디스플레이 장치(1000)는 사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.The wearable display device 1000 may be worn by a user and provide an image of a virtual environment to the user.

일 실시예에 따르면 착용형 디스플레이 장치(1000)는 사용자에게 AR 이미지를 제공할 수 있다.According to an embodiment, the wearable display device 1000 may provide an AR image to a user.

예를 들어 착용형 디스플레이 장치(1000)는 사용자에게 현실 세계에서 제공되는 오브젝트와 가상 환경에서 제공되는 오브젝트를 제공할 수 있다.For example, the wearable display device 1000 may provide the user with an object provided in the real world and an object provided in a virtual environment.

보다 구적인 예를 들어 착용형 디스플레이 장치(1000)는 현실 세계에서 제공되는 실습 재료의 이미지, 가상 환경에서 제공되는 실습 재료 가상 오브젝트, 실습 도구 가상 오브젝트 등을 제공할 수 있다.For a more specific example, the wearable display device 1000 may provide an image of a training material provided in the real world, a virtual object of a training material provided in a virtual environment, a virtual object of a training tool, and the like.

센서부(2000)는 시뮬레이터 제어부(3000)와 연결될 수 있다.The sensor unit 2000 may be connected to the simulator control unit 3000.

센서부(2000)는 자신의 위치에 대한 정보를 제공할 수 있다.The sensor unit 2000 may provide information about its location.

일 예로 센서부(2000)는 현실 세계에서의 자신의 좌표에 대응하는 신호를 제공할 수 있다.For example, the sensor unit 2000 may provide a signal corresponding to its coordinates in the real world.

센서부(2000)는 발신부(2100) 및 수신부(2200)을 포함할 수 있다.The sensor unit 2000 may include a transmitter 2100 and a receiver 2200.

발신부(2100)는 Magnetic 신호를 발신할 수 있다.The transmitter 2100 may transmit a magnetic signal.

수신부(2200)는 자화이력(Magnetic Loop)의 변화에 따른 신호를 제공할 수 있다.The receiver 2200 may provide a signal according to a change in a magnetic loop.

일 실시예에 따르면 센서부(2000)는 EM센서(Electro-Magnetic센서)로 제공될 수 있다.According to an embodiment, the sensor unit 2000 may be provided as an EM sensor (Electro-Magnetic sensor).

일 실시예에 따른 센서부(2000)가 EM센서로 한정되는 것은 아니며, 선택에 따라 위치 정보를 제공할 수 있는 다양한 센서로 제공될 수 있다.The sensor unit 2000 according to an embodiment is not limited to an EM sensor, and may be provided with various sensors capable of providing location information according to selection.

시뮬레이터 제어부(3000)는 시뮬레이터 시스템(10000)의 동작을 총괄할 수 있다.The simulator control unit 3000 may oversee the operation of the simulator system 10000.

일 예로 시뮬레이터 제어부(3000)는 착용형 디스플레이 장치(1000)를 통하여 제공될 이미지를 착용형 디스플레이 장치(1000)로 제공할 수 있다.For example, the simulator controller 3000 may provide an image to be provided through the wearable display device 1000 to the wearable display device 1000.

다른 예로 시뮬레이터 제어부(3000)는 센서부(2000)로부터 획득한 신호에 기초하여 센서부(2000)의 위치를 판단할 수 있다.As another example, the simulator control unit 3000 may determine the position of the sensor unit 2000 based on the signal obtained from the sensor unit 2000.

또 다른 예를 들어 시뮬레이터 제어부(3000)는 센서부(2000)로부터 획득한 신호에 기초하여 센서부(2000)와 결합된 수술 도구(4000)의 위치를 판단할 수 있다.For another example, the simulator control unit 3000 may determine the position of the surgical tool 4000 coupled with the sensor unit 2000 based on the signal obtained from the sensor unit 2000.

수술 도구(4000)는 사용자가 소지하여 시뮬레이션을 수행하는 도구일 수 있다.The surgical tool 4000 may be a tool carried by the user to perform the simulation.

일 예로 수술 도구(4000)는 뼈 절단 기구 등과 같이 수술에 사용되는 도구 또는 이러한 도구들의 모형으로 제공될 수 있다.For example, the surgical tool 4000 may be provided as a tool used in surgery, such as a bone cutting tool or a model of these tools.

실습 재료(5000)는 시뮬레이션을 수행하는 대상일 수 있다.The training material 5000 may be a target for performing simulation.

일 예로 정형 외과 시뮬레이션의 경우 실습 재료(5000)는 뼈 모형으로 제공될 수 있다.For example, in the case of orthopedic simulation, the training material 5000 may be provided as a bone model.

도 2는 일 실시예에 따른 착용형 디스플레이 장치(1000)의 블록도이다.2 is a block diagram of a wearable display device 1000 according to an embodiment.

도 2를 참조하면 착용형 디스플레이 장치(1000)는 착용형 디스플레이 통신부(1100), 착용형 디스플레이 저장부(1200), 착용형 디스플레이 센서부(1300), 착용형 디스플레이 제어부(1400), 착용형 디스플레이 화면 출력부(1500) 및 착용형 디스플레이 음향 출력부(1600)를 포함할 수 있다.Referring to FIG. 2, the wearable display device 1000 includes a wearable display communication unit 1100, a wearable display storage unit 1200, a wearable display sensor unit 1300, a wearable display control unit 1400, and a wearable display A screen output unit 1500 and a wearable display sound output unit 1600 may be included.

착용형 디스플레이 통신부(1100)는 시뮬레이터 제어부(3000)와 연결될 수 있다.The wearable display communication unit 1100 may be connected to the simulator control unit 3000.

착용형 디스플레이 통신부(2100)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 시뮬레이터 제어부(3000)와 연결될 수 있다. The wearable display communication unit 2100 may be connected to the simulator control unit 3000 in at least one of wired communication and wireless communication.

착용형 디스플레이 저장부(1200)는 데이터를 저장할 수 있다.The wearable display storage 1200 may store data.

착용형 디스플레이 저장부(1200)는 착용형 디스플레이 장치(1000)의 동작에 필요한 프로그램을 저장할 수 있다.The wearable display storage 1200 may store a program necessary for the operation of the wearable display device 1000.

또한 착용형 디스플레이 저장부(1200)는 외부로부터 획득한 정보를 저장할 수 있다.Also, the wearable display storage unit 1200 may store information acquired from the outside.

착용형 디스플레이 센서부(1300)는 착용형 디스플레이 장치(1000)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.The wearable display sensor unit 1300 may acquire a signal corresponding to the state of the wearable display device 1000 and a user's input.

일 실시예에 따른 착용형 디스플레이 센서부(1300)는 착용형 디스플레이 동작 센서모듈(1310) 및 착용형 디스플레이 음향 센서모듈(1300)을 포함할 수 있다.The wearable display sensor unit 1300 according to an embodiment may include a wearable display motion sensor module 1310 and a wearable display acoustic sensor module 1300.

착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 상태에 대한 신호를 획득할 수 있다.The wearable display motion sensor module 1310 may acquire a signal for the state of the wearable display device 1000.

일 예로 착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 회전에 대한 회전 정보를 획득할 수 있다.For example, the wearable display motion sensor module 1310 may obtain rotation information about rotation of the wearable display device 1000.

다른 예로 착용형 디스플레이 동작 센서모듈(1310)은 착용형 디스플레이 장치(1000)의 위치 이동에 대한 이동 정보를 획득할 수 있다.As another example, the wearable display motion sensor module 1310 may acquire movement information about the position movement of the wearable display device 1000.

착용형 디스플레이 동작 센서모듈(1310)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.The wearable display motion sensor module 1310 includes an acceleration sensor, a gyroscope, a gyro sensor, a MEMS, a geomagnetic sensor, an inertial sensor (IMIU), an image sensor, an optical sensor, an illumination sensor, a photo sensor, an infrared sensor, a color sensor, and a depth sensor. Or it may include an electromagnetic wave sensor.

착용형 디스플레이 음향 센서모듈(1320)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.The wearable display acoustic sensor module 1320 may acquire a signal corresponding to sound coming from the outside.

일 예로 착용형 디스플레이 음향 센서모듈(1320) 마이크일 수 있다.For example, the wearable display acoustic sensor module 1320 may be a microphone.

상기 착용형 디스플레이 제어부(1400)는 착용형 디스플레이 장치(1000)의 동작을 총괄할 수 있다.The wearable display control unit 1400 may oversee the operation of the wearable display device 1000.

착용형 디스플레이 제어부(1400)는 예시적으로 마이크로 프로세서, 마이크로 컨트롤러, DSP, 프로세서, 제어기 기능 수행을 위한 전기적인 유닛 등으로 구현될 수 있다. The wearable display control unit 1400 may be embodied as a microprocessor, a microcontroller, a DSP, a processor, an electrical unit for performing controller functions, and the like.

또한 착용형 디스플레이 제어부(1400)는 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. Also, according to the software implementation, the wearable display control unit 1400 may be implemented with separate software modules for performing at least one function or operation. The software code can be implemented by software applications written in the appropriate programming language.

착용형 디스플레이 화면 출력부(1500)는 사용자에게 시각적인 정보를 출력할 수 있다.The wearable display screen output unit 1500 may output visual information to the user.

일 예로 착용형 디스플레이 화면 출력부(1500)는 가상 현실에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(1500)는 3차원 가상 현실에 대한 이미지를 출력할 수 있다.For example, the wearable display screen output unit 1500 may output an image of virtual reality. Also, as another example, the wearable display screen output unit 1500 may output an image of a 3D virtual reality.

착용형 디스플레이 화면 출력부(1500)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.The wearable display screen output unit 1500 may be provided as an image output device such as a liquid crystal display (LCD), electronic paper, LED display, OLED display, curved display, and stereoscopic (three-dimensional display using binocular parallax).

착용형 디스플레이 음향 출력부(1600)는 청각적인 정보를 출력할 수 있다.The wearable display sound output unit 1600 may output auditory information.

착용형 디스플레이 음향 출력부(1600)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.The wearable display sound output unit 1600 may be provided as a sound device such as a tuner, a playback device, an amplifier, and a speaker.

도 3은 일 실시예에 따른 수술 도구(4000) 및 센서부(2000)를 나타내는 도면이다.3 is a view showing a surgical tool 4000 and the sensor unit 2000 according to an embodiment.

도 3에 도시된 바와 같이 센서부(2000) 중 수신부(2200)는 수술 도구(4000)와 결합되어 제공될 수 있다.As illustrated in FIG. 3, the receiver 2200 of the sensor unit 2000 may be provided in combination with the surgical tool 4000.

수신부(2200)와 수술 도구(4000)가 결합되어 제공됨으로써 시뮬레이터 제어부(3000)는 수신부(2200)의 위치에 기초하여 수술 도구(4000)의 위치를 판단할 수 있다. 또한 시뮬레이터 제어부(3000)는 수술 도구(4000)의 위치에 기초하여 수술 도구(4000)의 이동을 판단할 수 있으며, 수술 도구(4000)가 정확한 위치에 제공되는지 여부를 판단할 수 있다.Since the receiving unit 2200 and the surgical tool 4000 are provided in combination, the simulator control unit 3000 may determine the position of the surgical tool 4000 based on the position of the receiving unit 2200. In addition, the simulator control unit 3000 may determine the movement of the surgical tool 4000 based on the position of the surgical tool 4000, and may determine whether the surgical tool 4000 is provided at the correct position.

도 4는 일 실시예에 따른 수술 재료(5000)를 나타내는 도면이다.4 is a view showing a surgical material 5000 according to an embodiment.

도 4에 도시된 바와 같이 수술 재료(5000)는 별도의 거치대에 고정되어 제공될 수 있다.As shown in Figure 4, the surgical material 5000 may be provided fixed to a separate cradle.

일 실시예에 따르면 수술 재료(5000)는 절단 가능한 뼈 모형(saw bone)으로 제공될 수 있다.According to one embodiment, the surgical material 5000 may be provided as a saw bone.

또한 거치대는 수술 재료(5000)는 회전 가능하도록 제공될 수 있다.In addition, the surgical material 5000 may be provided to be rotatable.

거치대가 회전함에 따라 수술 재료(5000)의 위치가 변경될 수 있다.The position of the surgical material 5000 may be changed as the cradle rotates.

또한 거치대는 동력을 제공하는 구동부를 더 포함할 수 있으며, 구동부를 통하여 제공되는 동력에 따라 회전하여 수술 재료(5000)의 위치를 변경할 수 있다.In addition, the cradle may further include a driving unit that provides power, and rotate according to the power provided through the driving unit to change the position of the surgical material 5000.

일 예로 구동부는 모터로 제공될 수 있다.For example, the driving unit may be provided as a motor.

도 5는 일 실시예에 따른 시뮬레이션 제공 방법을 나타내는 순서도이다.5 is a flowchart illustrating a method for providing a simulation according to an embodiment.

도 5를 참조하면 시뮬레이션 제공 방법은 캘리브레이션 단계(S100), 제1 단계를 수행하는 단계(S110), 제1 단계가 완료되었는지 여부를 판단하는 단계(S120), 도구 교체 여부를 판단하는 단계(S130), 도구 교체를 수행하는 단계(S140), 재료 위치 변경 여부를 판단하는 단계(S150), 재료 위치를 변경을 수행하는 단계(S160) 및 제2 단계를 수행하는 단계(S170)를 포함할 수 있다.5, the simulation providing method includes a calibration step (S100), a step of performing a first step (S110), a step of determining whether the first step is completed (S120), and a step of determining whether to replace the tool (S130) ), performing a tool replacement (S140), determining whether to change the material position (S150), performing a material position change (S160) and performing a second step (S170). have.

일 실시예에 따르면 캘리브레이션 단계가 수행될 수 있다(S100).According to an embodiment, a calibration step may be performed (S100 ).

시뮬레이터 제어부(3000)는 초기 위치를 설정하기 위한 캘리브레이션 단계를 수행할 수 있다.The simulator control unit 3000 may perform a calibration step for setting the initial position.

도 6은 일 실시예에 따른 캘리브레이션을 나타내는 도면이다.6 is a diagram illustrating calibration according to an embodiment.

일 실시예에 따르면 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 재료(5000)에 대응하는 가상 수술 재료에 대한 이미지가 제공될 수 있다. 또한 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 재료(5000)의 이미지가 제공될 수 있다.According to an embodiment, an image of a virtual surgical material corresponding to the surgical material 5000 may be provided to a virtual environment provided through the wearable display device 1000. In addition, an image of the surgical material 5000 may be provided in the virtual environment provided through the wearable display device 1000.

사용자는 키보드 등과 같은 입력 장치를 통하여 가상 수술 재료에 대한 이미지의 위치와 수술 재료(5000)의 이미지의 위치를 일치시킬 수 있다.The user may match the position of the image with respect to the virtual surgical material and the position of the image of the surgical material 5000 through an input device such as a keyboard.

시뮬레이터 제어부(3000)는 입력 장치를 통하여 획득한 위치로 가상 수술 재료에 대한 이미지의 위치를 변경할 수 있다.The simulator controller 3000 may change the position of the image with respect to the virtual surgical material to the position obtained through the input device.

예를 들어 시뮬레이터 제어부(3000)는 입력 장치에 제공되는 상/하/좌/우 방향키의 입력에 따라 해당하는 방향으로 가상 수술 재료에 대한 이미지의 위치를 변경할 수 있다.For example, the simulator controller 3000 may change the position of the image for the virtual surgical material in a corresponding direction according to the input of the up/down/left/right direction keys provided to the input device.

또한 시뮬레이터 제어부(3000)는 가상 수술 재료에 대한 이미지의 위치 확정에 대한 입력을 획득한 경우 가상 수술 재료에 대한 이미지의 현재 위치를 초기 위치로 획득할 수 있다.In addition, the simulator controller 3000 may acquire the current position of the image for the virtual surgical material as an initial position when an input for determining the position of the image for the virtual surgical material is obtained.

일 실시예에 따르면 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 도구(4000)의 초기 위치에 대한 이미지가 제공될 수 있다. 또한 착용형 디스플레이 장치(1000)를 통하여 제공되는 가상 환경에는 수술 도구(4000)의 이미지가 제공될 수 있다.According to an embodiment, an image of an initial position of the surgical tool 4000 may be provided in a virtual environment provided through the wearable display device 1000. In addition, an image of the surgical tool 4000 may be provided in a virtual environment provided through the wearable display device 1000.

사용자는 소지한 수술 도구(4000)를 가상 환경에는 수술 도구(4000)의 초기 위치에 대한 이미지로 이동할 수 있다.The user may move the carried surgical tool 4000 to an image of the initial position of the surgical tool 4000 in a virtual environment.

또한 시뮬레이터 제어부(3000)는 수술 도구(4000)의 위치 확정에 대한 입력을 획득한 경우 수신부(2200)로부터 획득한 신호에 기초하여 판단한 수술 도구(4000)의 현재 위치를 수술 도구(4000)의 초기 위치로 획득할 수 있다.In addition, the simulator control unit 3000 determines the current position of the surgical tool 4000 determined based on the signal obtained from the receiving unit 2200 when the input for determining the position of the surgical tool 4000 is obtained. Can be obtained by location.

일 실시예에 따르면 제1 단계를 수행하는 단계가 수행될 수 있다(S110).According to an embodiment, a step of performing the first step may be performed (S110 ).

시뮬레이터 제어부(3000)는 시뮬레이션을 제공하도록 제어할 수 있다.The simulator control unit 3000 may control to provide a simulation.

일 실시예에 따르면 시뮬레이터 제어부(3000)는 해당 단계에 대한 가이드 라인(GL)을 제공할 수 있다.According to an embodiment, the simulator control unit 3000 may provide a guideline GL for the corresponding step.

도 7은 일 실시예에 따른 가이드 라인(GL)의 제공을 나타내는 도면이다.7 is a view showing the provision of a guide line GL according to an embodiment.

도 7에 도시된 바와 같이 시뮬레이터 제어부(3000)는 제1 단계에 해당하는 가이드 라인(GL)을 제공할 수 있다.As illustrated in FIG. 7, the simulator control unit 3000 may provide a guideline GL corresponding to the first step.

시뮬레이터 제어부(3000)는 시뮬레이션에 대응하는 동작의 수행여부를 판단할 수 있다.The simulator control unit 3000 may determine whether to perform an operation corresponding to the simulation.

일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가이드 라인이 유도하는 경로로 이동하였는 지 여부를 판단할 수 있다.For example, the simulator control unit 3000 may determine whether the surgical tool 4000 has moved along a path guided by the guide line.

다른 예로 시뮬레이터 제어부(3000)는 미리 정해진 방향으로 미리 정해진 거리 이동하였는 지 여부를 판단할 수 있다.As another example, the simulator control unit 3000 may determine whether a predetermined distance has been moved in a predetermined direction.

보다 구체적인 예를 들면 시뮬레이션에서 사용자에게 주어지는 과제는 가이드 라인의 경로를 따라 수술 도구(4000)를 이동하여 수술 재료(5000)의 일정 부분을 절단하는 것일 수 있다. 이러한 절단에 있어서 정확한 수술을 위해서는 적절한 방향으로 적절한 길이를 절단하는 것이 중요한데 시뮬레이터 제어부(3000)는 가이드 라인(GL)을 통하여 이동 경로를 제공할 수 있으며, 이러한 이동 경로에 맞춰 이동하여 절단을 수행하였는지 여부를 판단할 수 있다.For a more specific example, the task given to the user in the simulation may be to cut a portion of the surgical material 5000 by moving the surgical tool 4000 along the path of the guideline. It is important to cut an appropriate length in an appropriate direction for accurate surgery in such cutting. The simulator control unit 3000 may provide a moving path through the guide line GL, and whether the cutting is performed by moving according to the moving path Can determine whether

또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 사용자에게 점수를 부여할 수 있다.In addition, the simulator control unit 3000 may give a score to the user according to the result of performing the operation.

또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 가상 수술 재료(5000')의 형태를 변경할 수 있다.In addition, the simulator control unit 3000 may change the shape of the virtual surgical material 5000' according to the result of performing the operation.

일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)를 통하여 절단 동작을 수행함에 따라 수술 재료(5000)의 일정 부분이 절단된 것으로 판단된 경우 가상 수술 재료(5000')의 해당 부분이 절단된 이미지가 제공되도록 제어할 수 있다. For example, the simulator control unit 3000 is an image where the corresponding portion of the virtual surgical material 5000' is cut when it is determined that a certain portion of the surgical material 5000 is cut as the cutting operation is performed through the surgical tool 4000 Can be controlled to be provided.

보다 구체적인 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가상 수술 재료(5000')의 서로 다른 방향에서 외부 매쉬를 통과하여 내부에서 교차하는 경우 절단된 것으로 판단할 수 있다.For a more specific example, the simulator control unit 3000 may determine that the surgical tool 4000 is cut when it crosses from the inside through the external mesh in different directions of the virtual surgical material 5000'.

일 실시예에 따르면 제1 단계가 완료되었는지 여부를 판단하는 단계가 수행될 수 있다(S120).According to an embodiment, a step of determining whether the first step has been completed may be performed (S120 ).

시뮬레이터 제어부(3000)는 제1 단계에 제공되는 미리 정해진 동작이 모두 수행된 경우 제1 단계가 완료된 것으로 판단할 수 있다.The simulator controller 3000 may determine that the first step is completed when all of the predetermined operations provided in the first step are performed.

일 실시예에 따르면 도구 교체 여부를 판단하는 단계가 수행될 수 있다(S130).According to an embodiment, a step of determining whether to replace the tool may be performed (S130 ).

시뮬레이터 제어부(3000)는 제2 단계의 수행을 위하여 도구 교체가 필요한지 여부를 판단할 수 있다.The simulator control unit 3000 may determine whether tool replacement is necessary to perform the second step.

제2 단계의 수행을 위하여 도구 교체가 필요한지 여부는 미리 정의되어 있을 수 있다.Whether or not a tool change is necessary to perform the second step may be predefined.

일 실시예에 따르면 도구 교체를 수행하는 단계가 수행될 수 있다(S140). According to an embodiment, a step of performing tool replacement may be performed (S140).

일 실시예에 따르면 시뮬레이터 제어부(3000)는 도구 교체 완료에 대한 사용자의 입력을 획득할 수 있다.According to an embodiment, the simulator control unit 3000 may obtain a user input for completing tool replacement.

예를 들어 시뮬레이터 제어부(3000)는 입력 장치를 통하여 사용자로부터 도구 교체 완료에 대한 사용자의 입력을 획득할 수 있다.For example, the simulator control unit 3000 may obtain a user's input for completion of tool replacement from the user through the input device.

다른 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)에 제공되는 RF태그를 RF수신기에 태깅하는 경우 RF 수신기를 통하여 획득한 식별 정보에 대응하는 도구로 수술 도구(4000)를 교체한 것으로 판단할 수 있다.For another example, the simulator controller 3000 determines that the surgical tool 4000 is replaced with a tool corresponding to the identification information obtained through the RF receiver when the RF tag provided to the surgical tool 4000 is tagged to the RF receiver. can do.

이러한 경우 시뮬레이터 제어부(3000)는 획득한 식별 정보에 기초하여 적합한 수술 도구(4000)로 교체하였는 지 여부를 판단할 수 있으며, 부적합한 수술 도구(4000)로 교체한 경우 재교체를 요청할 수 있다.In this case, the simulator control unit 3000 may determine whether or not it is replaced with a suitable surgical tool 4000 based on the acquired identification information, and when it is replaced with an inappropriate surgical tool 4000, it may request a replacement.

시뮬레이터 제어부(3000)는 도구 교체 완료에 대한 사용자의 입력을 획득한 경우 기존 제1 도구에 대한 설정을 새로운 제2 도구에 대한 설정으로 변경할 수 있다.The simulator control unit 3000 may change the setting of the existing first tool to the setting of the new second tool when a user input for completing the tool replacement is obtained.

일 예로 제1 단계에는 절단 기구가 사용되었으나, 제2 단계에서는 드릴이 사용될 수 있다. 따라서 시뮬레이터 제어부(3000)는 절단 기구에 대한 도구 설정을 드릴에 대한 도구 설정으로 변경할 수 있다. 따라서 제1 단계에서는 수술 도구(4000)가 가이드 라인(GL)을 따라 이동한 경우 절단한 것으로 판단한 반면, 제2 단계에서는 수술 도구(4000)가 가이드 라인(GL)을 따라 이동한 경우 해당 경로에 구멍이 생성된 것으로 판단할 수 있다.As an example, a cutting mechanism was used in the first step, but a drill may be used in the second step. Therefore, the simulator control unit 3000 may change the tool setting for the cutting tool to the tool setting for the drill. Therefore, in the first step, it is determined that the surgical tool 4000 is cut when it is moved along the guide line GL, while in the second step, when the surgical tool 4000 is moved along the guide line GL, the surgical tool 4000 is connected to the corresponding path. It can be determined that the hole has been created.

일 실시예에 따르면 시뮬레이터 제어부(3000)는 제2 단계에 도구 교체가 필요한 경우 사용자의 도구를 교체할 수 있다.According to one embodiment, the simulator control unit 3000 may replace the user's tool when the tool change is required in the second step.

시뮬레이터 제어부(3000)는 제2 단계를 수행하기 위하여 도구 교체가 필요한 경우제 제1 단계 종료 시점으로부터 2 단계 진입전 또는 제2 진입 후 미리 정해진 시간이 경과하기 전에 기존 제1 단계에서의 제1 도구에 대한 설정을 새로운 제2 단계에서 사용될 제2 도구에 대한 설정으로 변경할 수 있다.The simulator control unit 3000 first tool in the existing first step before a predetermined time elapses before entering the second step or after entering the second from the end of the first step when the tool replacement is required to perform the second step The setting for can be changed to the setting for the second tool to be used in the new second step.

일 실시예에 따르면 재료 위치 변경 여부를 판단하는 단계가 수행될 수(S150). According to an embodiment, a step of determining whether a material position is changed may be performed (S150 ).

시뮬레이터 제어부(3000)는 재료 위치를 변경할 필요가 있는 지 여부를 판단할 수 있다The simulator control unit 3000 may determine whether it is necessary to change the material position.

시뮬레이션 단계에 따라 수술 재료(5000)의 위치가 변경되어야 하는 경우가 발생할 수 있다. 예를 들어 제1 단계에서 수술 재료(5000)의 앞면에 대한 수술을 진행한 후 제2 단계에서는 수술 재료(5000)의 뒷면에 대한 수술을 진행해야하는 경우가 발생할 수 있다. 이러한 경우에는 거치대를 회전하여 수술 재료(5000)의 위치를 변경할 수 있다.It may occur that the position of the surgical material 5000 needs to be changed according to the simulation step. For example, in the first step, surgery may be performed on the front surface of the surgical material 5000 and then in the second step, surgery may be performed on the back surface of the surgical material 5000. In this case, the position of the surgical material 5000 can be changed by rotating the cradle.

일 실시예에 따르면 재료 위치를 변경을 수행하는 단계가 수행될 수 있다(S160).According to an embodiment, a step of changing the material position may be performed (S160).

시뮬레이터 제어부(3000)는 가상 수술 재료(5000')의 위치를 제2 단계에 정해진 위치로 변경하여 출력하도록 제어할 수 있다.The simulator control unit 3000 may control the position of the virtual surgical material 5000 ′ to be output by changing to the position determined in the second step.

또한 시뮬레이터 제어부(3000)는 구동부를 제어하여 거치대가 회전하여 제2 단계에 정해진 위치로 수술 재료(5000)의 위치를 변경하도록 제어할 수 있다.In addition, the simulator control unit 3000 may control the driving unit to rotate the cradle to change the position of the surgical material 5000 to the position determined in the second step.

일 실시예에 따르면 제2 단계를 수행하는 단계가 수행될 수 있다(S170).According to an embodiment, a step of performing the second step may be performed (S170).

시뮬레이터 제어부(3000)는 제2 단계에 해당하는 시뮬레이션을 제공하도록 제어할 수 있다.The simulator control unit 3000 may control to provide a simulation corresponding to the second step.

일 실시예에 따르면 시뮬레이터 제어부(3000)는 제2 단계에 대한 가이드 라인(GL)을 제공할 수 있다.According to an embodiment, the simulator control unit 3000 may provide a guideline GL for the second step.

시뮬레이터 제어부(3000)는 제2 단계에 포함된 동작의 수행여부를 판단할 수 있다.The simulator controller 3000 may determine whether to perform the operation included in the second step.

일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가이드 라인이 유도하는 경로로 이동하였는 지 여부를 판단할 수 있다.For example, the simulator control unit 3000 may determine whether the surgical tool 4000 has moved along a path guided by the guide line.

다른 예로 시뮬레이터 제어부(3000)는 미리 정해진 방향으로 미리 정해진 거리 이동하였는 지 여부를 판단할 수 있다.As another example, the simulator control unit 3000 may determine whether a predetermined distance has been moved in a predetermined direction.

보다 구체적인 예를 들면 제2 단계 시뮬레이션에서 사용자에게 주어지는 과제는 가이드 라인의 경로를 따라 수술 도구(4000)를 이동하여 수술 재료(5000)에 공공을 형성하는 것일 수 있다. 시뮬레이터 제어부(3000)는 가이드 라인(GL)을 통하여 이동 경로를 제공할 수 있으며, 이러한 이동 경로에 맞춰 이동하여 동공을 생성하였는지 여부를 판단할 수 있다.For a more specific example, the task given to the user in the second step simulation may be to form a void in the surgical material 5000 by moving the surgical tool 4000 along the path of the guideline. The simulator controller 3000 may provide a movement path through the guide line GL, and determine whether a pupil is generated by moving in accordance with the movement path.

또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 사용자에게 점수를 부여할 수 있다.In addition, the simulator control unit 3000 may give a score to the user according to the result of performing the operation.

또한 시뮬레이터 제어부(3000)는 동작의 수행 결과에 따라 가상 수술 재료(5000')의 형태를 변경할 수 있다.In addition, the simulator control unit 3000 may change the shape of the virtual surgical material 5000' according to the result of performing the operation.

일 예로 시뮬레이터 제어부(3000)는 수술 도구(4000)를 통하여 동공 생성 동작을 수행함에 따라 수술 재료(5000)의 일정 부분에 동공이 생성된 것으로 판단된 경우 가상 수술 재료(5000')의 해당 부분에 동공이 생성된 이미지가 제공되도록 제어할 수 있다. For example, the simulator control unit 3000 performs a pupil generation operation through the surgical tool 4000, and when it is determined that a pupil is generated in a certain portion of the surgical material 5000, the simulator control unit 3000 is connected to a corresponding portion of the virtual surgical material 5000'. It is possible to control such that the pupil-generated image is provided.

보다 구체적인 예를 들어 시뮬레이터 제어부(3000)는 수술 도구(4000)가 가상 수술 재료(5000')의 서로 다른 방향에서 외부 매쉬를 통과하여 내부에서 교차하는 경우 절단된 것으로 판단할 수 있다.For a more specific example, the simulator control unit 3000 may determine that the surgical tool 4000 is cut when it crosses from the inside through the external mesh in different directions of the virtual surgical material 5000'.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and features of the present invention have been described based on the embodiment according to the present invention, but the present invention is not limited to this, and various modifications or changes can be made within the spirit and scope of the present invention. It is apparent to those skilled in the art, and thus, such changes or modifications are revealed to be within the scope of the appended claims.

Claims (6)

수술 재료;
수술 도구;
사용자에게 착용되어 사용자에게 가상 환경에 대한 이미지를 제공하는 착용형 디스플레이 장치;
사용자의 입력에 기초하여 입력신호를 출력하는 키보드;
상기 수술 도구에 제공되는 센서부;
상기 수술 도구에 제공되는 RF 태그;
RF 수신기; 및
상기 착용형 디스플레이 장치가 상기 사용자에게 제공할 상기 가상 환경에 대한 이미지를 제공하고, 상기 센서부로부터 획득한 신호에 기초하여 상기 수술 도구의 위치를 판단하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 도구의 이동을 유도하기 위한 가이드 라인을 제공하고, 상기 가상 환경에 대한 이미지 상에 상기 수술 재료의 이미지 및 상기 수술 재료에 대응되는 가상 수술 재료의 이미지를 제공하고, 상기 키보드로부터 수신한 상기 입력신호를 기초로 하여 상기 가상 수술 재료의 이미지의 위치를 상기 수술 재료의 이미지의 위치와 일치시키고, 상기 가상 수술 재료의 이미지의 위치 확정에 대한 입력을 획득한 경우 상기 가상 수술 재료의 이미지의 현재 위치를 초기 위치로 획득하고,상기 수술 도구가 상기 가상 수술 재료의 외부 매쉬를 서로 다른 방향에서 통과하여 내부에서 교차하는 경우 상기 가상 수술 재료가 절단된 것으로 판단하고, 상기 수술 도구의 위치에 기초하여 상기 가상 환경에 대한 이미지에 포함된 상기 수술 재료에 대응되는 가상 수술 재료의 상태를 변경하고, 상기 수술 도구에 제공되는 상기 RF 태그가 상기 RF 수신기에 태깅되는 경우 상기 RF 수신기를 통하여 획득한 정보에 대응하는 상기 수술 도구로 교체된 것으로 판단할 수 있고, 교체된 상기 수술 도구가 절단 기구일 때 상기 절단 기구가 상기 가이드 라인을 따라 이동한 경우 절단 한 것으로 판단하고, 교체된 상기 수술 도구가 드릴일 때 상기 드릴이 상기 가이드 라인을 따라 이동한 경우 이동경로에 구멍이 생성된 것으로 판단하고, 상기 획득한 정보에 기초하여 교체된 상기 수술 도구가 부적합한 도구인 경우, 재교체를 요청하는 신호를 발신하는 제어부;를 포함하는
가상 환경 시뮬레이션 제공 시스템.


Surgical materials;
Surgical instruments;
A wearable display device worn on the user and providing an image of the virtual environment to the user;
A keyboard that outputs an input signal based on a user's input;
A sensor unit provided in the surgical tool;
An RF tag provided on the surgical tool;
RF receiver; And
The wearable display device provides an image of the virtual environment to be provided to the user, determines the position of the surgical tool based on a signal obtained from the sensor unit, and operates the image on the virtual environment. Provide guidelines for inducing movement of the tool, provide an image of the surgical material on the image of the virtual environment and an image of the virtual surgical material corresponding to the surgical material, and receive the input signal from the keyboard If the position of the image of the virtual surgical material is matched with the position of the image of the surgical material on the basis of, and the input for determining the position of the image of the virtual surgical material is obtained, the current position of the image of the virtual surgical material is Acquired as an initial position, when the surgical tool crosses the inside from the external mesh of the virtual surgical material in different directions, it is determined that the virtual surgical material is cut, and based on the position of the surgical tool, the virtual Change the state of the virtual surgical material corresponding to the surgical material included in the image of the environment, and when the RF tag provided to the surgical tool is tagged to the RF receiver, corresponds to information obtained through the RF receiver It can be judged that the surgical tool has been replaced, and when the replaced surgical tool is a cutting tool, it is determined that the cutting tool has been cut along the guide line, and when the replaced surgical tool is a drill, the When the drill moves along the guide line, it is determined that a hole has been created in the movement path, and if the surgical tool replaced based on the acquired information is an inappropriate tool, a control unit that transmits a signal requesting re-replacement; Containing
Virtual environment simulation system.


제1 항에 있어서,
상기 제어부는 미리 정해진 시뮬레이션에 의해 정해진 위치에 상기 가이드 라인을 제공하는
가상 환경 시뮬레이션 제공 시스템.
According to claim 1,
The control unit provides the guide line at a location determined by a predetermined simulation.
Virtual environment simulation system.
제2 항에 있어서,
상기 미리 정해진 시뮬레이션의 시나리오는 복수의 단계를 포함하고,
상기 제어부는 상기 복수의 단계 중 어느 하나의 단계에서 다음 단계로의 진행 시 상기 수술 도구의 변경 및 상기 수술 재료의 위치 변화 중 적어도 하나에 대한 판단을 수행하는
가상 환경 시뮬레이션 제공 시스템.

According to claim 2,
The predetermined scenario of the simulation includes a plurality of steps,
The controller performs judgment on at least one of a change in the surgical tool and a change in the position of the surgical material when proceeding from one of the plurality of steps to the next step.
Virtual environment simulation system.

제3 항에 있어서,
상기 제어부는 상기 어느 하나의 단계에서 상기 다음 단계로의 진행 시 상기 수술 도구의 변경이 필요한 경우 상기 수술 도구에 대한 설정을 제1 도구에 대한 설정에서 제2 도구에 대한 설정으로 변경하는
가상 환경 시뮬레이션 제공 시스템.
According to claim 3,
The control unit changes the setting for the surgical tool from the setting for the first tool to the setting for the second tool when it is necessary to change the surgical tool when proceeding from one of the steps to the next step.
Virtual environment simulation system.
제4 항에 있어서,
상기 제1 도구에 대한 설정 시 상기 수술 도구가 상기 가이드 라인을 따라 이동한 경우의 상기 가상 수술 재료의 상태 변화와 상기 제2 도구에 대한 설정 시 상기 가이드 라인을 따라 상기 수술 도구가 이동한 경우의 상기 가상 수술 재료의 상태 변화는 서로 상이한
가상 환경 시뮬레이션 제공 시스템.
According to claim 4,
When setting the first tool, when the surgical tool moves along the guide line, the state of the virtual surgical material changes and when setting the second tool, when the surgical tool moves along the guide line State changes of the virtual surgical material are different from each other
Virtual environment simulation system.
제5 항에 있어서,
상기 시나리오에 상기 수술 재료의 위치 변경이 포함된 경우 상기 시나리오에 정의된 위치로 상기 가상 수술 재료의 위치를 변경하는
가상 환경 시뮬레이션 제공 시스템.

The method of claim 5,
If the scenario includes changing the position of the surgical material, changing the position of the virtual surgical material to the position defined in the scenario.
Virtual environment simulation system.

KR1020180171811A 2018-12-28 2018-12-28 Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool KR102136471B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171811A KR102136471B1 (en) 2018-12-28 2018-12-28 Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171811A KR102136471B1 (en) 2018-12-28 2018-12-28 Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool

Publications (2)

Publication Number Publication Date
KR20200083715A KR20200083715A (en) 2020-07-09
KR102136471B1 true KR102136471B1 (en) 2020-07-23

Family

ID=71602449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171811A KR102136471B1 (en) 2018-12-28 2018-12-28 Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool

Country Status (1)

Country Link
KR (1) KR102136471B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963592A (en) * 2021-10-21 2022-01-21 四川大学 Virtual simulation jaw surgery training system, method, equipment and readable storage medium
CN114167974B (en) * 2021-10-28 2022-08-09 暨南大学 Heart operation simulation method and device based on VR

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344491A (en) * 2003-05-23 2004-12-09 Hideo Fujimoto Virtual surgery simulation system
KR101887805B1 (en) * 2017-03-23 2018-08-10 최재용 System for simulating laparoscopic surgery base on augmented reality and method for using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170095007A (en) * 2016-02-12 2017-08-22 한국기술교육대학교 산학협력단 Simulation system and method for surgery training

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344491A (en) * 2003-05-23 2004-12-09 Hideo Fujimoto Virtual surgery simulation system
KR101887805B1 (en) * 2017-03-23 2018-08-10 최재용 System for simulating laparoscopic surgery base on augmented reality and method for using the same

Also Published As

Publication number Publication date
KR20200083715A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6751456B2 (en) Augmented reality navigation system for use in a robotic surgical system and method of use thereof
JP7271579B2 (en) Surgical support using mixed reality support in orthopedic surgery
CN108701429B (en) Method, system, and storage medium for training a user of a robotic surgical system
US20200272227A1 (en) Mixed reality intelligent tether for dynamic attention direction
US20220211507A1 (en) Patient-matched orthopedic implant
CN109690688A (en) System and method for preventing operation mistake
CN103077633A (en) Three-dimensional virtual training system and method
KR102136471B1 (en) Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool
AU2020316076B2 (en) Positioning a camera for perspective sharing of a surgical site
US11150737B2 (en) Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
AU2021288756A1 (en) Spatially-aware displays for computer-assisted interventions
US20230346506A1 (en) Mixed reality-based screw trajectory guidance
EP4076257A1 (en) Surgical guidance for surgical tools
KR102152940B1 (en) Medical practice contents cps(contents sercice platform) interworking interface
US20220375362A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
JP2015100437A (en) Navigation system for surgical operation
WO2020045254A1 (en) Display system, server, display method, and device
US20230000508A1 (en) Targeting tool for virtual surgical guidance
JP2020149139A (en) Work support system, work support method, and program
KR102038398B1 (en) Surgical simulation system and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant