KR20200022078A - Virtual Real Medical Training System - Google Patents

Virtual Real Medical Training System Download PDF

Info

Publication number
KR20200022078A
KR20200022078A KR1020180097748A KR20180097748A KR20200022078A KR 20200022078 A KR20200022078 A KR 20200022078A KR 1020180097748 A KR1020180097748 A KR 1020180097748A KR 20180097748 A KR20180097748 A KR 20180097748A KR 20200022078 A KR20200022078 A KR 20200022078A
Authority
KR
South Korea
Prior art keywords
surgical
unit
image
patient
patient image
Prior art date
Application number
KR1020180097748A
Other languages
Korean (ko)
Inventor
장준영
Original Assignee
장준영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장준영 filed Critical 장준영
Priority to KR1020180097748A priority Critical patent/KR20200022078A/en
Publication of KR20200022078A publication Critical patent/KR20200022078A/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Rehabilitation Tools (AREA)

Abstract

The present invention relates to a virtual reality medical training system. In addition, according to the present invention, provided is a virtual reality medical training system comprising: a patient image generating part which generates a three dimensional patient image by reflecting a body condition comprising a height, a weight, and a physique of a patient and changes the patient image according to a viewing direction and movement of a medical staff sensed by a vision sensor part mentioned below; the vision sensor part which detects the viewing direction and movement of the medical staff and provides the same to the patient image generating part; and an operation route setting part which sets coordinates of a lesion location based on the pre-taken image of the patient and an operation route corresponding to the coordinates of the lesion location, and displays the set coordinates of the lesion location and the set operation route on the patient image generated by the patient image generating part. According to the present invention, the probability of success in surgery can be increased.

Description

가상 현실 의료 훈련 시스템{Virtual Real Medical Training System}Virtual Real Medical Training System

본 발명은 가상 현실 의료 훈련 시스템에 관한 것이다.The present invention relates to a virtual reality medical training system.

현대 의학의 발전에 힘입어, 의사들이 시술하는 다양한 의학적 처치는 점점 정밀화되어 가고 있으며, 심지어는 육안과 의사의 손만으로는 수행할 수 없는 섬세한 시술들이 많이 개발되고 있다.With the development of modern medicine, various medical treatments performed by doctors are becoming more and more sophisticated, and many delicate procedures that cannot be performed by the naked eye and the doctor's hands are being developed.

따라서, 외과 의사가 고도로 숙련될 필요가 있는데 반해 외과 의사가 한정된 임상 경험과 시술 경험만으로는 이러한 숙련도를 얻기가 쉽지 않다.Thus, while surgeons need to be highly skilled, it is difficult for surgeons to attain such proficiency with limited clinical and surgical experience.

그러므로, 의학적 시술 훈련이 보다 효과적으로 이루어지게 하는 한가지 방법은 컴퓨터 시뮬레이션을 이용하는 것이다.Therefore, one way to make medical procedure training more effective is to use computer simulation.

예를 들어, 시술 전에 환자의 의료영상을 3차원으로 재구성하여 수술 계획을 수립하고, 이를 시뮬레이션 환경에 적용하여 모의 수술 훈련을 진행한다.For example, prior to the procedure, the patient's medical image is reconstructed in three dimensions to establish a surgical plan, which is then applied to the simulation environment to simulate the surgical training.

훈련에 임하는 의사는 수술 도구를 모사한 입력 장비를 통해 필요한 처치를 수행하고 출력되는 결과를 바탕으로 실제 시술에 대비한다.Doctors in training perform necessary procedures through input equipment that simulates surgical instruments and prepare for actual procedures based on the output results.

이와 같이, 현대의 컴퓨터 공학에 의해, 컴퓨터 프로그램에 의해 생성된 가상 환경에서 실재적인 훈련 상황을 제공하는 것이 가능하다. 즉, 컴퓨터에 의하여 시뮬레이션과 관련된 대상물의 3차원 모델이 제공된다.As such, it is possible by modern computer engineering to provide a practical training situation in a virtual environment created by a computer program. That is, a three-dimensional model of the object related to the simulation is provided by the computer.

이와 같이, 외과 분야의 수많은 복잡한 공정들은 컴퓨터에서 완전히 시뮬레이션되는 것이 불가능하지는 않지만 이는 매우 고비용이 필요한 기술이다.As such, many complex processes in the surgical field are not impossible to fully simulate on a computer, but this is a very expensive technique.

또한 이러한 문제를 해결하기 위해 개발된 컴퓨터 기반의 훈련 환경 역시 정확도와 실재감(presence)의 부족으로 인해 훈련 범위가 제한적이며 상용화도 더딘 실정이다.In addition, the computer-based training environment developed to solve these problems is also limited in training range and slow commercialization due to lack of accuracy and presence.

따라서 종래의 컴퓨터 기반 절개 시뮬레이션 기법이 가지고 있는 단점을 보완하고 실제 훈련에 폭넓게 응용하기 위해서는 보다 몰입감 높은 가상 환경을 구축하고 훈련 대상에 대한 정확도 높은 상호작용 기법이 절실히 요구된다.Therefore, in order to make up for the shortcomings of the conventional computer-based incision simulation technique and to apply it to a wide range of practical training, a more immersive virtual environment and an accurate interaction method for the training target are urgently required.

국내특허공개번호 제10-2003-0083695 "외과적 치료의 시뮬레이션 방법 및 시스템"Korean Patent Publication No. 10-2003-0083695 "Simulation method and system for surgical treatment" 국내특허공개번호 제10-2009-0043513 "컴퓨터화된 의료 훈련 시스템"Korean Patent Publication No. 10-2009-0043513 "Computerized Medical Training System"

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 의료진에게 실제 수술에서와 같은 시뮬레이션 환경을 제공함으로써 의료진이 고난도의 경험을 충분히 쌓을 수 있도록 하여 환자에 대한 실제 수술의 성공확률을 높일 수 있도록 한 가상 현실 의료 훈련 시스템을 제공하는 데 있다.The present invention has been made in order to solve the above problems, by providing a medical staff with a simulation environment as in the actual surgery to enable the medical staff to fully accumulate the experience of high difficulty to increase the probability of success of the actual surgery for the patient It is to provide a virtual reality medical training system.

본 발명은 환자의 신장, 몸무게, 체격을 포함하는 신체조건을 반영하여 3차원의 환자 영상을 생성하며, 하기의 시야 감지부가 감지한 의료진의 시야 방향 및 움직임에 따라 환자 영상을 변화시키는 환자 영상 생성부; 의료진의 시야 방향 및 움직임을 감지하여 상기 환자 영상 생성부로 제공하는 시야 감지부; 및 상기 환자에 대해 기 촬영된 영상에 기초하여 병변 위치의 좌표 및 상기 병변 위치의 좌표에 대응하는 수술 시행 루트를 설정하고, 설정된 상기 병변 위치의 좌표 및 상기 수술 시행 루트를 상기 환자 영상 생성부에 의해 생성된 환자 영상에 표시하는 수술 루트 설정부를 포함한다.The present invention generates a three-dimensional patient image by reflecting the physical conditions, including the height, weight, physique of the patient, and generates a patient image to change the patient image according to the direction and movement of the medical team sensed by the following field sensing unit part; A visual field sensing unit which senses a visual field direction and a movement of a medical staff and provides the medical image generating unit to the patient image generator; And setting a surgery execution route corresponding to the coordinates of the lesion position and the coordinates of the lesion position based on the image photographed for the patient, and setting the coordinates of the lesion position and the surgery execution route to the patient image generation unit. And a surgical route setting unit to be displayed on the generated patient image.

본 발명에 따르면, 의료진에게 환자의 신체조건과 같은 시뮬레이션 환경을 제공할 수 있게 되며, 그에 따라 의료진이 실제 수술을 하기 전에 환자의 조건에 따른 훈련을 충분히 수행할 수 있도록 한다.According to the present invention, it is possible to provide a medical team with a simulation environment, such as the physical condition of the patient, thereby allowing the medical staff to sufficiently perform the training according to the condition of the patient before the actual operation.

또한, 본 발명에 따르면, 실제 수술을 수행하기 이전에 의료진이 고난도의 경험을 충분히 쌓을 수 있도록 하며, 그에 따라 환자에 대한 실제 수술의 성공확률을 높일 수 있게 된다.In addition, according to the present invention, before the actual operation to perform the medical staff can have enough experience of a high degree of difficulty, thereby increasing the probability of success of the actual operation for the patient.

또한, 본 발명에 따르면, 의료진의 시야 방향에 따른 가상 영상이 변화되도록 하여 몰입도 높은 훈련을 제공할 수 있도록 한다.In addition, according to the present invention, it is possible to provide a high immersion training by changing the virtual image according to the direction of view of the medical staff.

또한, 본 발명에 따르면, 수술도구에 움직임 센서를 부착하여 의료진이 정확한 수술 경험을 충분히 쌓을 수 있도록 하며, 그에 따라 환자에 대한 실제 수술의 성공 확률을 높일 수 있게 된다.In addition, according to the present invention, by attaching a motion sensor to the surgical tool to allow the medical staff to accumulate accurate surgical experience, thereby increasing the probability of success of the actual surgery for the patient.

또한, 본 발명에 따르면, 이동형 햅틱 기기를 통하여 촉감을 제공함으로서 실제 수술 환경과 동일한 경험을 제공하여 그에 따라 환자에 대한 실제 수술의 성공 확률을 높일 수 있게 된다.In addition, according to the present invention, by providing a haptic through the mobile haptic device to provide the same experience as the actual surgical environment it is possible to increase the probability of success of the actual surgery for the patient accordingly.

도 1은 본 발명의 일 실시예에 따른 가상 현실 의료 훈련 시스템을 개략적으로 도시한 도면이다.
도 2는 환자영상의 일 예를 나타낸 도면이다.
도 3은 환자영상의 다른 예를 나타낸 도면이다.
도 4는 의료진의 손 또는 손가락 및 제1 움직임 측정부의 설치 예를 나타낸 도면이다.
도 5는 수술 시행 영상의 예를 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 가상 현실 의료 훈련 시스템을 개략적으로 도시한 도면이다.
도 7은 의료진의 수술용 도구 및 제2 움직임 측정부의 설치 예를 나타낸 도면이다.
도 8은 수술 시행 영상의 예를 나타낸 도면이다.
도 9a와 도 9b는 햅틱 기기와 햅틱 기기 이동부의 일예를 나타내는 도면이다.1 is a view schematically showing a virtual reality medical training system according to an embodiment of the present invention.
2 is a diagram illustrating an example of a patient image.
3 is a diagram illustrating another example of a patient image.
4 is a diagram illustrating an installation example of a hand or finger of a medical staff and a first motion measuring unit.
5 is a diagram showing an example of an operation image.
6 is a diagram schematically illustrating a virtual reality medical training system according to another embodiment of the present invention.
7 is a view showing an installation example of the surgical instrument and the second motion measuring unit of the medical staff.
8 is a diagram showing an example of an operation image.
9A and 9B illustrate examples of a haptic device and a haptic device moving unit.

이하, 첨부된 도면을 참조하여 본 발명에 따른 가상 현실 의료 훈련 시스템 미 그 방법을 상세하게 설명한다.Hereinafter, a virtual reality medical training system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 의료 훈련 시스템(100)은 환자 영상 생성부(110), 시야 센서부(112), 수술 루트 설정부(120), 제1 움직임 측정부(130), 수술 영상 표시부(140), 수술 도구 저장부(150),음성 인식부(160), 수술 위치 비교부(170) 및 메시지 출력부(180)를 포함할 수 있다.Referring to FIG. 1, the virtual reality medical training system 100 according to an exemplary embodiment of the present invention may include a patient image generator 110, a field sensor 112, a surgical route setting unit 120, and a first motion measurement. The unit 130 may include a surgical image display unit 140, a surgical tool storage unit 150, a voice recognition unit 160, a surgical position comparison unit 170, and a message output unit 180.

환자 영상 생성부(110)는 환자의 신장, 몸무게, 체격 등의 신체조건을 반영하여 3차원의 환자영상을 생성한다.The patient image generator 110 generates a 3D patient image by reflecting physical conditions such as a patient's height, weight, and physique.

예를 들어, 환자 영상 생성부(110)는 도 2에 도시한 바와 같이 환자의 성별에 따라 남성 또는 여성의 환자 영상을 생성할 수 있으며, 환자의 신장, 나이, 몸무게 등에 따라 생성된 환자 영상을 조절할 수 있다.For example, as shown in FIG. 2, the patient image generator 110 may generate a male or female patient image according to the sex of the patient, and may generate the patient image generated according to the height, age, and weight of the patient. I can regulate it.

또한, 환자에 대하여 MRI, CT, X-ray 등의 기 촬영된 영상이 있는 경우, 실제 수술이 시행되는 부위에 대응하여 기 촬영된 영상으로부터 도 3에 도시한 바와 같이 근육조직(310), 기관(320), 골격(330), 혈관(340), 신경(350) 등을 분리하며,In addition, when there is a pre-recorded image of the patient, such as MRI, CT, X-ray, the muscle tissue 310, organ as shown in FIG. 320, the skeleton 330, the blood vessel 340, the nerve 350, and the like,

분리된 근육조직(310), 기관(320), 골격(330), 혈관(340), 신경(350) 중의 적어도 하나를 환자 영상으로 생성할 수도 있다.At least one of the separated muscle tissue 310, the organ 320, the skeleton 330, the blood vessel 340, and the nerve 350 may be generated as a patient image.

여기서, 도면에는 환자 영상 생성부(110)는 신체 전체에 대한 환자 영상을 생성하는 것으로 도시하였지만, 환자 영상 생성부(110)는 환자의 수술이 시행되는 신체부분에 대한 환자 영상을 생성할 수도 있다.Here, although the patient image generator 110 is shown to generate a patient image for the entire body, the patient image generator 110 may generate a patient image for the body part in which the surgery of the patient is performed. .

상기 환자 영상 생성부(110)는 의료진의 머리에 장착하는 헤드 마운트 디스플레이(HMD)일 수 있다.The patient image generator 110 may be a head mounted display (HMD) mounted on a head of a medical staff.

이러한 헤드 마운트 디스플레이(HMD)는 착용자의 시야가 디스플레이 화면에만 집중될 수 있게 함으로써 가상현실의 현실감을 높일 수 있다는 장점을 가진다.Such a head mounted display (HMD) has an advantage of increasing the reality of virtual reality by allowing the wearer's field of view to focus on the display screen.

이와 같은 환자 영상 생성부(110)는 시뮬레이션 환경을 제공하는 시뮬레이션The patient image generator 110 as described above provides a simulation environment.

엔진, 시야 센서부(112)의 감지 신호를 수신하여 연산하기 위한 시야 방향 연산부를 구비한다.It includes a view direction calculation unit for receiving and calculating the detection signal of the engine, the field sensor unit 112.

다음으로, 시야 센서부(112)는 환자 영상 생성부(110)가 헤드 마운트 디스플레이(HMD)인 경우에 헤드 마운트 디스플레이에 물리적으로 부착되어 의료진의 시야 방향 및 움직임을 감지한다.Next, the visual field sensor 112 is physically attached to the head mounted display when the patient image generating unit 110 is a head mounted display (HMD) to detect the direction and movement of the medical staff.

이와 같은 시야 센서부(112)는 자이로 센서, 가속도 센서, 지자기 센서, 및 GPS 센서를 포함하고, 감지 신호를 외부에 무선으로 전송할 수 있는 무선 신호 송출부를 포함하여 구성될 수 있다.The visual sensor unit 112 may include a gyro sensor, an acceleration sensor, a geomagnetic sensor, and a GPS sensor, and may include a wireless signal transmitter that wirelessly transmits a detection signal to the outside.

자이로 센서는 감지 대상(즉 의료진의 머리)의 회전축을 감지할 수 있는250 ~ 2000 dps 3축 자이로(gyro) 센서일 수 있다.The gyro sensor may be a 250 to 2000 dps three-axis gyro sensor capable of detecting a rotation axis of a sensing object (ie, the head of a medical staff).

가속도 센서는 감지 대상의 진행 속도를 감지하기 위한 2g ~ 8g의 센싱 감도를 가지는 3축 가속도 센서일 수 있다.The acceleration sensor may be a three-axis acceleration sensor having a sensing sensitivity of 2g to 8g for detecting the moving speed of the sensing target.

한편 지자기 센서는 자이로 센서로부터 출력되는 감지 신호의 시간에 따른 누적 오차를 보상하기 위하여 지구의 자극 위치를 감지하기 위한 일종의 나침판 센서일 수 있다.On the other hand, the geomagnetic sensor may be a kind of compass plate sensor for detecting the position of the magnetic pole of the earth to compensate for the cumulative error over time of the sensing signal output from the gyro sensor.

자이로 센서로부터 출력되는 값은 온도나 자기장 변화과 같은 환경의 변화에 민감하기 때문에 미세한 오차가 생길 수 있는데 이것이 시간에 따라 누적되면 무시할 수 없는 정도로 오차가 커질 수 있다.The value output from the gyro sensor is sensitive to changes in the environment, such as temperature or magnetic field changes, which can cause subtle errors. If this accumulates over time, the error can be negligible.

그러므로 지자기 센서로부터 감지된 지구의 자극과 같이 고정된 값이 기준값으로서 사용되어 오차를 보상할 수 있다.Therefore, a fixed value such as the earth's magnetic pole sensed by the geomagnetic sensor can be used as a reference value to compensate for the error.

또한 GPS 센서는 시야 센서부(112)의 위치를 감지하여 출력하기 위한 센서이다.In addition, the GPS sensor is a sensor for sensing and outputting the position of the field sensor 112.

그리고 무선 신호 송출부는 각종 센서로부터의 신호를 예컨대 펄스폭 변조 신호나 블루투스 신호와 같은 근거리 무선 통신 신호로서 변환하여 전송할 수 있도록 하는 장치일 수 있다.The wireless signal transmitter may be a device for converting and transmitting signals from various sensors as short-range wireless communication signals such as a pulse width modulated signal or a Bluetooth signal.

이에 따라, 시야 센서부(112)의 감지 신호, 즉 시선 방향 또는 시야 방향을 나타내는 센싱 신호는 환자 영상 생성부(110)로 전송하며, 환자 영상 생성부(110)는 이 무선 신호를 수신하기 위하여 무선 신호 송신부를 더 포함할 수 있다.Accordingly, the detection signal of the visual field sensor 112, that is, a sensing signal indicating the visual direction or the visual direction is transmitted to the patient image generator 110, and the patient image generator 110 receives the wireless signal in order to receive the wireless signal. The apparatus may further include a wireless signal transmitter.

이와 같은 환자 영상 생성부(110)는 의료진의 시야 방향에 따라 화면 상에 디스플레이되는 3차원 환자 영상이 변화되도록 한다.The patient image generator 110 may change the 3D patient image displayed on the screen according to the direction of the medical staff.

즉, 의료진의 시야 방향에 따라 해당 시야 부분이 의료진에 최근접하게 되도록 환자 영상의 신체를 이동시키거나 회전시킨다.That is, the body of the patient image is moved or rotated so that the corresponding field of view is closest to the medical staff according to the direction of the medical staff.

수술 루트 설정부(120)는 환자에 대해 기 촬영된 영상에 기초하여 병변 위치의 좌표 및 병변 위치의 좌표에 대응하는 수술 시행 루트를 설정하고, 설정된 병변위치의 좌표 및 수술 시행 루트를 환자 영상 생성부(110)에 의해 생성된 환자 영상에 표시한다.The surgery route setting unit 120 sets the surgery execution route corresponding to the coordinates of the lesion position and the coordinates of the lesion position based on the pre-recorded image of the patient, and generates the patient image from the coordinates of the set lesion position and the surgery execution route. It is displayed on the patient image generated by the unit 110.

예를 들어 척추 수술이 시행되는 환자의 경우, 수술 루트 설정부(120)는 환자에 대한 MRI, CT, X-ray 등의 기 촬영된 영상에 기초하여 병변 위치의 좌표를 설정하고, 설정된 병변 위치의 좌표에 대하여 환자의 부담을 최소화하면서 최적의 수술을 수행할 수 있는 수술 시행 루트를 설정하며, 설정된 병변 위치의 좌표 및 수술 시행 루트를 환자 영상 생성부(110)에 의해 생성된 환자 영상에 표시한다.For example, in the case of a patient undergoing spinal surgery, the surgical route setting unit 120 sets coordinates of the lesion position based on pre-recorded images such as MRI, CT, and X-ray of the patient, and sets the lesion position. Set the surgical execution route to perform optimal surgery while minimizing the burden on the patient with respect to the coordinates of, and display the coordinates of the lesion location and the surgical execution route on the patient image generated by the patient image generator 110. do.

이때, 수술 루트 설정부(120)는 환자 영상 생성부(110)에 의해 생성된 환자영상에 대해 기준위치를 설정하고, 해당 환자 영상에 표시된 병변 위치의 좌표 및 수술 시행 루트에 대한 위치를 인식할 수 있다.In this case, the surgical route setting unit 120 sets a reference position with respect to the patient image generated by the patient image generating unit 110 and recognizes the coordinates of the lesion position displayed on the corresponding patient image and the position of the surgical execution route. Can be.

제1 움직임 측정부(130)는 도 4에 도시한 바와 같이 의료진의 수술용 장갑(400)에 설치된 제1 움직임 측정센서(410)에 기초하여, 의료진의 손 및 손가락 중의 적어도 하나에 대한 움직임을 측정한다.As shown in FIG. 4, the first motion measuring unit 130 performs movement of at least one of the hand and fingers of the medical staff based on the first motion measuring sensor 410 installed in the surgical glove 400 of the medical staff. Measure

즉, 의료수술 시뮬레이션을 수행하는 의료진의 수술용 장갑(400)에는 복수의 제1 움직임 측정 센서(410)가 설치될 수 있다.That is, a plurality of first motion measuring sensors 410 may be installed in the surgical glove 400 of the medical staff performing the medical surgery simulation.

이때, 각각의 제1 움직임 측정 센서(410)는 대응하는 위치의 손가락의 움직임에 따라 서로 다른 신호를 출력하며, 제1 움직임 측정부(130)는 각각의 제1 움직임 측정 센서(410)로부터 출력된 신호를 무선으로 수신하여 적어도 하나의 손가락이나 손의 움직임을 측정할 수 있다.In this case, each of the first motion measuring sensors 410 outputs different signals according to the movement of the finger of the corresponding position, and the first motion measuring unit 130 outputs from each of the first motion measuring sensors 410. The received signal may be wirelessly received to measure the movement of at least one finger or hand.

도 4에는 제1 움직임 측정 센서(410)가 수술용 장갑(400)의 손가락 끝에 설치된 것으로 도시하였으나, 이것은 제1 움직임 측정 센서(410)의 설치 예를 도시한 것뿐이며, 제1 움직임측정센서(410)는 수술용 장갑(400)의 다양한 위치에 설치될 수 있다.Although FIG. 4 illustrates that the first motion sensor 410 is installed at the fingertip of the surgical glove 400, this is only an example of installation of the first motion sensor 410, and the first motion sensor ( 410 may be installed at various locations of the surgical glove 400.

수술 영상 표시부(140)는 수술도구의 영상을 생성하며, 제1 움직임 측정부(130)에 의해 측정된 움직임에 따라 수술 도구에 대응하는 수술 시행 영상을 환자 영상 생성부(110)에 의해 생성된 환자영상에 표시한다.The surgical image display unit 140 generates an image of the surgical tool and generates a surgical procedure image corresponding to the surgical tool by the patient image generator 110 according to the movement measured by the first motion measuring unit 130. Mark on patient image.

즉, 수술 영상 표시부(140)는 도 5에 도시한 바와 같이, 환자 영상 생성부(110)에 의해 생성된 환자 영상에 대하여 수술 루트 설정부(120)에 의해 설정된 병변 위치의 좌표 근처에서 의료진의 수술용 장갑의 영상(400)에 대한 기준위치를 정하고, 해당 수술용 장갑의 영상(400)에 수술도구의 영상(500)을 생성한다.That is, the surgical image display unit 140 as shown in FIG. 5, the medical staff near the coordinates of the lesion position set by the surgical route setting unit 120 with respect to the patient image generated by the patient image generating unit 110. A reference position is determined for the image 400 of the surgical glove, and an image 500 of the surgical tool is generated in the image 400 of the surgical glove.

또한, 수술 영상 표시부(140)는 제1 움직임 측정부(130)에 의해 측정된 움직임에 따라 기준 위치로부터 수술용 장갑의 영상(400) 및 수술도구의 영상(500)에 대응하는 수술 시행 영상을 환자 영상에 표시한다.In addition, the surgical image display unit 140 may perform a surgical operation image corresponding to the image 400 of the surgical glove and the image 500 of the surgical tool from the reference position according to the movement measured by the first motion measuring unit 130. Mark on patient image.

한편, 수술 도구 저장부(150)는 수술 도구 명칭 및 그에 대응하는 수술 도구의 영상을 데이터베이스로 저장한다.Meanwhile, the surgical tool storage unit 150 stores the surgical tool name and an image of the surgical tool corresponding thereto as a database.

즉, 수술 도구 저장부(150)는 수술 도구의 종류에 대응하는 이미지를 해당 수술 도구의 명칭에 매칭시켜 데이터베이스로 저장한다.That is, the surgical tool storage unit 150 matches an image corresponding to the type of surgical tool with the name of the corresponding surgical tool and stores the image in a database.

음성 인식부(160)는 수술 도구 명칭의 음성 호출을 인식하며, 수술 도구 저장부(150)로부터 인식된 수술 도구 명칭에 대응하는 수술 도구의 영상을 호출하여 수술 영상 표시부(140)에 전송한다.The voice recognition unit 160 recognizes a voice call of the name of the surgical tool, calls the image of the surgical tool corresponding to the recognized surgical tool name from the surgical tool storage unit 150 and transmits the image to the surgical image display unit 140.

즉, 의료진이 수술도구의 명칭을 음성으로 호출하면, 음식 인식부(160)는 호출된 수술 도구 명칭을 인식하며, 수술 도구 저장부(150)로부터 인식된 수술 도구That is, when the medical staff calls the name of the surgical tool by voice, the food recognition unit 160 recognizes the called surgical tool name, the surgical tool recognized from the surgical tool storage unit 150

명칭에 대응하는 수술 도구의 영상을 호출하여 수술 영상 표시부(140)에 전송한다.The image of the surgical tool corresponding to the name is called and transmitted to the surgical image display unit 140.

수술 위치 비교부(170)는 환자 영상에 표시된 병변 위치의 좌표 및 수술 시행 루트와, 수술 영상 표시부(140)에 의해 환자 영상에 표시되는 수술 시행 영상의 위치를 비교한다.The surgical position comparison unit 170 compares the coordinates of the lesion position and the surgical execution route displayed on the patient image with the position of the surgical trial image displayed on the patient image by the surgical image display unit 140.

즉, 수술 위치 비교부(170)는 환자 영상에 표시된 병변 위치의 좌표 및 수술시행 루트의 위치를 인식하며, 제1 움직임 측정부(130)에 의해 측정된 움직임에 따라 변위되는 수술 시행 영상의 위치를 인식하고, 인식된 각각의 위치를 비교한다.That is, the surgical position comparison unit 170 recognizes the coordinates of the lesion position and the position of the operation route displayed on the patient image, and the position of the surgical execution image that is displaced according to the movement measured by the first motion measuring unit 130. Recognize and compare each recognized position.

메시지 출력부(180)는 수술 위치 비교부(170)에 의해 비교된 결과에 따라 메시지를 출력할 수 있다.The message output unit 180 may output a message according to the result compared by the surgery position comparison unit 170.

예를 들어, 제1 움직임 측정부(130)에 의해 측정된 움직임에 따라 변위되는 수술 시행 영상의 위치가 병변 위치의 좌표 또는 수술 시행 루트의 위치로부터 설정된 범위 이상 벗어나는 경우, 메시지 출력부(180)는 그에 대한 경고메시지를 음성으로 출력할 수 있다.For example, when the position of the surgical trial image displaced according to the movement measured by the first motion measuring unit 130 is out of a range set from the coordinate of the lesion position or the position of the surgical execution route, the message output unit 180 May output a warning message for this.

또한, 제1 움직임 측정부(130)에 의해 측정된 움직임에 따라 변위되는 수술 시행 영상의 위치가 특정 혈관 또는 특정 신경으로부터 설정된 범위 이내인 경우, 메시지 출력부(180)는 그에 대한 주의 메시지를 음성으로 출력할 수 있다.In addition, when the position of the surgical image to be displaced according to the movement measured by the first motion measuring unit 130 is within a range set from a specific blood vessel or a specific nerve, the message output unit 180 voices a warning message therefor. You can output

그러나, 메시지 출력부(180)에 의해 출력되는 메시지는 음성 메시지에 한정되지 않으며, 환자 영상이 표시되는 화면에 문자메시지로 출력되거나, 알람 등의 경고음향으로 출력될 수도 있다.However, the message output by the message output unit 180 is not limited to the voice message, and may be output as a text message on the screen on which the patient image is displayed or as a warning sound such as an alarm.

도 6은 본 발명의 다른 실시예에 따른 가상 현실 의료 훈련 시스템을 개략적으로 도시한 도면이다.6 is a diagram schematically illustrating a virtual reality medical training system according to another embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 의료 훈련 시스템(100)은 환자 영상 생성부(110), 시야 센서부(112), 수술 루트 설정부(120), 제2 움직임 측정부(130-1), 수술 영상 표시부(140), 햅틱 기기(153), 햅틱 기기 이동부(155), 햅틱 기기 제어부(158), 수술 위치 비교부(170) 및 메시지 출력부(180)를 포함할 수 있다.Referring to FIG. 6, the virtual reality medical training system 100 according to an exemplary embodiment of the present invention may measure a patient image generator 110, a field sensor 112, a surgical route setting unit 120, and a second motion measurement. The unit 130-1, the surgical image display unit 140, the haptic device 153, the haptic device moving unit 155, the haptic device control unit 158, the surgery position comparison unit 170, and the message output unit 180 are stored. It may include.

환자 영상 생성부(110)는 환자의 신장, 몸무게, 체격 등의 신체조건을 반영하여 3차원의 환자 영상을 생성한다. 예를 들어, 환자 영상 생성부(110)는 도 2에 도시한 바와 같이 환자의 성별에 따라 남성 또는 여성의 환자 영상을 생성할 수 있으며, 환자의 신장, 나이, 몸무게 등에 따라 생성된 환자 영상을 조절할 수 있다.The patient image generating unit 110 generates a 3D patient image by reflecting physical conditions such as height, weight, and physique of the patient. For example, as shown in FIG. 2, the patient image generator 110 may generate a male or female patient image according to the sex of the patient, and may generate the patient image generated according to the height, age, and weight of the patient. I can regulate it.

또한, 환자에 대하여 MRI, CT, X-ray 등의 기 촬영된 영상이 있는 경우, 실제 수술이 시행되는 부위에 대응하여 기 촬영된 영상으로부터 도 3에 도시한 바와 같이 근육조직(310), 기관(320), 골격(330), 혈관(340), 신경(350) 등을 분리하며, 분리된 근육조직(310), 기관(320), 골격(330), 혈관(340), 신경(350) 중의 적어도 하나를 환자 영상으로 생성할수도 있다. In addition, when there is a pre-recorded image of the patient, such as MRI, CT, X-ray, the muscle tissue 310, organ as shown in FIG. Separation (320), skeleton 330, blood vessels 340, nerves 350, and the like, separated muscle tissue 310, organ 320, skeleton 330, blood vessels 340, nerves 350 At least one of the images may be generated as a patient image.

여기서, 도면에는 환자 영상 생성부(110)는 신체 전체에 대한 환자 영상을 생성하는 것으로 도시하였지만, 환자 영상 생성부(110)는 환자의 수술이 시행되는 신체부분에 대한 환자 영상을 생성할 수도 있다.Here, although the patient image generator 110 is shown to generate a patient image for the entire body, the patient image generator 110 may generate a patient image for the body part in which the surgery of the patient is performed. .

상기 환자 영상 생성부(110)는 의료진의 머리에 장착하는 헤드 마운트 디스플레이(HMD)일 수 있다.The patient image generator 110 may be a head mounted display (HMD) mounted on a head of a medical staff.

이러한 헤드 마운트 디스플레이(HMD)는 착용자의 시야가 디스플레이 화면에만 집중될 수 있게 함으로써 가상현실의 현실감을 높일 수 있다는 장점을 가진다.Such a head mounted display (HMD) has an advantage of increasing the reality of virtual reality by allowing the wearer's field of view to focus on the display screen.

이와 같은 환자 영상 생성부(110)는 시뮬레이션 환경을 제공하는 시뮬레이션The patient image generator 110 as described above provides a simulation environment.

엔진, 시야 센서부(112)의 감지 신호를 수신하여 연산하기 위한 시야 방향 연산부를 구비한다.It includes a view direction calculation unit for receiving and calculating the detection signal of the engine, the field sensor unit 112.

상기 시뮬레이션 엔진은 환자의 신장, 몸무게, 체격을 포함하는 신체조건을 반영하여 3차원의 환자 영상을 생성한다.The simulation engine generates a three-dimensional patient image reflecting the physical condition including the height, weight, and physique of the patient.

그리고, 시야 방향 연산부는 상기 시야 센서부의 감지 신호를 수신하여 연산하여 상기의 시야 감지부가 감지한 의료진의 시야 방향 및 움직임에 따라 환자 영상을 변화시킨다.In addition, the viewing direction calculator receives and calculates a detection signal of the viewing sensor unit to change the patient image according to the viewing direction and the movement of the medical staff sensed by the viewing sensor.

다음으로, 시야 센서부(112)는 환자 영상 생성부(110)가 헤드 마운트 디스플레이(HMD)인 경우에 헤드 마운트 디스플레이에 물리적으로 부착되어 의료진의 시야 방향 및 움직임을 감지한다.Next, the visual field sensor 112 is physically attached to the head mounted display when the patient image generating unit 110 is a head mounted display (HMD) to detect the direction and movement of the medical staff.

이와 같은 시야 센서부(112)는 자이로 센서, 가속도 센서, 지자기 센Such a visual sensor unit 112 is a gyro sensor, an acceleration sensor, geomagnetic sensor

서, 및 GPS 센서를 포함하고, 감지 신호를 외부에 무선으로 전송할 수 있는 무선 신호 송출부를 포함하여 구성될 수 있다.And, including a GPS sensor, and may be configured to include a wireless signal transmission unit that can transmit the detection signal to the outside wirelessly.

자이로 센서는 감지 대상(즉 의료진의 머리)의 회전축을 감지할 수 있는 250 ~ 2000 dps 3축 자이로(gyro) 센서일 수 있다.The gyro sensor may be a 250 to 2000 dps three-axis gyro sensor capable of detecting the axis of rotation of the sensing object (ie, the head of the medical staff).

가속도 센서는 감지 대상의 진행 속도를 감지하기 위한 2g ~ 8g의 센싱 감도를 가지는 3축 가속도 센서일 수 있다.The acceleration sensor may be a three-axis acceleration sensor having a sensing sensitivity of 2g to 8g for detecting the moving speed of the sensing target.

한편 지자기 센서는 자이로 센서로부터 출력되는 감지 신호의 시간에 따른 누적 오차를 보상하기 위하여 지구의 자극 위치를 감지하기 위한 일종의 나침판 센서일 수 있다.On the other hand, the geomagnetic sensor may be a kind of compass plate sensor for detecting the position of the magnetic pole of the earth to compensate for the cumulative error over time of the sensing signal output from the gyro sensor.

자이로 센서로부터 출력되는 값은 온도나 자기장 변화과 같은 환경의 변화에 민감하기 때문에 미세한 오차가 생길 수 있는데 이것이 시간에 따라 누적되면 무시할 수 없는 정도로 오차가 커질 수 있다.The value output from the gyro sensor is sensitive to changes in the environment, such as temperature or magnetic field changes, which can cause subtle errors. If this accumulates over time, the error can be negligible.

그러므로 지자기 센서로부터 감지된 지구의 자극과 같이 고정된 값이 기준값으로서 사용되어 오차를 보상할 수 있다.Therefore, a fixed value such as the earth's magnetic pole sensed by the geomagnetic sensor can be used as a reference value to compensate for the error.

또한 GPS 센서는 시야 센서부(112)의 위치를 감지하여 출력하기 위한 센서이다.In addition, the GPS sensor is a sensor for sensing and outputting the position of the field sensor 112.

그리고 무선 신호 송출부는 각종 센서로부터의 신호를 예컨대 펄스폭 변조 신호나 블루투스 신호와 같은 근거리 무선 통신 신호로서 변환하여 전송할 수 있도록 하는 장치일 수 있다.The wireless signal transmitter may be a device for converting and transmitting signals from various sensors as short-range wireless communication signals such as a pulse width modulated signal or a Bluetooth signal.

이에 따라, 시야 센서부(112)의 감지 신호, 즉 시선 방향 또는 시야 방향을 나타내는 센싱 신호는 환자 영상 생성부(110)로 전송하며, 환자 영상 생성부(110)는 이 무선 신호를 수신하기 위하여 무선 신호 송신부를 더 포함할 수 있다.Accordingly, the detection signal of the visual field sensor 112, that is, a sensing signal indicating the visual direction or the visual direction is transmitted to the patient image generator 110, and the patient image generator 110 receives the wireless signal in order to receive the wireless signal. The apparatus may further include a wireless signal transmitter.

이와 같은 환자 영상 생성부(110)는 의료진의 시야 방향에 따라 화면 상에 디스플레이되는 3차원 환자 영상이 변화되도록 한다.The patient image generator 110 may change the 3D patient image displayed on the screen according to the direction of the medical staff.

즉, 의료진의 시야 방향에 따라 해당 시야 부분이 의료진에 최근접하게 되도록 환자 영상의 신체를 이동시키거나 회전시킨다.That is, the body of the patient image is moved or rotated so that the corresponding field of view is closest to the medical staff according to the direction of the medical staff.

수술 루트 설정부(120)는 환자에 대해 기 촬영된 영상에 기초하여 병변 위치의 좌표 및 병변 위치의 좌표에 대응하는 수술 시행 루트를 설정하고, 설정된 병변위치의 좌표 및 수술 시행 루트를 환자 영상 생성부(110)에 의해 생성된 환자 영상에 표시한다.The surgery route setting unit 120 sets the surgery execution route corresponding to the coordinates of the lesion position and the coordinates of the lesion position based on the pre-recorded image of the patient, and generates the patient image from the coordinates of the set lesion position and the surgery execution route. It is displayed on the patient image generated by the unit 110.

예를 들어 척추수술이 시행되는 환자의 경우, 수술 루트 설정부(120)는 환자에 대한 MRI, CT, X-ray 등의 기 촬영된 영상에 기초하여 병변 위치의 좌표를 설정하고, 설정된 병변 위치의 좌표에 대하여 환자의 부담을 최소화하면서 최적의 수술을 수행할 수 있는 수술 시행 루트를 설정하며, 설정된 병변 위치의 좌표 및 수술 시행 루트를 환자 영상 생성부(110)에 의해 생성된 환자 영상에 표시한다.For example, in the case of a patient undergoing spinal surgery, the surgery route setting unit 120 sets coordinates of a lesion position based on pre-recorded images such as MRI, CT, and X-ray of the patient, and sets the lesion position. Set the surgical execution route to perform optimal surgery while minimizing the burden on the patient with respect to the coordinates of, and display the coordinates of the lesion location and the surgical execution route on the patient image generated by the patient image generator 110. do.

이때, 수술 루트 설정부(120)는 환자 영상 생성부(110)에 의해 생성된 환자 영상에 대해 기준 위치를 설정하고, 해당 환자 영상에 표시된 병변 위치의 좌표 및 수술 시행 루트에 대한 위치를 인식할 수 있다.At this time, the surgical route setting unit 120 sets a reference position with respect to the patient image generated by the patient image generating unit 110, and recognizes the coordinates of the lesion position displayed on the corresponding patient image and the position of the surgical execution route. Can be.

제2 움직임 측정부(130-1)는 도 7에 도시한 바와 같이 의료진의 수술용 도구(500)에 설치된 제2 움직임 측정 센서(510)에 기초하여, 수술용 도구(500)에 대한 움직임을 측정한다.As shown in FIG. 7, the second motion measuring unit 130-1 may move a motion of the surgical tool 500 based on the second motion measuring sensor 510 installed in the surgical tool 500 of the medical staff. Measure

즉, 의료수술 시뮬레이션을 수행하는 의료진의 수술용 도구(500)에는 제2 움직임 측정 센서(510)가 설치될 수 있다.That is, the second motion measuring sensor 510 may be installed in the surgical tool 500 of the medical staff performing the medical surgery simulation.

상기 제2 움직임 측정 센서(510)는 자이로 센서, 가속도 센서, 지자기 센The second motion measuring sensor 510 may include a gyro sensor, an acceleration sensor, and a geomagnetic sensor.

서, 및 GPS 센서를 포함하고, 감지 신호를 외부에 무선으로 전송할 수 있는 무선 신호 송출부를 포함하여 구성될 수 있다.And, including a GPS sensor, and may be configured to include a wireless signal transmission unit that can transmit the detection signal to the outside wirelessly.

자이로 센서는 감지 대상(즉 수술용 도구)의 회전축을 감지할 수 있는 250 ~ 2000 dps 3축 자이로(gyro) 센서일 수 있다.The gyro sensor may be a 250 to 2000 dps three-axis gyro sensor capable of detecting a rotation axis of a sensing object (ie, a surgical tool).

가속도 센서는 감지 대상의 진행 속도를 감지하기 위한 2g ~ 8g의 센싱 감도를 가지는 3축 가속도 센서일 수 있다.The acceleration sensor may be a three-axis acceleration sensor having a sensing sensitivity of 2g to 8g for detecting the moving speed of the sensing target.

한편 지자기 센서는 자이로 센서로부터 출력되는 감지 신호의 시간에 따른 누적 오차를 보상하기 위하여 지구의 자극 위치를 감지하기 위한 일종의 나침판 센서일 수 있다.On the other hand, the geomagnetic sensor may be a kind of compass plate sensor for detecting the position of the magnetic pole of the earth to compensate for the cumulative error over time of the sensing signal output from the gyro sensor.

자이로 센서로부터 출력되는 값은 온도나 자기장 변화와 같은 환경의 변화에 민감하기 때문에 미세한 오차가 생길 수 있는데 이것이 시간에 따라 누적되면 무시할 수 없는 정도로 오차가 커질 수 있다.Since the value output from the gyro sensor is sensitive to changes in the environment such as temperature or magnetic field changes, minute errors may occur. If this accumulates over time, the error may be large enough to be ignored.

그러므로 지자기 센서로부터 감지된 지구의 자극과 같이 고정된 값이 기준값으로서 사용되어 오차를 보상할 수 있다.Therefore, a fixed value such as the earth's magnetic pole sensed by the geomagnetic sensor can be used as a reference value to compensate for the error.

또한 GPS 센서는 수술용 도구(500)의 위치를 감지하여 출력하기 위한 센서이다.In addition, the GPS sensor is a sensor for detecting and outputting the position of the surgical tool (500).

그리고 무선 신호 송출부는 각종 센서로부터의 신호를 예컨대 펄스폭 변조 신호나 블루투스 신호와 같은 근거리 무선 통신 신호로서 변환하여 전송할 수 있도록 하는 장치일 수 있다.The wireless signal transmitter may be a device for converting and transmitting signals from various sensors as short-range wireless communication signals such as a pulse width modulated signal or a Bluetooth signal.

이에 따라, 수술용 도구(500)의 움직임 센싱 신호는 수술 영상 표시부(140)로 전송되며, 수술 영상 표시부(140)는 이 무선 신호를 수신하기 위하여 무선 신호 송신부를 더 포함할 수 있다.Accordingly, the motion sensing signal of the surgical tool 500 is transmitted to the surgical image display unit 140, the surgical image display unit 140 may further include a wireless signal transmitter to receive the wireless signal.

수술 영상 표시부(140)는 수술도구의 영상을 생성하며, 제2 움직임 측정부(130-1)에 의해 측정된 움직임에 따라 수술 도구에 대응하는 수술 시행 영상을 환자 영상 생성부(110)에 의해 생성된 환자 영상에 표시한다.Surgical image display unit 140 generates an image of the surgical tool, according to the movement measured by the second motion measuring unit 130-1 by the patient image generating unit 110 to perform a surgical operation image corresponding to the surgical tool The generated patient image is displayed.

즉, 수술 영상 표시부(140)는 도 8에 도시한 바와 같이, 환자 영상 생성부(110)에 의해 생성된 환자 영상에 대하여 수술 루트 설정부(120)에 의해 설정된 병변 위치의 좌표 근처에서 의료진의 수술용 도구(500)에 대한 기준위치를 정하고, 수술 영상 표시부(140)는 제2 움직임 측정부(130-1)에 의해 측정된 움직임에 따라 기준 위치로부터 수술용 도구(500)에 대응하는 수술 시행 영상을 환자 영상에 표시한다.That is, as shown in FIG. 8, the surgical image display unit 140 of the medical staff near the coordinates of the lesion position set by the surgical route setting unit 120 with respect to the patient image generated by the patient image generating unit 110. A reference position for the surgical tool 500 is determined, and the surgical image display unit 140 performs surgery corresponding to the surgical tool 500 from the reference position according to the movement measured by the second motion measuring unit 130-1. Trial images are displayed on patient images.

한편, 햅틱 기기(153)는 수술용 도구(500)가 접촉되는 경우에 환자 영상의 해당 부위에 해당하는 햅틱 패턴을 제공한다.Meanwhile, when the surgical tool 500 is in contact with the haptic device 153, the haptic device 153 provides a haptic pattern corresponding to a corresponding portion of the patient image.

일예로, 햅틱 기기(153)는 수술용 도구(500)가 접촉하는 환자 영상 부위가 피부인 경우에 그에 해당하는 햅틱 패턴을 제공하고, 수술용 도구(500)가 접촉하는 환자 영상 부위가 척추인 경우에 그에 해당하는 햅틱 패턴을 제공한다.For example, the haptic device 153 may provide a haptic pattern corresponding to the case where the patient image portion contacted by the surgical tool 500 is skin, and the patient image portion contacted by the surgical tool 500 is the spine. In this case, a corresponding haptic pattern is provided.

다음으로, 햅틱 기기 이동부(155)는 햅틱 기기(153)를 수술 루트 설정부(120)에 의해 설정된 환자 영상의 수술 시행 루트로 이동시킨다.Next, the haptic device moving unit 155 moves the haptic device 153 to the surgical execution route of the patient image set by the surgical route setting unit 120.

일반적으로, 인체를 대상으로 하는 의료 행위는 그 부위가 국소적이고 이동거리가 넓지 않기 때문에, 햅틱 기기(153)와 햅틱 기기 이동부(155)를 구비하여 수술 도구(500)가 위치하는 지역에 햅틱 기기(153)를 설치하여 햅틱 패턴을 제공할 수 있다.In general, since the medical activity targeting the human body is localized and the moving distance is not wide, the haptic device 153 and the haptic device moving part 155 are provided so that the haptic in the area where the surgical tool 500 is located. The device 153 may be installed to provide a haptic pattern.

이러한 햅틱 기기(153)와 햅틱 기기 이동부(155)는 도 9에 도시된 바와 같이 구현할수 있다.The haptic device 153 and the haptic device moving unit 155 may be implemented as shown in FIG. 9.

그리고, 햅틱 기기 제어부(158)는 햅틱 기기 이동부(155)가 햅틱 기기(153)를 수술 루트 설정부(120)에 의해 설정된 환자 영상의 수술 시행 루트로 이동시키도록 제어한다.In addition, the haptic device controller 158 controls the haptic device moving unit 155 to move the haptic device 153 to the surgical execution route of the patient image set by the surgical route setting unit 120.

또한, 햅틱 기기 제어부(158)는 햅틱 기기(153)에 수술용 도구(500)가 접촉되는 경우에 환자 영상의 해당 부위에 해당하는 햅틱 패턴을 제공하도록 햅틱 기기(153)를 제어한다.In addition, the haptic device controller 158 controls the haptic device 153 to provide a haptic pattern corresponding to a corresponding portion of the patient image when the surgical tool 500 contacts the haptic device 153.

일예로, 햅틱 기기 제어부(158)는 햅틱 기기(153)가 위치하는 수술 시행 루트가 피부이고, 이러한 피부에 수술용 도구(500)가 접촉하는 경우에 그에 해당하는 햅틱 패턴을 제공하고, 수술용 도구(500)가 접촉하는 환자 영상 부위가 척추인 경우에 그에 해당하는 햅틱 패턴을 제공하도록 햅틱 기기(153)를 제어한다.For example, the haptic device controller 158 provides a haptic pattern corresponding to the case where the surgical execution route where the haptic device 153 is located is a skin, and when the surgical tool 500 contacts the skin, The haptic device 153 is controlled to provide a haptic pattern corresponding to the case where the patient image contacted by the tool 500 is the spine.

한편, 수술 위치 비교부(170)는 환자 영상에 표시된 병변 위치의 좌표 및 수술 시행 루트와, 수술 영상 표시부(140)에 의해 환자 영상에 표시되는 수술 시행 영상의 위치를 비교한다. 즉, 수술 위치 비교부(170)는 환자 영상에 표시된 병변 위치의 좌표 및 수술 시행 루트의 위치를 인식하며, 제2 움직임 측정부(130-1)에 의해 측정된 움직임에 따라 변위되는 수술 시행 영상의 위치를 인식하고, 인식된 각각의 위치를 비교한다.On the other hand, the surgical position comparison unit 170 compares the coordinates of the lesion position and the surgical execution route displayed on the patient image with the position of the surgical operation image displayed on the patient image by the surgical image display unit 140. That is, the surgical position comparison unit 170 recognizes the coordinates of the lesion position and the position of the surgical execution route displayed on the patient image, and the surgically performed image that is displaced according to the movement measured by the second motion measuring unit 130-1. Recognize the position of and compare each of the recognized positions.

메시지 출력부(180)는 수술 위치 비교부(170)에 의해 비교된 결과에 따라 메시지를 출력할 수 있다. 예를 들어, 제2 움직임 측정부(130-1)에 의해 측정된 움직임에 따라 변위되는 수술 시행 영상의 위치가 병변 위치의 좌표 또는 수술 시행 루트의 위치로부터 설정된 범위 이상 벗어나는 경우, 메시지 출력부(180)는 그에 대한 경고 메시지를 음성으로 출력할 수 있다.The message output unit 180 may output a message according to the result compared by the surgery position comparison unit 170. For example, if the position of the surgical trial image displaced according to the movement measured by the second motion measuring unit 130-1 is out of a range set from the coordinate of the lesion position or the position of the surgical execution route, the message output unit ( 180 may output a warning message therefor in voice.

또한, 제2 움직임 측정부(130-1)에 의해 측정된 움직임에 따라 변위되는 수술 시행영상의 위치가 특정 혈관 또는 특정 신경으로부터 설정된 범위 이내인 경우, 메시지 출력부(180)는 그에 대한 주의 메시지를 음성으로 출력할 수 있다.In addition, when the position of the surgical trial image displaced according to the movement measured by the second motion measuring unit 130-1 is within a range set from a specific blood vessel or a specific nerve, the message output unit 180 warns about the message. Can be output as voice.

그러나, 메시지 출력부(180)에 의해 출력되는 메시지는 음성 메시지에 한정되지 않으며, 환자 영상이 표시되는 화면에 문자 메시지로 출력되거나, 알람 등의 경고 음향으로 출력될 수도 있다.However, the message output by the message output unit 180 is not limited to the voice message, and may be output as a text message or a warning sound such as an alarm on a screen on which the patient image is displayed.

또한, 메시지 출력부(180)는 햅틱 기기(153)에 수술용 도구(500)가 접촉되는 경우에 환자 영상의 해당 부위에 해당하는 접촉음을 제공할 수 있다.In addition, when the surgical tool 500 is in contact with the haptic device 153, the message output unit 180 may provide a contact sound corresponding to a corresponding portion of the patient image.

일예로, 메시지 출력부(180)는 햅틱 기기(153)가 위치하는 수술 시행 루트가 피부이고, 이러한 피부에 수술용 도구(500)가 접촉하는 경우에 그에 해당하는 접촉음을 제공하고, 수술용 도구(500)가 접촉하는 환자 영상 부위가 척추인 경우에 그에 해당하는 접촉음을 제공한다.For example, the message output unit 180 may provide a contact sound when the surgical execution route where the haptic device 153 is located is a skin, and the surgical tool 500 contacts the skin, and provides a corresponding sound. If the patient image area that the tool 500 contacts is the spine, a corresponding contact sound is provided.

도 9a와 도 9b는 햅틱 기기와 햅틱 기기 이동부의 일예를 나타내는 도면이다.9A and 9B illustrate examples of a haptic device and a haptic device moving unit.

도 9a와 도 9b를 참조하면, 햅틱 기기 이동부는 중앙 부분에 개구부가 형성되어 있는 사각틀형의 베이스 프레임(1000)과, 상기 베이스 프레임에 연결되어 X축, Y축, Z축을 이동하며 햅틱 기기 설치판(2310)이 구비된 축 연동부(2000)와, 프레임 덮개(3000)를 구비하고 있다.9A and 9B, the haptic device moving unit includes a rectangular frame-shaped base frame 1000 having an opening formed at a center portion thereof, and connected to the base frame to move the X-axis, Y-axis, and Z-axis, and install the haptic device. The shaft interlocking part 2000 with which the board 2310 was provided, and the frame cover 3000 are provided.

상기 베이스 프레임(1000)은 네개의 판형의 측면판(1010, 1020,1030, 1040)이 중앙 부분에 개구부가 형성되도록 사각틀형을 형성한 것으로, 작동시 진동이나 충격을 방지하기 위하여 중량의 금속 재질로 제작되어 있다.The base frame 1000 is a four-sided side plate (1010, 1020, 1030, 1040) is formed in a rectangular frame so that the opening is formed in the center portion, a heavy metal material to prevent vibration or impact during operation Made of.

이러한 베이스 프레임(1000)은 각 측면판(1010, 1020, 1030, 1040)에서 돌출되어 있는 나사홈을 구비한 네개의 고정판(1100a~1100d)으로 이루어진 고정 부재(1100)를 구비하여 나사홈에 나사를 사용하여 벽에 고정될 수 있다.The base frame 1000 is provided with a fixing member 1100 consisting of four fixing plates 1100a to 1100d having screw grooves protruding from the side plates 1010, 1020, 1030, and 1040. It can be fixed to the wall using.

여기에서, 베이스 프레임(1000)을 벽에 고정하는 방법은 고정부재(1100)의 나사홈에 나사를 사용하는 것이나 이에 한정되지 않고 베니스 프레임(1000)의 각 측면판(1010,1020, 1030, 1040)에 하나 또는 2개의 나사홈을 구비하여 나사를 사용하여 고정할 수 있다.Here, the method of fixing the base frame 1000 to the wall is to use a screw in the screw groove of the fixing member 1100, but is not limited thereto, and each side plate 1010, 1020, 1030, 1040 of the Venice frame 1000. ) Can be fixed using screws with one or two screw grooves.

이와 같은 베이스 프레임(1000)은 중앙 부분에 개구부가 형성된 프레임 덮개(3000)로 덮여 있을 수 있다. 여기에서, 프레임 덮개(3000)는 필수적인 구성요소가 아니며 선택적으로 구비할 수 있다.The base frame 1000 may be covered with a frame cover 3000 having an opening formed at a central portion thereof. Here, the frame cover 3000 is not an essential component and may be optionally provided.

한편, 축 연동부(2000)는 X축 연동기(2100), Y축 연동기(2200) 및 Z축 연동기(2300)를 포함한다.On the other hand, the axis linkage unit 2000 includes an X-axis linkage 2100, a Y-axis linkage 2200 and a Z-axis linkage 2300.

여기에서, X축은 도면에서 베이스 프레임을 바라보았을 때 세로를 의미하며, Y축은 도면에서 베이스 프레임을 바라보았을 때 가로를 의미하며, Z축은 도면에서 베이스 프레임을 바라보았을 때에 지면에서 수직방향을 의미한다.Here, X axis means vertical when looking at the base frame in the drawing, Y axis means horizontal when looking at the base frame in the drawing, and Z axis means vertical direction in the ground when looking at the base frame in the drawing. .

상기 X 축 연동기(2100)는 한쌍의 X축 가동블록(2110a, 2110b) 및 한쌍의 X축 가이드레일(2120a, 2120b)을 포함한다.The X-axis interlock 2100 includes a pair of X-axis movable blocks 2110a and 2110b and a pair of X-axis guide rails 2120a and 2120b.

여기에서, 한쌍의 X축 가동블록(2110a, 2110b)은 상부 측면판(1010)과 하부 측면판(1030) 사이에 설치되어 있는 한쌍의 X축 가이드 레일(2120a, 2120b)에 삽입되어 한쌍의 X축 가이드 레일(2120a, 2120b)을 따라 X축 방향으로 이동한다.Here, a pair of X-axis movable blocks (2110a, 2110b) is inserted into a pair of X-axis guide rails (2120a, 2120b) installed between the upper side plate 1010 and the lower side plate 1030 and a pair of X It moves along the axial guide rails 2120a and 2120b in the X-axis direction.

이때, 한쌍의 X축 가동블록(2110a, 2110b) 각각은 해당하는 X축 가이드 레일(2120a, 2120b)에 고정되어 있을 수 있는 X축 파지부재와 X축으로 이동할 수 있는 모터를 포함한다. 물론, 상기 모터는 일측의 X축 가동블록(2110a,2110b)에 형성되어 있을 수 있다.At this time, each of the pair of X-axis movable blocks (2110a, 2110b) includes an X-axis holding member that can be fixed to the corresponding X-axis guide rails (2120a, 2120b) and a motor that can move to the X-axis. Of course, the motor may be formed on the X-axis movable blocks 2110a and 2110b on one side.

상기 X축 가이드 레일(2120a, 2120b)는 상부 측면판(1010)과 하부 측면판(1030)에 홈을 형성하여 홈에 삽입되어 고정되도록 하거나, 지지부재를 별도로 상부 측면판(1010)과 하부 측면판(1030)의 안쪽에 설치하여 지지부재에 고정되도록 할 수 있다.The X-axis guide rails 2120a and 2120b form grooves in the upper side plate 1010 and the lower side plate 1030 so as to be inserted into and fixed in the grooves, or support members are separately provided in the upper side plate 1010 and the lower side surface. It may be installed inside the plate 1030 to be fixed to the support member.

다음으로, 상기 Y 축 연동기(2200)는 Y축 가동블록(2210) 및 한쌍의 Y축 가이드레일(2220a, 2220b)을 포함한다.Next, the Y-axis interlock 2200 includes a Y-axis movable block 2210 and a pair of Y-axis guide rails 2220a and 2220b.

여기에서, Y축 가동블록(2210)은 일측 X축 가동블록(2110a)과 타측 X축 가동블록(2110b) 사이에 설치되어 있는 한쌍의 Y축 가이드 레일(2220a, 2220b)에 삽입되어 한쌍의 Y축 가이드 레일(2220a, 2220b)을 따라 Y축 방향으로 이동한다.Here, the Y-axis movable block 2210 is inserted into a pair of Y-axis guide rails 2220a and 2220b installed between one side of the X-axis movable block 2110a and the other side of the X-axis movable block 2110b, and thus a pair of Y It moves along the axial guide rails 2220a and 2220b in the Y-axis direction.

이때, Y축 가동블록(2210)은 Y축 가이드 레일(2220a, 2220b)에 고정되어 있을 수 있도록 하는 Y축 파지부재와 Y축으로 이동할 수 있는 모터를 포함한다.At this time, the Y-axis movable block 2210 includes a Y-axis holding member and a motor that can move to the Y-axis to be fixed to the Y-axis guide rails (2220a, 2220b).

상기 Y축 가이드 레일(2220a, 2220b)는 일측 X축 가동블록(2110a)과 타측 X축 가동 블록(2110b)에 홈을 형성하여 홈에 삽입되어 고정되도록 할 수 있다.The Y-axis guide rails 2220a and 2220b may have grooves formed on one side of the X-axis movable block 2110a and the other side of the X-axis movable block 2110b to be inserted and fixed in the grooves.

다음으로, Z축 연동기(2300)는 노즐 설치판(2310)과, 한쌍의 Z축 가이드레일(2320a, 2320b) 및 이격 제공판(2330)을 포함한다.Next, the Z-axis interlocker 2300 includes a nozzle mounting plate 2310, a pair of Z-axis guide rails 2320a and 2320b, and a space providing plate 2330.

여기에서, 노즐 설치판(2310)은 Y축 가동블록(2210a)과 이격 제공판(2330) 사이에 설치되어 있는 한쌍의 Z축 가이드 레일(2320a, 2320b)에 삽입되어 한쌍의 Z축 가이드 레일(2320a, 2320b)을 따라 Z축 방향으로 이동한다.Here, the nozzle mounting plate 2310 is inserted into a pair of Z-axis guide rails 2320a and 2320b installed between the Y-axis movable block 2210a and the space providing plate 2330, so that the pair of Z-axis guide rails ( 2320a, 2320b) to move in the Z-axis direction.

이때, 햅틱 기기 설치판(2310)은 Z축 가이드 레일(2320a, 2320b)에 고정되어 있을 수 있도록 하는 Z축 파지부재(2310a)와 Z축으로 이동할 수 있는 모터 그리고 햅틱 기기 설치 부재(2310b)를 포함한다. In this case, the haptic device mounting plate 2310 includes a Z-axis holding member 2310a, which can be fixed to the Z-axis guide rails 2320a, 2320b, a motor that can move in the Z-axis, and a haptic device mounting member 2310b. Include.

여기에서, 햅틱 기기 설치 부재(2310b)는 Z축 파지부재(2310a)에 직각으로 형성되어 있는데 이는 햅틱 기기가 설치될 때에 용이하게 설치되도록 하기 위한 것이다. Here, the haptic device mounting member 2310b is formed at right angles to the Z-axis holding member 2310a so that the haptic device mounting member 2310b can be easily installed when the haptic device is installed.

상기 Z축 가이드 레일(2320a, 2320b)은 Y축 가동블록(2210a)과 이격 제공판(2330)에 홈을 형성하여 홈에 삽입되어 고정되도록 할 수 있다.The Z-axis guide rails 2320a and 2320b may have grooves in the Y-axis movable block 2210a and the spaced providing plate 2330 to be inserted into and fixed in the grooves.

상기 이격 제공판(2330)은 ㄷ자 형상이나 이에 한정되는 것은 아니며 일자형으로 형성할 수 있다.The spaced providing plate 2330 may be a c-shaped but not limited thereto, and may have a straight shape.

이와 같이 구성된 햅틱 기기 이동부는 나사등을 통하여 설치되고, 햅틱 기기설치판(2310)의 햅틱 기기 설치 부재(2310b)에 햅틱 기기를 설치한 상태에서 햅틱 기기 제어부의 제어에 의해 X축, Y축, Z축으로 이동하면서 수술 루트 설정부에 의해 설정된 환자 영상의 수술 시행 루트로 햅틱 기기를 이동시킨다.The haptic device moving unit configured as described above is installed through a screw or the like, and the X-axis, Y-axis, under the control of the haptic device controller in the state where the haptic device is installed on the haptic device mounting member 2310b of the haptic device mounting plate 2310. The haptic device is moved to the surgical execution route of the patient image set by the surgical route setting unit while moving on the Z axis.

본 발명에 따르면, 의료진에게 환자의 신체조건과 같은 시뮬레이션 환경을 제공할 수 있게 되며, 그에 따라 의료진이 실제 수술을 하기 전에 환자의 조건에 따른 훈련을 충분히 수행할 수 있도록 한다.According to the present invention, it is possible to provide a medical team with a simulation environment, such as the physical condition of the patient, thereby allowing the medical staff to sufficiently perform the training according to the condition of the patient before the actual operation.

또한, 본 발명에 따르면, 실제 수술을 수행하기 이전에 의료진이 고난도의 경험을 충분히 쌓을 수 있도록 하며, 그에 따라 환자에 대한 실제 수술의 성공확률을 높일 수 있게 된다.In addition, according to the present invention, before the actual operation to perform the medical staff can have enough experience of a high degree of difficulty, thereby increasing the probability of success of the actual operation for the patient.

또한, 본 발명에 따르면, 의료진의 시야 방향에 따른 가상 영상이 변화되도록 하여 몰입도 높은 훈련을 제공할 수 있도록 한다.In addition, according to the present invention, it is possible to provide a high immersion training by changing the virtual image according to the direction of view of the medical staff.

또한, 본 발명에 따르면, 수술도구에 움직임 센서를 부착하여 의료진이 정확한 수술 경험을 충분히 쌓을 수 있도록 하며, 그에 따라 환자에 대한 실제 수술의 성공 확률을 높일 수 있게 된다.In addition, according to the present invention, by attaching a motion sensor to the surgical tool to allow the medical staff to accumulate accurate surgical experience, thereby increasing the probability of success of the actual surgery for the patient.

또한, 본 발명에 따르면, 이동형 햅틱 기기를 통하여 촉감을 제공함으로서 실제 수술 환경과 동일한 경험을 제공하여 그에 따라 환자에 대한 실제 수술의 성공 확률을 높일 수 있게 된다.In addition, according to the present invention, by providing a haptic through the mobile haptic device to provide the same experience as the actual surgical environment it is possible to increase the probability of success of the actual surgery for the patient accordingly.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 가상 현실 의료 훈련 시스템
110: 환자 영상 생성부
120: 수술 루트 설정부
130, 130-1: 움직임 측정부
140: 수술 영상 표시부
150: 수술 도구 저장부
153 : 햅틱 기기
155 : 햅틱 기기 이동부
158 : 햅틱 기기 제어부
160: 음성 인식부
170: 수술 위치 비교부
180: 메시지 출력부100: virtual reality medical training system
110: patient image generating unit
120: surgical route setting unit
130, 130-1: motion measuring unit
140: surgery image display unit
150: surgical tool storage unit
153: Haptic Device
155: Haptic device moving unit
158: haptic device controller
160: speech recognition unit
170: surgical position comparison unit
180: message output unit

Claims (16)

환자의 신장, 몸무게, 체격을 포함하는 신체조건을 반영하여 3차원의 환자 영상을 생성하며, 하기의 시야 감지부가 감지한 의료진의 시야 방향 및 움직임에 따라 환자 영상을 변화시키는 환자 영상 생성부;
의료진의 시야 방향 및 움직임을 감지하여 상기 환자 영상 생성부로 제공하는 시야 감지부; 및
상기 환자에 대해 기 촬영된 영상에 기초하여 병변 위치의 좌표 및 상기 병변 위치의 좌표에 대응하는 수술 시행 루트를 설정하고, 설정된 상기 병변 위치의 좌표 및 상기 수술 시행 루트를 상기 환자 영상 생성부에 의해 생성된 환자 영상에 표시하는 수술 루트 설정부를 포함하는 가상 현실 의료 훈련 시스템.A patient image generator configured to generate a 3D patient image reflecting physical conditions including height, weight, and physique of the patient, and change the patient image according to the direction and movement of the medical team detected by the visual field sensor below;
A visual field sensing unit which senses a visual field direction and a movement of a medical staff and provides the medical image generating unit to the patient image generator; And
The operation execution route corresponding to the coordinates of the lesion position and the coordinates of the lesion position is set based on the image photographed for the patient, and the coordinates of the lesion position and the surgery execution route are set by the patient image generator. Virtual reality medical training system comprising a surgical route setting unit to display on the generated patient image. 청구항 1항에 있어서,
의료진의 수술용 장갑에 설치된 제1 움직임 측정 센서에 기초하여 상기 의료진의 손 및 손가락 중의 적어도 하나에 대한 움직임을 측정하는 제1 움직임측정부;
수술 도구 영상을 생성하며, 상기 제1 움직임 측정부에 의해 측정된 움직임에 따라 상기 수술 도구 영상이 변위하는 수술 시행 영상을 상기 환자 영상 생성부에 의해 생성된 환자 영상에 표시하는 수술 영상 표시부;
상기 수술 루트 설정부에 의해 환자 영상에 표시되는 병변 위치의 좌표 및 수술 시행 루트와 상기 수술 영상 표시부에 의해 표시되는 수술 시행 영상의 위치를 비교하는 수술 위치 비교부; 및
상기 수술 위치 비교된 결과에 따라 메시지를 출력하는 메시지 출력부를 더 포함하는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 1,
A first motion measuring unit configured to measure a motion of at least one of a hand and a finger of the medical staff based on a first motion measuring sensor installed in a surgical glove of a medical staff;
A surgical image display unit generating a surgical tool image and displaying a surgical trial image in which the surgical tool image is displaced according to the movement measured by the first motion measuring unit on a patient image generated by the patient image generator;
A surgical position comparison unit comparing the position of the lesion position displayed on the patient image by the surgical route setting unit and the position of the surgical execution image displayed by the surgical image display unit with the surgical execution route; And
The virtual reality medical training system further comprises a message output unit for outputting a message according to the result of the operation position comparison. 청구항 2항에 있어서,
수술 도구 명칭 및 그에 대응하는 수술 도구 영상을 데이터베이스로 저장하는 수술 도구 저장부; 및
수술 도구 명칭의 음성 호출을 인식하며, 상기 수술 도구 저장부로부터 인식된 수술 도구 명칭에 대응하는 수술 도구 영상을 호출하여 상기 수술 영상 표시부에 전송하는 음성 인식부를 더 포함하는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 2,
A surgical tool storage unit for storing a surgical tool name and a corresponding surgical tool image in a database; And
And a voice recognition unit for recognizing a voice call of a surgical tool name and calling a surgical tool image corresponding to the surgical tool name recognized from the surgical tool storage unit and transmitting the surgical tool image to the surgical image display unit. Training system. 청구항 2항에 있어서,
상기 제1 움직임 측정부는
감지대상의 회전축을 감지하기 위한 자이로 센서;
감지대상의 진행 속도를 감지하기 위한 가속도 센서; 및
상기 자이로 센서로부터 출력되는 감지 신호의 시간에 따른 누적 오차를 보상하기 위하여 지구의 자극 위치를 감지하기 위한 지자기 센서를 포함하여 구성되는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 2,
The first motion measuring unit
A gyro sensor for sensing a rotation axis of the sensing object;
An acceleration sensor for sensing a moving speed of the sensing object; And
And a geomagnetism sensor for sensing a magnetic pole position of the earth to compensate for a cumulative error over time of the sensing signal output from the gyro sensor. 청구항 4항에 있어서,
상기 시야 센서부의 감지 신호는 상기 환자 영상 생성부에 무선으로 전송되는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 4,
Virtual reality medical training system, characterized in that the detection signal of the field of view sensor unit is wirelessly transmitted to the patient image generation unit. 청구항 4항에 있어서,
상기 시야 센서부는 위치를 감지하여 출력하기 위한 GPS 센서를 더 포함하는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 4,
The visual sensor unit virtual reality medical training system further comprises a GPS sensor for sensing and outputting the position. 청구항 1항에 있어서,
상기 환자 영상 생성부는 의료진의 머리에 장착하는 헤드 마운트 디스플레이(HMD)이며, 상기 시야 센서부는 상기 헤드 마운트 디스플레이에 물리적으로 부착되어 의료진의 시야 방향 및 움직임을 감지하는 가상 현실 의료 훈련 시스템.The method according to claim 1,
The patient image generating unit is a head mounted display (HMD) mounted on the head of the medical staff, the visual sensor unit is physically attached to the head mounted display virtual reality medical training system for detecting the direction and movement of the medical staff. 청구항 1항에 있어서,
상기 환자 영상 생성부는
환자의 신장, 몸무게, 체격을 포함하는 신체조건을 반영하여 3차원의 환자 영상을 생성하는 시뮬레이션 엔진; 및
상기 시야 센서부의 감지 신호를 수신하여 연산하여 상기의 시야 감지부가 감지한 의료진의 시야 방향 및 움직임에 따라 환자 영상을 변화시키는 시야 방향 연산부를 포함하는 가상 현실 의료 훈련 시스템.The method according to claim 1,
The patient image generating unit
Simulation engine for generating a three-dimensional patient image reflecting the physical conditions including the height, weight, body of the patient; And
And a visual field direction calculator configured to receive and calculate a detection signal of the visual field sensor to change a patient image according to the visual direction and the movement of the medical team sensed by the visual field sensor. 청구항 1항에 있어서,
의료진의 수술용 도구에 설치된 제2 움직임 측정 센서에 기초하여 상기 의료진의 수술용 도구에 대한 움직임을 측정하는 제2 움직임측정부;
상기 제2 움직임 측정부에 의해 측정된 움직임에 따라 상기 수술 도구가 변위하는 수술 시행 영상을 상기 환자 영상 생성부에 의해 생성된 환자 영상에 표시하는 수술 영상 표시부;
상기 수술 루트 설정부에 의해 환자 영상에 표시되는 병변 위치의 좌표 및 수술 시행 루트와 상기 수술 영상 표시부에 의해 표시되는 수술 시행 영상의 위치를 비교하는 수술 위치 비교부; 및
상기 수술 위치 비교된 결과에 따라 메시지를 출력하는 메시지 출력부를 더 포함하는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method according to claim 1,
A second motion measuring unit configured to measure a movement of the medical staff with respect to the surgical tool based on a second motion measuring sensor installed in the surgical tool of the medical staff;
A surgical image display unit displaying a surgical trial image in which the surgical tool is displaced according to the movement measured by the second motion measuring unit, on a patient image generated by the patient image generator;
A surgical position comparison unit comparing the position of the lesion position displayed on the patient image by the surgical route setting unit and the position of the surgical execution image displayed by the surgical image display unit with the surgical execution route; And
The virtual reality medical training system further comprises a message output unit for outputting a message according to the result of the operation position comparison. 청구항 9항에 있어서,
상기 제2 움직임 측정부는
감지대상의 회전축을 감지하기 위한 자이로 센서;
감지대상의 진행 속도를 감지하기 위한 가속도 센서;
상기 자이로 센서로부터 출력되는 감지 신호의 시간에 따른 누적 오차를 보상하기 위하여 지구의 자극 위치를 감지하기 위한 지자기 센서; 및
위치를 감지하여 출력하기 위한 GPS 센서를 포함하는 것을 특징으로 하는 가상 현실 의료 훈련 시스템.The method of claim 9,
The second motion measuring unit
A gyro sensor for sensing a rotation axis of the sensing object;
An acceleration sensor for sensing a moving speed of the sensing object;
A geomagnetic sensor for sensing a magnetic pole position of the earth to compensate for a cumulative error over time of the sensing signal output from the gyro sensor; And
Virtual reality medical training system comprising a GPS sensor for sensing and outputting the position. 청구항 9항에 있어서,
수술용 도구가 접촉되는 경우에 환자 영상의 해당 부위에 해당하는 햅틱 패턴을 제공하는 햅틱 기기;
상기 햅틱 기기를 상기 수술 루트 설정부에 의해 설정된 환자 영상의 수술 시행 루트로 이동시키는 햅틱 기기 이동부; 및
상기 햅틱 기기 이동부가 상기 햅틱 기기를 이동시키도록 제어하고, 상기 햅틱 기기에 수술용 도구가 접촉되는 경우에 환자 영상의 해당 부위에 해당하는 햅틱 패턴을 제공하도록 상기 햅틱 기기를 제어하는 햅틱 기기 제어부를 포함하는 가상 현실 의료 훈련 시스템.The method of claim 9,
A haptic device that provides a haptic pattern corresponding to a corresponding portion of a patient's image when the surgical tool is in contact;
A haptic device moving unit for moving the haptic device to a surgical execution route of the patient image set by the surgical route setting unit; And
A haptic device control unit which controls the haptic device moving unit to move the haptic device, and controls the haptic device to provide a haptic pattern corresponding to a corresponding portion of a patient image when a surgical tool is in contact with the haptic device; Virtual reality medical training system that includes. 청구항 11항에 있어서,
상기 햅틱 기기 이동부는
중앙 부분에 개구부가 형성되어 있으며 고정부재를 구비하여 부착될 수 있는 사각틀형의 베이스 프레임; 및
상기 베이스 프레임에 연결되어 X축, Y축, Z축으로 이동하며 햅틱 기기 설치판을 구비하고 있는 축 연동부를 포함하는 가상 현실 의료 훈련 시스템.The method according to claim 11,
The haptic device moving unit
An opening is formed in the center portion and the rectangular base frame that can be attached with a fixing member; And
And a shaft linking unit connected to the base frame and moving in an X axis, a Y axis, and a Z axis and having a haptic device mounting plate. 청구항 12항에 있어서,
상기 베이스 프레임을 덮는 중앙에 개구부가 형성된 프레임 덮개를 더 포함하는 가상 현실 의료 훈련 시스템.The method according to claim 12,
And a frame cover having an opening formed in a center of the base frame. 청구항 12항에 있어서,
상기 베이스 프레임은
서로 연결되어 중앙 부분에 개구부가 있는 사각틀형을 형성하는 제1 내지 제4 측면판을 포함하는 가상 현실 의료 훈련 시스템.The method according to claim 12,
The base frame is
Virtual reality medical training system comprising the first to fourth side plates connected to each other to form a rectangular frame with an opening in the central portion. 청구항 12항에 있어서,
상기 축 연동부는
제1 측면판과 이에 대향하는 제3 측면판 사이의 안쪽에 설치되어 있는 한 쌍의 제1 축 가이드 레일과 상기 한쌍의 제1 축 가이드 레일에 각각 삽입되어 제1 축방향으로 이동하는 한쌍의 제1 축 가동블록을 포함하는 제1 축 연동기;
상기 한쌍의 제1 축 가이드 레일 사이에 설치되어 있는 한 쌍의 제2 축 가이드 레일과 상기 한쌍의 제2 축 가이드 레일에 각각 삽입되어 제2 축방향으로 이동하는 제2 축 가동블록을 포함하는 제2 축 연동기; 및
상기 제1 축 가동블록에 설치되어 있는 한 쌍의 제3 축 가이드 레일과 상기 한쌍의 제3 축 가이드 레일에 각각 삽입되어 제3 축방향으로 이동하는 햅틱 기기 설치판과 한쌍의 제3 축 가이드레일의 일측에 설치되어 제2 축 가이드 레일이 이격되어 있도록 하는 이격 제공판을 포함하는 제3 축 연동기를 포함하는 가상 현실 의료 훈련 시스템.The method according to claim 12,
The shaft linkage
A pair of first and second shaft guide rails installed in the space between the first side plate and the third side plate opposite to the first side plate and the pair of first axis guide rails, respectively, A first shaft interlock comprising a one axis movable block;
And a pair of second shaft guide rails installed between the pair of first shaft guide rails and a second shaft movable block inserted into the pair of second shaft guide rails and moving in a second axial direction. Two axis linkage; And
A haptic device mounting plate and a pair of third shaft guide rails respectively inserted into the pair of third shaft guide rails and the pair of third shaft guide rails installed in the first shaft movable block and moving in the third axis direction. Virtual reality medical training system comprising a third axis interlocker including a spacing plate installed on one side of the second axis guide rail to be spaced apart. 청구항 15항에 있어서,
상기 축 연동부는
상기 한쌍의 제1 축 가동블록의 각각은 해당하는 상기 제1 축 가이드 레일에 고정되어 있을 수 있는 제1 축 파지부재와 제1 축으로 이동할 수 있는 모터를 더 포함하는 가상 현실 의료 훈련 시스템.The method of claim 15,
The shaft linkage
Each of the pair of first axis movable blocks further comprises a first axis gripping member which may be fixed to a corresponding first axis guide rail and a motor moveable to the first axis.
KR1020180097748A 2018-08-22 2018-08-22 Virtual Real Medical Training System KR20200022078A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180097748A KR20200022078A (en) 2018-08-22 2018-08-22 Virtual Real Medical Training System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180097748A KR20200022078A (en) 2018-08-22 2018-08-22 Virtual Real Medical Training System

Publications (1)

Publication Number Publication Date
KR20200022078A true KR20200022078A (en) 2020-03-03

Family

ID=69938092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180097748A KR20200022078A (en) 2018-08-22 2018-08-22 Virtual Real Medical Training System

Country Status (1)

Country Link
KR (1) KR20200022078A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113101612A (en) * 2021-04-06 2021-07-13 合肥工业大学 Immersive upper limb rehabilitation system
KR20220060686A (en) * 2020-11-05 2022-05-12 주식회사 카비랩 3 dimensional simulation based medical educational system for providing orthopedic surgical technique

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083695A (en) 2001-01-24 2003-10-30 괴테보르크 유니버시티 서지컬 사이언스 아베 Method and system for simulation of surgical procedures
KR20090043513A (en) 2006-07-12 2009-05-06 메디컬 사이버월드스 인코퍼레이티드 Computerized medical training system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083695A (en) 2001-01-24 2003-10-30 괴테보르크 유니버시티 서지컬 사이언스 아베 Method and system for simulation of surgical procedures
KR20090043513A (en) 2006-07-12 2009-05-06 메디컬 사이버월드스 인코퍼레이티드 Computerized medical training system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220060686A (en) * 2020-11-05 2022-05-12 주식회사 카비랩 3 dimensional simulation based medical educational system for providing orthopedic surgical technique
CN113101612A (en) * 2021-04-06 2021-07-13 合肥工业大学 Immersive upper limb rehabilitation system

Similar Documents

Publication Publication Date Title
US20200402425A1 (en) Device for training users of an ultrasound imaging device
US10881353B2 (en) Machine-guided imaging techniques
EP2594197A1 (en) Tracking system and method
KR101403968B1 (en) Medical Surgery Simulation Apparatus and Method therefor
JP2014134530A (en) Force measurement device, force measurement method, force measurement program, force measurement integrated electronic circuit and master-slave device
CN111212609A (en) System and method for using augmented reality with shape alignment for placement of medical devices in bone
CN102282527A (en) Hands-free pointer system
EP3903714B1 (en) Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US20210043112A1 (en) Dynamic haptic robotic trainer
KR20200022078A (en) Virtual Real Medical Training System
JP6731704B2 (en) A system for precisely guiding a surgical procedure for a patient
JP4129527B2 (en) Virtual surgery simulation system
KR20130059307A (en) Method and apparatus for the augmentation of phsical examiantion over medical imaging data
US20230065505A1 (en) System and method for augmented reality data interaction for ultrasound imaging
KR102301863B1 (en) A method for verifying a spatial registration of a surgical target object, the apparatus therof and the system comprising the same
EP4231271A1 (en) Method and system for generating a simulated medical image
Kumar et al. Virtual instrumentation system with real-time visual feedback and needle position warning suitable for ophthalmic anesthesia training
KR102504847B1 (en) An Surgical Apparatus Having a Navigator and a Method for Displaying a Position of Surgical Procedure
KR20090060908A (en) Display system for displaying interior of the body
EP3607885A1 (en) Ultrasonic diagnostic apparatus
CN113648058B (en) Operation auxiliary positioning method and system
Boutelle et al. Cost effective laparoscopic trainer utilizing magnetic-based position tracking
EP4272679A1 (en) Technique for determining a visualization based on an estimated surgeon pose
US20230076894A1 (en) Surgical navigation system on wearable computer combining augmented reality and robotics
US20220395328A1 (en) Augmented reality-assisted method for performing surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application