WO2020138734A1 - 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법 - Google Patents

햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법 Download PDF

Info

Publication number
WO2020138734A1
WO2020138734A1 PCT/KR2019/016481 KR2019016481W WO2020138734A1 WO 2020138734 A1 WO2020138734 A1 WO 2020138734A1 KR 2019016481 W KR2019016481 W KR 2019016481W WO 2020138734 A1 WO2020138734 A1 WO 2020138734A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
unit
information
motion
haptic actuator
Prior art date
Application number
PCT/KR2019/016481
Other languages
English (en)
French (fr)
Inventor
김현문
허재일
임종화
박용택
김도현
김성원
Original Assignee
경북대학교 산학협력단
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단, 가톨릭대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2020138734A1 publication Critical patent/WO2020138734A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present invention relates to a medical practice simulator, and more specifically, the position and angle of the endoscope and surgical instruments, which are required in the process of examining the organs inside the human body by introducing the endoscope and surgical instruments into a narrow space inside the human body, Not only is he skilled in medical technology for delicately manipulating movements such as rotational direction and amount of rotation, but also provides haptic effects to the endoscope and surgical instruments according to the simulation image corresponding to the movement of the endoscope, so that realistic medical practice can be implemented. It relates to a medical practice simulator and method.
  • virtual reality is mostly visual elements that rely on 3D images.
  • the Harvard Medical School team in the United States constructs a 3D virtual model from a computer tomography (CT) search photo, and a virtual reality training simulator that allows doctors to practice in this 3D virtual model before surgery.
  • CT computer tomography
  • the Mitsubishi Electric Research Institute developed a knee surgical surgery simulator using PHANToM and a three-dimensional virtual model of the knee constructed from MRI (Magnetic Resonance Imaging) images, and the KAIST (Korea Advanced Institute of Science and Technology) Medical Imaging Research Center A simulator for simulating spinal cord biopsy using PHANToM was developed.
  • the conventional commercial haptic device developed for general use has a limitation in application to a medical training simulator that requires a specialized function according to a specific procedure object, and thus it is necessary to develop a haptic device specialized for a target medical task.
  • Such technology has been published in the Korean Patent Office No. 10-2006-0030594 published by the name of a haptic device for a fire extinguisher endoscope training simulator, which allows a haptic device for a fire extinguisher endoscope training simulator to have a support portion and a linear movement to the support portion. It is installed, and one end of the endoscope tube is fixed on one side, and provides a linear motion information of the endoscope tube according to the user's manipulation to the controller of the digestive endoscope training simulator, and delivers a sense of backlash and touch to the user through the endoscope tube.
  • a haptic device comprising a roll rotating motion part that delivers a to a user through the endoscope tube.
  • a haptic device for simulating a fire extinguisher which is a support part having a support base plate, and is capable of pivoting about the support base plate and the endoscope tube on one side.
  • a linear motion simulation unit that provides curved motion information of the endoscope tube according to the user's manipulation to the control unit of the extinguisher endoscope simulator and transmits the reaction force to the user through the endoscope tube, and rotation of the endoscope tube Rotation is fixed to the linear motion simulating unit so that movement is possible, and information on the rotational movement of the endoscope tube according to the user's manipulation is provided to the control unit and the reaction force is transmitted to the user through the endoscope tube.
  • a circular haptic device for endoscopic simulation of a fire extinguisher that includes a roll rotation motion simulator.
  • haptic devices enable medical practice by simulating the sense of reversal or tactile sensation according to the shape of the human body.
  • the endoscopic and surgical instruments are introduced into a narrow space inside the human body to delicately manipulate movements such as the position, angle, rotation direction, and rotation amount of the endoscopic and surgical instruments required during surgery while examining the organs inside the human body.
  • the development of technology is urgently required to provide haptic effects to endoscopic and surgical instruments according to a simulation image corresponding to the movement of the endoscope, as well as to be skilled in medical technology.
  • the present invention delicately moves the position, angle, rotation direction, rotation amount, etc. of the endoscope and surgical tools required in the course of surgery while examining the organs inside the human body by introducing the endoscope and surgical tools into a narrow space inside the human body.
  • the present invention has a human body model unit having an external shape to follow the human body and having an EM transmission module for transmitting an EM signal therein;
  • An endoscope having an outer shape of a long rod and a handle inserted into the human body model, and receiving the EM signal to generate and output motion information of the end of the rod;
  • the endoscope is mounted, the position and movement of the endoscope is detected and provided to the outside, the haptic actuator unit for providing tactile or motion feedback to the endoscope by receiving tactile or motion feedback information from the endoscope;
  • a display device that displays image information corresponding to the motion information and guides the trainee;
  • a memory unit for storing image information according to the motion information of the endoscope; And reading and outputting image information corresponding to the motion information of the endoscope obtained by receiving and processing an EM signal from the endoscope, through the display device, and detecting the position and motion of the endoscope from the haptic actuator unit.
  • It provides a medical practice simulator comprising; a control device for
  • the present invention described above is required in the course of surgery while examining the organs inside the human body by introducing the endoscope and surgical instruments into a narrow space inside the human body, and the movement of the endoscope and the position, angle, rotation direction, rotation amount, etc. of the surgical instrument
  • FIG. 1 is a block diagram of an otolaryngology and neurosurgery medical practice simulator according to a preferred embodiment of the present invention.
  • FIG. 2 is a configuration diagram of the EM signal processing unit of FIG. 1;
  • 3 and 4 is an external view of the otolaryngology and neurosurgery medical practice simulator according to a preferred embodiment of the present invention.
  • Figure 5 is a procedure diagram of the otolaryngology and neurosurgery medical practice simulation method according to a preferred embodiment of the present invention.
  • FIG. 6 illustrates a haptic actuator according to a preferred embodiment of the present invention.
  • FIG. 7 schematically illustrates a coordinate conversion process of a haptic actuator according to a preferred embodiment of the present invention.
  • FIG. 8 is a view schematically showing a process for expressing a hydride property according to a preferred embodiment of the present invention.
  • the present invention delicately moves the position, angle, rotation direction, rotation amount, etc. of the endoscope and surgical tools required in the course of surgery while examining the organs inside the human body by introducing the endoscope and surgical tools into a narrow space inside the human body.
  • haptic effects are provided to the endoscope and surgical instruments according to a simulation image corresponding to the movement of the endoscope, thereby enabling realistic medical practice.
  • the present invention may be applied in medical practice for a narrow space inside the human body, but in the following description, only examples applied to otolaryngology and neurosurgery surgery are described for convenience, but can be used as a simulator for various medical practices for the human body. , It is apparent to those skilled in the art by the present invention.
  • FIG. 1 is a diagram showing the configuration of an otolaryngology and neurosurgery medical practice simulator according to a preferred embodiment of the present invention
  • Figure 2 is a configuration diagram of the EM signal processing unit of Figure 1
  • Figures 3 to 4 are preferred embodiments of the present invention It shows the appearance of an otolaryngology and neurosurgery medical practice simulator according to an example.
  • the otolaryngology and neurosurgery medical practice simulator described above is based on an EM (Electro-Magnetic) sensor, the control device 100, the memory unit 102, the display device 104, and the user interface unit 106 for the main body It is composed of an endoscopic part 108, a human body model part 116, a haptic actuator part 120, and a surgical tool 122.
  • EM Electro-Magnetic
  • the control device 100, the memory unit 102, and the user interface unit 106 for the main body are accommodated in the housing 150 for the main body, and the housing 150 for the main body is in the form of a hexahedron in the operating height of the patient in the operating room. It is formed correspondingly, and on the upper surface of the housing 150 for the main body, there is a human body model part 116, an endoscope part 108, a haptic actuator part 120 and a surgical tool 122 for otolaryngology and neurosurgery practice,
  • the display device 104 is located on one side.
  • the control device 100 controls the parts of the otorhinolaryngology and neurosurgery medical practice simulator as a whole, and performs EM signal processing for otolaryngology and neurosurgery medical practice according to a preferred embodiment of the present invention.
  • the memory unit 102 stores various information including the processing program of the control device 100, in particular, image information and haptic actuator driving information for otolaryngology and neurosurgery medical practice according to a preferred embodiment of the present invention To save.
  • the image information is stored corresponding to the position and angle of the endoscope, the rotation direction, and the rotation amount.
  • the image information is configured by reflecting the physical properties of the human body that are deformed according to the position and movement of the surgical tool 122.
  • the display device 104 outputs image information under the control of the control device 100 and guides the trainee.
  • the user interface unit 106 for the main body receives various user commands such as power on/off, log-in, and selection of a practice item and provides it to the control device 100.
  • the otorhinolaryngology and neurosurgery medical practice simulator may be configured in a dual manner in which the EM transmission module 118 and the EM receiving module 110 are separated based on an EM (Electro-Magnetic) sensor.
  • the EM transmission module 118 forms a constant amount of magnetic field at a low frequency in the sensing area, and the EM reception module 110 operates by reading the formed magnetic field signal.
  • the outer shape of the endoscope 108 has the same shape as the endoscope used in the operation of the otolaryngology and neurosurgery, and has an outer shape composed of a long rod and a handle.
  • the EM receiving module 110 and the EM signal processor 112 are located, and the endoscope user interface 114 is located in the handle portion.
  • the endoscope 108 is mounted on the first haptic actuator 1201 of the haptic actuator unit 120 to provide tactile feedback and motion feedback under control of the control device 100 to the practitioner.
  • the EM receiving module 110 receives the EM signal transmitted by the EM transmitting module 118 embedded in the human body model 116 and provides it to the EM signal processing unit 112.
  • the EM signal processing unit 112 receives the EM signal, generates motion information for the position and angle of the endoscope 108, and provides it to the control device 100.
  • the endoscope user interface 114 is composed of a plurality of buttons and receives various user commands, such as on/off of the endoscope, and provides it to the control device 100.
  • the human body model 116 is a 3D printed model in the shape of a human body for otolaryngology and neurosurgery surgery of a patient, and an EM transmission module 118 is embedded therein.
  • the EM transmission module 118 transmits an EM signal.
  • the otolaryngology department deals with diseases of the ear (ear), nose (rain), larynx, pharynx, and head and neck
  • neurosurgery ( ⁇ ) is the brain, spinal cord, and brain nerve It is a field of surgical treatment for various diseases in the nervous system, such as the hypertrophic spinal nerve and peripheral nerves.
  • the human body model 116 may include both the ear, nose, larynx, pharynx and otolaryngology shapes of the head and neck, and neurosurgery models such as the brain and spinal cord for otolaryngology and neurosurgery surgery.
  • the haptic actuator unit 120 is composed of first and second haptic actuators 1201 and 1202, and the first and second haptic actuators 1201 and 1202 are configured to lie down in opposite directions or rotate 90 degrees vertically. It can be constructed by standing up. At this time, the first and second haptic actuators 1201 and 1202 are equipped with an endoscope 108 and a surgical tool 122, and the first and second haptic actuators 1201 and 1202 are endoscopes mounted to them. The movement of the unit 108 and the surgical tool 122 may be detected, and motion information corresponding thereto may be provided to the control device 100.
  • first and second haptic actuators 1201 and 1202 provide tactile feedback and motion feedback according to the control of the control device 100 to the endoscope 108 and the surgical tool 122.
  • This allows the endoscope to be placed in a narrow space inside the human body.
  • surgical tools while examining the internal organs of the human body, while practicing medical techniques for delicately manipulating movements such as position, angle, rotation direction, and rotation amount of the endoscope and surgical instruments required during surgery makes it possible.
  • the surgical tool mounted on the second haptic actuator 1202 is applied with the same 15 kinds of tools as the actual surgical tool, and is manufactured in 3D model with the same actual size as the actual surgical tool.
  • the EM signal processing unit 112 is composed of an ADC unit 200, a pre-processing unit 202, a position and angle detection unit 204, a post-processing unit 206, and a memory unit 208.
  • the ADC unit 200 receives the EM reception signal and processes the ADC to generate EM reception information and provides it to the pre-processing unit 202.
  • the pre-processing unit 202 receives the EM reception information, removes noise components, and provides the position and angle detection units 204.
  • the noise component removal process is further described, when the difference between the peak value of the current EM reception information and the peak value of the previous EM reception information is equal to or greater than a predetermined threshold, the current peak value is used as the previous peak value. Correct by to remove the influence of noise.
  • the position and angle detection unit 204 receives the EM reception information, detects motion information including the position and angle of the endoscope 108 and provides it to the post-processing unit 206.
  • the post-processing unit 206 receives motion information including the position and angle of the endoscope 108 and post-processes the output.
  • the post-processing receives motion information including the position and angle of the endoscope 108 and exceptions when the position of the endoscope 108 falls outside a predetermined area.
  • the post-processing unit 206 limits the accumulation of errors in the position and angle information of the endoscope 108.
  • the memory unit 208 information such as peak value information of the previous EM reception information and location limitation area information of the endoscope 108 is stored.
  • the housing 150 for the main body is formed in a shape of a hexahedron corresponding to the height of the patient in the operating room, and the upper surface includes a human body model 116 and an endoscope 108
  • the first and second haptic actuators 1201 and 1202 of the haptic actuator unit 120 are positioned, and the display device 104 is positioned on one side.
  • the endoscope portion 108 has a shape of a long rod and a handle, and the end portion of the rod enters the nasal cavity of the human body model portion 116 while being mounted on the first haptic actuator 1201. Perform medical practice while changing or rotating the position and angle of the endoscope's end.
  • the position, angle, rotation direction, and rotation amount of the end of the endoscope 108 are detected from the EM reception signal received by the EM receiving module 110 installed at the end of the endoscope 108, and the detected endoscope By displaying a simulation image corresponding to the position, angle, rotational direction, and rotation amount of the end of (108), it is possible for the practitioner to practice precisely manipulating the endoscope 108 in a narrow space inside the human body.
  • the first haptic actuator 1201 provides tactile feedback or exercise feedback to the endoscope 108 in response to the simulation image information to provide a sense of realism to the practitioner's medical practice.
  • a surgical tool is mounted on the second haptic actuator 1202, and the second haptic actuator 1202 provides tactile feedback or motion feedback to the surgical tool to correspond to the simulation image information.
  • the practitioner can implement a realistic simulation through the tactile feedback or movement feedback.
  • the haptic actuator unit 120 according to the preferred embodiment of the present invention described above will be further described.
  • Figure 6 (a) shows a basic form of any one of the haptic actuator 120 of the haptic actuator unit 120 according to the preferred embodiment of the present invention.
  • the haptic actuator unit 120 may be composed of a plurality of joints, and may include a rotating shaft connecting the plurality of joints and a motor driving the rotating shaft. Accordingly, the haptic actuator 120 may be made of a 3D printing material made of carbon fiber-reinforced plastic, and is capable of 6 degrees of freedom position recognition, 3 degrees of freedom force feedback, and automatic work space correction.
  • FIG. 6(b) shows an example in which the endoscope 108 is mounted on the first haptic actuator 1201 according to a preferred embodiment of the present invention
  • FIG. 6(c) is a preferred embodiment of the present invention
  • a surgical tool 122 is mounted on the second haptic actuator 1202.
  • the positional information of the endoscope 108 and the surgical tool 122 detected by the first and second haptic actuators 1201 and 1202 is obtained by a transformation matrix, and is illustrated conceptually. . That is, in the present invention, the haptic coordinate system of the haptic actuator is transformed into original coordinates in the real world through a transformation matrix.
  • the haptic actuator haptic coordinate system (x', y', z') is a coordinate transformation matrix for correcting a difference from a real world original coordinate system (x, y, z) as shown in Equation 1.
  • the present invention enables a more realistic simulation by implementing a hybrid haptic feedback that combines the throat model part 116 made of silicon properties and haptic feedback for a 3D modeling object as shown in FIG. 8. .
  • control device 100 When power on or restart is requested through the user interface 106 for the main body, the control device 100 reads the title and intro image information previously stored in the memory unit 102 and outputs it through the display device 104 By entering the standby mode to implement the guidance for the otolaryngology and neurosurgery medical practice simulator (step 300).
  • the control device 100 performs a practitioner login through pre-registered practitioner authentication information when the practitioner requests a practitioner login through the user interface 106 for the main body (step 302). .
  • the control device 100 reads out the training item guide information from the memory unit 102 and outputs it through the display device 104 to guide the practitioner (step 304).
  • the control device 100 loads and outputs the image information corresponding to the training item from the memory unit 102 (308). Step), receiving motion information including the position and angle of the endoscope 108 from the endoscope 108, and further detecting the rotation direction and amount of rotation of the endoscope 108 based on the motion information and previous motion information When the motion information, the rotation direction and the rotation amount of the endoscope 108 are obtained, the pre-stored image information corresponding to the position, angular rotation direction and rotation of the endoscope 108 is output.
  • the control device 100 is a 3D model in the image information corresponding to the position and movement information. In addition to modifying the tactile feedback or exercise feedback to the endoscopic part 108 and the surgical tool 122 to correspond to the position and motion information (steps 310 and 312).
  • the present invention accurately detects the position and angle, rotation direction, and rotation amount of the endoscope for otorhinolaryngology and neurosurgery surgery, and displays a practice image linked to the detection information to effectively implement medical practice. .
  • the present invention detects the position and movement of the endoscope and surgical instruments for otorhinolaryngology and neurosurgery surgery, transforms the 3D model in the image information according to the position and movement, and provides tactile and motion feedback to the endoscope and By providing it as a surgical tool, realistic medical practice is possible.
  • the present invention detects the position and movement of the endoscope and surgical tools, transforms the 3D model in the image information according to the position and movement, and provides tactile and motion feedback to the endoscope and surgical tools to realize realistic medical practice. Makes it possible. In particular, it is applicable to the otorhinolaryngology and neurosurgery medical practice simulators, and can be extended to expand the simulator for various medical practices for the human body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Instructional Devices (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은, 인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부; 상기 인체 모형부에 인입되는 길이가 긴 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 상기 막대의 종단의 움직임 정보를 생성하여 출력하는 내시경부; 상기 내시경부가 장착되며, 상기 내시경부의 위치 및 움직임을 검출하여 외부로 제공하며, 외부로부터 상기 내시경부의 촉감 또는 운동 피드백정보를 제공받아상기 내시경부에 촉감 또는 운동 피드백을 부여하는 햅틱 엑츄에이터부; 상기 움직임 정보에 대응되는 영상정보를 표시하여 실습자에게 안내하는 디스플레이 장치; 상기 내시경부의 움직임 정보에 따르는 영상정보를 저장하는 메모리부; 및 상기 내시경부로부터 EM 신호를 수신하여 처리하여 획득된 내시경의 움직임 정보에 대응되는 영상정보를 상기 메모리부에서 독출하여 상기 디스플레이 장치를 통해 출력하며, 상기 햅틱 엑츄에이터부로부터 상기 내시경부의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 내시경부의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 제어장치;를 포함하는 의학실습 시뮬레이터 및 방법을 제공할 수 있다.

Description

햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
본 발명은 의학실습 시뮬레이터에 관한 것으로, 더 상세하게는 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련함은 물론이며 내시경의 움직임에 대응되는 시뮬레이션 영상에 따라 내시경 및 수술도구에 햅틱 효과를 제공하여 실감 있는 의학실습을 이행할 수 있게 하는 의학실습용 시뮬레이터 및 방법에 관한 것이다.
현재 내과 분야에서 내시경을 이용한 검사 및 시술의 보급이 확대되고 있으며, 이는 무침투성의 장점을 갖는 내시경 검사 및 시술이 무엇보다도 환자의 위험부담을 줄이고 시간과 비용을 절감하기 때문이다. 그러나 내시경의 좁은 시각과 제약된 움직임 때문에 시술은 높은 기술 숙련도를 요구한다.
현재 내과 수련의들은 먼저 내시경 조작방법을 학습한 후, 기술을 완벽히 습득한 전문의의 감독하에 직접 환자를 대상으로 조작연습을 하면서 내시경의 전문기술을 익히게 된다. 그러나 수련의들이 직접 환자를 대상으로 연습을 하는 경우에는 환자에게 끼치는 위험부담이 크고, 숙련 정도에 따라 시술시간에 많은 차이가 나며 미숙한 경우에는 환자의 장기를 손상시킬 수 있기 때문에, 보다 안전하고 효과적으로 소화기 내시경 시술을 습득할 수 있는 소화기 내시경 수련 시뮬레이터의 개발이 필요하다.
종래에 의료분야에서 가상현실을 응용한 사례는 대부분 3차원 이미지에 의존하는 시각적인 요소가 대부분이었다. 그 한 예로서, 미국의 하버드 의대팀은 CT (Computer Tomography) 검색사진으로부터 3차원 가상모델을 구성하고, 의사들이 직접 수술하기 전에 이런 3차원 가상모델 속에서 미리 연습해 볼 수 있는 가상현실 수련 시뮬레이터를 만들었으며, 미국 미네소타의 메이요 병원의 연구팀은 환자의 대장을 단층 촬영한 후 컴퓨터에서 재구성한 3차원 대장모델을 이용하여 대장암을 진단하고, 실제 수술에 앞서 가상 실습이 가능하도록 하였다.
그러나, 의료분야에서는 손의 미세한 감각을 이용하여 시술하는 작업이 많기 때문에 가상현실에서 이러한 작업을 구현하기 위해서는 시각적인 요소뿐만 아니라 역감 및 촉감까지도 재현되어야만 했다.
최근에는 햅틱장치 및 인터페이스 기술이 발달하면서 1993년에 MIT (Massachusetts Institute of Technology)에서 개발한 PHANToM이나 Immersion사의 Impulse Engine 등 상용 햅틱장치를 이용하여 의료용 수련 시뮬레이터를 구성하는 실례가 늘어나고 있다.
미쯔비시 전기 연구소에서는 MRI(Magnetic Resonance Imaging) 이미지로부터 구성된 무릎의 3차원 가상 모델과 PHANToM을 이용하여 무릎 외과수술 수련 시뮬레이터를 개발하였으며, KAIST(Korea Advanced Institute of Science and Technology)의 의료영상공학 연구센터에서는 PHANToM을 이용한 척수 침생검 모의 실험기를 개발하였다.
그러나, 일반적인 사용을 목적으로 개발된 종래의 상용 햅틱장치는 특정 시술대상에 따라 특화된 기능을 필요로 하는 의료용 수련 시뮬레이터에 적용하는 데 한계가 있어, 대상 의료 작업에 특화된 햅틱 장치의 개발이 필요하였다.
이러한 기술로는 대한민국 특허청에 소화기 내시경 수련 시뮬레이터용 햅틱장치를 명칭으로 하여 특허공개된 제10-2006-0030594호가 있으며, 이는 소화기 내시경 수련 시뮬레이터용 햅틱장치는 지지부와, 상기 지지부에 직선운동이 가능하게 설치되고 일측에 내시경 튜브의 일단이 고정되며 사용자의 조작에 따른 상기 내시경 튜브의 직선운동 정보를 소화기 내시경 수련 시뮬레이터의 제어기에 제공하고 그에 따른 역감 및 촉감을 상기 내시경 튜브를 통해 사용자에게 전달하는 직선 운동부, 및 상기 내시경 튜브의 회전운동이 가능하도록 상기 직선 운동부에 회전 가능하게 고정되며, 사용자의 조작에 따른 상기 내시경 튜브의 롤방향 회전운동 정보를 소화기 내시경 수련 시뮬레이터의 제어기에 제공하고 그에 따른 역감 및 촉감을 상기 내시경 튜브를 통해 사용자에게 전달하는 롤 회전 운동부를 포함하는 햅틱장치를 개시하고 있다.
그리고, 대한민국 특허청에 소화기 내시경 시뮬레이션용 햅틱장치를 명칭으로 하여 특허공개된 제10-2009-0066453호가 있으며, 이는 지지 밑판을 구비한 지지부와, 상기 지지 밑판에 대하여 선회가 가능하고 일측에 내시경 튜브의 일단이 고정되며, 사용자의 조작에 따른 상기 내시경 튜브의 곡선운동 정보를 소화기 내시경 시뮬레이터의 제어부에 제공하고 그에 따른 반력을 상기 내시경 튜브를 통해 사용자에게 전달하는 직선운동 모사부, 및 상기 내시경 튜브의 회전운동이 가능하도록 상기 직선운동 모사부에 회전이 가능하게 고정되며, 사용자의 조작에 따른 상기 내시경 튜브의 롤 방향 회전운동 정보를 상기 제어부에 제공하고 그에 따른 반력을 상기 내시경 튜브를 통해 사용자에게 전달하는 롤 회전운동 모사부를 포함하는 소화기 내시경 시뮬레이션용 원형 햅틱장치를 개시하고 있다.
상기한 바와 같이 종래에는 햅틱장치가 인체의 장기의 형상에 따른 역감이나 촉감을 모사하여 의학실습을 가능하게 하는 다양한 기술이 제안되고 있었다.
그러나, 종래에는 소화기 등과 같이 선형으로 길게 형성된 장기에 대해 내시경 튜브를 인입하기 위한 과정을 시뮬레이션하는 데에 그칠 뿐이므로, 인체 내부의 협속한 공간, 예를들어 비강 내부로 내시경으로 인입시켜 비강 내부를 보면서 수술해야 하는 이비인후과 및 뇌, 척 수 등 내부로 내시경을 인입시켜 수술하는 신경외과 수술을 위한 의학실습에는 그대로 적용하기가 어려운 문제가 있었다.
이에 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련함은 물론이며 내시경의 움직임에 대응되는 시뮬레이션 영상에 따라 내시경 및 수술도구에 햅틱 효과를 제공하여 실감있는 의학실습을 이행할 수 있게 기술의 개발이 절실하게 요망되었다.
본 발명은 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련함은 물론이며 내시경의 움직임에 대응되는 시뮬레이션 영상에 따라 내시경 및 수술도구에 햅틱 효과를 제공하여 실감있는 의학실습을 이행할 수 있게 하는 의학실습용 시뮬레이터 및 방법을 제공하는 것을 그 목적으로 한다.
이를 위해 본 발명은, 인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부; 상기 인체 모형부에 인입되는 길이가 긴 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 상기 막대의 종단의 움직임 정보를 생성하여 출력하는 내시경부; 상기 내시경부가 장착되며, 상기 내시경부의 위치 및 움직임을 검출하여 외부로 제공하며, 외부로부터 상기 내시경부의 촉감 또는 운동 피드백정보를 제공받아상기 내시경부에 촉감 또는 운동 피드백을 부여하는 햅틱 엑츄에이터부; 상기 움직임 정보에 대응되는 영상정보를 표시하여 실습자에게 안내하는 디스플레이 장치; 상기 내시경부의 움직임 정보에 따르는 영상정보를 저장하는 메모리부; 및 상기 내시경부로부터 EM 신호를 수신하여 처리하여 획득된 내시경의 움직임 정보에 대응되는 영상정보를 상기 메모리부에서 독출하여 상기 디스플레이 장치를 통해 출력하며, 상기 햅틱 엑츄에이터부로부터 상기 내시경부의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 내시경부의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 제어장치;를 포함하는 의학실습 시뮬레이터를 제공한다.
상기한 본 발명은 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련함은 물론이며 내시경의 움직임에 대응되는 시뮬레이션 영상에 따라 내시경 및 수술도구에 햅틱 효과를 제공하여 실감있는 의학실습을 이행할 수 있게 하는 장점이 있다.
도 1은 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 구성도.
도 2는 도 1의 EM 신호처리부의 구성도.
도 3 및 도 4는 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 외관도.
도 5는 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이팅 방법의 절차도.
도 6은 본 발명의 바람직한 실시예에 따르는 햅틱 엑츄에이터를 예시한 도면.
도 7은 본 발명의 바람직한 실시예에 따르는 햅틱 엑츄에이터의 좌표변환과정을 개략적으로 도시한 도면.
도 8은 본 발명의 바람직한 실시예에 따르는 하이드리드 물성 표현과정을 개략적으로 도시한 도면.
본 발명은 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련함은 물론이며 내시경의 움직임에 대응되는 시뮬레이션 영상에 따라 내시경 및 수술도구에 햅틱 효과를 제공하여 실감있는 의학실습을 이행할 수 있게 한다.
상기의 본 발명은 인체 내부의 협소한 공간에 대한 의학실습시에 적용될 수 있으나, 이하 설명에서는 편의상 이비인후과 및 신경외과 수술에 적용한 예만을 들었으나, 인체에 대한 다양한 의학실습을 위한 시뮬레이터로 사용될 수 있으며, 이는 본 발명에 의해 당업자에게 자명하다.
이하에서, 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 구성 및 동작을 도면을 참조하여 상세하게 설명한다.
<이비인후과 및 신경외과 의학실습 시뮬레이터의 구성>
도 1은 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 구성을 도시한 것이고, 도 2는 도 1의 EM 신호처리부의 구성도이며, 도 3 내지 도 4는 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 외관을 도시한 것이다.
상기한 이비인후과 및 신경외과 의학실습 시뮬레이터는, EM(Electro-Magnetic) 센서 기반으로, 제어장치(100)와, 메모리부(102)와, 디스플레이장치(104)와, 본체용 사용자 인터페이스부(106)와, 내시경부(108)와, 인체 모형부(116)와, 햅틱 엑츄에이터부(120)와 수술도구(122)로 구성된다.
상기 제어장치(100)와 메모리부(102)와 본체용 사용자 인터페이스부(106)는 본체용 하우징(150)내에 수용되며, 상기 본체용 하우징(150)은 육면체 형태로서 수술실에서 환자의 거치높이에 대응되게 형성되며, 본체용 하우징(150)의 상면에는 이비인후과 및 신경외과 실습을 위한 인체 모형부(116)와 내시경부(108)와 햅틱 엑츄에이터부(120)와 수술도구(122)가 위치하며, 일측에는 디스플레이장치(104)가 위치한다.
상기 제어장치(100)는 상기 이비인후과 및 신경외과 의학실습 시뮬레이터의 각부를 전반적으로 제어하여, 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습을 위한 EM 신호처리를 이행한다.
상기 메모리부(102)는 상기 제어장치(100)의 처리 프로그램을 포함하는 다양한 정보를 저장하며, 특히 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습을 위한 영상정보 및 햅틱 엑츄에이터 구동정보를 저장한다. 특히 상기 영상정보는 내시경부의 위치 및 각도, 회전방향, 회전량에 대응되게 저장된다. 또한 상기 영상정보는 수술도구(122)의 위치 및 움직임에 따라 변형되는 인체 물성이 반영되어 구성된다.
상기 디스플레이 장치(104)는 상기 제어장치(100)의 제어에 따른 영상정보를 출력하여 실습자에게 안내한다.
상기 본체용 사용자 인터페이스부(106)는 상기 전원 온오프나 로그인, 실습항목선택 등과 같은 다양한 사용자 명령을 입력받아 상기 제어장치(100)에 제공한다.
이때, 본 발명에 따른 이비인후과 및 신경외과 의학실습 시뮬레이터는, EM(Electro-Magnetic) 센서 기반으로, EM 송신 모듈(118)과 EM 수신 모듈(110)이 분리된 Dual 방식으로 구성될 수 있다. 또한, EM 송신 모듈(118)은 감지영역 내에 낮은 주파수의 일정한 양의 자장을 형성시키고, EM 수신 모듈(110)은 형성된 자장 신호를 판독하여 동작하게 된다.
도 3 및 도 4에 도시한 바와 같이, 상기 내시경부(108)의 외형은 이비인후과 및 신경외과의 수술시에 사용하는 내시경과 동일한 형태로 길이가 긴 막대와 손잡이로 구성된 외형을 가지며, 상기 내부에는 EM 수신모듈(110)과 EM 신호처리부(112)가 위치하며, 손잡이 부분에는 내시경용 사용자 인터페이스부(114)가 위치한다. 상기한 내시경부(108)는 햅틱 엑츄에이터부(120)의 제1햅틱 엑츄에이터(1201)에 장착되어 제어장치(100)의 제어에 따른 촉감 피드백 및 운동 피드백을 실습자에게 제공한다.
상기 EM 수신모듈(110)은 상기 인체모형부(116)에 내장된 EM 송신모듈(118)이 송신하는 EM 신호를 수신하여 EM 신호 처리부(112)로 제공한다.
상기 EM 신호 처리부(112)는 상기 EM 신호를 제공받아 상기 내시경부(108)의 위치 및 각도에 대한 움직임 정보를 생성하여 상기 제어장치(100)로 제공한다.
상기 내시경용 사용자 인터페이스부(114)는 다수의 버튼으로 구성되어 내시경의 온/오프 등과 같은 다양한 사용자 명령을 입력받아 상기 제어장치(100)에 제공한다.
상기 인체모형부(116)는 환자의 이비인후과와 신경외과 수술을 위한 인체 형상으로 3D 프린팅된 모형으로, 내부에는 EM 송신모듈(118)이 내장된다. 상기 EM 송신모듈(118)은 EM 신호를 송출한다. 이때, 의학의 한 분과로서 이비인후(耳鼻咽喉)과는 귀(이), 코(비), 후두, 인두 그리고 두경부의 질병을 다루는 분야이고, 신경외과(神經外科)는 뇌, 척수, 뇌신경과 척수신경, 말초신경 등 신경계에 생기는 다양한 질환들에 대하여 수술적 치료를 하는 분야이다. 이에, 상기 인체모형부(116)는 이비인후과와 신경외과 수술을 위한 환자의 귀, 코, 후두, 인두 그리고 두경부의 이비인후 형상과 뇌, 척수 등 신경외과 수술용 모델이 모두 포함될 수 있다.
상기 햅틱 엑츄에이터부(120)는 제1 및 제2햅틱 엑츄에이터(1201,1202)로 구성되며, 제1 및 제2 햅틱 엑츄에이터(1201, 1202)는 상호 어긋나게 반대방향으로 눕혀서 구성하거나 90도 회전하여 수직으로 세워서 구성할 수 있다. 이때, 상기 제1 및 제2햅틱 엑츄에이터(1201,1202)에는 내시경부(108)와 수술도구(122)가 장착되며, 상기 제1 및 제2햅틱 엑츄에이터(1201,1202)는 자신에게 장착된 내시경부(108)와 상기 수술도구(122)의 움직임을 검출하고 그에 따른 움직임정보를 상기 제어장치(100)에 제공할 수 있다. 이와 아울러, 상기 제1 및 제2 햅틱 엑츄에이터(1201, 1202)는 상기 제어장치(100)의 제어에 따른 촉감 피드백 및 운동 피드백을 상기 내시경부(108)와 상기 수술도구(122)에 부여한다. 이로서 인체 내부의 협소한 공간에 내시경 및 수술도구를 인입시켜 인체 내부의 장기를 살펴보면서 수술하는 과정에서 요구되는, 내시경 및 수술도구의 위치 및 각도, 회전방향, 회전량 등의 움직임을 섬세하게 조작하는 의학기술을 숙련할 때에 실감있는 실습을 가능하게 한다.
상기 제2햅틱 엑츄에이터(1202)에 장착되는 수술도구는 실제 수술도구와 동일한 15종의 도구가 적용되며, 실제 수술도구와 동일한 실측 사이즈로 3D 모델링 제작된다.
<EM 신호 처리부의 구성>
상기한 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 EM 신호 처리부(112)의 구성을 도 2를 참조하여 좀더 상세하게 설명한다.
상기 EM 신호 처리부(112)는 ADC부(200)와, 전처리부(202)와, 위치 및 각도 검출부(204)와, 후처리부(206)와, 메모리부(208)로 구성된다.
상기 ADC부(200)는 상기 EM 수신신호를 입력받아 ADC 처리하여 EM 수신정보를 생성하여 상기 전처리부(202)로 제공한다.
상기 전처리부(202)는 상기 EM 수신정보를 제공받아 잡음성분을 제거하여 위치 및 각도 검출부(204)로 제공한다. 상기의 잡음성분 제거과정을 좀 더 설명하면, 현재의 EM 수신정보의 피크값과 이전의 EM 수신정보의 피크값의 차이가 미리 정해둔 임계치 이상인 경우에는 현재의 피크값을 이전의 피크값으로 기준으로 보정하여 잡음에 의한 영향을 제거한다.
상기 위치 및 각도 검출부(204)는 상기 EM 수신정보를 제공받아 내시경부(108)의 위치 및 각도를 포함하는 움직임 정보를 검출하여 후처리부(206)에 제공한다.
상기 후처리부(206)는 상기 내시경부(108)의 위치 및 각도를 포함하는 움직임 정보를 제공받아 후처리하여 출력한다. 상기 후처리는 상기 내시경부(108)의 위치 및 각도를 포함하는 움직임 정보를 입력받아 상기 내시경부(108)의 위치가 미리 정해둔 영역을 벗어나는 경우에는 예외처리한다. 또한, 후처리부(206)는 상기 내시경부(108)의 위치 및 각도정보에 오차가 누적되는 것을 제한한다.
상기 메모리부(208)는 이전 EM 수신정보의 피크값 정보, 내시경부(108)의 위치 제한영역정보 등의 정보가 저장된다.
<이비인후과 및 신경외과 의학실습 시뮬레이터의 외관>
이제 본 발명의 바람직한 실시예에 따르는 이비인후과 및 신경외과 의학실습 시뮬레이터의 외관을 도 3 및 도 4를 참조하여 설명한다.
상기 이비인후과 및 신경외과 의학실습 시뮬레이터는 본체용 하우징(150)은 육면체의 입형상으로 수술실에서 환자의 거치높이에 대응되게 형성되며, 상면에는 인체의 인체모형부(116)와 내시경부(108)와 햅틱 엑츄에이터부(120)의 제1 및 제2햅틱 엑츄에이터(1201,1202)가 위치하며, 일측면에는 디스플레이장치(104)가 위치한다.
상기의 내시경부(108)는 길이가 긴 막대와 손잡이의 형태를 가지며 상기 제1햅틱 엑츄에이터(1201)에 장착된 상태에서 상기 막대의 종단부분을 인체의 인체모형부(116)의 비강으로 진입시켜 내시경의 종단의 위치 및 각도를 변경하거나 회전하면서 의학실습을 이행한다.
이러한 내시경부(108)의 종단에 설치된 EM 수신모듈(110)이 수신한 EM 수신신호로부터 상기 내시경부(108)의 종단의 위치 및 각도, 회전방향, 회전량을 검출하고, 그 검출된 내시경부(108)의 종단의 위치 및 각도, 회전방향, 회전량에 대응되는 시뮬레이션 영상을 표시하여, 실습자가 인체 내부의 협소한 공간에서 내시경부(108)를 정밀하게 조작하는 것을 연습할 수 있게 한다.
또한, 상기 제1햅틱 엑츄에이터(1201)는 상기 시뮬레이션 영상정보에 대응되게 상기 내시경부(108)에 촉감 피드백이나 운동 피드백을 제공하여 실습자의 의학실습에 현장감을 부여한다.
그리고, 상기 제2햅틱 엑츄에이터(1202)에는 수술도구가 장착되며, 상기 제2햅틱 엑츄에이터(1202)는 상기 시뮬레이션 영상정보에 대응되게 상기 수술도구에 촉감 피드백이나 운동 피드백을 제공한다. 이로서 실습자는 상기 촉감 피드백이나 운동 피드백을 통해 실감있는 시뮬레이션을 이행할 수 있게 된다.
<햅틱 엑츄에이터부(120)의 외관>
상기한 본 발명의 바람직한 실시예에 따르는 햅틱 엑츄에이터부(120)에 대해 좀더 설명한다.
도 6의 (a)는 본 발명의 바람직한 실시예에 따르는 햅틱 엑츄에이터부(120)의 어느 한 햅틱 엑츄에이터의 기본 형태를 도시한 것이다.
상기 햅틱 엑츄에이터부(120)는 다수의 관절로 구성되고 상기 다수의 관절을 연결하는 회전축과, 상기 회전축을 구동시키는 모터로 구성될 수 있다. 이에, 상기 햅틱 엑츄에이터(120)는 재질은 탄소 섬유 강화 플라스틱으로 3D 프린팅 소재로 제작될 수 있으며, 6도 자유도 위치 인식, 3도 자유도 힘 피드백, 자동 워크 스페이스 보정이 가능하다.
도 6의 (b)는 본 발명의 바람직한 실시예에 따라 제1햅틱 엑츄에이터(1201)에 내시경부(108)를 장착한 예를 도시한 것이고, 도 6의 (c)는 본 발명의 바람직한 실시예에 따라 제2햅틱 엑츄에이터(1202)에 수술도구(122)를 장착한 예를 도시한 것이다.
상기한 제1 및 제2햅틱 엑츄에이터(1201,1202)에 의해 검출되는 내시경부(108)와 수술도구(122)에 대한 위치정보는 변환 매트릭스에 의해 획득되며, 이를 개념적으로 도시한 것이 도 7이다. 즉, 본 발명은 햅틱 엑츄에이터의 햅틱 좌표계는 변환 매트릭스를 통해 실제 세계에서의 원(origin) 좌표로 변환된다.
이러한 햅틱 엑츄에이터 햅틱 좌표계(x', y', z')는 실제 세계의 원 좌표계(x, y, z)와의 차이 보정을 위한 좌표변환 매트릭스는 수학식 1과 같다.
Figure PCTKR2019016481-appb-M000001
또한, 본 발명은 도 8에 도시한 바와 같이 실리콘 물성으로 제작한 이비인후 모델부(116)와 3D 모델링 객체에 대한 햅틱 피드백을 결합한 하이브리드 햅틱 피드백을 구현하여 좀 더 실감나는 시뮬레이션을 가능하게 한다.
<이비인후과 및 신경외과 의학실습 시뮬레이팅 방법의 절차>
이제 상기한 이비인후과 및 신경외과 의학실습 시뮬레이터에 적용가능한 이비인후과 및 신경외과 의학실습 시뮬레이팅 방법을 도 5를 참조하여 상세히 설명한다.
상기 제어장치(100)는 본체용 사용자 인터페이스부(106)를 통한 전원 온 또는 재시동 등이 요청되면, 메모리부(102)에 미리 저장된 타이틀 및 인트로 영상정보를 독출하여 디스플레이 장치(104)를 통해 출력하여 이비인후과 및 신경외과 의학실습 시뮬레이터에 대한 안내를 이행하는 대기모드로 진입한다(300단계).
상기의 대기모드에서 상기 제어장치(100)는 실습자가 본체용 사용자 인터페이스부(106)를 통해 실습자 로그인을 요청하면(302단계), 미리 등록해둔 실습자 인증정보를 통해 실습자 로그인을 이행한다. 상기 실습자 로그인이 이행되면, 상기 제어장치(100)는 실습항목 안내정보를 메모리부(102)에서 독출하고 이를 디스플레이 장치(104)를 통해 출력하여 실습자에게 안내한다(304단계).
상기의 실습자가 상기 실습항목 안내정보를 토대로 어느 한 실습항목을 선택하면(306단계), 상기 제어장치(100)는 실습항목에 대응되는 영상정보를 메모리부(102)에서 로딩하여 출력하면서(308단계), 내시경부(108)로부터 내시경부(108)의 위치 및 각도를 포함하는 움직임 정보를 제공받고, 상기 움직임 정보와 이전 움직임 정보를 토대로 내시경부(108)의 회전방향 및 회전량을 더 검출하며, 상기 내시경부(108)의 움직임 정보와 회전방향 및 회전량이 획득되면, 상기 내시경부(108)의 위치, 각도 회전방향 및 회전량에 대응되게 미리 저장된 영상정보를 출력한다.
또한 상기 제어장치(100)는 상기 햅틱 엑츄에이터부(120)를 통해 내시경부(108)와 수술도구(122)의 위치 및 움직임 정보가 제공되면, 그 위치 및 움직임 정보에 대응되게 영상정보내의 3D 모델을 변형함과 아울러, 상기 위치 및 움직임 정보에 대응되게 내시경부(108)와 수술도구(122)에 촉감 피드백이나 운동 피드백을 제공한다(310,312단계).
상기한 바와 같이 본 발명은 이비인후과 및 신경외과 수술을 위한 내시경부의 위치 및 각도, 회전방향, 회전량을 정확하게 검출하고, 그 검출정보에 연동되는 실습영상을 표시하여 효과적으로 의학실습을 이행할 수 있게 한다.
또한, 본 발명은 이비인후과 및 신경외과 수술을 위한 내시경부 및 수술도구의 위치 및 움직임을 검출하고, 그 위치 및 움직임에 따라 영상정보내의 3D 모델을 변형함과 아울러 촉감 및 운동 피드백을 상기 내시경부 및 수술도구로 제공함으로써 실감나는 의학실습을 가능하게 한다.
상기한 바와 같은, 본 발명의 실시예들에서 설명한 기술적 사상들은 각각 독립적으로 실시될 수 있으며, 서로 조합되어 실시될 수 있다. 또한, 본 발명은 도면 및 발명의 상세한 설명에 기재된 실시예를 통하여 설명되었으나 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
<도면의 부호에 대한 설명>
100 : 제어장치
102 : 메모리부
104 : 디스플레이 장치
106 : 본체용 사용자 인터페이스부
108 : 내시경부
110 : EM 수신모듈
112 : EM 신호처리부
114 : 내시경용 사용자 인터페이스부
116 : 인체모형부
118 : EM 송신모듈
본 발명은 내시경부 및 수술도구의 위치 및 움직임을 검출하고, 그 위치 및 움직임에 따라 영상정보 내의 3D 모델을 변형함과 아울러 촉감 및 운동 피드백을 상기 내시경부 및 수술도구로 제공함으로써 실감나는 의학실습을 가능하게 한다. 특히, 이비인후과 및 신경외과 의학실습 시뮬레이터에 적용가능하고 확장하여 인체에 대한 다양한 의학실습을 위한 시뮬레이터에도 확장 가능하다.

Claims (12)

  1. 의학실습 시뮬레이터에 있어서,
    인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부;
    상기 인체 모형부에 인입되는 길이가 긴 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 상기 막대의 종단의 움직임 정보를 생성하여 출력하는 내시경부;
    상기 내시경부가 장착되며, 상기 내시경부의 위치 및 움직임을 검출하여 외부로 제공하며, 외부로부터 상기 내시경부의 촉감 또는 운동 피드백정보를 제공받아상기 내시경부에 촉감 또는 운동 피드백을 부여하는 햅틱 엑츄에이터부;
    상기 움직임 정보에 대응되는 영상정보를 표시하여 실습자에게 안내하는 디스플레이 장치;
    상기 내시경부의 움직임 정보에 따르는 영상정보를 저장하는 메모리부;
    상기 내시경부로부터 EM 신호를 수신하여 처리하여 획득된 내시경의 움직임 정보에 대응되는 영상정보를 상기 메모리부에서 독출하여 상기 디스플레이 장치를 통해 출력하며,
    상기 햅틱 엑츄에이터부로부터 상기 내시경부의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 내시경부의 촉감 및 운동 피드백정보를상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 제어장치;를 포함하는 것을 특징으로 하는 의학실습 시뮬레이터.
  2. 의학실습 시뮬레이터에 있어서,
    인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부;
    상기 인체 모형부에 인입되는 길이가 긴 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 상기 막대의 종단의 움직임 정보를 생성하여 출력하는 내시경부;
    상기 내시경부가 장착되며, 상기 내시경부의 위치 및 움직임을 검출하여 외부로 제공하며, 외부로부터 상기 내시경부의 촉감 또는 운동 피드백정보를 제공받아상기 내시경부에 촉감 또는 운동 피드백을 부여하는 햅틱 엑츄에이터부;
    상기 움직임 정보 및 회전방향, 회전량에 대응되는 영상정보를 표시하여 실습자에게 안내하는 디스플레이 장치;
    상기 내시경부의 움직임 정보에 따르는 영상정보를 저장하는 메모리부;
    상기 내시경부로부터 움직임 정보를 제공받으면 이전 움직임 정보와 비교하여 회전방향 및 회전량을 검출하고, 상기 움직임 정보와 회전방향, 회전량에 대응되게 저장된 영상정보를 상기 메모리부에서 독출하여 상기 디스플레이 장치를 통해 출력하며,
    상기 햅틱 엑츄에이터부로부터 상기 내시경부의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 내시경부의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 제어장치;를 포함하는 것을 특징으로 하는 의학실습 시뮬레이터.
  3. 제1항 또는 제2항에 있어서,
    상기 햅틱 엑츄에이터부에 장착되는 수술도구가 더 구비되며,
    상기 햅틱 엑츄에이터부는, 상기 수술도구의 위치 및 움직임을 검출하여 상기 제어장치로 제공하고, 상기 제어장치로부터 상기 수술도구의 촉감 및 운동 피드백 정보를 제공받아 상기 내시경부에 촉감 또는 운동 피드백을 부여하며,
    상기 제어장치는, 상기 햅틱 엑츄에이터부로부터 상기 수술도구의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 수술도구의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 제어장치;를 포함하는 것을 특징으로 하는 의학실습 시뮬레이터.
  4. 제3항에 있어서,
    상기 내시경부는,
    상기 EM 신호를 수신하는 EM 수신모듈;
    상기 EM 수신모듈로부터 제공되는 EM 신호를 처리하여 상기 내시경부의 움직임을 지시하는 위치 및 각도를 포함하는 움직임 정보를 생성하여 출력하는 EM 신호처리부;를 내부에 포함하는 것을 특징으로 하는 의학실습 시뮬레이터.
  5. 제4항에 있어서,
    상기 EM 신호 처리부는,
    상기 EM 신호의 잡음 성분을 제거하는 전처리부를 더 포함하는 것을 특징으로 하는 의학실습 시뮬레이터.
  6. 제4항에 있어서,
    상기 EM 신호 처리부는,
    상기 내시경부의 위치가 미리 정해둔 영역을 벗어나는 경우에는 예외처리함을 특징으로 하는 의학실습 시뮬레이터.
  7. 제3항에 있어서,
    상기 인체 모형부는 환자의 이비인후과 및 신경외과 수술을 위한 인체 형상으로 3D 프린팅된 모형인 것을 특징으로 하는 의학실습 시뮬레이터.
  8. 의학실습 시뮬레이팅 방법에 있어서,
    인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부에, 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 내시경부의 움직임 정보를 생성하여 출력하는 내시경부로부터 내시경부의 움직임에 따르는 움직임 정보를 제공받는 단계; 및
    상기 내시경부의 움직임 정보에 대응되는 영상정보를 메모리로부터에서 독출하여 표시하여 실습자에게 안내하고, 상기 내시경부에 촉감 및 운동 피드백을 제공하는 단계;를 포함하고,
    상기 촉감 및 운동 피드백을 제공하는 단계는,
    수술도구가 장착된 햅틱 엑츄에이터부가 상기 수술도구의 위치 및 움직임을 검출하여 상기 제어장치로 제공하고, 상기 제어장치로부터 상기 수술도구의 촉감 및 운동 피드백 정보를 제공받아 상기 내시경부에 촉감 또는 운동 피드백을 부여하며,
    상기 햅틱 엑츄에이터부로부터 상기 수술도구의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 수술도구의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 것을 특징으로 하는 의학실습 시뮬레이팅 방법.
  9. 의학실습 시뮬레이팅 방법에 있어서,
    인체를 추종하는 외형을 가지며 내부에는 EM 신호를 송신하는 EM 송신모듈이 구비된 인체 모형부에, 막대와 손잡이의 외형을 가지며 상기 EM 신호를 수신하여 내시경의 움직임 정보를 생성하여 출력하는 내시경부로부터 내시경부의 움직임에 따르는 움직임 정보를 제공받는 단계;
    상기 움직임 정보가 제공되면, 이전 움직임 정보와 현재의 움직임 정보를 비교하여 회전방향 및 회전량을 검출하는 단계; 및
    상기 내시경부의 움직임 정보 및 회전방향, 회전량에 대응되게 저장된 영상정보를 메모리로부터에서 독출하여 표시하여 실습자에게 안내하고, 상기 내시경부에 촉감 및 운동 피드백을 제공하는 단계;를 포함하고,
    상기 촉감 및 운동 피드백을 제공하는 단계는,
    수술도구가 장착된 햅틱 엑츄에이터부가 상기 수술도구의 위치 및 움직임을 검출하여 상기 제어장치로 제공하고, 상기 제어장치로부터 상기 수술도구의 촉감 및 운동 피드백 정보를 제공받아 상기 내시경부에 촉감 또는 운동 피드백을 부여하며,
    상기 햅틱 엑츄에이터부로부터 상기 수술도구의 위치 및 움직임 검출정보를 제공받아 그에 대응되게 미리 정해진 상기 수술도구의 촉감 및 운동 피드백정보를 상기 메모리부에서 독출하여 상기 햅틱 엑츄에이터부로 제공하는 것을 특징으로 하는 의학실습 시뮬레이팅 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 내시경부가 생성하는 움직임 정보는, 상기 내시경부의 움직임을 지시하는 위치 및 각도에 대한 정보임을 특징으로 하는 의학실습 시뮬레이팅 방법.
  11. 제8항 또는 제9항에 있어서,
    상기 EM 신호의 잡음 성분을 제거하는 전처리 단계를 더 포함하는 것을 특징으로 하는 의학실습 시뮬레이팅 방법.
  12. 제8항 또는 제9항에 있어서,
    상기 인체 모형부는 환자의 이비인후과 및 신경외과 수술을 위한 인체 형상으로 3D 프린팅된 모형인 것을 특징으로 하는 의학실습 시뮬레이팅 방법.
PCT/KR2019/016481 2018-12-27 2019-11-27 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법 WO2020138734A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180171018 2018-12-27
KR10-2018-0171018 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020138734A1 true WO2020138734A1 (ko) 2020-07-02

Family

ID=71127145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016481 WO2020138734A1 (ko) 2018-12-27 2019-11-27 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법

Country Status (1)

Country Link
WO (1) WO2020138734A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8696363B2 (en) * 2001-10-02 2014-04-15 Keymed (Medical & Industrial Equipment) Limited Method and apparatus for simulation of an endoscopy operation
KR20150109076A (ko) * 2014-03-19 2015-10-01 조선대학교산학협력단 대장내시경 수술 시뮬레이션시스템
KR20160102464A (ko) * 2013-12-20 2016-08-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
US20170140671A1 (en) * 2014-08-01 2017-05-18 Dracaena Life Technologies Co., Limited Surgery simulation system and method
KR20180077361A (ko) * 2016-12-28 2018-07-09 전자부품연구원 의료 시뮬레이터용 촉감 생성장치 및 이를 포함하는 의료 시뮬레이터

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8696363B2 (en) * 2001-10-02 2014-04-15 Keymed (Medical & Industrial Equipment) Limited Method and apparatus for simulation of an endoscopy operation
KR20160102464A (ko) * 2013-12-20 2016-08-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
KR20150109076A (ko) * 2014-03-19 2015-10-01 조선대학교산학협력단 대장내시경 수술 시뮬레이션시스템
US20170140671A1 (en) * 2014-08-01 2017-05-18 Dracaena Life Technologies Co., Limited Surgery simulation system and method
KR20180077361A (ko) * 2016-12-28 2018-07-09 전자부품연구원 의료 시뮬레이터용 촉감 생성장치 및 이를 포함하는 의료 시뮬레이터

Similar Documents

Publication Publication Date Title
CN1186753C (zh) 内窥镜检查辅导系统和方法
CN110769740B (zh) 将诊断测试集成到实时治疗中的通用设备和方法
WO2010021447A1 (ko) 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
CN105596005A (zh) 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
JP7245360B2 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
WO2016175489A1 (ko) 바늘삽입형 중재시술 로봇의 마스터 콘솔 및 이를 포함하는 로봇시스템
CN113208546A (zh) 内窥镜固定装置及内窥镜组件、摄影系统以及定位方法
WO2011021788A2 (ko) 간접적으로 수술감을 제공하는 원격 수술 로봇 시스템 및 그 제어 방법
JP2002085353A (ja) 遠隔診断システム
WO2021162287A1 (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
WO2009008750A1 (en) Endoscope simulator
WO2020231157A1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2020138734A1 (ko) 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
WO2020138671A1 (ko) 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템
WO2020138731A1 (ko) Em 센서 기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
CN113317874B (zh) 一种医学图像处理装置及介质
CN211237486U (zh) 一种用于虚拟腹腔镜手术的装置
JP3458060B2 (ja) 内視鏡形状検出装置及び内視鏡形状表示制御方法
WO2001088881A2 (en) Tools for endoscopic tutorial system
KR20220121419A (ko) 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
KR20220121429A (ko) Em 센서 기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
KR102624918B1 (ko) 환자유형별 맞춤형 훈련제공이 가능한 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
KR102580178B1 (ko) 환자유형별 맞춤형 훈련제공이 가능한 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19905185

Country of ref document: EP

Kind code of ref document: A1