KR20100078034A - Tele operated surgical robot system with image guidance - Google Patents

Tele operated surgical robot system with image guidance Download PDF

Info

Publication number
KR20100078034A
KR20100078034A KR1020080136167A KR20080136167A KR20100078034A KR 20100078034 A KR20100078034 A KR 20100078034A KR 1020080136167 A KR1020080136167 A KR 1020080136167A KR 20080136167 A KR20080136167 A KR 20080136167A KR 20100078034 A KR20100078034 A KR 20100078034A
Authority
KR
South Korea
Prior art keywords
image
master
endoscope
robot system
slave
Prior art date
Application number
KR1020080136167A
Other languages
Korean (ko)
Other versions
KR100997759B1 (en
Inventor
박석호
박종오
승성민
장정일
강병전
김경수
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020080136167A priority Critical patent/KR100997759B1/en
Publication of KR20100078034A publication Critical patent/KR20100078034A/en
Application granted granted Critical
Publication of KR100997759B1 publication Critical patent/KR100997759B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Abstract

PURPOSE: A remote operated surgical robot system with an image guidance is provided to implement a comfortable robot operation environment through the exact image information. CONSTITUTION: An operating device(100) comprises an haptic master and an image display showing a virtual image to a doctor. The surgical operation apparatus(200) comprises a endoscope based slave manipulator(210). An image processing apparatus changes an medical image of the before surgery into 3D image and project the medical image of the before surgery to an endoscopy image. The image processing apparatus generates a virtual image. A control unit includes a master controller controlling the control of the haptic master and also includes a slave controller generating various control inputs.

Description

영상 유도 원격 수술 로봇 시스템{TELE OPERATED SURGICAL ROBOT SYSTEM WITH IMAGE GUIDANCE}TELE OPERATED SURGICAL ROBOT SYSTEM WITH IMAGE GUIDANCE}

본 발명은 원격 수술 로봇 시스템에 관한 것으로서, 더욱 상세하게는 로봇 수술과 같은 첨단 의료 서비스의 증가로 인한 의료사고를 예방하고, 정확한 영상 정보를 의사에게 제공하여 보다 안전하고 편안한 로봇 수술 환경을 구축할 수 있는 영상 유도 원격 수술 로봇 시스템에 관한 기술이다. The present invention relates to a telesurgical robot system, and more particularly, to prevent medical accidents caused by an increase in advanced medical services such as robot surgery, and to provide a doctor with accurate image information to create a safer and more comfortable robotic surgical environment. The present invention relates to an image-guided teleoperation robot system.

기존의 원격 로봇 수술의 경우, 내시경 영상(Visoin) 정보에만 의존하여 수술을 수행하고 있다. 즉, 원격 로봇 수술시에 내시경 영상 정보만을 직접적으로 이용하여 기존의 수술 전(Pre-Operational) 의료영상(CT, MRI Image)은 참고적인 보조영상으로 이용하여 수술을 진행하게 된다. In the case of the conventional remote robot surgery, the surgery is performed based only on the endoscopic image (Visoin) information. In other words, the pre-operational medical image (CT, MRI image) is used as a reference image by using only the endoscope image information directly at the time of remote robot surgery.

이런 제한으로 인해 원격 로봇 수술 시스템은, 수술부위의 적정위치를 잘못 찾는 의료사고를 범하는 문제를 가지게 된다. 또한 수술 전(Pre-Operational) 의료영상(CT, MRI Image)에서 제공하여 주는 여러 가지 유용한 정보를 활용하지 못하는 제한점을 가지게 된다. Due to this limitation, the remote robotic surgical system has a problem of making a medical accident to find the wrong position of the surgical site. In addition, there is a limitation that cannot use various useful information provided in pre-operational medical imaging (CT, MRI Image).

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 제 1 목적은, 내시경 통한 수술 중(Intra-Operational) 영상(Vision)정보와 더불어 수술 전(Pre-Operational) 의료영상(CT,MRI Image)을 증강현실(Augmented Reality) 기술을 적용하여 내시경 영상에 투영하여 보여줌으로써 의사의 수술을 하는 시스템을 구현하도록 지원함에 있다. The present invention has been made in view of the above problems, the first object of the present invention, the intra-operational (Intra-Operational) image (Vision) information with the pre-Operational medical image (CT, MRI Image is applied to Augmented Reality technology to show the endoscopy image to support the doctor's surgery system.

그리고, 본 발명의 제 2 목적은, 이러한 수술 전 의료영상을 이용하여 실제적으로 수술을 행하는 로봇의 엔드 이펙터(End-effector)를 유도하거나 제한하여 수술의 안전성을 부여하는 시스템을 구현하도록 함에 있다. In addition, a second object of the present invention is to implement a system that provides safety of the surgery by inducing or limiting the end-effector of the robot that actually performs the surgery using the pre-operative medical image.

이러한 기술적 과제를 달성하기 위하여, 본 발명은, 의사가 직접 조종할 수 있는 햅틱 마스터 및 증강현실 기법에 의한 가상 영상을 의사에게 보여주는 영상 표시부를 포함하는 오퍼레이팅 장치; 환자에게 직접 시술하는 장치로서, 하기의 제어 장치의 마스터 제어부에 의해 조종되는 내시경 기반의 슬레이브 매니퓰레이터를 포함하는 시술 장치; 수술 전의 의료 영상을 3차원 영상으로 변환하여 수술 중 내시경 영상에 투영시킴으로써, 가상 영상을 생성하는 영상처리 장치; 상기 오퍼레이팅 장치의 햅틱 마스터의 조종을 제어하는 마스터 제어부, 및 상기 햅틱 마스터의 위치명령을 상기 슬레이브 매니퓰레이터가 잘 추종할 수 있도록 하기 위한 제어입력을 발생시키고, 슬레이브 매니퓰레이터의 제어에 필요한 각종 제어입력을 발생시 키는 슬레이브 제어부를 포함하는 제어 장치; 및 상기 영상처리 장치 및 제어 장치 간 정보를 송수신 하기 위한 통신 장치; 를 포함한다.In order to achieve the technical problem, the present invention, the operating device including a haptic master that can be directly manipulated by the doctor and an image display unit for showing a virtual image by the augmented reality technique to the doctor; An apparatus for directly injecting a patient, comprising: an apparatus including an endoscope-based slave manipulator steered by a master controller of the following control apparatus; An image processing apparatus for converting a medical image before surgery into a 3D image and projecting the same to an endoscope image during surgery to generate a virtual image; A master control unit for controlling the haptic master's control of the operating device, and a control input for allowing the slave manipulator to follow the position command of the haptic master well, and generating various control inputs necessary for controlling the slave manipulator. The key is a control device including a slave controller; And a communication device for transmitting and receiving information between the image processing device and the control device. It includes.

상기와 같은 본 발명에 따르면, 기존의 원격 수술 로봇의 경우에는 내시경 영상(Vision) 정보에 의존하여 수술을 수행 하던 부분을 개선하여 정확한 영상 정보를 제공하고 보다 안전하고 편안한 로봇 수술 환경을 구축할 수 있는 효과가 있다. According to the present invention as described above, in the case of the existing remote surgical robot to improve the part performing the operation based on the endoscope image (Vision) information to provide accurate image information and to build a safer and more comfortable robot surgical environment It has an effect.

그리고 본 발명에 따르면, 환부의 내시경 영상과 기존의 의료영상을 병합하여 제공되는 3차원 영상 정보에 의해 유도 및 제한이 되어 안정성 및 실제와 같은 수술 환경을 추구하는 시스템이다. 이중에서도 영상처리 및 영상유도 개발을 통한 segmentation 기술, 의료용 3차원 렌더링 기술, 실시간 렌더링 기술, image fusion 기술, 스테레오 영상을 이용한 위치추적기술, 영상과 실제 수술 공간과의 registration 기술 등 복합 기술의 발전에 기여. 국내 취약분야인 영상유도수술(image-guided surgery, computer-guided surgery) 장비와 수술 계획용 소프트웨어의 개발, 수술용 로봇 개발에 초석을 마련할 수 있는 효과도 있다. In addition, according to the present invention, it is a system that is guided and limited by three-dimensional image information provided by merging the endoscope image of the affected part and the existing medical image, and seeks a stable and realistic surgical environment. Among them, the development of complex technologies such as segmentation technology, medical 3D rendering technology, real time rendering technology, image fusion technology, location tracking technology using stereo image, registration technology between image and actual surgery space through image processing and image induction development contribute. It is also effective in laying the foundation for the development of image-guided surgery, computer-guided surgery equipment, surgical planning software, and surgical robots, which are vulnerable in Korea.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. In the meantime, when it is determined that the detailed description of the known functions and configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description is omitted.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

본 발명에 따른 영상 유도 원격 수술 로봇 시스템(S)에 관하여 도 1 및 도 2 를 참조하여 설명하면 다음과 같다. The image-guided teleoperation robot system S according to the present invention will be described with reference to FIGS. 1 and 2 as follows.

도 1 및 도 2 는 본 발명에 따른 영상 유도 원격 수술 로봇 시스템(S)을 개념적으로 도시한 구성도로서, 도시된 바와 같이 오퍼레이팅 장치(100), 시술 장치(200), 영상처리 장치(300), 제어 장치(400) 및 통신 장치(500)를 포함하여 이루어진다. 1 and 2 is a schematic view showing the image-guided teleoperation robot system (S) in accordance with the present invention, the operating device 100, the surgical device 200, the image processing device 300 as shown , Control device 400 and communication device 500.

오퍼레이팅(Operating) 장치(100)는 의사에 의해 조종되는 장치로서, 도 2 에 도시된 바와 같이 의사가 직접 조종할 수 있는 햅틱 마스터(Haptic Master)(110) 및 증강현실(Augmented Reality) 기법에 의한 가상 영상을 의사에게 보여주는 영상 표시부(120)를 포함한다.Operating device 100 is a doctor-controlled device, as shown in Figure 2 by the haptic master (110) and augmented reality (Augmented Reality) technique that can be directly manipulated by the doctor An image display unit 120 that shows a virtual image to a doctor.

이때, 햅틱 마스터(110)는, 의사에 의해 조정되어, 시술 장치(200)의 슬레이브 매니퓰레이터(210)의 위치명령을 생성한다.In this case, the haptic master 110 is adjusted by a doctor to generate a position command of the slave manipulator 210 of the surgical device 200.

또한, 제어 장치(400)의 마스터 제어부(410)에 의해 발생되는 힘반향 입력을 구현하여 의사에게 힘반향을 전달하게 하는 기능을 수행한다. 즉, 햅틱 마스터(110)는 제어 장치(400)의 마스터 제어부(410)에 의해 발생되는 힘반향을 입력받게 되며, 이러한 힘반향이 의사에게 전달되는 것이다. In addition, it implements a force echo input generated by the master control unit 410 of the control device 400 to transmit the force echo to the doctor. That is, the haptic master 110 receives the force echo generated by the master controller 410 of the control device 400, and the force echo is transmitted to the doctor.

또한, 시술 장치(200)는 환자에게 직접 시술하는 장치로서, 내시경 기반의 슬레이브 매니퓰레이터(210)가 별도의 주변 고정장치에 의해 고정되어 있다.In addition, the surgical device 200 is a device for directly treating the patient, and the endoscope-based slave manipulator 210 is fixed by a separate peripheral fixing device.

이때, 환자와 직접 접촉하는 슬레이브 매니퓰레이터(210)는 도 2 에 도시된 바와 같이 스테레오 내시경 및 발광부(Light Source)로 구성되어, 환부의 내시경 영상을 획득하는 스테레오 내시경부(211) 및 슬레이브 제어부(420)의 제어에 의해 구동하는 다수개의 다축 엔드 이펙터(End-Effector)(212), 그리고, 주입 포트(Injection Port)(213) 및 흡입 포트(Suction Port)(214) 등이 구비된다. At this time, the slave manipulator 210 in direct contact with the patient is composed of a stereo endoscope and a light source (Light Source), as shown in Figure 2, the stereo endoscope 211 and the slave control unit for obtaining an endoscope image of the affected part ( A plurality of multi-axis end-effectors 212 driven by the control of 420, an injection port 213, a suction port 214, and the like are provided.

본 실시예에서, 슬레이브 매니퓰레이터(210)의 구성을 구체적으로 예시하였으나, 본 발명이 이에 한정되지 않는 바, 수술부위 및 Target 에 따라 다양한 형태와 구성으로 변형될 수 있다. In the present embodiment, the configuration of the slave manipulator 210 is illustrated in detail, but the present invention is not limited thereto and may be modified in various forms and configurations according to the surgical site and the target.

또한, 영상처리 장치(300)는 수술 전의 CT 또는 MRI를 통한 의료 영상을 3차원 영상으로 변환하여, 수술 중 내시경 영상에 투영시키는 기능을 수행하는 바, 도 2 에 도시된 바와 같이 3차원 영상 변환부(310) 및 영상 투영부(320)를 포함한다. In addition, the image processing apparatus 300 converts a medical image through CT or MRI before surgery into a 3D image, and performs a function of projecting the image onto an endoscope image during the operation, as shown in FIG. 2. The unit 310 and the image projector 320 are included.

구체적으로, 3차원 영상 변환부(310)는 환자별로 CT 또는 MRI 등의 수술 전 의료 영상이 구축된 의료 영상 DB(311)로부터 의료 영상을 수신하여 3차원 영상으로 변환한다. In detail, the 3D image converter 310 receives a medical image from a medical image DB 311 in which a preoperative medical image such as CT or MRI is constructed for each patient, and converts the medical image into a 3D image.

영상 투영부(320)는 증강현실 기법을 이용하여, 3차원으로 변환된 수술 전의 의료 영상을 수술 중의 내시경 영상에 투영시킴으로써, 가상 영상을 생성한다. The image projector 320 generates a virtual image by projecting a pre-operated medical image converted into 3D to an endoscope image during surgery using an augmented reality technique.

즉, 영상 투영부(320)는 증강현실 기법을 이용하여, 3차원 변환된 수술 전의 의료 영상을, 스테레오 내시경부(211)를 통해 획득한 내시경 영상에 투영시킴으로써, 가상 영상을 생성한다. That is, the image projector 320 generates a virtual image by projecting the 3D-converted medical image to the endoscope image acquired through the stereo endoscope 211 using an augmented reality technique.

이때, 생성된 가상 영상은, 오퍼레이팅 장치(100)의 영상 표시부(120)로 통해 실시간 출력되며, 의사는 이러한 가상 영상을 영상 표시부(120)를 통해 확인함으로써, 시술을 진행할 수 있게 된다.In this case, the generated virtual image is output in real time through the image display unit 120 of the operating apparatus 100, and the doctor can perform the procedure by confirming the virtual image through the image display unit 120.

이러한, 증강현실(Augmented Reality)은, 내시경 영상만으로는 알 수 없었던 환자의 생체 주요정보(주요 혈관 및 신경, 병변부, 정상 세포부 등)를 좀 더 명확히 알 수 있게 한다. 즉, 기존의 수술에서는 내시경 영상에 의존하여 수술하던 것과 달리, 내시경 영상과 수술 전 영상을 결합함으로써 좀 더 안전한 수술을 가능하게 할 것이다. 이러한 방법은, 수술 전 영상과 내시경 영상을 이용하여 의사가 보는 영상을 통해 수술을 유도하는 "시각적인 영상유도방법"이라 할 수 있다. Such augmented reality (Augmented Reality), it is possible to more clearly know the vital information of the patient (main blood vessels and nerves, lesions, normal cells, etc.) that could not be known only by the endoscope image. That is, in the conventional surgery, unlike the operation based on the endoscope image, by combining the endoscope image and the preoperative image will enable a more safe operation. Such a method may be referred to as a "visual image induction method," which induces surgery through an image viewed by a doctor using a preoperative image and an endoscope image.

제어 장치(400)는 오퍼레이팅 장치(100)의 햅틱 마스터(110)의 조종을 제어하는 마스터(Master) 제어부(410), 및 햅틱 마스터(110)의 위치명령을 슬레이브 매니퓰레이터(210)가 잘 추종할 수 있도록 하기 위한 제어입력을 발생시키고, 슬레이브 매니퓰레이터(210)의 제어에 필요한 각종 제어입력을 발생시키는 슬레이브(Slave) 제어부(420)를 포함한다. The control device 400 is a master controller 410 for controlling the manipulation of the haptic master 110 of the operating device 100, and the slave manipulator 210 can follow the position command of the haptic master 110 well. And a slave controller 420 for generating a control input for generating a control input for generating a control input for controlling the slave manipulator 210.

이러한, 마스터 제어부(410)는, 햅틱 마스터(110)로부터 위치명령을 받아들여 슬레이브 제어부(420)에 전달하고, 슬레이브 제어부(420)로부터 전달받은 힘반향(Force Feedback) 입력을 햅틱 마스터(110)에 전달하는 제어입력을 생성한다. The master control unit 410 receives a position command from the haptic master 110 and transmits the position command to the slave control unit 420, and transmits a force feedback input received from the slave control unit 420 to the haptic master 110. Create a control input to pass to.

또한, 슬레이브 제어부(420)는 슬레이브 매니퓰레이터(210)의 스테레오 내시경부(211)을 통해 획득한 스테레오 이미지 영상과, 슬레이브 매니퓰레이터(210) 각 축의 위치에 입력하여 엔드 이펙터(212)에 존재하는 센서로부터 센서 입력을 받아들인다. In addition, the slave controller 420 inputs a stereo image image acquired through the stereo endoscope 211 of the slave manipulator 210 and a sensor present in the end effector 212 by inputting the position of each axis of the slave manipulator 210. Accept sensor input.

여기서, 햅틱 마스터(110)에 전달되는 힘반향(Haptic Force Feedback)은, 환자와 직접 접촉하는 슬레이브 매니퓰레이터(210)의 센서로부터 나오는 신호를 이용하여, 햅틱 마스터(110)의 조종자인 의사에게 힘을 전달해 준다. 즉, 엔드 이펙터(212)가 환부와 접촉하거나 작용 시의 반력에 대해 센싱하여, 그 촉감을 햅틱 마스터(110)에 힘으로 전달함으로써, 조종자인 의사는 그 힘을 느끼게 되며 수술의 정확도를 높일 수 있게 된다. Here, the force force feedback transmitted to the haptic master 110 uses a signal from a sensor of the slave manipulator 210 which is in direct contact with the patient, thereby applying force to a doctor who is a manipulator of the haptic master 110. Deliver it. That is, the end effector 212 senses the reaction force at the time of contacting or acting on the affected area, and transmits the touch to the haptic master 110 by force, so that the doctor as a controller feels the force and can increase the accuracy of the surgery. Will be.

또한, 수술 전 영상과, 슬레이브 매니퓰레이터(210)의 스테레오 내시경부(211)를 통해 입력되는 스테레오 이미지 영상의 매칭을 통해 환자의 주요 혈관 및 신경, 정상 세포부에 엔드 이펙터(212)가 도달하지 않도록 유도하는 힘을 발생시키게 된다. 이러한 방법은 햅틱 마스터(210)에 직접적인 힘 반향을 발생시켜 의사에게 그 힘을 전달하고, 종국적으로는 엔드 이펙터(212)의 위치를 안전한 공간 내에서만 유도하는 "기계적인 영상유도방법" 이라 할 수 있다. In addition, the end effector 212 is prevented from reaching the main blood vessels, nerves, and normal cells of the patient through matching of the preoperative image and the stereo image image input through the stereo endoscope 211 of the slave manipulator 210. Will generate an inducing force. This method can be referred to as a "mechanical image induction method" that generates a direct force echo to the haptic master 210 to transmit the force to the doctor, and ultimately induces the position of the end effector 212 only in a safe space. have.

그리고, 통신 장치(500)는 제어 장치(400) 및 영상처리 장치(300)간 정보를 송수신 하도록 하는 기능을 수행한다. In addition, the communication device 500 performs a function of transmitting and receiving information between the control device 400 and the image processing device 300.

지금까지 상술한 바와 같은, 본 발명에 따른 영상 유도 원격 수술 로봇 시스템(S)은, 원격 로봇 수술시에 보다 높은 접근성과 안전성을 갖게 된다. As described above, the image-guided telesurgical robot system S according to the present invention has higher accessibility and safety during remote robotic surgery.

기존의 내시경 영상(Vision)만을 이용한 경우에는 의료영상(CT, MRI)을 참고하여 수술하기 때문에, 수술 부위 및 위치를 잘못 찾는 의료 사고가 발생 할 수 있다. 또한, 영상 유도 시스템은 로봇 수술시 의료 사고를 예방하고 정확한 영상 정보를 의사에게 제공하여 보다 편안한 원격 수술 로봇 환경을 구축할 수 있다는 특징적인 장점을 갖는다.If only the conventional endoscope image (Vision) is used to operate by referring to the medical image (CT, MRI), medical accidents that incorrectly find the surgical site and location may occur. In addition, the image guidance system has a characteristic advantage of preventing a medical accident during robotic surgery and providing accurate image information to a doctor to build a more comfortable remote surgical robot environment.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. As described above and described with reference to a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it is a deviation from the scope of the technical idea It will be understood by those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes and modifications and equivalents should be considered to be within the scope of the present invention.

도 1 및 도 2 는 본 발명에 따른 영상 유도 원격 수술 로봇 시스템을 개략적으로 도시한 구성도.1 and 2 is a schematic view showing an image-guided teleoperation robot system according to the present invention.

** 도면의 주요 부분에 대한 부호의 설명 **** Description of symbols for the main parts of the drawing **

100: 오퍼레이팅 장치 110: 햅틱 마스터100: operating device 110: haptic master

120: 영상 표시부 200: 시술 장치120: image display unit 200: a surgical device

210: 슬레이브 매니퓰레이터 211: 스테레오 내시경부 210: slave manipulator 211: stereo endoscope

212: 엔드 이펙터 213: 주입 포트 212: end effector 213: injection port

214: 흡입 포트 300: 영상처리 장치214: suction port 300: image processing device

310: 3차원 영상 변환부 320: 영상 투영부 310: 3D image conversion unit 320: image projection unit

400: 제어 장치 410: 마스터 제어부400: controller 410: master controller

420: 슬레이브 제어부 500: 통신 장치420: slave control unit 500: communication device

Claims (6)

영상 유도 원격 수술 로봇 시스템(S)에 있어서,In the image guided teleoperation robot system (S), 의사가 직접 조종할 수 있는 햅틱 마스터(110) 및 증강현실 기법에 의한 가상 영상을 의사에게 보여주는 영상 표시부(120)를 포함하는 오퍼레이팅 장치(100); An operating device 100 including a haptic master 110 which can be directly manipulated by a doctor and an image display unit 120 which shows a virtual image by the augmented reality technique to the doctor; 환자에게 직접 시술하는 장치로서, 하기의 제어 장치(400)의 마스터 제어부(410)에 의해 조종되는 내시경 기반의 슬레이브 매니퓰레이터(210)를 포함하는 시술 장치(200); A device for directly injecting a patient, comprising: a surgical device 200 including an endoscope-based slave manipulator 210 controlled by a master controller 410 of a control device 400 described below; 수술 전의 의료 영상을 3차원 영상으로 변환하여 수술 중 내시경 영상에 투영시킴으로써, 가상 영상을 생성하는 영상처리 장치(300); An image processing apparatus 300 for converting a medical image before surgery into a 3D image and projecting the medical image to an endoscope image during surgery to generate a virtual image; 상기 오퍼레이팅 장치(100)의 햅틱 마스터(110)의 조종을 제어하는 마스터 제어부(410), 및 상기 햅틱 마스터(110)의 위치명령을 상기 슬레이브 매니퓰레이터(210)가 잘 추종할 수 있도록 하기 위한 제어입력을 발생시키고, 슬레이브 매니퓰레이터(210)의 제어에 필요한 각종 제어입력을 발생시키는 슬레이브(Slave) 제어부(420)를 포함하는 제어 장치(400); 및 A master control unit 410 for controlling the manipulation of the haptic master 110 of the operating device 100, and a control input for allowing the slave manipulator 210 to follow the position command of the haptic master 110 well. A control device 400 including a slave controller 420 for generating a plurality of control inputs necessary for controlling the slave manipulator 210; And 상기 영상처리 장치(300) 및 제어 장치(400)간 정보를 송수신 하기 위한 통신 장치(500); 를 포함하되,A communication device 500 for transmitting and receiving information between the image processing device 300 and the control device 400; Including, 상기 영상처리 장치(300)를 통해 생성된 가상 영상은, 오퍼레이팅 장치(100)의 영상 표시부(120)로 통해 실시간 출력되는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템.The virtual image generated by the image processing apparatus 300, the image-guided remote surgery robot system, characterized in that the output in real time through the image display unit 120 of the operating device (100). 제 1 항에 있어서,The method of claim 1, 상기 햅틱 마스터(110)는, 상기 시술 장치(200)의 슬레이브 매니퓰레이터(210)의 위치명령을 생성하고, 제어 장치(400)의 마스터 제어부(410)에 의해 발생되는 힘반향을 입력받는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템.The haptic master 110 generates a position command of the slave manipulator 210 of the surgical device 200, and receives the force reflection generated by the master control unit 410 of the control device 400 Imaging Remote Surgery Robot System. 제 1 항에 있어서,The method of claim 1, 상기 슬레이브 매니퓰레이터(210)는, 별도의 주변 고정장치에 의해 고정되며, 스테레오 내시경 및 발광부로 구성되어, 환부의 내시경 영상을 획득하는 스테레오 내시경부(211) 및 슬레이브 제어부(420)의 제어에 의해 구동하는 다수개의 다축 엔드 이펙터(End-Effector)(212), 그리고, 주입 포트(Injection Port)(213) 및 흡입 포트(Suction Port)(214)를 포함하는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템. The slave manipulator 210 is fixed by a separate peripheral fixing device, and is composed of a stereo endoscope and a light emitting unit, and is driven by the control of the stereo endoscope unit 211 and the slave controller 420 to obtain an endoscope image of the affected part. And a multi-axis end effector (212), and an injection port (213) and a suction port (214). 제 1 항에 있어서,The method of claim 1, 상기 영상처리 장치(300)는, The image processing apparatus 300, CT 또는 MRI를 포함하는 수술 전 의료 영상이 구축된 의료 영상 DB(311)로부 터 의료 영상을 수신하여 3차원 영상으로 변환하는 3차원 영상 변환부(310); 및 A 3D image converter 310 for receiving a medical image from a medical image DB 311 in which a preoperative medical image including CT or MRI is constructed and converting the medical image into a 3D image; And 증강현실(Augmented Reality) 기법을 이용하여, 3차원으로 변환된 수술 전의 의료 영상을 수술 중의 내시경 영상에 투영시킴으로써, 가상 영상을 생성하는 영상 투영부(320); 를 포함하는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템.An image projection unit 320 for generating a virtual image by projecting a preoperative medical image converted into 3D onto an endoscope image during surgery using an augmented reality technique; Image guided remote surgery robot system comprising a. 제 1 항에 있어서,The method of claim 1, 상기 마스터 제어부(410)는,The master control unit 410, 상기 햅틱 마스터(110)로부터 위치명령을 받아들여 슬레이브 제어부(420)에 전달하고, 상기 슬레이브 제어부(420)로부터 전달받은 힘반향 입력을 햅틱 마스터(110)에 전달하는 제어입력을 생성하는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템.It receives the position command from the haptic master 110 and transmits it to the slave controller 420, and generates a control input for transmitting the force echo input received from the slave controller 420 to the haptic master (110) Imaging Remote Surgery Robot System. 제 1 항에 있어서,The method of claim 1, 상기 슬레이브 제어부(420)는, 슬레이브 매니퓰레이터(210)의 스테레오 내시경부(211)을 통해 획득한 스테레오 이미지 영상과, 엔드 이펙터(212)에 존재하는 센서로부터 센서 입력을 받아들이는 것을 특징으로 하는 영상 유도 원격 수술 로봇 시스템.The slave controller 420 receives a stereo image obtained through the stereo endoscope 211 of the slave manipulator 210 and a sensor input from a sensor present in the end effector 212. Remote Surgery Robot System.
KR1020080136167A 2008-12-30 2008-12-30 Tele operated surgical robot system with image guidance KR100997759B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080136167A KR100997759B1 (en) 2008-12-30 2008-12-30 Tele operated surgical robot system with image guidance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080136167A KR100997759B1 (en) 2008-12-30 2008-12-30 Tele operated surgical robot system with image guidance

Publications (2)

Publication Number Publication Date
KR20100078034A true KR20100078034A (en) 2010-07-08
KR100997759B1 KR100997759B1 (en) 2010-12-01

Family

ID=42639317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080136167A KR100997759B1 (en) 2008-12-30 2008-12-30 Tele operated surgical robot system with image guidance

Country Status (1)

Country Link
KR (1) KR100997759B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065895A (en) * 2012-11-22 2014-05-30 삼성전자주식회사 Surgical robot and method for controlling the surgical robot
CN104826235A (en) * 2015-04-16 2015-08-12 杨兆新 External short wave treatment apparatus
US9767608B2 (en) 2013-03-13 2017-09-19 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100346464B1 (en) 1999-09-18 2002-07-27 현대자동차주식회사 Injector structure for preventing surge pressure of returnless-type fuel supply using dual solenoid
KR100695471B1 (en) 2005-10-07 2007-03-16 한양대학교 산학협력단 Robot of the multi-freedom degree for positioning surgical tool
KR100756625B1 (en) 2006-04-10 2007-09-07 건국대학교 산학협력단 Image registration system and method for intra-cavity surgical robot

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065895A (en) * 2012-11-22 2014-05-30 삼성전자주식회사 Surgical robot and method for controlling the surgical robot
US9767608B2 (en) 2013-03-13 2017-09-19 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
CN104826235A (en) * 2015-04-16 2015-08-12 杨兆新 External short wave treatment apparatus
CN104826235B (en) * 2015-04-16 2017-05-31 申清涛 External shortwave therapeutic system

Also Published As

Publication number Publication date
KR100997759B1 (en) 2010-12-01

Similar Documents

Publication Publication Date Title
CN110494095B (en) System and method for constraining a virtual reality surgical system
JP6180692B1 (en) Medical manipulator system
US9259283B2 (en) Medical master slave manipulator system
CN110279427B (en) Collision avoidance during controlled movement of movable arm of image acquisition device and steerable device
US20170258537A1 (en) Multi-User Medical Robotic System for Collaboration or Training in Minimally Invasive Surgical Procedures
US10008017B2 (en) Rendering tool information as graphic overlays on displayed images of tools
WO2018187069A1 (en) Patient introducer alignment
CN113440263B (en) Secondary instrument control in a computer-aided teleoperational system
US20200163731A1 (en) Systems and methods for switching control between multiple instrument arms
US20210128248A1 (en) Robotic medical apparatus, system, and method
US11897127B2 (en) Systems and methods for master/tool registration and control for intuitive motion
US11234779B2 (en) Handheld user interface device for a surgical robot
KR100997759B1 (en) Tele operated surgical robot system with image guidance
US20240046589A1 (en) Remote surgical mentoring
KR20130015441A (en) Surgical robot system
US20220096197A1 (en) Augmented reality headset for a surgical robot
JP5800609B2 (en) Medical master-slave manipulator
Schneeberger et al. An overview of the intuitive system: the surgeon's perspective
Ai et al. On the Fly Robotic-Assisted Medical Instrument Planning and Execution Using Mixed Reality
WO2024006729A1 (en) Assisted port placement for minimally invasive or robotic assisted surgery
WO2017104022A1 (en) Operating method for medical manipulator
Deb et al. Robot-human cooperation for improved orthopaedic surgery

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191023

Year of fee payment: 10