KR20120052574A

KR20120052574A - Surgical robitc system and method of driving endoscope of the same

Info

Publication number: KR20120052574A
Application number: KR1020100113796A
Authority: KR
Inventors: 김예빈
Original assignee: 엘지전자 주식회사
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-05-24

Abstract

PURPOSE: A robot system for surgery and an endoscope driving method thereof are provided to rapidly execute a surgical operation by driving an endoscope according to movement of a surgical operator without a separate manual operation. CONSTITUTION: A display unit provides an image of a surgical operation site(20) which is recorded by an endoscope(30) to a surgical operator. A user operating unit(14) controls operation of a robot for surgery with an operation of a user. A signal processing unit(16) changes movement of the user operating unit into a control signal of the movement of the robot for surgery and outputs it. An operation tracker(60) comprises an operation detection processor(64) and a camera(62) for obtaining an image with regard to movement of a hand. The operation detection processor creates information of the movement of the hand by analyzing the imaged obtained by the camera.

Description

Surgical robot system and endoscope driving method of surgical robot system {SURGICAL ROBITC SYSTEM AND METHOD OF DRIVING ENDOSCOPE OF THE SAME}

본 발명은 수술용 로봇 시스템 및 수술용 로봇 시스템의 내시경 구동방법에 관한 것으로, 보다 상세하게는 최소침습수술(minimal invasive surgery)을 위한 수술용 로봇 시스템 및 내시경의 구동방법에 관한 것이다. The present invention relates to a surgical robot system and an endoscope driving method of the surgical robot system, and more particularly, to a surgical robot system and a method for driving the endoscope for minimal invasive surgery.

의학적으로 수술이란 피부나 점막, 기타 조직을 수술기구를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 것을 말한다. 특히, 수술 부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제를 야기한다. Medically, surgery means repairing a disease by cutting, slitting or manipulating skin, mucous membranes, and other tissues using surgical instruments. In particular, open surgery to incise and open the skin of the surgical site to treat, shape, or remove the organs therein causes problems such as bleeding, side effects, patient pain, and scars.

이에 대해, 피부를 절개하는 대신 작은 삽입공(孔)을 천공하고, 이를 통해 내시경, 복강경, 수술기구(surgical instrument), 미세수술용 현미경 등의 수술기구를 삽입하여 체내에서 수술이 이루어지도록 하는 최소 침습 수술이 각광받고 있다. 한편, 이러한 최소 침습 수술은 집도의에 의해 수동으로 진행될 수도 있으나, 최근에는 시술자가 직접 기구를 조작하는 대신 수술용 로봇을 사용하여 기구를 정교하게 조작하여 수술을 수행하는 로봇 수술이 대안으로서 제시되고 있다. In contrast, instead of dissecting the skin, a small insertion hole is drilled, and through this, a surgical instrument, such as an endoscope, a laparoscope, a surgical instrument, a microsurgical microscope, is inserted to allow surgery to be performed in the body. Invasive surgery is in the spotlight. On the other hand, such minimally invasive surgery may be performed manually by a surgeon, but in recent years, a robotic operation in which a surgeon performs an operation by precisely manipulating the instrument using a surgical robot instead of manipulating the instrument directly has been proposed as an alternative. .

로봇 수술을 위한 수술용 로봇은, 기구의 조작에 의해 필요한 신호를 생성하여 전송하는 마스터(master) 입력장치와, 마스터 입력장치로부터 신호를 받아 직접 환자에 수술에 필요한 조작을 가하는 슬레이브(slave) 로봇으로 이루어지며, 마스터 입력장치와 슬레이브 로봇을 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치하게 된다. 슬레이브 로봇에는 수술을 위한 조작을 위해 로봇 암(robotic arm)을 구비하게 되며, 로봇 암의 선단부에는 수술기구가 장착된다. Surgical robots for robotic surgery include a master input device that generates and transmits a required signal by operating an instrument, and a slave robot that receives a signal from the master input device and directly performs a manipulation necessary for a patient. It consists of a master input device and a slave robot integrated or configured as a separate device is placed in the operating room. The slave robot is provided with a robot arm (robotic arm) for the operation for surgery, the surgical instrument is mounted on the tip of the robot arm.

시술자는 내시경에 의해 촬영된 수술부위의 영상을 통해 수술부위와 수술기구의 동작을 확인하며 마스터 입력장치를 조작하여 수술을 진행할 수 있다. The operator checks the operation of the surgical site and the surgical instrument through the image of the surgical site taken by the endoscope, and can operate by operating the master input device.

상기와 같은 수술용 로봇을 이용한 시술의 진행과정에서, 시술자는 수동조작을 통하여 내시경의 방향을 조정하여 모니터를 통하여 원하는 곳을 볼 수 있다. 그런데 이와 같은 내시경의 수동조작은 직관적이지 못하고 조작이 어려워 수련을 통해서만 사용이 가능한 문제점이 있다. In the course of the procedure using the surgical robot as described above, the operator can see the desired place through the monitor by adjusting the direction of the endoscope through manual operation. However, the manual operation of such an endoscope is not intuitive and difficult to operate, and thus can be used only through training.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 수술용 로봇을 이용한 수술 과정에서 시술자가 직관적이고 용이하게 내시경의 조작할 수 있도록 하는 수술용 로봇 시스템과 수술용 로봇 시스템의 내시경 구동방법을 제공하는 데 있다. Therefore, the present invention is to solve the above problems, an object of the present invention is to provide a surgical robot system and a surgical robot system that allows the operator to operate the endoscope intuitively and easily in the surgical process using the surgical robot An endoscope driving method is provided.

상기와 같은 목적을 달성하기 위해 본 발명에 따른 수술용 로봇 시스템은 시술자의 움직임을 추적하는 동작 추적부, 동작 추적부에 의해 추적된 시술자의 움직임에 동기화되는 구동신호를 생성하는 신호처리부 및 구동신호에 따라 시술자의 움직임에 동기하여 구동되는 내시경을 포함한다. Surgical robot system according to the present invention for achieving the above object is a motion tracking unit for tracking the movement of the operator, a signal processor and a drive signal for generating a drive signal synchronized to the movement of the operator tracked by the motion tracking unit According to the endoscope includes an endoscope driven in synchronization with the movement of the operator.

이때, 동작 추적부는 시술자의 움직임에 대한 이미지를 획득하기 위한 적어도 하나의 카메라 및 카메라에 의해 획득된 이미지를 분석하여 시술자의 움직임에 대한 정보를 생성하는 동작 추적 프로세서을 포함할 수 있다. In this case, the motion tracking unit may include at least one camera for acquiring an image of the operator's movement, and a motion tracking processor for generating information on the operator's movement by analyzing the image acquired by the camera.

이때, 동작 추적 프로세서는 시술자의 머리에 부착된 적어도 하나의 마커(marker)의 움직임을 분석하여 시술자의 움직임에 대한 정보를 생성할 수 있다. In this case, the motion tracking processor may generate information about the operator's movement by analyzing the movement of at least one marker attached to the operator's head.

이때, 내시경은 다수의 관절을 가지는 관절형 내시경 또는 조작 가능한 유연한 내시경인 수술용 로봇 시스템.At this time, the endoscope is a surgical robot system that is a flexible endoscope or a flexible endoscope having a plurality of joints.

한편, 본 발명에 따른 수술용 로봇 시스템의 내시경 구동방법은 시술자의 움직임을 추적하는 단계, 시술자의 움직임에 동기화되는 구동신호를 생성하는 단계 및 구동신호에 따라 시술자의 움직임에 동기하여 내시경을 구동하는 단계를 포함한다. On the other hand, the endoscope driving method of the surgical robot system according to the present invention for tracking the movement of the operator, generating a drive signal synchronized with the operator's movement and driving the endoscope in synchronization with the operator's movement in accordance with the drive signal Steps.

이때, 시술자의 움직임을 추적하는 단계는 시술자의 움직임에 대한 이미지를 획득하는 단계, 획득된 이미지를 분석하는 단계 및 분석에 기초하여 시술자의 움직임에 대한 정보를 생성하는 단계를 포함할 수 있다. In this case, the tracking of the operator's movement may include obtaining an image of the operator's movement, analyzing the acquired image, and generating information on the operator's movement based on the analysis.

또한, 획득된 이미지를 분석하는 단계는 시술자의 머리에 부착된 적어도 하나의 마커의 움직임을 분석하는 단계를 포함할 수 있다. In addition, analyzing the acquired image may include analyzing a movement of at least one marker attached to the operator's head.

상기와 같이 본 발명에 의한 수술용 로봇 시스템 및 수술용 로봇 시스템의 내시경 구동방법에 따르면, 시술자는 별도의 수동 조작 없이 실제 시술하는 것과 마찬가지의 움직임에 의해 내시경을 구동할 수 있게 된다. 따라서 내시경 조작을 위한 별도의 수련을 필요로 하지 않고 쉽게 내시경을 조작할 수 있는 효과를 가지게 된다. 또한, 시술자가 시술 시 보다 직관적인 느낌을 가질 수 있게 되므로, 보다 빠르고 정교한 수술을 진행할 수 있는 효과를 가진다. According to the endoscope driving method of the surgical robot system and the surgical robot system according to the present invention as described above, the operator can drive the endoscope by the same motion as the actual procedure without a separate manual operation. Therefore, there is an effect that can easily manipulate the endoscope without requiring a separate training for the endoscope operation. In addition, since the operator can feel more intuitive during the procedure, it has the effect of proceeding faster and more sophisticated surgery.

도 1은 본 발명의 실시예에 따른 수술용 로봇 시스템을 도시한 개략도이다.
도 2는 본 발명의 실시예에 따른 수술용 로봇 시스템의 내시경 작동을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 수술용 로봇 시스템의 내시경을 도시한 개략도이다.
도 4는 본 발명의 실시예에 따른 수술용 로봇 시스템에 적용 가능한 관절형 내시경을 나타낸 개략도이다.
도 5는 본 발명의 실시예에 따른 수술용 로봇 시스템에 적용 가능한 유연한 내시경을 나타낸 개략도이다.
도 6은 본 발명의 실시예에 따른 수술용 로봇 시스템을 이용한 내시경 구동방법을 나타낸 순서도이다. 1 is a schematic diagram showing a surgical robot system according to an embodiment of the present invention.
Figure 2 is a block diagram for explaining the endoscope operation of the surgical robot system according to an embodiment of the present invention.
Figure 3 is a schematic diagram showing the endoscope of the surgical robot system according to an embodiment of the present invention.
Figure 4 is a schematic diagram showing an articulating endoscope applicable to the surgical robot system according to an embodiment of the present invention.
Figure 5 is a schematic diagram showing a flexible endoscope applicable to the surgical robot system according to an embodiment of the present invention.
Figure 6 is a flow chart illustrating an endoscope driving method using a surgical robot system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다. 이하에서 설명하는 실시 예는 본원 발명의 기술적 사상을 설명하기 위한 예시로써 제공되는 것이며, 본 발명의 기술적 범위가 이하의 실시 예들에 한정되는 것은 아니다. Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention. The embodiments described below are provided as examples for describing the technical idea of the present invention, and the technical scope of the present invention is not limited to the following embodiments.

도 1은 본 발명의 실시예에 따른 수술용 로봇 시스템(100)을 나타낸 평면도이다. 도 1에 도시한 바와 같이, 수술용 로봇 시스템(100)은 수술 테이블(0)에 누워있는 환자(P)측에서 최소침습수술법이 시행되는 동안 시술자(S)가 조작하도록 구성되는 마스터 입력장치(10)를 포함한다. 1 is a plan view showing a surgical robot system 100 according to an embodiment of the present invention. As shown in Figure 1, the surgical robot system 100 is a master input device configured to be operated by the operator (S) while the minimally invasive surgery is performed on the patient (P) side lying on the surgery table ( 10).

마스터 입력장치(10)는 표시부(12), 하나 이상의 사용자 조작부(14), 신호처리부(16), 동작 추적부(60)를 포함한다. The master input device 10 includes a display unit 12, one or more user manipulation units 14, a signal processing unit 16, and an operation tracking unit 60.

표시부(12)는 내시경(30)에 의해 촬영된 수술부위(20)의 영상을 시술자에게 제공하고, 사용자 조작부(14)는 표시부(12)에 표시되는 수술용 로봇의 동작을 사용자의 조작에 의해 제어하도록 한다. 사용자 조작부(14)는 조이스틱(joystick), 글러브(glove), 트리거-건(triggergun), 수동식 컨트롤러 등과 같은 다양한 입력 장치들 중의 하나 이상을 포함할 수 있다.The display unit 12 provides an image of the surgical site 20 taken by the endoscope 30 to the operator, and the user operation unit 14 controls the operation of the surgical robot displayed on the display unit 12 by a user's operation. Take control. The user manipulation unit 14 may include one or more of various input devices, such as a joystick, glove, triggergun, manual controller, and the like.

또한, 신호처리부(16)는 사용자의 조작에 의한 사용자 조작부(14)의 움직임을 수술용 로봇의 동작의 제어신호로 변환하여 출력한다. 신호처리부(16)는 마스터 입력장치(10)에 통합되어 있거나 마스터 입력장치(10) 옆에 위치하는 컴퓨터로 구성될 수 있다. 신호처리부(16)는 수술용 로봇 시스템(100)에서 다양한 기능을 수행한다. 신호처리부(16)는 시술자가가 각각의 수술기구(38, 40)를 효과적으로 이동 및/또는 조종할 수 있도록 제어 신호 버스(50)를 통하여 사용자 조작부(14)의 기계적인 움직임을 각각의 로봇 암(32, 34, 36)에 대한 제어신호로 변형하여(translate) 전달한다. 또한, 신호처리부(16)는 수술기구(38, 40)가 표시부(12)에 표시되는 카메라 포착 화면 바깥쪽에 있거나, 표시부(12)에 표시되는 카메라 포착 화면 내에서 차단되어 있는 경우에 수술기구(38, 40)의 위치를 표시한다. In addition, the signal processing unit 16 converts the movement of the user operation unit 14 by the user's operation into a control signal of the operation of the surgical robot and outputs it. The signal processor 16 may be integrated into the master input device 10 or may be configured as a computer located next to the master input device 10. The signal processor 16 performs various functions in the surgical robot system 100. The signal processor 16 controls the mechanical movement of the user control unit 14 through the control signal bus 50 so that the operator can effectively move and / or manipulate the respective surgical instruments 38 and 40. Transmit it to the control signal for (32, 34, 36). In addition, the signal processing unit 16 may be operated when the surgical instruments 38 and 40 are outside the camera capture screen displayed on the display unit 12 or blocked within the camera capture screen displayed on the display unit 12. 38, 40) are displayed.

이와 같은 신호처리부(16)는 하드웨어, 소프트웨어 및 펌웨어(firmware)의 임의의 조합으로 구현될 수 있다. 또한, 신호처리부의 기능은 본 명세서에서 기술된 바와 같이 하나의 유닛에 의해 실행될 수 있거나, 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합으로 차례로 실시될 수 있는 상이한 구성요소들로 분할된 것에 의해 실행될 수 있다. The signal processor 16 may be implemented in any combination of hardware, software, and firmware. In addition, the function of the signal processing unit may be executed by one unit as described herein, or may be executed by being divided into different components that may be sequentially executed in any combination of hardware, software, and firmware. .

시술자는 내시경(30)에 의해 포착되어 마스터 입력장치(10)의 표시부(12)로 제공되는 수술부위(20)를 나타내는 표시부(12)의 화면을 관찰하면서, 로봇 암(32, 36)에 탈착이 가능하게 결합된 수술기구(38, 40)가 구동되도록 사용자 조작부(14)를 조종함으로써 최소침습수술법을 시행한다. 이 경우, 표시부(12)의 화면은 수술부위의 평면 영상 또는 입체 영상으로 제공될 수 있다. The operator detaches and attaches to the robot arms 32 and 36 while observing the screen of the display unit 12 which represents the surgical site 20 captured by the endoscope 30 and provided to the display unit 12 of the master input device 10. The minimally invasive surgical method is implemented by manipulating the user manipulation unit 14 such that the surgical instruments 38 and 40 which are possibly combined are driven. In this case, the screen of the display unit 12 may be provided as a planar image or a stereoscopic image of the surgical site.

내시경(30) 및 각각의 수술기구(38, 40)는 캐뉼러(cannula)와 같은 수술기구(38, 40) 가이드를 통하여 환자 속으로 삽입될 수 있다. 각각의 로봇 암(32, 34, 36)은 연동장치와 같은 링크장치로 형성되고, 링크장치는 서로 결합되어 있으며 모터 제어식 관절을 통하여 조작될 수 있다. 사용되는 수술기구(38, 40)의 개수와 수술용 로봇 시스템(100)에 사용되는 로봇 암(32, 34, 36)의 개수는 여러 가지 요소 중에서 진단법 또는 수술법 그리고 수술실 내의 공간적인 제약에 따라 결정될 수 있다. 즉, 비록 도 1에서는 수술용 로봇 시스템(100)이 3개의 로봇 암(32, 34, 36)을 가지는 것으로 도시하였으나, 이는 본원 발명을 예시하기 위한 것으로, 로봇 암 및 수술기구의 개수는 필요에 따라 늘리거나 줄일 수 있으며, 본 발명이 여기에 한정되는 것은 아니다. Endoscope 30 and each surgical instrument 38, 40 may be inserted into the patient through a guide of surgical instrument 38, 40, such as a cannula. Each robot arm 32, 34, 36 is formed of a linkage device such as an interlock device, which linkages are coupled to each other and can be manipulated through a motor controlled joint. The number of surgical instruments 38, 40 used and the number of robotic arms 32, 34, 36 used in the surgical robot system 100 may be determined depending on the diagnostic or surgical method and the spatial constraints within the operating room, among other factors. Can be. That is, although the surgical robot system 100 is shown as having three robot arms 32, 34, 36 in FIG. 1, this is for illustrating the present invention, and the number of robot arms and surgical instruments may be necessary. According to the present invention, the present invention is not limited thereto.

또한, 수술과정 동안 사용되는 수술기구(38, 40)를 교체할 필요가 있는 경우, 수술기구(38, 40)를 로봇 암으로부터 제거하고 다른 수술기구로 교체할 수 있다. 교체될 수술기구를 확인하는 것을 도와주기 위해서, 로봇 암(32, 34, 36) 각각은 셋업 조인트(setup joint)와 같은 것에 인쇄된 확인 숫자나 칼라 표시부를 가질 수 있다. In addition, if it is necessary to replace the surgical instruments 38 and 40 used during the surgical procedure, the surgical instruments 38 and 40 can be removed from the robotic arm and replaced with other surgical instruments. To help identify the surgical instrument to be replaced, each of the robot arms 32, 34, 36 may have a confirmation number or color indicator printed on such as a setup joint.

또한, 시술자가 수술부위(20)를 실제로 직접 내려다 보는 느낌을 가지도록 향해 있는 영상을 표시하도록 표시부(12)는 시술자의 손 근처에 위치될 수 있다. 이러한 목적을 위해, 수술기구(38, 40)의 영상은 실제로 시술자의 손이 위치되어 있는 곳에 배치되게 보이는 것이 바람직하다. 이를 위해, 신호처리부(16)는 내시경(30)에 의해 보여지는 대로 해당 수술기구(38, 40)의 방향을 맞추기 위해서 사용자 조작부(14)의 방향을 바꾸는 것이 바람직하다. In addition, the display unit 12 may be positioned near the operator's hand so that the operator displays an image directed to have a feeling of actually looking directly down the surgical site 20. For this purpose, it is desirable that the images of the surgical instruments 38, 40 appear to be actually placed where the operator's hand is located. To this end, it is preferable that the signal processing unit 16 changes the direction of the user manipulation unit 14 in order to orient the corresponding surgical instruments 38 and 40 as shown by the endoscope 30.

또한, 본 발명의 실시예에 따른 수술용 로봇 시스템은 시술자 시선의 움직임에 따라 내시경(30)이 구동되도록 시술자의 움직임을 추적하는 동작 추적부(60)를 포함한다. 신호처리부(16)는 동작 추적부(60)에 의해 추적된 시술자의 움직임에 동기화되는 내시경(30)의 구동신호를 생성한다. 로봇 암(34)에 부착된 내시경(30)은 신호처리부(16)에서 생성된 구동신호에 따라 시술자의 움직임에 동기하여 구동된다. 이때, 동작 추적부(60)는 적어도 하나의 카메라(62)와 카메라(62)에서 획득한 시술자의 영상에 근거하여 시술자의 움직임 에 대한 정보를 생성하는 동작 추적 프로세서(64)를 포함한다. In addition, the surgical robot system according to an embodiment of the present invention includes a motion tracking unit 60 for tracking the movement of the operator so that the endoscope 30 is driven in accordance with the movement of the operator's gaze. The signal processor 16 generates a driving signal of the endoscope 30 synchronized with the movement of the operator tracked by the motion tracker 60. The endoscope 30 attached to the robot arm 34 is driven in synchronization with the operator's movement according to the driving signal generated by the signal processor 16. At this time, the motion tracking unit 60 includes at least one camera 62 and a motion tracking processor 64 for generating information on the operator's movements based on the operator's image acquired by the camera 62.

도 1에서는 2대의 카메라(62)가 설치되는 것을 도시하였으나, 본 발명이 여기에 한정되는 것은 아니고, 필요에 따라 시술자의 움직임을 보다 정교하게 포착하기 위해 3대 이상의 카메라가 설치될 수 있다. 이때, 시술자의 머리에는 적어도 하나의 마커(marker, 70)가 부착되어 이를 기준으로 시술자의 머리의 움직임을 보다 용이하게 포착할 수 있다. 도 1에서는 시술자의 머리에 2개의 마커(70)가 부착된 것을 예시하였으나, 필요에 따라 3개 이상의 마커가 부착될 수 있음은 자명하다. 이하에서는 상기와 같은 내시경(30)의 구동방법에 대하여 상세하게 설명한다.In FIG. 1, two cameras 62 are installed, but the present invention is not limited thereto, and three or more cameras may be installed to more precisely capture the operator's movement as necessary. At this time, at least one marker (70) is attached to the operator's head so that the movement of the operator's head can be more easily captured. In FIG. 1, two markers 70 are attached to the operator's head, but it is obvious that three or more markers may be attached as necessary. Hereinafter, the driving method of the endoscope 30 as described above will be described in detail.

도 2는 본 발명의 실시예에 따른 수술용 로봇 시스템의 내시경을 구동을 설명하기 위한 블록도이다. 도시한 바와 같이, 내시경(30)을 시술자의 움직임에 동기하여 구동하기 위한 본 발명의 실시예에 따른 수술용 로봇 시스템은 적어도 하나의 카메라(62)와 동작 추적 프로세서(64)를 포함하는 동작 추적부(60), 신호처리부(16), 로봇암(34) 및 내시경(30)을 포함한다. Figure 2 is a block diagram for explaining the driving of the endoscope of the surgical robot system according to an embodiment of the present invention. As shown, the surgical robot system according to an embodiment of the present invention for driving the endoscope 30 in synchronization with the movement of the operator motion tracking including at least one camera 62 and a motion tracking processor 64 The unit 60 includes a signal processor 16, a robot arm 34, and an endoscope 30.

카메라(62)는 시술자의 움직임이 포함된 이미지를 포착하여, 이를 동작 추적 프로세서(64)로 출력한다. The camera 62 captures an image including the operator's movement and outputs it to the motion tracking processor 64.

동작 추적 프로세서(64)는 카메라(62)에 포착된 영상으로부터 시술자의 움직임의 크기 및 방향에 대한 정보를 생성한다. 예를 들어, 동작 추적 프로세서(64)는 카메라(62)에서 출력된 영상 내의 시술자의 이미지를 세그멘테이션(Segmentation)을 통해 추출하고, 영상 내에서 시술자의 이미지에 대한 영상좌표를 획득한다. 또한, 동작 추적 프로세서(64)는 시술자 이미지의 최초 영상좌표와 동작 후 현재 영상좌표를 비교하고 좌표의 변화를 계산함으로써 시술자 움직임의 크기, 방향 및 속도에 대한 정보를 생성하여 신호처리부(16)로 출력한다. 이때, 전술한 바와 같이, 시술자의 머리에 부착된 마커(70)를 이용하여 보다 용이하게 시술자의 머리 움직임에 따른 시선의 변화를 감지할 수 있다. The motion tracking processor 64 generates information about the magnitude and direction of the operator's movement from the image captured by the camera 62. For example, the motion tracking processor 64 extracts the operator's image in the image output from the camera 62 through segmentation, and obtains image coordinates of the operator's image in the image. In addition, the motion tracking processor 64 compares the initial image coordinates of the operator's image with the current image coordinates after the operation and calculates a change in the coordinates to generate information on the size, direction, and speed of the operator's movement, and sends the signal to the signal processor 16. Output In this case, as described above, the marker 70 attached to the operator's head may be used to more easily detect a change in gaze according to the operator's head movement.

신호처리부(16)는 상기와 같이 생성된 시술자 움직임의 크기 및 방향에 대한 정보에 따라 시선변화의 크기 및 방향을 예측하고, 그에 대응하는 내시경(30)의 구동 신호를 생성하여 이를 로봇암(34)으로 출력하고, 이에 의해 로봇암(34)에 부착된 내시경(30)은 시술자의 움직임 즉, 시술자의 시선 변화의 크기 및 방향에 동기하여 움직이게 된다. The signal processor 16 predicts the magnitude and direction of the gaze change according to the information on the magnitude and direction of the operator's movement generated as described above, generates a driving signal corresponding to the endoscope 30, and generates the robot arm 34. The endoscope 30 attached to the robot arm 34 is moved in synchronization with the operator's movement, that is, the size and direction of the operator's gaze change.

상기에서는 시술자의 움직임을 추적하고 그에 따라 내시경(30)의 움직임을 제어하는 방법에 대하여 예를 들어 설명하였다. 그러나 상기에서 설명한 시술자의 움직임을 추적하고 그에 대한 정보를 생성하는 방법은 본 발명을 예시하기 위한 것으로, 상기에서 설명한 바와 다른 다양한 모션 트랙킹(motion tracking) 기술을 이용하여 구현이 가능하다. In the above, the method of tracking the movement of the operator and controlling the movement of the endoscope 30 accordingly has been described as an example. However, the method of tracking the operator's movement described above and generating information about the same is for illustrating the present invention, and may be implemented using various motion tracking techniques different from those described above.

도 3은 본 발명의 실시예에 따른 수술용 로봇 시스템에 적용 가능한 내시경의 구성을 도시한 개략도이다. 도시한 바와 같이, 내시경(310)은 하우징(302), 샤프트(304), 벤딩부(306) 및 이미지 캡쳐부(308)을 포함한다. Figure 3 is a schematic diagram showing the configuration of the endoscope applicable to the surgical robot system according to an embodiment of the present invention. As shown, the endoscope 310 includes a housing 302, a shaft 304, a bending portion 306, and an image capture portion 308.

하우징(302)는 로봇 암에 탈부착될 수 있도록 구성되어 시술자의 조작에 의해 마스터 입력부에서 출력된 벤딩부(306)에 대한 구동신호를 수신하여 이를 전달한다.The housing 302 is configured to be detachably attached to the robot arm and receives and transmits a driving signal for the bending part 306 output from the master input part by the operator's manipulation.

샤프트(304)는 구동부(42)로부터 일 방향으로 연장된 관형 부재로 구성되어 벤딩부(306)의 각 부분을 연결하는 폴리 와이어(미도시)를 수용한다. 따라서 하우징(302)는 폴리 와이어를 통해 벤딩부(306)의 각 부분의 동작을 제어한다. The shaft 304 is composed of a tubular member extending in one direction from the drive part 42 to receive a poly wire (not shown) connecting each part of the bending part 306. Thus, the housing 302 controls the operation of each part of the bending portion 306 through the polywire.

벤딩부(306)은 실제 수술부위의 영상을 획득하는 이미지 캡쳐부(308)을 수술부위로 이동할 수 있도록 각 방향으로 굽혀질 수 있도록 구성된다. The bending unit 306 is configured to be bent in each direction to move the image capture unit 308 to obtain the image of the actual surgical site to the surgical site.

이미지 캡쳐부(308)는 수술부위의 2차원 또는 3차원 영상을 제공하도록 구비되는 CCD (charged-coupled device) 카메라를 포함할 수 있다. The image capture unit 308 may include a charged-coupled device (CCD) camera provided to provide a two-dimensional or three-dimensional image of the surgical site.

이 경우, 내시경(30)은 다수의 관절을 가지는 관절형 내시경일 수 있으며, 조작 가능한 유연한 내시경일 수 있다. 이하에서는 도 4 및 도 5를 참고하여 본 발명에 적용 가능한 내시경(30)의 예에 대하여 설명한다. In this case, the endoscope 30 may be an articulated endoscope having a plurality of joints, and may be a flexible endoscope operable. Hereinafter, an example of the endoscope 30 applicable to the present invention will be described with reference to FIGS. 4 and 5.

도 4는 본 발명의 실시예에 따른 수술용 로봇에 적용 가능한 관절형 내시경의 일례를 도시한다. 도시한 바와 같이, 관절형 내시경(310)은 샤프트(312)와 이미지 캡쳐부(316)가 다수의 관절을 포함하는 벤딩부(314)에 의해 연결된다. 시술자 움직임의 크기 및 방향에 대응한 내시경(310)의 구동신호가 생성되면, 이에 대응하여 내시경(310)의 벤딩부(314)의 관절들이 구동하게 되고 그에 따라 내시경(310)은 시술자의 시선 방향에 따른 영상을 표시부에 제공하게 된다. Figure 4 shows an example of an articulating endoscope applicable to the surgical robot according to an embodiment of the present invention. As shown, the articulating endoscope 310 is connected by a bending portion 314 in which the shaft 312 and the image capture portion 316 include a plurality of joints. When a driving signal of the endoscope 310 corresponding to the size and direction of the operator's movement is generated, the joints of the bending part 314 of the endoscope 310 are driven correspondingly, and thus the endoscope 310 moves in the operator's gaze direction. The image is provided to the display unit.

또한, 도 5는 본 발명의 실시예에 따른 수술용 로봇에 적용 가능한 유연한 내시경의 일례를 도시한다. 도시한 바와 같이, 유연한 내시경(320)은 유연한 재질의 샤프트(322)와 이미지 캡쳐부(326)가 유연한 재질로 형성된 벤딩부(324)에 의해 연결된다. 또한, 샤프트(322)의 내부로는 하나 이상의 광섬유 케이블(328)이 삽입되어, 광섬유 케이블(328)을 통하여 이미지 캡쳐부(326)에서 획득한 수술부위의 이미지 정보를 전송한다. 시술자 움직임의 크기 및 방향에 대응한 내시경(320)의 구동신호가 생성되면, 이에 대응하여 내시경(320)의 벤딩부(324)가 구동되어 그에 따라 내시경(320)은 시술자의 시선 방향에 따른 영상을 표시부에 제공하게 된다. In addition, Figure 5 shows an example of a flexible endoscope applicable to the surgical robot according to an embodiment of the present invention. As shown, the flexible endoscope 320 is connected by a shaft 322 of a flexible material and a bending part 324 formed of a flexible material. In addition, one or more optical fiber cables 328 may be inserted into the shaft 322 to transmit image information of the surgical region obtained by the image capture unit 326 through the optical fiber cables 328. When a driving signal of the endoscope 320 corresponding to the size and direction of the operator's movement is generated, the bending unit 324 of the endoscope 320 is driven correspondingly, so that the endoscope 320 is an image according to the operator's gaze direction. It is provided to the display unit.

도 6은 본 발명의 실시예에 따른 내시경의 구동방법을 나타낸 순서도이다. 먼저, 적어도 하나의 카메라를 이용하여 시술자 움직임의 이미지를 포착(S10)한다. 이때, 시술자의 움직임은 시술자의 머리에 부착된 마커의 움직임에 의해 포착될 수 있으며, 보다 미세한 움직임을 포착하기 위해서는 2 이상의 교정된 카메라를 사용하는 것이 바람직하다. 6 is a flowchart illustrating a method of driving an endoscope according to an embodiment of the present invention. First, an image of an operator's movement is captured by using at least one camera (S10). At this time, the movement of the operator may be captured by the movement of the marker attached to the operator's head, and it is preferable to use two or more calibrated cameras to capture finer movement.

다음으로, 시술자의 움직임에 대한 이미지를 획득 및 분석(S20)하고, 그에 따른 정보를 생성한다. 시술자 움직임에 대한 정보는 시술자 움직임의 크기, 방향 및 속도 등을 포함할 수 있다. 이때, 전술한 바와 같이, 획득한 영상 내의 시술자의 이미지를 세그멘테이션(Segmentation)을 통해 추출하고, 영상 내에서 시술자의 이미지에 대한 영상좌표를 획득한다. 또한, 시술자 이미지의 최초 영상좌표와 동작 후 현재 영상좌표를 비교하고 좌표의 변화를 계산함으로써 시술자 움직임의 크기, 방향 및 속도에 대한 정보를 생성하여 출력한다.Next, an image of the operator's movement is acquired and analyzed (S20), and information is generated accordingly. Information about the operator's movement may include the size, direction and speed of the operator's movement. In this case, as described above, the operator's image in the acquired image is extracted through segmentation, and image coordinates of the operator's image in the image are obtained. In addition, by comparing the initial image coordinates of the operator image with the current image coordinates after the operation and calculating the change in the coordinates, information about the size, direction, and speed of the operator's movement is generated and output.

다음으로, 시술자 움직임에 대한 정보에 대응하는 내시경의 구동신호를 생성(S30)한다. 이때, 시술자 움직임에 따른 실제 시선의 변화를 예측하고, 예측된 시선의 변화와 동일한 크기, 방향 및 속도를 가지도록 내시경에 대한 구동신호를 생성한다. Next, the driving signal of the endoscope corresponding to the information on the operator's movement is generated (S30). At this time, the actual gaze change according to the operator's movement is predicted, and the driving signal for the endoscope is generated to have the same size, direction, and speed as the predicted gaze change.

다음으로, 생성된 구동신호를 내시경으로 전송하여 시술자의 움직임에 따라 시술자가 실제로 수술부위를 바라보는 것과 동일한 효과를 나타낼 수 있도록 내시경을 구동(S40)한다. Next, by driving the generated driving signal to the endoscope to drive the endoscope so that the operator can have the same effect as the operator actually looking at the surgical site (S40).

상기와 같은 본 발명의 실시예에 따른 수술용 로봇 시스템 및 내시경의 구동방법에 따르면 시술자는 별도의 수동 조작 없이 실제 시술하는 것과 마찬가지의 움직임에 의해 내시경을 구동할 수 있게 된다. 따라서 내시경 조작을 위한 별도의 수련을 필요로 하지 않고 쉽게 내시경을 조작할 수 있게 된다. 또한, 시술자가 시술 시 보다 직관적인 느낌을 가질 수 있게 되므로, 보다 빠르고 정교한 수술을 진행할 수 있다. According to the driving method of the surgical robot system and the endoscope according to the embodiment of the present invention as described above, the operator can drive the endoscope by the same movement as the actual procedure without a separate manual operation. Therefore, the endoscope can be easily manipulated without requiring a separate training for the endoscope manipulation. In addition, the operator can feel more intuitive during the procedure, it is possible to proceed faster and more sophisticated surgery.

상기에서 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다. While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Of course.

10: 마스터 입력장치 12: 표시부
14: 사용자 조작부 16: 신호처리부
20: 수술부위 30: 내시경
32, 34, 36: 로봇 암 38, 40: 수술기구
50: 신호버스 60: 동작 추적부
62: 카메라 64: 동작 추적 프로세서
302: 하우징 304, 312, 322: 샤프트
306, 314, 324: 벤딩부 308, 316, 326: 이미지 캡쳐부10: master input device 12: display unit
14: user control unit 16: signal processing unit
20: surgical site 30: endoscope
32, 34, 36: robot arm 38, 40: surgical instrument
50: signal bus 60: motion tracking unit
62: camera 64: motion tracking processor
302: housing 304, 312, 322: shaft
306, 314, 324: bending part 308, 316, 326: image capturing part

Claims

Motion tracking unit for tracking the movement of the operator,
A signal processor for generating a driving signal synchronized with the movement of the operator tracked by the motion tracking unit;
Endoscope driven in synchronization with the operator's movement in accordance with the drive signal
Surgical robotic system comprising a.

The method according to claim 1,
The motion tracking unit,
At least one camera for obtaining an image of the operator's movement, and
Motion tracking processor for analyzing the image acquired by the camera to generate information about the operator's movement
Surgical robotic system comprising a.

The method of claim 2,
The motion tracking processor is a surgical robot system for analyzing the movement of at least one marker attached to the operator's head to generate information about the operator's movement.

The method according to claim 1,
The endoscope is a surgical robot system is a jointed endoscope having a plurality of joints.

The method according to claim 1,
The endoscope is a surgical robot system that can be operated flexible endoscope.

Tracking the operator's movements,
Generating a driving signal synchronized with the operator's movement, and
Driving an endoscope in synchronization with the operator's movement according to the driving signal;
Endoscope driving method of the surgical robot system comprising a.

The method of claim 6,
Tracking the movement of the operator,
Obtaining an image of the operator's movement,
Analyzing the obtained image, and
Generating information on the operator's movement based on the analysis
Endoscope driving method of the surgical robot system comprising a.

The method of claim 7, wherein
Analyzing the obtained image,
An endoscope driving method of a surgical robot system comprising the step of analyzing the movement of the marker attached to the operator's head.