KR20240071341A

KR20240071341A - robot system for assist endoscope

Info

Publication number: KR20240071341A
Application number: KR1020230158386A
Authority: KR
Inventors: 진상록
Original assignee: 부산대학교 산학협력단; (주)이롭
Priority date: 2022-11-15
Filing date: 2023-11-15
Publication date: 2024-05-22

Abstract

본 발명은 수술도구에 설치되도록 구성되는 조작부; 내시경이 설치되도록 구성되는 로봇 암; 상기 내시경에 의해 촬영되는 영상에서 상기 수술도구의 동작을 인식하는 도구 인식 모듈; 상기 수술도구의 동작을 추적하는 추적 모듈; 상기 로봇 암의 관절 동작에 따라 상기 내시경이 복강 내에 삽입된 깊이를 인식하는 깊이 인식 모듈; 상기 내시경에 의해 촬영되는 영상을 표시하는 디스플레이 모듈; 및 상기 로봇 암의 동작을 제어하는 제어 모듈;을 포함하며, 상기 제어 모듈은, 상기 깊이 인식 모듈에 의해 인식된 상기 내시경이 복강 내에 삽입된 깊이에 따라 상기 내시경의 촬영각도를 변화시키는 상기 로봇 암의 동작 속도를 제어하는 내시경 보조 로봇 시스템을 제공한다.The present invention includes an operating unit configured to be installed on a surgical tool; A robotic arm configured to install an endoscope; a tool recognition module that recognizes the operation of the surgical tool in the image captured by the endoscope; a tracking module that tracks the movement of the surgical tool; a depth recognition module that recognizes the depth at which the endoscope is inserted into the abdominal cavity according to the joint motion of the robot arm; a display module that displays images captured by the endoscope; and a control module that controls the operation of the robot arm, wherein the control module changes the imaging angle of the endoscope according to the depth at which the endoscope is inserted into the abdominal cavity recognized by the depth recognition module. Provides an endoscope-assisted robot system that controls the operation speed.

Description

Endoscope assistance robot system {robot system for assist endoscope}

본 발명은 복강경 수술 등에서 사용되는 내시경을 자동으로 촬영하도록 하는 내시경 보조 로봇 시스템에 관한 것이다.The present invention relates to an endoscope assistance robot system that automatically takes pictures of an endoscope used in laparoscopic surgery, etc.

복강경 수술은 복부를 절개하지 않고, 천공하여 천공된 구멍을 통하여 수술을 진행 하는 것으로서, 수술 후 경과가 양호하고 빠르다는 장점이 있어, 최근 복부 수술 등에서 많이 실시되고 있다.Laparoscopic surgery is performed through a perforated hole without making an incision in the abdomen. It has the advantage of good and fast postoperative course, and has recently been widely performed in abdominal surgery.

이러한 복강경 수술에서는 복부를 절개하지 않으므로, 복부 내부 시야를 확보하기 위하여 내시경을 사용한다.Since this laparoscopic surgery does not incise the abdomen, an endoscope is used to secure a view inside the abdomen.

복강경 수술 초기에는 집도의가 한손으로는 내시경을 파지하고 다른손으로 수술도구를 파지하여 집도를 하거나, 또는 집도의 이외의 인원이 내시경을 조작하여 수술을 실시하였다.In the early days of laparoscopic surgery, the surgeon held the endoscope with one hand and the surgical tool with the other hand, or a person other than the surgeon operated the endoscope to perform the surgery.

이후, 내시경을 자동으로 조작하는 보조 로봇이 개발되었다.Afterwards, an auxiliary robot that automatically operates the endoscope was developed.

예를 들면, 먼저, 음성 명령으로 전용 복강경 카메라를 조작하는 수술 보조 로봇이 있으나, 수술 중 음성인식의 정확도가 낮아 좋은 평가를 받지 못했다. For example, there is a surgical assistant robot that operates a dedicated laparoscopic camera with voice commands, but it did not receive good reviews due to the low accuracy of voice recognition during surgery.

다음, 공압 구동 내시경 조작 로봇으로서, 헤드 센서를 장착한 의사가 머리를 기울이는 동작을 감지하여 로봇이 내시경을 제어하는 시스템이 있으나, 머리에 부착한 센서를 사용하는 특성상 의사의 자세가 고정된 상태로 수술을 진행해야 하기 때문에 동작이 제한되고 불편하다. Next, as a pneumatically driven endoscope manipulation robot, there is a system in which the robot controls the endoscope by detecting the head tilting motion of a doctor equipped with a head sensor. However, due to the nature of using a sensor attached to the head, the doctor's posture is fixed. Because surgery is required, movement is limited and uncomfortable.

다음, 범용 복강경 카메라를 지지하는 수술보조로봇으로서 소형 조이스틱을 수술도구에 부착하여 로봇을 조작하는 형태의 시스템이 있으나, 손 크기가 작은 사람의 경우 조작이 어렵다는 문제가 있다. Next, there is a system that operates the robot by attaching a small joystick to the surgical tool as a surgical assistant robot that supports a general-purpose laparoscopic camera, but there is a problem that it is difficult to operate for people with small hands.

다은, 전용 복강경 카메라를 지지하는 수술 보조 로봇으로서 페달로 로봇을 조작하는 시스템으로서, 의사가 양손 모두 자유롭게 수술 가능하다는 장점이 있지만, 페달로 제어하는 방법은 수술자가 한 다리로 체중을 지지하고 수술을 진행하게 되어 수술의 피로도가 상승한다는 문제가 있다.Next, it is a surgical assistant robot that supports a dedicated laparoscopic camera. It is a system that operates the robot with pedals. It has the advantage of allowing the doctor to operate freely with both hands, but the pedal-controlled method allows the operator to support the body weight with one leg and perform the surgery. There is a problem that fatigue from surgery increases as it progresses.

KRKR 10-2022-0029314 10-2022-0029314 AA

이에, 본 발명은 상기한 종래의 문제점에 착안하여 이를 해결하기 위하여 안출된 것으로서, 복강경 수술시 의사의 양손이 자유롭게 수술 진행이 가능하며, 의사가 수술 중 사용하는 양 손의 수술도구를 내시경 화면에서 인식하여 수술도구의 움직임에 따라 내시경 보조 로봇을 조작하는 내시경 보조 로봇 시스템을 제공하고자 한다.Accordingly, the present invention was developed to solve the above-described conventional problems. During laparoscopic surgery, both hands of the doctor can freely perform the surgery, and the surgical tools in both hands that the doctor uses during the surgery can be displayed on the endoscope screen. The goal is to provide an endoscope assistance robot system that recognizes and operates the endoscope assistance robot according to the movement of surgical tools.

상기한 목적을 달성하기 위하여, 본 발명은 수술도구에 설치되도록 구성되는 조작부; 내시경이 설치되도록 구성되는 로봇 암; 상기 내시경에 의해 촬영되는 영상에서 상기 수술도구의 동작을 인식하는 도구 인식 모듈; 상기 수술도구의 동작을 추적하는 추적 모듈; 상기 로봇 암의 관절 동작에 따라 상기 내시경이 복강 내에 삽입된 깊이를 인식하는 깊이 인식 모듈; 상기 내시경에 의해 촬영되는 영상을 표시하는 디스플레이 모듈; 및 상기 로봇 암의 동작을 제어하는 제어 모듈;을 포함하며, 상기 제어 모듈은, 상기 깊이 인식 모듈에 의해 인식된 상기 내시경이 복강 내에 삽입된 깊이에 따라 상기 내시경의 촬영각도를 변화시키는 상기 로봇 암의 동작 속도를 제어하는 내시경 보조 로봇 시스템을 제공한다.In order to achieve the above object, the present invention includes an operation unit configured to be installed on a surgical tool; A robotic arm configured to install an endoscope; a tool recognition module that recognizes the operation of the surgical tool in the image captured by the endoscope; a tracking module that tracks the operation of the surgical tool; a depth recognition module that recognizes the depth at which the endoscope is inserted into the abdominal cavity according to the joint motion of the robot arm; a display module that displays images captured by the endoscope; and a control module that controls the operation of the robot arm, wherein the control module changes the imaging angle of the endoscope according to the depth at which the endoscope is inserted into the abdominal cavity recognized by the depth recognition module. Provides an endoscope-assisted robot system that controls the operation speed.

상기 내시경이 복강 내에 삽입된 깊이를 감지하는 깊이센서를 더 포함하며, 상기 깊이 인식 모듈은 상기 깊이센서에 의해 상기 내시경이 복강 내에 삽입된 깊이를 인식하고, 상기 제어 모듈은 상기 깊이 인식 모듈에 의해 인식된 상기 내시경이 복강 내에 삽입된 깊이에 따라 상기 내시경의 촬영각도를 변화시키는 상기 로봇 암의 동작 속도를 제어하는 것이 바람직하다.It further includes a depth sensor that detects the depth at which the endoscope is inserted into the abdominal cavity, wherein the depth recognition module recognizes the depth at which the endoscope is inserted into the abdominal cavity by the depth sensor, and the control module detects the depth at which the endoscope is inserted into the abdominal cavity by the depth recognition module. It is desirable to control the operating speed of the robot arm that changes the imaging angle of the endoscope according to the recognized depth at which the endoscope is inserted into the abdominal cavity.

상기 도구 인식 모듈은, 미리 학습된 수술도구 이미지를 이용하여 상기 수술도구의 종류를 추가로 인식하는 것이 바람직하다.It is preferable that the tool recognition module additionally recognizes the type of surgical tool using a pre-learned surgical tool image.

상기 제어 모듈은, 기설정된 수술도구의 동작이 상기 도구 인식 모듈에 의해 인식되면, 상기 추적 모듈을 활성화 또는 비활성화하는 것이 바람직하다.The control module preferably activates or deactivates the tracking module when the operation of a preset surgical tool is recognized by the tool recognition module.

상기 조작부는, 상기 수술도구가 상기 조작부에 고정되도록 하는 고정 노브;상기 내시경에 의해 촬영되는 영상의 줌인/줌아웃을 조절하는 줌 스위치; 상기 도구 인식 모듈과 상기 추적 모듈을 활성화 또는 비활성화하는 활성화 스위치; 및 상기 도구 인식 모듈과 상기 추적 모듈의 활성화 여부를 나타내는 상태표시부;를 포함하는 것이 바람직하다.The operating unit includes: a fixing knob for fixing the surgical tool to the operating unit; a zoom switch for controlling zoom-in/zoom-out of an image captured by the endoscope; an activation switch to activate or deactivate the tool recognition module and the tracking module; and a status display unit indicating whether the tool recognition module and the tracking module are activated.

본 발명에 따른 내시경 보조 로봇 시스템에 의하면, 다음과 같은 효과를 얻을 수 있다.According to the endoscope assistance robot system according to the present invention, the following effects can be obtained.

로봇 암의 제어를 조작하는 조작부를 별도의 기구로 하지 않고, 수술에 사용되는 수술도구에 직접 설치함으로써 조작의 편의성이 향상된다.Convenience in operation is improved by installing the operation unit that controls the robot arm directly on the surgical tool used in surgery, rather than using a separate device.

내시경이 복강 내에 삽입된 깊이에 따라 로봇 암의 동작 속도를 제어하여 내시경의 촬영각도를 변화시키기 때문에, 내시경의 깊이와 관계없이 일정한 감각으로 수술이 가능하다.Because the operating speed of the robot arm is controlled according to the depth at which the endoscope is inserted into the abdominal cavity and the imaging angle of the endoscope is changed, surgery is possible with a constant sense regardless of the depth of the endoscope.

수술도구의 인식 및 추적을 내시경에 의해 촬영되는 영상을 통하여 자동으로 행하므로, 내시경의 영상구도를 별도로 조작하지 않고, 수술에만 집중이 가능하다.Since the recognition and tracking of surgical tools is performed automatically through images captured by the endoscope, it is possible to focus only on the surgery without separately manipulating the image composition of the endoscope.

조작부의 동작과는 별도로 수술도구의 동작을 인식하여 수술도구 추적의 활성화 및 비활성화가 가능하다.It is possible to activate and deactivate surgical tool tracking by recognizing the movement of the surgical tool separately from the operation of the control panel.

도 1은 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 내시경 보조 로봇이 실제 구현예이다.
도 3은 조작부가 수술도구에 설치된 모습을 나타낸 사시도이다.
도 4는 조작부가 수술도구와 분리된 모습을 나타낸 사시도이다.
도 5는 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템에 의해 수술도구의 끝단 동작이 인식되는 과정을 나타내는 모습을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템에서 내시경이 복강 내에 삽입된 깊이에 따라 영상에서 인식되는 거리의 차이를 나타낸 개념도이다.
도 7은 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템의 내시경 영상 화면에서 실시간으로 수술도구의 종류, 움직임을 인식하여 위치를 추적하는 기능의 동작 화면을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템의 동작 및 제어과정을 나타낸 순서도이다.1 is a schematic diagram of an endoscope assistance robot system according to an embodiment of the present invention.
Figure 2 is an actual implementation of an endoscope assistance robot according to an embodiment of the present invention.
Figure 3 is a perspective view showing the operation unit installed on the surgical tool.
Figure 4 is a perspective view showing the control unit separated from the surgical tool.
Figure 5 shows a process in which the tip motion of a surgical tool is recognized by the endoscope assistance robot system according to an embodiment of the present invention.
Figure 6 is a conceptual diagram showing the difference in distance recognized in the image according to the depth at which the endoscope is inserted into the abdominal cavity in the endoscope assistance robot system according to an embodiment of the present invention.
Figure 7 shows an operation screen of a function that recognizes the type and movement of a surgical tool and tracks its position in real time on the endoscope image screen of the endoscope assistance robot system according to an embodiment of the present invention.
Figure 8 is a flowchart showing the operation and control process of the endoscope assistance robot system according to an embodiment of the present invention.

본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 기술되어야 할 것이다.The above objects, features and other advantages of the present invention will become more apparent by describing the preferred embodiments of the present invention in detail with reference to the accompanying drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be described based on the content throughout this specification.

또한, 기술되는 실시예는 발명의 설명을 위해 예시적으로 제공되는 것이며, 본 발명의 기술적 범위를 한정하는 것은 아니다.Additionally, the described embodiments are provided as examples for explanation of the invention and do not limit the technical scope of the invention.

이하, 첨부된 도 1 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템을 상세히 설명한다.Hereinafter, an endoscope assistance robot system according to an embodiment of the present invention will be described in detail with reference to the attached FIGS. 1 to 7.

도 1에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템은, 조작부(100), 로봇 암(200), 메인 모듈(1000) 및 디스플레이 모듈(700)을 포함한다.As shown in FIG. 1, the endoscope assistance robot system according to an embodiment of the present invention includes a manipulation unit 100, a robot arm 200, a main module 1000, and a display module 700.

먼저, 도 2에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 내시경 보조 로봇 시스템을 개략적으로 설명하면, 사용자(집도의 등)가 수술도구(10)를 동작시키면 내시경(20)에 의해 촬영되는 영상에서 수술도구(10)를 인식하고 그 움직임을 추적하여 내시경(20)이 설치된 로봇 암(200)이 동작하도록 구성된다. First, as shown in FIG. 2, schematically explaining the endoscope assistance robot system according to an embodiment of the present invention, when a user (such as a surgeon) operates the surgical tool 10, the image taken by the endoscope 20 is The robot arm 200 on which the endoscope 20 is installed operates by recognizing the surgical tool 10 in the image and tracking its movement.

도 3 및 도 4에 나타낸 바와 같이, 조작부(100)는 수술시 사용되는 수술도구(10)에 설치되도록 구성된다.As shown in Figures 3 and 4, the manipulation unit 100 is configured to be installed on the surgical tool 10 used during surgery.

조작부(100)는 수술도구(10)에 끼워져서 설치되도록 구성될 수 있다. 조작부(100)는 고정 노브(110), 활성화 스위치(120), 줌 스위치(130) 및 상태표시부(140)를 포함한다.The manipulation unit 100 may be configured to be installed by being inserted into the surgical tool 10. The manipulation unit 100 includes a fixing knob 110, an activation switch 120, a zoom switch 130, and a status display unit 140.

고정 노브(110)는 조작부(100)의 일측에 위치하여, 수술도구(10)가 조작부(100)에 끼워진 상태에서 수술도구(10)가 조작부(100)에 고정 설치되도록 한다.The fixing knob 110 is located on one side of the manipulation unit 100 so that the surgical tool 10 is fixedly installed on the manipulation unit 100 while the surgical tool 10 is inserted into the manipulation unit 100 .

일례로서 고정 노브(110)는 나사로 구성되어, 수술도구(10)가 조작부(100)에 끼워진 상태에서 고정 노브(110)를 조여서 수술도구(10)가 조작부(100)에 고정 설치되도록 구성될 수 있다.As an example, the fixing knob 110 is made of a screw, and the surgical tool 10 can be fixed to the operating unit 100 by tightening the fixing knob 110 while the surgical tool 10 is inserted into the operating unit 100. there is.

활성화 스위치(120)는 조작부(100)에 설치되며, 사용자가 활성화 스위치(120)를 조작함으로써, 후술하는 도구 인식 모듈(300) 및 추적 모듈(400)이 활성화 또는 비활성화 된다.The activation switch 120 is installed on the operating unit 100, and when the user operates the activation switch 120, the tool recognition module 300 and the tracking module 400, which will be described later, are activated or deactivated.

활성화 스위치(120)는 버튼 방식의 스위치로 구성 될 수 있으나, 이에 한정되는 것은 아니다.The activation switch 120 may be configured as a button-type switch, but is not limited to this.

줌 스위치(130)는 조작부(100)에 설치되며, 사용자가 줌 스위치(130)를 조작함으로써, 후술하는 내시경(20)에 의해 촬영되는 영상의 줌인/줌아웃을 조절할 수 있다.The zoom switch 130 is installed on the operating unit 100, and by manipulating the zoom switch 130, the user can adjust the zoom in/zoom out of the image captured by the endoscope 20, which will be described later.

줌 스위치(130)는 휠 방식의 스위치로 구성 될 수 있으나, 이에 한정되는 것은 아니다.The zoom switch 130 may be configured as a wheel-type switch, but is not limited to this.

상기한 활성화 스위치(120) 및 줌 스위치(130)는 조작부(100)가 수술도구(10)에 설치된 상태에서, 사용자가 수술도구(10)를 사용시에 사용자의 손가락이 닿을 수 있는 위치에 배치된다.The above-mentioned activation switch 120 and zoom switch 130 are placed in a position where the user's fingers can reach when the user uses the surgical tool 10 while the manipulation unit 100 is installed on the surgical tool 10. .

상태표시부(140)는 조작부(100)에 설치되어, 후술되는 도구 인식 모듈(300) 및 추적 모듈(400)의 활성화 또는 비활성화 상태가 표시된다. 상태표시부(140)의 구성은 도구 인식 모듈(300) 및 추적 모듈(400)의 활성화 여부에 따라 ON/OFF 되는 LED로 구성될 수 있으나, 이에 한정 되지 않고, 디스플레이 등 도구 인식 모듈(300) 및 추적 모듈(400)의 활성화 또는 비활성화 상태를 사용자가 인식할 수 있는 구성으로 이루어질 수 있다.The status display unit 140 is installed on the operation unit 100 and displays the activation or deactivation status of the tool recognition module 300 and the tracking module 400, which will be described later. The status display unit 140 may be composed of an LED that turns on/off depending on whether the tool recognition module 300 and the tracking module 400 are activated, but is not limited to this and includes a display, etc. of the tool recognition module 300 and It may be configured so that the user can recognize the activation or deactivation state of the tracking module 400.

로봇 암(200)은 내시경(20)이 설치된다, 로봇 암(200)은 다관절 형태로 이루어져, 내시경(20)이 설치된 상태에서 로봇 암(200)이 동작함에 따라 내시경(20)이 복강 내에 삽입되며, 또한, 복강 내에서 이동함에 따라 내시경(20)에 의해 촬영되는 영상의 구도가 변화된다.The robot arm 200 is equipped with an endoscope 20. The robot arm 200 is made of a multi-joint form, and as the robot arm 200 operates with the endoscope 20 installed, the endoscope 20 is placed in the abdominal cavity. As it is inserted and moves within the abdominal cavity, the composition of the image captured by the endoscope 20 changes.

또한, 후술하는 추적 모듈(400)에 의한 로봇 암(200)의 수술도구(10) 추적 동작에 의해, 내시경(20)이 수술도구(10)를 추적하면서 수술부위 및 수술도구(10)의 촬영이 이루어지게 된다.In addition, by tracking the surgical tool 10 of the robot arm 200 by the tracking module 400, which will be described later, the endoscope 20 tracks the surgical tool 10 and takes pictures of the surgical site and the surgical tool 10. This will come true.

메인 모듈(1000)은 조작부(100) 및 로봇 암(200)과 연결된다. 메인 모듈(1000)은 내시경(20)에 의해 조작부(100)에 설치된 수술도구(10)의 영상을 인식하고, 이에 따라 로봇 암(200)의 동작을 제어하여 수술도구(10)를 인식하고 추적한다.The main module 1000 is connected to the manipulation unit 100 and the robot arm 200. The main module 1000 recognizes the image of the surgical tool 10 installed on the operating unit 100 by the endoscope 20, and controls the operation of the robot arm 200 accordingly to recognize and track the surgical tool 10. do.

도 1에 나타낸 바와 같이, 메인 모듈(1000)은 도구 인식 모듈(300), 추적 모듈(400), 깊이 인식 모듈(500) 및 제어 모듈(600)을 포함한다.As shown in Figure 1, the main module 1000 includes a tool recognition module 300, a tracking module 400, a depth recognition module 500, and a control module 600.

도구 인식 모듈(300)은 내시경(20)에 의해 촬영되는 영상에서 수술도구(10)의 움직임을 인식한다.The tool recognition module 300 recognizes the movement of the surgical tool 10 in the image captured by the endoscope 20.

도구 인식 모듈(300)은 내시경(20)에 의해 촬영되는 영상에서 수술도구(10)가 움직이는 경우, 이를 동작하는 것으로 인식한다.If the surgical tool 10 moves in the image captured by the endoscope 20, the tool recognition module 300 recognizes it as operating.

도구 인식 모듈(300)은 미리 학습된 여러 수술도구(10)의 이미지를 이용하여, 내시경(20)에 의해 촬영되는 영상의 수술도구(10)의 종류를 인식할 수 있으며, 또한, 수술도구(10)의 동작 중 기설정된 동작을 인식할 수 있다. 상기 기설정된 동작은 수술도구(10)에 따라서 미리 설정된다. The tool recognition module 300 can recognize the type of surgical tool 10 in the image captured by the endoscope 20 using images of various surgical tools 10 that have been learned in advance, and can also recognize the type of surgical tool 10 in the image captured by the endoscope 20. Among the operations in 10), preset operations can be recognized. The preset operation is preset according to the surgical tool (10).

도 5를 참조하면, 도구 인식 모듈(300)은 수술도구(10)의 단부(11)의 움직임을 인식하여 조작부(100)에 의해 내시경(20)이 설치된 로봇 암(200)의 조작을 담당할 수술도구(10)를 특정하고 추적 제어의 활성화 및 비활성화 여부를 제어 모듈(600)에 입력한다.Referring to FIG. 5, the tool recognition module 300 recognizes the movement of the end 11 of the surgical tool 10 and is responsible for manipulating the robot arm 200 on which the endoscope 20 is installed by the manipulation unit 100. The surgical tool 10 is specified and whether tracking control is activated or deactivated is input to the control module 600.

예를 들면, 2개의 수술도구(10)로 수술을 하는 중, 오른손에 들고 있는 수술도구(10)의 단부(11)인 그리퍼 부분을 3회 열고 닫는 동작(기설정된 동작)을 취하면 도구 인식모듈은 해당 수술도구(10)를 인식하고 추적하여 내시경(20) 보조 로봇을 조작할 수 있다. 원하는 로봇 암(200)의 동작을 마치고 수술도구(10)의 그리퍼를 2회 열고 닫는 동작(기설정된 동작)을 하면 추적 모듈(400)이 비활성화되어 로봇 암(200)을 멈추고 수술을 재개할 수 있다. 상기 기설정된 동작은 수술도구(10)에 따라서 미리 설정된다. For example, during surgery with two surgical tools 10, if the gripper part, which is the end 11 of the surgical tool 10 held in the right hand, is opened and closed three times (a preset action), the tool is recognized. The module can recognize and track the corresponding surgical tool 10 and operate the endoscope 20 auxiliary robot. When the desired operation of the robot arm 200 is completed and the gripper of the surgical tool 10 is opened and closed twice (preset operation), the tracking module 400 is deactivated, allowing the robot arm 200 to be stopped and the surgery to be resumed. there is. The preset operation is preset according to the surgical tool (10).

추적 모듈(400)은 도구 인식 모듈(300)에 의해 인식된 수술도구(10)의 움직임을 추적한다.The tracking module 400 tracks the movement of the surgical tool 10 recognized by the tool recognition module 300.

추적 모듈(400)은 각 수술도구(10)에 따라 미리 학습된 추적 알고리즘 또는 경로 알고리즘을 통하여, 수술도구(10)의 움직임을 추적하는 신호를 생성한다.The tracking module 400 generates a signal that tracks the movement of the surgical tool 10 through a tracking algorithm or path algorithm learned in advance according to each surgical tool 10.

깊이 인식 모듈(500)은 로봇 암(200)에 설치된 내시경(20)이 복강 내에 삽입된 깊이를 인식한다.The depth recognition module 500 recognizes the depth at which the endoscope 20 installed on the robot arm 200 is inserted into the abdominal cavity.

깊이 인식 모듈(500)은 로봇 암(200)의 관절 동작 정도에 따라, 로봇 암(200)에 설치된 내시경(20)이 복강 내에 어느 정도 깊이로 삽입되어 있는지를 인식할 수 있다.The depth recognition module 500 can recognize to what depth the endoscope 20 installed on the robot arm 200 is inserted into the abdominal cavity according to the degree of joint motion of the robot arm 200.

또한, 내시경(20)이나 로봇 암(200)에 별도의 깊이센서(미도시)가 설치되고, 이 깊이센서에 의해 감지되는 정보를 이용하여 로봇 암(200)에 설치된 내시경(20)이 복강 내에 어느 정도 깊이로 삽입되어 있는지를 인식할 수도 있다.In addition, a separate depth sensor (not shown) is installed on the endoscope 20 or the robot arm 200, and the endoscope 20 installed on the robot arm 200 is inserted into the abdominal cavity using the information detected by the depth sensor. It is also possible to recognize to what depth it is inserted.

제어 모듈(600)은 내시경(20)이 설치된 로봇 암(200)의 동작을 제어하며, 로봇 암(200)의 동작에 따라 내시경(20)이 복강 내에 삽입되는 정도나, 촬영구도가 변화된다.The control module 600 controls the operation of the robot arm 200 on which the endoscope 20 is installed, and the extent to which the endoscope 20 is inserted into the abdominal cavity and the imaging composition change depending on the operation of the robot arm 200.

제어 모듈(600)은 상기한 추적 모듈(400) 및 깊이 인식 모듈(500)에서 입력되는 신호에 따라 로봇 암(200)을 제어한다.The control module 600 controls the robot arm 200 according to signals input from the tracking module 400 and the depth recognition module 500.

구체적으로, 제어 모듈(600)은 추적 모듈(400)에서 각 수술도구(10)에 따라 미리 학습된 추적 알고리즘 또는 경로 알고리즘을 통하여 생성되는 신호에 따라 내시경(20)이 수술도구(10)를 추적하여 영상을 촬영하도록 로봇 암(200)의 동작을 제어한다.Specifically, the control module 600 allows the endoscope 20 to track the surgical tool 10 according to a signal generated through a tracking algorithm or path algorithm learned in advance for each surgical tool 10 in the tracking module 400. The operation of the robot arm 200 is controlled to capture images.

또한, 제어 모듈(600)은 깊이 인식 모듈(500)에 의해 인식된 내시경(20)이 복강 내에 삽입된 깊이에 따라 상기 내시경(20)의 촬영각도를 변화시키는 상기 로봇 암(200)의 동작 속도를 제어한다.In addition, the control module 600 controls the operating speed of the robot arm 200 to change the imaging angle of the endoscope 20 according to the depth at which the endoscope 20 is inserted into the abdominal cavity recognized by the depth recognition module 500. control.

내시경(20)에 의해 촬영되어 표시되는 2차원 화면에서는 수술도구(10)와 내시경(20)이 복강내에 삽입된 깊이 방향의 거리를 인식하기 어렵다.In the two-dimensional screen captured and displayed by the endoscope 20, it is difficult to recognize the distance in the depth direction at which the surgical tool 10 and the endoscope 20 are inserted into the abdominal cavity.

따라서, 도 6에 나타낸 바와 같이, 같은 화면에서도 내시경(20)의 깊이 방향의 거리가 서로 다를 경우 2차원 화면에서 같은 거리를 이동하려고 할 때 내시경(20)이 이동하는 각도가 달라져야 한다. Therefore, as shown in FIG. 6, if the depth direction distances of the endoscope 20 are different even in the same screen, the angle at which the endoscope 20 moves must be different when trying to move the same distance on the two-dimensional screen.

이를 위해 로봇 암(200)의 이동 동작 속도와 영상의 이동 속도를 비교하여 로봇 암(200)의 동작 속도를 제어한다.To this end, the movement speed of the robot arm 200 is controlled by comparing the movement speed of the robot arm 200 with the movement speed of the image.

즉, 내시경(20)이 깊이 들어간 경우, 제어 모듈(600)은, 로봇 암(200)의 동작 속도를 증가시키고 내시경(20)이 얕게 위치하는 경우, 제어 모듈(600)은 로봇 암(200)의 동작 속도를 감소시켜서 사용자고 화면으로 느끼기에 화면 이동의 속도가 일정 범위 안에서 유지되도록 한다.That is, when the endoscope 20 is positioned deeply, the control module 600 increases the operating speed of the robot arm 200, and when the endoscope 20 is positioned shallowly, the control module 600 increases the operating speed of the robot arm 200. By reducing the operation speed of the screen, the speed of screen movement is maintained within a certain range so that the user can feel the screen.

디스플레이 모듈(700)은 내시경(20)에 의해 촬영되는 영상, 도구 인식 모듈(300)에 의해 인식 되는 도구 정보, 추적 모듈(400)에 의한 추적 경로 등을 표시한다.The display module 700 displays images captured by the endoscope 20, tool information recognized by the tool recognition module 300, and a tracked path by the tracking module 400.

즉, 도 7에 나타낸 바와 같이, 상기한 제어 모듈(600)을 통한 로봇 암(200)의 동작 제어에 의한 내시경(20)의 촬영영상과 상기 정보, 경로 등이 디스플레이 모듈(700)에 표시된다.That is, as shown in FIG. 7, the captured image of the endoscope 20, the information, the path, etc. by controlling the operation of the robot arm 200 through the control module 600 are displayed on the display module 700. .

도 8을 더 참조하여, 내시경 보조 로봇 시스템의 동작을 설명한다.With further reference to FIG. 8, the operation of the endoscope assistance robot system will be described.

먼저, 로봇 암(200)에 의해 파지된 내시경(20)과 함께 수술도구(10)가 복강 내에 삽입된다.First, the surgical tool 10 together with the endoscope 20 held by the robot arm 200 are inserted into the abdominal cavity.

다음, 복강 내의 영상이 수술도구(10)와 함께 내시경(20)에 의해 촬영된다(S100).Next, images within the abdominal cavity are captured by the endoscope 20 together with the surgical tool 10 (S100).

다음, 도구 인식 모듈(300)은 수술도구(10)의 단부(11)의 움직임을 인식하여 조작부(100)에 의해 내시경(20)이 설치된 로봇 암(200)의 조작을 담당할 수술도구(10)를 특정하고 추적 제어의 활성화 및 비활성화 여부를 제어 모듈(600)에 입력하거나, 또는, 조작부(100)의 활성화 스위치(120) 동작 여부에 따라 추적 제어의 활성화 및 비활성화 여부를 제어 모듈(600)에 입력한다(S200).Next, the tool recognition module 300 recognizes the movement of the end 11 of the surgical tool 10 and uses the surgical tool 10 to operate the robot arm 200 on which the endoscope 20 is installed by the manipulation unit 100. ) is specified and input into the control module 600 whether to activate or deactivate the tracking control, or the control module 600 determines whether to activate or deactivate the tracking control depending on whether the activation switch 120 of the operation unit 100 is operated. Enter (S200).

도구 인식 모듈(300) 에서 수술도구(10)의 단부(11)의 설정된 움직임이 인식되지 않거나, 활성화 스위치(120)가 OFF 인 경우에는 수술도구(120)의 추적이 비활성화 되며(S300), 수술도구(10)의 단부(11)의 설정된 움직임이 인식되거나, 활성화 스위치(120)가 ON인 경우에는 수술도구(10)의 추적이 활성화 된다(S400).If the set movement of the end 11 of the surgical tool 10 is not recognized in the tool recognition module 300 or the activation switch 120 is OFF, tracking of the surgical tool 120 is deactivated (S300), and the surgery When the set movement of the end 11 of the tool 10 is recognized or the activation switch 120 is ON, tracking of the surgical tool 10 is activated (S400).

다음, 수술 도구(10)를 추적하면서 복강 내 영상의 촬영이 이루어진다(S400).Next, an intra-abdominal image is captured while tracking the surgical tool 10 (S400).

상기와 같이, 도구 인식 모듈(300)에서 수술도구(10)의 추적이 활성화 되는 경우, 추적 모듈(400)은 미리 학습된 추적 알고리즘 또는 경로 알고리즘을 통하여, 수술도구(10)의 움직임을 추적하는 신호를 생성하여 제어 모듈(600)로 보낸다.As described above, when tracking of the surgical tool 10 is activated in the tool recognition module 300, the tracking module 400 tracks the movement of the surgical tool 10 through a pre-learned tracking algorithm or path algorithm. A signal is generated and sent to the control module 600.

제어 모듈(600)은 상기 추적 신호에 따라 로봇 암(200)의 동작을 제어하여 내시경(20)이 수술도구(10)의 움직임을 추적하여 촬영이 이루어지도록 한다.The control module 600 controls the operation of the robot arm 200 according to the tracking signal so that the endoscope 20 tracks the movement of the surgical tool 10 and performs imaging.

다음, 내시경(20)이 복강 내에 삽입된 깊이가 감지된다(S500).Next, the depth at which the endoscope 20 is inserted into the abdominal cavity is detected (S500).

로봇 암(200)의 관절 각도나, 또는 상기 깊이센서에 의해 내시경(20)이 복강 내에 삽입된 깊이가 감지된다.The joint angle of the robot arm 200 or the depth at which the endoscope 20 is inserted into the abdominal cavity is sensed by the depth sensor.

제어 모듈(600)은 S400 단계에서의 로봇 암(200) 동작 제어 시에, 감지된 내시경(20)의 깊이에 따라 로봇 암(200)의 동작 속도를 제어한다.When controlling the operation of the robot arm 200 in step S400, the control module 600 controls the operation speed of the robot arm 200 according to the detected depth of the endoscope 20.

이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.Although preferred embodiments of the present invention have been described above, the present invention is not limited to the specific embodiments described above. In other words, a person skilled in the art to which the present invention pertains can make numerous changes and modifications to the present invention without departing from the spirit and scope of the appended claims, and all such appropriate changes and modifications can be made. Equivalents should also be considered to fall within the scope of the present invention.

10: 수술도구
20: 내시경
100: 조작부
110: 고정 노브
120: 활성화 스위치
130: 줌 스위치
140: 상태표시부
200: 로봇 암
300: 도구 인식 모듈
400: 추적 모듈
500: 깊이 인식 모듈
600: 제어 모듈
700: 디스플레이 모듈
1000: 메인 모듈10: Surgical tools
20: Endoscope
100: Control panel
110: fixed knob
120: activation switch
130: Zoom switch
140: Status display unit
200: Robot arm
300: Tool recognition module
400: tracking module
500: Depth perception module
600: Control module
700: Display module
1000: Main module

Claims

An operating unit 100 configured to be installed on the surgical tool 10;
A robot arm (200) configured to install the endoscope (20);
A tool recognition module 300 that recognizes the operation of the surgical tool 10 in the image captured by the endoscope 20;
A tracking module 400 that tracks the operation of the surgical tool 10;
a depth recognition module 500 that recognizes the depth at which the endoscope 20 is inserted into the abdominal cavity according to the joint motion of the robot arm 200;
A display module 700 that displays an image captured by the endoscope 20; and
It includes a control module 600 that controls the operation of the robot arm 200,
The control module 600,
Controlling the operating speed of the robot arm 200 to change the imaging angle of the endoscope 20 according to the depth at which the endoscope 20 is inserted into the abdominal cavity recognized by the depth recognition module 500,
Endoscope-assisted robotic system.

According to claim 1,
The endoscope 20 further includes a depth sensor that detects the depth at which the endoscope 20 is inserted into the abdominal cavity,
The depth recognition module 500 recognizes the depth at which the endoscope 20 is inserted into the abdominal cavity using the depth sensor,
The control module 600 operates the robot arm 200 to change the imaging angle of the endoscope 20 according to the depth at which the endoscope 20 is inserted into the abdominal cavity recognized by the depth recognition module 500. controlling the speed,
Endoscope-assisted robotic system.

According to claim 1,
The tool recognition module 300,
Additional recognition of the type of the surgical tool (10) using a pre-learned image of the surgical tool (10),
Endoscope-assisted robotic system.

According to claim 1,
The control module 600,
When the operation of a preset surgical tool 10 is recognized by the tool recognition module 300, the tracking module 400 is activated or deactivated.
Endoscope-assisted robotic system.

According to claim 1,
The operating unit 100,
A fixing knob 110 for fixing the surgical tool 10 to the manipulation unit 100;
A zoom switch 130 for controlling zoom-in/zoom-out of the image captured by the endoscope 20;
an activation switch 120 that activates or deactivates the tool recognition module 300 and the tracking module 400; and
A status display unit 140 indicating whether the tool recognition module 300 and the tracking module 400 are activated.
Endoscope-assisted robotic system.