KR101284087B1 - Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot - Google Patents
Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot Download PDFInfo
- Publication number
- KR101284087B1 KR101284087B1 KR1020110040922A KR20110040922A KR101284087B1 KR 101284087 B1 KR101284087 B1 KR 101284087B1 KR 1020110040922 A KR1020110040922 A KR 1020110040922A KR 20110040922 A KR20110040922 A KR 20110040922A KR 101284087 B1 KR101284087 B1 KR 101284087B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- link
- surgical
- visual sensor
- angle
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 239000000463 material Substances 0.000 claims abstract description 3
- 239000003550 marker Substances 0.000 claims description 26
- 238000001356 surgical procedure Methods 0.000 claims description 14
- 238000002357 laparoscopic surgery Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000002674 endoscopic surgery Methods 0.000 description 3
- 210000000436 anus Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000001215 vagina Anatomy 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/16—Details of sensor housings or probes; Details of structural supports for sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Manipulator (AREA)
Abstract
본 발명은 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 제어방법, 분석시스템 및 제어시스템에 대한 것이다. 보다 상세하게는 인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇; 외부로봇의 일단 끝단부에 구비되고 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔; 로봇팔의 끝단에 설치된 수술도구; 외부로봇의 일단 끝단부에 구비되어 로봇팔과 수술도구의 영상을 실시간으로 촬영하는 시각센서; 사용중 인체 외부에 위치하게 되고 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 외부로봇을 통해 로봇팔을 구동시키는 구동부; 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단; 및 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 시각센서를 갖는 수술용 로봇의 제어 시스템에 관한 것이다.The present invention relates to a surgical robot using a visual sensor, a position and angle analysis method, a control method, an analysis system and a control system of the surgical robot. More specifically, the outer robot of a flexible material that is inserted into the human body to transfer power; A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot; Surgical instruments installed at the ends of the robot arm; A visual sensor provided at one end of the external robot to capture an image of a robot arm and a surgical tool in real time; A driving unit positioned outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through the external robot; A display unit configured to display an image measured by a visual sensor provided at one end of the external robot; Analyzing means for analyzing the image displayed on the display unit to analyze the position, angle, and position of the surgical tool installed at the end of the robot arm; And a control unit which calculates a driving force required by the driving unit based on the information calculated by the analyzing unit, and controls the driving unit to be driven by the calculated driving force. .
Description
본 발명은 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 제어방법, 분석시스템 및 제어시스템에 대한 것이다. 보다 상세하게는 시각센서가 부착된 다관절의 로봇팔을 갖는 수술용 로봇과 시각센서에서 촬영된 영상을 분석하여 정확성, 반복성이 향상된 수술용 로봇의 제어시스템에 관한 것이다. 모터 등으로 구성된 구동부를 이용하여 구동하는 수술용 로봇 및 그의 정확한 구동 방법에 관한 것으로, 구동부와 멀리 떨어져 와이어를 이용하여 구동하는 관절을 모터의 엔코더 뿐만이 아니라 구동 관절과 가까이 위치한 카메라 등의 추가적인 시각센서를 이용하여 정확한 움직임을 가능하게 하는 수술용 로봇에 관한 것이다.The present invention relates to a surgical robot using a visual sensor, a position and angle analysis method, a control method, an analysis system and a control system of the surgical robot. More specifically, the present invention relates to a surgical robot having a multi-articulated robotic arm with a vision sensor and a control system of a surgical robot improved in accuracy and repeatability by analyzing images captured by the vision sensor. The present invention relates to a surgical robot for driving by using a drive unit composed of a motor and the like, and an accurate driving method thereof. It relates to a surgical robot that enables accurate movement using.
복강 내의 수술을 행하는 수술 방법으로 수술부위를 직접 절개하는 기존의 개복 수술이 일반적이었다. 최근 복강경 수술법이 고안되고 수술에 로봇이 적용되면서 담낭 절제술 등과 같이 간단한 복강 수술의 경우 복강경 수술이 일반화되는 추세이다. 이러한 복강경 수술법은 최소침습수술(Minimally Invasiv Surgery)의 한 분야로 절개 및 통증을 최소화하며 입원 기간을 단축시키는 효과가 있다. As a surgical method for performing an operation in the abdominal cavity, a conventional open surgery that directly incisions the surgical site was common. Laparoscopic surgery has recently been devised and robots have been applied to the surgery. Laparoscopic surgery is becoming more common for simple laparoscopy such as gallbladder resection. Laparoscopic surgery is a field of minimally invasive surgery (Minimally Invasiv Surgery) that minimizes the incision and pain and has the effect of shortening the hospital stay.
여기서 더 나아가 절개를 하지 않는 비침습수술(Non-Invasive Surgery)의 개념이 도입되면서 자연 개구부 내시경 수술(NOTES, Natural Orifice Transluminal Endoscopic Surgery, 입이나 항문 또는 질 등을 통해 내시경 및 수술도구를 삽입하여 위 등의 장기에 구멍을 뚫고 나가서 하는 수술)이 다음 세대의 수술법으로 주목받고 있다. 내시경수술(이하 NOTES)와 더불어 최근 연구가 활발히 진행되는 단일공법(SPA, Single Port Surgery) 수술은 추가적인 절개 없이 하나의 구멍(주로 배꼽)을 통해서 수행되는 수술로써, 복강경 수술과 NOTES 사이의 개념으로 볼 수 있다.In addition, the concept of non-invasive Surgery (Non-Invasive Surgery) has been introduced to insert the endoscope and surgical tools through NOTES, Natural Orifice Transluminal Endoscopic Surgery, mouth, anus, or vagina Surgery is performed by drilling a hole in the back organ) is drawing attention as the next generation surgery. In addition to endoscopic surgery (Notes), the SPA (Single Port Surgery) surgery, which is currently being actively researched, is performed through a single hole (usually the navel) without any additional incision, and is a concept between laparoscopic surgery and NOTES. can see.
복강경 수술, SPA 수술 또는 NOTES는 모두 공간적인 제약으로 인해 인체내로 삽입되는 수술도구, 외부로봇 및 내부로봇은 가늘고 긴 형태를 가질 수밖에 없다. 복강경 수술도구의 직경은 주로 10mm 이하이며 길이는 40cm 이상이다. NOTES용 수술도구는 삽입 통로에 따라서 5mm 내외의 직경에 1m 정도의 길이를 가져야 한다. 물론 같은 기능을 할 수 있다면 직경은 작을수록 바람직하다. 이러한 수술도구의 형태적인 제약으로 인해 수술을 위한 로봇의 경우 구동부(엑츄에이터, 모터 등)의 위치가 외부에 위치할 수밖에 없고, 외부의 구동부는 주로 와이어 로프나 긴 형태의 링크 등을 이용해 내부의 구동 관절에 동력을 전달하게 된다.Laparoscopic surgery, SPA surgery, or NOTES all have space constraints, so surgical instruments, external robots, and internal robots that are inserted into the human body have a long and thin shape. Laparoscopic surgical instruments are usually less than 10 mm in diameter and over 40 cm in length. Surgical instruments for NOTES should have a length of about 1m and a diameter of about 5mm depending on the insertion path. Of course, smaller diameters are preferred if they can do the same. Due to the morphological constraints of the surgical tools, the position of the driving unit (actuator, motor, etc.) must be located outside of the robot for surgery, and the external driving unit is mainly driven by using a wire rope or a long link. It will transmit power to the joints.
그러나 구동부와 구동관절의 거리가 멀어질수록 관절의 움직임이 부정확해지는데, 이는 구동 와이어에 가해지는 장력에 의한 탄성 변형과 마찰, 부품 사이의 유격, 그리고 백래쉬(backlash) 등의 영향으로 볼 수 있다. 따라서 입력 값(관절이 움직여야 하는 양, 또는 모터의 구동량)과 출력 값(관절이 실제로 움직이는 양)에 차이가 발생하게 되며, 이를 히스테리시스(hysteresis, 이력현상)이라 부른다. 이러한 히스테리시스는 NOTES용 수술도구 또는 로봇에서와 같이 도구가 길고 구부러진 경우 더 심하게 나타난다. However, as the distance between the driving part and the driving joint increases, the movement of the joint becomes inaccurate. This may be due to the elastic deformation and friction caused by the tension applied to the driving wire, the play between the parts, and the backlash. . Therefore, there is a difference between the input value (the amount the joint should move or the amount of drive of the motor) and the output value (the amount the joint actually moves), which is called hysteresis. This hysteresis is more severe when the tool is long and curved, such as in surgical instruments or robots for NOTES.
따라서 이러한 히스테리시스를 감소시키고 수술도구와 구동관절의 위치와 각도를 정확하게 추정하여 사용자가 입력하는 입력값과 실제 출력값의 차이를 감소시켜 보다 정확하고 반복성, 안정성이 향상된 내시경 수술용 로봇의 개발이 요구되었다. Therefore, the development of endoscopy robots with improved accuracy, repeatability and stability by reducing the hysteresis and accurately estimating the position and angle of the surgical tool and the driving joint to reduce the difference between the input value and the actual output value are required. .
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 수술 로봇의 기구적인 제한으로 인해 부정확해진 움직임을 시각 센서를 이용하여 개선하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to improve an incorrect movement using a visual sensor due to mechanical limitations of the surgical robot.
또한, 본 발명의 일실시예에 따르면 시각센서를 이용하여 수술용 로봇의 움직임을 정확하게 인지, 분석하는 방법에 그 목적이 있다. 그리고 시각센서를 이용하여 읽은 신호와 모터의 엔코더를 이용하여 읽은 신호를 조합하여 명령에 따라 정확한 움직임을 구현하는 데 그 목적이 있다.In addition, according to an embodiment of the present invention has an object of a method for accurately recognizing and analyzing the movement of the surgical robot using a visual sensor. In addition, the purpose is to implement accurate movement according to the command by combining the signal read using the visual sensor and the signal read using the encoder of the motor.
본 발명의 그 밖에 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 관련되어 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명확해질 것이다. Other objects, specific advantages and novel features of the present invention will become more apparent from the following detailed description and preferred embodiments in conjunction with the accompanying drawings.
본 발명의 제1목적은, 수술용 로봇에 있어서, 인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇; 외부로봇의 일단 끝단부에 구비되고 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔; 로봇팔의 끝단에 설치된 수술도구; 외부로봇의 일단 끝단부에 구비되어 로봇팔과 수술도구의 영상을 실시간으로 촬영하는 시각센서; 및 사용중 인체 외부에 위치하게 되고 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 외부로봇을 통해 로봇팔을 구동시키는 구동부를 포함하는 것을 특징으로 하는 시각센서를 이용한 수 로봇으로 달성될 수 있다. A first object of the present invention, the surgical robot, the external robot of a flexible material is inserted into the human body to transfer power; A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot; Surgical instruments installed at the ends of the robot arm; A visual sensor provided at one end of the external robot to capture an image of a robot arm and a surgical tool in real time; And it can be achieved with a male robot using a visual sensor which is located outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through an external robot.
외부로봇은 와이어 로프로 구성되어 구동부의 동력을 로봇팔로 전달하며 직경은 20mm이하이고 시각센서는 내시경 카메라로 구성된 것을 특징으로 할 수 있다. The external robot is composed of a wire rope to transfer the power of the driving unit to the robot arm, the diameter is less than 20mm and the visual sensor may be characterized as consisting of an endoscope camera.
외부로봇은 외부로봇의 일단 끝단부에서 측면방향으로 돌출된 돌출부를 더 포함하고, 시각센서는 돌출부의 끝단에 구비되어 로봇팔과 수술도구를 영상을 촬영하는 것을 특징으로 할 수 있다. The external robot may further include a protrusion protruding laterally from one end of the external robot, and the visual sensor may be provided at the end of the protrusion to photograph an image of the robot arm and a surgical tool.
로봇팔은 2개로 구성되고, 각각의 로봇팔은 복수의 링크와 링크를 연결하는 관절을 갖는 것을 특징으로 할 수 있다. Robot arm is composed of two, each robot arm may be characterized by having a plurality of links and joints connecting the links.
로봇팔 각각은 외부로봇의 일단 끝단부에 연결되고 길이방향이 외부로봇의 일단 끝단부의 길이방향과 외측으로 특정각도를 형성하는 제1링크;제1링크와 연결된 제2링크와 제1링크와 제2링크 사이에 구비되는 엘보우-아웃관절; 및 제2링크와 연결된 제3링크와 동력을 인가받아 제2링크와 제3링크와의 각도를 변경시키는 구동관절을 포함하는 것을 특징으로 할 수 있다. Each of the robot arms is connected to one end of the external robot, and the first direction of the longitudinal direction forms a specific angle in the longitudinal direction and the outside of the one end of the external robot; Second link and the first link and the first link connected to the first link An elbow-out joint provided between two links; And a driving joint configured to change an angle between the second link and the third link by receiving power from the third link connected to the second link.
구동관절은 제3링크를 축방향으로 회전, 제3링크의 좌우각도변경 및 제3링크의 상하각도 변경 중 적어도 어느 하나를 변화시키는 것을 특징으로 할 수 있다. The driving joint may be characterized by changing at least one of rotating the third link in the axial direction, changing the left and right angles of the third link, and changing the top and bottom angles of the third link.
제3링크의 외면에는 적어도 하나의 마커가 부착되어 있는 것을 특징으로 할 수 있다. At least one marker may be attached to an outer surface of the third link.
마커는 제3링크의 양쪽 끝단 각각에 부착된 한 쌍의 제1마커와 한 쌍의 제1마커 사이에 구비되는 제2마커를 포함하는 것을 특징으로 할 수 있다. The marker may include a pair of first markers attached to each of both ends of the third link and a second marker provided between the pair of first markers.
본 발명의 제2목적은 수술용 로봇의 로봇팔 위치 및 각도 분석시스템에 있어서, 앞서 언급한 시각센서를 갖는 수술용 로봇; 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 및 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단을 포함하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템으로 달성될 수 있다. A second object of the present invention is a robot arm position and angle analysis system of a surgical robot, the surgical robot having the above-mentioned visual sensor; A display unit configured to display an image measured by a visual sensor provided at one end of the external robot; And analyzing means for analyzing the image displayed on the display unit to analyze the position of the current robot arm, and the position of the surgical tool installed at the end of the robot arm. Can be achieved.
분석수단은 제3링크에 부착된 마커의 위치, 방향 및 크기의 정보를 이용하여 제3링크 및 수술도구의 위치 및 구동관절의 각도를 연산하는 것을 특징으로 할 수 있다. The analyzing means may calculate the position of the third link and the surgical tool and the angle of the driving joint by using the information of the position, direction, and size of the marker attached to the third link.
분석수단은, 디스플레이부에서 디스플레이된 영상에서 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 것을 특징으로 할 수 있다. The analyzing means may measure the distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers in the image displayed on the display unit. And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.
본 발명의 제3목적은 앞서 언급한 분석시스템; 및 분석시스템의 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 수술용 로봇의 제어 시스템으로 달성될 수 있다. The third object of the present invention is the above-mentioned analysis system; And a control unit for calculating a driving force required by the driving unit based on the information calculated by the analyzing unit of the analysis system, and controlling the driving unit to be driven by the calculated driving force. have.
제어부는 분석수단에서 연산된 수술도구와 제3링크의 위치 및 구동관절의 각도를 기초로 시용자가 입력한 입력정보로 수술용 로봇의 구동관절의 각도 및 수술로봇의 수술도구 위치가 변화되도록 구동력을 계산하여 구동부를 제어하는 것을 특징으로 할 수 있다. The control unit inputs the driving force to change the angle of the driving joint of the surgical robot and the position of the surgical tool of the surgical robot with input information input by the user based on the position of the surgical tool and the third link and the driving joint calculated by the analyzing means. It may be characterized by controlling the drive by calculating.
본 발명의 제4목적은 앞서 언급한 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법에 있어서, 수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계; 디스플레이부에서 촬영한 영상을 디스플레이하는 단계; 및 분석수단이 디스플레이된 영상을 기초로 로봇팔의 위치 및 방향을 분석하는 단계를 포함하는 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법으로 달성될 수 있다. A fourth object of the present invention is a method for analyzing the position and angle of a surgical robot using the above-mentioned analysis system, comprising the steps of: a visual sensor provided at one end of the external robot of the surgical robot to take an image of the robot arm; Displaying an image captured by the display unit; And analyzing the position and direction of the robot arm on the basis of the displayed image by the analyzing means.
촬영단계는, 시각센서가 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고, 분석단계는, 분석수단이 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 단계인 것을 특징으로 할 수 있다. In the photographing step, the visual sensor photographs an image of a surgical tool installed at the end of the robot arm, a third link and a driving joint to which a pair of first and second markers are attached, and the analyzing step includes analyzing means. The distance between the third link and the visual sensor and the driving joint angle are calculated from the size of the pair of first markers attached to the third link and the distance between the pair of first markers, and the second attached to the third link. And calculating an axial rotation angle of the third link from the position and size of the marker.
본 발명의 제5목적은 앞서 언급한 제어시스템을 이용한 수술용 로봇의 제어방법에 있어서, 수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계; 디스플에이부에서 측정된 영상을 디스플레이하는 단계; 분석수단이 디스플레이된 영상을 기초로 로봇팔의 위치 및 방향을 분석하는 단계; 사용자가 분석수단에서 연산된 로봇팔의 위치를 기초로 하여 제어부에 조작정보를 입력하는 단계; 제어부가 조작정보에 기초하여 로봇팔의 변위값를 계산하고, 변위값으로 로봇팔을 구동시키기 위해 필요한 구동량을 계산하는 단계; 제어부가 구동량에 기초하여 구동부를 제어하여 구동시키는 단계; 및 구동부가 구동되어 로봇팔의 변위가 변경되는 단계를 포함하는 것을 특징으로 하는 제어시스템을 이용한 수술용 로봇의 제어방법으로 달성될 수 있다. A fifth object of the present invention is a control method of a surgical robot using the aforementioned control system, the method comprising: photographing an image of a robot arm by a visual sensor provided at one end of an external robot of the surgical robot; Displaying an image measured by the display unit; Analyzing the position and direction of the robot arm based on the displayed image by the analysis means; Inputting, by the user, operation information into the control unit based on the position of the robot arm calculated by the analyzing means; Calculating, by the controller, a displacement value of the robot arm based on the operation information, and calculating a driving amount required to drive the robot arm with the displacement value; Controlling and driving the driving unit based on the driving amount; And it can be achieved by a control method of a surgical robot using a control system, characterized in that it comprises a step of driving the drive unit is the displacement of the robot arm.
촬영단계는, 시각센서가 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고, 분석단계는, 분석수단이 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 단계이고, 입력단계에서 조작정보는 제3링크와 시각센서와의 거리, 구동관절의 각도 및 제3링크의 축방향 회전각도를 기초로 하여 결정되며, 구동량 계산단계에서, 제어부는 조작정보에 기초하여 구동관절의 각도 변화값과 제3링크 및 수술도구의 변위값을 연산하여 구동량을 계산하는 것을 특징으로 할 수 있다. In the photographing step, the visual sensor photographs an image of a surgical tool installed at the end of the robot arm, a third link and a driving joint to which a pair of first and second markers are attached, and the analyzing step includes analyzing means. The distance between the third link and the visual sensor and the driving joint angle are calculated from the size of the pair of first markers attached to the third link and the distance between the pair of first markers, and the second attached to the third link. Computing the axial rotation angle of the third link from the position and size of the marker, the operation information in the input step is the distance between the third link and the visual sensor, the angle of the drive joint and the axial rotation angle of the third link The driving amount may be calculated based on the manipulation information, and the controller may calculate the driving amount by calculating an angle change value of the driving joint and a displacement value of the third link and the surgical tool based on the operation information.
따라서, 설명한 바와 같이 본 발명의 일실시예에 의하면, 수술로봇의 수술도구 끝단과 멀리 떨어진 구동부에 위치한 모터의 엔코더로 읽어온 신호를 이용하여 로봇팔의 자세를 계산하는 것보다, 시각센서를 이용함으로써 로봇팔의 자세를 정확하게 예측, 분석할 수 있는 효과를 갖게 된다. 또한 목표로 하는 다음 자세로 바꾸기 위해 필요한 모터의 구동량을 보다 정확하게 계산할 수 있는 효과를 갖는다.Therefore, according to one embodiment of the present invention, as described, using a visual sensor rather than calculating the posture of the robot arm using a signal read by the encoder of the motor located in the drive unit far from the end of the surgical tool of the surgical robot As a result, the posture of the robot arm can be accurately predicted and analyzed. In addition, it has the effect of more accurately calculating the driving amount of the motor required to change to the target next posture.
그리고 로봇팔의 관절에 다양한 형태의 마커를 부착함으로써 로봇팔의 자세, 관절들의 위치, 수술도구의 위치, 관절의 각도를 쉽게 읽어오는 것이 가능한 효과를 갖는다.In addition, by attaching various types of markers to the joints of the robot arm, it is possible to easily read the posture of the robot arm, the position of the joints, the position of the surgical tool, and the angle of the joint.
비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어 졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허 청구 범위에 속함은 자명하다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it will be appreciated by those skilled in the art that various other modifications and variations can be made without departing from the spirit and scope of the invention, All fall within the scope of the appended claims.
도 1은 본 발명의 일실시예에 따른 시각센서를 갖는 수술용 로봇의 사시도,
도 2a는 본 발명의 일실시예에 따른 시각센서를 구비한 수술용 로봇의 로봇팔 측을 나타낸 부분 사시도,
도 2b는 본 발명의 일실시예에 따른 돌출부에 시각센서가 구비된 수술용 로봇의 로봇팔 측을 나타낸 부분 사시도,
도 3은 본 발명의 일실시예에 따른 시각센서가 구비된 수술용 로봇의 제어시스템의 구성을 나타낸 블록도,
도 4는 본 발명의 일실시예에 따른 시각센서가 촬영한 영상을 디스플레이부에서 디스플레이한 영상을 나타낸 사시도,
도 5는 도 4에서 제1마커와 제2마커가 부착된 제3링크 및 수술도구를 나타낸 부분 사시도,
도 6a는 본 발명의 일실시예에 따른 구동관절의 각도가 변환된 상태의 수술용 로봇의 부분 평면도,
도 6b은 본 발명의 일실시예에 따른 서로 다른 형태를 갖는 엘보우-아웃 관절을 갖는 수술용 로봇의 부분 평면도,
도 7은 본 발명의 일실시예에 따른 시각센서를 갖는 수술용 로봇의 제어방법의 흐름도를 도시한 것이다. 1 is a perspective view of a surgical robot having a visual sensor according to an embodiment of the present invention,
Figure 2a is a partial perspective view showing the robot arm side of the surgical robot with a visual sensor according to an embodiment of the present invention,
Figure 2b is a partial perspective view showing the robot arm side of the surgical robot with a visual sensor on the protrusion according to an embodiment of the present invention,
Figure 3 is a block diagram showing the configuration of a control system of a surgical robot equipped with a visual sensor according to an embodiment of the present invention,
4 is a perspective view illustrating an image displayed by a display unit of an image photographed by a visual sensor according to an exemplary embodiment of the present invention;
FIG. 5 is a partial perspective view illustrating a third link and a surgical tool to which the first marker and the second marker are attached in FIG. 4;
Figure 6a is a partial plan view of the surgical robot in a state in which the angle of the drive joint is converted according to an embodiment of the present invention,
6B is a partial plan view of a surgical robot having elbow-out joints having different shapes according to one embodiment of the present invention;
7 is a flowchart illustrating a control method of a surgical robot having a visual sensor according to an exemplary embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the detailed description of known functions and configurations incorporated herein will be omitted when it may unnecessarily obscure the subject matter of the present invention.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
The same reference numerals are used for portions having similar functions and functions throughout the drawings. Throughout the specification, when a part is connected to another part, this includes not only the case where it is directly connected, but also the case where it is indirectly connected with another element in between. In addition, the inclusion of an element does not exclude other elements, but may include other elements, unless specifically stated otherwise.
이하에서는 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 구성 및 작용에 대해 설명하도록 한다. 본 발명에 따른 시각센서(60)를 갖는 수술용 로봇(1)은 복강경 수술, SPA 수술 또는 내시경 수술 등 다양하게 적용될 수 있다 이하에서는 내시경 수술용 로봇(1)을 실시예로 하여 설명하도록 한다. Hereinafter will be described the configuration and operation of the
먼저, 도 1은 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 사시도를 도시한 것이다. 그리고, 도 2a는 본 발명의 일실시예에 따른 시각센서(60)를 구비한 수술용 로봇(1)의 로봇팔(40) 측을 나타낸 부분 사시도를 도시한 것이다. First, Figure 1 shows a perspective view of a
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)은 구동부(10), 구동부(10)에 연결된 가늘고 긴 형태의 원통형상의 외부로봇(20)과 외부로봇(20)의 일단 끝단부에 결합된 복수의 로봇팔(40), 외부로봇(20)의 일단 끝단부에 설치된 시각센서(60) 및 로봇팔(40)의 끝단에 설치된 수술도구(50) 등을 포함하고 있다. As shown in FIG. 1, the
본 발명의 일실시예에 따른 시각센서(60)를 구비한 수술용 로봇(1)의 외부로봇(20)은 시각센서(60)와 로봇팔(40)이 설치되고, 입, 항문, 질 등의 삽입지점부터 환부까지 가이드 역할을 하게 되고, 구동부에서 인가된 구동력을 로봇팔에 전달하게 된다. 따라서 일반적으로 외부로봇(20)의 직경은 20mm 이하 정도로 제한된다. 그리고 이러한 외부로봇(20)은 와이어 로프 등으로 구성되어 구동부(10)에서 인가되는 동력력을 후에 설명되는 구동관절(44), 수술도구(50)로 전달하게 된다. 이러한 외부로봇(20)은 유연 샤프트로 구성되며 내부에 끝단 각각이 로봇팔(40)과 연결된 적어도 하나의 내부로봇(30)을 더 포함하고 있다. The
외부로봇(20)의 일단 끝단부에는 적어도 하나 이상의 로봇팔(40)이 결합된다. 구체적 실시예에서는 도 1에 도시된 바와 같이 2개의 로봇팔(40)이 결합된다. 그리고, 후에 상세히 설명되는 바와 같이, 이러한 로봇팔(40)은 다수의 링크와 다수의 관절로 구성되며 구동부(10)의 동력에 의해 관절의 각도가 변경되어 수술도구(50)의 위치를 변화시키게 된다. 또한, 이러한 로봇팔(40)의 끝단에는 집게 등의 수술도구(50)가 결합되어 있다. At least one
그리고, 외부로봇(20)의 일단 끝단부에는 전방과 수술도구(50) 및 로봇팔(40)의 영상을 촬영하기 위한 적어도 하나의 시각센서(60)를 구비하고 있다. 이러한 시각센서(60)는 내시경 카메라 등으로 구성된다. 또한, 외부로봇(20)의 타단 끝단부에는 모터 및 엔코더 등으로 구성된 구동부(10)를 포함하고 있다. And, at one end of the
도 2a에 도시된 바와 같이, 구체적 실시예에서는 2개의 로봇팔(40)을 구비하고, 로봇팔(40) 각각은 제1링크(41), 엘보우-아웃(elbow-out) 관절(42), 제2링크(43), 구동관절(44) 및 제3링크(45)를 포함하고 있다. 일반적으로 외부로봇(20)의 직경이 20mm이하로 제한되기 때문에 두 개의 로봇팔(40)과 시각센서(60)의 거리가 너무 가까워 작업반경 및 시야가 제한되는 문제가 있다. 따라서 본 발명의 일실시예에서는 로봇팔(40)의 제1링크(41) 각각이 바깥쪽 방향으로 팔을 벌린 듯한 형태를 갖기 위해 도 2a에 도시된 바와 같이, 엘보우-아웃 관절(42)을 포함하고 있다. As shown in FIG. 2A, in a specific embodiment, two
즉, 외부로봇(20)의 일단 끝단부에 연결된 제1링크(41)와 제2링크(43) 사이에 엘보우-아웃 관절(42)을 구비하고 있다. 본 발명의 일실시예에서의 엘보우-아웃 관절(42)은 각도 조절을 하지 않고, 펴고 구부리는 것만이 가능한 온/오프 관절에 해당한다. 물론, 엘보우-아웃 관절(42)이 다양한 회전, 병진운동이 가능하게 구성될 수도 있다. 이러한 엘보우-아웃 관절의 구체적인 각도나 형상은 다양하게 구비될 수 있고, 엘보구-아웃 관절 역시 구동력에 의해 각도가 변화되도록 구성될 수 있고 다양한 실시예의 변화는 본 발명의 권리범위에 영향을 미칠 수 없음은 물론이다.That is, the elbow-out joint 42 is provided between the
그리고, 제2링크(43)와 제3링크(45) 사이에는 구동관절(44)을 포함하고 있다. 이러한 구동관절(44)은 구동부(10)에서 인가된 구동량에 따라 상하 및 좌우 움직임이 가능한 2자유도 관절로 구성된다. 또한, 이러한 구동관절(44)은 축방향 회전도 가능하도록 구성될 수 있다. 본 발명의 일실시예에서는 로봇팔 각각에 하나의 구동관절(44)을 갖는 것을 예시하였지만, 실시예의 변화에 따라 복수의 구동관절을 가질 수도 있고 서로 다른 자유도를 갖고 구동될 수도 있다. 따라서 구동관절의 개수, 자유도 개수 등은 본 발명의 권리범위에 영향을 미치지 않음은 자명하다.In addition, a driving joint 44 is included between the
본 발명의 일실시예에 따른 구동관절(44)은 후에 상세히 설명되는 바와 같이 종래 동작에 히스테리시스(hysteresis)가 발생되어 구동부(10)의 구동량을 정확하게 따라가지 못해 동작의 정확도와 반복성 감소를 개선하기 위해 내시경 카메라로 구성된 시각센서(60)를 통해 제3링크(45)과 구동관절(44) 및 수술도구(50)의 영상을 통해 정확한 위치를 추정하게 된다.As described later in detail, the drive joint 44 according to the exemplary embodiment of the present invention has hysteresis generated in the conventional operation, so that the driving amount of the
도 2b는 본 발명의 일실시예에 따른 돌출부(63)에 시각센서(60)가 구비된 수술용 로봇(1)의 로봇팔(40) 측을 나타낸 부분 사시도를 도시한 것이다. 본 발명의 일실시예에서는 내시경 카메라로 구성된 시각센서(60)가 외부로봇(20)의 일단 끝단면에 부착되는 것보다 위에서 아래쪽으로 내려다보면서 영상을 촬영하도록 구성된다. 즉, 제3링크(45)와 구동관절(44) 및 수술도구(50)의 위치 영상을 보다 정확하게 획득하기 위해 외부로봇(20) 일단의 상부에 ㄱ 자 형태의 돌출부(63)를 갖고, 돌출부(63)의 끝단에 시각센서(60)를 구비함이 바람직하다. Figure 2b shows a partial perspective view of the
또한, 도 2b에 도시된 바와 같이 시각센서(60)를 2개 구비하여 제1시각센서(61)는 외부로봇(20) 일단 끝단면에 부착되어 전방의 영상을 촬영하고, 돌출부 (63)끝단에 구비된 제2시각센서(62)는 수술도구(50)와 제3링크(45) 부분의 영상을 촬영하도록 구성될 수도 있다. 또한, 이러한 제2시각센서(62)는 돌출부가 축방향 회전, 상하 또는 좌우 각도 변화가 가능하도록 하여 다양한 방향의 영상을 촬영할 수 있도록 구성될 수도 있다. In addition, as shown in FIG. 2B, two
또한, 내시경 카메라로 구성된 시각센서(60)가 제3링크(45)와 수술도구(50)의 위치를 보다 정확하게 추정하기 위해 제3링크(45)에 다양한 형태의 마커가 부착, 새겨질 수 있다. 이러한 마커는 점, 선 또는 다양한 형태를 가질 수 있으며, 비슷한 형상을 가지는 경우 색깔 또는 무늬 등을 통해 구분될 수 있다. 따라서 시각센서(60)를 통해 얻어진 영상에서 보여지는 마커의 위치나 방향, 서로의 간격 등의 정보를 이용하여 로봇팔(40)의 제3링크(45), 수술도구(50)의 위치 및 구동관절(44)의 각도 등을 분석할 수 있게 한다.In addition, various types of markers may be attached and engraved on the
이하에서는 본 발명의 일실시예에 따른 시각센서(60)가 구비된 수술용 로봇(1)의 제어시스템의 구성 및 작용에 대해 설명하도록 한다. 도 3은 본 발명의 일실시예에 따른 시각센서(60)가 구비된 수술용 로봇(1)의 제어시스템의 구성을 나타낸 블록도를 도시한 것이다. 돌출부(63)의 끝단에 설치된 내시경카메라도 구성된 시각센서(60)가 수술도구(50)와 제3링크(45) 및 구동관절(44)이 결합된 부분의 영상을 실시간으로 촬영하게 된다. 실시간으로 촬영한 영상은 디스플레이부(70)로 전송되고 디스플레이부(70)는 실시간으로 수신된 영상을 디스플레이하게 된다. 또한, 시각센서(60)가 2대 이상의 내시경 카메라로 구성된 경우 디스플레이부(70)는 다시점 비디오 처리법을 이용하여 입체적 영상을 디스플레이할 수도 있다. Hereinafter, the configuration and operation of the control system of the
도 4는 본 발명의 일실시예에 따른 시각센서(60)가 촬영한 영상을 디스플레이부(70)에서 디스플레이한 영상을 나타낸 사시도를 도시한 것이다. 그리고, 도 5는 도 4에서 제1마커(46)와 제2마커(47)가 부착된 제3링크(45) 및 수술도구(50)를 나타낸 부분 사시도를 도시한 것이다. 도 4 및 도 5에 도시된 바와 같이 디스플레이부(70)에서 디스플레이된 영상은 원근감에 의한 로봇팔(40)의 두께 변화를 알 수 있다. 4 is a perspective view illustrating an image displayed by the
본 발명의 일실시예에 따른 제어시스템에 포함되는 분석수단(80)은 디스플레이부(70)에 디스플레이된 영상을 분석하여 수술도구(50)와 제3링크(45)의 위치 및 구동관절(44)의 각도를 추정, 분석하게 된다. 도 4 및 도 5에 도시된 바와 같이 본 발명의 일실시예에 따른 제3링크(45)에는 다양한 마커가 부착, 새겨져 있다. 구체적 실시예에서는 제3링크(45)의 양쪽 끝단 각각에 구비된 한 쌍의 제1마커(46)와 제1마커(46) 사이 공간에 서로가 꼬여진 형태로 부착된 제2마커(47)가 구비되어 있다. Analysis means 80 included in the control system according to an embodiment of the present invention analyzes the image displayed on the
따라서 분석수단(80)은 디스플레이된 영상에서 제1마커(46)의 크기로부터 시각센서(60)와 제3링크(45)간의 거리, 시각센서(60)와 수술도구(50)와의 거리를 분석할 수 있고, 제1마커(46) 간의 거리 정보로부터 구동관절(44)의 각도를 분석할 수 있다. 또한, 제2마커(47)의 형상을 통해 구동관절(44)이 축방향으로 어느 정도 회전되어 있는지를 분석할 수 있다. Therefore, the analysis means 80 analyzes the distance between the
결국, 다양한 형태의 마커가 부착된 제3링크(45)의 영상정보로부터 제3링크(45)와 수술도구(50)의 위치, 구동관절(44)의 각도를 정확하게 파악할 수 있게 된다. 그리고, 제어부(90)는 분석된 정보를 수신받게 되고, 사용자는 제어부(90)를 통해 수술도구(50)를 어느 방향으로 움직이게 할지, 구동관절(44)의 각도를 어떻게 변경시킬 지에 대한 조작정보를 입력하게 된다. As a result, the position of the
사용자가 조작정보를 입력하게 되면 제어부(90)는 입력된 조작정보를 해석하여 수술도구(50)와 제3링크(45)의 변위, 구동관절(44)의 각도변화를 계산하게 된다. 그리고, 제어부(90)는 계산된 값으로 구동관절(44)을 구동시키기 위해 필요한 구동력을 연산하게 된다. 마지막으로 제어부(90)는 연산된 구동력을 구동부(10)에 인가하여 구동부(10)를 제어하게 된다. When the user inputs the operation information, the
도 6a는 본 발명의 일실시예에 따른 구동관절(44)의 각도가 변환된 상태의 수술용 로봇(1)의 부분 평면도를 도시한 것이고, 도 6b은 본 발명의 일실시예에 따른 서로 다른 형태를 구비한 엘보우-아웃 관절(42)을 갖는 수술용 로봇(1)의 부분 평면도를 도시한 것이다. 도 6a 및 도 6b에 도시된 바와 같이, 로봇팔(40)은 다양한 각도, 형상의 엘보우-아웃관절(42)로 구성될 수 있다. 또한, 도 6a 및 도 6b에 도시된 관절들의 형태, 개수, 자유도 개수 등은 하나의 실시예를 제시한 것이지 이에 한정하여 권리범위를 해석하여서는 아니될 것이다.Figure 6a shows a partial plan view of the
이하에서는 시각센서(60)를 갖는 수술용 로봇(1)의 제어방법을 설명하도록 한다. 먼저, 도 7은 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 제어방법의 흐름도를 도시한 것이다. Hereinafter, a control method of the
먼저, 돌출부(63)의 끝단에 설치된 내시경카메라도 구성된 시각센서(60)가 수술도구(50)와 제3링크(45) 및 구동관절(44)이 결합된 부분의 영상을 실시간으로 촬영하게 된다. 그리고, 실시간으로 촬영한 영상은 디스플레이부(70)로 전송되고 디스플레이부(70)는 실시간으로 수신된 영상을 디스플레이하게 된다(S10). 또한, 시각센서(60)가 2대 이상의 내시경 카메라로 구성된 경우 디스플레이부(70)는 다시점 비디오 처리법을 이용하여 입체적 영상을 디스플레이할 수도 있다. First, the
그리고, 분석수단(80)은 디스플레이부(70)에 디스플레이된 영상을 분석하여 수술도구(50)와 제3링크(45)의 위치 및 구동관절(44)의 각도를 추정, 분석하게 된다(S20). 분석수단(80)은 디스플레이된 영상에서 제1마커(46)의 크기로부터 시각센서(60)와 제3링크(45), 수술도구(50)와의 거리를 분석할 수 있고, 제1마커(46) 사이의 거리정보로부터 구동관절(44)의 각도를 분석할 수 있다. 또한, 제2마커(47)의 형상을 통해 구동관절(44)이 축방향으로 어느 정도 회전되어 있는지를 분석할 수 있다. In addition, the analyzing means 80 analyzes the image displayed on the
결국, 다양한 형태의 마커가 부착된 제3링크(45)의 영상정보로부터 제3링크(45)와 수술도구(50)의 위치, 구동관절(44)의 각도를 정확하게 파악할 수 있게 된다. 그리고, 제어부(90)는 분석된 정보를 수신받게 되고, 사용자는 제어부(90)를 통해 수술도구(50)를 어느 방향으로 움직이게 할지, 구동관절(44)의 각도를 어떻게 변경시킬 지에 대한 조작정보를 입력하게 된다(S30). As a result, the position of the
사용자가 조작정보를 입력하게 되면 제어부(90)는 입력된 조작정보를 해석하여 수술도구(50)와 제3링크(45)의 변위, 구동관절(44)의 각도변화를 계산하게 된다(S40). 그리고, 제어부(90)는 계산된 값으로 구동관절(44)을 구동시키기 위해 필요한 구동력을 연산하게 된다(S50). 마지막으로 제어부(90)는 연산된 구동력을 구동부(10)에 인가하여 구동부(10)를 제어하게 된다(S60). 이러한 단계들은 사용자가 로봇팔(40)을 구동시킬 필요가 있는 경우 계속하여 반복하게 된다(S70). When the user inputs the operation information, the
1:수술로봇
10:구동부
20:외부로봇
30:내부로봇
40:로봇팔
41:제1링크
42:엘보우-아웃 관절
43:제2링크
44:구동관절
45:제3링크
46:제1마커
47:제2마커
50:수술도구
60:시각센서
61:제1시각센서
62:제2시각센서
63:돌출부
70:디스플레이부
80:분석수단
90:제어부1: surgical robot
10: drive unit
20: external robot
30: internal robot
40: Robot arm
41: The first link
42: Elbow-out joint
43: second link
44: driving joint
45: third link
46: First marker
47: second marker
50: surgical instruments
60: Visual sensor
61: first visual sensor
62: second visual sensor
63: protrusion
70: display unit
80: Analysis means
90:
Claims (17)
인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇;
상기 외부로봇의 일단 끝단부에 구비되고 상기 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔;
상기 로봇팔의 끝단에 설치된 수술도구;
상기 외부로봇의 일단 끝단부에 구비되어 상기 로봇팔과 상기 수술도구의 영상을 실시간으로 촬영하는 시각센서; 및
사용중 상기 인체 외부에 위치하게 되고 상기 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 상기 외부로봇을 통해 상기 로봇팔을 구동시키는 구동부를 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
In a surgical robot,
An external robot of a flexible material inserted into the human body to transmit power;
A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot;
A surgical tool installed at the end of the robot arm;
A visual sensor provided at one end of the external robot to capture an image of the robot arm and the surgical tool in real time; And
Surgical robot using a visual sensor that is located outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through the external robot.
상기 외부로봇은 와이어 로프로 구성되어 상기 구동부의 동력을 상기 로봇팔로 전달하며 직경은 20mm이하이고
상기 시각센서는 내시경 카메라로 구성된 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The external robot is composed of a wire rope to transfer the power of the drive unit to the robot arm, the diameter is less than 20mm
The visual sensor is a surgical robot using a visual sensor, characterized in that consisting of the endoscope camera.
상기 외부로봇은 상기 외부로봇의 일단 끝단부에서 측면방향으로 돌출된 돌출부를 더 포함하고,
상기 시각센서는 상기 돌출부의 끝단에 구비되어 상기 로봇팔과 상기 수술도구를 영상을 촬영하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The external robot further includes a protrusion protruding laterally from one end of the external robot,
The visual sensor is provided at the end of the projection robot for surgery using a visual sensor, characterized in that for taking images of the robot arm and the surgical tool.
상기 로봇팔은 2개로 구성되고, 각각의 상기 로봇팔은 복수의 링크와 상기 링크를 연결하는 관절을 갖는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The robot arm is composed of two, each of the robot arm is a surgical robot using a visual sensor, characterized in that it has a plurality of links and joints connecting the links.
상기 로봇팔 각각은 상기 외부로봇의 일단 끝단부에 연결되고 길이방향이 상기 외부로봇의 일단 끝단부의 길이방향과 외측으로 특정각도를 형성하는 제1링크;
상기 제1링크와 연결된 제2링크와 상기 제1링크와 상기 제2링크 사이에 구비되는 엘보우-아웃관절; 및
상기 제2링크와 연결된 제3링크와 상기 동력을 인가받아 상기 제2링크와 상기 제3링크와의 각도를 변경시키는 구동관절을 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
5. The method of claim 4,
Each of the first and second robot arms connected to one end of the external robot and having a longitudinal direction defining a specific angle in a length direction and an outside of one end of the external robot;
An elbow-out joint provided between the second link connected to the first link and the first link and the second link; And
And a driving joint configured to change an angle between the second link and the third link by receiving a third link and the power connected to the second link.
상기 구동관절은 상기 제3링크를 축방향으로 회전, 상기 제3링크의 좌우각도변경 및 상기 제3링크의 상하각도 변경 중 적어도 어느 하나를 변화시키는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
6. The method of claim 5,
The drive joint is a surgical robot using a visual sensor, characterized in that for rotating at least one of the rotation of the third link, the change of the left and right angles of the third link and the change of the vertical angle of the third link.
상기 제3링크의 외면에는 적어도 하나의 마커가 부착되어 있는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
6. The method of claim 5,
Surgical robot using a visual sensor, characterized in that at least one marker is attached to the outer surface of the third link.
상기 마커는 상기 제3링크의 양쪽 끝단 각각에 부착된 한 쌍의 제1마커와 상기 한 쌍의 제1마커 사이에 구비되는 제2마커를 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
8. The method of claim 7,
The marker includes a pair of first markers attached to each end of each of the third link and a surgical robot using a visual sensor, characterized in that it comprises a second marker provided between the pair of first markers.
제8항의 수술용 로봇;
상기 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 및
상기 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 상기 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단을 포함하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
In the robot arm position and angle analysis system of the surgical robot,
Surgical robot of claim 8;
A display unit displaying an image measured by a visual sensor provided at one end of the external robot; And
Analyze the position and angle analysis system of the surgical robot, characterized in that for analyzing the image displayed on the display unit for analyzing the current position of the robot arm, the position of the surgical instrument installed on the end of the robot arm; .
상기 분석수단은
제3링크에 부착된 마커의 위치, 방향 및 크기의 정보를 이용하여 상기 제3링크 및 상기 수술도구의 위치 및 구동관절의 각도를 연산하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
The method of claim 9,
The analyzing means
Position and angle analysis system of the surgical robot, characterized in that for calculating the position of the third link and the surgical tool and the angle of the driving joint using the information of the position, direction and size of the marker attached to the third link.
상기 분석수단은,
디스플레이부에서 디스플레이된 영상에서 상기 제3링크에 부착된 한 쌍의 제1마커의 크기와 상기 한 쌍의 제1마커 간의 거리로부터 상기 제3링크와 상기 시각센서와의 거리 및 상기 구동관절의 각도를 연산하고, 상기 제3링크에 부착된 제2마커의 위치 및 크기로부터 상기 제3링크의 축방향 회전각도를 연산하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
The method of claim 10,
The analysis means,
The distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers in the image displayed on the display unit And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.
상기 분석시스템의 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 상기 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 수술용 로봇의 제어 시스템.
An analysis system of claim 11; And
And a control unit for calculating a driving force required by the driving unit based on the information calculated by the analyzing unit of the analysis system and controlling the driving unit to be driven by the calculated driving force.
상기 제어부는
상기 분석수단에서 연산된 수술도구와 제3링크의 위치 및 구동관절의 각도를 기초로 시용자가 입력한 입력정보로 수술용 로봇의 구동관절의 각도 및 상기 수술로봇의 수술도구 위치가 변화되도록 상기 구동력을 계산하여 상기 구동부를 제어하는 것을 특징으로 하는 수술용 로봇의 제어 시스템.
13. The method of claim 12,
The control unit
The driving force such that the angle of the driving joint of the surgical robot and the position of the surgical tool of the surgical robot are changed by input information input by the user based on the position of the surgical tool and the third link and the driving joint calculated by the analyzing means. The control system of the surgical robot, characterized in that for controlling the drive unit.
수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계;
디스플레이부에서 촬영한 상기 영상을 디스플레이하는 단계; 및
분석수단이 디스플레이된 상기 영상을 기초로 상기 로봇팔의 위치 및 방향을 분석하는 단계를 포함하는 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법.
In the method for analyzing the position and angle of the surgical robot using the analysis system of claim 9,
Photographing an image of a robot arm by a visual sensor provided at one end of an external robot of the surgical robot;
Displaying the image captured by the display unit; And
And analyzing the position and direction of the robot arm based on the image displayed by the analysis means.
상기 촬영단계는,
상기 시각센서가 상기 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고,
상기 분석단계는,
상기 분석수단이 상기 제3링크에 부착된 한 쌍의 제1마커의 크기와 상기 한 쌍의 제1마커 간의 거리로부터 상기 제3링크와 상기 시각센서와의 거리 및 상기 구동관절의 각도를 연산하고, 상기 제3링크에 부착된 제2마커의 위치 및 크기로부터 상기 제3링크의 축방향 회전각도를 연산하는 단계인 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법.
The method of claim 14,
In the photographing step,
The visual sensor photographs an image of a third link and a driving joint to which a surgical tool installed at the end of the robot arm, a pair of first markers and a second marker are attached,
Wherein the analyzing step comprises:
The analyzing means calculates the distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers. And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110040922A KR101284087B1 (en) | 2011-04-29 | 2011-04-29 | Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110040922A KR101284087B1 (en) | 2011-04-29 | 2011-04-29 | Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120122643A KR20120122643A (en) | 2012-11-07 |
KR101284087B1 true KR101284087B1 (en) | 2013-07-10 |
Family
ID=47508873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110040922A KR101284087B1 (en) | 2011-04-29 | 2011-04-29 | Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101284087B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349048B2 (en) | 2013-02-28 | 2016-05-24 | Smasung Electronics Co., Ltd. | Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102191035B1 (en) * | 2013-07-03 | 2020-12-15 | 큐렉소 주식회사 | System and method for setting measuring direction of surgical navigation |
KR101669724B1 (en) * | 2014-09-24 | 2016-10-26 | (의료)길의료재단 | A detecting device using image of subject and surgical tool movement and method using thereof |
EP3629981A4 (en) | 2017-05-25 | 2021-04-07 | Covidien LP | Systems and methods for detection of objects within a field of view of an image capture device |
US11918299B2 (en) | 2017-05-25 | 2024-03-05 | Covidien Lp | Systems and methods for detection of objects within a field of view of an image capture device |
CN108175511A (en) * | 2018-02-26 | 2018-06-19 | 路要武 | A kind of single-hole laparoscopic robot system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010027541A (en) * | 1999-09-14 | 2001-04-06 | 윤종용 | Apparatus and Method for viewing optimal three dimentional image of surgical instrument for automatic controlling the position of the endoscope in Minimally Invasive Surgery |
JP2004180781A (en) | 2002-11-29 | 2004-07-02 | Jikei Univ School Of Medicine | Endoscopic surgery robot |
KR20100000280A (en) * | 2008-06-24 | 2010-01-06 | 한국과학기술원 | Surgical instrument |
KR20100067838A (en) * | 2008-12-12 | 2010-06-22 | 주식회사 래보 | Surgical instrument and coupling structure of surgical robot |
-
2011
- 2011-04-29 KR KR1020110040922A patent/KR101284087B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010027541A (en) * | 1999-09-14 | 2001-04-06 | 윤종용 | Apparatus and Method for viewing optimal three dimentional image of surgical instrument for automatic controlling the position of the endoscope in Minimally Invasive Surgery |
JP2004180781A (en) | 2002-11-29 | 2004-07-02 | Jikei Univ School Of Medicine | Endoscopic surgery robot |
KR20100000280A (en) * | 2008-06-24 | 2010-01-06 | 한국과학기술원 | Surgical instrument |
KR20100067838A (en) * | 2008-12-12 | 2010-06-22 | 주식회사 래보 | Surgical instrument and coupling structure of surgical robot |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349048B2 (en) | 2013-02-28 | 2016-05-24 | Smasung Electronics Co., Ltd. | Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object |
Also Published As
Publication number | Publication date |
---|---|
KR20120122643A (en) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7229319B2 (en) | Surgery support device, its control method, program and surgery support system | |
US11141048B2 (en) | Automated endoscope calibration | |
JP6091410B2 (en) | Endoscope apparatus operating method and endoscope system | |
US11786106B2 (en) | Robotic endoscope probe having orientation reference markers | |
EP3025673B1 (en) | Medical system and medical treatment tool control | |
KR101284087B1 (en) | Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot | |
KR102171873B1 (en) | Haptic glove and Surgical robot system | |
CN101416867B (en) | Medical device | |
JP6072283B2 (en) | MEDICAL MANIPULATOR AND METHOD OF OPERATING MEDICAL MANIPULATOR | |
JP5024785B2 (en) | Arm system mounted on an endoscopic device | |
WO2017014303A1 (en) | Medical system and operation method therefor | |
WO2018059036A1 (en) | Laparoscopic surgery system | |
EP2862497B1 (en) | Manipulator system | |
JP6053358B2 (en) | Surgery support device | |
JP4458492B2 (en) | Operation control system and position detection device for surgery support robot | |
JPWO2009084345A1 (en) | Medical equipment system | |
Schäfer et al. | Steerable Flexible Laparoscope to Facilitate Camera Guidance During Minimally Invasive Procedures | |
JP2020028645A (en) | Estimation system, estimation method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160627 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |