KR101284087B1 - Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot - Google Patents

Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot Download PDF

Info

Publication number
KR101284087B1
KR101284087B1 KR1020110040922A KR20110040922A KR101284087B1 KR 101284087 B1 KR101284087 B1 KR 101284087B1 KR 1020110040922 A KR1020110040922 A KR 1020110040922A KR 20110040922 A KR20110040922 A KR 20110040922A KR 101284087 B1 KR101284087 B1 KR 101284087B1
Authority
KR
South Korea
Prior art keywords
robot
link
surgical
visual sensor
angle
Prior art date
Application number
KR1020110040922A
Other languages
Korean (ko)
Other versions
KR20120122643A (en
Inventor
서정욱
이정주
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110040922A priority Critical patent/KR101284087B1/en
Publication of KR20120122643A publication Critical patent/KR20120122643A/en
Application granted granted Critical
Publication of KR101284087B1 publication Critical patent/KR101284087B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/16Details of sensor housings or probes; Details of structural supports for sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 제어방법, 분석시스템 및 제어시스템에 대한 것이다. 보다 상세하게는 인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇; 외부로봇의 일단 끝단부에 구비되고 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔; 로봇팔의 끝단에 설치된 수술도구; 외부로봇의 일단 끝단부에 구비되어 로봇팔과 수술도구의 영상을 실시간으로 촬영하는 시각센서; 사용중 인체 외부에 위치하게 되고 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 외부로봇을 통해 로봇팔을 구동시키는 구동부; 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단; 및 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 시각센서를 갖는 수술용 로봇의 제어 시스템에 관한 것이다.The present invention relates to a surgical robot using a visual sensor, a position and angle analysis method, a control method, an analysis system and a control system of the surgical robot. More specifically, the outer robot of a flexible material that is inserted into the human body to transfer power; A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot; Surgical instruments installed at the ends of the robot arm; A visual sensor provided at one end of the external robot to capture an image of a robot arm and a surgical tool in real time; A driving unit positioned outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through the external robot; A display unit configured to display an image measured by a visual sensor provided at one end of the external robot; Analyzing means for analyzing the image displayed on the display unit to analyze the position, angle, and position of the surgical tool installed at the end of the robot arm; And a control unit which calculates a driving force required by the driving unit based on the information calculated by the analyzing unit, and controls the driving unit to be driven by the calculated driving force. .

Description

시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 그 수술용 로봇의 제어방법, 그 수술용 로봇의 위치 및 각도 분석시스템 및 그 수술용 로봇의 제어 시스템{Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot}Surgical robot using visual sensor, position and angle analysis method of the surgical robot, control method of the surgical robot, position and angle analysis system of the surgical robot and control system of the surgical robot {Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot}

본 발명은 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 제어방법, 분석시스템 및 제어시스템에 대한 것이다. 보다 상세하게는 시각센서가 부착된 다관절의 로봇팔을 갖는 수술용 로봇과 시각센서에서 촬영된 영상을 분석하여 정확성, 반복성이 향상된 수술용 로봇의 제어시스템에 관한 것이다. 모터 등으로 구성된 구동부를 이용하여 구동하는 수술용 로봇 및 그의 정확한 구동 방법에 관한 것으로, 구동부와 멀리 떨어져 와이어를 이용하여 구동하는 관절을 모터의 엔코더 뿐만이 아니라 구동 관절과 가까이 위치한 카메라 등의 추가적인 시각센서를 이용하여 정확한 움직임을 가능하게 하는 수술용 로봇에 관한 것이다.The present invention relates to a surgical robot using a visual sensor, a position and angle analysis method, a control method, an analysis system and a control system of the surgical robot. More specifically, the present invention relates to a surgical robot having a multi-articulated robotic arm with a vision sensor and a control system of a surgical robot improved in accuracy and repeatability by analyzing images captured by the vision sensor. The present invention relates to a surgical robot for driving by using a drive unit composed of a motor and the like, and an accurate driving method thereof. It relates to a surgical robot that enables accurate movement using.

복강 내의 수술을 행하는 수술 방법으로 수술부위를 직접 절개하는 기존의 개복 수술이 일반적이었다. 최근 복강경 수술법이 고안되고 수술에 로봇이 적용되면서 담낭 절제술 등과 같이 간단한 복강 수술의 경우 복강경 수술이 일반화되는 추세이다. 이러한 복강경 수술법은 최소침습수술(Minimally Invasiv Surgery)의 한 분야로 절개 및 통증을 최소화하며 입원 기간을 단축시키는 효과가 있다. As a surgical method for performing an operation in the abdominal cavity, a conventional open surgery that directly incisions the surgical site was common. Laparoscopic surgery has recently been devised and robots have been applied to the surgery. Laparoscopic surgery is becoming more common for simple laparoscopy such as gallbladder resection. Laparoscopic surgery is a field of minimally invasive surgery (Minimally Invasiv Surgery) that minimizes the incision and pain and has the effect of shortening the hospital stay.

여기서 더 나아가 절개를 하지 않는 비침습수술(Non-Invasive Surgery)의 개념이 도입되면서 자연 개구부 내시경 수술(NOTES, Natural Orifice Transluminal Endoscopic Surgery, 입이나 항문 또는 질 등을 통해 내시경 및 수술도구를 삽입하여 위 등의 장기에 구멍을 뚫고 나가서 하는 수술)이 다음 세대의 수술법으로 주목받고 있다. 내시경수술(이하 NOTES)와 더불어 최근 연구가 활발히 진행되는 단일공법(SPA, Single Port Surgery) 수술은 추가적인 절개 없이 하나의 구멍(주로 배꼽)을 통해서 수행되는 수술로써, 복강경 수술과 NOTES 사이의 개념으로 볼 수 있다.In addition, the concept of non-invasive Surgery (Non-Invasive Surgery) has been introduced to insert the endoscope and surgical tools through NOTES, Natural Orifice Transluminal Endoscopic Surgery, mouth, anus, or vagina Surgery is performed by drilling a hole in the back organ) is drawing attention as the next generation surgery. In addition to endoscopic surgery (Notes), the SPA (Single Port Surgery) surgery, which is currently being actively researched, is performed through a single hole (usually the navel) without any additional incision, and is a concept between laparoscopic surgery and NOTES. can see.

복강경 수술, SPA 수술 또는 NOTES는 모두 공간적인 제약으로 인해 인체내로 삽입되는 수술도구, 외부로봇 및 내부로봇은 가늘고 긴 형태를 가질 수밖에 없다. 복강경 수술도구의 직경은 주로 10mm 이하이며 길이는 40cm 이상이다. NOTES용 수술도구는 삽입 통로에 따라서 5mm 내외의 직경에 1m 정도의 길이를 가져야 한다. 물론 같은 기능을 할 수 있다면 직경은 작을수록 바람직하다. 이러한 수술도구의 형태적인 제약으로 인해 수술을 위한 로봇의 경우 구동부(엑츄에이터, 모터 등)의 위치가 외부에 위치할 수밖에 없고, 외부의 구동부는 주로 와이어 로프나 긴 형태의 링크 등을 이용해 내부의 구동 관절에 동력을 전달하게 된다.Laparoscopic surgery, SPA surgery, or NOTES all have space constraints, so surgical instruments, external robots, and internal robots that are inserted into the human body have a long and thin shape. Laparoscopic surgical instruments are usually less than 10 mm in diameter and over 40 cm in length. Surgical instruments for NOTES should have a length of about 1m and a diameter of about 5mm depending on the insertion path. Of course, smaller diameters are preferred if they can do the same. Due to the morphological constraints of the surgical tools, the position of the driving unit (actuator, motor, etc.) must be located outside of the robot for surgery, and the external driving unit is mainly driven by using a wire rope or a long link. It will transmit power to the joints.

그러나 구동부와 구동관절의 거리가 멀어질수록 관절의 움직임이 부정확해지는데, 이는 구동 와이어에 가해지는 장력에 의한 탄성 변형과 마찰, 부품 사이의 유격, 그리고 백래쉬(backlash) 등의 영향으로 볼 수 있다. 따라서 입력 값(관절이 움직여야 하는 양, 또는 모터의 구동량)과 출력 값(관절이 실제로 움직이는 양)에 차이가 발생하게 되며, 이를 히스테리시스(hysteresis, 이력현상)이라 부른다. 이러한 히스테리시스는 NOTES용 수술도구 또는 로봇에서와 같이 도구가 길고 구부러진 경우 더 심하게 나타난다. However, as the distance between the driving part and the driving joint increases, the movement of the joint becomes inaccurate. This may be due to the elastic deformation and friction caused by the tension applied to the driving wire, the play between the parts, and the backlash. . Therefore, there is a difference between the input value (the amount the joint should move or the amount of drive of the motor) and the output value (the amount the joint actually moves), which is called hysteresis. This hysteresis is more severe when the tool is long and curved, such as in surgical instruments or robots for NOTES.

따라서 이러한 히스테리시스를 감소시키고 수술도구와 구동관절의 위치와 각도를 정확하게 추정하여 사용자가 입력하는 입력값과 실제 출력값의 차이를 감소시켜 보다 정확하고 반복성, 안정성이 향상된 내시경 수술용 로봇의 개발이 요구되었다. Therefore, the development of endoscopy robots with improved accuracy, repeatability and stability by reducing the hysteresis and accurately estimating the position and angle of the surgical tool and the driving joint to reduce the difference between the input value and the actual output value are required. .

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 수술 로봇의 기구적인 제한으로 인해 부정확해진 움직임을 시각 센서를 이용하여 개선하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to improve an incorrect movement using a visual sensor due to mechanical limitations of the surgical robot.

또한, 본 발명의 일실시예에 따르면 시각센서를 이용하여 수술용 로봇의 움직임을 정확하게 인지, 분석하는 방법에 그 목적이 있다. 그리고 시각센서를 이용하여 읽은 신호와 모터의 엔코더를 이용하여 읽은 신호를 조합하여 명령에 따라 정확한 움직임을 구현하는 데 그 목적이 있다.In addition, according to an embodiment of the present invention has an object of a method for accurately recognizing and analyzing the movement of the surgical robot using a visual sensor. In addition, the purpose is to implement accurate movement according to the command by combining the signal read using the visual sensor and the signal read using the encoder of the motor.

본 발명의 그 밖에 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 관련되어 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명확해질 것이다. Other objects, specific advantages and novel features of the present invention will become more apparent from the following detailed description and preferred embodiments in conjunction with the accompanying drawings.

본 발명의 제1목적은, 수술용 로봇에 있어서, 인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇; 외부로봇의 일단 끝단부에 구비되고 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔; 로봇팔의 끝단에 설치된 수술도구; 외부로봇의 일단 끝단부에 구비되어 로봇팔과 수술도구의 영상을 실시간으로 촬영하는 시각센서; 및 사용중 인체 외부에 위치하게 되고 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 외부로봇을 통해 로봇팔을 구동시키는 구동부를 포함하는 것을 특징으로 하는 시각센서를 이용한 수 로봇으로 달성될 수 있다. A first object of the present invention, the surgical robot, the external robot of a flexible material is inserted into the human body to transfer power; A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot; Surgical instruments installed at the ends of the robot arm; A visual sensor provided at one end of the external robot to capture an image of a robot arm and a surgical tool in real time; And it can be achieved with a male robot using a visual sensor which is located outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through an external robot.

외부로봇은 와이어 로프로 구성되어 구동부의 동력을 로봇팔로 전달하며 직경은 20mm이하이고 시각센서는 내시경 카메라로 구성된 것을 특징으로 할 수 있다. The external robot is composed of a wire rope to transfer the power of the driving unit to the robot arm, the diameter is less than 20mm and the visual sensor may be characterized as consisting of an endoscope camera.

외부로봇은 외부로봇의 일단 끝단부에서 측면방향으로 돌출된 돌출부를 더 포함하고, 시각센서는 돌출부의 끝단에 구비되어 로봇팔과 수술도구를 영상을 촬영하는 것을 특징으로 할 수 있다. The external robot may further include a protrusion protruding laterally from one end of the external robot, and the visual sensor may be provided at the end of the protrusion to photograph an image of the robot arm and a surgical tool.

로봇팔은 2개로 구성되고, 각각의 로봇팔은 복수의 링크와 링크를 연결하는 관절을 갖는 것을 특징으로 할 수 있다. Robot arm is composed of two, each robot arm may be characterized by having a plurality of links and joints connecting the links.

로봇팔 각각은 외부로봇의 일단 끝단부에 연결되고 길이방향이 외부로봇의 일단 끝단부의 길이방향과 외측으로 특정각도를 형성하는 제1링크;제1링크와 연결된 제2링크와 제1링크와 제2링크 사이에 구비되는 엘보우-아웃관절; 및 제2링크와 연결된 제3링크와 동력을 인가받아 제2링크와 제3링크와의 각도를 변경시키는 구동관절을 포함하는 것을 특징으로 할 수 있다. Each of the robot arms is connected to one end of the external robot, and the first direction of the longitudinal direction forms a specific angle in the longitudinal direction and the outside of the one end of the external robot; Second link and the first link and the first link connected to the first link An elbow-out joint provided between two links; And a driving joint configured to change an angle between the second link and the third link by receiving power from the third link connected to the second link.

구동관절은 제3링크를 축방향으로 회전, 제3링크의 좌우각도변경 및 제3링크의 상하각도 변경 중 적어도 어느 하나를 변화시키는 것을 특징으로 할 수 있다. The driving joint may be characterized by changing at least one of rotating the third link in the axial direction, changing the left and right angles of the third link, and changing the top and bottom angles of the third link.

제3링크의 외면에는 적어도 하나의 마커가 부착되어 있는 것을 특징으로 할 수 있다. At least one marker may be attached to an outer surface of the third link.

마커는 제3링크의 양쪽 끝단 각각에 부착된 한 쌍의 제1마커와 한 쌍의 제1마커 사이에 구비되는 제2마커를 포함하는 것을 특징으로 할 수 있다. The marker may include a pair of first markers attached to each of both ends of the third link and a second marker provided between the pair of first markers.

본 발명의 제2목적은 수술용 로봇의 로봇팔 위치 및 각도 분석시스템에 있어서, 앞서 언급한 시각센서를 갖는 수술용 로봇; 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 및 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단을 포함하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템으로 달성될 수 있다. A second object of the present invention is a robot arm position and angle analysis system of a surgical robot, the surgical robot having the above-mentioned visual sensor; A display unit configured to display an image measured by a visual sensor provided at one end of the external robot; And analyzing means for analyzing the image displayed on the display unit to analyze the position of the current robot arm, and the position of the surgical tool installed at the end of the robot arm. Can be achieved.

분석수단은 제3링크에 부착된 마커의 위치, 방향 및 크기의 정보를 이용하여 제3링크 및 수술도구의 위치 및 구동관절의 각도를 연산하는 것을 특징으로 할 수 있다. The analyzing means may calculate the position of the third link and the surgical tool and the angle of the driving joint by using the information of the position, direction, and size of the marker attached to the third link.

분석수단은, 디스플레이부에서 디스플레이된 영상에서 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 것을 특징으로 할 수 있다. The analyzing means may measure the distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers in the image displayed on the display unit. And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.

본 발명의 제3목적은 앞서 언급한 분석시스템; 및 분석시스템의 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 수술용 로봇의 제어 시스템으로 달성될 수 있다. The third object of the present invention is the above-mentioned analysis system; And a control unit for calculating a driving force required by the driving unit based on the information calculated by the analyzing unit of the analysis system, and controlling the driving unit to be driven by the calculated driving force. have.

제어부는 분석수단에서 연산된 수술도구와 제3링크의 위치 및 구동관절의 각도를 기초로 시용자가 입력한 입력정보로 수술용 로봇의 구동관절의 각도 및 수술로봇의 수술도구 위치가 변화되도록 구동력을 계산하여 구동부를 제어하는 것을 특징으로 할 수 있다. The control unit inputs the driving force to change the angle of the driving joint of the surgical robot and the position of the surgical tool of the surgical robot with input information input by the user based on the position of the surgical tool and the third link and the driving joint calculated by the analyzing means. It may be characterized by controlling the drive by calculating.

본 발명의 제4목적은 앞서 언급한 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법에 있어서, 수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계; 디스플레이부에서 촬영한 영상을 디스플레이하는 단계; 및 분석수단이 디스플레이된 영상을 기초로 로봇팔의 위치 및 방향을 분석하는 단계를 포함하는 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법으로 달성될 수 있다. A fourth object of the present invention is a method for analyzing the position and angle of a surgical robot using the above-mentioned analysis system, comprising the steps of: a visual sensor provided at one end of the external robot of the surgical robot to take an image of the robot arm; Displaying an image captured by the display unit; And analyzing the position and direction of the robot arm on the basis of the displayed image by the analyzing means.

촬영단계는, 시각센서가 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고, 분석단계는, 분석수단이 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 단계인 것을 특징으로 할 수 있다. In the photographing step, the visual sensor photographs an image of a surgical tool installed at the end of the robot arm, a third link and a driving joint to which a pair of first and second markers are attached, and the analyzing step includes analyzing means. The distance between the third link and the visual sensor and the driving joint angle are calculated from the size of the pair of first markers attached to the third link and the distance between the pair of first markers, and the second attached to the third link. And calculating an axial rotation angle of the third link from the position and size of the marker.

본 발명의 제5목적은 앞서 언급한 제어시스템을 이용한 수술용 로봇의 제어방법에 있어서, 수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계; 디스플에이부에서 측정된 영상을 디스플레이하는 단계; 분석수단이 디스플레이된 영상을 기초로 로봇팔의 위치 및 방향을 분석하는 단계; 사용자가 분석수단에서 연산된 로봇팔의 위치를 기초로 하여 제어부에 조작정보를 입력하는 단계; 제어부가 조작정보에 기초하여 로봇팔의 변위값를 계산하고, 변위값으로 로봇팔을 구동시키기 위해 필요한 구동량을 계산하는 단계; 제어부가 구동량에 기초하여 구동부를 제어하여 구동시키는 단계; 및 구동부가 구동되어 로봇팔의 변위가 변경되는 단계를 포함하는 것을 특징으로 하는 제어시스템을 이용한 수술용 로봇의 제어방법으로 달성될 수 있다. A fifth object of the present invention is a control method of a surgical robot using the aforementioned control system, the method comprising: photographing an image of a robot arm by a visual sensor provided at one end of an external robot of the surgical robot; Displaying an image measured by the display unit; Analyzing the position and direction of the robot arm based on the displayed image by the analysis means; Inputting, by the user, operation information into the control unit based on the position of the robot arm calculated by the analyzing means; Calculating, by the controller, a displacement value of the robot arm based on the operation information, and calculating a driving amount required to drive the robot arm with the displacement value; Controlling and driving the driving unit based on the driving amount; And it can be achieved by a control method of a surgical robot using a control system, characterized in that it comprises a step of driving the drive unit is the displacement of the robot arm.

촬영단계는, 시각센서가 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고, 분석단계는, 분석수단이 제3링크에 부착된 한 쌍의 제1마커의 크기와 한 쌍의 제1마커 간의 거리로부터 제3링크와 시각센서와의 거리 및 구동관절의 각도를 연산하고, 제3링크에 부착된 제2마커의 위치 및 크기로부터 제3링크의 축방향 회전각도를 연산하는 단계이고, 입력단계에서 조작정보는 제3링크와 시각센서와의 거리, 구동관절의 각도 및 제3링크의 축방향 회전각도를 기초로 하여 결정되며, 구동량 계산단계에서, 제어부는 조작정보에 기초하여 구동관절의 각도 변화값과 제3링크 및 수술도구의 변위값을 연산하여 구동량을 계산하는 것을 특징으로 할 수 있다. In the photographing step, the visual sensor photographs an image of a surgical tool installed at the end of the robot arm, a third link and a driving joint to which a pair of first and second markers are attached, and the analyzing step includes analyzing means. The distance between the third link and the visual sensor and the driving joint angle are calculated from the size of the pair of first markers attached to the third link and the distance between the pair of first markers, and the second attached to the third link. Computing the axial rotation angle of the third link from the position and size of the marker, the operation information in the input step is the distance between the third link and the visual sensor, the angle of the drive joint and the axial rotation angle of the third link The driving amount may be calculated based on the manipulation information, and the controller may calculate the driving amount by calculating an angle change value of the driving joint and a displacement value of the third link and the surgical tool based on the operation information.

따라서, 설명한 바와 같이 본 발명의 일실시예에 의하면, 수술로봇의 수술도구 끝단과 멀리 떨어진 구동부에 위치한 모터의 엔코더로 읽어온 신호를 이용하여 로봇팔의 자세를 계산하는 것보다, 시각센서를 이용함으로써 로봇팔의 자세를 정확하게 예측, 분석할 수 있는 효과를 갖게 된다. 또한 목표로 하는 다음 자세로 바꾸기 위해 필요한 모터의 구동량을 보다 정확하게 계산할 수 있는 효과를 갖는다.Therefore, according to one embodiment of the present invention, as described, using a visual sensor rather than calculating the posture of the robot arm using a signal read by the encoder of the motor located in the drive unit far from the end of the surgical tool of the surgical robot As a result, the posture of the robot arm can be accurately predicted and analyzed. In addition, it has the effect of more accurately calculating the driving amount of the motor required to change to the target next posture.

그리고 로봇팔의 관절에 다양한 형태의 마커를 부착함으로써 로봇팔의 자세, 관절들의 위치, 수술도구의 위치, 관절의 각도를 쉽게 읽어오는 것이 가능한 효과를 갖는다.In addition, by attaching various types of markers to the joints of the robot arm, it is possible to easily read the posture of the robot arm, the position of the joints, the position of the surgical tool, and the angle of the joint.

비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어 졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허 청구 범위에 속함은 자명하다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it will be appreciated by those skilled in the art that various other modifications and variations can be made without departing from the spirit and scope of the invention, All fall within the scope of the appended claims.

도 1은 본 발명의 일실시예에 따른 시각센서를 갖는 수술용 로봇의 사시도,
도 2a는 본 발명의 일실시예에 따른 시각센서를 구비한 수술용 로봇의 로봇팔 측을 나타낸 부분 사시도,
도 2b는 본 발명의 일실시예에 따른 돌출부에 시각센서가 구비된 수술용 로봇의 로봇팔 측을 나타낸 부분 사시도,
도 3은 본 발명의 일실시예에 따른 시각센서가 구비된 수술용 로봇의 제어시스템의 구성을 나타낸 블록도,
도 4는 본 발명의 일실시예에 따른 시각센서가 촬영한 영상을 디스플레이부에서 디스플레이한 영상을 나타낸 사시도,
도 5는 도 4에서 제1마커와 제2마커가 부착된 제3링크 및 수술도구를 나타낸 부분 사시도,
도 6a는 본 발명의 일실시예에 따른 구동관절의 각도가 변환된 상태의 수술용 로봇의 부분 평면도,
도 6b은 본 발명의 일실시예에 따른 서로 다른 형태를 갖는 엘보우-아웃 관절을 갖는 수술용 로봇의 부분 평면도,
도 7은 본 발명의 일실시예에 따른 시각센서를 갖는 수술용 로봇의 제어방법의 흐름도를 도시한 것이다.
1 is a perspective view of a surgical robot having a visual sensor according to an embodiment of the present invention,
Figure 2a is a partial perspective view showing the robot arm side of the surgical robot with a visual sensor according to an embodiment of the present invention,
Figure 2b is a partial perspective view showing the robot arm side of the surgical robot with a visual sensor on the protrusion according to an embodiment of the present invention,
Figure 3 is a block diagram showing the configuration of a control system of a surgical robot equipped with a visual sensor according to an embodiment of the present invention,
4 is a perspective view illustrating an image displayed by a display unit of an image photographed by a visual sensor according to an exemplary embodiment of the present invention;
FIG. 5 is a partial perspective view illustrating a third link and a surgical tool to which the first marker and the second marker are attached in FIG. 4;
Figure 6a is a partial plan view of the surgical robot in a state in which the angle of the drive joint is converted according to an embodiment of the present invention,
6B is a partial plan view of a surgical robot having elbow-out joints having different shapes according to one embodiment of the present invention;
7 is a flowchart illustrating a control method of a surgical robot having a visual sensor according to an exemplary embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the detailed description of known functions and configurations incorporated herein will be omitted when it may unnecessarily obscure the subject matter of the present invention.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
The same reference numerals are used for portions having similar functions and functions throughout the drawings. Throughout the specification, when a part is connected to another part, this includes not only the case where it is directly connected, but also the case where it is indirectly connected with another element in between. In addition, the inclusion of an element does not exclude other elements, but may include other elements, unless specifically stated otherwise.

이하에서는 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 구성 및 작용에 대해 설명하도록 한다. 본 발명에 따른 시각센서(60)를 갖는 수술용 로봇(1)은 복강경 수술, SPA 수술 또는 내시경 수술 등 다양하게 적용될 수 있다 이하에서는 내시경 수술용 로봇(1)을 실시예로 하여 설명하도록 한다. Hereinafter will be described the configuration and operation of the surgical robot 1 having a visual sensor 60 according to an embodiment of the present invention. Surgical robot (1) having a visual sensor 60 according to the present invention can be applied in various ways, such as laparoscopic surgery, SPA surgery or endoscopic surgery will be described below with reference to the endoscope surgical robot (1) as an embodiment.

먼저, 도 1은 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 사시도를 도시한 것이다. 그리고, 도 2a는 본 발명의 일실시예에 따른 시각센서(60)를 구비한 수술용 로봇(1)의 로봇팔(40) 측을 나타낸 부분 사시도를 도시한 것이다. First, Figure 1 shows a perspective view of a surgical robot 1 having a visual sensor 60 according to an embodiment of the present invention. And, Figure 2a shows a partial perspective view showing the robot arm 40 side of the surgical robot 1 with a vision sensor 60 according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)은 구동부(10), 구동부(10)에 연결된 가늘고 긴 형태의 원통형상의 외부로봇(20)과 외부로봇(20)의 일단 끝단부에 결합된 복수의 로봇팔(40), 외부로봇(20)의 일단 끝단부에 설치된 시각센서(60) 및 로봇팔(40)의 끝단에 설치된 수술도구(50) 등을 포함하고 있다. As shown in FIG. 1, the surgical robot 1 having the visual sensor 60 according to an embodiment of the present invention has a drive unit 10 and an external robot having a cylindrical shape having an elongated shape connected to the drive unit 10. 20) and a plurality of robot arms 40 coupled to one end of the external robot 20, the surgery installed on the ends of the visual sensor 60 and the robot arm 40 installed at one end of the external robot 20 Tool 50 and the like.

본 발명의 일실시예에 따른 시각센서(60)를 구비한 수술용 로봇(1)의 외부로봇(20)은 시각센서(60)와 로봇팔(40)이 설치되고, 입, 항문, 질 등의 삽입지점부터 환부까지 가이드 역할을 하게 되고, 구동부에서 인가된 구동력을 로봇팔에 전달하게 된다. 따라서 일반적으로 외부로봇(20)의 직경은 20mm 이하 정도로 제한된다. 그리고 이러한 외부로봇(20)은 와이어 로프 등으로 구성되어 구동부(10)에서 인가되는 동력력을 후에 설명되는 구동관절(44), 수술도구(50)로 전달하게 된다. 이러한 외부로봇(20)은 유연 샤프트로 구성되며 내부에 끝단 각각이 로봇팔(40)과 연결된 적어도 하나의 내부로봇(30)을 더 포함하고 있다. The external robot 20 of the surgical robot 1 having the visual sensor 60 according to an embodiment of the present invention is provided with the visual sensor 60 and the robot arm 40, and the mouth, anus, vagina, etc. It serves as a guide from the insertion point to the affected part, and transmits the driving force applied from the driving unit to the robot arm. Therefore, in general, the diameter of the external robot 20 is limited to about 20mm or less. And the external robot 20 is composed of a wire rope and the like to transfer the power applied from the drive unit 10 to the drive joint 44, surgical tools 50 described later. The external robot 20 is composed of a flexible shaft and further includes at least one internal robot 30 connected to the robot arm 40 at each end thereof.

외부로봇(20)의 일단 끝단부에는 적어도 하나 이상의 로봇팔(40)이 결합된다. 구체적 실시예에서는 도 1에 도시된 바와 같이 2개의 로봇팔(40)이 결합된다. 그리고, 후에 상세히 설명되는 바와 같이, 이러한 로봇팔(40)은 다수의 링크와 다수의 관절로 구성되며 구동부(10)의 동력에 의해 관절의 각도가 변경되어 수술도구(50)의 위치를 변화시키게 된다. 또한, 이러한 로봇팔(40)의 끝단에는 집게 등의 수술도구(50)가 결합되어 있다. At least one robot arm 40 is coupled to one end of the external robot 20. In a specific embodiment, two robot arms 40 are coupled as shown in FIG. 1. And, as will be described in detail later, such a robot arm 40 is composed of a plurality of links and a plurality of joints and the angle of the joint is changed by the power of the drive unit 10 to change the position of the surgical tool 50 do. In addition, the end of the robot arm 40 is coupled to the surgical tool 50, such as forceps.

그리고, 외부로봇(20)의 일단 끝단부에는 전방과 수술도구(50) 및 로봇팔(40)의 영상을 촬영하기 위한 적어도 하나의 시각센서(60)를 구비하고 있다. 이러한 시각센서(60)는 내시경 카메라 등으로 구성된다. 또한, 외부로봇(20)의 타단 끝단부에는 모터 및 엔코더 등으로 구성된 구동부(10)를 포함하고 있다. And, at one end of the external robot 20 is provided with at least one visual sensor 60 for taking an image of the front and the surgical tool 50 and the robot arm 40. The visual sensor 60 is composed of an endoscope camera or the like. In addition, the other end of the external robot 20 includes a drive unit 10 composed of a motor, an encoder and the like.

도 2a에 도시된 바와 같이, 구체적 실시예에서는 2개의 로봇팔(40)을 구비하고, 로봇팔(40) 각각은 제1링크(41), 엘보우-아웃(elbow-out) 관절(42), 제2링크(43), 구동관절(44) 및 제3링크(45)를 포함하고 있다. 일반적으로 외부로봇(20)의 직경이 20mm이하로 제한되기 때문에 두 개의 로봇팔(40)과 시각센서(60)의 거리가 너무 가까워 작업반경 및 시야가 제한되는 문제가 있다. 따라서 본 발명의 일실시예에서는 로봇팔(40)의 제1링크(41) 각각이 바깥쪽 방향으로 팔을 벌린 듯한 형태를 갖기 위해 도 2a에 도시된 바와 같이, 엘보우-아웃 관절(42)을 포함하고 있다. As shown in FIG. 2A, in a specific embodiment, two robot arms 40 are provided, each of which has a first link 41, an elbow-out joint 42, The second link 43, the drive joint 44 and the third link 45 is included. In general, since the diameter of the external robot 20 is limited to 20 mm or less, the distance between the two robot arms 40 and the visual sensor 60 is too close, and thus there is a problem that the working radius and the field of view are limited. Accordingly, in one embodiment of the present invention, as shown in FIG. 2A, each of the first links 41 of the robot arm 40 has an open shape in an outward direction. It is included.

즉, 외부로봇(20)의 일단 끝단부에 연결된 제1링크(41)와 제2링크(43) 사이에 엘보우-아웃 관절(42)을 구비하고 있다. 본 발명의 일실시예에서의 엘보우-아웃 관절(42)은 각도 조절을 하지 않고, 펴고 구부리는 것만이 가능한 온/오프 관절에 해당한다. 물론, 엘보우-아웃 관절(42)이 다양한 회전, 병진운동이 가능하게 구성될 수도 있다. 이러한 엘보우-아웃 관절의 구체적인 각도나 형상은 다양하게 구비될 수 있고, 엘보구-아웃 관절 역시 구동력에 의해 각도가 변화되도록 구성될 수 있고 다양한 실시예의 변화는 본 발명의 권리범위에 영향을 미칠 수 없음은 물론이다.That is, the elbow-out joint 42 is provided between the first link 41 and the second link 43 connected to one end of the external robot 20. The elbow-out joint 42 in one embodiment of the present invention corresponds to an on / off joint that can only be straightened and bent without adjusting the angle. Of course, the elbow-out joint 42 may be configured to enable a variety of rotation, translation. The specific angle or shape of the elbow-out joint may be provided in various ways, the elbow-out joint may also be configured to change the angle by the driving force and changes in various embodiments may affect the scope of the invention None of course.

그리고, 제2링크(43)와 제3링크(45) 사이에는 구동관절(44)을 포함하고 있다. 이러한 구동관절(44)은 구동부(10)에서 인가된 구동량에 따라 상하 및 좌우 움직임이 가능한 2자유도 관절로 구성된다. 또한, 이러한 구동관절(44)은 축방향 회전도 가능하도록 구성될 수 있다. 본 발명의 일실시예에서는 로봇팔 각각에 하나의 구동관절(44)을 갖는 것을 예시하였지만, 실시예의 변화에 따라 복수의 구동관절을 가질 수도 있고 서로 다른 자유도를 갖고 구동될 수도 있다. 따라서 구동관절의 개수, 자유도 개수 등은 본 발명의 권리범위에 영향을 미치지 않음은 자명하다.In addition, a driving joint 44 is included between the second link 43 and the third link 45. The drive joint 44 is composed of two degrees of freedom joints capable of moving up and down and left and right according to the amount of driving applied from the driving unit 10. In addition, the drive joint 44 may be configured to enable axial rotation. In one embodiment of the present invention has been illustrated that each of the robot arm having one drive joint 44, it may have a plurality of drive joints or may be driven with different degrees of freedom according to the change of the embodiment. Therefore, it is apparent that the number of drive joints, the number of degrees of freedom, and the like do not affect the scope of the present invention.

본 발명의 일실시예에 따른 구동관절(44)은 후에 상세히 설명되는 바와 같이 종래 동작에 히스테리시스(hysteresis)가 발생되어 구동부(10)의 구동량을 정확하게 따라가지 못해 동작의 정확도와 반복성 감소를 개선하기 위해 내시경 카메라로 구성된 시각센서(60)를 통해 제3링크(45)과 구동관절(44) 및 수술도구(50)의 영상을 통해 정확한 위치를 추정하게 된다.As described later in detail, the drive joint 44 according to the exemplary embodiment of the present invention has hysteresis generated in the conventional operation, so that the driving amount of the drive unit 10 cannot be accurately followed, thereby reducing the accuracy and repeatability of the operation. In order to estimate the correct position through the image of the third link 45, the drive joint 44 and the surgical tool 50 through the visual sensor 60 composed of an endoscope camera.

도 2b는 본 발명의 일실시예에 따른 돌출부(63)에 시각센서(60)가 구비된 수술용 로봇(1)의 로봇팔(40) 측을 나타낸 부분 사시도를 도시한 것이다. 본 발명의 일실시예에서는 내시경 카메라로 구성된 시각센서(60)가 외부로봇(20)의 일단 끝단면에 부착되는 것보다 위에서 아래쪽으로 내려다보면서 영상을 촬영하도록 구성된다. 즉, 제3링크(45)와 구동관절(44) 및 수술도구(50)의 위치 영상을 보다 정확하게 획득하기 위해 외부로봇(20) 일단의 상부에 ㄱ 자 형태의 돌출부(63)를 갖고, 돌출부(63)의 끝단에 시각센서(60)를 구비함이 바람직하다. Figure 2b shows a partial perspective view of the robot arm 40 side of the surgical robot 1 is provided with a visual sensor 60 in the protrusion 63 according to an embodiment of the present invention. In one embodiment of the present invention, the visual sensor 60 composed of the endoscope camera is configured to take an image while looking down from the top rather than being attached to one end surface of the external robot 20. That is, in order to more accurately acquire the position image of the third link 45, the driving joint 44 and the surgical tool 50, the outer robot 20 has an L-shaped protrusion 63 on the top of one end, the protrusion Preferably, the visual sensor 60 is provided at the end of the 63.

또한, 도 2b에 도시된 바와 같이 시각센서(60)를 2개 구비하여 제1시각센서(61)는 외부로봇(20) 일단 끝단면에 부착되어 전방의 영상을 촬영하고, 돌출부 (63)끝단에 구비된 제2시각센서(62)는 수술도구(50)와 제3링크(45) 부분의 영상을 촬영하도록 구성될 수도 있다. 또한, 이러한 제2시각센서(62)는 돌출부가 축방향 회전, 상하 또는 좌우 각도 변화가 가능하도록 하여 다양한 방향의 영상을 촬영할 수 있도록 구성될 수도 있다. In addition, as shown in FIG. 2B, two visual sensors 60 are provided, and the first visual sensor 61 is attached to one end surface of the external robot 20 to capture an image of the front, and the protrusion 63 ends. The second visual sensor 62 may be configured to photograph an image of the surgical tool 50 and the third link 45. In addition, the second visual sensor 62 may be configured to allow the projection to be rotated in the axial direction, and to change the vertical angle or the left and right to capture images of various directions.

또한, 내시경 카메라로 구성된 시각센서(60)가 제3링크(45)와 수술도구(50)의 위치를 보다 정확하게 추정하기 위해 제3링크(45)에 다양한 형태의 마커가 부착, 새겨질 수 있다. 이러한 마커는 점, 선 또는 다양한 형태를 가질 수 있으며, 비슷한 형상을 가지는 경우 색깔 또는 무늬 등을 통해 구분될 수 있다. 따라서 시각센서(60)를 통해 얻어진 영상에서 보여지는 마커의 위치나 방향, 서로의 간격 등의 정보를 이용하여 로봇팔(40)의 제3링크(45), 수술도구(50)의 위치 및 구동관절(44)의 각도 등을 분석할 수 있게 한다.In addition, various types of markers may be attached and engraved on the third link 45 in order to more accurately estimate the position of the third link 45 and the surgical tool 50 of the visual sensor 60 including the endoscope camera. Such markers may have points, lines, or various shapes, and may have a similar shape and may be distinguished by color or pattern. Therefore, the position and the driving of the third link 45 and the surgical tool 50 of the robot arm 40 by using information such as the position or direction of the marker shown in the image obtained through the visual sensor 60 and the distance between each other. The angle of the joint 44 can be analyzed.

이하에서는 본 발명의 일실시예에 따른 시각센서(60)가 구비된 수술용 로봇(1)의 제어시스템의 구성 및 작용에 대해 설명하도록 한다. 도 3은 본 발명의 일실시예에 따른 시각센서(60)가 구비된 수술용 로봇(1)의 제어시스템의 구성을 나타낸 블록도를 도시한 것이다. 돌출부(63)의 끝단에 설치된 내시경카메라도 구성된 시각센서(60)가 수술도구(50)와 제3링크(45) 및 구동관절(44)이 결합된 부분의 영상을 실시간으로 촬영하게 된다. 실시간으로 촬영한 영상은 디스플레이부(70)로 전송되고 디스플레이부(70)는 실시간으로 수신된 영상을 디스플레이하게 된다. 또한, 시각센서(60)가 2대 이상의 내시경 카메라로 구성된 경우 디스플레이부(70)는 다시점 비디오 처리법을 이용하여 입체적 영상을 디스플레이할 수도 있다. Hereinafter, the configuration and operation of the control system of the surgical robot 1 equipped with the visual sensor 60 according to an embodiment of the present invention. Figure 3 shows a block diagram showing the configuration of a control system of a surgical robot 1 equipped with a visual sensor 60 according to an embodiment of the present invention. The visual sensor 60, which is also configured with an endoscope camera installed at the end of the protrusion 63, captures an image of a portion where the surgical tool 50, the third link 45, and the driving joint 44 are combined in real time. The image captured in real time is transmitted to the display unit 70, and the display unit 70 displays the image received in real time. In addition, when the visual sensor 60 is composed of two or more endoscope cameras, the display unit 70 may display a stereoscopic image using a multiview video processing method.

도 4는 본 발명의 일실시예에 따른 시각센서(60)가 촬영한 영상을 디스플레이부(70)에서 디스플레이한 영상을 나타낸 사시도를 도시한 것이다. 그리고, 도 5는 도 4에서 제1마커(46)와 제2마커(47)가 부착된 제3링크(45) 및 수술도구(50)를 나타낸 부분 사시도를 도시한 것이다. 도 4 및 도 5에 도시된 바와 같이 디스플레이부(70)에서 디스플레이된 영상은 원근감에 의한 로봇팔(40)의 두께 변화를 알 수 있다. 4 is a perspective view illustrating an image displayed by the display unit 70 for the image captured by the visual sensor 60 according to an exemplary embodiment of the present invention. 5 shows a partial perspective view of the third link 45 and the surgical tool 50 to which the first marker 46 and the second marker 47 are attached. As shown in FIG. 4 and FIG. 5, the image displayed by the display unit 70 may know the thickness change of the robot arm 40 due to the perspective.

본 발명의 일실시예에 따른 제어시스템에 포함되는 분석수단(80)은 디스플레이부(70)에 디스플레이된 영상을 분석하여 수술도구(50)와 제3링크(45)의 위치 및 구동관절(44)의 각도를 추정, 분석하게 된다. 도 4 및 도 5에 도시된 바와 같이 본 발명의 일실시예에 따른 제3링크(45)에는 다양한 마커가 부착, 새겨져 있다. 구체적 실시예에서는 제3링크(45)의 양쪽 끝단 각각에 구비된 한 쌍의 제1마커(46)와 제1마커(46) 사이 공간에 서로가 꼬여진 형태로 부착된 제2마커(47)가 구비되어 있다. Analysis means 80 included in the control system according to an embodiment of the present invention analyzes the image displayed on the display 70, the position of the surgical tool 50 and the third link 45 and the driving joint 44 ) To estimate and analyze the angle. 4 and 5, various markers are attached and engraved on the third link 45 according to the exemplary embodiment of the present invention. In a specific embodiment, the second markers 47 are attached to each other in the form of a twisted shape in the space between the pair of first markers 46 and the first markers 46 provided at each end of each of the third links 45. Is provided.

따라서 분석수단(80)은 디스플레이된 영상에서 제1마커(46)의 크기로부터 시각센서(60)와 제3링크(45)간의 거리, 시각센서(60)와 수술도구(50)와의 거리를 분석할 수 있고, 제1마커(46) 간의 거리 정보로부터 구동관절(44)의 각도를 분석할 수 있다. 또한, 제2마커(47)의 형상을 통해 구동관절(44)이 축방향으로 어느 정도 회전되어 있는지를 분석할 수 있다. Therefore, the analysis means 80 analyzes the distance between the visual sensor 60 and the third link 45 and the distance between the visual sensor 60 and the surgical tool 50 from the size of the first marker 46 in the displayed image. The angle of the driving joint 44 may be analyzed from the distance information between the first markers 46. In addition, it is possible to analyze how much the driving joint 44 is rotated in the axial direction through the shape of the second marker 47.

결국, 다양한 형태의 마커가 부착된 제3링크(45)의 영상정보로부터 제3링크(45)와 수술도구(50)의 위치, 구동관절(44)의 각도를 정확하게 파악할 수 있게 된다. 그리고, 제어부(90)는 분석된 정보를 수신받게 되고, 사용자는 제어부(90)를 통해 수술도구(50)를 어느 방향으로 움직이게 할지, 구동관절(44)의 각도를 어떻게 변경시킬 지에 대한 조작정보를 입력하게 된다. As a result, the position of the third link 45 and the surgical tool 50 and the angle of the driving joint 44 can be accurately determined from the image information of the third link 45 to which various types of markers are attached. Then, the control unit 90 receives the analyzed information, the user through the control unit 90 in which direction to move the surgical tool 50, operation information about how to change the angle of the drive joint 44 Will be entered.

사용자가 조작정보를 입력하게 되면 제어부(90)는 입력된 조작정보를 해석하여 수술도구(50)와 제3링크(45)의 변위, 구동관절(44)의 각도변화를 계산하게 된다. 그리고, 제어부(90)는 계산된 값으로 구동관절(44)을 구동시키기 위해 필요한 구동력을 연산하게 된다. 마지막으로 제어부(90)는 연산된 구동력을 구동부(10)에 인가하여 구동부(10)를 제어하게 된다. When the user inputs the operation information, the control unit 90 interprets the input operation information to calculate the displacement of the surgical tool 50 and the third link 45 and the change of the angle of the driving joint 44. In addition, the controller 90 calculates a driving force necessary to drive the driving joint 44 using the calculated value. Finally, the controller 90 controls the driving unit 10 by applying the calculated driving force to the driving unit 10.

도 6a는 본 발명의 일실시예에 따른 구동관절(44)의 각도가 변환된 상태의 수술용 로봇(1)의 부분 평면도를 도시한 것이고, 도 6b은 본 발명의 일실시예에 따른 서로 다른 형태를 구비한 엘보우-아웃 관절(42)을 갖는 수술용 로봇(1)의 부분 평면도를 도시한 것이다. 도 6a 및 도 6b에 도시된 바와 같이, 로봇팔(40)은 다양한 각도, 형상의 엘보우-아웃관절(42)로 구성될 수 있다. 또한, 도 6a 및 도 6b에 도시된 관절들의 형태, 개수, 자유도 개수 등은 하나의 실시예를 제시한 것이지 이에 한정하여 권리범위를 해석하여서는 아니될 것이다.Figure 6a shows a partial plan view of the surgical robot 1 in a state in which the angle of the drive joint 44 is converted according to an embodiment of the present invention, Figure 6b is different according to an embodiment of the present invention A partial plan view of a surgical robot 1 having an elbow-out joint 42 having a shape is shown. As shown in FIGS. 6A and 6B, the robot arm 40 may be configured with elbow-out joints 42 of various angles and shapes. In addition, the shape, the number, the number of degrees of freedom, and the like of the joints illustrated in FIGS. 6A and 6B are exemplary embodiments and the scope of rights should not be construed as being limited thereto.

이하에서는 시각센서(60)를 갖는 수술용 로봇(1)의 제어방법을 설명하도록 한다. 먼저, 도 7은 본 발명의 일실시예에 따른 시각센서(60)를 갖는 수술용 로봇(1)의 제어방법의 흐름도를 도시한 것이다. Hereinafter, a control method of the surgical robot 1 having the visual sensor 60 will be described. First, FIG. 7 shows a flowchart of a control method of a surgical robot 1 having a visual sensor 60 according to an embodiment of the present invention.

먼저, 돌출부(63)의 끝단에 설치된 내시경카메라도 구성된 시각센서(60)가 수술도구(50)와 제3링크(45) 및 구동관절(44)이 결합된 부분의 영상을 실시간으로 촬영하게 된다. 그리고, 실시간으로 촬영한 영상은 디스플레이부(70)로 전송되고 디스플레이부(70)는 실시간으로 수신된 영상을 디스플레이하게 된다(S10). 또한, 시각센서(60)가 2대 이상의 내시경 카메라로 구성된 경우 디스플레이부(70)는 다시점 비디오 처리법을 이용하여 입체적 영상을 디스플레이할 수도 있다. First, the visual sensor 60 including the endoscope camera installed at the end of the protrusion 63 captures an image of a portion where the surgical tool 50, the third link 45, and the driving joint 44 are combined in real time. . The image captured in real time is transmitted to the display unit 70 and the display unit 70 displays the image received in real time (S10). In addition, when the visual sensor 60 is composed of two or more endoscope cameras, the display unit 70 may display a stereoscopic image using a multiview video processing method.

그리고, 분석수단(80)은 디스플레이부(70)에 디스플레이된 영상을 분석하여 수술도구(50)와 제3링크(45)의 위치 및 구동관절(44)의 각도를 추정, 분석하게 된다(S20). 분석수단(80)은 디스플레이된 영상에서 제1마커(46)의 크기로부터 시각센서(60)와 제3링크(45), 수술도구(50)와의 거리를 분석할 수 있고, 제1마커(46) 사이의 거리정보로부터 구동관절(44)의 각도를 분석할 수 있다. 또한, 제2마커(47)의 형상을 통해 구동관절(44)이 축방향으로 어느 정도 회전되어 있는지를 분석할 수 있다. In addition, the analyzing means 80 analyzes the image displayed on the display unit 70 to estimate and analyze the position of the surgical tool 50 and the third link 45 and the angle of the driving joint 44 (S20). ). The analyzing means 80 may analyze the distance between the visual sensor 60, the third link 45, and the surgical tool 50 from the size of the first marker 46 in the displayed image, and the first marker 46 The angle of the driving joint 44 can be analyzed from the distance information between the two. In addition, it is possible to analyze how much the driving joint 44 is rotated in the axial direction through the shape of the second marker 47.

결국, 다양한 형태의 마커가 부착된 제3링크(45)의 영상정보로부터 제3링크(45)와 수술도구(50)의 위치, 구동관절(44)의 각도를 정확하게 파악할 수 있게 된다. 그리고, 제어부(90)는 분석된 정보를 수신받게 되고, 사용자는 제어부(90)를 통해 수술도구(50)를 어느 방향으로 움직이게 할지, 구동관절(44)의 각도를 어떻게 변경시킬 지에 대한 조작정보를 입력하게 된다(S30). As a result, the position of the third link 45 and the surgical tool 50 and the angle of the driving joint 44 can be accurately determined from the image information of the third link 45 to which various types of markers are attached. Then, the control unit 90 receives the analyzed information, the user through the control unit 90 in which direction to move the surgical tool 50, operation information about how to change the angle of the drive joint 44 It is entered (S30).

사용자가 조작정보를 입력하게 되면 제어부(90)는 입력된 조작정보를 해석하여 수술도구(50)와 제3링크(45)의 변위, 구동관절(44)의 각도변화를 계산하게 된다(S40). 그리고, 제어부(90)는 계산된 값으로 구동관절(44)을 구동시키기 위해 필요한 구동력을 연산하게 된다(S50). 마지막으로 제어부(90)는 연산된 구동력을 구동부(10)에 인가하여 구동부(10)를 제어하게 된다(S60). 이러한 단계들은 사용자가 로봇팔(40)을 구동시킬 필요가 있는 경우 계속하여 반복하게 된다(S70). When the user inputs the operation information, the control unit 90 interprets the input operation information to calculate the displacement of the surgical tool 50 and the third link 45 and the angle change of the driving joint 44 (S40). . In addition, the controller 90 calculates a driving force necessary to drive the driving joint 44 using the calculated value (S50). Finally, the control unit 90 controls the driving unit 10 by applying the calculated driving force to the driving unit 10 (S60). These steps are repeated repeatedly if the user needs to drive the robot arm 40 (S70).

1:수술로봇
10:구동부
20:외부로봇
30:내부로봇
40:로봇팔
41:제1링크
42:엘보우-아웃 관절
43:제2링크
44:구동관절
45:제3링크
46:제1마커
47:제2마커
50:수술도구
60:시각센서
61:제1시각센서
62:제2시각센서
63:돌출부
70:디스플레이부
80:분석수단
90:제어부
1: surgical robot
10: drive unit
20: external robot
30: internal robot
40: Robot arm
41: The first link
42: Elbow-out joint
43: second link
44: driving joint
45: third link
46: First marker
47: second marker
50: surgical instruments
60: Visual sensor
61: first visual sensor
62: second visual sensor
63: protrusion
70: display unit
80: Analysis means
90:

Claims (17)

수술용 로봇에 있어서,
인체 내부로 삽입되어 동력을 전달하는 유연한 재질의 외부로봇;
상기 외부로봇의 일단 끝단부에 구비되고 상기 외부로봇을 통해 전달된 동력을 인가받는 복수의 로봇팔;
상기 로봇팔의 끝단에 설치된 수술도구;
상기 외부로봇의 일단 끝단부에 구비되어 상기 로봇팔과 상기 수술도구의 영상을 실시간으로 촬영하는 시각센서; 및
사용중 상기 인체 외부에 위치하게 되고 상기 외부로봇의 타단 끝단부에 연결되어 동력을 발생시켜 상기 외부로봇을 통해 상기 로봇팔을 구동시키는 구동부를 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
In a surgical robot,
An external robot of a flexible material inserted into the human body to transmit power;
A plurality of robot arms provided at one end of the external robot and receiving power transmitted through the external robot;
A surgical tool installed at the end of the robot arm;
A visual sensor provided at one end of the external robot to capture an image of the robot arm and the surgical tool in real time; And
Surgical robot using a visual sensor that is located outside the human body during use and connected to the other end of the external robot to generate power to drive the robot arm through the external robot.
제 1 항에 있어서,
상기 외부로봇은 와이어 로프로 구성되어 상기 구동부의 동력을 상기 로봇팔로 전달하며 직경은 20mm이하이고
상기 시각센서는 내시경 카메라로 구성된 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The external robot is composed of a wire rope to transfer the power of the drive unit to the robot arm, the diameter is less than 20mm
The visual sensor is a surgical robot using a visual sensor, characterized in that consisting of the endoscope camera.
제 1항에 있어서,
상기 외부로봇은 상기 외부로봇의 일단 끝단부에서 측면방향으로 돌출된 돌출부를 더 포함하고,
상기 시각센서는 상기 돌출부의 끝단에 구비되어 상기 로봇팔과 상기 수술도구를 영상을 촬영하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The external robot further includes a protrusion protruding laterally from one end of the external robot,
The visual sensor is provided at the end of the projection robot for surgery using a visual sensor, characterized in that for taking images of the robot arm and the surgical tool.
제 1항에 있어서,
상기 로봇팔은 2개로 구성되고, 각각의 상기 로봇팔은 복수의 링크와 상기 링크를 연결하는 관절을 갖는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
The method of claim 1,
The robot arm is composed of two, each of the robot arm is a surgical robot using a visual sensor, characterized in that it has a plurality of links and joints connecting the links.
제 4항에 있어서,
상기 로봇팔 각각은 상기 외부로봇의 일단 끝단부에 연결되고 길이방향이 상기 외부로봇의 일단 끝단부의 길이방향과 외측으로 특정각도를 형성하는 제1링크;
상기 제1링크와 연결된 제2링크와 상기 제1링크와 상기 제2링크 사이에 구비되는 엘보우-아웃관절; 및
상기 제2링크와 연결된 제3링크와 상기 동력을 인가받아 상기 제2링크와 상기 제3링크와의 각도를 변경시키는 구동관절을 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
5. The method of claim 4,
Each of the first and second robot arms connected to one end of the external robot and having a longitudinal direction defining a specific angle in a length direction and an outside of one end of the external robot;
An elbow-out joint provided between the second link connected to the first link and the first link and the second link; And
And a driving joint configured to change an angle between the second link and the third link by receiving a third link and the power connected to the second link.
제 5항에 있어서,
상기 구동관절은 상기 제3링크를 축방향으로 회전, 상기 제3링크의 좌우각도변경 및 상기 제3링크의 상하각도 변경 중 적어도 어느 하나를 변화시키는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
6. The method of claim 5,
The drive joint is a surgical robot using a visual sensor, characterized in that for rotating at least one of the rotation of the third link, the change of the left and right angles of the third link and the change of the vertical angle of the third link.
제 5항에 있어서,
상기 제3링크의 외면에는 적어도 하나의 마커가 부착되어 있는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
6. The method of claim 5,
Surgical robot using a visual sensor, characterized in that at least one marker is attached to the outer surface of the third link.
제 7항에 있어서,
상기 마커는 상기 제3링크의 양쪽 끝단 각각에 부착된 한 쌍의 제1마커와 상기 한 쌍의 제1마커 사이에 구비되는 제2마커를 포함하는 것을 특징으로 하는 시각센서를 이용한 수술용 로봇.
8. The method of claim 7,
The marker includes a pair of first markers attached to each end of each of the third link and a surgical robot using a visual sensor, characterized in that it comprises a second marker provided between the pair of first markers.
수술용 로봇의 로봇팔 위치 및 각도 분석시스템에 있어서,
제8항의 수술용 로봇;
상기 외부로봇의 일단 끝단부에 구비된 시각센서에서 측정된 영상을 디스플레이하는 디스플레이부; 및
상기 디스플레이부에서 디스플레이된 영상을 분석하여 현재 로봇팔의 위치, 각도 및 상기 로봇팔의 끝단에 설치된 수술도구의 위치를 분석하는 분석수단을 포함하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
In the robot arm position and angle analysis system of the surgical robot,
Surgical robot of claim 8;
A display unit displaying an image measured by a visual sensor provided at one end of the external robot; And
Analyze the position and angle analysis system of the surgical robot, characterized in that for analyzing the image displayed on the display unit for analyzing the current position of the robot arm, the position of the surgical instrument installed on the end of the robot arm; .
제 9항에 있어서,
상기 분석수단은
제3링크에 부착된 마커의 위치, 방향 및 크기의 정보를 이용하여 상기 제3링크 및 상기 수술도구의 위치 및 구동관절의 각도를 연산하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
The method of claim 9,
The analyzing means
Position and angle analysis system of the surgical robot, characterized in that for calculating the position of the third link and the surgical tool and the angle of the driving joint using the information of the position, direction and size of the marker attached to the third link.
제 10항에 있어서,
상기 분석수단은,
디스플레이부에서 디스플레이된 영상에서 상기 제3링크에 부착된 한 쌍의 제1마커의 크기와 상기 한 쌍의 제1마커 간의 거리로부터 상기 제3링크와 상기 시각센서와의 거리 및 상기 구동관절의 각도를 연산하고, 상기 제3링크에 부착된 제2마커의 위치 및 크기로부터 상기 제3링크의 축방향 회전각도를 연산하는 것을 특징으로 하는 수술용 로봇의 위치 및 각도 분석시스템.
The method of claim 10,
The analysis means,
The distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers in the image displayed on the display unit And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.
제11항의 분석시스템; 및
상기 분석시스템의 분석수단에서 연산된 정보에 기초로 하여 구동부에서 필요한 구동력을 계산하고, 계산된 구동력으로 상기 구동부가 구동되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 수술용 로봇의 제어 시스템.
An analysis system of claim 11; And
And a control unit for calculating a driving force required by the driving unit based on the information calculated by the analyzing unit of the analysis system and controlling the driving unit to be driven by the calculated driving force.
제 12항에 있어서,
상기 제어부는
상기 분석수단에서 연산된 수술도구와 제3링크의 위치 및 구동관절의 각도를 기초로 시용자가 입력한 입력정보로 수술용 로봇의 구동관절의 각도 및 상기 수술로봇의 수술도구 위치가 변화되도록 상기 구동력을 계산하여 상기 구동부를 제어하는 것을 특징으로 하는 수술용 로봇의 제어 시스템.
13. The method of claim 12,
The control unit
The driving force such that the angle of the driving joint of the surgical robot and the position of the surgical tool of the surgical robot are changed by input information input by the user based on the position of the surgical tool and the third link and the driving joint calculated by the analyzing means. The control system of the surgical robot, characterized in that for controlling the drive unit.
제 9항의 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법에 있어서,
수술로봇의 외부로봇 일단 끝단부에 구비된 시각센서가 로봇팔의 영상을 촬영하는 단계;
디스플레이부에서 촬영한 상기 영상을 디스플레이하는 단계; 및
분석수단이 디스플레이된 상기 영상을 기초로 상기 로봇팔의 위치 및 방향을 분석하는 단계를 포함하는 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법.
In the method for analyzing the position and angle of the surgical robot using the analysis system of claim 9,
Photographing an image of a robot arm by a visual sensor provided at one end of an external robot of the surgical robot;
Displaying the image captured by the display unit; And
And analyzing the position and direction of the robot arm based on the image displayed by the analysis means.
제 14항에 있어서,
상기 촬영단계는,
상기 시각센서가 상기 로봇팔의 끝단에 설치된 수술도구와 한 쌍의 제1마커와 제2마커가 부착된 제3링크 및 구동관절의 영상을 촬영하는 단계이고,
상기 분석단계는,
상기 분석수단이 상기 제3링크에 부착된 한 쌍의 제1마커의 크기와 상기 한 쌍의 제1마커 간의 거리로부터 상기 제3링크와 상기 시각센서와의 거리 및 상기 구동관절의 각도를 연산하고, 상기 제3링크에 부착된 제2마커의 위치 및 크기로부터 상기 제3링크의 축방향 회전각도를 연산하는 단계인 것을 특징으로 하는 분석시스템을 이용한 수술용 로봇의 위치 및 각도 분석방법.
The method of claim 14,
In the photographing step,
The visual sensor photographs an image of a third link and a driving joint to which a surgical tool installed at the end of the robot arm, a pair of first markers and a second marker are attached,
Wherein the analyzing step comprises:
The analyzing means calculates the distance between the third link and the visual sensor and the angle of the driving joint from the size of the pair of first markers attached to the third link and the distance between the pair of first markers. And calculating the axial rotation angle of the third link from the position and size of the second marker attached to the third link.
삭제delete 삭제delete
KR1020110040922A 2011-04-29 2011-04-29 Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot KR101284087B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110040922A KR101284087B1 (en) 2011-04-29 2011-04-29 Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110040922A KR101284087B1 (en) 2011-04-29 2011-04-29 Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot

Publications (2)

Publication Number Publication Date
KR20120122643A KR20120122643A (en) 2012-11-07
KR101284087B1 true KR101284087B1 (en) 2013-07-10

Family

ID=47508873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110040922A KR101284087B1 (en) 2011-04-29 2011-04-29 Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot

Country Status (1)

Country Link
KR (1) KR101284087B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349048B2 (en) 2013-02-28 2016-05-24 Smasung Electronics Co., Ltd. Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102191035B1 (en) * 2013-07-03 2020-12-15 큐렉소 주식회사 System and method for setting measuring direction of surgical navigation
KR101669724B1 (en) * 2014-09-24 2016-10-26 (의료)길의료재단 A detecting device using image of subject and surgical tool movement and method using thereof
EP3629981A4 (en) 2017-05-25 2021-04-07 Covidien LP Systems and methods for detection of objects within a field of view of an image capture device
US11918299B2 (en) 2017-05-25 2024-03-05 Covidien Lp Systems and methods for detection of objects within a field of view of an image capture device
CN108175511A (en) * 2018-02-26 2018-06-19 路要武 A kind of single-hole laparoscopic robot system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027541A (en) * 1999-09-14 2001-04-06 윤종용 Apparatus and Method for viewing optimal three dimentional image of surgical instrument for automatic controlling the position of the endoscope in Minimally Invasive Surgery
JP2004180781A (en) 2002-11-29 2004-07-02 Jikei Univ School Of Medicine Endoscopic surgery robot
KR20100000280A (en) * 2008-06-24 2010-01-06 한국과학기술원 Surgical instrument
KR20100067838A (en) * 2008-12-12 2010-06-22 주식회사 래보 Surgical instrument and coupling structure of surgical robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027541A (en) * 1999-09-14 2001-04-06 윤종용 Apparatus and Method for viewing optimal three dimentional image of surgical instrument for automatic controlling the position of the endoscope in Minimally Invasive Surgery
JP2004180781A (en) 2002-11-29 2004-07-02 Jikei Univ School Of Medicine Endoscopic surgery robot
KR20100000280A (en) * 2008-06-24 2010-01-06 한국과학기술원 Surgical instrument
KR20100067838A (en) * 2008-12-12 2010-06-22 주식회사 래보 Surgical instrument and coupling structure of surgical robot

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349048B2 (en) 2013-02-28 2016-05-24 Smasung Electronics Co., Ltd. Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object

Also Published As

Publication number Publication date
KR20120122643A (en) 2012-11-07

Similar Documents

Publication Publication Date Title
JP7229319B2 (en) Surgery support device, its control method, program and surgery support system
US11141048B2 (en) Automated endoscope calibration
JP6091410B2 (en) Endoscope apparatus operating method and endoscope system
US11786106B2 (en) Robotic endoscope probe having orientation reference markers
EP3025673B1 (en) Medical system and medical treatment tool control
KR101284087B1 (en) Surgical robot using visual sensor and system and method for analyzing of the surgical robot and system and method for controling of he surgical robot
KR102171873B1 (en) Haptic glove and Surgical robot system
CN101416867B (en) Medical device
JP6072283B2 (en) MEDICAL MANIPULATOR AND METHOD OF OPERATING MEDICAL MANIPULATOR
JP5024785B2 (en) Arm system mounted on an endoscopic device
WO2017014303A1 (en) Medical system and operation method therefor
WO2018059036A1 (en) Laparoscopic surgery system
EP2862497B1 (en) Manipulator system
JP6053358B2 (en) Surgery support device
JP4458492B2 (en) Operation control system and position detection device for surgery support robot
JPWO2009084345A1 (en) Medical equipment system
Schäfer et al. Steerable Flexible Laparoscope to Facilitate Camera Guidance During Minimally Invasive Procedures
JP2020028645A (en) Estimation system, estimation method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee