KR102340169B1 - 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치 - Google Patents

수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치 Download PDF

Info

Publication number
KR102340169B1
KR102340169B1 KR1020200006523A KR20200006523A KR102340169B1 KR 102340169 B1 KR102340169 B1 KR 102340169B1 KR 1020200006523 A KR1020200006523 A KR 1020200006523A KR 20200006523 A KR20200006523 A KR 20200006523A KR 102340169 B1 KR102340169 B1 KR 102340169B1
Authority
KR
South Korea
Prior art keywords
surgical robot
driving
hysteresis
image
real
Prior art date
Application number
KR1020200006523A
Other languages
English (en)
Other versions
KR20210092970A (ko
Inventor
권동수
백동훈
서주환
김준환
안정도
김한솔
유재민
Original Assignee
주식회사 이지엔도서지컬
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이지엔도서지컬, 한국과학기술원 filed Critical 주식회사 이지엔도서지컬
Priority to US17/277,159 priority Critical patent/US20220110703A1/en
Priority to KR1020200006523A priority patent/KR102340169B1/ko
Priority to PCT/KR2020/000862 priority patent/WO2021145490A1/ko
Publication of KR20210092970A publication Critical patent/KR20210092970A/ko
Priority to KR1020210166342A priority patent/KR102476265B1/ko
Application granted granted Critical
Publication of KR102340169B1 publication Critical patent/KR102340169B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/00296—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)
  • Endoscopes (AREA)

Abstract

구동 입력에 따른 수술 로봇의 일 실시 예에 따른 히스테리시스를 결정하는 방법은, 구동 입력에 따라 구동되는 상기 수술 로봇의 실시간 이미지를 촬영하는 단계; 및 상기 실시간 이미지를 상기 수술 로봇의 사전 렌더링된 이미지 데이터 세트와 비교하여 상기 수술 로봇의 구동 각도를 측정하고, 상기 구동 입력과 상기 측정된 구동 각도의 차이를 산출하는 단계를 포함할 수 있다.

Description

수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치{METHOD FOR DETERMINING HYSTERESIS OF SURGICAL ROBOT, METHOD FOR COMPENSATING THEREOF, AND ENDOSCOPE SURGICAL APPARATUS}
이하의 설명은 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치에 관한 것이다.
유연 수술 로봇을 통해 위, 대장등의 소화기 수술 및 검사를 수행하는 경우, 인체내의 다양하게 굴곡진 장기들에 의해 유연 수술 로봇의 유연한 부분인 시스(sheath)가 다양한 형태를 가지게 되고 이는 예측 불가능한 히스테리시스(hysteresis)를 발생시켜서 보상에 어려움을 겪게 한다.
히스테리시스 보상 알고리즘은 크게 두가지 2가지 종류로 나누어 지는데, 하나는 기존에 알고 있는 정보(a priori)를 이용하여 히스테리시스를 보상하는 오프라인(offline) 방식이며, 다른 하나는 센서를 활용하는 피드백(feedback) 형태의 온라인(online) 보상 방식이 있다.
오프라인 방식은 히스테리시스 모델을 이용하는 방법, 학습을 통해서 새로운 기구학 모델(kinematic model)을 이용하는 방법 또는 진동을 이용하여 시스와 와이어간의 마찰을 줄여주는 방법 등이 있다. 하지만 이러한 방식들은 시스의 형태(configuration)가 변화하는 등의 히스테리시스 특성이 바뀌는 것에 대응할 수가 없다는 문제점이 존재하였다.
온라인 방식은 전자기식(electromagnetic) 센서를 이용하는 것과 카메라를 이용한 것이 대표적이며, 전자는 살균 문제 때문에 실제 수술에 적용이 어렵고 후자의 경우는 대부분 수술 분비물에 의해 가려지기 쉬운 "마커"를 이용하고 있다는 점에서 마커가 수술 분비물에의 의해 가려질 경우, 제대로 된 보상 성능을 기대할 수 없다는 문제점이 존재하였다.
한편, 본 발명의 주제와 관련된 선행 기술들이 "공개특허공보 제10-2014-0011433호" 및 "일본 공개특허공보 특개2015-160278호"에 개시되어 있다.
전술한 배경기술은 발명자가 본 발명의 도출과정에서 보유하거나 습득한 것으로서, 반드시 본 발명의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
일 실시 예의 목적은 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치를 제공하는 것이다.
일 실시 예에 따른 수술 로봇의 히스테리시스를 결정하는 방법은, 구동 입력에 따라 구동되는 상기 수술 로봇의 실시간 이미지를 촬영하는 단계; 및 상기 실시간 이미지를 상기 수술 로봇의 사전 렌더링된 이미지 데이터 세트와 비교하여 상기 수술 로봇의 구동 각도를 측정하고, 상기 구동 입력과 상기 측정된 구동 각도의 차이를 산출하는 단계를 포함할 수 있다.
일 실시 예에 따른 수술 로봇의 히스테리시스를 결정하는 방법은, 상기 수술 로봇의 실시간 이미지를 촬영하는 단계 이전에 수행되며, (i) 상기 수술 로봇의 실제 이미지와, (ii) 상기 수술 로봇을 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇을 구동하여 렌더링된 이미지와의 유사도를 기반으로, 수술 로봇의 히스테리시스 평가 모델을 생성하는 단계를 더 포함할 수 있다.
히스테리시스 평가 모델을 생성하는 단계는, 상기 렌더링된 이미지의 집합인 렌더링된 이미지 데이터를 제 1 신경망 모델에 입력하여 제 1 특성 벡터를 추출하는 단계; 구동 입력에 따라 구동되는 상기 수술 로봇의 실제 이미지 데이터를 제 2 신경망 모델에 입력하여 제 2 특성 벡터를 추출하는 단계; 및 상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력의 상대적인 크기 차이와, 상기 제 1 특성 벡터 및 상기 제 2 특성 벡터 사이의 상대적인 크기 차이에 기초하여, 상기 제 1 신경망 모델 및 상기 제 2 신경망 모델을 지도 학습시키는 단계를 포함할 수 있다.
상기 제 1 특성 벡터 및 상기 제 2 특성 벡터는 동일한 차원의 수를 갖고, 상기 지도 학습시키는 단계는, 상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력이 서로 유사할수록, 상기 제 1 특성 벡터 및 제 2 특성 벡터 사이의 노름 크기가 작아지도록 학습시킬 수 있다.
상기 수술 로봇은 서로 다른 회전축을 가지며 관절 구동하는 근위 관절부와 원위 관절부를 포함하고, 상기 구동 입력은, 상기 근위 관절부의 구동 각도 변위 및 상기 원위 관절부의 구동 각도 변위를 포함하고, 상기 히스테리시스 평가 모델을 생성하는 단계는, 상기 근위 관절부 및 상기 원위 관절부 중 어느 하나의 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상기 히스테리시스 평가 모델을 생성할 수 있다.
상기 히스테리시스 평가 모델을 생성하는 단계는, 상기 근위 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상기 히스테리시스 평가 모델을 생성할 수 있다.
상기 히스테리시스 평가 모델을 생성하는 단계는, 상기 실제 이미지에서 상기 수술 로봇을 제외한 배경 이미지를 분할하여 제거하는 전처리 단계를 더 포함할 수 있다.
상기 차이를 산출하는 단계는, 상기 실시간 이미지를 상기 제 2 신경망 모델에 입력하여 실시간 특성 벡터를 추출하는 단계; 상기 실시간 특성 벡터와 가장 유사한 상기 제 1 특성 벡터를 갖는 렌더링된 이미지를 검색하는 단계; 및 상기 측정된 구동 각도는, 상기 검색된 렌더링된 이미지의 구동 입력에 기초하여 결정하는 단계를 포함할 수 있다.
상기 렌더링된 이미지를 검색하는 단계는, 상기 제 1 특성 벡터의 차원수와 동일한 차원수를 갖는 이진 트리 구조를 사용하여 인덱싱하는 단계를 포함할 수 있다.
상기 차이를 산출하는 단계는, 상기 실시간 이미지에서 상기 수술 로봇을 제외한 배경 이미지를 분할하여 제거하는 전처리 단계를 더 포함할 수 있다.
상기 전처리 단계는, 상기 수술 로봇의 실시간 이미지를 촬영하는 카메라로부터 상기 수술 로봇의 근위 관절부까지의 거리에 기초하여, 상기 실시간 이미지의 스케일을 조절하는 단계를 더 포함할 수 있다.
일 실시 예에 따른 로봇의 히스테리시스를 보상하는 방법은, 구동 입력에 따라 구동되는 상기 수술 로봇의 실시간 이미지를 촬영하는 단계; 상기 실시간 이미지를 상기 수술 로봇의 사전 렌더링된 이미지 데이터 세트와 비교하여 상기 수술 로봇의 구동 각도를 측정하고, 상기 구동 입력과 상기 측정된 구동 각도의 차이를 산출함으로써 상기 수술 로봇의 히스테리시스를 결정하는 단계; 및 결정된 히스테리시스에 기초하여 상기 구동 입력을 보상하는 단계를 포함할 수 있다.
상기 구동 입력을 보상하는 단계는, 상기 구동 각도의 차이에 기초하여 상기 구동 입력을 피드백 제어로 보상하는 단계를 포함할 수 있다.
일 실시 예에 따른 내시경 수술 장치는, 튜브; 상기 튜브에 수용되고 1 자유도 이상의 구동축을 갖는 수술 로봇; 상기 튜브의 선단에서 상기 수술 로봇을 촬영하는 내시경 카메라; 상기 수술 로봇을 구동시키는 구동부; 상기 구동부를 제어하여 상기 수술 로봇의 구동을 제어하는 제어부; 및 사용자로부터 구동 입력을 전달받는 구동 입력부를 포함할 수 있고, 상기 제어부는 상기 구동 입력과 상기 내시경 카메라에서 촬영된 실시간 이미지에 기초하여 상기 수술 로봇의 히스테리시스를 보상하는 적어도 하나 이상의 프로세서를 포함할 수 있다.
상기 제어부는, 상기 수술 로봇의 실제 이미지와, 상기 수술 로봇을 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇을 구동하여 렌더링된 이미지와의 유사도를 기반으로 수술 로봇의 히스테리시스 평가 모델을 포함할 수 있다.
상기 수술 로봇의 히스테리시스 평가 모델은, 상기 렌더링된 이미지를 입력받아 복수개의 차원의 제 1 특성 벡터를 출력하는 제 1 신경망 모델; 상기 수술 로봇의 실제 이미지를 입력받아 상기 제 1 특성 벡터와 동일한 차원의 수를 갖는 제 2 특성 벡터를 출력하는 제 2 신경망 모델; 및 상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력의 상대적인 크기 차이와, 상기 제 1 특성 벡터 및 상기 제 2 특성 벡터 사이의 상대적인 크기 차이가 비례하도록 상기 제 1 신경망 모델 및 제 2 신경망 모델을 지도 학습시키는 지도 학습 모델을 포함할 수 있다.
상기 수술 로봇의 히스테리시스 평가 모델은, 상기 렌더링된 이미지별로 추출된 제 1 특성 벡터들이 상기 제 1 특성 벡터의 차원수와 동일한 차원수를 갖는 이진 트리 구조로 저장되는 색인부를 더 포함할 수 있다.
상기 수술 로봇은, 서로 다른 회전축을 가지며 관절 구동하는 근위 관절부와 원위 관절부를 포함하고, 상기 구동 입력은, 상기 근위 관절부의 구동 각도 변위 및 상기 원위 관절부의 구동 각도 변위를 포함하고, 상기 히스테리시스 평가 모델은, 상기 근위 관절부 및 상기 원위 관절부 중 어느 하나의 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상이한 모델로 생성될 수 있다.
상기 제어부는, 상기 수술 로봇의 실시간 이미지를 상기 제 2 신경망 모델에 입력하여 실시간 특성 벡터를 추출하고, 상기 실시간 특성 벡터와 가장 유사한 상기 제 1 특성 벡터를 갖는 렌더링된 이미지에 기초하여, 상기 구동 입력에 따른 구동 오차를 결정할 수 있다.
상기 제어부는, 상기 구동 입력에 따라 평가된 구동 오차의 크기에 기초하여, 상기 구동부의 구동을 보상하는 구동 보상부를 더 포함할 수 있다.
상기 구동 보상부는 상기 구동 오차의 크기에 기초하여 상기 구동 입력을 피드백 제어로 보상할 수 있다.
일 실시 예에 따른 히스테리시스를 보상하는 방법 및 이를 포함하는 내시경 수술 장치에 의하면, 시스의 다양한 구조에 대해서 수술 도구의 히스테리시스를 감소시킬 수 있으며, 이를 통해 위 또는 대장 등의 소화기수술에 적용에 있어서 수술 도구의 제어 정확도를 향상시킬 수 있다.
일 실시 예에 따른 히스테리시스를 보상하는 방법 및 이를 포함하는 내시경 수술 장치에 의하면, 기존의 내시경 카메라에서 촬영하는 영상을 사용하는 방식이므로, 별도의 추가적인 구성과 그에 따른 살균 문제를 배제할 수 있다.
도 1은 일 실시 예에 따른 내시경 수술 장치의 사시도이다.
도 2는 일 실시 예에 따른 내시경 수술 장치의 블록도이다.
도 3은 일 실시 예에 따른 내시경 수술 장치의 제어부의 구성을 나타내는 블록도이다.
도 4는 일 실시 예에 따른 히스테리시스 평가 모델을 나타내는 블록도이다.
도 5는 일 실시 예에 따른 수술 로봇의 사전 렌더링된 이미지의 데이터 세트를 나타내는 도면이다.
도 6은 일 실시 예에 따른 수술 로봇의 히스테리시스를 보상하는 방법의 순서도이다
도 7은 일 실시 예에 따른 히스테리시스 평가 모델을 생성하는 단계를 나타내는 순서도이다.
도 8은 일 실시 예에 따른 내시경 카메라에서 촬영되는 실제 이미지가 전처리되는 모습을 나타내는 도면이다.
도 9는 일 실시 예에 따른 히스테리시스 평가 모델을 생성하는 단계에서 2 개의 신경망 모델을 학습하는 과정을 나타내는 도면이다.
도 10은 일 실시 예에 따른 히스테리시스를 결정하는 단계를 나타내는 순서도이다.
도 11은 일 실시 예에 따른 히스테리시스를 결정하는 단계를 통해 실시간 이미지와 유사한 렌더링된 이미지를 검색하는 과정을 나타내는 도면이다.
도 12는 일 실시 예에 따른 구동 오차를 보상하는 단계에서 사용자의 구동 입력에 따른 구동 오차를 보상하는 과정을 나타내는 도면이다.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른 내시경 수술 장치의 사시도이고, 도 2는 일 실시 예에 따른 내시경 수술 장치의 블록도이고, 도 3은 일 실시 예에 따른 내시경 수술 장치의 제어부의 구성을 나타내는 블록도이고, 도 4는 일 실시 예에 따른 히스테리시스 평가 모델을 나타내는 블록도이고, 도 5는 일 실시 예에 따른 수술 로봇의 사전 렌더링된 이미지의 데이터 세트를 나타내는 도면이다.
도 1 내지 도 5를 참조하면, 일 실시 예에 따른 내시경 수술 장치(1)는 신체의 내부에 삽입되어 수술적 처치와 영상의 촬영을 동시에 수행할 수 있으며, 촬영되는 수술 로봇(13)의 이미지에 기초하여 수술 로봇(13)의 구동 입력에 따른 히스테리시스(hysteresis)를 결정할 수 있고, 이를 통해 구동 입력을 보상하여 제어 정확도를 향상시킬 수 있다.
일 실시 예에 따른 내시경 수술 장치(1)는, 신체내에 삽입되는 튜브(11)와, 튜브(11)에 수용되고 1 자유도 이상의 구동 자유도를 갖는 수술 로봇(13)과, 튜브(11)의 선단에서 수술 로봇(13)을 촬영하는 내시경 카메라(12)와, 수술 로봇(13)을 구동시키는 구동부(16)와, 수술 로봇(13)의 구동을 제어하는 제어부(14)와, 사용자로부터 구동 입력을 전달받는 구동 입력부(15)를 포함할 수 있다.
튜브(11)는, 신체 내부에 삽입되고 가요성을 갖는 관형 부재일 수 있다. 예를 들어, 튜브(11)는 길이 방향을 따라 내부에 형성되어 수술 로봇(13), 내시경 카메라(12) 또는 기타 수술 도구들을 튜브(11)의 선단으로 가이드하는 적어도 하나 이상의 채널(111)을 포함할 수 있다.
수술 로봇(13)은, 채널(111)을 통해 튜브(11)의 선단 밖으로 돌출되고, 수술적 처치를 위해서 사용자의 입력 또는 조작에 의해 구동될 수 있다.
수술 로봇(13)은 1 자유도 이상의 구동 자유도를 가질 수 있다. 예를 들어, 수술 로봇(13)은 도 1과 같이 서로 다른 방향으로 관절 구동하는 2 개의 관절부(131, 132)를 포함할 수 있고, 이들을 튜브(11)의 선단으로부터 돌출되는 순서에 따라 근위 관절부(131) 및 원위 관절부(132)라 할 수 있다.
한편, 수술 로봇(13)의 관절부(131, 132)의 개수 및 구조는 이에 제한되지 않는다는 점을 밝혀둔다.
도 1 과 같이, 수술 로봇(13)은 사용자의 구동 입력에 따라서 각각의 근위 관절부(131) 및 원위 관절부(132)가 개별적으로 구동될 수 있다.
예를 들어, 수술 로봇(13)은 관절 구동 뿐만 아니라, 튜브(11)의 선단이 지향하는 방향을 따라서 전후 방향으로 병진 구동될 수 있다. 이와 같은 병진 이동을 비롯하여, 상술한 관절 구동은, 사용자에 의해 수동으로 수행될 수도 있으며, 원격 마스터 기구에 의하여 자동으로 수행될 수도 있음을 밝혀 둔다.
내시경 카메라(12)는, 튜브(11)의 선단으로 돌출된 수술 로봇(13)을 촬영할 수 있다. 내시경 카메라(12)에서 촬영되는 이미지를 통해서 수술 로봇(13)이 구동되는 모습을 확인할 수 있다.
구동부(16)는, 수술 로봇(13)의 관절 구동 및/또는 병진 이동을 수행하는 액추에이터를 포함할 수 있다. 도 1과 같이 수술 로봇(13)의 관절부(131, 132)가 2 개일 경우, 구동부(16)는 근위 관절부(131)를 구동시키는 근위 구동부(161) 및 원위 관절부(132)를 구동시키는 원위 구동부(162)를 포함할 수 있다.
구동 입력부(15)는, 사용자로부터 전달받은 구동 입력 신호를 제어부(14)에 전달할 수 있다. 예를 들어, 구동 입력 신호는 근위 관절부(131) 및 원위 관절부(132) 각각이 굴곡 또는 신전되는 각도 값(θ1, θ2)을 포함할 수 있다.
제어부(14)는, 사용자의 구동 입력에 기초하여, 구동부(16)를 구동을 통해 수술 로봇(13)의 움직임을 제어할 수 있다. 제어부(14)는 구동 입력과 내시경 카메라(12)에서 촬영된 실시간 이미지에 기초하여 수술 로봇의 히스테리시스를 보상할 수 있다.
예를 들어, 제어부(14)는 적어도 하나 이상의 프로세서(141) 및 메모리(142)를 포함할 수 있다. 프로세서(141)는 내시경 카메라(12)에서 촬영된 실시간 이미지를 통해 수술 로봇의 구동 오차를 결정하고, 이를 통해 구동 입력을 보상하기 위한 기능 및 인스트럭션들을 실행할 수 있다.
메모리(142)는 수술 로봇의 히스테리시스를 결정 및 보상하기 위한 정보, 기능 및 인스트럭션들을 저장한다. 메모리(142)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다.
도 3 및 도 4를 참조하면, 제어부(14)는 메모리(142)에 저장된 정보를 기초로 인스트럭션들을 실행하여 다음과 같은 기능을 수행할 수 있다.
예를 들어, 제어부(14)는 내시경 카메라(12)에서 촬영되는 실시간 이미지(23) 및 실제 이미지(22)의 전처리를 위한 전처리부(143)와, 실시간 이미지를 통한 수술 로봇의 구동 오차를 판단하는 히스테리시스 평가 모델(144)과, 실시간 이미지를 통한 유사도 검색을 위한 색인부(145)와, 구동 오차에 기초하여 구동 입력을 보상하는 구동 보상부(146)를 포함할 수 있다. 여기서 전처리부(143), 히스테리시스 평가 모델(144), 색인부(145) 및 구동 보상부(146)는 상술한 프로세서(141) 및 메모리(142)를 이용하여 수행하는 기능별 집합을 의미하는 것으로써, 반드시 물리적으로 상호 분리되어야 하는 것은 아님을 밝혀 둔다. 본 명세서에서 전처리부(143), 히스테리시스 평가 모델(144), 색인부(145) 및 구동 보상부(146)에서 수행되는 기능은, 제어부(14)에서 수행되는 기능으로 이해될 수 있다.
히스테리시스 평가 모델(144)은, 내시경 카메라(12)로 촬영한 수술 로봇(13)의 실제 이미지와, 수술 로봇(13)을 기구학 모델(kinematic model)에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇(13)을 구동하여 렌더링된 이미지(이하, 렌더링된 이미지)와의 유사도를 효과적으로 평가할 수 있는 특징 벡터들(feature vector)을 추출할 수 있다.
여기서, 렌더링된 이미지는, 수술 로봇(13)의 근위 관절부(131)로부터 상대적으로 설정된 위치 및 각도에 위치하고, 설정 화각을 갖는 가상의 카메라에서 촬영되는 이미지를 의미한다. 여기서, 상기 설정된 위치 및 각도는, 히스테리시스 평가 모델을 생성하는 과정에서 실제 사용할 수술 로봇(13) 및 내시경 카메라(12)의 상대적인 위치 및 각도와 동일하게 설정될 수 있다. 또한, 설정 화각은, 히스테리시스 평가 모델을 생성하는 과정에서 실제 사용할 내시경 카메라(12)의 화각과 동일하게 설정될 수 있다. 예를 들어, 상기 렌더링된 이미지는, 3차원 설계 프로그램을 제작한 수술 로봇(13)과 동일하게 제작한 모델링 파일을 실행시켜 출력되는 화면으로부터 추출할 수 있다. 다른 예로, 수술 로봇(13)의 동역학 모델에 기초하여 만든 수식에 의하여 이미지화 할 수도 있음을 밝혀 둔다.
예를 들어, 제어부(14)는 지도 학습(supervised learning)으로 훈련된 기계 학습(machine learning) 알고리즘과 훈련 데이터를 포함할 수 있다. 훈련 데이터는 사전 렌더링된 이미지들과, 각각의 이미지들에 대응하여 시뮬레이션 상으로 입력된 각각의 구동 변위의 세트를 포함할 수 있고, 이를 렌더링된 이미지 데이터 세트(147)라 할 수 있다.
예를 들어, 훈련 데이터는 실제 이미지들과, 각각의 실제 이미지들의 구동 변위의 값의 세트를 더 포함할 수 있다.
예를 들어, 이미지 데이터 세트(147)는, 내시경 카메라(12) 및 근위 관절부(131)의 상대적인 위치 및 각도가 고정된 상태를 기준으로 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 렌더링 될 수 있다. 한편 다른 예로, 히스테리시스 평가 모델을 생성하는 과정에서 실제 사용할 내시경 카메라(12)의 상대적인 위치 및 각도를 변화시킬 경우, 내시경 카메라(12) 및 근위 관절부(131)의 상대적인 위치 및 각도를 변화시키면서, 이미지 데이터 세트(147)를 생성할 수도 있음을 밝혀 둔다.
예를 들어, 히스테리시스 평가 모델(144)은, 수술 로봇(13)의 사전 렌더링된 이미지를 입력받아 복수개의 차원을 갖는 제 1 특성 벡터를 출력하는 제 1 신경망 모델(1441)과, 수술 로봇(13)의 실제 이미지를 입력받아 제 2 특성 벡터를 출력하는 제 2 신경망 모델(1442)과, 렌더링된 이미지(21) 및 실제 이미지(22) 각각의 구동 변위(구동 입력)의 상대적인 크기 차이와, 상기 제 1 특성 벡터 및 제 2 특성 벡터 사이의 상대적인 크기 차이가 비례하도록 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)을 지도 학습시키는 지도 학습 모델(1443)을 포함할 수 있다. 예를 들어, 제 1 특성 벡터의 차원수와, 제 2 특성 벡터의 차원수는 동일할 수 있다.
제어부(14)의 구체적인 기능 및 히스테리시스 평가 모델(144)을 통해 수술 로봇(13)의 구동 오차를 보상하는 구체적인 방법은 도 6 내지 도 12를 참조하여 후술하기로 한다.
도 6은 일 실시 예에 따른 수술 로봇의 히스테리시스를 보상하는 방법의 순서도이고, 도 7은 일 실시 예에 따른 히스테리시스 평가 모델을 생성하는 단계를 나타내는 순서도이고, 도 8은 일 실시 예에 따른 내시경 카메라에서 촬영되는 실제 이미지가 전처리되는 모습을 나타내는 도면이고, 도 9는 일 실시 예에 따른 히스테리시스 평가 모델을 생성하는 단계에서 2 개의 신경망 모델을 학습하는 과정을 나타내는 도면이고, 도 10은 일 실시 예에 따른 히스테리시스를 결정하는 단계를 나타내는 순서도이고, 도 11은 일 실시 예에 따른 히스테리시스를 결정하는 단계를 통해 실시간 이미지와 유사한 렌더링된 이미지를 검색하는 과정을 나타내는 도면이고, 도 12는 일 실시 예에 따른 구동 오차를 보상하는 단계에서 사용자의 구동 입력에 따른 구동 오차를 보상하는 과정을 나타내는 도면이다.
도 6 내지 도 12를 참조하면, 일 실시 예에 따른 히스테리시스를 보상하는 방법은, 히스테리시스 평가 모델을 형성하는 단계(41), 구동 입력을 수신하는 단계(42), 실시간 이미지를 촬영하는 단계(43), 히스테리시스를 결정하는 단계(44) 및 구동 입력을 보상하는 단계(45)를 포함할 수 있다.
히스테리시스 평가 모델을 형성하는 단계(41)는, 수술 로봇(13)의 실제 이미지(22)와 수술 로봇(13)을 시뮬레이션 상에서 구동하여 렌더링된 이미지(21)와의 유사도를 평가하는 인공 신경망 모델을 생성 및 학습시키는 단계일 수 있다.
예를 들어, 히스테리시스 평가 모델을 형성하는 단계(41)는, 수술 로봇(13)을 시뮬레이션상으로 구동하여 렌더링된 이미지(21)를 제 1 신경망 모델(1441)에 입력하여 제 1 특성 벡터(31)를 추출하는 단계(411)와, 구동 입력에 따라 구동되는 수술 로봇(13)의 실제 이미지(22)를 제 2 신경망 모델(1442)에 입력하여 제 2 특성 벡터(32)를 추출하는 단계(412)와, 렌더링된 이미지(21) 및 실제 이미지(22) 각각의 구동 변위의 상대적인 크기 차이와, 제 1 특성 벡터(31) 및 제 2 특성 벡터(32) 사이의 상대적인 크기 차이에 기초하여, 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)을 지도 학습시키는 단계(413)와, 학습의 종료 여부를 확인하는 단계(414)와, 렌더링된 이미지(21) 별로 추출된 제 1 특성 벡터(31)의 값들이 저장되는 색인부를 형성하는 단계(415)를 포함할 수 있다.
제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)은 각각 인공 신경망(Artificial Neural Network) 모델을 포함할 수 있다. 예를 들어, 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)은 각각 컨볼루션 신경망(Convolutional Neural Network, CNN) 구조를 포함할 수 있다.
예를 들어, 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)은 각각 적어도 하나 이상의 컨볼루션 계층(convolutional layer), 풀링 계층(pooling layer) 및 완전하게 연결된 계층(fully connected layer)을 포함할 수 있고, 2 개의 신경망 모델(1441, 1442)의 계층 구조는 동일할 수 있다.
예를 들어, 수술 로봇(13)이 도 1과 같이, 2개 이상의 관절부로 구성될 경우, 히스테리시스 평가 모델(144)은 상기 2개 이상의 관절부 중 어느 하나의 관절부의 구동 변위의 구간 별로, 적어도 2 개 이상의 상이한 모델로 생성될 수 있다. 이상의 구조에 의하면, 근위 관절부(131)의 구동 구간에 따라서 히스테리시스를 유발하는 조건이 상이하게 형성되는 문제점을 보완함으로써, 보다 정확한 히스테리시스 평가 모델을 생성할 수 있을 뿐만 아니라, 학습 속도를 효율적으로 향상시킬 수 있다. 예를 들어, 히스테리시스 평가 모델(144)은, 근위 관절부(131)의 구동 변위의 구간 별로 나누어, 적어도 2개 이상의 상이한 모델로 생성될 수 있다.
제 1 특성 벡터(31)를 추출하는 단계(411)에서, 렌더링된 이미지(21)는 제 1 신경망 모델(1441)에 입력되어 복수개의 컨볼루션 계층과 풀링 계층에서 처리된 이후, 완전하게 연결된 계층에 입력된 이후 복수개의 차원을 같는 제 1 특성 벡터(31)의 값으로 추출될 수 있다.
제 2 특성 벡터(32)를 추출하는 단계(412)에서, 수술 로봇(13)의 실제 이미지(22)는 제 2 신경망 모델(1442)에 입력되어 복수개의 컨볼루션 계층과 풀링 계층에서 처리된 이후, 다층 퍼셉트론(multi-layer perceptron, MLP)으로 이루어진 완전하게 연결된 계층에 입력된 이후 복수개의 차원을 같는 제 2 특성 벡터(32)의 값으로 추출될 수 있다.
예를 들어, 수술 로봇(13)의 실제 이미지(22)와 각각의 실제 이미지(22) 별로 실제 측정된 구동 변위의 데이터 세트가 사전 렌더링된 이미지 데이터 세트(147)와 함께 2 개의 신경망 모델(1441, 1442)의 학습 데이터로 사용될 수 있다.
제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442) 각각으로부터 출력되는 제 1 특성 벡터(31) 및 제 2 특성 벡터(32)는 서로 동일한 차원수를 가질 수 있다.
예를 들어, 제 1 특성 벡터(31)를 추출하는 단계(411)는, 실제 이미지(22)에서 수술 로봇(13)을 제외한 배경 이미지를 분할하여 제거하는 전처리 단계를 포함할 수 있다.
예를 들어, 전처리 단계에서 제어부(14)는 실제 이미지(22) 중 복잡한 장기 이미지 배경을 제거하기 위해 이미지 분할(image segmentation) 기법을 이용하여 수술 로봇(13)의 형상만을 추출할 수 있다.
예를 들어, 제어부(14)는 실제 이미지(22)에서 수술 로봇(13)의 영역과 배경을 이진 값으로 분할할 수 있다.
지도 학습시키는 단계(413)는, 렌더링된 이미지(21) 및 실제 이미지(22) 각각의 구동 변위(구동 입력)가 서로 유사할수록, 제 1 특성 벡터(31) 및 제 2 특성 벡터(32) 사이의 차이가 작도록 역전파 알고리즘(Backpropagation algorithm)을 통해 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)을 학습시키는 과정일 수 있다.
지도 학습시키는 단계(413)는, 제어부(14)는 아래의 수학식 1과 같이 제 1 특성 벡터(31) 및 제 2 특성 벡터(32) 사이의 거리(d)를 두 벡터(31, 32) 사이의 노름(norm)으로 정의할 수 있다. 거리(d)가 작을수록 렌더링된 이미지(21) 및 실제 이미지(22) 각각의 구동 변위의 차이가 작은 것을 의미할 수 있다.
Figure 112020005614013-pat00001
(x1: 렌더링된 이미지, x2: 실제 이미지, Fx1: 제 1 특성 벡터, Fx2: 제 2 특성 벡터)
예를 들어, 제어부(14)는 바이너리 크로스 엔트로피(Binary cross entropy) 개념을 이용하여 유사성에 대한 손실 함수(loss function)를 설정할 수 있고, 경사 하강법(Gradient Descent)을 사용하여 손실 함수의 값이 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442) 각각을 학습시킬 수 있다.
예를 들어, 손실 함수는 이하의 수학식 2와 같이 정의될 수 있지만, 이와 다른 방식으로 손실 함수를 설정하는 것도 가능하다는 점을 밝혀 둔다.
Figure 112020005614013-pat00002
학습의 종료 여부를 확인하는 단계(414)는, 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)이 충분히 학습되었는지 여부를 결정할 수 있다.
학습의 종료 여부를 확인하는 단계(414)에서, 제어부(14)는 학습 데이터를 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)에 입력하였을 때, 설정된 손실 함수의 값이 설정 값보다 작아질 때까지 제 1 신경망 모델(1441) 및 제 2 신경망 모델(1442)을 학습시킬 수 있다.
학습의 종료 여부를 확인하는 단계(414)에서, 학습이 충분히 된 것으로 판단할 경우 색인부를 형성하는 단계(415)가 수행될 수 있다.
색인부를 형성하는 단계(415)는, 제어부(14)는 학습에 사용된 렌더링된 이미지(21) 각각으로부터 추출된 제 1 특성 벡터(31)를 색인 가능한 데이터 구조로 저장할 수 있다.
예를 들어, 제어부(14)는 렌더링된 이미지(21)별로 추출된 제 1 특성 벡터(31)들의 데이터를 제 1 특성 벡터(31)와 동일한 차원수를 갖는 이진 트리 구조를 갖는 색인부(145)로 저장할 수 있다. 예를 들어, 색인부(145)의 데이터 구조는 K-D 트리(K Dimensional Tree) 구조일 있다.
K-D 트리 구조를 이용할 경우, 실제 내시경 카메라(12)를 통해 이미지를 획득하는 시간과 동일하거나 더 빠른 수준으로 히스테리시스 양을 파악할 수 있음을 확인할 수 있었다. 한편, 통상의 기술자들은 다양한 데이터 구조 또는 검색 알고리즘을 사용하여 색인부(145)를 구현할 수 있다는 점을 밝혀둔다.
구동 입력을 수신하는 단계(42)에서, 제어부(14)는 구동 입력부(15)로부터 구동 입력이 인가되었는지 여부를 확인할 수 있고, 구동 입력이 인가된 것으로 판단할 경우 실시간 이미지를 촬영하는 단계(43)가 수행될 수 있다. 한편, 실시간 이미지를 촬영하는 단계(43)의 수행 전 또는 수행과 동시에 구동 입력을 수신하는 단계(42)가 수행될 수도 있음을 밝혀 둔다.
실시간 이미지를 촬영하는 단계(43)에서, 제어부(14)는 내시경 카메라(12)를 통해 구동 입력에 따른 수술 로봇(13)의 실시간 이미지(23)를 획득할 수 있다
히스테리시스를 결정하는 단계(44)에서, 제어부(14)는 실시간 이미지(23)에 기초하여 수술 로봇(13)의 구동 각도를 측정하고, 측정된 구동 각도를 실제 입력된 구동 입력과 비교하여 수술 로봇(13)의 히스테리시스의 정도, 즉 구동 오차를 산출할 수 있다. 단계 44는, 구동 입력과 측정된 구동 각도의 차이를 산출하는 단계인 것으로 이해할 수 있다.
예를 들어, 히스테리시스를 결정하는 단계(44)는, 실시간 이미지를 전처리하는 단계(441)와, 내시경 카메라(12)를 통해 수술 로봇(13)의 실시간 이미지(23)를 제 2 신경망 모델(1442)에 입력하여 실시간 특성 벡터(33)를 추출하는 단계(442)와, 실시간 특성 벡터(33)와 가장 유사한 제 1 특성 벡터(31)를 갖는 렌더링된 이미지를 검색하는 단계(443)와, 구동 입력과 렌더링된 이미지(21)의 구동 변위 사이의 차이에 기초하여 구동 오차를 결정하는 단계(444)를 포함할 수 있다.
전처리하는 단계(441)에서, 제어부(14)는 실시간 이미지(23) 중 복잡한 장기 이미지 배경을 제거하기 위해 이미지 분할(image segmentation) 기법을 이용하여 수술 로봇(13)의 형상만을 추출할 수 있다. 한편, 상술한 단계 411의 전처리 단계와 단계 441의 전처리 단계를 서로 구별하기 위해, 각각 "제 1 전처리 단계" 및 "제 2 전처리 단계"라고 할 수도 있다.
예를 들어, 제어부(14)는 실시간 이미지(23)에서 수술 로봇(13)의 영역과 배경을 이진 값으로 분할할 수 있다.
예를 들어, 전처리하는 단계(441)는, 실시간 이미지의 스케일을 조절하는 단계를 더 포함할 수 있다. 이와 같은 단계에 의하면, 카메라(12)로부터 근위 관절부(131)까지의 거리가 변화하는 경우에도, 새로이 히스테리시스 평가 모델을 생성할 필요없이 기존의 히스테리시스 평가 모델을 활용할 수 있다. 다시 말하면, 튜브(11)에 대하여, 일정한 거리만큼 전진한 상태의 수술 로봇(13)을 기초로 생성한 히스테리시스 평가 모델을 기초로, 튜브(11)에 대하여 다양한 거리로 전후진된 상태의 수술 로봇(13)의 구동 각도를 측정하는 것이 가능하다.
단계 441에서 제어부(14)는, 실시간 이미지(23) 상에서, 카메라(12)로부터 근위 관절부(131)까지의 거리를 감지할 수 있다. 감지된 거리가 길수록 실시간 이미지를 확대함으로써, 확대된 실시간 이미지를 이용하여 후속 단계 442 등을 수행할 수 있다. 예를 들어, 확대율은, 상기 감지된 거리를, 카메라(12)로부터 근위 관절부(131)까지의 거리로 나눈 값으로 결정될 수 있다.
실시간 특성 벡터(33)를 추출하는 단계(442)에서, 제어부(14)는 구동 입력에 따라서 구동되는 수술 로봇(13)의 실시간 이미지(23)를 학습이 완료된 제 2 신경망 모델(1442)에 입력하여 실시간 특성 벡터(33)를 추출할 수 있다.
실시간 특성 벡터(33)와 가장 유사한 제 1 특성 벡터(33)를 갖는 렌더링된 이미지를 검색하는 단계(443)에서, 제어부(14)는 실시간 이미지(23)와 가장 유사한 렌더링된 이미지(21)를 검색할 수 있다
예를 들어, 제어부(14)는 렌더링된 이미지(21) 별로 추출된 제 1 특성 벡터(31) 중에 실시간 특성 벡터(33)와의 거리가 가장 작은 제 1 특성 벡터(31)를 검색할 수 있고, 해당 제 1 특성 벡터(31)를 갖는 렌더링된 이미지(21)를 검색할 수 있다. 이와 같이 검색된 이미지를 최적 렌더링 이미지(21)라고 할 수도 있다.
예를 들어, 제어부(14)는 실시간 특성 벡터(33)와의 거리가 가장 작은 제 1 특성 벡터(31)를 찾기 위해 다차원 이진 트리로 구성된 색인부(145)를 사용할 수 있다.
구동 오차를 결정하는 단계(444)에서, 제어부(14)는 최적의 렌더링된 이미지(21)의 구동 변위와, 실시간으로 입력된 구동 입력 사이의 차이에 기초하여 구동 오차를 결정할 수 있다.
구동 입력을 보상하는 단계(45)에서, 제어부(14)는 결정된 구동 오차에 기초하여 구동 보상부(146)를 통해 구동 입력을 보상할 수 있다.
구동 보상부(146)는 구동 입력과 그에 따라 검출된 구동 오차에 기초하여 구동 오차가 0에 수렴하도록 구동 입력을 보상하여 구동부(16)를 구동할 수 있다.
구동 보상부(146)는 구동 오차의 크기에 기초하여 구동 입력을 보상할 수 있다. 예를 들어, 구동 보상부(146)는 구동 오차의 크기에 기초하여 구동 입력을 피드백 제어로 보상할 수 있다.
예를 들어, 구동 보상부(146)는 아래의 수학식 3과 같이 구동 오차의 비례 제어, 적분 제어, 및 미분 제어의 조합을 포함하는 보상 함수에 기초하여 구동 입력을 보상할 수 있다. 한편, 이하의 보상 함수는 하나의 예시에 불과하며, 이와 다른 방식으로 보상 함수를 설정하는 것도 가능하다는 점을 밝혀 둔다.
Figure 112020005614013-pat00003
이후, 제어부(14)는 보상 함수에서 출력되는 보상 값을 기존의 구동 입력에 적용함으로써 수술 로봇(13)의 구동 입력을 보상할 수 있게 된다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (21)

  1. 구동 입력에 따른 수술 로봇의 히스테리시스를 결정하는 방법에 있어서,
    제어부가 (i) 상기 수술 로봇의 실제 이미지와, (ii) 상기 수술 로봇을 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇을 구동하여 렌더링된 이미지와의 유사도를 기반으로, 수술 로봇의 히스테리시스 평가 모델을 생성하는 단계;
    상기 제어부가 내시경 카메라를 통해 구동 입력에 따라 구동되는 상기 수술 로봇의 실시간 이미지를 촬영하는 단계; 및
    상기 제어부가 상기 실시간 이미지를 상기 수술 로봇의 사전 렌더링된 이미지 데이터 세트와 비교하여 상기 수술 로봇의 구동 각도를 측정하고, 상기 구동 입력과 상기 측정된 구동 각도의 차이를 산출하는 단계를 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    히스테리시스 평가 모델을 생성하는 단계는,
    상기 제어부가 상기 렌더링된 이미지의 집합인 렌더링된 이미지 데이터를 제 1 신경망 모델에 입력하여 제 1 특성 벡터를 추출하는 단계;
    상기 제어부가 구동 입력에 따라 구동되는 상기 수술 로봇의 실제 이미지 데이터를 제 2 신경망 모델에 입력하여 제 2 특성 벡터를 추출하는 단계; 및
    상기 제어부가 상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력의 상대적인 크기 차이와, 상기 제 1 특성 벡터 및 상기 제 2 특성 벡터 사이의 상대적인 크기 차이에 기초하여, 상기 제 1 신경망 모델 및 상기 제 2 신경망 모델을 지도 학습시키는 단계를 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  4. 제 3 항에 있어서,
    상기 제 1 특성 벡터 및 상기 제 2 특성 벡터는 동일한 차원의 수를 갖고,
    상기 지도 학습시키는 단계는,
    상기 제어부가 상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력이 서로 유사할수록, 상기 제 1 특성 벡터 및 제 2 특성 벡터 사이의 노름 크기가 작아지도록 학습시키는 수술 로봇의 히스테리시스를 결정하는 방법.
  5. 제 4 항에 있어서,
    상기 수술 로봇은 서로 다른 회전축을 가지며 관절 구동하는 근위 관절부와 원위 관절부를 포함하고,
    상기 구동 입력은, 상기 근위 관절부의 구동 각도 변위 및 상기 원위 관절부의 구동 각도 변위를 포함하고,
    상기 히스테리시스 평가 모델을 생성하는 단계는, 상기 제어부가 상기 근위 관절부 및 상기 원위 관절부 중 어느 하나의 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상기 히스테리시스 평가 모델을 생성하는 것을 특징으로 하는 수술 로봇의 히스테리시스를 결정하는 방법.
  6. 제 5 항에 있어서,
    상기 히스테리시스 평가 모델을 생성하는 단계는, 상기 제어부가 상기 근위 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상기 히스테리시스 평가 모델을 생성하는 것을 특징으로 하는 수술 로봇의 히스테리시스를 결정하는 방법.
  7. 제 3 항에 있어서,
    상기 히스테리시스 평가 모델을 생성하는 단계는,
    상기 제어부가 상기 실제 이미지에서 상기 수술 로봇을 제외한 배경 이미지를 분할하여 제거하는 전처리 단계를 더 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  8. 제 3 항에 있어서,
    상기 차이를 산출하는 단계는,
    상기 제어부가 상기 실시간 이미지를 상기 제 2 신경망 모델에 입력하여 실시간 특성 벡터를 추출하는 단계;
    상기 제어부가 상기 실시간 특성 벡터와 가장 유사한 상기 제 1 특성 벡터를 갖는 렌더링된 이미지를 검색하는 단계; 및
    상기 측정된 구동 각도는, 상기 검색된 렌더링된 이미지의 구동 입력에 기초하여 결정하는 단계를 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  9. 제 8 항에 있어서,
    상기 렌더링된 이미지를 검색하는 단계는,
    상기 제어부가 상기 제 1 특성 벡터의 차원수와 동일한 차원수를 갖는 이진 트리 구조를 사용하여 인덱싱하는 단계를 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  10. 제 9 항에 있어서,
    상기 차이를 산출하는 단계는,
    상기 제어부가 상기 실시간 이미지에서 상기 수술 로봇을 제외한 배경 이미지를 분할하여 제거하는 전처리 단계를 더 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  11. 제 10 항에 있어서,
    상기 전처리 단계는, 상기 수술 로봇의 실시간 이미지를 촬영하는 카메라로부터 상기 수술 로봇의 근위 관절부까지의 거리에 기초하여, 상기 제어부가 상기 실시간 이미지의 스케일을 조절하는 단계를 더 포함하는 수술 로봇의 히스테리시스를 결정하는 방법.
  12. 구동 입력에 따른 수술 로봇의 히스테리시스를 보상하는 방법에 있어서,
    제어부가 (i) 상기 수술 로봇의 실제 이미지와, (ii) 상기 수술 로봇을 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇을 구동하여 렌더링된 이미지와의 유사도를 기반으로, 수술 로봇의 히스테리시스 평가 모델을 생성하는 단계;
    제어부가 내시경 카메라를 통해 구동 입력에 따라 구동되는 상기 수술 로봇의 실시간 이미지를 촬영하는 단계;
    상기 제어부가 상기 실시간 이미지를 상기 수술 로봇의 사전 렌더링된 이미지 데이터 세트와 비교하여 상기 수술 로봇의 구동 각도를 측정하고, 상기 구동 입력과 상기 측정된 구동 각도의 차이를 산출함으로써 상기 수술 로봇의 히스테리시스를 결정하는 단계; 및
    상기 제어부가 결정된 히스테리시스에 기초하여 상기 구동 입력을 보상하는 단계를 포함하는 수술 로봇의 히스테리시스를 보상하는 방법.
  13. 제 12 항에 있어서,
    상기 구동 입력을 보상하는 단계는,
    상기 제어부가 상기 구동 각도의 차이에 기초하여 상기 구동 입력을 피드백 제어로 보상하는 단계를 포함하는 수술 로봇의 히스테리시스를 보상하는 방법.
  14. 튜브;
    상기 튜브에 수용되고 1 자유도 이상의 구동축을 갖는 수술 로봇;
    상기 튜브의 선단에서 상기 수술 로봇을 촬영하는 내시경 카메라;
    상기 수술 로봇을 구동시키는 구동부;
    상기 구동부를 제어하여 상기 수술 로봇의 구동을 제어하는 제어부; 및
    사용자로부터 구동 입력을 전달받는 구동 입력부를 포함하고,
    상기 제어부는 상기 구동 입력과 상기 내시경 카메라에서 촬영된 실시간 이미지에 기초하여 상기 수술 로봇의 히스테리시스를 보상하는 적어도 하나 이상의 프로세서를 포함하고,
    상기 제어부는,
    상기 수술 로봇의 실제 이미지와, 상기 수술 로봇을 동역학 모델에 기초하여 모델링한 시뮬레이션 상에서 가상의 수술 로봇을 구동하여 렌더링된 이미지와의 유사도를 기반으로 수술 로봇의 히스테리시스 평가 모델을 포함하는 내시경 수술 장치.
  15. 삭제
  16. 제 14 항에 있어서,
    상기 수술 로봇의 히스테리시스 평가 모델은,
    상기 렌더링된 이미지를 입력받아 복수개의 차원의 제 1 특성 벡터를 출력하는 제 1 신경망 모델;
    상기 수술 로봇의 실제 이미지를 입력받아 상기 제 1 특성 벡터와 동일한 차원의 수를 갖는 제 2 특성 벡터를 출력하는 제 2 신경망 모델; 및
    상기 렌더링된 이미지 및 상기 실제 이미지 각각의 구동 입력의 상대적인 크기 차이와, 상기 제 1 특성 벡터 및 상기 제 2 특성 벡터 사이의 상대적인 크기 차이가 비례하도록 상기 제 1 신경망 모델 및 제 2 신경망 모델을 지도 학습시키는 지도 학습 모델을 포함하는 내시경 수술 장치.
  17. 제 16 항에 있어서,
    상기 수술 로봇의 히스테리시스 평가 모델은,
    상기 렌더링된 이미지별로 추출된 제 1 특성 벡터들이 상기 제 1 특성 벡터의 차원수와 동일한 차원수를 갖는 이진 트리 구조로 저장되는 색인부를 더 포함하는 내시경 수술 장치.
  18. 제 16 항에 있어서,
    상기 수술 로봇은,
    서로 다른 회전축을 가지며 관절 구동하는 근위 관절부와 원위 관절부를 포함하고,
    상기 구동 입력은, 상기 근위 관절부의 구동 각도 변위 및 상기 원위 관절부의 구동 각도 변위를 포함하고,
    상기 히스테리시스 평가 모델은,
    상기 근위 관절부 및 상기 원위 관절부 중 어느 하나의 관절부의 구동 각도 변위의 구간 별로, 적어도 2 개 이상의 상이한 모델로 생성되는 내시경 수술 장치.
  19. 제 16 항에 있어서,
    상기 제어부는,
    상기 수술 로봇의 실시간 이미지를 상기 제 2 신경망 모델에 입력하여 실시간 특성 벡터를 추출하고, 상기 실시간 특성 벡터와 가장 유사한 상기 제 1 특성 벡터를 갖는 렌더링된 이미지에 기초하여, 상기 구동 입력에 따른 구동 오차를 결정하는 것을 특징으로 하는 내시경 수술 장치.
  20. 제 19 항에 있어서,
    상기 제어부는,
    상기 구동 입력에 따라 평가된 구동 오차의 크기에 기초하여, 상기 구동부의 구동을 보상하는 구동 보상부를 더 포함하는 내시경 수술 장치.
  21. 제 20 항에 있어서,
    상기 구동 보상부는 상기 구동 오차의 크기에 기초하여 상기 구동 입력을 피드백 제어로 보상하는 것을 특징으로 하는 내시경 수술 장치.
KR1020200006523A 2020-01-17 2020-01-17 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치 KR102340169B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/277,159 US20220110703A1 (en) 2020-01-17 2020-01-17 Method of determining hysteresis of surgical robot, method of compensating for the same, and endoscopic surgical apparatus
KR1020200006523A KR102340169B1 (ko) 2020-01-17 2020-01-17 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치
PCT/KR2020/000862 WO2021145490A1 (ko) 2020-01-17 2020-01-17 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치
KR1020210166342A KR102476265B1 (ko) 2020-01-17 2021-11-29 수술 로봇의 히스테리시스를 결정하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006523A KR102340169B1 (ko) 2020-01-17 2020-01-17 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210166342A Division KR102476265B1 (ko) 2020-01-17 2021-11-29 수술 로봇의 히스테리시스를 결정하는 방법

Publications (2)

Publication Number Publication Date
KR20210092970A KR20210092970A (ko) 2021-07-27
KR102340169B1 true KR102340169B1 (ko) 2021-12-16

Family

ID=76864290

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200006523A KR102340169B1 (ko) 2020-01-17 2020-01-17 수술 로봇의 히스테리시스를 결정하는 방법, 이를 보상하는 방법 및 내시경 수술 장치
KR1020210166342A KR102476265B1 (ko) 2020-01-17 2021-11-29 수술 로봇의 히스테리시스를 결정하는 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210166342A KR102476265B1 (ko) 2020-01-17 2021-11-29 수술 로봇의 히스테리시스를 결정하는 방법

Country Status (3)

Country Link
US (1) US20220110703A1 (ko)
KR (2) KR102340169B1 (ko)
WO (1) WO2021145490A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616257B1 (ko) * 2021-10-18 2023-12-22 주식회사 로엔서지컬 가요성 튜브의 히스테리시스 보상 제어장치 및 그 방법
EP4212105A1 (en) * 2021-10-18 2023-07-19 ROEN Surgical, Inc. Hysteresis compensation control apparatus of flexible tube
KR102441490B1 (ko) * 2021-11-25 2022-09-07 주식회사 스마트엠투엠 적대적 공격 패턴 생성 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160278A (ja) * 2014-02-27 2015-09-07 オリンパス株式会社 医療用システム及び処置具のキャリブレーション方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477121B1 (ko) * 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US11607149B2 (en) * 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11786324B2 (en) * 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
JP2014104528A (ja) * 2012-11-27 2014-06-09 Canon Inc ロボットシステム及びロボットシステムの制御方法
CN107921634B (zh) * 2015-08-25 2021-04-02 川崎重工业株式会社 机器人系统
US11272985B2 (en) * 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
KR102406275B1 (ko) * 2018-02-05 2022-06-10 주식회사 한화 로봇암의 오차 보정 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160278A (ja) * 2014-02-27 2015-09-07 オリンパス株式会社 医療用システム及び処置具のキャリブレーション方法

Also Published As

Publication number Publication date
KR20210150332A (ko) 2021-12-10
KR102476265B1 (ko) 2022-12-14
WO2021145490A1 (ko) 2021-07-22
KR20210092970A (ko) 2021-07-27
US20220110703A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
KR102476265B1 (ko) 수술 로봇의 히스테리시스를 결정하는 방법
Du et al. Articulated multi-instrument 2-D pose estimation using fully convolutional networks
Das et al. Learning-based proxy collision detection for robot motion planning applications
KR102013814B1 (ko) 수술영상을 이용한 가상신체모델 생성 방법 및 장치
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
Islam et al. Real-time instrument segmentation in robotic surgery using auxiliary supervised deep adversarial learning
Pfeiffer et al. Learning soft tissue behavior of organs for surgical navigation with convolutional neural networks
Li et al. Super: A surgical perception framework for endoscopic tissue manipulation with surgical robotics
US11263772B2 (en) Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
JP6824967B2 (ja) 管状網のナビゲーション
JP6604832B2 (ja) 機械学習支援装置
WO2018037931A1 (en) Continuum robot, modification method of kinematic model of continuum robot, and control method of continuum robot
CN113766997A (zh) 用于引导机械臂的方法、引导系统
KR102442090B1 (ko) 수술용 내비게이션 시스템에서의 점정합 방법
CN115179294A (zh) 机器人控制方法、系统、计算机设备、存储介质
Nazari et al. Image-based force estimation in medical applications: A review
KR102356341B1 (ko) 혈관 내 의료 도구 삽입 장치를 위한 가이드 데이터 제공 방법 및 장치
CN115089212A (zh) 一种三维视觉引导的机械臂自动颈部超声扫描方法及系统
Pachtrachai et al. Learning to calibrate-estimating the hand-eye transformation without calibration objects
KR102442093B1 (ko) 수술용 내비게이션 시스템에서의 표면 정합 개선 방법
JPH0620055A (ja) 画像信号処理方法とその装置
WO2021052552A1 (en) Training a machine learning algorithm using digitally reconstructed radiographs
Lotfi et al. Surgical instrument tracking for vitreo-retinal eye surgical procedures using aras-eye dataset
KR101732807B1 (ko) 3차원 얼굴 비대칭 분석 장치 및 방법
JP7376318B2 (ja) アノテーション装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant