KR20230082051A - 가요성 기구 삽입을 위한 장치 - Google Patents

가요성 기구 삽입을 위한 장치 Download PDF

Info

Publication number
KR20230082051A
KR20230082051A KR1020237017365A KR20237017365A KR20230082051A KR 20230082051 A KR20230082051 A KR 20230082051A KR 1020237017365 A KR1020237017365 A KR 1020237017365A KR 20237017365 A KR20237017365 A KR 20237017365A KR 20230082051 A KR20230082051 A KR 20230082051A
Authority
KR
South Korea
Prior art keywords
endoscope
sensor
data
patient
insertion force
Prior art date
Application number
KR1020237017365A
Other languages
English (en)
Other versions
KR102619317B1 (ko
Inventor
데이비드 피. 누난
돈 에이. 타나카
Original Assignee
아우리스 헬스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/392,917 external-priority patent/US10244926B2/en
Priority claimed from US15/392,868 external-priority patent/US10543048B2/en
Application filed by 아우리스 헬스, 인코포레이티드 filed Critical 아우리스 헬스, 인코포레이티드
Publication of KR20230082051A publication Critical patent/KR20230082051A/ko
Application granted granted Critical
Publication of KR102619317B1 publication Critical patent/KR102619317B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/22—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for
    • A61B2017/22072—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for with an instrument channel, e.g. for replacing one instrument by the other
    • A61B2017/22074—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for with an instrument channel, e.g. for replacing one instrument by the other the instrument being only slidable in a channel, e.g. advancing optical fibre through a channel
    • A61B2017/22075—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for with an instrument channel, e.g. for replacing one instrument by the other the instrument being only slidable in a channel, e.g. advancing optical fibre through a channel with motorized advancing or retracting means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A61B2034/715—Cable tensioning mechanisms for removing slack
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40223—If insertion force to high, alarm, stop for operator assistance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40599—Force, torque sensor integrated in joint
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Manipulator (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)

Abstract

가요성 기구가 좌굴되었는지의 여부를 결정하기 위한 로봇 시스템이 설명된다. 로봇 시스템은, 그 상에 센서를 갖는 세장형 본체 및 컨트롤러를 포함하는 의료 기구를 포함한다. 컨트롤러는, 세장형 본체를 지향시키기 위한 커맨드에 기초하여, 센서에 의해 생성되는 센서 데이터로부터 유도되는 측정된 상태와 예상된 상태를 비교한다. 비교가 임계치를 초과하거나 또는 임계치 미만인 것에 응답하여, 시스템은 세장형 본체가 좌굴되었다는 것을 결정한다. 과도한 힘을 인가하는 것을 방지할 삽입력 임계치를 결정하기 위한 로봇 시스템이 또한 설명된다. 컨트롤러는, 가요성 기구의 위치에 기초하여 기구 데이터를 수신하고, 환자 데이터에 액세스하고, 힘 임계치를 결정하고, 센서에 의해 검출되는 힘을 수신하고, 힘을 임계치와 비교하고, 힘이 임계치를 초과하는 경우, 로봇 시스템에 대한 권고 신호를 생성한다.

Description

가요성 기구 삽입을 위한 장치{APPARATUS FOR FLEXIBLE INSTRUMENT INSERTION}
관련 출원에 대한 교차 참조
본 출원은 2016년 12월 28일자로 출원된 발명의 명칭이 "DETECTING ENDOLUMENAL BUCKLING OF FLEXIBLE INSTRUMENTS"인 미국 특허 출원 제15/392,917호, 및 2016년 12월 28일자로 출원된 발명의 명칭이 "FLEXIBLE INSTRUMENT INSERTION USING AN ADAPTIVE INSERTION FORCE THRESHOLD"인 미국 특허 출원 제15/392,868호에 대한 우선권을 주장하는데, 이들 출원의 각각은 모든 목적을 위해 참조에 의해 그 전체가 본원에 통합된다.
배경
1. 기술의 분야
본 설명은 일반적으로 수술용 로봇 공학(surgical robotics)에 관한 것으로, 특히 환자의 해부학적 관강(lumen) 안으로의 수술용 기구의 삽입을 제어하는 것에 관한 것이다.
2. 관련 기술의 설명
로봇 기술은 다양한 애플리케이션을 갖는다. 특히, 로봇 암은, 보통은 사람이 수행할 작업을 완수하는 데 도움이 된다. 예를 들면, 공장에서는, 자동차 및 소비자 전자장치 제품을 제조하기 위해 로봇 암을 사용한다. 추가적으로, 과학 시설에서는, 마이크로플레이트를 이송하는 것과 같은 실험 절차를 자동화하기 위해 로봇 암을 사용한다. 최근, 내과 의사(physician) 및/또는 외과 의사(surgeon)는 외과적 처치(surgical procedure)를 수행하는 것을 돕기 위해 로봇 암을 사용하기 시작하였다. 예를 들면, 내과 의사 및/또는 외과 의사는 내시경과 같은 수술용 기구를 제어하기 위해 로봇 암을 사용한다.
내시경은 최소의 침습적인 방식으로 외과적 처치를 수행할 수 있다. 내시경은, 폐 또는 혈관과 같은 환자의 타겟 위치로 지향될 수 있다. 로봇 암은, 환자 관강 내부의 타겟 위치를 향해 환자의 개방된 액세스 지점, 예를 들면, 입, 항문, 요도 안으로 내시경을 삽입하기 위해 힘을 인가한다. 내시경이 환자의 해부학적 구조 안으로 더 깊숙이 삽입될 때, 내시경은, 너무 많은 삽입력이 인가될 경우 찢어질 수도 있고 망가지기 쉬울 수도 있는 내부의 해부학적 구조를 스치고 지나갈 수도 있고, 닿을 수도 있고, 밀고 나아갈 수도 있다. 또한, 내시경이 타겟 위치로 이동하는 동안, 내시경은 통상적으로, 내시경에서의 느슨함 또는 삽입 강요 및 환자의 해부학적 구조와 접촉하는 것으로부터 유래하는 부수적인 힘에 응답하여 좌굴될(buckle) 수도 있다. 내시경이 좌굴되면, 내과 의사 및/또는 외과 의사는, 내시경을 진행시키기 위해, 내시경을 계속 밀고, 정상적인 레벨을 초과하게 삽입력을 증가시킨다. 이것은, 환자의 관강/공동 내에서 제어 불가능한 방식으로 잠재적으로 풀릴 수도 있거나 또는 내시경을 손상시킬 수 있는 바람직하지 않은 잠재적인 에너지를 저장하는 위험한 내시경의 좌굴된 부분을 생성한다.
본 개시는, 좌굴을 검출하기 위해 가요성 기구의 세장형 본체(elongate body)의 하나 이상의 부분 상에 배치되는 하나 이상의 센서를 갖는 가요성 기구를 설명한다. 하나 이상의 센서는 동일한 또는 상이한 타입을 가질 수도 있다. 커맨드(command)가 세장형 본체에 지시됨에 따라, 하나 이상의 센서로부터 캡쳐되는 센서 데이터는, 커맨드에 응답하여 수신될 것으로 예상되는 데이터와 비교되어, 좌굴이 발생했는지를 결정한다.
본 개시는, 기구의 좌굴 또는 환자에게 발생할 수 있는 상해를 방지하기 위해, 환자의 관강 내에서의 기구의 삽입력을 조절하기 위한 삽입력 임계치의 결정을 설명한다. 삽입력 임계치는, 기구가 수술 부위로 이동함에 따라 환자와 관련되는 데이터 및 기구로부터 캡쳐되는 실시간 데이터에 기초하여 동적으로 결정될 수도 있다. 추가적으로 또는 대안적으로, 삽입력 임계치는 수술 전 모델의 상이한 부분에 대해 적어도 부분적으로 미리 결정되어 태깅될(tagged) 수도 있다.
다른 양태는, 방법, 컴포넌트, 디바이스, 시스템, 개선, 방법, 프로세스, 애플리케이션, 컴퓨터 판독 가능 매체, 및 상기한 것의 임의의 것에 관련되는 다른 기술을 포함한다.
도 1a는, 하나의 실시형태에 따른, 수술용 로봇 시스템(surgical robotic system)을 예시한다.
도 1b 내지 도 1f는, 하나의 실시형태에 따른, 도 1a에서 도시되는 수술용 로봇 시스템에 커플링되는 로봇 플랫폼의 다양한 사시도를 도시한다.
도 2는, 하나의 실시형태에 따른, 수술용 로봇 시스템에 대한 커맨드 콘솔을 예시한다.
도 3a는, 하나의 실시형태에 따른, 내시경의 다수의 운동도(degree of motion)를 예시한다.
도 3b는, 하나의 실시형태에 따른, 내시경의 상면도이다.
도 3c는, 하나의 실시형태에 따른, 내시경의 리더의 단면 등각 투영도(cross sectional isometric view)이다.
도 4a는, 하나의 실시형태에 따른, 수술용 로봇 시스템의 기구 디바이스 조작기(instrument device manipulator)의 등각 투영도이다.
도 4b는, 하나의 실시형태에 따른, 도 4a에서 도시되는 기구 디바이스 조작기의 분해 등각 투영도(exploded isometric view)이다.
도 4c는, 하나의 실시형태에 따른, 도 4a에서 도시되는 기구 디바이스 조작기의 독립 구동 메커니즘의 등각 투영도이다.
도 4d는, 하나의 실시형태에 따른, 도 4c에서 도시되는 독립 구동 메커니즘의 변형 게이지(strain gauge)에 의해 힘이 측정될 수도 있는 방법을 도시하는 개념도를 예시한다.
도 5a는, 하나의 실시형태에 따른, 기록된 이미지의 시퀀스로부터 내시경의 움직임을 결정하기 위한 프로세스의 플로우차트이다.
도 5b는, 하나의 실시형태에 따른, 전자기 추적 시스템의 도면이다.
도 6a는, 하나의 실시형태에 따른, 해부학적 관강 내의 내시경의 원위(distal) 단부를 예시한다.
도 6b는, 하나의 실시형태에 따른, 수술 부위에서 사용되고 있는 도 6a에서 도시되는 내시경을 예시한다.
도 6c는, 하나의 실시형태에 따른, 흡인 바늘을 갖는 도 6b에서 도시되는 내시경을 예시한다.
도 7a 및 도 7b는, 하나의 실시형태에 따른, 내시경이 수술 부위를 향해 환자의 폐 안으로 삽입될 때 발생되는 관강 내 좌굴(endolumenal buckling)의 예를 예시한다.
도 8a 및 8b는, 하나의 실시형태에 따른, 센서를 배치하기 위해 사용되는 센서 영역의 예를 예시한다.
도 9a 내지 도 9l은, 하나의 실시형태에 따른, 측정된 상태와 예상된 상태 사이의 비교에 기초한 관강 내 좌굴 검출의 예를 예시한다.
도 10은, 하나의 실시형태에 따른, 측정된 상태와 예상된 상태 사이의 비교에 기초하여 관강 내 좌굴을 검출하기 위한 프로세스의 플로우차트이다.
도 11a 내지 도 11h는, 하나의 실시형태에 따른, 커맨드 이전 및 이후(또는 동안)에 기초한 관강 내 좌굴 검출의 예를 예시한다.
도 12는, 하나의 실시형태에 따른, 센서 데이터에 의해 나타내어지는 상태 변화에 기초하여 관강 내 좌굴을 검출하기 위한 프로세스의 플로우차트이다.
도 13a 내지 도 13f는, 하나의 실시형태에 따른, 환자 외부에서의 내시경의 좌굴을 검출하는 예이다.
도 14는, 하나의 실시형태에 따른, 송신기 수신기 쌍을 사용하여 환자 외부에서의 좌굴을 검출하기 위한 프로세스의 플로우차트이다.
도 15는, 하나의 실시형태에 따른, 환자 외부에서의 내시경의 좌굴을 검출하는 다른 예를 예시한다.
도 16a 내지 도 16c는, 하나의 실시형태에 따른, 상이한 환자와 함께 내시경의 상이한 위치에서 사용되는 적응적 삽입력 임계치의 예를 예시한다.
도 17은, 하나의 실시형태에 따른, 적응적 삽입력 임계치를 사용하여 내시경을 삽입하기 위한 프로세스의 플로우차트이다.
도면은 단지 예시의 목적을 위해 본 발명의 실시형태를 묘사한다. 기술 분야에서 숙련된 자는, 본원에 예시되는 구조 및 방법의 대안적인 실시형태가 본원에서 설명되는 본 발명의 원리를 벗어나지 않고도 활용될 수도 있다는 것을 다음의 논의로부터 쉽게 인식할 것이다.
I. 로봇식 가요성 기구 시스템 기본
본원에서 개시되는 방법 및 장치는, 2014년 10월 24일자로 출원되고, 미국 특허 공개 공보 제US 2015/0119637호로서 공개된, 발명의 명칭이 "SYSTEM FOR ROBOTIC­ENDOLUMENAL SURGERY AND RELATED METHODS"인 미국 특허 출원 제14/523,760호에서 설명되는 하나 이상의 내시경 컴포넌트 또는 단계와 함께 사용하기에 아주 적합한데, 이 출원의 전체 개시는 참조에 의해 본원에 통합된다. 상기 언급된 출원은, 본원에서 개시되는 실시형태에 따른 조합에 적절한, 시스템 컴포넌트, 관강 내 시스템, 가상 레일 구성, 메커니즘 체인저 인터페이스, 기구 디바이스 조작기(instrument device manipulator; IDM), 내시경 툴 설계, 제어 콘솔, 내시경, 기구 디바이스 조작기, 관강 내 내비게이션, 및 관강 내 처치를 설명한다. 상기 출원에서 설명되는 원리는 또한 카테터 설계에도 적용 가능하다. 일반적으로, 비록 본 설명의 다음 섹션이 내시경 실시형태를 설명하지만, 이것은 하나의 예에 불과하며, 이어지는 설명은 또한, 카테터, 또는 더 일반적으로는 세장형 본체를 포함하는 임의의 가요성 기구와 연계하여 구현 및/또는 사용될 수 있다.
I. 수술용 로봇 시스템
도 1a는, 하나의 실시형태에 따른, 수술용 로봇 시스템(100)을 예시한다. 수술용 로봇 시스템(100)은 하나 이상의 로봇 암, 예를 들면 로봇 암(102)에 커플링되는 베이스(101)를 포함한다. 베이스(101)는 커맨드 콘솔에 통신 가능하게 커플링되는데, 이것은 섹션 I.B.에서 도 2를 참조하여 추가로 설명된다. 커맨드 콘솔. 베이스(101)는, 내과 의사와 같은 유저가 안락한 커맨드 콘솔로부터 수술용 로봇 시스템(100)을 제어할 수도 있는 동안, 로봇 암(102)이 액세스하여 환자에 대한 외과적 처치를 수행하도록, 배치될 수 있다. 몇몇 실시형태에서, 베이스(101)는 환자를 지지하기 위한 외과적 수술용 테이블 또는 베드에 커플링될 수도 있다. 비록 명확화의 목적을 위해 도 1에서 도시되지는 않지만, 베이스(101)는, 제어 전자 장치, 공압 장치(pneumatics), 전원, 광학 소스, 및 등등과 같은 서브시스템을 포함할 수도 있다. 로봇 암(102)은, 조인트(111)에서 커플링되는 다수의 암 세그먼트(110)를 포함하는데, 조인트(111)는 로봇 암(102)에게 다수의 자유도, 예를 들면, 일곱 개의 암 세그먼트에 대응하는 7의 자유도를 제공한다. 베이스(101)는, 전력의 소스(112), 공압(pneumatic pressure)(113), 및 제어 및 센서 전자 장치(114) - 중앙 프로세싱 유닛, 데이터 버스, 제어 회로부(control circuitry), 및 메모리와 같은 컴포넌트를 포함함 - 및 로봇 암(102)을 움직이기 위한 모터와 같은 관련 액추에이터를 포함할 수도 있다. 베이스(101) 내의 전자 장치(114)는 또한, 커맨드 콘솔로부터 전달되는 제어 신호를 프로세싱하고 송신할 수도 있다.
몇몇 실시형태에서, 베이스(101)는 수술용 로봇 시스템(100)을 이송하기 위한 휠(115)을 포함한다. 수술용 로봇 시스템(100)의 이동성은, 외과 수술실에서의 공간 제약을 수용하는 것뿐만 아니라, 수술용 기기(surgical equipment)의 적절한 위치 결정 및 움직임을 용이하게 하는 것을 돕는다. 또한, 이동성은, 로봇 암(102)이 환자, 내과 의사, 마취 의사, 또는 임의의 다른 기기와 간섭하지 않도록, 로봇 암(102)이 구성되는 것을 허용한다. 처치 동안, 유저는, 커맨드 콘솔과 같은 제어 디바이스를 사용하여 로봇 암(102)을 제어할 수도 있다.
몇몇 실시형태에서, 로봇 암(102)은, 로봇 암(102)의 위치를 유지하기 위해 브레이크 및 카운터 밸런스의 조합을 사용하는 셋업 조인트(set up joint)를 포함한다. 카운터 밸런스는 가스 스프링 또는 코일 스프링을 포함할 수도 있다. 브레이크, 예를 들면, 이중 안전 브레이크(fail safe brake)는, 기계적 및/또는 전기적 컴포넌트를 포함할 수도 있다. 또한, 로봇 암(102)은 중력 지원 수동 지지 타입 로봇 암(gravity-assisted passive support type robotic arm)일 수도 있다.
각각의 로봇 암(102)은 메커니즘 체인저 인터페이스(mechanism changer interface; MCI)(116)를 사용하여 기구 디바이스 조작기(IDM)(117)에 커플링될 수도 있다. IDM(117)은 제거되어 상이한 타입의 IDM으로 대체될 수 있는데, 예를 들면, 제1 타입의 IDM은 내시경을 조작하고, 한편 제2 타입의 IDM은 복강경을 조작한다. MCI(116)는, 공압, 전력, 전기 신호, 및 광학 신호를 로봇 암(102)으로부터 IDM(117)으로 전달하기 위한 커넥터를 포함한다. MCI(116)는 고정 나사(set screw) 또는 베이스 플레이트 커넥터일 수 있다. IDM(117)은, 직접 구동, 하모닉 구동, 기어식 구동, 벨트 및 풀리, 자기 구동, 및 등등을 포함하는 기술을 사용하여 내시경(118)과 같은 수술용 기구를 조작한다. MCI(116)는 IDM(117)의 타입에 기초하여 상호 교환 가능하고 소정 타입의 외과적 처치를 위해 맞춤화될 수 있다. KUKA AG®LBR5 로봇 암과 같은 로봇 암(102)은, 원위 단부에서 조인트 레벨 토크 감지부 및 손목을 포함할 수 있다.
내시경(118)은, 해부학적 구조(예를 들면, 신체 조직)의 이미지를 캡쳐하기 위해 환자의 해부학적 구조 안으로 삽입되는 관형이며 가요성인 수술용 기구이다. 특히, 내시경(118)은 이미지를 캡쳐하는 하나 이상의 이미징 디바이스(예를 들면, 카메라 또는 센서)를 포함한다. 이미징 디바이스는, 광섬유, 섬유 어레이, 또는 렌즈와 같은 하나 이상의 광학 컴포넌트를 포함할 수도 있다. 광학 컴포넌트는, 내시경(118)의 팁의 움직임이 이미징 디바이스에 의해 캡쳐되는 이미지에 대한 변화로 나타나도록, 내시경(118)의 팁과 함께 이동한다. 내시경(118)은 섹션 I.C.에서 도 3a 내지 도 3c를 참조하여 추가로 설명된다. 내시경.
수술용 로봇 시스템(100)의 로봇 암(102)은 가늘고 긴 이동 부재를 사용하여 내시경(118)을 조작한다. 가늘고 긴 이동 부재는, 견인(pull) 또는 푸시(push) 와이어, 케이블, 섬유로 또한 칭해지는 견인 와이어, 또는 가요성 샤프트를 포함할 수도 있다. 예를 들면, 로봇 암(102)은, 내시경(118)에 커플링되는 다수의 견인 와이어를 작동시켜 내시경(118)의 팁을 편향시킨다. 견인 와이어는, 스테인레스 스틸, 케블라(Kevlar), 텅스텐, 탄소 섬유, 및 등등과 같은 금속 및 비금속 재료 둘 모두를 포함할 수도 있다. 내시경(118)은, 가늘고 긴 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타낼 수도 있다. 비선형 거동은, 내시경(118)의 강성 및 압축성뿐만 아니라, 상이한 가늘고 긴 이동 부재 사이의 느슨함 또는 강성에서의 가변성에 기초할 수도 있다.
수술용 로봇 시스템(100)은, 컨트롤러(120), 예를 들면, 컴퓨터 프로세서를 포함한다. 컨트롤러(120)는 이미지 레지스트레이션 모듈(image registration module)(130), 및 저장소(135)를 포함한다. 수술용 로봇 시스템(100)은, 내시경의 움직임을 결정하기 위해 이미지 레지스트레이션 모듈(130)을 사용하는데, 이것은 섹션 I.C.2.의 옵티컬 플로우(Optical Flow) 및 I.C.3.의 EM 레지스트레이션에서 추가로 설명된다. 몇몇 실시형태에서, 컨트롤러(120)의 몇몇 또는 모든 기능은 수술용 로봇 시스템(100) 외부에서, 예를 들면, 수술용 로봇 시스템(100)에 통신 가능하게 커플링되는 다른 컴퓨터 시스템 또는 서버 상에서 수행된다.
도 1b 내지 도 1f는, 다양한 실시형태에 따른, 로봇 플랫폼(150)(또는 수술용 베드)에 커플링되는 수술용 로봇 시스템(100)의 다양한 사시도를 도시한다. 구체적으로, 도 1b는, 내시경을 환자의 신체 내부에 삽입하기 위해 로봇 암(102)이 내시경(118)을 조작하는 수술용 로봇 시스템(100)의 측면도를 도시하고, 환자는 로봇 플랫폼(150) 상에 누워 있다. 도 1c는 수술용 로봇 시스템(100) 및 로봇 플랫폼(150)의 상면도를 도시하고, 로봇 암에 의해 조작되는 내시경(118)은 환자의 신체 내부에 삽입되어 있다. 도 1d는 수술용 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하고, 내시경(118)은 로봇 플랫폼과 수평으로 평행하게 배치되도록 제어된다. 도 1e는 수술용 로봇 시스템(100) 및 로봇 플랫폼(150)의 다른 사시도를 도시하고, 내시경(118)은 로봇 플랫폼에 대해 상대적으로 수직으로 배치되도록 제어된다. 더 상세하게는, 도 1e에서, 로봇 플랫폼(150)의 수평 표면과 내시경(118) 사이의 각도는 75도이다. 도 1f는 도 1e에서 도시되는 수술용 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하고, 더 상세하게는, 내시경(118)과 내시경의 한 단부(180)와 로봇 플랫폼으로부터 상대적으로 멀리 떨어져 배치되는 로봇 팔(102)을 연결하는 가상 라인(160) 사이의 각도는 90도이다.
I.B 커맨드 콘솔
도 2는, 하나의 실시형태에 따른, 수술용 로봇 시스템(100)에 대한 커맨드 콘솔(200)을 예시한다. 커맨드 콘솔(200)은 콘솔 베이스(201), 디스플레이 모듈(202), 예를 들면, 모니터, 및 제어 모듈, 예를 들면, 키보드(203) 및 조이스틱(204)을 포함한다. 몇몇 실시형태에서, 커맨드 모듈(200) 기능성(functionality) 중 하나 이상은, 수술용 로봇 시스템(100)의 베이스(101) 또는 수술용 로봇 시스템(100)에 통신 가능하게 커플링되는 다른 시스템에 통합될 수도 있다. 유저(205), 예를 들면, 내과 의사는, 커맨드 콘솔(200)을 사용하여 인체 공학적 위치로부터 수술용 로봇 시스템(100)을 원격 제어한다.
콘솔 베이스(201)는, 예를 들면, 도 1에서 도시되는 내시경(118)으로부터의 카메라 화상(camera imagery) 및 추적 센서 데이터와 같은 신호를 해석하고 프로세싱하는 것을 담당하는, 중앙 프로세싱 유닛, 메모리 유닛, 데이터 버스, 및 관련 데이터 통신 포트를 포함할 수도 있다. 몇몇 실시형태에서, 콘솔 베이스(201) 및 베이스(101) 둘 모두는 부하 밸런싱(load-balancing)을 위한 신호 프로세싱을 수행한다. 콘솔 베이스(201)는 또한, 제어 모듈(203 및 204)을 통해 유저(205)에 의해 제공되는 커맨드 및 명령어를 프로세싱할 수도 있다. 도 2에서 도시되는 키보드(203) 및 조이스틱(204) 외에, 제어 모듈은 다른 디바이스, 예를 들면, 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 비디오 게임 컨트롤러, 및 손 제스쳐 및 손가락 제스쳐를 캡쳐하는 센서(예를 들면, 모션 센서 또는 카메라)를 포함할 수도 있다.
유저(205)는 커맨드 콘솔(200)을 사용하여 내시경(118)과 같은 수술용 기구를 속도 모드 또는 위치 제어 모드에서 제어할 수 있다. 속도 모드에서, 유저(205)는, 제어 모듈을 사용하는 직접 수동 제어에 기초하여 내시경(118)의 원위 단부의 피치(pitch) 및 요(yaw) 모션을 직접적으로 제어한다. 예를 들면, 조이스틱(204) 상에서의 움직임은, 내시경(118)의 원위 단부에서의 요 및 피치 움직임으로 매핑될 수도 있다. 조이스틱(204)은 햅틱 피드백을 유저(205)에게 제공할 수 있다. 예를 들면, 조이스틱(204)은, 내시경(118)이 소정의 방향에서 더 이상 병진 또는 회전할 수 없다는 것을 나타내기 위해 진동한다. 커맨드 콘솔(200)은 또한, 내시경(118)이 최대 병진 또는 회전에 도달했다는 것을 나타내기 위해 시각적 피드백(예를 들면, 팝업 메시지) 및/또는 청각적 피드백(예를 들면, 비프음 발생)을 제공할 수 있다.
위치 제어 모드에서, 커맨드 콘솔(200)은 환자의 삼차원(three-dimensional; 3D) 맵 및 환자의 미리 결정된 컴퓨터 모델을 사용하여, 수술용 기구, 예를 들면, 내시경(118)을 제어한다. 커맨드 콘솔(200)은 수술용 로봇 시스템(100)의 로봇 암(102)에 제어 신호를 제공하여 내시경(118)을 타겟 위치로 조작한다. 3D 맵에 대한 의존으로 인해, 위치 제어 모드는 환자의 해부학적 구조의 정확한 매핑을 필요로 한다.
몇몇 실시형태에서, 유저(205)는, 커맨드 콘솔(200)을 사용하지 않고도, 수술용 로봇 시스템(100)의 로봇 암(102)을 수동으로 조작할 수 있다. 외과 수술실에서의 셋업 동안, 유저(205)는 로봇 암(102), 내시경(118), 및 다른 수술용 기기를 이동시켜 환자에게 액세스할 수도 있다. 수술용 로봇 시스템(100)은 유저(205)로부터의 힘 피드백 및 관성 제어에 의존하여 로봇 암(102) 및 기기의 적절한 구성을 결정할 수도 있다.
디스플레이 모듈(202)은 전자 모니터, 가상 현실 관찰 디바이스(virtual reality viewing device), 예를 들면, 고글 또는 글래스, 및/또는 디스플레이 디바이스의 다른 수단을 포함할 수도 있다. 몇몇 실시형태에서, 디스플레이 모듈(202)은, 예를 들면, 터치스크린을 갖는 태블릿 디바이스처럼, 제어 모듈과 통합된다. 또한, 유저(205)는 통합 디스플레이 모듈(202) 및 제어 모듈을 사용하여 수술용 로봇 시스템(100)에 대한 데이터를 관찰하는 것 및 수술용 로봇 시스템(100)에 커맨드를 입력하는 것 둘 모두를 할 수 있다.
디스플레이 모듈(202)은 입체 디바이스, 예를 들면, 바이저 또는 고글을 사용하여 3D 이미지를 디스플레이할 수 있다. 3D 이미지는, 환자의 해부학적 구조를 예시하는 컴퓨터 3D 모델인 "내뷰 뷰(endo view)"(즉, 내시경 뷰)를 제공한다. "내부 뷰"는, 환자 내부의 가상 환경 및 환자 내부의 내시경(118)의 예상된 위치를 제공한다. 유저(205)는 "내부 뷰" 모델을, 카메라에 의해 캡쳐되는 실제 이미지에 비교하여, 내시경(118)이 환자 내부에서 정확한 - 또는 대략 정확한 - 위치 안에 있다는 것을 마음속으로 확인하고 검증하는 것을 돕는다. "내부 뷰"는 내시경(118)의 원위 단부 주위의 해부학적 구조, 예를 들면, 환자의 장(intestine) 또는 결장(colon)의 형상에 관한 정보를 제공한다. 디스플레이 모듈(202)은, 내시경(118)의 원위 단부 주위의 해부학적 구조의 3D 모델 및 컴퓨터 단층 촬영(computerized tomography; CT) 스캔을 동시에 디스플레이할 수 있다. 또한, 디스플레이 모듈(202)은 3D 모델 및 CT 스캔 상에 내시경(118)의 미리 결정된 최적의 내비게이션 경로를 오버레이할 수도 있다.
몇몇 실시형태에서, 내시경(118)의 모델은 외과적 처치의 상태를 나타내는 것을 돕기 위해 3D 모델과 함께 디스플레이 된다. 예를 들면, CT 스캔은 생검이 필요할 수도 있는 해부학적 구조에서의 병변을 식별한다. 동작 동안, 디스플레이 모듈(202)은, 내시경(118)의 현재 위치에 대응하는 내시경(118)에 의해 캡쳐되는 기준 이미지를 나타낼 수도 있다. 디스플레이 모듈(202)은 유저 설정 및 특정한 외과적 처치에 따라 내시경(118)의 모델의 상이한 뷰를 자동적으로 디스플레이할 수도 있다. 예를 들면, 디스플레이 모듈(202)은, 내시경(118)이 환자의 수술 영역에 접근함에 따라 내비게이션 단계 동안의 내시경(118)의 오버헤드 형광 투시 뷰(fluoroscopic view)를 나타낸다.
I.C. 내시경
도 3a는, 하나의 실시형태에 따른, 내시경(118)의 다수의 운동도를 예시한다. 내시경(118)은 도 1에서 도시되는 내시경(118)의 한 실시형태이다. 도 3a에서 도시되는 바와 같이, 내시경(118)의 팁(301)은 종방향 축(306)(롤(roll) 축(306)으로 또한 칭해짐)에 대해 제로 편향을 가지고 배향된다. 팁(301)의 상이한 방위에서 이미지를 캡쳐하기 위해, 수술용 로봇 시스템(100)은 양의 요 축(302), 음의 요 축(303), 양의 피치 축(304), 음의 피치 축(305), 또는 롤 축(306) 상에서 팁(301)을 편향시킨다. 내시경(118)의 팁(301) 또는 본체(310)는 종방향 축(306), x 축(308), 또는 y 축(309)으로 연장 또는 병진될 수도 있다.
내시경(118)은 내시경(118)의 위치를 교정하기 위한 기준 구조체(307)를 포함한다. 예를 들면, 수술용 로봇 시스템(100)은 기준 구조체(307)에 대한 내시경(118)의 편향을 측정한다. 기준 구조체(307)는 내시경(118)의 근위(proximal) 단부 상에 위치되고, 키, 슬롯 또는 플랜지를 포함할 수도 있다. 기준 구조체(307)는 움직임을 계산하기 위한 제1 구동 메커니즘에 커플링되고, 외과적 처치를 수행하기 위한 제2 구동 메커니즘, 예를 들면, IDM(117)에 커플링된다.
도 3b는, 하나의 실시형태에 따른, 내시경(118)의 상면도이다. 내시경(118)은 시스(sheath)(311) 관형 컴포넌트 내부에서 네스트화되는(nested) 또는 부분적으로 네스트화되는 그리고 그와 종방향으로 정렬되는 리더(315) 관형 컴포넌트를 포함하고, 그 결과 리더는 시스 밖으로 늘어난다. 시스(311)는 근위 시스 섹션(312) 및 원위 시스 섹션(313)을 포함한다. 리더(315)는 시스(311)보다 더 작은 외경을 가지며 근위 리더 섹션(316) 및 원위 리더 섹션(317)을 포함한다. 시스 베이스(314) 및 리더 베이스(318)는, 예를 들면, 수술용 로봇 시스템(100)의 유저로부터의 제어 신호에 기초하여, 원위 시스 섹션(313) 및 원위 리더 섹션(317)을 각각 작동시킨다. 시스 베이스(314) 및 리더 베이스(318)는, 예를 들면, 도 1에서 도시되는 IDM(117)의 일부이다.
시스 베이스(314) 및 리더 베이스(318) 둘 모두는, 시스(311) 및 리더(315)에 커플링되는 견인 와이어를 제어하는 구동 메커니즘(예를 들면, 섹션 II.C.4.의 기구 디바이스 조작기에서 도 4a 내지 도 4d를 참조하여 추가로 설명되는 독립 구동 메커니즘)을 포함한다. 예를 들면, 시스 베이스(314)는 원위 시스 섹션(313)을 편향시키기 위해 시스(311)에 커플링되는 견인 와이어에 대해 인장 하중을 생성한다. 마찬가지로, 리더 베이스(318)는 원위 리더 섹션(317)을 편향시키기 위해 리더(315)에 커플링되는 견인 와이어에 대해 인장 하중을 생성한다. 시스 베이스(314) 및 리더 베이스(318) 둘 모두는 또한, 공압, 전력, 전기 신호, 또는 IDM으로부터의 광학 신호를 시스(311) 및 리더(314)로 라우팅하기 위한 커플링을 각각 포함할 수도 있다. 견인 와이어는 시스(311) 또는 리더(315) 내의 견인 와이어의 길이를 따라 스틸 코일 파이프를 포함할 수도 있는데, 이것은 축 방향 압축을, 부하의 원점, 예를 들면, 시스 베이스(314) 또는 리더 베이스(318)로 각각 다시 전달한다.
내시경(118)은 시스(311) 및 리더(315)에 커플링되는 견인 와이어에 의해 제공되는 다수의 자유도로 인해 환자의 해부학적 구조를 용이하게 내비게이팅할(navigate) 수 있다. 예를 들면, 네 개 이상의 견인 와이어가 시스(311) 및/또는 리더(315) 중 하나에서 사용되어, 여덟 개 이상의 자유도를 제공할 수도 있다. 다른 실시형태에서, 최대 세 개의 견인 와이어가 사용되어, 최대 여섯 개의 자유도를 제공할 수도 있다. 시스(311) 및 리더(315)는 종방향 축(306)을 따라 최대 360도 회전되어, 더 많은 운동도를 제공할 수도 있다. 회전 각도 및 다수의 자유도의 조합은, 수술용 로봇 시스템(100)의 유저에게 내시경(118)의 유저 친화적이고 직관적인 제어를 제공한다.
도 3c는, 하나의 실시형태에 따른, 내시경(118)의 리더(315)의 단면 등각 투영도이다. 리더(315)는 이미징 디바이스(349)(예를 들면, 이미지 센서, 스틸 또는 비디오 카메라, 2D 또는 3D 검출기 어레이, 전하 결합 소자(charge-coupled device; CCD) 또는 상보형 금속 산화물 반도체(complementary metal-oxide semiconductor; CMOS) 카메라, 이미징 광섬유 번들, 등등), 광원(350)(예를 들면, 백색 광원, 레이저 다이오드, 발광 다이오드(light-emitting diode; LED), 광섬유 조명기, 등등), 및 다른 컴포넌트를 위한 적어도 하나의 작동 채널(343)을 포함한다. 예를 들면, 다른 컴포넌트는 카메라 와이어, 흡입 디바이스(insufflation device), 석션 디바이스(suction device), 전기 와이어, 광섬유, 초음파 트랜스듀서, 위치 감지 컴포넌트, 전자기(electromagnetic; EM) 감지 컴포넌트, 및 광학적 가간섭성 단층 촬영(optical coherence tomography; OCT) 감지 컴포넌트를 포함한다. 몇몇 실시형태에서, 리더(315)는 작동 채널(343) 안으로의 컴포넌트의 삽입을 수용하기 위한 포켓 구멍을 포함한다.
I.C.1. 기구 디바이스 조작기
도 4a는, 하나의 실시형태에 따른, 수술용 로봇 시스템(100)의 기구 디바이스 조작기(117)의 등각 투영도이다. 로봇 암(102)은 관절식 인터페이스(articulating interface)(401)를 통해 IDM(117)에 커플링된다. IDM(117)은 내시경(118)에 커플링된다. 관절식 인터페이스(401)는 공압, 전력 신호, 제어 신호, 및 피드백 신호를 로봇 암(102) 및 IDM(117)으로 그리고 이들로부터 전달할 수도 있다. IDM(117)은 기어 헤드, 모터, 로터리 인코더, 전력 회로, 및 제어 회로를 포함할 수도 있다. 내시경(118)의 근위 단부에는 IDM(117)으로부터 제어 신호를 수신하기 위한 툴 베이스(tool base)(403)가 커플링된다. 제어 신호에 기초하여, IDM(117)은, 출력 샤프트를 작동시키는 것에 의해 내시경(118)을 조작하는데, 이것은 도 4b를 참조하여 하기에서 추가로 설명된다.
도 4b는, 하나의 실시형태에 따른, 도 4a에서 도시되는 기구 디바이스 조작기의 분해 등각 투영도이다. 도 4b에서, 내시경(118)은 IDM(117)으로부터 제거되어 출력 샤프트(405, 406, 407 및 408)를 드러낸다.
도 4c는, 하나의 실시형태에 따른, 도 4a에서 도시되는 기구 디바이스 조작기(117)의 독립 구동 메커니즘의 등각 투영도이다. 독립 구동 메커니즘은 IDM(117)의 출력 샤프트(405, 406, 407, 및 408)를 각각 회전시키는 것에 의해 내시경의 견인 와이어(421, 422, 423 및 424)를 (예를 들면, 서로 독립적으로) 조이거나 또는 느슨하게 할 수 있다. 출력 샤프트(405, 406, 407 및 408)가 각운동을 통해 견인 와이어(421, 422, 423 및 424)를 따라 각각 힘을 전달하자마자, 견인 와이어(421, 422, 423 및 424)는 출력 샤프트로 다시 힘을 전달한다. IDM(117) 및/또는 수술용 로봇 시스템(100)은 센서, 예를 들면, 하기에서 추가로 설명되는 변형 게이지를 사용하여 전달된 힘을 측정할 수 있다.
도 4d는, 하나의 실시형태에 따른, 도 4c에서 도시되는 독립 구동 메커니즘의 변형 게이지(434)에 의해 힘이 측정될 수도 있는 방법을 도시하는 개념도를 예시한다. 힘(431)은 모터(437)의 모터 마운트(433)에 커플링되는 출력 샤프트(405)로부터 멀어지게 지향될 수도 있다. 따라서, 힘(431)은 모터 마운트(433)의 수평 변위를 초래한다. 또한, 모터 마운트(433)에 수평으로 커플링되는 변형 게이지(434)는 힘(431)의 방향에서 변형을 겪는다. 변형은, 변형 게이지(434)의 팁(435)의 수평 변위 대 변형 게이지(434)의 전체 수평 폭(436)의 비율로서 측정될 수도 있다.
몇몇 실시형태에서, IDM(117)은 IDM(117)의 방위를 결정하기 위한 추가적인 센서, 예를 들면, 경사계 또는 가속도계를 포함한다. 추가적인 센서 및/또는 변형 게이지(434)로부터의 측정치에 기초하여, 수술용 로봇 시스템(100)은 중력 하중 효과를 고려하도록 변형 게이지(434)로부터의 판독치를 교정할 수 있다. 예를 들면, IDM(117)이 IDM(117)의 수평 면 상에서 배향되는 경우, IDM(117)의 소정의 컴포넌트의 중량은 모터 마운트(433)에 대해 압력을 유발할 수도 있다. 따라서, 중력 하중 효과를 고려하지 않으면서, 변형 게이지(434)는 출력 샤프트에 대한 변형으로부터 유래하지 않은 변형을 측정할 수도 있다.
I.C.2. 옵티컬 플로우
내시경이 이동함에 따라, 움직임은 하나의 이미지에서 다음 이미지로의 변화에서 반영된다. 이들 변화는, 하나의 이미지를 다른 이미지에 일치시키는(register) 옵티컬 플로우 기술을 사용하여 검출될 수도 있는데, 이로부터 움직임이 추정될 수도 있다.
도 5a는, 하나의 실시형태에 따른, 기록된 이미지의 시퀀스로부터 내시경의 움직임을 결정하기 위한 프로세스의 플로우차트이다. 프로세스(500)는 몇몇 실시형태에서 도 5a와 연계하여 설명되는 것과는 상이한 또는 추가적인 단계를 포함할 수도 있거나, 또는 도 5a와 연계하여 설명되는 순서와는 상이한 순서로 단계를 수행할 수도 있다.
도 1에서 도시되는 수술용 로봇 시스템(100)의 이미지 레지스트레이션 모듈(130)은, 내시경에 커플링되는 이미지 센서, 예를 들면, 도 3c에서 도시되는 내시경(118)의 이미징 디바이스(349)에 의해 캡쳐되는 이미지(예를 들면, 그레이 스케일 또는 컬러) 샘플의 특성에서의 변화에 기초하여 내시경 팁의 움직임을 결정한다. 이미지 센서가 내시경(118)에 커플링되기 때문에, 이미지 레지스트레이션 모듈(130)은, 샘플의 이미지 쌍 사이의 변화가 내시경 팁의 움직임, 예를 들면, 피치 또는 요 축에서의 병진, 회전, 및/또는 스케일링에 대응하는 이미지 센서의 원근감에서의 시프트에 기인한다는 것을 추정한다.
이미지 레지스트레이션 모듈(130)은, 예를 들면, 샘플의 모든 다른 이미지를 제거하는 것에 의해, 이미지의 샘플을 필터링하여 샘플을 프로세싱하는 데 필요한 시간을 감소시키는 것을 도울 수 있다. 몇몇 실시형태에서, 이미지 레지스트레이션 모듈(130)은 이미지 센서에 의해 캡쳐되는 비디오로부터 이미지의 샘플을 추출한다. 이미지 레지스트레이션은, 소스 및 타겟 이미지가 카메라의 후속 프레임인 것을 필요로 하지는 않는다. 그러나, 이미지 레지스트레이션에 의해 추정되는 모션의 정확도는 이미지 사이의 시간 기간이 감소함에 따라 더 커지는 경향이 있다. 따라서, 이미지 레지스트레이션 모듈(130)은, 많은 이미지를 순서대로 일치시키는 것에 의해 더 정확한 모션 추정치(예를 들면, 내시경의 움직임과 관련되는 파라미터의 거의 연속적인 측정치)를 생성한다.
병진 움직임을 결정하기 위해, 이미지 레지스트레이션 모듈(130)은 이미지의 샘플을 수신하고(510) 광학 플로우 기술을 사용하여 샘플의 이미지 쌍을 분석한다. 한 쌍의 이미지에서, 먼저 발생하는 이미지는 소스 이미지로 칭해지고 두 번째로 발생하는 이미지는 타겟 이미지로 칭해진다. 제1 및 제2 이미지의 순서는 임의적이다. 따라서, 병진(예를 들면, 시간적으로 전방 또는 후방으로 이동함)의 방향은, 어떤 이미지가 소스로 간주되고 어떤 이미지가 타겟으로 간주되는지에 기초하여 결정된다. 하나의 실시형태에서, 각각의 이미지는, (예를 들면, 그레이 스케일 이미지의 경우) 광 세기에 대응하는 N 개의 픽셀 값의 2차원 픽셀 어레이이거나, (예를 들면, 컬러 이미지의 경우) 상이한 컬러의 광의 세기를 나타내는 벡터이거나, 등등이다. 이미지 레지스트레이션 모듈(130)은 이차원 픽셀 어레이를 프로세싱을 위해 N 개의 엘리먼트를 갖는 대응하는 1차원 어레이로 변환할 수 있다.
이미지 레지스트레이션 모듈(130)은 차이 어레이(D)를 생성하고(520), 이미지 쌍에 기초하여 그래디언트 어레이(G)를 생성한다(530). 몇몇 실시형태에서, 이미지 레지스트레이션 모듈(130)은 샘플의 이미지의 각각 쌍에 대해 차이 어레이(510) 및 그래디언트 어레이(520)를 생성한다. 차이 어레이(D)는 타겟 이미지의 픽셀 값과 소스 이미지의 대응하는 픽셀 값 사이의 차이에 기초한다. 그래디언트 어레이(G)는 타겟 이미지의 픽셀 값의 변화율(예를 들면, 미분치) 및 소스 이미지의 대응하는 픽셀 값의 변화율의 가중된 평균에 기초한다. 이차원(예를 들면, x 및 y 차원) 픽셀 어레이를 갖는 실시형태에서, x 차원에서의 픽셀의 변화율(Gx)은 픽셀과 x 방향에서의 둘 이상의 인접한 픽셀 각각 사이의 차이에 기초한다. 마찬가지로, y 차원에서의 픽셀의 변화율(Gy)은 픽셀과 y 방향에서의 둘 이상의 인접한 픽셀의 각각 사이의 차이에 기초한다. 그래디언트 어레이는, 예를 들면, 동일하게 가중되는, x 및 y 차원에서의 변화율의 가중된 평균일 수도 있다. 이미지 레지스트레이션 모듈(130)은 2D 경사 어레이를, x 방향 및 y 방향의 편미분에 각각 대응하는 두 개의 서브어레이인 Gx 및 Gy로 분해할 수 있다. 따라서, 이미지 레지스트레이션 모듈(130)은 G를 N×2 매트릭스로 표현한다: G =(Gx Gy), 여기서 Gx 및 Gy는 각각 N 개의 성분을 포함한다.
이미지 레지스트레이션 모듈(130)은 차이 어레이(D) 및 그래디언트 어레이(G)에 기초하여 내시경 베이스의 모션을 결정한다. 모션은 벡터 p에 의해 표현될 수 있다. 벡터 p는 종종 일련의 모델 파라미터의 세트를 포함하며, 이들 파라미터의 아이덴티티는 모션의 상이한 속성을 검출하기 위해 변경될 수도 있다. 일반적으로, p는 형태 Ap = v의 선형 식을 충족하는 것으로 모델링될 수도 있는데, 여기서 A는 p의 형태 및 G에 의해 결정되는 매트릭스이고, v는 D에 대응하는 벡터이다. 상기의 식에서의 p의 값은 최소 자승 피팅(least-squares fitting)과 같은 방법에 의해 구해질 수도 있는데, p는 p = (ATA)-1ATv로서 추정될 수도 있고, 여기서 AT는 A의 전치(transpose)이고 (ATA)-1는 A와의 AT의 곱의 역을 나타낸다. 구해진 p는 내시경의 모션(예를 들면, 병진, 회전)을 나타낸다. 이미지 레지스트레이션 모듈(130)은 샘플의 이미지의 다수 쌍에 대해 프로세스(500)의 단계(520-540)를 반복할 수 있다. 따라서, 이미지 레지스트레이션 모듈(130)은 각각의 프로세싱된 이미지 쌍에 대응하는 모션 벡터의 세트를 생성한다.
I.C.3. EM 레지스트레이션
도 5b는, 하나의 실시형태에 따른, 전자기 추적 시스템의 도면이다. 내시경(118)의 팁에 커플링되는 공간 센서(550)는, 내시경(118)에 근접한 하나 이상의 전자기장(electromagnetic field; EMF) 발생기(600)에 의해 생성되는 EMF를 검출하는 EM 센서(550)이다. 검출된 EMF의 세기는 내시경(118)의 위치 및/또는 방위의 함수이다. 하나의 실시형태에서, 다수의 EMF 발생기(600)가 환자 외부에 위치된다. EMF 발생기(600)는 EM 센서(550)에 의해 수집되는 EM 필드를 방출한다. 상이한 EMF 발생기(600)는, 그들의 방출된 필드가 EM 센서(550)에 의해 캡쳐되고 컨트롤러(120)(또는 수술용 로봇 시스템(100) 외부의 임의의 컴퓨터 시스템)에 의해 프로세싱될 때, 그들의 신호가 분리 가능하도록, 다수의 상이한 방식으로 변조될 수도 있다. 또한, EMF 발생기(600)는, EM 센서(550)의 방위에서의 변화가, EM 센서(550)가 시간적으로 임의의 순간에 EMF 발생기(600) 중 적어도 하나로부터 적어도 몇몇 신호를 수신하는 것으로 나타나도록, 넌제로, 비직교의 각도에서 데카르트 공간(Cartesian space)에서 서로에 대해 배향될 수도 있다.
컨트롤러(120)는, EM 센서(550)에 의해 캡쳐되는 EM 데이터를, EM과는 상이한 기술(또는 정렬 센서의 데이터를 캡쳐하기 위해 사용되는 모든 메커니즘), 예컨대 컴퓨터 단층 촬영(CT) 스캔으로 캡쳐되는 환자의 이미지에 일치시켜, EM 데이터에 대한 기준 프레임을 확립한다. 몇몇 실시형태에서, 내시경의 원위 단부는 팁에 위치되는 EM 센서에 의해 추적될 수도 있다. 환자 내부에서의 상대적인 위치는, CT 데이터로부터 생성되는 수술 전 모델을, EM 추적 시스템에 의해 측정되는 절대적 위치에 비교하는 것에 의해 결정될 수도 있다.
예를 들면, EM 데이터를 CT 데이터로부터 생성되는 3D 모델과 일치시키기 이전에, EM 데이터로부터 유도되는 데이터 포인트는, 초기에, 3D 모델로부터 예상되는 계획된 내비게이션 경로를 따라 이동하는 내시경 팁의 위치로부터 멀리 위치된다. EM 데이터와 3D 모델 사이의 이러한 위치 차이는, EM 좌표와 3D 모델 좌표 사이의 레지스트레이션의 부족을 반영한다. 컨트롤러(120)는, 3D 모델 그 자체, 팁 상의 이미징 디바이스(예를 들면, 카메라)로부터 수신되는 이미지 데이터 및 (예를 들면, 수술용 로봇 시스템(100)의 로봇 팔로 제공되는) 로봇 커맨드로부터의 로봇 데이터 사이의 상관에 기초하여 3D 모델 상에서 포인트를 결정 및 조정할 수도 있다. 컨트롤러(120)는, 이들 포인트와 수집된 EM 데이터 포인트 사이의 3D 변환을 사용하여, 3D 모델 좌표 시스템에 대한 EM 좌표 시스템의 초기 레지스트레이션을 결정한다. EM 데이터를 3D 모델과 일치시킨 이후, EM 데이터로부터 유도되는 데이터 포인트는 3D 모델로부터 유도되는 계획된 내비게이션 경로에 속하게 되고, 데이터 포인트 중의 각각의 데이터 포인트는 3D 모델의 좌표 시스템에서 내시경 팁의 위치 측정치를 반영한다.
I.C.4 내시경 절차
도 6a 내지 도 6c는 내시경, 예를 들면, 도 3a에서 도시되는 내시경(118)을 사용하는 예시적인 외과적 처치를 예시한다. 도 6a는, 하나의 실시형태에 따른, 해부학적 관강(602) 내의 내시경(118)의 원위 단부를 예시한다. 내시경(118)은 시스(311)를 포함하고 외과적 처치를 위해 수술 부위(603)를 향해 환자 내부의 해부학적 관강(602)을 통해 내비게이팅한다.
도 6b는, 하나의 실시형태에 따른, 수술 부위(603)에서 사용되는 도 6a에서 도시되는 내시경(118)을 예시한다. 수술 부위(603)에 도달한 이후, 내시경(118)은 화살표(605)에 의해 마킹되는 방향에서, 시스(311)와 종방향으로 정렬되는 원위 리더 섹션(317)을 연장시킨다. 내시경은 또한 수술 툴을 수술 부위(603)를 향해 지향시키기 위해 원위 리더 섹션(317)을 관절 운동시킬(articulate) 수 있다.
도 6c는, 하나의 실시형태에 따른, 흡인 바늘(1007)을 갖는 도 6b에서 도시되는 내시경(118)을 예시한다. 수술 부위(603)가 생검을 위한 병변을 포함하는 경우, 원위 리더 섹션(317)은, 병변을 타겟으로 하여 흡인 바늘(1007)을 전달하기 위해, 화살표(606)에 의해 마킹되는 방향에서 관절 운동한다.
몇몇 실시형태에서, 원위 리더 섹션(317)은 시스(311)(도 6에서 도시되지 않음)와 통합된다. 원위 리더 섹션(317)은 외과적 처치를 위해 수술 부위(603)를 향해 환자 내부의 해부학적 관강(602)을 통해 시스(311)와 함께 내비게이팅한다. 수술 부위(603)에 도달한 이후, 수술 툴은 원위 리더 섹션(317)을 통해 수술 부위(603)로 지향될 수 있다.
몇몇 실시형태에서, 원위 리더 섹션(317)은 시스(311)의 축(중립 축) 외에 있는 작동 채널을 통해 전개될 수 있는데, 이것은 시스(311)의 단부(또는 내시경(118)의 임의의 다른 위치)에 커플링되는 이미지 센서(도 6에서 도시되지 않음)를 가리지 않으면서 원위 리더 섹션(317)이 동작하는 것을 허용한다. 이러한 배열은, 내시경(118)이 원위 리더 섹션(317)을 관절 운동시키고 시스(311)를 정지 상태로 유지하는 동안, 이미지 센서가 해부학적 관강 내부의 이미지를 캡쳐하는 것을 허용한다.
굴곡 섹션으로도 또한 칭해질 수도 있는 원위 리더 섹션(317)의 구조, 구성, 성능, 및 용도는 2014년 3월 7일자로 출원된 미국 특허 출원 제14/201,610호 및 2014년 9월 5일자로 출원된 미국 특허 출원 제14/479,095호에서 개시되는데, 이들 출원의 전체 내용은 참조에 의해 통합된다.
II. 관강 내 좌굴 검출
위에서 소개되는 바와 같이, 관강 내 좌굴은, 수술 부위 또는 외과적 부위를 향해 해부학적 관강 내에서 내비게이팅되는 가요성 기구(예를 들면, 내시경)가, 삽입력에 응답하여 해부학적 관강 내에서 소망되지 않는 방향으로 탈출하는 현상이다.
도 7a 및 도 7b는, 내시경이 수술 부위(710)를 향해 환자의 폐(700) 안으로 삽입될 때 발생하는 관강 내 좌굴의 예를 예시한다. 내시경(118)은 환자의 구강 안으로, 환자의 기관 아래로, 그리고 환자의 폐(700) 안으로 삽입된다. 도 7a에서 도시되는 바와 같이, 내시경은 정상적으로 폐(700)의 좌측 상엽(upper lobe)에 위치되는 수술 부위(710)를 향하여 굴곡한다. 먼저 내시경의 시스(740)가 좌측 주 기관지로 내비게이팅되고, 그 다음, 리더(730)가 수술 부위(710)를 향해 3차 기관지에서 내비게이팅한다. 도 7b에서 도시되는 바와 같이, 리더(730)가 수술 부위(710)를 향해 내비게이팅함에 따라, 리더(730)의 원위 리더 섹션은 꼼짝 못하게 되거나 또는 막히고 따라서 앞으로 이동하지 못한다. 더 많은 삽입력이 가해짐에 따라, 내시경의 일부는 리더를 더 강제하기보다는 좌굴한다(720).
수술 부위(710)에 대한 시스(740)의 부적절한 배치도 또한, 내시경의 바람직하지 못한 좌굴을 초래할 수도 있다. 예를 들면, 시스(740)가 삽입되어 기관까지만 전진되면, 리더(730)는 수술 부위(710)에 도달하기 위해 환자의 폐(700)의 상엽 안으로 삽입하려고 시도할 때, 지지되지 않을 것이다. 이 예에서, 시스(740)에 대한 삽입력은 "하방으로", 즉, 수술 부위(710)가 위치되는 상엽의 반대 방향에 있는, 환자의 폐(700)의 하엽(lower lobe)을 향해 지향된다. 대조적으로, 시스(740)가 폐 안으로 더 깊이, 즉 수술 부위에 더 가깝게 배치되어, 시스(740)가 더욱 "상향" 위치, 또는 적어도 더욱 "중립" 위치에서 지향되는 경우, 리더(730)에 대한 삽입력 벡터는 수술 부위(710)의 방향과 더욱 정렬될 수도 있다. 후자의 예에서는, 리더(730)에 의한 탈출 또는 좌굴에서의 감소 외에도, 시스(740)에 인가되는 더 적은 양의 삽입력으로 더 큰 삽입이 달성될 수도 있다.
II.A. 환자 관강 내에서의 관강 내 좌굴의 검출
관강 내 좌굴은 다양한 방식으로 발생할 수도 있다. 예를 들면, 내시경의 리더의 팁은 꼼짝 못하게 되거나 거의 꼼짝 못하게 될 수도 있고, 내시경이 환자 안으로 더 삽입됨에 따라 리더 또는 시스의 일부가 더 큰 양의 곡률을 가지고 굴곡될 수도 있다. 좌굴된 부분은 잠재적인 에너지를 저장하고 내시경을 후방으로 밀어 내려는 반대 힘을 생성한다.
따라서, 좌굴을 검출하는 센서를 배치하는 것이 유익할 수도 있는 다수의 주목 영역이 있다. 예를 들면, 임의의 "사이즈"의 세 가지 주요 영역이 정의될 수 있다. 제1 영역은 리더의 팁 근처의 볼륨을 포함할 수도 있다. 제2 영역은, 환자 내부의 시스 단부로부터 제1 영역의 에지까지의 범위 내의 리더의 부분을 포함한다. 제3 영역은, 리더가 연장하기 시작하는 시스의 단부뿐만 아니라 시스의 단부에 근접하는 시스의 부분(원위 시스 섹션으로도 또한 칭해짐)을 포함할 수도 있다.
각각의 센서 영역에 대해, 하나 이상의 센서가 여러 위치 중 임의의 위치에 배치될 수 있다. 센서 위치의 예는, 시스 또는 리더의 외부 표면, 시스 또는 리더의 벽, 시스의 관강의 내부 표면, 리더 또는 시스의 도관의 내부 표면, 리더의 또는 시스의 견인 와이어 상의 하나 이상의 위치, 센서를 배치할 센서 영역 내의 다른 적절한 위치, 또는 이들의 어떤 조합을 포함한다.
도 8a 및 도 8b는, 하나의 실시형태에 따른, 센서를 배치하기 위해 사용되는 센서 영역의 예를 예시한다. 도 8a는, 시간 T = T1(860A)에서 리더(730)가 수술 부위(710)를 향해 정상적으로 굴곡되는 것을 도시하고, 도 8b는 시간 T = T2(860B)에서 리더(730)가 더 많이 삽입될 때 리더(730)가 좌굴되는 것을 도시한다. T1(860A) 및 T2(860B)는 연속적이거나, 또는 시간 간격을 가지고 분리되어 있다. 도 8a 및 도 8b에서 도시되는 바와 같이, 주목 영역(region of interest; ROI)(810)이 선택되고 확대된다. ROI(810)는 리더(730) 및 시스(740)의 일부를 포함한다. 폐 구조가 없는 줌인된 ROI는, 각각, 도 8a와 도 8b의 하부에서 도시된다. 센서 영역 A(820)는 리더(730)의 팁 및 팁에 근접하는 작은 부분을 포함한다. 센서 영역 B(830)는 환자 내에서의 시스(740)의 단부로부터 리더(730)의 팁까지의 범위 내의 리더(730)의 부분을 포함한다. 센서 영역 C(840)는 시스의 단부 및 원위 시스 섹션의 작은 부분을 포함한다.
하나 이상의 상이한 타입의 센서가 각각의 센서 영역에 배치될 수 있다. 예를 들면, 하나 이상의 위치 센서, 하나 이상의 힘 센서, 하나 이상의 형상 센서 또는 이들의 어떤 조합이 각각의 센서 영역에 배치될 수 있다. 센서의 타입의 예는, 위치 센서(예를 들면, EM 센서, 광학 센서, 가속도계, 자이로스코프, 자력계, 모션을 검출하는 다른 적절한 타입의 센서, 또는 이들의 어떤 조합), 힘 센서(예를 들면, 저항 센서, 압력 센서, 변형 게이지, 토크 센서, 마찰 센서, 다양한 타입의 힘을 검출하는 다른 적절한 타입의 센서, 또는 이들의 어떤 조합), 이미지 센서(예를 들면, CCD, CMOS, NMOS, 이미지를 구성하는 정보를 검출 및 전달하는 다른 적절한 타입의 센서, 또는 이들의 어떤 조합), 형상 센서(예를 들면, 광섬유 형상 센서, 오브젝트의 경계, 윤곽 또는 표면을 검출하는 다른 적절한 타입의 센서, 또는 이들의 어떤 조합)를 포함한다.
하나 이상의 센서 영역으로부터 캡쳐되는 센서 데이터는, 좌굴이 발생했는지를 결정하기 위해, 예상되는 데이터(이력 데이터 또는 기준 데이터로 또한 칭해짐)와 비교될 수 있다. 예상된 데이터는 내비게이션 동안 내시경의 모션에 의해 야기되는 다양한 특성과 관련된 데이터를 설명한다. 예상된 데이터의 예는, 내시경의 모션에 의해 야기되는 다양한 예상된 상태와 관련되는 데이터, 하나 이상의 상이한 센서 영역으로부터 캡쳐되는 센서 데이터, 동일한 센서 영역으로부터 캡쳐되는 상이한 타입의 센서 데이터, 하나 이상의 상이한 센서 영역으로부터 캡쳐되는 상이한 타입의 센서 데이터, 또는 이들의 어떤 조합을 포함한다. 보다 구체적으로, 예상된 데이터는 내시경의 모션에 의해 야기되는 다양한 가능한 상태(state)/상태(status)와 관련되는 데이터를 포함한다. 예상된 상태의 예는, 시스의 팁 또는 원위 단부의 예상된 위치, 리더 또는 시스의 일부의 예상된 위치, 리더 또는 시스의 예상 굴곡 형상, 리더 또는 시스의 예상 굴곡에 의해 생성되는 예상 힘, 리더 또는 시스의 팁에 의해 검출되는 예상된 힘, 또는, 형상, 거리, 길이, 기울기, 경사, 그래디언트, 곡률, 각도, 등등, 또는 이들의 조합을 포함할 수도 있는, 그러나 이들로 제한되지는 않는 내시경의 상태에 관련이 있는 임의의 다른 측정 가능한 또는 유도 가능한 양을 포함한다.
동작 동안 기구 내의 센서로부터 수집되는 센서 데이터(측정된 데이터로도 또한 칭해짐)는, 그들 센서가 배치되는 대응하는 센서 영역의 실제 모션에 기초한 측정된 상태를 나타낸다. 측정된 상태의 예는, 바로 이전 단락에서 제공되는 예상된 상태 목록과 유사한 상태 목록을 포함한다. 예를 들면, 팁 상의 이미징 디바이스로부터 수집되는 센서 데이터(옵티컬 플로우 데이터로도 또한 칭해짐), 또는 팁 상에 위치되는 EM 센서로부터 수집되는 센서 데이터 둘 모두는 측정된 상태(예를 들면, 팁의 위치)를 나타낼 수 있다. 몇몇 실시형태에서, "내부 뷰"를 센서 데이터를 비교하는 것에 의해, 수술용 로봇 시스템(100)은 환자 내부에서의 팁의 상대적 위치를 나타내는 측정된 상태를 결정한다. 센서 데이터에 의해 나타내어지는 측정된 상태가 예상된 데이터에 의해 나타내어지는 예상된 상태와 매치하지 않거나 또는 그 예상된 상태에 상관되지 않는 경우, 수술용 로봇 시스템(100)은 관강 내 좌굴이 발생했다는 것을 결정한다. 예는, 섹션 II.A.1.에서 추가로 설명된다.
하나 이상의 센서 영역으로부터 캡쳐되는 센서 데이터는 동일한 및/또는 상이한 센서 영역으로부터의 센서 데이터와 비교되어, 관강 내 좌굴이 발생했는지를 결정할 수 있다. 예를 들면, 하나 이상의 센서 영역으로부터 캡쳐되는 센서 데이터가, 내시경의 대응하는 센서 영역이 제1 상태 변화(예를 들면, 제1 영역에서의 힘 변화를 나타내는 상태 변화)를 겪었다는 것을 나타내고, 상이한 센서 영역으로부터의 센서 데이터, 또는 동일한 센서 영역으로부터의 상이한 타입의 센서 데이터가, 대응하는 센서 영역 또는 센서 타입이 제2 상태 변화(예를 들면, 제3 영역에서의 힘 변화를 나타내는 상태 변화, 또는 제1 영역에서 팁이 이동되지 않았다는 것을 나타내는 상태 변화)를 겪었다는 것을 나타내는 경우, 수술용 로봇 시스템(100)은, 관강 내 좌굴이 발생했다는 것을 결정한다. 예는 섹션 II.A.2.에서 추가로 설명된다.
일반적으로, 상태 변화는, 측정된 및 예상된 센서 데이터를 포함할 수도 있는, 센서 데이터로부터 측정 가능하거나 또는 유도 가능한 어떤 양이, 시간의 어떤 기간(예를 들면, T1 및 T2)에 걸쳐 종종 측정되는 임계치보다 더 많이 또는 더 적게 변하였다는 것을 나타낸다. 다수의 상이한 타입의 상태 변화가 있다.
제1 타입의 상태 변화는, 내시경의 어떤 부분의 위치 변화가 위치 임계치보다 더 작은 것인데, 일반적으로 내시경 삽입 커맨드에 응답하여, 내시경의 일부가 인식 가능한 거리를 이동하지 않은 다양한 모션을 나타낸다. 제1 타입 상태 변화의 제1 예는, 환자 내부에서의 리더의 팁 또는 시스의 단부가 커맨드에 응답하여 이동하지 않은 또는 임계량 미만으로 이동한 경우이다. 예를 들면, 내시경이 복잡한 관형 네트워크(예를 들면, 가변 굴곡, 또는 가변 직경을 갖는 관형 네트워크)를 갖는 장기 안으로 진입하는 경우, 내시경을 타겟 위치로 이동시키기 위해, 내시경에 소정의 삽입력이 인가된다. 커맨드에 응답하여 환자 내부에서 시스의 단부 또는 리더 팁이 임계량보다 더 적게 이동했다는 것을 상태 변화가 나타내는 경우, 섹션 II.A.2.에서 추가로 설명되는 바와 같이, 수술용 로봇 시스템(100)은, 이 상태 변화에만 단독으로 기초하여, 또는 다른 타입의 상태 변화와 조합하여, 관강 내 좌굴이 발생했다는 것을 결정할 수도 있다. 제2 예는, 커맨드에 응답하여, 리더의 일부 또는 시스의 일부가 예상된 위치로 이동하지 않는 경우이다. 제3 예는, 커맨드에 응답하여, 시스의 일부(예를 들면, 시스의 단부, 원위 시스 섹션)가 후퇴된 경우이다.
제2 타입의 상태 변화는, 리더의 팁, 원위 리더 섹션의 일부, 시스의 단부, 원위 시스 섹션의 일부에서 검출되는, 커맨드에 응답한 임계치를 초과하는 힘 변화이다.
제3 타입의 상태 변화는, 일반적으로 내시경 삽입 커맨드에 응답하여, 리더 또는 시스를 따르는 원치 않는 모션, 일반적으로 굴곡을 식별한다. 제3 타입의 상태 변화의 하나의 예는, 리더 또는 시스를 따르는 둘 이상의 포인트 중에서의 굴곡 변화(예를 들면, 경사 변화, 그래디언트 변화, 곡률 변화, 등등)가 굴곡 임계치 이상인 것을 포함하는데, 리더 또는 시스가 커맨드에 응답하여 예상치 않은 방식으로 인식 가능하게 굴곡된 상황을 나타낸다. 제3 타입 상태 변화의 다른 예는, 거리 임계치 미만인 리더 또는 시스를 따르는 두 포인트 사이의 거리 변화를 포함하는데, 커맨드에 응답하여, 두 포인트 사이의 거리가 예상치 않게 단축된 상황을 나타낸다. 제3 타입의 상태 변화의 다른 예는, 환자의 관강 내 네트워크 내에서 방향 전환(turn)을 통해 내시경을 내비게이팅할 때, 굴곡이 예상되지만 그러나 굴곡이 발생할 것으로 예상되는 내시경의 섹션을 따라 그 굴곡이 발생하지 않는 그러한 것과 같은 상황에서 발생한다. 따라서, 내시경의 몇몇 포인트를 따르는 센서에 의해 측정되는 바와 같은 굴곡 변화의 결여는, 내시경을 따르는 다른 곳에서 굴곡이 대신 발생하였다는 것을 시사할 수도 있다.
센서가 영역과 관련되는 것으로 상기의 설명이 설명하지만, 이 영역 관련성은, 좌굴이 발생했는지의 여부를 결정하기 위해 센서 데이터를 사용하는 데이터 프로세싱 시스템에서는 명시적으로 사용될 필요는 없다. 이러한 구현예에서, 영역에 대한 센서의 할당은, 기구 내에 배치되는 상이한 센서를 구별하기 위한 편리한 방법으로서 기능하는 것에 불과하며, 실제로는, 시스 또는 리더를 따르는 위치, 등등과 같은 다른 구별 가능한 특성이 사용될 수도 있다.
II.A.1. 측정된 상태와 예상된 상태 사이의 비교에 기초한 관강 내 좌굴 검출
도 9a 내지 도 9l은, 하나의 실시형태에 따른, 측정된 상태와 예상된 상태 사이의 비교에 기초한 관강 내 좌굴 검출의 예를 예시한다. 상기에서 논의되는 바와 같이, 관강 내 좌굴을 검출하기 위해, 하나 이상의 상이한 타입의 센서가 동일한 센서 영역 내에 배치될 수 있다. 도 9a 및 도 9b에서 도시되는 바와 같이, 위치 또는 힘 센서와 같은 센서 A는 제1 센서 영역(예를 들면, 내시경의 팁)에 배치된다. 도 9a 및 도 9b는 센서 A(910)에 의해 나타내어지는 예상된 위치 A(915B)와 측정된 위치 A(915A)를 도시한다. 예를 들면, 내시경을 예상된 위치 A(915B)로 이동시키기 위한 삽입 커맨드에 응답하여, 내시경은 측정된 위치 A(915A)로 삽입된다. 도 9b에서 도시되는 예상된 위치 A와 비교하면, 도 9a에서 도시되는 측정된 위치 A는 멈추어 있거나 또는 단지 약간만 이동되었으며, 그에 의해, 좌굴이 발생했다는 것을 나타낸다. 마찬가지로, 도 9a에서의 측정된 힘(예를 들면, 팁과 폐 구조 사이에서 생성되는 마찰력)은, 커맨드 입력에 기초한 도 9b에서의 예상된 힘보다 더 클 수도 있고, 그에 의해, 좌굴이 발생했다는 것을 나타낸다.
도 9c 및 도 9d에서 도시되는 바와 같이, 센서 C 및 센서 D는 제2 센서 영역(예를 들면, 리더의 일부)에 배치된다. 제1 실시형태에서, 센서 C 및 D 둘 모두는 위치 센서이다. 도 9c에서, 제2 영역을 예상된 위치 C 및 D로 이동시키기 위한 커맨드에 응답하여, 센서 C는 측정된 위치 C를 검출하고 센서 D는 측정된 위치 D를 검출한다. 측정된 위치 C 및 측정된 위치 D는 예상된 위치 C 및 예상된 위치 D와 비교된다. 비교는, (원시 데이터 또는 원시 데이터의 어떤 유도 데이터 예컨대 그들 사이의 거리에 기초한) 측정된 위치가 예상된 위치로부터 임계치보다 더 많이 벗어나는지(매치하지 않음) 또는 임계치보다 더 적게 벗어나는지(매치함)의 여부를 나타낸다. 측정치 및 예상치가 매치하면, 수술용 로봇 시스템은 좌굴이 발생하지 않았다는 것을 결정하고, 그렇지 않으면, 좌굴이 발생했다는 것을 결정한다. 좌굴을 검출하기 위해 사용되는 유도된 파라미터의 예는, 경사, 거리, 곡률, 그래디언트, 두 위치로부터 유도되는 다른 적절한 파라미터, 또는 이들의 몇몇 조합을 포함한다.
제2 실시형태에서, 센서 C 및 D는 힘 센서이다. 제2 영역에서 예상된 힘 A 및 B를 가지고 내시경을 삽입하기 위한 커맨드에 응답하여, 도 9c에서 센서 C는 측정된 힘 A(예를 들면, 제1 토크)를 검출하고 센서 D는 측정된 힘 B(예를 들면, 제1 토크)를 검출한다. 측정된 힘 A 및 측정된 힘 B는 예상된 힘 A 및 예상된 힘 B와 비교된다. 비교는, (원시 데이터 또는 원시 데이터의 어떤 유도 데이터에 기초한) 측정된 힘이 임계치보다 더 많이 벗어나는지(매치하지 않음) 또는 임계치보다 더 적게 벗어나는지(매치함)의 여부를 나타낸다. 측정된 힘 및 예상된 힘이 매치하면, 수술용 로봇 시스템(100)은 좌굴이 발생하지 않았다는 것을 결정하고, 그렇지 않으면, 좌굴이 발생했다는 것을 결정한다.
제3 실시형태에서, 센서 C 및 센서 D는 상이한 센서 타입을 갖는다. 예를 들면, 센서 C는 위치 센서이고 센서 D는 힘 센서이다. 제2 영역에서 예상된 위치 C 및 예상된 힘 B를 가지고 내시경을 삽입하기 위한 커맨드에 응답하여, 센서 C는 측정된 위치 C를 검출하고 센서 D는 측정된 힘 B를 검출한다. 측정된 위치 C는 예상된 위치 C와 비교되고 측정된 힘 B는 예상된 힘 B와 비교된다. 비교는, 측정된 위치 C가 예상된 위치 C로부터 임계치보다 더 많이 벗어나는지(매치하지 않음) 또는 임계치보다 더 적게 벗어나는지(매치함)의 여부, 및 측정된 힘 B이 예상된 힘 B로부터 임계치보다 더 많이 벗어나는지(매치하지 않음) 또는 임계치보다 더 적게 벗어나는지(매치함)의 여부를 나타낸다. 측정치 및 예상치가 매치하는 경우, 수술용 로봇 시스템은 좌굴이 발생하지 않았다는 것을 결정하고, 그렇지 않은 경우 좌굴이 발생했다는 것을 결정한다.
도 9e 및 도 9f에서 도시되는 바와 같이, 센서 B는 제3 센서 영역(예를 들면, 원위 시스 섹션의 일부)에 배치된다. 내시경을 제3 영역의 예상된 위치 E로 이동시키기 위한 커맨드에 응답하여, 측정된 위치 E는 도 9f에서 도시되는 예상된 위치 E와 비교된다. 도 9e에서 도시되는 측정된 위치 E가 후방으로(960) 이동되어 측정된 위치 E가 예상된 위치 E와 매치하지 않는다는 것을 나타내면, 수술용 로봇 시스템은 좌굴이 발생했다는 것을 결정한다. 센서 B는 또한 힘 센서일 수 있다. 예를 들면, 내시경을 이동시키기 위한 커맨드에 응답하여, 내시경은 제3 영역에서 예상된 힘 C를 갖는다. 센서 B는 측정된 힘 C(예를 들면, 제3 센서 영역과 리더 사이의 마찰)를 검출하고, 측정된 힘 C는 예상된 힘 C와 비교된다. 도 9f에서, 측정된 힘이 예상된 힘 C보다 더 크고 측정된 힘 C가 예상된 C와 매치하지 않는다는 것을 나타내면, 수술용 로봇 시스템은 좌굴이 발생했다는 것을 결정한다.
이 섹션에서 예시되는 예시적인 실시형태는, 내시경에 대한 다른 가능한 센서 셋업을 제공하기 위해 서로, 뿐만 아니라, 좌굴이 발생했다는 것을 식별 또는 검증하기 위해 한 번에 더 많은 영역에서 상태 변화의 검출을 사용하는 좌굴 검출 프로세스와 함께 다양하게 결합될 수도 있다. 예를 들면, 제1 센서 영역 A에서의 예상된 데이터 대 센서 A로부터의 측정된 데이터는, 도 9g 및 도 9h에서 도시되는 바와 같이, 제3 센서 영역에서의 예상된 데이터 대 센서 B로부터의 측정된 데이터와 결합될 수 있다. 도 9c 및 도 9d와 유사하게, 센서 C 및 센서 D는 동일한 또는 상이한 센서 타입을 가질 수 있다.
리더(또는 시스)의 형상은 도 9i 및 도 9j에서 도시되는 바와 같은 다수의 위치 센서를 사용하여 또는 도 9k 및 도 9l에서 도시되는 바와 같은 형상 감지 광섬유에 의해 검출될 수 있다. 형상 감지 광섬유는 광섬유 브래그 격자(fiber Bragg grating; FBG)의 세그먼트를 포함할 수도 있다. FBG는, 다른 파장을 투과시키면서, 소정의 파장의 광을 반사한다. 수술용 로봇 시스템은, FBG에 의해 반사되는 광의 파장에 기초하여 반사 스펙트럼 데이터를 생성한다. 시스템은 반사 스펙트럼 데이터를 분석하여 이차원 또는 삼차원 공간에서의 내시경의 위치 및 방위 데이터를 생성할 수 있다. 특히, 내시경이 굴곡되는 경우, 내부에 내장되는 형상 감지 광섬유도 또한 굴곡된다. FBG에 의해 반사되는 광의 특정한 파장은, 형상 감지 광섬유의 형상에 기초하여 변한다(예를 들면, "직선형" 내시경은 "곡선형" 내시경과는 형상이 상이하다). 따라서, 시스템은, 예를 들면, 반사 스펙트럼 데이터에서 차이를 식별하는 것에 의해 (예를 들면, 수술용 로봇 시스템으로부터의 커맨드에 응답하여) 내시경이 하나 이상의 방향에서 얼마나 많은 각도로 굴곡되었는지를 결정할 수 있다.
관강 내 좌굴은, 형상 감지 광학 센서 또는 이산 센서에 의해 제공되는 것과 같은 예상된 형상과 측정된 형상 사이의 비교에 기초하여 검출된다. 리더(또는 시스)의 형상을 추정하기 위해 함수, 예를 들면, 선형 보간(예를 들면, 다항식 보간) 또는 비선형 보간(예를 들면, 스플라인 보간), 하나 이상의 피팅 함수에 기초한 곡선 피팅, 선형 또는 비선형 회귀 분석, 또는 이들의 어떤 조합이 사용될 수 있다.
도 9k 및 도 9l에서 도시되는 바와 같이, 형상 감지 광섬유(950)가 리더(또는 시스, 도시되지 않음)를 따라 배치된다. 예를 들면, 형상 감지 센서는, 리더(또는 시스)의 벽의 길이 안쪽의 견인 와이어와 함께 도관 내에 배치될 수 있다. 형상 감지 센서는 도관 외부이지만 그러나 리더(또는 시스)의 벽 길이 안쪽에 배치될 수 있다.
도 10은, 하나의 실시형태에 따른, 측정된 상태와 예상된 상태 사이의 비교에 기초하여 관강 내 좌굴을 검출하기 위한 일반적인 프로세스(1000)의 플로우차트이다. 수술용 로봇 시스템의 컨트롤러, 예를 들면, 도 1에서 도시되는 수술용 로봇 시스템(100)의 컨트롤러(120)는, 관강 내 좌굴을 검출하기 위해 프로세스(1000)를 사용한다. 프로세스(1000)는 몇몇 실시형태에서 도 10과 연계하여 설명되는 것과는 상이한 또는 추가적인 단계를 포함할 수도 있거나, 또는 도 10과 연계하여 설명되는 순서와는 상이한 순서로 단계를 수행할 수도 있다.
컨트롤러(120)는 환자 관강 내에 위치되는 내시경의 일부에 배치되는 제1 센서로부터 생성되는 센서 데이터를 수신하고(1010), 센서 데이터는 내시경의 일부의 실제 모션에 기초한 측정된 상태를 나타낸다. 내시경의 일부는 도 8a 및 도 8b에서 도시되는 바와 같이 상기에서 언급되는 세 개의 센서 영역일 수 있다. 예는 도 9a 내지 9l에서 설명되어 있다. 컨트롤러(120)는, 내시경의 예상된 모션에 의해 야기되는 예상된 상태와 관련되는 데이터를 설명하는 예상된 데이터를 수신한다(1020). 몇몇 실시형태에서, 예상된 데이터는 내시경에 물리적으로 커플링되는 기구 디바이스 조작기(IDM)로부터 생성되는 로봇 커맨드 데이터인데, 로봇 커맨드 데이터는 IDM을 제어하여 내시경의 일부로 하여금 예상된 위치를 향해 환자 내부에서 이동하게 하도록 구성된다. 로봇 커맨드 데이터는 예상된 모션에 기초한 예상된 상태를 나타낸다. 컨트롤러(130)는 측정된 상태를 예상된 상태와 비교한다(1030). 측정된 상태가 예상된 상태로부터 관련된 임계치보다 더 많이 또는 더 적게 벗어나는 것에 응답하여, 컨트롤러(130)는 내시경이 좌굴되었다는 것을 결정한다(1040). 몇몇 실시형태에서, 임계치는 측정된 상태와 예상된 상태 사이의 매치를 나타낸다.
II.A.2. 센서 데이터에 의해 나타내어지는 상태 변화에 기초한 관강 내 좌굴 검출
이전 섹션에서, 좌굴은, 예상된 거동과 측정된 거동 사이의 차이에 기초하여 검출되는 것으로 설명되었다. 이 섹션은, 일반적으로 내시경에 의한 모션 커맨드(예를 들면, 삽입)의 수행 동안, 시간적으로 두 포인트 사이의 내시경 상태에서의 변화에 따라 좌굴이 검출될 수 있는 방법을 설명한다.
도 11a 내지 도 11h는, 하나의 실시형태에 따른, 커맨드 이전 및 이후(또는 동안)에 기초한 관강 내 좌굴 검출의 예를 예시한다. 각각의 센서 영역에 대한 상태 변화 검출은, 상태 변화를 검출하기 위해 예상된 데이터 및 측정된 데이터를 사용하는 대신, 시간적으로 두 개의 상이한 포인트에서의 측정된 데이터가 대신 사용된다는 점을 제외하면, 도 9a 내지 도 9h에서 설명되는 예와 유사하다.
제1 예로서, 도 11a 및 도 11b에서 도시되는 바와 같이, 센서 A(1125)는 센서 영역 A(1120)(예를 들면, 내시경의 팁)에 배치된다. T = T1에서, 센서 A(1125)는 측정된 상태 A(예를 들면, 센서 A의 센서 타입에 따라 위치 A, 또는 힘 A)를 검출한다. T = T2에서, 센서 A(1125)는 측정된 상태 B(예를 들면, 위치 B, 또는 힘 B)를 검출한다. T1 및 T2에서의 측정된 상태가 팁 근처에 위치되는 센서 A에 대한 상태 변화(예를 들면, 힘에서의 증가, 위치에서의 불충분한 변화) 중 하나의 상태 변화의 임계치 중 하나의 임계치를 트리거하면, 시스템은 좌굴이 발생했다는 것을 결정한다.
비록 상태 변화가 좌굴을 검출하기에 충분할 수 있지만, 몇몇 경우에, 둘 이상의 상태 변화의 식별은 좌굴이 발생했는지를 결정 또는 검증하는 것을 돕는다. 이들 검출된 상태 변화는, 동일한 또는 상이한 영역에서의 동일한 또는 상이한 타입의 상이한 센서로부터 유래할 수도 있다. 예를 들면, 상이한 타입을 갖는 다른 센서(예를 들면, 힘 센서)가 센서 영역 A(1120)에 배치되는 경우, 그 다른 센서가 또한 대응하는 상태 변화를 검출하면, 좌굴이 발생했는지가 더 잘 결정 또는 확인될 수도 있다.
마찬가지로, 내시경이 각각의 센서 영역과 관련되는 대응하는 상태 변화를 겪었는지를 평가하기 위해, 동일한 센서 타입의, 또는 상이한 센서 타입의 하나 이상의 센서가 하나보다 많은 센서 영역에 배치될 수 있다. 시간적으로 두 개의 상이한 포인트에서의 측정된 데이터에 기초하여 상이한 영역으로부터 검출되는 적어도 두 개의 상태 변화를 결합하는 것에 의해, 시스템은, 좌굴이 발생할 때, 그것을 검출하는 더 나은 능력을 가질 것이다. 도 11c 내지 도 11h는, 두 개의 상태 변화가 두 개의 상이한 영역에서 검출되고 있는 예를 예시한다. 예는 영역 A, B, 및 C에서 센서의 다양한 조합을 포함한다. 도 11c 및 도 11d는 영역 A 및 B에서의 상태 변화에 기초하여 좌굴을 검출하는 것을 예시한다. 도 11e 및 도 11f는 영역 A 및 C에서의 상태 변화에 기초하여 좌굴을 검출하는 것을 예시하고, 도 11g 및 도 11h는 영역 B 및 C에서 변경되는 상태에 기초하여 좌굴을 검출하는 것을 예시한다. 비록 도시되지는 않았지만, 좌굴은 세 영역 모두에서의 상태 변화에 기초하여 검출될 수도 있다.
II.A.3 센서 데이터 및 광학 흐름 데이터에 의해 나타내어지는 상태 변화 사이의 비교에 기초한 관강 내 좌굴 검출
도 12는, 하나의 예시적인 실시형태에 따른, 센서 데이터에 의해 나타내어지는 상태 변화에 기초하여 관강 내 좌굴을 검출하기 위한 프로세스(1200)의 플로우차트이다. 프로세스(1200)는, 몇몇 실시형태에서, 도 12와 연계하여 설명되는 것과는 상이한 또는 추가적인 단계를 포함할 수도 있거나, 또는 도 12와 연계하여 설명되는 순서와는 상이한 순서로 단계를 수행할 수도 있다.
수술용 로봇 시스템의 컨트롤러(120)는, 환자 관강 내에 위치되는 내시경의 일부에 배치되는 제1 센서로부터 생성되는 제1 센서 데이터를 수신하는데(1210), 제1 센서 데이터는 내시경의 일부의 모션을 나타낸다. 몇몇 실시형태에서, 제1 센서는 세 개의 센서 영역(예를 들면, 센서 영역 A 내지 C) 중 하나에 위치된다. 예를 들면, 제1 센서는 센서 영역 C에 위치된다. 제1 센서의 예는 위치 센서(예를 들면, EM 센서), 이미지 센서, 힘 센서, 또는 저항 센서를 포함한다.
컨트롤러(120)는 내시경의 원위 팁에 위치되는 제2 센서로부터 생성되는 제2 센서 데이터를 수신하는데(1220), 제2 센서 데이터는 내시경의 원위 팁의 모션을 나타낸다. 몇몇 실시형태에서, 제2 센서는 원위 팁 상에 장착되는 이미징 디바이스(예를 들면, 도 3c의 내시경(118) 상의 이미징 디바이스(349))이다. 제2 센서 데이터(옵티컬 플로우 데이터로도 또한 칭해짐)는 이미징 디바이스에 의해 캡쳐되는 이미지이다. 섹션 I.C.2.에서 설명되는 바와 같이, 제2 센서 데이터는 한 쌍의 이미지 사이의 변화에 기초하여 내시경의 모션을 추정하기 위해 사용된다.
컨트롤러(120)는, 내시경의 일부가 제1 상태 변화(예를 들면, 상기에서 언급되는 임의의 타입의 상태 변화)를 겪었는지 여부를 결정하기 위해 제1 센서 데이터를 평가한다(1230). 컨트롤러(120)는, 내시경의 원위 팁이 제2 상태 변화(예를 들면, 팁이 움직이지 않음)를 겪었는지의 여부를 결정하기 위해 제2 센서 데이터를 평가한다(1240). 내시경의 원위 부분이 제1 상태 변화를 겪었다는 것을 제1 센서 데이터가 나타낸다는 것 및 내시경의 원위 팁이 제2 상태 변화를 겪었다는 것을 제2 센서 데이터가 나타낸다는 것을 결정하는 것에 응답하여, 컨트롤러(120)는 내시경이 좌굴되었다는 것을 결정한다(1250).
II.B. 환자 외부에서의 좌굴 검출
내시경의 좌굴은 환자 외부에서 발생할 수도 있다. 예를 들면, 좌굴은 리더 베이스와 시스 베이스 사이의 근위 리더 섹션을 따라 발생할 수도 있다. 도 13a 내지 도 13f는, 하나의 실시형태에 따른, 환자 외부에서의 내시경의 좌굴을 검출하는 예이다. 도 13a에서 도시되는 바와 같이, 센서(1340)는 리더 베이스(1310) 및 시스 베이스(1320) 둘 모두 상에 배치된다. 두 개의 센서가 송신기 수신기 쌍을 구성한다. 예를 들면, 송신기는 적외선 광 또는 가시광의 광 빔(1345)을 송신하고, 송신기와 동축인 또는 송신기에 인접하는 수신기는 광 빔(1345)을 검출한다. 송신기(1340)는 도 13a에서 도시되는 바와 같이 수신기(1343)에 대향하여 배치되거나, 또는 그 역으로 배치된다.
송신기(1340)는, 송신기와 출구 사이에 거리(1350)를 두고 리더 베이스(1310) 상의 근위 리더 섹션(1330)의 출구(1315) 주위에 배치된다. 대응하는 수신기(1343)는 수신기와 입구(1325) 사이에 동일한 거리를 두고 시스 베이스(1320) 상의 근위 리더 섹션(1330)의 입구(1325) 주위에 배치된다. 거리(1350)는 좌굴을 검출하기 위한 적절한 거리 범위를 나타내는 임계치 내에 있다. 도 13d 내지 도 13f에서 도시되는 바와 같이, 좌굴이 발생하면, 근위 리더 섹션의 좌굴된 부분이 광 빔을 완전히 또는 부분적으로 차단하고, 수신기에 의해 어떠한 광 신호도 검출되지 않거나, 또는 수신기에 의해 검출되는 광 신호가 상응하게 감소된다.
송신기 수신기 쌍은, 도 13c에서 도시되는 바와 같이, 근위 리더 섹션의 동일한 측 상에 배치될 수도 있다. 예를 들면, 송신기 수신기 쌍은 출구(1315) 주위에 배치되고, 반사기(1360)는, 송신기로부터 송신되는 광 빔을 대응하는 수신기로 반사하도록 입구(1325) 주위에 배치된다. 도 13c에서 도시되는 바와 같이, 송신기(1340)는 거리 A(1350)를 두고 배치되고 수신기(1343)는 거리 B(1355)를 두고 배치된다. 거리 A(1350) 및 B(1355)는 좌굴을 검출하기 위한 임계치 내에 있다. 좌굴이 발생하면, 근위 리더 섹션의 좌굴된 부분은 광 빔을 완전히 또는 부분적으로 차단하고, 어떠한 광 신호도 수신기에 의해 검출되지 않거나, 또는 수신기에 의해 검출되는 광 신호가 상응하게 감소된다.
상이한 방향에서 좌굴을 검출하기 위해, 하나보다 많은 세트의 송신기 수신기 쌍이 사용될 수도 있다. 예를 들면, 다수의 송신기가, 각각의 송신기와 출구(1315) 사이의 출구(1315) 주위에 배치된다. 다수의 송신기 수신기 쌍은 서로 평행한 광 빔을 생성하도록 분배될 수도 있거나, 또는 그들은 내시경 주위의 원통형 표면 영역을 더 잘 포함하기 위해 교차된 광 빔을 생성하도록 분배될 수도 있다. 몇몇 실시형태에서, 송신된 광 빔은, 레이저 빔과 같은 집광된 광이며, 그들이 또한 본질적으로 분산될 수도 있고 방출되는 광의 타입을 수신하도록 구성되는 수신기와 매치될 수 있는 방식.
도 14는, 하나의 실시형태에 따른, 송신기 수신기 쌍을 사용하여 환자 외부에서의 좌굴을 검출하기 위한 프로세스(1400)의 플로우차트이다. 수술용 로봇 시스템의 컨트롤러, 예를 들면, 도 1에서 도시되는 수술용 로봇 시스템(100)의 컨트롤러(120)는 좌굴을 검출하기 위해 프로세스(1400)를 사용한다. 프로세스(1400)는 몇몇 실시형태에서 도 14와 연계하여 설명되는 것과는 상이한 또는 추가적인 단계를 포함할 수도 있거나, 또는 도 14와 연계하여 설명되는 순서와는 상이한 순서로 단계를 수행할 수도 있다.
컨트롤러(120)는, 외과적 처치를 위해 내시경(118)을 이동시키기 위해, 수술용 로봇 시스템(100)으로부터의 하나 이상의 커맨드를 하나 이상의 액추에이터, 예를 들면, 도 13a 내지 도 13f에서 도시되는 시스 베이스(1320) 및 리더 베이스(1310)로 제공한다(1410).
컨트롤러(120)는 환자 외부에서 내시경의 길이를 따라 배치되는 적어도 하나의 송신기 수신기 쌍으로부터 생성되는 수신기 데이터를 수신하는데(1420), 송신기 수신기 쌍은 송신기로부터 수신기로 광 빔을 송신하도록 구성되고, 수신기 데이터는 수신기가 송신기로부터 송신되는 광 빔을 수신했는지의 여부를 나타낸다. 예를 들면, 도 13b 및 도 13d 내지 도 13f에서 도시되는 바와 같이 송신기는 시스 베이스 상에 배치되고 수신기는 리더 베이스 상에 배치된다.
송신기로부터의 광이 차단되었다는 것을 나타내는 수신기 데이터에 응답하여, 컨트롤러(120)는 내시경이 좌굴되었다는 것을 결정한다(1430).
광학 센서를 사용하는 대신, 대안적인 구현예에서, 환자 외부에서의 좌굴을 검출하기 위해, 시스 베이스 상의 입구 주위의 센서 영역에 하나 이상의 힘 센서가 배치될 수 있다. 도 15는, 하나의 실시형태에 따른, 환자 외부에서의 내시경의 좌굴을 검출하는 다른 예를 예시한다. 도 15에서 도시되는 바와 같이, 리더 베이스(1520)의 연결부(1525) 주위에 위치되는 센서 영역(1540)은 근위 리더 섹션(1530)과 접촉한다. 근위 리더 섹션을 따라 좌굴이 발생하면, 센서와 근위 리더 섹션의 접촉 부분 사이의 힘이 증가된다. 센서는 근위 리더 섹션(1530)과 강하게 연결되는 변형 게이지 또는 로드 셀을 포함한다. 변형 구성의 예는, 2014년 11월 14일자로 출원되고, 미국 특허 공개 공보 제2015/0119638호로서 공개된, 발명의 명칭이 "INSTRUMENT DEVICE MANIPULATOR WITH TENSION SENSING APPARATUS"인 미국 특허 출원 제14/542,403호에서 설명되는데, 이 특허 출원의 전체 개시는 참조에 의해 본원에 통합된다.
III. 다른 좌굴 고려 사항
컨트롤러(120)는 내시경이 좌굴되었다는 것을 나타내는 유저에 대한 피드백을 생성하고 그 피드백을 유저에게 제공한다. 예를 들면, 컨트롤러(120)는 내시경이 좌굴되었다는 것을 나타내는 메시지 또는 경고를 생성한다. 이 메시지 또는 경고는 그래픽 유저 인터페이스(GUI), 예를 들면, 동작을 제어하기 위해 오퍼레이터에 의해 사용되고 있는 하나 이상의 모니터 상에서 디스플레이를 위해 제공될 수도 있다. 컨트롤러(120)는 또한 유저에게 권고를 생성할 수 있다. 이를 행하기 위해, 컨트롤러(120)는 내시경을 이동시키기 위한 커맨드에 대한 하나 이상의 수정을 결정한다. 수정은 적어도 부분적으로 센서 데이터에 기초한다. 예를 들면, 컨트롤러(120)는 커맨드를 조정하여 내시경의 좌굴된 부분을 평활하게 할 수도 있다. 커맨드의 예는, 내시경을 후방으로 이동시키는 것, 팁의 움직임을 조정하는 것, IDM에 의해 제공되는 삽입력을 조정하는 것, 내시경의 움직임을 조정하는 다른 적절한 커맨드, 내시경의 움직임을 정지시키는 것, 또는 이들의 어떤 조합을 포함한다.
비록 상기의 설명이 리더에 초점을 맞추는 예와 관련하여 일반적으로 설명되지만, 관강 내 좌굴은 또한 시스를 따라 발생할 수도 있다. 리더에 대해 상기에서 설명되는 것과 유사한 방법이 시스에 또한 적용될 수 있다. 예를 들면, 제1 센서 영역은 내시경의 팁 또는 시스의 단부 주위의 작은 영역일 수 있다. 제2 센서 영역은 시스의 일부일 수 있다. 제3 센서 영역은 생략될 수도 있거나, 또는 제2 영역보다 시스 팁으로부터 더 멀리 위치되는 시스를 따르는 다른 영역으로서 해석될 수도 있다.
IV. 적응적 삽입력 임계치를 사용한 내시경 삽입
앞서 언급된 바와 같이, 수술용 로봇 시스템(100)은 외과적 처치를 위해 환자 내부의 내시경(118)을 제어하기 위해 하나 이상의 로봇 암(102)을 사용한다. 로봇 암은 내시경을 삽입하여 수술 부위로 전진시키기 위해 삽입력을 인가한다. 내시경이 진행됨에 따라, 내시경을 더 진행시키는 데 필요한 힘은, 수술 부위의 위치, 그곳에 도달하기 위해 환자의 공동 내에서 취해지는 경로, 내시경의 사이즈, 등등을 포함하는 다양한 요인에 따라 시간 경과에 따라 변할 것이다. 대응하여, 적어도 선택되는 경로에 따라, 환자의 관강을 손상시키지 않으면서 안전하게 인가될 수도 있는 힘의 양은 달라질 것이다. 예를 들면, 환자의 단일의 폐 네트워크 내에서, 부상을 피하도록 설정될 수도 있는 단일의 힘 허용 한계(threshold limit)는 모든 엽(lobe)에 적용 가능한 것은 아니다. 일반적으로, 상엽은, 그들 영역에 진입하기 위한 내시경에서의 굴곡으로 인해, 하엽보다 더 많은 삽입력을 필요로 한다. 그러한 만큼, 한 레벨의 힘의 인가가 그 동적 임계치를 초과하는 것을 여전히 방지하면서, 수술이 안전하게 수행되는 것을 허용하기 위해서는, 동적 힘 삽입 임계치가 필요로 된다.
IV.A. 적응적 삽입력 임계치의 결정
본원에서 설명되는 바와 같이, 수술용 로봇 시스템은, 환자에게 안전하지 않은 추가 삽입을 방지하기 위해, 적응적 삽입력 임계치를 사용하여 환자의 관강 내의 상이한 위치에 대한 삽입력을 조절한다. 적응적 삽입력 임계치는 내시경 데이터 및 환자 데이터에 기초하여 결정된다.
내시경 데이터는 내비게이션 동안 내시경과 관련되는 데이터를 설명한다. 내시경 데이터의 예는, 시스와 리더 사이의 마찰력, 시스와 내부 해부학적 구조 사이의 마찰력, 리더와 내부 해부학적 구조 사이의 마찰력, 내시경의 현재 위치, 내시경의 타겟 위치, 시스의 삽입 길이, 리더의 삽입 길이, 시스와 리더 사이의 거리(예를 들면, 시스의 삽입 길이와 리더의 삽입 길이 사이의 차이, 시스의 원위 단부와 내시경의 팁 사이의 거리), 리더의 모션(예를 들면, 병진, 회전, 블렌딩, 등등), 시스의 모션(예를 들면, 병진, 회전, 블렌딩, 등등), 팁의 모션(예를 들면, 병진, 회전, 편향, 등등), 환자 내부의 조직의 일부와 팁 사이의 접촉 상호 작용(예를 들면, 접촉력), 환자 내부의 리더에 대한 힘, 환자 내부의 시스에 대한 힘, 팁에 대한 힘, 내시경의 움직임에 영향을 끼치는 다른 적절한 데이터, 또는 이들의 어떤 조합을 포함한다.
내시경 데이터는 내시경 상에 배치되는 하나 이상의 센서로부터 획득될 수 있다. 예를 들면, 내시경의 팁 상의 위치 센서 또는 이미지 센서는 내시경의 현재 위치, 및 팁의 모션을 획득할 수 있다. 팁 상의 힘 센서는 팁과 환자 내부의 조직의 일부 사이의 접촉력, 또는 팁과 접촉하는 조직 사이의 다른 타입의 힘(예를 들면, 마찰, 압력, 등등)을 획득할 수 있다. 상이한 센서 타입의 하나 이상의 센서(예를 들면, 위치 센서, 힘 센서, 형상 센서, 등등)가 리더 또는 시스의 일부 상에 배치되어, 리더 또는 시스와 관련되는 길이, 모션, 또는 상이한 타입의 힘을 검출할 수 있다. 예는 상기의 섹션 II에서 설명되어 있다.
내시경이 삽입되는 환자와 관련되는 환자 데이터가 설명된다. 환자 데이터의 예는, 의료 데이터(예를 들면, 의학적 진단, 의학적 치료, 질병, 병력(medical history), 내비게이션에 영향을 미치는 다른 적절한 의료 데이터, 또는 이들의 어떤 조합), 일반적인 정보(예를 들면, 성별, 연령, 습관, 등등), 또는 이들의 어떤 조합을 포함한다. 환자 데이터는 로봇 수술 시스템에 포함되고 로봇 수술 시스템에 의해 액세스 가능한 데이터베이스에 저장될 수도 있다.
상기에서 소개되는 바와 같이, 적응적 삽입력 임계치는 내시경 데이터 및 환자 데이터와 관련되는 함수에 의해 결정된다. 제1 실시형태에서, 적응적 삽입력 임계치는, 삽입력 임계치, 내시경 데이터 및 환자 데이터 사이의 관계와 관련되는 비선형 함수에 기초하여 결정된다. 내시경 데이터 및 환자 데이터를 입력하는 것에 의해, 함수는 삽입력 임계치를 생성한다. 제2 실시형태에서, 적응적 삽입력 임계치는 메트릭(metric)을 최적화하는 것에 기초하여 결정된다. 메트릭은 안전 범위 내에서 삽입력을 인가하는 효과를 고려한다. 안전 범위는, 삽입력이 환자 내부의 접촉 조직 또는 장기에 손상을 주지 않는 범위를 설명한다. 예를 들면, 안전 범위 내에서의 최대 삽입력을 찾기 위해 최적화 함수가 사용된다. 제3 실시형태에서, 삽입력 임계치는 머신 학습 알고리즘에 기초하여 결정된다. 예를 들면, 이전의 유사한 수술에 관한 과거의 내시경 데이터 및 환자 데이터가, 트레이닝 데이터 세트로서 머신 학습 모델 안으로 전달될 수도 있고, 삽입력 임계치를 결정하기 위한 다양한 파라미터가 생성된다. 파라미터는, 상기에서 소개되는 환자 및 내시경 데이터의 타입과 동일한 파라미터일 수도 있지만, 그러나 추가적인 파라미터 또는 상이한 파라미터가 또한 사용될 수도 있다. 몇몇 실시형태에서, 환자 데이터는 상기 실시형태에서의 기능에 대한 제약으로서 사용될 수 있다. 예를 들면, 천식 질병이 있는 환자의 경우, 기도의 벽이 염증을 일으키고 과민 반응을 나타낸다. 결과적으로, 힘 삽입 임계치는 천식이 없는 환자에 대한 것보다 더 낮은 값으로 설정될 수도 있다.
삽입력 임계치는 또한 룩업 테이블에 기초하여 결정될 수도 있다. 룩업 테이블은 다양한 특성을 갖는 복수의 삽입력 임계치를 설명하는 데이터를 포함한다. 예를 들면, 룩업 테이블은 환자의 또는 환자 그룹의 상이한 내시경의 위치와 관련되는 복수의 삽입력 임계치를 설명한다. 룩업 테이블은, 다양한 내시경 데이터 및 다양한 환자 데이터의 통계적 분석, 다양한 내시경 데이터 및 다양한 환자 데이터에 적용되는 머신 학습, 다양한 내시경 데이터 및 다양한 환자 데이터의 데이터 마이닝, 또는 임의의 다른 적절한 방법에 의해 획득될 수도 있다. 상이한 타입의 룩업 테이블은 상이한 실시형태에서 수술용 로봇 시스템에 의해 저장될 수도 있다. 컨트롤러에 의해 저장되는 룩업 테이블의 예시적인 타입은 다음을 포함한다: 내시경의 상이한 위치에 대한 삽입력 임계치의 우도의 확률 분포, 상이한 특성을 갖는 삽입력 임계치의 클러스터, 또는 다른 적절한 정보(예를 들면, 숫자, 밀도, 분류). 하나의 예에서, 룩업 테이블은 하나 이상의 로봇 수술 시스템에 의한 상이한 특성(예를 들면, 성별, 연령)을 갖는 환자의 적용으로부터 획득된다. 룩업 테이블은 환자로부터 또는 임계 수 또는 비율의 환자로부터 획득되는 삽입력 임계치의 특성을 식별할 수도 있다. 몇몇 실시형태에서, 룩업 테이블은 각각의 환자에 대해 생성된다. 환자 데이터 및 내시경 데이터에 기초하여, 삽입력 임계치가 결정될 수 있다. 몇몇 실시형태에서, 상이한 타입의 환자에 대해 룩업 테이블이 생성된다.
도 16a 내지 도 16c는, 하나의 실시형태에 따른, 상이한 환자와 함께 내시경의 상이한 위치에서 사용되는 적응적 삽입력 임계치의 예를 예시한다. 도 16a는 내시경을 수술 부위로 삽입하는 두 가지 예를 도시한다. 제1 예는, 내시경이 폐(1600)의 좌측 상엽에 위치되는 수술 부위 A(1610A) 안으로 삽입되는 것을 도시한다. 제2 예는, 내시경이 폐(1600)의 우측 하엽에 위치되는 수술 부위 B(1610B) 안으로 삽입되는 것을 도시한다. 도 16a에서 도시되는 바와 같이, 두 가지 예는 상이한 내시경 데이터를 갖는다. 예를 들면, 두 개의 예는, 내시경의 상이한 위치, 시스(1630)의 상이한 삽입 길이, 리더(1620)의 상이한 길이, 시스(1630)와 리더(1620) 사이의 상이한 거리, 내시경의 상이한 모션(예를 들면, 리더(1620A)가 리더(1620B)보다 더 많이 굴곡함), 등등을 갖는다. 상이한 내시경 데이터는 상이한 삽입력 임계치로 나타난다. 예를 들면, 제1 예는, 굴곡으로 인해 생성되는 힘(예를 들면, 토크, 마찰)을 극복하기 위해 더 많은 삽입력을 필요로 한다. 또한, 상이한 환자는 동일한 수술 부위에서 상이한 삽입력 임계치를 가질 수도 있다.
도 16b 내지 도 16c에서 도시되는 바와 같이, 상해를 방지하면서 내시경의 삽입을 허용하는 삽입력 임계치는, 이용 가능한 데이터에 기초하여 정확하게 결정될 수 있는 값이 아닐 수도 있다. 결과적으로, 시스템은, 대신, 이전에 설명된 기술 중 임의의 것에 기초하여 결정되는 사이즈를 갖는 삽입력 임계치를 결정할 수도 있다. 삽입력 임계치 범위(insertion force threshold region)는, 내시경의 위치(예를 들면, 수술 부위에 근접하는 위치)에 대해 삽입력 임계치가 안전할(즉, 환자에게 해를 끼치지 않을) 우도의 확률 분포(예를 들면, 클러스터 또는 밀도), 또는 내시경의 위치에 대한 삽입력 임계치의 통계적 데이터를 나타낸다. 몇몇 실시형태에서, 삽입력 임계치 범위는, 수술 부위로의 내비게이션 동안 복수의 가능한 위치에 대한 복수의 가능한 삽입력 임계치를 나타낸다.
도 16b 내지 도 16c는, 둘 모두 수술 부위 A(1610)와 관련되는, 제1 환자(1640)로부터의 범위(1645A)와 제2 환자(1650)로부터의 삽입력 임계치 범위(1655A), 및 제2 수술 부위(1610B)와 관련한 제1 및 제2 환자에 대한 유사한 삽입력 임계치 범위(1645B 및 1655B)를 예시한다. 이들 도면은, 유사한 수술 부위와 처치에 대한 환자 사이의 임계 영역 사이의 가능한 차이, 및 또한 유사한 처치에 대한 수술 부위 사이의 변화를 예시한다.
몇몇 실시형태에서, 수술용 로봇 시스템은 내비게이션 동안 삽입력 임계치를 능동적으로 결정한다. 몇몇 실시형태에서, 삽입력 임계치는, 로봇 사전 수술 계획 단계의 일부로서 사전 수술 모델의 상이한 부분에 대해 미리 결정되어 태깅될 수도 있다.
수술용 로봇 시스템은 삽입력을 결정된 삽입력 임계치와 비교한다. 삽입력은 수술용 로봇 시스템의 로봇 암에 커플링되는 하나 이상의 힘 센서에 의해 검출될 수 있다. 삽입력이 미리 정의된 범위 내에서 삽입력 임계치에 접근하고 있거나 또는 삽입력 임계치에 접근할 때, 수술용 로봇 시스템은 시스템 GUI를 통해 시각적 및/또는 청각적 피드백을 유저에게 전송한다. 예를 들면, 삽입력이 삽입력 임계치에 매우 가깝거나, 또는 삽입력 임계치에 접근한다는 것을 나타내는 경고. 녹색, 황색 및 적색과 같은 상이한 컬러가 사용되어 삽입력 임계치까지의 상대적인 거리를 나타낼 수도 있다. 다른 실시형태에서, 삽입력 임계치에 도달하면, 수술용 로봇 시스템은 유저에게 권고를 생성한다. 이를 행하기 위해, 수술용 로봇 시스템은 내시경을 삽입하기 위한 커맨드에 대한 하나 이상의 수정을 결정한다. 수정은 내시경 데이터 및 환자 데이터에 적어도 부분적으로 기초한다. 커맨드의 예는, 수술용 로봇 시스템으로부터의 하나 이상의 삽입력을 중단시키는 것, 삽입력을 감소시키는 것, 삽입력을 조정하는 다른 적절한 커맨드, 또는 이들의 어떤 조합을 포함한다.
IV.B. 적응적 삽입력 임계치를 사용한 내시경 삽입
도 17은, 하나의 실시형태에 따른, 적응적 삽입력 임계치를 사용하여 내시경을 삽입하기 위한 프로세스(1700)의 플로우차트이다. 수술용 로봇 시스템의 컨트롤러, 예를 들면, 도 1에서 도시되는 수술용 로봇 시스템(100)의 컨트롤러(120)는 적응적 삽입력 임계치를 사용하여 내시경을 삽입하기 위해 프로세스(1700)를 사용한다. 프로세스(1700)는 몇몇 실시형태에서 도 17과 연계하여 설명되는 것과는 상이한 또는 추가적인 단계를 포함할 수도 있거나, 또는 도 17과 연계하여 설명되는 순서와는 상이한 순서로 단계를 수행할 수도 있다.
컨트롤러(120)는 로봇 수술 시스템의 내시경으로부터 내시경 데이터를 수신하는데(1710), 내시경 데이터는 내시경의 현재 위치에 부분적으로 기초한다. 예를 들면, 컨트롤러(120)는 내시경(예를 들면, 시스, 리더, 또는 팁) 상에 배치되는 하나 이상의 센서로부터 내시경 데이터로서 센서 데이터를 획득할 수 있다.
컨트롤러(120)는 환자와 관련되는 환자 데이터에 액세스하는데(1720), 환자 데이터는 환자와 관련되는 의료 데이터에 부분적으로 기초한다. 예를 들면, 컨트롤러(120)는 로봇 수술 시스템에 저장되어 있는 환자 데이터 데이터베이스에 액세스할 수 있다. 컨트롤러(120)는 네트워크를 통해 하나 이상의 외부 데이터베이스에 액세스하는 것에 의해 환자 데이터를 획득할 수 있다.
컨트롤러(120)는 내시경 데이터 및 환자 데이터에 기초하여 적응적 삽입 임계치를 결정한다(1730). 예를 들면, 컨트롤러(120)는, 하나 이상의 함수 또는 모델, 룩업 테이블에 기초하여, 또는 삽입력 임계치 범위에 기초하여, 적응적 삽입 임계치를 결정한다.
컨트롤러(120)는, 로봇 수술 시스템의 로봇 암에 커플링되는 하나 이상의 힘 센서에 의해 검출되는 삽입력을 수신하는데(1740), 삽입력은 암에 의해 내시경에 인가된다. 예를 들면, 하나 이상의 힘 센서가, 로봇 암의 하나 이상의 암 세그먼트, 로봇 암의 하나 이상의 조인트, IMD와 로봇 암 사이의 연결부, 로봇 암의 움직임에 영향을 미치는 다른 적절한 위치, 또는 이들의 어떤 조합 상에 배치될 수 있다.
컨트롤러(120)는 삽입력을 적응적 삽입력 임계치와 비교한다(1750). 삽입력이 적응적 힘 임계치를 초과하는 것에 응답하여, 컨트롤러(120)는 로봇 수술 시스템에 내시경 커맨드 권고를 전송한다(1760). 예를 들면, 삽입력이 적응적 힘 임계치를 초과하면, 컨트롤러(120)는 삽입력이 삽입력 임계치를 초과한다는 것을 나타내는 메시지 또는 경고를 전송한다. 컨트롤러(120)는 삽입력을 조정하기 위한 커맨드에 대한 하나 이상의 수정을 결정한다.
V. 대안적인 고려 사항
본 개시의 판독시, 기술 분야의 숙련된 자는 본원에서의 개시된 원리를 통해 추가적이고 대안적인 구조적 및 기능적 설계를 여전히 인식할 것이다. 따라서, 특정한 실시형태 및 애플리케이션이 예시되고 설명되지만, 개시된 실시형태는 본원에서 개시되는 정확한 구성 및 컴포넌트로 제한되지 않는다는 것이 이해되어야 한다. 첨부된 청구범위에서 정의되는 취지 및 범위를 벗어나지 않으면서, 본원에서 개시되는 방법 및 장치의 배치, 동작 및 세부 사항에서, 기술 분야의 숙련된 자에게 명백할 다양한 수정, 변경 및 변형이 이루어질 수도 있다.
본원에서 사용될 때, "하나의 실시형태" 또는 "한 실시형태"에 대한 임의의 언급은, 실시형태와 연계하여 설명되는 특정한 엘리먼트, 피쳐, 구조, 또는 특성이 적어도 하나의 실시형태에 포함된다는 것을 의미한다. 본 명세서의 다양한 곳에서의 어구 "하나의 실시형태에서"의 출현은, 반드시 모두가 동일한 실시형태를 가리키는 것은 아니다.
몇몇 실시형태는, 표현 "커플링되는" 및 "연결되는"을 그들의 파생어와 함께 사용하여 설명될 수도 있다. 예를 들면, 몇몇 실시형태는, 두 개 이상의 엘리먼트가 직접적인 물리적 또는 전기적 접촉 상태에 있다는 것을 나타내기 위해 용어 "커플링되는"을 사용하여 설명될 수도 있다. 그러나, 용어 "커플링되는"은, 또한, 둘 이상의 엘리먼트가 서로 직접 접촉하지는 않지만, 그러나 여전히 서로 협력하거나 또는 상호 작용한다는 것을 의미할 수도 있다. 실시형태는, 달리 명시적으로 언급되지 않는 한, 이 맥락에서 제한되지는 않는다.
본원에서 사용될 때, 용어 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", "구비한다(has)", "구비하는(having)" 또는 이들의 임의의 다른 변형어는 비배타적인 포함을 포괄하도록 의도된다. 예를 들면, 엘리먼트의 목록을 포함하는 프로세스, 방법, 물품, 또는 장치는 반드시 그들 엘리먼트만으로 제한되는 것이 아니라, 이러한 프로세스, 방법, 물품, 또는 장치에 내재하는 또는 명시적으로 열거되지 않는 다른 엘리먼트를 포함할 수도 있다. 또한, 반대로 명시적으로 언급되지 않는 한, "또는"은, 배타적인 또는을 가리키는 것이 아니라 포괄적인 또는을 가리킨다. 예를 들면, 조건 A 또는 B는 다음 중 임의의 하나에 의해 충족된다: A가 참이고(또는 존재하고) B가 거짓임(또는 존재하지 않음), A가 거짓이고(또는 존재하지 않고) B가 참임(또는 존재함), 및 A와 B 둘 모두 참이다(또는 존재한다).
또한, "a(한)" 또는 "an(한)"의 사용은, 본원의 실시형태의 엘리먼트 및 컴포넌트를 설명하기 위해 활용된다. 이것은 단지 편의를 위해 그리고 본 발명의 일반적인 의미를 부여하기 위해 행해진다. 이 설명은, 하나 또는 적어도 하나를 포함하도록 판독되어야 하며, 단수는, 그것이 달리 의도된다는 것이 명백하지 않는 한, 복수를 또한 포함한다.

Claims (14)

  1. 로봇 시스템으로서,
    세장형 본체를 포함하는 의료 기구;
    상기 기구에 커플링되는 로봇 암; 및
    컨트롤러를 포함하고, 상기 컨트롤러는:
    환자 내로 상기 기구의 삽입 후에 상기 세장형 본체의 현재 위치를 나타내는 센서 데이터에 적어도 부분적으로 기초하는 기구 데이터를 상기 기구 상의 제1 센서로부터 수신하도록,
    환자 내로 상기 기구의 삽입 전에 환자와 관련되는 의료 데이터에 적어도 부분적으로 기초하는 환자와 관련된 환자 데이터에 액세스하도록,
    상기 기구 데이터 또는 상기 환자 데이터 중 적어도 하나에 기초하여 삽입력 임계치를 결정하도록,
    상기 로봇 암에 커플링되는 제 2 센서에 의해 검출되고 상기 로봇 암에 의해 상기 기구에 인가되는 삽입력을 식별하도록,
    상기 삽입력이 상기 삽입력 임계치를 초과하는 것을 결정하도록,
    상기 삽입력이 상기 삽입력 임계치를 초과한다는 결정에 기초하여 상기 세장형 본체가 좌굴되었다는 것을 결정하도록, 그리고
    상기 세장형 본체가 좌굴되었다는 결정에 응답하여, 상기 세장형 본체의 움직임을 제어하기 위해 상기 로봇 암에 제공되는 커맨드를 조절하도록 구성되는, 로봇 시스템.
  2. 제1항에 있어서,
    상기 기구 데이터는, 상기 세장형 본체와 상기 환자의 내부의 해부학적 구조 사이의 마찰력을 포함하는, 로봇 시스템.
  3. 제1항에 있어서,
    상기 기구 데이터는 상기 기구의 움직임과 관련되는 파라미터를 포함하되, 상기 파라미터는:
    상기 세장형 본체의 현재 위치;
    상기 세장형 본체의 타겟 위치;
    상기 세장형 본체의 팁의 모션; 중 적어도 하나를 포함하는, 로봇 시스템.
  4. 제1항에 있어서,
    상기 기구 데이터는 상기 세장형 본체의 일부와 관련되는 힘을 포함하되, 상기 힘은:
    상기 세장형 본체의 팁과 환자 내부의 조직의 일부 사이의 접촉 상호 작용력; 및
    상기 팁에 대한 힘; 중 적어도 하나를 포함하는, 로봇 시스템.
  5. 제1항에 있어서,
    상기 제1 센서는 상기 환자 내부에 위치되는 상기 세장형 본체의 일부에 커플링되는, 로봇 시스템.
  6. 제5항에 있어서,
    상기 제1 센서는: 위치 센서, 이미지 센서, 및 형상 센서 중 적어도 하나를 포함하는, 로봇 시스템.
  7. 제5항에 있어서,
    상기 세장형 본체는 리더와 시스를 포함하고, 상기 제1 센서는:
    상기 리더의 팁 근처의 볼륨을 커버하는 제1 영역;
    상기 환자 내부의 상기 세장형 본체의 시스의 원위 단부로부터 상기 제1 영역의 에지까지의 범위 내의 상기 리더의 부분을 커버하는 제2 영역; 또는
    상기 리더가 연장하기 시작하는 상기 시스의 원위 단부뿐만 아니라 상기 시스의 원위 단부에 근접하는 상기 시스의 부분을 커버하는 제3 영역; 중 하나를 따라 위치되는 상기 세장형 본체를 따르는 위치에서 상기 세장형 본체에 커플링되는, 로봇 시스템.
  8. 제1항에 있어서,
    상기 삽입력 임계치를 결정하는 것은, 상기 기구 데이터 및 환자 데이터와 관련되는 함수에 기초하는, 로봇 시스템.
  9. 제1항에 있어서,
    상기 삽입력 임계치를 결정하는 것은, 상기 기구 데이터 및 환자 데이터와 관련되는 룩업 데이터에 기초하는, 로봇 시스템.
  10. 제1항에 있어서,
    상기 삽입력 임계치를 결정하는 것은, 메트릭을 최적화하는 것에 기초하는, 로봇 시스템.
  11. 제1항에 있어서,
    상기 삽입력 임계치를 결정하는 것은, 상기 기구 데이터 및 환자 데이터를 갖는 머신 학습 알고리즘에 기초하는, 로봇 시스템.
  12. 제1항에 있어서,
    상기 삽입력 임계치는, 로봇 사전 수술 계획 단계의 일부로서 사전 수술 모델의 상이한 부분에 대해 미리 결정되어 태깅되는, 로봇 시스템.
  13. 제1항에 있어서,
    상기 컨트롤러는 또한 권고 신호를 상기 로봇 시스템으로 전송하도록 구성되되, 상기 권고 신호의 전송은:
    상기 삽입력이 미리 정의된 범위 내에서 상기 삽입력 임계치에 접근하는 것에 응답하여, 상기 권고 신호를 상기 로봇 시스템으로 전송하는 것;
    시각적 피드백을 유저에게 전송하는 것;
    청각적 피드백을 유저에게 전송하는 것; 및
    상기 세장형 본체를 이동시키기 위한 커맨드에 대한 하나 이상의 수정을 결정하는 것; 중 적어도 하나를 포함하는, 로봇 시스템.
  14. 제13항에 있어서,
    상기 시각적 피드백을 유저에게 전송하는 것은, 상기 삽입력이 상기 미리 정의된 범위 내에서 상기 삽입력 임계치에 접근하는 것에 응답하여, 상기 시각적 피드백을 상기 유저에게 전송하는 것을 더 포함하고,
    상기 청각적 피드백을 유저에게 전송하는 것은, 상기 삽입력이 상기 미리 정의된 범위 내에서 상기 삽입력 임계치에 접근하는 것에 응답하여, 상기 청각적 피드백을 상기 유저에게 전송하는 것을 더 포함하는, 로봇 시스템.
KR1020237017365A 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치 KR102619317B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US15/392,868 2016-12-28
US15/392,917 US10244926B2 (en) 2016-12-28 2016-12-28 Detecting endolumenal buckling of flexible instruments
US15/392,868 US10543048B2 (en) 2016-12-28 2016-12-28 Flexible instrument insertion using an adaptive insertion force threshold
US15/392,917 2016-12-28
KR1020187028120A KR102536940B1 (ko) 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치
PCT/US2017/068535 WO2018125917A1 (en) 2016-12-28 2017-12-27 Apparatus for flexible instrument insertion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028120A Division KR102536940B1 (ko) 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치

Publications (2)

Publication Number Publication Date
KR20230082051A true KR20230082051A (ko) 2023-06-08
KR102619317B1 KR102619317B1 (ko) 2024-01-03

Family

ID=61054492

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237017365A KR102619317B1 (ko) 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치
KR1020187028120A KR102536940B1 (ko) 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187028120A KR102536940B1 (ko) 2016-12-28 2017-12-27 가요성 기구 삽입을 위한 장치

Country Status (6)

Country Link
EP (1) EP3562423A1 (ko)
JP (2) JP7258755B2 (ko)
KR (2) KR102619317B1 (ko)
CN (1) CN108882966B (ko)
AU (1) AU2017388217B2 (ko)
WO (1) WO2018125917A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
US10872449B2 (en) 2018-05-02 2020-12-22 Covidien Lp System and method for constructing virtual radial ultrasound images from CT data and performing a surgical navigation procedure using virtual ultrasound images
US20210307845A1 (en) * 2018-09-11 2021-10-07 Intuitive Surgical Operations, Inc. Generation of graphical representation of force
US10383694B1 (en) 2018-09-12 2019-08-20 Johnson & Johnson Innovation—Jjdc, Inc. Machine-learning-based visual-haptic feedback system for robotic surgical platforms
CN112804960A (zh) * 2018-10-04 2021-05-14 直观外科手术操作公司 用于控制可转向装置的系统和方法
US11497566B2 (en) * 2018-10-26 2022-11-15 Biosense Webster (Israel) Ltd. Loose mode for robot
US11161244B2 (en) * 2019-01-22 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for automatic error recovery in robotic assembly
CN113613542A (zh) * 2019-01-24 2021-11-05 诺亚医疗集团公司 具有集成视觉能力的一次性装置
US20220125515A1 (en) * 2019-02-05 2022-04-28 Smith & Nephew, Inc. Methods for improved surgical planning using machine learning and devices thereof
CN110940301B (zh) * 2019-11-28 2021-06-01 杭州电子科技大学 关节式坐标测量机的实时主动力矩补偿型平衡方法
CN111086004B (zh) * 2020-01-08 2022-09-13 山东理工大学 一种仿人柔性关节手臂机电耦合建模方法
CN111281544B (zh) * 2020-02-26 2023-05-12 陕西中医药大学 体内医疗器械自动引导机器人系统及其自动引导方法
CN111568558B (zh) * 2020-04-13 2022-02-22 上海市胸科医院 电子设备、手术机器人系统及其控制方法
DE102020205091A1 (de) * 2020-04-22 2021-10-28 Siemens Healthcare Gmbh Verfahren zum Erzeugen eines Steuersignals
US11701492B2 (en) 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
DE102020211999A1 (de) * 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Bewegen eines medizinischen Objekts und Verfahren zum Bereitstellen eines Signals
WO2022096624A1 (en) * 2020-11-06 2022-05-12 Universität Basel Endodevice
CN113100943B (zh) * 2020-12-31 2023-05-23 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN116963690A (zh) * 2021-02-17 2023-10-27 奥瑞斯健康公司 器械进送器装置的接合控制
CN113786238B (zh) * 2021-11-17 2022-02-08 极限人工智能有限公司 一种手术器械操作应力感知方法及系统
WO2023163037A1 (ja) * 2022-02-28 2023-08-31 キヤノン株式会社 カテーテル装置を備えた医療システム
CN114886571B (zh) * 2022-05-05 2022-12-16 北京唯迈医疗设备有限公司 一种介入手术机器人的控制方法和系统
CN116871709B (zh) * 2023-09-08 2023-12-08 常州市鹏瑞自动化设备有限公司 激光切割异形圆管件的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033128A (ko) * 2011-05-13 2014-03-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템
JP2015505507A (ja) * 2012-02-03 2015-02-23 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 埋め込み型形状感知機能を有する操縦可能な可撓性針
US20150297864A1 (en) * 2014-04-21 2015-10-22 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
KR20150132145A (ko) * 2013-03-15 2015-11-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재적 기기의 추적을 위한 형상 센서 시스템 및 사용 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272371B1 (en) * 1997-01-03 2001-08-07 Biosense Inc. Bend-responsive catheter
US6780197B2 (en) * 2000-01-05 2004-08-24 Integrated Vascular Systems, Inc. Apparatus and methods for delivering a vascular closure device to a body lumen
US8226580B2 (en) * 2010-06-30 2012-07-24 Biosense Webster (Israel), Ltd. Pressure sensing for a multi-arm catheter
EP2532299B1 (en) * 2010-09-14 2014-11-05 Olympus Medical Systems Corp. Endoscope system and low visibility determining method
JP2014134530A (ja) * 2012-12-14 2014-07-24 Panasonic Corp 力計測装置、力計測方法、力計測プログラム、力計測用集積電子回路、並びに、マスタースレーブ装置
JP6037964B2 (ja) * 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
KR102332023B1 (ko) 2013-10-24 2021-12-01 아우리스 헬스, 인크. 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법
JP7167035B2 (ja) * 2016-09-21 2022-11-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 器具座屈検出のためのシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033128A (ko) * 2011-05-13 2014-03-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템
JP2015505507A (ja) * 2012-02-03 2015-02-23 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 埋め込み型形状感知機能を有する操縦可能な可撓性針
KR20150132145A (ko) * 2013-03-15 2015-11-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재적 기기의 추적을 위한 형상 센서 시스템 및 사용 방법
US20150297864A1 (en) * 2014-04-21 2015-10-22 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems

Also Published As

Publication number Publication date
CN108882966A (zh) 2018-11-23
KR102619317B1 (ko) 2024-01-03
KR20190101860A (ko) 2019-09-02
AU2017388217A1 (en) 2019-05-02
EP3562423A1 (en) 2019-11-06
AU2017388217B2 (en) 2022-10-27
KR102536940B1 (ko) 2023-05-30
WO2018125917A1 (en) 2018-07-05
WO2018125917A8 (en) 2018-10-11
CN108882966B (zh) 2022-04-12
JP2023103211A (ja) 2023-07-26
JP7258755B2 (ja) 2023-04-17
JP2020513904A (ja) 2020-05-21
JP7427829B2 (ja) 2024-02-05

Similar Documents

Publication Publication Date Title
KR102536940B1 (ko) 가요성 기구 삽입을 위한 장치
US11771309B2 (en) Detecting endolumenal buckling of flexible instruments
US20200268459A1 (en) Flexible instrument insertion using an adaptive insertion force threshold
US11712154B2 (en) Automated calibration of surgical instruments with pull wires
US11759090B2 (en) Image-based airway analysis and mapping
US11141048B2 (en) Automated endoscope calibration
AU2018347464B2 (en) Image-based branch detection and mapping for navigation
US11944422B2 (en) Image reliability determination for instrument localization
EP4312856A1 (en) Vision-based 6dof camera pose estimation in bronchoscopy

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant