KR20200023639A - 관강 네트워크에서 의료 디바이스의 포즈를 결정하기 위한 로봇 시스템 - Google Patents

관강 네트워크에서 의료 디바이스의 포즈를 결정하기 위한 로봇 시스템 Download PDF

Info

Publication number
KR20200023639A
KR20200023639A KR1020207002269A KR20207002269A KR20200023639A KR 20200023639 A KR20200023639 A KR 20200023639A KR 1020207002269 A KR1020207002269 A KR 1020207002269A KR 20207002269 A KR20207002269 A KR 20207002269A KR 20200023639 A KR20200023639 A KR 20200023639A
Authority
KR
South Korea
Prior art keywords
virtual
depth map
lumen network
instrument
depth
Prior art date
Application number
KR1020207002269A
Other languages
English (en)
Other versions
KR102582808B1 (ko
Inventor
리트윅 움말라네니
Original Assignee
아우리스 헬스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우리스 헬스, 인코포레이티드 filed Critical 아우리스 헬스, 인코포레이티드
Publication of KR20200023639A publication Critical patent/KR20200023639A/ko
Application granted granted Critical
Publication of KR102582808B1 publication Critical patent/KR102582808B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00154—Holding or positioning arrangements using guiding arrangements for insertion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A61B6/0457—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0487—Motor-assisted positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477—Coupling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/10—Safety means specially adapted therefor
    • A61B6/102—Protection against mechanical damage, e.g. anti-collision devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

소정의 양태는 내비게이션 지원 의료 디바이스에 대한 시스템 및 기술에 관한 것이다. 몇몇 양태는, 관강 네트워크 내에서의 의료 디바이스의 포즈의 양태를 자동적으로 결정하기 위해, 해부학적 관강 네트워크의 캡쳐된 이미지에 기초하여 생성되는 깊이 정보의 피쳐를, 해부학적 관강 네트워크의 가상 표현의 가상 이미지에 기초하여 생성되는 깊이 정보의 가상 피쳐와 상관시키는 것에 관련된다.

Description

관강 네트워크에서 의료 디바이스의 포즈를 결정하기 위한 로봇 시스템
관련 출원(들)에 대한 교차 참조
본 출원은 2017년 6월 23일자로 출원된 발명의 명칭이 "AUTOMATICALLY-INITIALIZED ROBOTIC SYSTEMS FOR NAVIGATION OF LUMINAL NETWORKS"인 미국 특허 가출원 제15/631,691호의 이익을 주장하는데, 상기 가출원의 내용은 참조에 의해 그들 전체가 본원에 통합된다.
기술 분야
본원에서 개시되는 시스템 및 방법은 의료 프로시져에 관한 것으로, 더 상세하게는, 내비게이션 지원 의료 디바이스(navigation-assisted medical device)에 관한 것이다.
내시경 검사(endoscopy)(예를 들면, 기관지경 검사(bronchoscopy))와 같은 의학적 프로시져는 진단 및/또는 치료 목적을 위해 환자의 관강(lumen)(예를 들면, 기도(airway)) 내부에 액세스하여 시각화하는 것을 수반할 수도 있다. 프로시져 동안, 예를 들면, 내시경과 같은 가요성 관형 도구가 환자의 신체 안으로 삽입될 수도 있고, 기구(instrument)가 내시경을 통해 진단 및/또는 치료를 위해 식별되는 조직 부위로 전달될 수 있다.
기관지경 검사는, 의사(physician)가 기관지(bronchus) 및 세기관지(bronchiole)와 같은 환자의 폐기도의 내부 상태를 검사하는 것을 허용하는 의학적 프로시져이다. 의학적 프로시져 동안, 기관지경으로 공지되어 있는 얇은 가요성 관형 도구가 환자의 입 안으로 삽입되어, 후속하는 진단 및 치료를 위해 식별되는 조직 부위를 향해 환자의 목 아래로 그리고 그의/그녀의 폐기도 안으로 지나갈 수도 있다. 기관지경은 조직 부위까지의 통로를 제공하는 내부 관강(lumen)("작업 채널")을 가질 수 있고, 카테터 및 다양한 의료 도구가 작업 채널을 통해 조직 부위로 삽입될 수 있다.
내시경 검사 내비게이션 시스템(endoscopy navigation system)은, 예를 들면, 적응적으로 조정된 확률을 통해 모델링되는 상이한 감지 모달리티(modality)(예를 들면, 스코프 이미징 데이터, 전자기(electromagnetic; EM) 위치 데이터, 로봇 위치 데이터, 등등)의 융합을 사용할 수 있다. 확률적인 내비게이션 접근법(probabilistic navigation approach) 또는 다른 내비게이션 접근법은, 내시경의 끝의 추적을 시작하기 위해, 내시경의 끝이 있는 "곳"의 초기 추정치 - 예를 들면, 어떤 기도, 이 기도 안으로 얼마나 깊이, 및 이 기도에서의 얼마나 많은 롤(roll)의 추정치 - 에 의존할 수도 있다. 몇몇 내시경 검사 기술은 환자의 해부학적 구조의 삼차원(three-dimensional; 3D) 모델을 수반할 수 있으며, EM 필드 및 위치 센서를 사용하여 내비게이션을 안내할 수 있다. 프로시져의 시작에서, 3D 모델의 가상 공간, 3D 모델에 의해 표현되는 환자의 해부학적 구조의 물리적 공간, 및 EM 필드 사이의 정확한 정렬(예를 들면, 위치 맞춤(registration))은 알려지지 않을 수도 있다. 이와 같이, 위치 맞춤을 생성하기 이전에 또는 현존하는 위치 맞춤의 정확도에 의문이 있는 상황에서, 환자의 해부학적 구조 내에서의 내시경 위치는 3D 모델 내의 대응하는 위치에 정확하게 매핑될 수 없다.
통상적으로, 내비게이션 시스템은, 이 초기 추정치를 생성하기 위해, 의사가 일련의 초기화 단계를 받게 되는 것을 요구한다. 이것은, 예를 들면, 의사에게, (예를 들면, 메인 카리나(carina), 좌측 카리나 및 우측 카리나를 터치하는 것에 의해) 기관지 수상구조(bronchial tree) 내의 랜드마크(들)와 관련되는 다수의 특정한 위치 및 방위에 기관지경을 배치할 것을 지시하는 것을 수반할 수 있다. 다른 옵션은, 의사에게, 초기 기도 조사를 수행할 것을, 예를 들면, 중간 기관(mid-trachea)에서 시작하여 각각의 기도 내에서 기관지경 팁의 중심 위치를 유지하려고 시도하면서 각각의 폐엽(lobe)에 진입할 것을 요구한다.
그러한 초기화 단계는 내시경 위치의 초기 추정치를 제공할 수 있지만; 그러나, 그러한 접근법은 프로시져의 시작에 추가적인 시간 요건을 추가하는 것을 비롯한 여러 가지 잠재적인 단점을 가질 수도 있다. 다른 잠재적인 단점은, 초기화가 완료되고 추적이 발생한 이후, 이상 반응(adverse event)(예를 들면, 환자 기침, 동적 기도 붕괴)이 내시경의 실제 위치에 대한 불확실성을 생성할 수도 있다는 사실에 관련된다. 이것은 새로운 "초기" 위치의 결정을 필요로 할 수 있고, 따라서, 내비게이션 시스템은, 의사에게, 기관으로 다시 내비게이팅하여 초기화 단계를 재수행할 것을 요구할 수도 있다. 그러한 백트래킹(backtracking)은, 내시경이 더 작은 주변 기도를 통해 목표 부위를 향해 내비게이팅한 이후 이상 반응이 발생하는 경우 특히 부담이 될 수 있는 추가적인 시간 요건을 추가한다.
전술한 문제는, 다른 것들 중에서도, 본원에서 설명되는 관강 네트워크 내비게이션(luminal network navigation) 시스템 및 기술에 의해 다루어진다. 개시된 기술은 환자의 해부학적 관강 네트워크(anatomical luminal network)를 나타내는 가상의 관강 네트워크의 3D 모델을 생성할 수 있고 가상 카메라를 배치할 가상의 관강 네트워크 내의 다수의 위치를 결정할 수 있다. 개시된 기술은 가상의 관강 네트워크의 내부 표면과 결정된 위치에 배치되는 가상 카메라 사이의 거리를 나타내는 가상 깊이 맵을 생성할 수 있다. 가상 깊이 맵이 기도 분기점(airway bifurcation)을 나타내는 경우, 이들 가상 깊이 맵으로부터 피쳐, 예를 들면, 피크 대 피크 거리가 추출될 수 있고, 추출된 피쳐는 가상 카메라의 위치와 관련하여 저장될 수 있다. 의료 프로시져 동안, 내시경의 원위 단부(distal end)는 이미징 디바이스를 제공받을 수 있고, 개시된 내비게이션 기술은 이미징 디바이스로부터 수신되는 이미지 데이터에 기초하여 깊이 맵을 생성할 수 있다. 개시된 기술은 생성된 깊이 맵으로부터 피쳐를 유도하고, 가상 깊이 맵 중 하나로부터 추출되는 저장된 피쳐와의 추출된 피쳐 사이의 대응성(correspondence)을 계산하고, 그 다음, 관련된 가상 카메라 위치를 기구의 원위 단부의 초기 위치로서 사용할 수 있다. 유익하게도, 그러한 기술은, 확률론적 내비게이션 시스템(또는 다른 내비게이션 시스템)이, 상기에서 설명되는 수동의 초기화 단계를 요구하지 않으면서, 스코프 위치의 초기 추정치를 획득하는 것을 허용한다. 또한, 개시된 기술은 프로시져 전체에 걸쳐 위치 맞춤을 개선하기 위해 사용될 수 있고, 몇몇 실시형태에서, 관강 네트워크를 통해 랜드마크 해부학적 피쳐로의 역내비게이션(navigation back)을 요구하지 않고도 이상 반응 이후 추가적인 "초기 추정치"를 제공할 수 있다.
따라서, 하나의 양태는 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법에 관한 것으로, 하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 그 방법은, 해부학적 관강 네트워크 내에 배치되는 기구의 원위 단부에 있는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하는 것; 해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것; 이미징 데이터로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하는 것; 및 가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈를 결정하는 것을 포함한다.
몇몇 실시형태에서, 방법은 이미징 데이터에 기초하여 깊이 맵을 생성하는 것을 더 포함하되, 가상 피쳐는 가상 이미지와 관련되는 가상 깊이 맵으로부터 유도되고, 대응성을 계산하는 것은, 깊이 맵의 하나 이상의 피쳐 및 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초한다.
몇몇 실시형태에서, 방법은, 이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 픽셀에 대응하는 해부학적 관강 네트워크 내에서 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 깊이 맵을 생성하는 것; 깊이 맵에서 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 깊이 맵에서 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하는 것; 제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하는 것; 가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 가상 이미징 디바이스와 가상 픽셀에 의해 표현되는 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것은, 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2 값에 액세스하는 것을 포함함; 및 제1 값을 제2 값의 비교하는 것에 기초하여 대응성을 계산하는 것을 더 포함한다.
몇몇 실시형태에서, 방법은, 가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하는 것; 및 복수의 값 중 다른 값보다 제1 값에 더욱 밀접하게 대응하는 제2 값에 기초하여 대응성을 계산하는 것을 더 포함한다. 몇몇 실시형태에서, 해부학적 관강 네트워크는 기도를 포함하고, 이미징 데이터는 기도의 분기점을 묘사하고, 방법은, 제1 및 제2 깊이 기준 중 하나를, 깊이 맵 및 가상 깊이 맵의 각각에서의 우측 기관지로서 식별하는 것; 및 깊이 맵에서의 우측 기관지의 제1 위치와 가상 깊이 맵에서의 우측 기관지의 제2 위치 사이의 각도 거리(angular distance)에 기초하여 기구의 롤을 결정하는 것 - 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈는 결정된 롤을 포함함 - 을 더 포함한다.
몇몇 실시형태에서, 방법은, 깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하는 것; 깊이 맵 및 가상 깊이 맵의 각각에서 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하는 것; 및 깊이 맵의 다각형의 형상 및 위치를 가상 깊이 맵의 다각형의 형상 및 위치에 비교하는 것에 기초하여 대응성을 계산하는 것을 더 포함한다. 몇몇 실시형태에서, 깊이 맵을 생성하는 것은 광경사법(photoclinometry)에 기초한다.
몇몇 실시형태에서, 방법은, 위치를 포함하는 복수의 입력에 기초하여 해부학적 관강 네트워크 내에서의 기구의 확률론적 상태(probabilistic state)를 계산하는 것; 및 확률론적 상태에 적어도 부분적으로 기초하여 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하는 것을 더 포함한다. 몇몇 실시형태에서, 방법은, 확률론적 상태를 계산하고 확률론적 상태에 기초하여 해부학적 관강 네트워크의 내비게이션을 안내하도록 구성되는 내비게이션 시스템을 초기화하는 것을 더 포함하되, 내비게이션 시스템의 초기화는 위치에 기초하여 확률 계산기의 사전 분포(prior)를 설정하는 것을 포함한다. 몇몇 실시형태에서, 방법은, 기구의 원위 단부의 업데이트된 포즈를 나타내는 추가 데이터를 수신하는 것; 추가 데이터에 기초하여 확률 계산기의 우도 함수(likelihood function)를 설정하는 것; 및 사전 분포 및 우도 함수에 기초하여 확률 계산기를 사용하여 확률론적 상태를 결정하는 것을 더 포함한다.
몇몇 실시형태에서, 방법은, 확률론적 상태를 계산하도록 구성되는 내비게이션 시스템에 복수의 입력 - 제1 입력은 기구의 원위 단부의 포즈를 포함하고 적어도 하나의 추가 입력은 기구의 움직임을 작동시키는 로봇 시스템으로부터의 로봇 위치 데이터 및 기구의 원위 단부에서 위치 센서로부터 수신되는 데이터 중 하나 또는 둘 모두를 포함함 - 을 제공하는 것; 및 제1 입력 및 적어도 하나의 추가 입력에 기초하여 기구의 확률론적 상태를 계산하는 것을 더 포함한다.
몇몇 실시형태에서, 방법은, 계산된 대응성에 기초하여 결정되는 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈에 적어도 부분적으로 기초하여 해부학적 관강 네트워크 주위에서 생성되는 전자기장의 좌표 프레임과 가상의 관강 네트워크의 좌표 프레임 사이의 위치 맞춤을 결정하는 것을 더 포함한다. 몇몇 실시형태에서, 위치를 결정하는 것은, 기구의 원위 단부가 해부학적 관강 네트워크의 세그먼트 내에서 전진되는 거리를 결정하는 것을 포함한다.
다른 양태는 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템에 관한 것으로, 시스템은, 기구의 원위 단부에 있는 이미징 디바이스; 실행 가능 명령어가 저장된 적어도 하나의 컴퓨터 판독 가능 메모리; 및 적어도 하나의 컴퓨터 판독 가능 메모리와 통신하며, 시스템으로 하여금 적어도, 해부학적 관강 네트워크 내에 배치되는 기구의 원위 단부를 갖는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하게 하는; 해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하게 하는; 이미징 데이터로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하게 하는; 그리고 가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구류(instrument relative)의 원위 단부의 포즈를 결정하게 하는 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함한다.
몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 이미징 데이터에 기초하여 깊이 맵을 생성하게 하는 - 가상 이미지는 가상 깊이 맵을 나타냄 - ; 그리고 깊이 맵의 하나 이상의 피쳐와 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초하여 대응성을 결정하게 하는 명령어를 실행하도록 구성된다. 몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 픽셀에 대응하는 해부학적 관강 네트워크 내에서 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 깊이 맵을 생성하게 하는; 깊이 맵에서 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 깊이 맵에서 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하게 하는; 제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하게 하는; 가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 가상 이미징 디바이스와 가상 픽셀에 의해 표현되는 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 가상 이미지로부터 유도되는 피쳐는 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2 값을 포함함; 및 제1 값을 제2 값의 비교하는 것에 기초하여 대응성을 결정하게 하는 명령어를 실행하도록 구성된다.
몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하게 하는; 그리고 복수의 값 중 다른 값보다 제1 값에 더욱 밀접하게 대응하는 제2 값에 기초하여 대응성을 계산하고 복수의 값 중 제1 값에 가장 가까운 매치로서 제2 값을 식별하게 하는 명령어를 실행하도록 구성된다. 몇몇 실시형태에서, 해부학적 관강 네트워크는 기도를 포함하고, 이미징 데이터는 기도의 분기점을 묘사하고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 제1 및 제2 깊이 기준 중 하나를, 깊이 맵 및 가상 깊이 맵의 각각에서 우측 기관지로서 식별하게 하는; 그리고 깊이 맵에서의 우측 기관지의 제1 위치와 가상 깊이 맵에서의 우측 기관지의 제2 위치 사이의 각도 거리에 기초하여 기구의 롤을 결정하게 하는 명령어를 실행하도록 구성되되, 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈는 결정된 롤을 포함한다.
몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하게 하는; 깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하는; 그리고 깊이 맵의 다각형의 형상 및 위치를, 가상 깊이 맵의 다각형의 형상 및 위치에 비교하는 것에 기초하여 대응성을 계산하게 하는 명령어를 실행하도록 구성된다. 몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 광경사법에 기초하여 깊이 맵을 생성하게 하는 명령어를 실행하도록 구성된다.
몇몇 실시형태에서, 하나 이상의 프로세서는 내비게이션 시스템과 통신하도록 구성되고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치를 포함하는 복수의 입력에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 해부학적 관강 네트워크 내에서의 기구의 확률론적 상태를 계산하게 하는; 그리고 내비게이션 시스템에 의해 계산되는 확률론적 상태에 적어도 부분적으로 기초하여 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하게 하는 명령어를 실행하도록 구성된다. 시스템의 몇몇 실시형태는 내비게이션 동안 기구의 움직임을 안내하도록 구성되는 로봇 시스템을 더 포함한다. 몇몇 실시형태에서, 복수의 입력은, 로봇 시스템으로부터 수신되는 로봇 위치 데이터를 포함하고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 그리고 로봇 위치 데이터에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 기구의 확률론적 상태를 계산하게 하는 명령어를 실행하도록 구성된다. 시스템의 몇몇 실시형태는 기구의 원위 단부에서 위치 센서를 더 포함하고, 복수의 입력은 위치 센서로부터 수신되는 데이터를 포함하며, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 그리고 위치 센서로부터 수신되는 데이터에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 기구의 확률론적 상태를 계산하게 하는 명령어를 실행하도록 구성된다. 몇몇 실시형태에서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 적어도 부분적으로 기초하여 해부학적 관강 네트워크 주위에서 생성되는 전자기장의 좌표 프레임과 가상의 관강 네트워크의 좌표 프레임 사이의 위치 맞춤을 결정하게 하는 명령어를 실행하도록 구성된다.
다른 양태는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것으로, 상기 명령어는, 실행시 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:실행시 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 환자의 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델에 액세스하게 하고; 가상의 삼차원 모델 내의 복수의 가상 위치를 식별하게 하고; 가상의 삼차원 모델 내의 복수의 가상 위치의 각각의 가상 위치에 대해, 가상 위치에 배치되는 가상 이미징 디바이스와 가상 위치에 배치될 때 가상 이미징 디바이스의 시야(field of view) 내의 내부 표면의 일부분 사이의 가상 거리를 나타내는 가상 깊이 맵을 생성하게 하고, 그리고 가상 깊이 맵으로부터 적어도 하나의 가상 피쳐를 유도하게 하고; 그리고 복수의 가상 위치를, 대응하는 가상 깊이 맵으로부터 유도되는 적어도 하나의 가상 피쳐와 관련시키는 데이터베이스를 생성하게 한다.
몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 의료 프로시져 동안 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하도록 구성되는 내비게이션 시스템에 데이터베이스를 제공하게 한다. 몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 기구의 원위 단부에 배치되는 이미징 디바이스를 나타내는 데이터에 액세스하게 하고; 이미징 디바이스의 이미지 캡쳐 파라미터를 식별하게 하고; 그리고 이미징 디바이스의 이미지 캡쳐 파라미터에 대응하도록 가상 이미징 디바이스의 가상 이미지 캡쳐 파라미터를 설정하게 한다.
몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 가상 이미지 캡쳐 파라미터에 기초하여 가상 깊이 맵을 생성하게 한다. 몇몇 실시형태에서, 이미지 캡쳐 파라미터는, 시야, 렌즈 왜곡, 초점 거리, 및 휘도 쉐이딩(brightness shading) 중 하나 이상을 포함한다.
몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 복수의 가상 위치의 각각의 가상 위치에 대해, 가상 깊이 맵에서 제1 및 제2 깊이 기준을 식별하게 하고, 그리고 제1 깊이 기준과 제2 깊이 기준 사이의 거리를 나타내는 값을 계산하게 하고; 그리고 복수의 가상 위치를, 대응하는 값과 관련시키는 것에 의해 데이터베이스를 생성하게 한다.
몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 복수의 가상 위치의 각각의 가상 위치에 대해, 가상 깊이 맵에서 세 개 이상의 깊이 기준을 식별하게 하고, 그리고 세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하고; 그리고 복수의 가상 위치를, 대응하는 다각형의 형상 및 위치와 관련시키는 것에 의해 데이터베이스를 생성하게 한다. 몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 환자의 해부학적 관강 네트워크를 나타내는 일련의 이차원 이미지로부터 데이터의 삼차원 볼륨을 생성하게 하고; 그리고 데이터의 삼차원 볼륨으로부터 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델을 형성하게 한다. 몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 일련의 이차원 이미지를 캡쳐하도록 컴퓨터 단층 촬영 이미징 시스템을 제어하게 한다. 몇몇 실시형태에서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 데이터의 삼차원 볼륨에 볼륨 구획화(volume segmentation)를 적용하는 것에 의해 가상의 삼차원 모델을 형성하게 한다.
다른 양태는 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법에 관한 것으로, 하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 그 방법은, 해부학적 관강 네트워크의 내부를 나타내는 입체 이미지 세트(stereoscopic image set)를 수신하는 것; 입체 이미지 세트에 기초하여 깊이 맵을 생성하는 것; 가상의 관강 네트워크 내의 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것; 깊이 맵으로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하는 것; 및 가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈를 결정하는 것을 포함한다.
몇몇 실시형태에서, 입체 이미지 세트를 생성하는 것은, 기구의 원위 단부에 있는 이미징 디바이스를 해부학적 관강 네트워크 내의 제1 위치에 배치하는 것; 제1 위치에 배치되는 이미징 디바이스를 사용하여 해부학적 관강 네트워크의 내부의 제1 이미지를 캡쳐하는 것; 해부학적 관강 네트워크 내의 제2 위치까지 공지된 거리를 이동시키도록 이미징 디바이스를 로봇을 이용하여(robotically) 제어하는 것; 및 제2 위치에 배치되는 이미징 디바이스를 사용하여 해부학적 관강 네트워크의 내부의 제2 이미지를 캡쳐하는 것을 포함한다. 몇몇 실시형태에서, 공지된 거리를 이동시키도록 이미징 디바이스를 로봇을 이용하여 제어하는 것은, 이미징 디바이스를 후퇴시키는 것 및 이미징 디바이스를 각을 이루게(angularly) 롤링하는 것 중 하나 또는 둘 모두를 포함한다.
이하에서, 개시된 양태는, 개시된 양태를 제한하는 것이 아니라 예시하도록 제공되는 첨부의 도면 및 부록과 연계하여 설명될 것인데, 첨부의 도면에서, 같은 명칭은 같은 엘리먼트를 나타낸다.
도 1은 진단 및/또는 치료 기관지경 검사 프로시져(들)를 위해 배열되는 카트 기반의 로봇 시스템의 한 실시형태를 예시한다.
도 2는 도 1의 로봇 시스템의 또 다른 양태를 묘사한다.
도 3은 요관경 검사(ureteroscopy)를 위해 배열되는 도 1의 로봇 시스템의 한 실시형태를 예시한다.
도 4는 관 프로시져(vascular procedure)를 위해 배열되는 도 1의 로봇 시스템의 한 실시형태를 예시한다.
도 5는 기관지경 검사 프로시져를 위해 배열되는 테이블 기반의 로봇 시스템의 한 실시형태를 예시한다.
도 6은 도 5의 로봇 시스템의 대안적인 뷰를 제공한다.
도 7은 로봇 암(들)을 수용하도록 구성되는 예시적인 시스템을 예시한다.
도 8은 요관경 검사 프로시져를 위해 구성되는 테이블 기반의 로봇 시스템의 한 실시형태를 예시한다.
도 9는 복강경 검사 프로시져를 위해 구성되는 테이블 기반의 로봇 시스템의 한 실시형태를 예시한다.
도 10은 피치 또는 틸트 조정을 갖는 도 5 내지 도 9의 테이블 기반의 로봇 시스템의 한 실시형태를 예시한다.
도 11은 도 5 내지 도 10의 테이블 기반의 로봇 시스템의 테이블과 칼럼(column) 사이의 인터페이스의 상세한 예시를 제공한다.
도 12는 예시적인 기구 드라이버(instrument driver)를 예시한다.
도 13은 페어링된 기구 드라이버를 갖는 예시적인 의료 기구를 예시한다.
도 14는 구동 유닛의 축이 기구의 가늘고 긴 샤프트의 축에 평행한 기구 및 기구 드라이버에 대한 대안적인 설계를 예시한다.
도 15는, 예시적인 실시형태에 따른, 도 13 및 도 14의 기구의 위치와 같은, 도 1 내지 도 10의 로봇 시스템의 하나 이상의 엘리먼트의 위치를 추정하는 위치 측정 시스템(localization system)을 예시하는 블록도를 묘사한다.
도 16a는 개시된 내비게이션 시스템 및 기술을 구현하는 예시적인 동작 환경을 예시한다.
도 16b는 도 16a의 환경에서 내비게이팅되는 예시적인 관강 네트워크를 예시한다.
도 16c는 도 16b의 관강 네트워크 안을 통한 기구 움직임을 안내하기 위한 예시적인 로봇 암을 예시한다.
도 17은, 하나의 실시형태에 따른, 예시적인 의료 로봇 시스템에 대한 커맨드 콘솔을 예시한다.
도 18은 본원에서 설명되는 바와 같은 이미징 및 EM 감지 성능을 갖는 예시적인 내시경을 예시한다.
도 19는 본원에서 설명되는 바와 같은 내비게이션 시스템의 개략적인 블록도를 묘사한다.
도 20은 추출된 가상 피쳐 데이터 세트를 생성하기 위한 예시적인 프로세스의 플로우차트를 묘사한다.
도 21은 캡쳐된 내시경 검사 이미지 및 도 20의 추출된 가상 피쳐 데이터 세트와의 깊이 정보의 피쳐 사이의 계산된 대응성에 기초하여 깊이 정보를 생성하기 위한 예시적인 수술 중 프로세스(intra-operative process)의 플로우차트를 묘사한다.
1. 개관
본 개시의 양태는, 복강경 검사와 같은 최소 침습적 프로시져, 및 내시경 검사와 같은 비 침습적 프로시져 둘 모두를 비롯한, 다양한 의료 프로시져를 수행할 수도 있는 로봇 대응 의료 시스템(robotically-enabled medical system)에 통합될 수도 있다. 내시경 검사 프로시져 중, 시스템은 기관지경 검사, 요관경 검사, 위장병학(gastroenterology), 등등을 수행할 수 있을 수도 있다.
광범위한 프로시져를 수행하는 것에 더하여, 시스템은 의사를 돕기 위한 향상된 이미징 및 안내와 같은, 추가적인 이점을 제공할 수도 있다. 추가적으로, 시스템은 어색한 팔 모션 및 위치에 대한 필요 없이 인체 공학적 위치에서 프로시져를 수행하는 능력을 의사에게 제공할 수도 있다. 여전히 또한, 시스템은, 시스템의 기구 중 하나 이상이 단일의 유저에 의해 제어될 수 있도록 향상된 사용 용이성을 가지고 프로시져를 수행하는 능력을 의사에게 제공할 수도 있다.
다양한 실시형태가 예시의 목적을 위해 도면과 연계하여 하기에서 설명될 것이다. 개시된 개념의 많은 다른 구현예가 가능하고, 개시된 구현예를 통해 다양한 이점이 달성될 수 있다는 것이 인식되어야 한다. 참조를 위해 그리고 다양한 섹션을 찾는 것을 돕기 위해 본원에서는 제목(heading)이 포함된다. 이들 제목은, 그와 관련하여 설명되는 개념의 범위를 제한하도록 의도되는 것은 아니다. 그러한 개념은 전체 명세 전체에 걸쳐 적용 가능할 수도 있다.
A. 로봇 시스템 - 카트.
로봇 대응 의료 시스템은 특정한 프로시져에 따라 다양한 방식으로 구성될 수도 있다. 도 1은, 진단 및/또는 치료 기관지경 검사 프로시져를 위해 배열되는 카트 기반의 로봇 대응 시스템(10)의 한 실시형태를 예시한다. 기관지경 검사 동안, 시스템(10)은, 기관지경 검사를 위한 프로시져 고유의 기관지경일 수도 있는, 조향 가능한 내시경(13)과 같은 의료 기구를, 진단 및/또는 치료 도구를 전달할 천연 구멍 액세스 포인트(natural orifice access point)(즉, 본 예의 테이블 상에 배치되는 환자의 입)으로 전달하기 위한 하나 이상의 로봇 암(12)을 갖는 카트(11)를 포함할 수도 있다. 도시되는 바와 같이, 카트(11)는 액세스 포인트에 대한 액세스를 제공하기 위해 환자의 상반신(upper torso)에 근접하여 배치될 수도 있다. 유사하게, 로봇 암(12)은 액세스 포인트와 관련하여 기관지경을 배치하도록 작동될 수도 있다. 도 1의 장치(arrangement)는 또한, 위장(gastro-intestinal; GI) 프로시져를 위한 특수 내시경인 위내시경(gastroscope)으로 GI 프로시져를 수행할 때 활용될 수도 있다. 도 2는 카트의 예시적인 실시형태를 더욱 상세하게 묘사한다.
도 1을 계속 참조하면, 일단 카트(11)가 적절하게 배치되면, 로봇 암(12)은, 로봇을 이용하여, 수동으로, 또는 이들의 조합으로, 조향 가능한 내시경(13)을 환자에게 삽입할 수도 있다. 도시되는 바와 같이, 조향 가능한 내시경(13)은, 내부 리더 부분(inner leader portion) 및 외부 시스 부분(outer sheath portion)과 같은 적어도 두 개의 자유 자재로 신축 가능한(telescoping) 부분을 포함할 수도 있는데, 각각의 부분은 기구 드라이버(28)의 세트와는 별개의 기구 드라이버에 커플링되고, 각각의 기구 드라이버는 개개의 로봇 암의 원위 단부에 커플링된다. 시스 부분과의 리더 부분의 동축 정렬을 용이하게 하는 기구 드라이버(28)의 이러한 선형 배열은, 하나 이상의 로봇 암(12)을 상이한 각도 및/또는 위치로 작동시키는 것에 의해 공간적으로 재배치될 수도 있는 "가상 레일"(29)을 생성한다. 본원에서 설명되는 가상 레일은 점선을 사용하여 도면에 묘사되며, 따라서 점선은 시스템의 임의의 물리적 구조체를 묘사하는 것은 아니다. 가상 레일(29)을 따른 기구 드라이버(28)의 병진(translation)은, 외부 시스 부분과 관련하여 내부 리더 부분을 자유 자재로 신축 가능하거나 또는 내시경(13)을 전진시키거나 또는 환자로부터 후퇴시킨다. 가상 레일(29)의 각도는 임상 적용 또는 의사 선호도에 기초하여 조정, 병진, 및 선회될 수도 있다. 예를 들면, 기관지경 검사에서, 도시되는 바와 같은 가상 레일(29)의 각도 및 위치는, 내시경(13)에 대한 의사의 액세스를 제공하는 것과 내시경(13)을 환자의 입 안으로 굴곡시키는 것으로부터 유래하는 마찰을 최소화하는 것 사이의 타협을 나타낸다.
내시경(13)은, 목표 목적지 또는 수술 부위에 도달할 때까지 로봇 시스템으로부터의 정확한 커맨드를 사용한 삽입 이후 환자의 기관 및 폐 아래로 지향될 수도 있다. 환자의 폐 네트워크를 통한 내비게이션을 향상시키고 및/또는 소망되는 목표에 도달하기 위해, 내시경(13)은, 향상된 관절 운동(articulation) 및 더 큰 굴곡 반경을 획득하도록, 외부 시스 부분으로부터 내부 리더 부분을 자유 자재로 신축 가능한 방식으로(telescopically) 연장하도록 조작될 수도 있다. 별개의 기구 드라이버(28)의 사용은 또한, 리더 부분 및 시스 부분이 서로 독립적으로 구동되는 것을 허용한다.
예를 들면, 내시경(13)은, 예를 들면, 환자의 폐 내의 병변 또는 결절(nodule)과 같은 목표에 생검 바늘을 전달하도록 지향될 수도 있다. 바늘은 병리학자에 의해 분석될 조직 샘플을 획득하기 위해 내시경의 길이를 따라 이어지는 작업 채널 아래로 배치될 수도 있다. 병리학 결과에 따라, 추가적인 생검을 위해 내시경의 작업 채널 아래에 추가적인 도구가 배치될 수도 있다. 결절이 악성인 것을 식별한 이후, 내시경(13)은 잠재적 암 조직을 절제하기 위한 도구를 내시경적으로 전달할 수도 있다. 몇몇 경우에, 진단 및 치료 요법은 별개의 프로시져에서 전달되는 것을 필요로 할 수도 있다. 그들 상황에서, 내시경(13)은 또한 목표 결절의 위치를 "마킹"하기 위한 기준을 전달하기 위해 역시 사용될 수도 있다. 다른 경우에, 진단 및 치료 요법은 동일한 프로시져 동안 전달될 수도 있다.
시스템(10)은 또한, 제어, 전자장치, 유체기기(fluidics), 광학기기, 센서, 및/또는 전력에 대한 지원을 카트(11)에 제공하기 위해 지지 케이블을 통해 카트(11)에 연결될 수도 있는 이동 가능한 타워(30)를 포함할 수도 있다. 그러한 기능성(functionality)을 타워(30)에 배치하는 것은, 수술 의사 및/또는 그의/그녀의 직원에 의해 더욱 쉽게 조정 및/또는 재배치될 수도 있는 더 작은 폼팩터 카트(11)를 허용한다. 또한, 카트/테이블과 지지 타워(30) 사이의 기능성의 분할은, 수술실 혼란을 감소시키고 임상 워크플로 향상을 용이하게 한다. 카트(11)가 환자에 근접하게 배치될 수도 있지만, 타워(30)는 프로시져 동안 방해가 되지 않도록 원격 위치에 수납될 수도 있다.
상기에서 설명되는 로봇 시스템의 지원에서, 타워(30)는, 예를 들면, 영구적 자기 저장 드라이브, 솔리드 스테이트 드라이브, 등등과 같은 비일시적 컴퓨터 판독 가능 저장 매체 내에 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 기반의 제어 시스템의 컴포넌트(들)를 포함할 수도 있다. 그들 명령어의 실행은, 실행이 타워(30)에서 발생하는지 또는 카트(11)에서 발생하는지에 관계 없이, 그 전체 시스템 또는 그 서브시스템(들)을 제어할 수도 있다. 예를 들면, 컴퓨터 시스템의 프로세서에 의해 실행될 때, 명령어는 로봇 시스템의 컴포넌트로 하여금, 관련 캐리지 및 암 마운트를 작동하게 하고, 로봇 암을 작동하게 하고, 의료 기구를 제어하게 할 수도 있다. 예를 들면, 제어 신호를 수신하는 것에 응답하여, 로봇 암의 관절(joint)에 있는 모터는 암을 소정의 자세로 배치할 수도 있다.
타워(30)는 또한, 내시경(13)을 통해 배치될 수도 있는 시스템에 제어된 관주(irrigation) 및 흡인(aspiration) 성능을 제공하기 위해, 펌프, 유량계(flow meter), 밸브 제어, 및/또는 유체 액세스를 포함할 수도 있다. 이들 컴포넌트는 또한 타워(30)의 컴퓨터 시스템을 사용하여 제어될 수도 있다. 몇몇 실시형태에서, 관주 및 흡인 성능은 별개의 케이블(들)을 통해 내시경(13)으로 직접적으로 전달될 수도 있다.
타워(30)는 필터링되고 보호된 전력을 카트(11)에 제공하도록 설계되는 전압 및 서지 보호기를 포함할 수도 있고, 그에 의해, 카트(11)에서의 전력 변압기 및 다른 보조 전력 컴포넌트의 배치를 방지할 수도 있고, 그 결과, 더 작고 더욱 가동성의(moveable) 카트(11)로 나타날 수도 있다.
타워(30)는 또한 로봇 시스템(10) 전체에 걸쳐 배치되는 센서에 대한 지지 기기(support equipment)를 포함할 수도 있다. 예를 들면, 타워(30)는, 로봇 시스템(10) 도처의 광학 센서 또는 카메라로부터 수신되는 데이터를 검출, 수신 및 프로세싱하기 위한 광전자 기기(opto-electronics equipment)를 포함할 수도 있다. 제어 시스템과의 조합에서, 그러한 광전자 기기는, 타워(30)를 비롯한, 시스템 도처에 배치되는 임의의 수의 콘솔에서의 디스플레이를 위한 실시간 이미지를 생성하기 위해 사용될 수도 있다. 유사하게, 타워(30)는 또한 배치된 전자기(EM) 센서로부터 수신되는 신호를 수신 및 프로세싱하기 위한 전자 서브시스템을 포함할 수도 있다. 타워(30)는 또한, 의료 기구 내의 또는 상의 EM 센서에 의한 검출을 위한 EM 필드 생성기를 수용 및 배치하기 위해 사용될 수도 있다.
타워(30)는 또한, 시스템의 나머지 부분에서 이용 가능한 다른 콘솔, 예를 들면, 카트 상부 상에 장착되는 콘솔 외에, 콘솔(31)을 포함할 수도 있다. 콘솔(31)은 의사 오퍼레이터에 대한 유저 인터페이스 및 디스플레이 스크린, 예컨대 터치스크린을 포함할 수도 있다. 시스템(10) 내의 콘솔은 일반적으로, 로봇 제어뿐만 아니라 내시경(13)의 내비게이션 및 위치 정보와 같은, 프로시져의 수술 전(pre-operative) 및 실시간 정보 둘 모두를 제공하도록 설계된다. 콘솔(31)이 의사가 이용 가능한 유일한 콘솔이 아닌 경우, 그것은, 환자의 건강 또는 활력(vital) 및 시스템의 동작을 모니터링하기 위해, 뿐만 아니라, 프로시져 고유의 데이터, 예컨대 내비게이션 및 위치 측정 정보를 제공하기 위해, 간호사와 같은 제2 오퍼레이터에 의해 사용될 수도 있다.
타워(30)는 하나 이상의 케이블 또는 연결부(도시되지 않음)를 통해 카트(11) 및 내시경(13)에 커플링될 수도 있다. 몇몇 실시형태에서, 타워(30)로부터의 지지 기능성은 단일의 케이블을 통해 카트(11)에 제공될 수도 있어서, 수술실을 단순화할 수도 있고 혼란을 제거할 수도 있다. 다른 실시형태에서, 특정한 기능성은 별개의 케이블류(cabling) 및 연결부에 커플링될 수도 있다. 예를 들면, 전력이 단일의 전력 케이블을 통해 카트에 제공될 수도 있지만, 제어, 광학기기, 유체공학, 및/또는 내비게이션에 대한 지원은 별개의 케이블을 통해 제공될 수도 있다.
도 2는 도 1에서 도시되는 카트 기반의 로봇 대응 시스템으로부터의 카트의 한 실시형태의 상세한 예시를 제공한다. 카트(11)는 일반적으로 가늘고 긴 지지 구조체(14)(종종 "칼럼"으로 지칭됨), 카트 베이스(15), 및 칼럼(14)의 상단에 있는 콘솔(16)을 포함한다. 칼럼(14)은 하나 이상의 로봇 암(12)(도 2에서는 세 개가 도시됨)의 배치를 지원하기 위한 캐리지(17)(또는 대안적으로 "암 지지부")와 같은 하나 이상의 캐리지를 포함할 수도 있다. 캐리지(17)는 환자에 대한 더 나은 위치 결정을 위해 로봇 암(12)의 베이스를 조정하기 위한 수직 축을 따라 회전하는 개별적으로 구성 가능한 암 마운트를 포함할 수도 있다. 캐리지(17)는 또한, 캐리지(17)가 칼럼(14)을 따라 수직으로 병진하는 것을 허용하는 캐리지 인터페이스(19)를 포함한다.
캐리지 인터페이스(19)는, 캐리지(17)의 수직 이동을 안내하기 위해 칼럼(14)의 대향하는 면(side)에 배치되는, 슬롯(20)과 같은 슬롯을 통해 칼럼(14)에 연결된다. 슬롯(20)은 카트 베이스(15)와 관련하여 다양한 수직 높이에 캐리지를 배치 및 유지하기 위한 수직 병진 인터페이스를 포함한다. 캐리지(17)의 수직 이동은, 카트(11)가 다양한 테이블 높이, 환자 사이즈, 및 의사 선호도를 충족하도록 로봇 암(12)의 도달 거리(reach)를 조정하는 것을 허용한다. 유사하게, 캐리지(17) 상에 개별적으로 구성 가능한 암 마운트는, 로봇 암(12)의 로봇 암 베이스(21)가 다양한 구성으로 기울어지는 것을 허용한다.
몇몇 실시형태에서, 슬롯(20)은, 캐리지(17)가 수직으로 병진함에 따라 칼럼(14)의 내부 챔버 및 수직 병진 인터페이스로의 오물 및 유체 유입을 방지하기 위해, 슬롯 표면과 같은 높이이며 평행한 슬롯 커버로 보충될 수도 있다. 슬롯 커버는, 슬롯(20)의 수직 상부 및 하부 근처에 배치되는 스프링 스풀의 쌍을 통해 배치될 수도 있다. 캐리지(17)가 수직 상하로 병진됨에 따라, 커버는, 그들의 감겨진 상태로부터 연장(extend) 및 후퇴되도록 배치될 때까지, 스풀 내에 감겨 있다. 스풀의 스프링 부하는, 캐리지(17)가 스풀을 향해 병진하는 경우 커버를 스풀 안으로 후퇴시키는 힘을 제공하며, 한편 캐리지(17)가 스풀로부터 멀어지게 병진하는 경우 기밀(tight seal)을 또한 유지한다. 캐리지(17)가 병진될 때 커버의 적절한 연신 및 후퇴를 보장하기 위해, 커버는, 예를 들면, 캐리지 인터페이스(19)의 브래킷을 사용하여 캐리지(17)에 연결될 수도 있다.
칼럼(14)은, 유저 입력, 예를 들면, 콘솔(16)로부터의 입력에 응답하여 생성되는 제어 신호에 응답하여 캐리지(17)를 기계화된 방식으로 병진시키기 위해 수직으로 정렬된 리드 스크류를 사용하도록 설계되는 기어 및 모터와 같은 메커니즘을 내부적으로 포함할 수도 있다.
로봇 암(12)은, 일반적으로, 일련의 관절(24)에 의해 연결되는 일련의 연결부(23)에 의해 분리되는 로봇 암 베이스(21) 및 엔드 이펙터(22)를 포함할 수도 있는데, 각각의 관절은 독립적인 액추에이터를 포함하며, 각각의 액추에이터는 독립적으로 제어 가능한 모터를 포함한다. 각각의 독립적으로 제어 가능한 관절은 로봇 암이 이용 가능한 독립적인 자유도를 나타낸다. 암(12)의 각각은 일곱 개의 관절을 가지며, 따라서, 7 자유도를 제공한다. 다수의 관절은, "중복(redundant)" 자유도를 허용하는 다수의 자유도로 나타난다. 중복 자유도는 로봇 암(12)이 상이한 연결 위치 및 관절 각도를 사용하여 그들 각각의 엔드 이펙터(22)를 공간에서 특정한 위치, 방위 및 궤도에 배치하는 것을 허용한다. 이것은 의사가, 암 충돌을 방지하면서, 더 큰 액세스를 만들도록 의사가 암 관절을 환자로부터 먼 임상적으로 유리한 위치로 이동시키는 것을 허용하면서, 시스템이 의료 기구를 공간 내의 소망되는 포인트로부터 배치 및 지향시키는 것을 허용한다.
카트 베이스(15)는 플로어 위에서 칼럼(14), 캐리지(17), 및 암(12)의 중량의 균형을 맞춘다. 따라서, 카트 베이스(15)는, 전자장치, 모터, 전력 공급부와 같은 더 무거운 컴포넌트뿐만 아니라, 움직임을 가능하게 하는 및/또는 카트를 고정시키는 컴포넌트를 수용한다. 예를 들면, 카트 베이스(15)는, 카트가 프로시져 이전에 방 주위를 쉽게 이동하는 것을 허용하는 구를 수 있는 휠형 캐스터(rollable wheel-shaped caster)(25)를 포함한다. 적절한 위치에 도달한 이후, 캐스터(25)는 휠락(lock lock)을 사용하여 고정되어 카트(11)를 프로시져 동안 제자리에 유지할 수도 있다.
칼럼(14)의 수직 단부에 배치되는 콘솔(16)은 유저 입력을 수신하기 위한 유저 인터페이스 및 의사 유저에게 수술 전 및 수술 중 데이터 둘 모두를 제공하기 위한 디스플레이 스크린(또는, 예를 들면, 터치스크린(26)과 같은 이중 목적 디바이스) 둘 모두를 허용한다. 터치스크린(26) 상의 잠재적인 수술 전 데이터는, 수술 전 계획, 수술 전 컴퓨터 단층 촬영(CT) 스캔으로부터 유도되는 내비게이션 및 매핑 데이터, 및/또는 수술 전 환자 인터뷰로부터의 메모(note)를 포함할 수도 있다. 디스플레이 상의 수술 중 데이터는, 도구, 센서 및 센서로부터의 좌표 정보로부터 제공되는 광학적 정보뿐만 아니라, 호흡, 심박수, 및/또는 맥박과 같은 중요한 환자 통계치를 포함할 수도 있다. 콘솔(16)은, 의사가 칼럼(14)의 캐리지(17) 반대 측에서부터 콘솔에 액세스하는 것을 허용하도록 배치되고 기울어질 수도 있다. 이 위치로부터, 의사는 카트(11) 후방에서 콘솔(16)을 동작시키면서 콘솔(16), 로봇 암(12), 및 환자를 볼 수도 있다. 도시되는 바와 같이, 콘솔(16)은 또한 카트(11)의 방향 조종 및 안정화를 돕는 핸들(27)을 포함한다.
도 3은 요관경 검사를 위해 배열되는 로봇 대응 시스템(10)의 한 실시형태를 예시한다. 요관경 검사 프로시져에서, 카트(11)는 환자의 요도 및 요관을 순회하도록 설계되는 프로시져 고유의 내시경인 요관경(ureteroscope)(32)을 환자의 하부 복부 영역으로 전달하도록 배치될 수도 있다. 요관경 검사에서, 요관경(32)이 환자의 요도와 직접적으로 정렬되어 그 영역에서 민감한 해부학적 구조에 대한 마찰 및 힘을 감소시키는 것이 바람직할 수도 있다. 도시되는 바와 같이, 카트(11)는, 환자의 요도에 대한 직접적인 선형 액세스를 위해 로봇 암(12)이 요관경(32)을 배치하는 것을 허용하도록 테이블의 발에 정렬될 수도 있다. 테이블의 발로부터, 로봇 암(12)은 요관경(32)을 가상 레일(33)을 따라 요도를 통해 환자의 하복부 안으로 바로 삽입할 수도 있다.
요도에 삽입한 이후, 기관지경 검사에서와 유사한 제어 기술을 사용하여, 요관경(32)은 진단 및/또는 치료 적용을 위해 방광, 요관, 및/또는 신장 안으로 내비게이팅할 수도 있다. 예를 들면, 요관경(32)은 요관경(32)의 작업 채널 아래에 배치되는 레이저 또는 초음파 쇄석술(lithotripsy) 디바이스를 사용하여 축적된 신장 결석을 파괴하도록 요관 및 신장 안으로 지향될 수도 있다. 쇄석술이 완료된 이후, 결과적으로 나타나는 결석 조각은 요관경(32) 아래에 배치되는 바스켓을 사용하여 제거될 수도 있다.
도 4는 관 프로시져를 위해 유사하게 배열되는 로봇 대응 시스템의 한 실시형태를 예시한다. 관 프로시져에서, 시스템(10)은, 카트(11)가 조향 가능한 카테터와 같은 의료 기구(34)를 환자의 다리의 대퇴 동맥의 액세스 포인트로 전달할 수도 있도록 구성될 수도 있다. 대퇴 동맥은 내비게이션을 위한 더 큰 직경뿐만 아니라 환자의 심장까지 상대적으로 덜 우회하고 덜 구불구불한 경로 둘 모두를 제공하는데, 이것은 내비게이션을 단순화시킨다. 요관경 검사 프로시져에서와 같이, 카트(11)는, 로봇 암(12)이 환자의 허벅지/고관절(hip) 영역에서 대퇴부 동맥 액세스 포인트에 대한 직접적인 선형 액세스를 갖는 가상 레일(35)을 제공하는 것을 허용하도록, 환자의 다리 및 하복부를 향해 배치될 수도 있다. 동맥 안으로의 삽입 이후, 의료 기구(34)는 기구 드라이버(28)를 병진시키는 것에 의해 지향 및 삽입될 수도 있다. 대안적으로, 카트는, 예를 들면, 어깨 및 손목 근처의 경동맥 및 상완 동맥과 같은 대안적인 관 액세스 포인트에 도달하기 위해 환자의 상복부 주위에 배치될 수도 있다.
B. 로봇 시스템 - 테이블.
로봇 대응 의료 시스템의 실시형태는 또한 환자의 테이블을 통합할 수도 있다. 테이블의 통합은, 카트를 제거하는 것에 의해 수술실 내에서의 자본 설비(capital equipment)의 양을 감소시키는데, 이것은 환자에 대한 더 많은 액세스를 허용한다. 도 5는 기관지경 검사 프로시져를 위해 배열되는 그러한 로봇 대응 시스템의 한 실시형태를 예시한다. 시스템(36)은 플로어 위에 플랫폼(38)("테이블" 또는 "베드"로 도시됨)을 지지하기 위한 지지 구조체 또는 칼럼(37)을 포함한다. 카트 기반의 시스템에서와 마찬가지로, 시스템(36)의 로봇 암(39)의 엔드 이펙터는, 기구 드라이버(42)의 선형적인 정렬로부터 형성되는 가상 레일(41)을 통해 또는 가상 레일(41)을 따라, 도 5에서의 기관지경(40)과 같은 가늘고 긴 의료 기구를 조작하도록 설계되는 기구 드라이버(42)를 포함한다. 실제로, 형광 투시 이미징을 제공하기 위한 C 암(C-arm)은 방출기 및 검출기를 테이블(38) 주위에 배치하는 것에 의해 환자의 상복부 영역 위에 배치될 수도 있다.
도 6은 논의 목적을 위해 환자 및 의료 기구가 없는 시스템(36)의 대안적인 뷰를 제공한다. 도시되는 바와 같이, 칼럼(37)은 시스템(36)에서 링 형상으로 도시되는 하나 이상의 캐리지(43)를 포함할 수도 있는데, 그로부터 하나 이상의 로봇 암(39)이 기초할 수도 있다. 캐리지(43)는 로봇 암(39)이 환자에게 도달하도록 배치될 수도 있는 상이한 유리한 포인트를 제공하기 위해 칼럼(37)의 길이를 따라 이어지는 수직 칼럼 인터페이스(44)를 따라 병진될 수도 있다. 캐리지(들)(43)는, 로봇 암(39)이, 예를 들면, 환자의 양측과 같은, 테이블(38)의 다수의 측에 액세스하는 것을 허용하도록 칼럼(37) 내에 배치되는 기계적 모터를 사용하여 칼럼(37) 주위에서 회전할 수도 있다. 다수의 캐리지를 갖는 실시형태에서, 캐리지는 칼럼 상에 개별적으로 배치될 수도 있고 다른 캐리지와는 독립적으로 병진 및/또는 회전할 수도 있다. 캐리지(43)가 칼럼(37)을 둘러쌀 필요가 없거나 또는 심지어 원형일 필요가 없지만, 도시되는 바와 같은 링 형상은 구조적 균형을 유지하면서 칼럼(37) 주위에서의 캐리지(43)의 회전을 용이하게 한다. 캐리지(43)의 회전 및 병진은, 시스템이, 내시경 및 복강경과 같은 의료 기구를 환자의 상이한 액세스 포인트에 정렬하는 것을 허용한다.
암(39)은, 로봇 암(39)에 추가적인 구성 가능성을 제공하기 위해 개별적으로 회전할 수도 있는 및/또는 자유 자재로 신축 가능한 방식으로 연장될 수도 있는 일련의 관절을 포함하는 암 마운트(45)의 세트를 통해 캐리지 상에 장착될 수도 있다. 추가적으로, 암 마운트(45)는, 캐리지(43)가 적절하게 회전될 때, 암 마운트(45)가 (도 6에서 도시되는 바와 같이) 테이블(38)의 동일한 쪽, (도 9에서 도시되는 바와 같이) 테이블(38)의 반대 쪽, 또는 테이블(38)의 인접한 쪽(도시되지 않음) 중 어느 하나 상에 배치될 수도 있도록, 캐리지(43) 상에 배치될 수도 있다.
칼럼(37)은 테이블(38)에 대한 지지, 및 캐리지의 수직 병진을 위한 경로를 구조적으로 제공한다. 내부적으로, 칼럼(37)은 캐리지의 수직 병진을 안내하기 위한 리드 스크류, 및 리드 스크류에 기초하여 상기 캐리지의 병진을 기계화하기 위한 모터를 갖출 수도 있다. 칼럼(37)은 또한, 전력 및 제어 신호를 캐리지(43) 및 그 상에 장착되는 로봇 암(39)에 전달할 수도 있다.
테이블 베이스(46)는, 테이블/베드(38), 칼럼(37), 캐리지(43), 및 로봇 암(39)의 균형을 맞추기 위해 더 무거운 컴포넌트를 수용하면서, 도 2에서 도시되는 카트(11)의 카트 베이스(15)와 유사한 기능에 이바지한다. 테이블 베이스(46)는 또한 프로시져 동안 안정성을 제공하기 위해 강성 캐스터를 통합할 수도 있다. 테이블 베이스(46)의 저부로부터 배치되는 캐스터는 베이스(46)의 양 측에서 반대 방향으로 연장되고 시스템(36)이 이동될 필요가 있는 경우 후퇴될 수도 있다.
도 6을 계속하면, 시스템(36)은 또한, 폼팩터 및 테이블의 벌크를 감소시키기 위해 테이블과 타워 사이에서 시스템(36)의 기능성을 분할하는 타워(도시되지 않음)를 포함할 수도 있다. 앞서 개시된 실시형태에서와 같이, 타워는, 프로세싱, 컴퓨팅, 및 제어 성능, 전력, 유체공학, 및/또는 광학 및 센서 프로세싱과 같은 다양한 지원 기능성을 테이블에 제공할 수도 있다. 의사의 액세스를 향상시키고 수술실의 혼란을 제거하기 위해, 타워는 또한 환자로부터 멀어지게 배치되도록 이동 가능할 수도 있다. 추가적으로, 타워에 컴포넌트를 배치하는 것은, 로봇 암의 잠재적인 수용(stowage)을 위한 테이블 베이스에 더 많은 저장 공간을 허용한다. 타워는 또한, 키보드 및/또는 펜던트와 같은 유저 입력을 위한 유저 인터페이스뿐만 아니라, 실시간 이미징, 내비게이션, 및 추적 정보와 같은 수술 전 및 수술 중 정보에 대한 디스플레이 스크린(또는 터치스크린) 둘 모두를 제공하는 콘솔을 포함할 수도 있다.
몇몇 실시형태에서, 테이블 베이스는 미사용시 로봇 암을 수용 및 저장할 수도 있다. 도 7은 테이블 기반의 시스템의 한 실시형태에서 로봇 암을 수용하는 시스템(47)을 예시한다. 시스템(47)에서, 캐리지(48)는 로봇 암(50), 암 마운트(51), 및 캐리지(48)를 베이스(49) 내에 수용하기 위해 베이스(49)로 수직으로 병진될 수도 있다. 베이스 커버(52)는, 칼럼(53) 주위에 캐리지(48), 암 마운트(51), 및 암(50)을 배치하기 위해 병진 및 후퇴 개방될 수도 있고, 미사용시 그들을 수용하여 보호하기 위해 폐쇄될 수도 있다. 베이스 커버(52)는 폐쇄시 오물 및 유체 유입을 방지하기 위해 그 개구의 에지를 따라 멤브레인(54)으로 밀봉될 수도 있다.
도 8은 요관경 검사 프로시져를 위해 구성되는 로봇 대응 테이블 기반의 시스템의 한 실시형태를 예시한다. 요관경 검사에서, 테이블(38)은 칼럼(37) 및 테이블 베이스(46)로부터 환자를 비스듬히 배치시키기 위한 스위블 부분(swivel portion)(55)을 포함할 수도 있다. 스위블 부분(55)은, 스위블 부분(55)의 저부 부분을 칼럼(37)으로부터 멀어지게 배치하기 위해, 선회 포인트(예를 들면, 환자의 머리 아래에 위치됨)를 중심으로 회전 또는 선회될 수도 있다. 예를 들면, 스위블 부분(55)의 선회는, C 암(도시되지 않음)이 테이블(38) 아래의 칼럼(도시되지 않음)과 공간을 경쟁하지 않으면서 환자의 하복부 위에 배치되는 것을 허용한다. 칼럼(37) 주위에서 캐리지(35)(도시되지 않음)를 회전시키는 것에 의해, 로봇 암(39)은 요관경(56)을 가상 레일(57)을 따라 요도에 도달하기 위한 환자의 성기(groin) 영역 안으로 직접적으로 삽입할 수도 있다. 요관경 검사에서, 등자(stirrup)(58)는 또한 프로시져 동안 환자의 다리의 위치를 지지하고 환자의 성기 영역에 대한 명확한 액세스를 허용하기 위해 테이블(38)의 스위블 부분(55)에 고정될 수도 있다.
복강경 검사 프로시져에서, 환자의 복벽의 작은 절개부(들)를 통해, 최소 침습 기구(하나 이상의 절개부의 사이즈를 조절하기 위해 형상이 가늘고 김)가 환자의 해부학적 구조 안으로 삽입될 수도 있다. 환자의 복강(abdominal cavity)의 팽창 이후, 종종 복강경으로 지칭되는 기구는, 파지, 절단, 절제, 봉합, 등등과 같은 수술 작업을 수행하도록 지시받을 수도 있다. 도 9는 복강경 검사 프로시져를 위해 구성되는 로봇 대응 테이블 기반의 시스템의 한 실시형태를 예시한다. 도 9에서 도시되는 바와 같이, 시스템(36)의 캐리지(43)는 로봇 암(39)의 쌍을 테이블(38)의 반대 측에 배치하도록 회전 및 수직으로 조정될 수도 있고, 그 결과, 복강경(59)은 환자의 양 측 상의 최소 절개부를 통해 통과되어 그의/그녀의 복강에 도달하도록 암 마운트(45)를 사용하여 배치될 수도 있다.
복강경 검사 프로시져를 조절하기 위해, 로봇 대응 테이블 시스템은 또한 플랫폼을 소망되는 각도로 기울일 수도 있다. 도 10은 피치 또는 틸트 조정을 갖는 로봇 대응 의료 시스템의 한 실시형태를 예시한다. 도 10에서 도시되는 바와 같이, 시스템(36)은 테이블의 한 부분을 다른 것보다 플로어로부터 더 먼 거리에 배치하기 위해 테이블(38)의 경사를 조절할 수도 있다. 추가적으로, 암 마운트(45)는, 암(39)이 테이블(38)과 동일한 평면 관계를 유지하도록 경사와 매치하도록 회전될 수도 있다. 더 가파른 각도를 수용하기 위해, 칼럼(37)은 또한, 테이블(38)이 플로어에 닿거나 또는 베이스(46)와 충돌하는 것을 방지하도록 칼럼(37)의 수직 연장을 허용하는 자유 자재로 신축 가능한 부분(60)을 포함할 수도 있다.
도 11은 테이블(38)과 칼럼(37) 사이의 인터페이스의 상세한 예시를 제공한다. 피치 회전 메커니즘(61)은 다수의 자유도로 칼럼(37)에 대한 테이블(38)의 피치 각도를 변경하도록 구성될 수도 있다. 피치 회전 메커니즘(61)은 칼럼-테이블 인터페이스에서 직교 축(1, 2)의 위치 결정에 의해 가능하게 될 수도 있는데, 각각의 축은 전기 피치 각도 커맨드에 응답하여 별개의 모터(2, 4)에 의해 작동된다. 하나의 스크류(5)를 따른 회전은 하나의 축(1)에서 기울기 조정을 가능하게 할 것이고, 한편, 다른 스크류(6)를 따른 회전은 다른 축(2)를 따른 기울기 조정을 가능하게 할 것이다.
예를 들면, 피치 조정은, 테이블을 Trendelenburg(트렌델버그) 위치에 배치하려고 하는 경우, 즉, 하복부 수술을 위해, 바닥으로부터 환자의 하복부보다 더 높은 위치에 환자의 하복부를 배치하려고 하는 경우 특히 유용하다. 트렌델버그 위치는 환자의 내부 장기로 하여금 중력을 통해 그의/그녀의 상복부를 향해 미끄러지게 하여, 최소 침습적 도구가 진입하여 복강경 전립선 절제술(laparoscopic prostatectomy)과 같은 하복부 수술 프로시져를 수행하도록 복강을 비운다.
C. 기구 드라이버 및 인터페이스.
시스템의 로봇 암의 엔드 이펙터는, (i) 의료 기구를 작동시키기 위한 전기 기계적 수단을 통합하는 기구 드라이버(대안적으로 "기구 구동 메커니즘" 또는 "기구 디바이스 조작기"로 칭해짐) 및 (ii) 모터와 같은 어떠한 전기 기계 컴포넌트도 없을 수도 있는 제거 가능한 또는 탈거 가능한 의료 기구를 포함한다. 이 이분법은 의료 프로시져에서 사용되는 의료 기구를 멸균할 필요성, 및 고가의 자본 설비를 그들의 복잡한 기계 어셈블리 및 민감한 전자장치에 기인하여 적절히 멸균할 수 없음에 의해 주도될 수도 있다. 따라서, 의료 기구는, 의사 또는 의사의 직원에 의한 개개의 멸균 또는 폐기를 위해 기구 드라이버(따라서 시스템)로부터 분리, 제거 및 교환되도록 설계될 수도 있다. 대조적으로, 기구 드라이버는 변경 또는 멸균될 필요가 없으며, 보호를 위해 드레이프로 덮일(draped) 수도 있다.
도 12는 예시적인 기구 드라이버를 예시한다. 로봇 암의 원위 단부에 배치되는 기구 드라이버(62)는, 구동 샤프트(64)를 통해 의료 기구에 제어된 토크를 제공하기 위해 평행 축과 배열되는 하나 이상의 구동 유닛(63)을 포함한다. 각각의 구동 유닛(63)은, 기구와 상호 작용하기 위한 개개의 구동 샤프트(64), 모터 샤프트 회전을 소망되는 토크로 변환하기 위한 기어 헤드(65), 구동 토크를 생성하기 위한 모터(66), 모터 샤프트의 속도를 측정하고 피드백을 제어 회로부(control circuity)에 제공하기 위한 인코더(67), 및 제어 신호를 수신하고 구동 유닛을 작동시키기 위한 제어 회로부(68)를 포함한다. 각각의 구동 유닛(63)이 독립적으로 제어되고 동력화되면, 기구 드라이버(62)는 다수의(도 12에서 도시되는 바와 같이 네 개의) 독립적인 구동 출력부(drive output)를 의료 기구에 제공할 수도 있다. 동작에서, 제어 회로부(68)는 제어 신호를 수신하고, 모터 신호를 모터(66)에 송신하고, 인코더(67)에 의해 측정되는 결과적으로 나타나는 모터 속도를 소망되는 속도와 비교하고, 소망되는 토크를 생성하도록 모터 신호를 변조한다.
멸균 환경을 필요로 하는 프로시져를 위해, 로봇 시스템은, 기구 드라이버와 의료 기구 사이에 위치되는 구동 인터페이스, 예컨대 멸균 드레이프(sterile drape)에 연결되는 멸균 어댑터를 통합할 수도 있다. 멸균 어댑터의 주요 목적은, 구동 샤프트와 구동 입력부(drive input) 사이에서 물리적 분리, 따라서 멸균성을 유지하면서, 기구 드라이버의 구동 샤프트로부터 기구의 구동 입력부로 각운동(angular motion)을 전달하는 것이다. 따라서, 예시적인 멸균 어댑터는, 기구 드라이버의 구동 샤프트 및 기구의 구동 입력부와 결합되도록 의도되는 일련의 회전 입력 및 출력을 포함할 수도 있다. 멸균 어댑터에 연결되며 투명 또는 반투명 플라스틱과 같이 얇은 가요성 재료로 구성되는 멸균 드레이프는, 기구 드라이버, 로봇 암, 및 (카트 기반의 시스템에서의) 카트 또는 (테이블 기반의 시스템에서의) 테이블과 같은 자본 설비를 커버하도록 설계된다. 드레이프의 사용은, 멸균을 필요로 하지 않는 영역(즉, 비멸균 현장)에 여전히 위치되는 동안 자본 설비가 환자에게 인접하게 배치되는 것을 허용할 것이다. 멸균 드레이프의 다른 면 상에서, 의료 기구는 멸균을 필요로 하는 영역(즉, 멸균 현장)에서 환자와 인터페이싱할 수도 있다.
D. 의료 기구.
도 13은 페어링된 기구 드라이버를 갖는 예시적인 의료 기구를 예시한다. 로봇 시스템과 함께 사용하도록 설계되는 다른 기구와 마찬가지로, 의료 기구(70)는 연장 샤프트(71)(또는 가늘고 긴 본체) 및 기구 베이스(72)를 포함한다. 의사에 의한 수동의 상호 작용을 위한 그것의 의도된 설계에 기인하여 "기구 핸들"로 또한 지칭되는 기구 베이스(72)는, 로봇 암(76)의 원위 단부에서 기구 드라이버(75) 상의 구동 인터페이스를 통해 연장되는 구동 출력부(74)와 결합되도록 설계되는 회전 가능한 구동 입력부(73), 예를 들면, 리셉터클, 풀리 또는 스풀을 일반적으로 포함할 수도 있다. 물리적으로 연결되고, 래치되고, 및/또는 커플링되는 경우, 기구 베이스(72)의 결합된 구동 입력부(73)는 기구 드라이버(75)의 구동 출력부(74)와 회전 축을 공유하여 구동 출력부(74)로부터 구동 입력부(73)로 토크의 전달을 허용할 수도 있다. 몇몇 실시형태에서, 구동 출력부(74)는 구동 입력부(73) 상의 리셉터클과 결합하도록 설계되는 스플라인(spline)을 포함할 수도 있다.
가늘고 긴 샤프트(71)는, 예를 들면, 내시경 검사에서와 같이, 해부학적 개구 또는 관강 중 어느 하나, 또는, 예를 들면, 복강경 검사에서와 같이 최소 침습 절개부를 통해 전달되도록 설계된다. 가늘고 긴 샤프트(66)는 가요성(예를 들면, 내시경과 유사한 속성(property)을 가짐) 또는 강성(예를 들면, 복강경과 유사한 속성을 가짐) 중 어느 하나일 수도 있거나 또는 가요성 부분과 강성 부분 둘 모두의 커스터마이징된 조합을 포함할 수도 있다. 복강경 검사를 위해 설계되는 경우, 강성의 가늘고 긴 샤프트의 원위 단부는, 회전 축을 갖는 클레비스로부터 형성되는 관절식 손목(jointed wrist) 및 기구 드라이버(75)의 구동 출력부(74)로부터 수신되는 토크에 응답하여 구동 입력부가 회전함에 따라 힘줄로부터의 힘에 기초하여 작동될 수도 있는, 예를 들면, 그라스퍼(grasper) 또는 가위와 같은 수술 도구를 포함하는 엔드 이펙터에 연결될 수도 있다. 내시경 검사를 위해 설계되는 경우, 가요성의 가늘고 긴 샤프트의 원위 단부는, 기구 드라이버(75)의 구동 출력부(74)로부터 수신되는 토크에 기초하여 굴곡될 수도 있고 관절 운동할(articulated) 수도 있는 조향 가능한 또는 제어 가능한 굴곡 섹션(bending section)을 포함할 수도 있다.
기구 드라이버(75)로부터의 토크는 샤프트(71) 내의 힘줄을 사용하여 가늘고 긴 샤프트(71) 아래로 전달된다. 견인 와이어(pull wire)와 같은 이들 개개의 힘줄은, 기구 핸들(72) 내의 개개의 구동 입력부(73)에 개별적으로 고정될 수도 있다. 핸들(72)로부터, 힘줄은 가늘고 긴 샤프트(71) 내의 하나 이상의 견인 관강(pull lumen) 아래로 향하고 가늘고 긴 샤프트(71)의 원위 부분에 고정된다. 복강경 검사에서, 이들 힘줄은 손목, 그라스퍼 또는 가위와 같은 원위에 장착되는 엔드 이펙터에 커플링될 수도 있다. 그러한 배열 하에서, 구동 입력부(73)에 가해지는 토크는 힘줄에 장력을 전달할 것이고, 그에 의해, 엔드 이펙터로 하여금 어떤 방식으로 작동하게 할 것이다. 복강경 검사에서, 힘줄은 관절로 하여금 축 주위로 회전하게 할 수도 있고, 그에 의해, 엔드 이펙터로 하여금 하나의 방향 또는 다른 방향으로 움직이게 할 수도 있다. 대안적으로, 힘줄은 가늘고 긴 샤프트(71)의 원위 단부에 그라스퍼의 하나 이상의 조(jaw)에 연결될 수도 있는데, 여기서 힘줄로부터의 장력은 그라스퍼를 닫히게 한다.
내시경 검사에서, 힘줄은, 접착제, 제어 링, 또는 다른 기계적 고정부를 통해 (예를 들면, 원위 단부에서) 연장 샤프트(71)를 따라 배치되는 굴곡 또는 관절 운동 섹션에 커플링될 수도 있다. 굴곡 섹션의 원위 단부에 고정되어 부착되는 경우, 구동 입력부(73)에 가해지는 토크는 힘줄 아래로 전달되어, 더 부드러운 굴곡 섹션(때때로 관절 섹션 또는 영역으로 지칭됨)으로 하여금 굴곡되거나 또는 관절 운동하게 한다. 비 굴곡 섹션을 따라서는, 견인 와이어에서의 장력으로부터 유래하는 방사상 힘의 균형을 맞추기 위해, 개개의 힘줄을 내시경 샤프트의 벽을 따라(또는 내부에서) 안내하여 개개의 견인 관강을 나선형으로 나아가게 하는 또는 나선 모양으로 나아가게 하는 것이 유리할 수도 있다. 그들 사이의 간격 및/또는 나선형 형상(spiraling)의 각도는 특정한 목적을 위해 수정 또는 설계될 수도 있는데, 더 조밀한 나선형 형상은 부하 힘(load force) 하에서 더 적은 샤프트 압축을 나타내고, 한편 더 적은 양의 나선형 형상은 부하 힘 하에서 더 큰 샤프트 압축을 나타내지만, 제한된 굴곡을 또한 나타낸다. 스펙트럼의 다른 단부에서, 소망되는 굴곡 또는 관절 운동 가능한(articulable) 섹션에서 제어된 관절 운동을 허용하기 위해, 견인 관강은 가늘고 긴 샤프트(71)의 길이 방향 축에 평행하게 지향될 수도 있다.
내시경 검사에서, 가늘고 긴 샤프트(71)는 로봇 프로시져를 지원하기 위한 다수의 컴포넌트를 수용한다. 샤프트는 샤프트(71)의 원위 단부에서 수술 영역에 수술 도구, 관주, 및/또는 흡인을 배치하기 위한 작업 채널을 포함할 수도 있다. 샤프트(71)는 또한, 원위 팁에서 광학 어셈블리로/로부터의 신호를 전달하기 위해 와이어 및/또는 광섬유를 수용할 수도 있는데, 원위 팁은 광학 카메라를 포함할 수도 있다. 샤프트(71)는 또한, 발광 다이오드와 같은 근접하게 위치된 광원으로부터 샤프트의 원위 단부로 광을 전달하기 위해 광섬유를 수용할 수도 있다.
기구(70)의 원위 단부에서, 원위 팁은 또한 진단 및/또는 치료, 관주 및 흡인을 위한 도구를 수술 부위로 전달하기 위한 작업 채널의 개구를 포함할 수도 있다. 원위 팁은 또한 내부 해부학적 공간의 이미지를 캡쳐하기 위해, 파이버 스코프 또는 디지털 카메라와 같은 카메라용 포트를 포함할 수도 있다. 관련하여, 원위 팁은 또한 카메라를 사용할 때 해부학적 공간을 조명하기 위한 광원용 포트를 포함할 수도 있다.
도 13의 예에서, 구동 샤프트 축, 따라서, 구동 입력부 축은 가늘고 긴 샤프트의 축에 직교한다. 그러나, 이 배열은, 가늘고 긴 샤프트(71)에 대한 롤 성능을 복잡하게 한다. 구동 입력부(73)를 정적으로 유지하면서 가늘고 긴 샤프트(71)를 그 축을 따라 롤링하는 것은, 힘줄이 구동 입력부(73)로부터 연장되어 연장 샤프트(71) 내에서 견인 관강에 진입함에 따라 힘줄의 바람직하지 않은 엉킴으로 나타난다. 그러한 힘줄의 결과적으로 나타나는 엉킴은 내시경 검사 프로시져 동안 가요성의 가늘고 긴 샤프트의 움직임을 예측하도록 의도되는 임의의 제어 알고리즘을 방해할 수도 있다.
도 14는, 구동 유닛의 축이 기구의 가늘고 긴 샤프트 축과 평행한 기구 및 기구 드라이버에 대한 대안적인 설계를 예시한다. 도시되는 바와 같이, 원형의 기구 드라이버(80)는 로봇 암(82)의 단부에서 평행하게 정렬되는 그들의 구동 출력부(81)를 갖는 네 개의 구동 유닛을 포함한다. 구동 유닛 및 그들의 각각의 구동 출력부(81)는, 어셈블리(83) 내의 구동 유닛 중 하나에 의해 구동되는 기구 드라이버(80)의 회전 어셈블리(83)에 수용된다. 회전 구동 유닛에 의해 제공되는 토크에 응답하여, 회전 어셈블리(83)는, 회전 어셈블리(83)를 기구 드라이버의 비 회전 부분(84)에 연결하는 원형 베어링을 따라 회전한다. 전력 및 제어 신호는, 브러시형 슬립 링 연결(도시되지 않음)에 의한 회전을 통해 유지될 수도 있는 전기 접촉을 통해 기구 드라이버(80)의 비 회전 부분(84)으로부터 회전 어셈블리(83)로 전달될 수도 있다. 다른 실시형태에서, 회전 어셈블리(83)는, 회전 불가능 부분(84)에 통합되는, 따라서 다른 구동 유닛에 평행하지 않은 별개의 구동 유닛에 응답할 수도 있다. 회전 메커니즘(83)은, 기구 드라이버(80)가, 기구 드라이버 축(85) 주위의 단일의 유닛으로서, 구동 유닛 및 그들 각각의 구동 출력부(81)를 회전시키는 것을 허용한다.
앞서 개시된 실시형태와 같이, 기구(86)는 가늘고 긴 샤프트 부분(88) 및 기구 드라이버(80)에서 구동 출력부(81)를 수용하도록 구성되는 복수의 구동 입력부(89)(예컨대, 리셉터클, 풀리, 및 스풀)를 포함하는 (논의 목적을 위해 투명한 외부 스킨을 가지고 도시되는) 기구 베이스(87)를 포함할 수도 있다. 앞서 개시된 실시형태와는 달리, 기구 샤프트(88)는, 도 13의 설계에서와 같이 직교하는 대신, 구동 입력부(89)의 축에 실질적으로 평행한 축을 갖는 기구 베이스(87)의 중심으로부터 연장된다.
기구 드라이버(80)의 회전 어셈블리(83)에 커플링될 때, 기구 베이스(87) 및 기구 샤프트(88)를 포함하는 의료 기구(86)는 기구 드라이버 축(85)을 중심으로 회전 어셈블리(83)와 결합되어 회전한다. 기구 샤프트(88)가 기구 베이스(87)의 중심에 배치되기 때문에, 기구 샤프트(88)는 부착시 기구 드라이버 축(85)과 동축이다. 따라서, 회전 어셈블리(83)의 회전은 기구 샤프트(88)로 하여금 그 자신의 길이 방향 축을 중심으로 회전하게 한다. 또한, 기구 베이스(87)가 기구 샤프트(88)와 함께 회전함에 따라, 기구 베이스(87) 내의 구동 입력부(89)에 연결되는 어떠한 힘줄도 회전 동안 엉키지 않는다. 따라서, 구동 출력부(81), 구동 입력부(89), 및 기구 샤프트(88)의 축의 평행성은, 어떠한 제어 힘줄도 엉키게 하지 않으면서 샤프트 회전을 허용한다.
E. 내비게이션 및 제어.
전통적인 내시경 검사는, 관내 안내(endoluminal guidance)를 오퍼레이터 의사에게 제공하기 위해, (예를 들면, C 암을 통해 전달될 수도 있는 바와 같은) 형광 투시법(fluoroscopy) 및 다른 형태의 방사선 기반의 이미징 모달리티의 사용을 수반할 수도 있다. 대조적으로, 본 개시에 의해 고려되는 로봇 시스템은, 방사선에 대한 의사의 노출을 감소시키고 수술실 내의 기기의 양을 감소시키기 위해 비 방사선 기반의 내비게이션 및 위치 측정 수단을 제공할 수 있다. 본원에서 사용될 때, 용어 "위치 측정(localization)"은 기준 좌표 시스템에서 오브젝트의 위치를 결정 및/또는 모니터링하는 것을 지칭할 수도 있다. 방사선이 없는 수술 환경을 달성하기 위해, 수술 전 매핑, 컴퓨터 비전, 실시간 EM 추적, 및 로봇 커맨드 데이터와 같은 기술이 개별적으로 또는 조합하여 사용될 수도 있다. 방사선 기반의 이미징 모달리티가 여전히 사용되는 다른 경우에서, 전적으로 방사선 기반의 이미징 모달리티를 통해 획득되는 정보를 향상시키기 위해, 수술 전 매핑, 컴퓨터 비전, 실시간 EM 추적, 및 로봇 커맨드 데이터는 개별적으로 또는 조합하여 사용될 수도 있다.
도 15는, 예시적인 실시형태에 따른, 기구의 위치와 같은, 로봇 시스템의 하나 이상의 엘리먼트의 위치를 추정하는 위치 측정 시스템(90)을 예시하는 블록도이다. 위치 측정 시스템(90)은 하나 이상의 명령어를 실행하도록 구성되는 하나 이상의 컴퓨터 디바이스의 세트일 수도 있다. 컴퓨터 디바이스는, 상기에서 논의되는 하나 이상의 컴포넌트에서 프로세서(또는 프로세서들) 및 컴퓨터 판독 가능 메모리에 의해 구현될 수도 있다. 제한이 아닌 예로서, 컴퓨터 디바이스는 도 1에서 도시되는 타워(30), 도 1 내지 도 4에서 도시되는 카트, 도 5 내지 도 10에서 도시되는 베드, 등등에 있을 수도 있다.
도 15에서 도시되는 바와 같이, 위치 측정 시스템(90)은, 의료 기구의 원위 팁에 대한 위치 데이터(96)를 생성하기 위해 입력 데이터(91-94)를 프로세싱하는 위치 측정 모듈(95)을 포함할 수도 있다. 위치 데이터(96)는 기준의 프레임에 대한 기구의 원위 단부의 위치 및/또는 방위를 나타내는 데이터 또는 로직일 수도 있다. 기준의 프레임은 환자의 해부학적 구조에 대한 또는 EM 필드 생성기와 같은 공지된 오브젝트에 대한 기준의 프레임일 수 있다(EM 필드 생성기에 대해서는 하기의 논의 참조).
이제, 다양한 입력 데이터(91-94)가 더욱 상세하게 설명된다. 저선량(low dose) CT 스캔의 집합(collection)의 사용을 통해 수술 전 매핑이 달성될 수도 있다. 수술 전 CT 스캔은 이차원 이미지를 생성하는데, 각각은 환자의 내부 해부학적 구조의 파단도(cutaway view)의 "슬라이스"를 나타낸다. 집합적으로 분석될 때, 환자 폐 네트워크와 같은 환자의 해부학적 구조의, 해부학적 강(cavity), 공간 및 구조에 대한 이미지 기반의 모델이 생성될 수도 있다. 중심 라인 지오메트리와 같은 기술은 CT 이미지로부터 결정 및 근사화되어, 수술 전 모델 데이터(91)로 지칭되는 환자의 해부학적 구조의 삼차원 볼륨을 발생시킬 수도 있다. 중심 라인 지오메트리의 사용은 미국 특허 출원 제14/523,760호에서 논의되는데, 이 특허 출원의 내용은 그 전체가 본원에 통합된다. 네트워크 토폴로지 모델은 또한 CT 이미지로부터 유도될 수도 있으며, 특히 기관지경 검사에 적합하다.
몇몇 실시형태에서, 기구는 비전 데이터(92)를 제공하기 위한 카메라를 갖출 수도 있다. 위치 측정 모듈(95)은 하나 이상의 비전 기반의 위치 추적을 가능하게 하기 위해 비전 데이터를 프로세싱할 수도 있다. 예를 들면, 수술 전 모델 데이터는 의료 기구(예를 들면, 내시경 또는 내시경의 작업 채널을 통한 기구 전진)의 컴퓨터 비전 기반의 추적을 가능하게 하기 위해 비전 데이터(92)와 연계하여 사용될 수도 있다. 예를 들면, 수술 전 모델 데이터(91)를 사용하여, 로봇 시스템은 내시경의 이동의 예상 경로에 기초하여 모델로부터 예상된 내시경 검사 이미지의 라이브러리를 생성할 수도 있는데, 각각의 이미지는 모델 내의 위치에 링크된다. 수술 중에, 카메라(예를 들면, 내시경의 원위 단부에 있는 카메라)에서 캡쳐되는 실시간 이미지를 이미지 라이브러리에 있는 것들에 비교하여 위치 측정을 지원하기 위해, 이 라이브러리는 로봇 시스템에 의해 참조될 수도 있다.
다른 컴퓨터 비전 기반의 추적 기술은 피쳐 추적을 사용하여 카메라의, 따라서 내시경의 모션을 결정한다. 위치 측정 모듈(95)의 몇몇 피쳐는, 수술 전 모델 데이터(91)에서 해부학적 관강에 대응하는 원형의 기하학적 형상을 식별할 수도 있고 그들 기하학적 형상의 변화를 추적하여 어떤 해부학적 관강이 선택되었는지 뿐만 아니라, 카메라의 상대적 회전 및/또는 병진 모션을 결정할 수도 있다. 토폴로지 맵의 사용은, 비전 기반의 알고리즘 또는 기술을 더욱 향상시킬 수도 있다.
다른 컴퓨터 비전 기반의 기술인 광학적 흐름(optical flow)은, 카메라 움직임을 유추하기 위해 비전 데이터(92)의 비디오 시퀀스에서 이미지 픽셀의 변위 및 병진을 분석할 수도 있다. 다수의 반복에 걸친 다수의 프레임의 비교를 통해, 카메라의(따라서 내시경의) 움직임 및 위치가 결정될 수도 있다.
위치 측정 모듈(95)은, 수술 전 모델에 의해 표현되는 환자의 해부학적 구조에 위치 맞춤될 수도 있는 글로벌 좌표 시스템에서 내시경의 실시간 위치를 생성하기 위해 실시간 EM 추적을 사용할 수도 있다. EM 추적에서, 의료 기구(예를 들면, 내시경 검사 도구)에서 하나 이상의 위치 및 방위에 매립되는 하나 이상의 센서 코일을 포함하는 EM 센서(또는 추적기)는, 공지된 위치에 배치되는 하나 이상의 정적 EM 필드 생성기에 의해 생성되는 EM 필드에서의 변동을 측정한다. EM 센서에 의해 검출되는 위치 정보는 EM 데이터(93)로서 저장된다. EM 필드 생성기(또는 송신기)는, 매립된 센서가 검출할 수도 있는 저 강도 자기장을 생성하기 위해 환자 가까이에 배치될 수도 있다. 자기장은 EM 센서의 센서 코일에서 작은 전류를 유도하는데, 이것은 분석되어 EM 센서와 EM 필드 생성기 사이의 거리 및 각도를 결정할 수도 있다. 이들 거리 및 방위는, 좌표 시스템에서의 단일의 위치를 환자의 해부학적 구조의 수술전 모델에서의 위치에 정렬하는 기학학적 변환을 결정하기 위해 환자 해부학적 구조(예를 들면, 수술전 모델)에 수술 중에 "위치 맞춤될" 수도 있다. 일단 위치 맞춤되면, 의료 기구의 하나 이상의 위치(예를 들면, 내시경의 원위 팁)에 있는 매립된 EM 추적기는 환자의 해부학적 구조를 통한 의료 기구의 진행의 실시간 표시를 제공할 수도 있다.
로봇 커맨드 및 운동학 데이터(94)는 로봇 시스템에 대한 위치 측정 데이터(96)를 제공하기 위해 위치 측정 모듈(95)에 의해 또한 사용될 수도 있다. 관절 운동 커맨드로부터 유래하는 디바이스 피치(pitch) 및 요(yaw)는 수술 전 캘리브레이션 동안 결정될 수도 있다. 수술 중에, 이들 캘리브레이션 측정은 기구의 위치를 추정하기 위해 공지된 삽입 깊이 정보와 조합하여 사용될 수도 있다. 대안적으로, 이들 계산은 네트워크 내에서의 의료 기구의 위치를 추정하기 위해 EM, 비전, 및/또는 토폴로지 모델링과 조합하여 분석될 수도 있다.
도 15가 도시하는 바와 같이, 다수의 다른 입력 데이터가 위치 측정 모듈(95)에 의해 사용될 수 있다. 예를 들면, 비록 도 15에서 도시되지는 않지만, 형상 감지 파이버(shape-sensing fiber)를 활용하는 기구는, 위치 결정 모듈(95)이 기구의 위치 및 형상을 결정하기 위해 사용할 수 있는 형상 데이터를 제공할 수 있다.
위치 측정 모듈(95)은 입력 데이터(91-94)를 조합하여 사용할 수도 있다. 몇몇 경우에, 그러한 조합은, 위치 측정 모듈(95)이 입력 데이터(91-94)의 각각으로부터 결정되는 위치에 신뢰도 가중치를 할당하는 확률론적 접근법을 사용할 수도 있다. 따라서, (EM 간섭이 존재하는 경우에 그럴 수도 있는 바와 같이) EM 데이터가 신뢰 가능하지 않을 수도 있는 경우, EM 데이터(93)에 의해 결정되는 위치의 신뢰도는 감소될 수 있고, 위치 측정 모듈(95)은 비전 데이터(92) 및/또는 로봇 커맨드 및 운동학 데이터(94)에 더 크게 의존할 수도 있다.
상기에서 논의되는 바와 같이, 본원에서 논의되는 로봇 시스템은, 상기 기술 중 하나 이상의 조합을 통합하도록 설계될 수도 있다. 타워, 베드, 및/또는 카트에 기반을 둔 로봇 시스템의 컴퓨터 기반의 제어 시스템은, 예를 들면, 영구 자기 스토리지 드라이브, 솔리드 스테이트 드라이브, 또는 등등과 같은 비일시적 컴퓨터 판독 가능 저장 매체 내에, 실행시, 시스템으로 하여금, 센서 데이터 및 유저 커맨드를 수신 및 분석하게 하고, 시스템 전체에 걸쳐 제어 신호를 생성하게 하고, 글로벌 좌표 시스템, 해부학적 구조 맵, 등등 내에서의 기구의 위치와 같은 내비게이션 및 위치 측정 데이터를 디스플레이하게 하는 컴퓨터 프로그램 명령어를 저장할 수도 있다.
2. 자동적으로 초기화되는 내비게이션 시스템에 대한 소개
본 개시의 실시형태는, 내시경 검사 이미지로부터 깊이 정보를 생성하고 그것을 사용하여 초기 내시경 위치를 결정하는 것에 의해, 다수의 내비게이션 관련 데이터 소스를 분석하여 관강 네트워크 내에서의 의료 기구의 위치 및 방위의 추정에서의 정확도를 증가시키는 것에 의해, 그리고 추가적인 깊이 정보를 생성하고 그것을 사용하여 이상 반응 이후 내비게이션 시스템을 재초기화하는 것에 의해, 네트워크 관강, 예를 들면, 폐 기도 또는 내부의 개방 공간을 갖는 다른 해부학적 구조체를 통한 의료 기구의 내비게이션을 용이하게 하는 시스템 및 기술에 관한 것이다.
기관지경은, 의사가 환자의 기관(windpipe) 및 기도를 검사하는 것을 허용하는 광원 및 소형 카메라를 포함할 수 있다. 환자 기도 내에서의 기관지경의 정확한 위치가 알려지지 않는 경우 환자 외상이 발생할 수 있다. 기관지경의 위치를 확인하기 위해, 이미지 기반의 기관지경 검사 안내 시스템은 기관지경 카메라로부터의 데이터를 사용하여, 환자 기도의 분기점에서 국소적인 위치 맞춤(예를 들면, 관강 네트워크 내의 특정한 위치에서의 위치 맞춤)을 수행할 수 있고, 따라서, 유리하게는, 환자의 호흡 운동에 기인하는 위치 에러에 덜 취약할 수 있다. 그러나, 이미지 기반의 안내 방법이 기관지경 비디오에 의존하기 때문에, 이미지 기반의 안내 방법은 환자 기침이나 또는 점막 폐색(mucous obstruction), 등등에 의해 야기되는 기관지경 비디오에서의 아티팩트(artifact)에 의해 영향을 받을 수 있다.
전자기 내비게이션 안내 기관지경 검사(electromagnetic navigation-guided bronchoscopy; EMN 기관지경 검사)는, 폐의 기관지 통로를 통해 내시경 검사 도구 또는 카테터의 위치를 측정하고 그들을 안내하는 EM 기술을 구현하는 기관지경 검사 프로시져의 한 타입이다. EMN 기관지경 검사 시스템은, 저 강도의 변동하는 EM 필드를 방출하며 환자의 관강 네트워크 주위의 추적 볼륨의 위치를 확립하는 EM 필드 생성기를 사용할 수 있다. EM 필드는, 필드 근처에 있는 대전된 오브젝트의 거동에 영향을 주는, 전기적으로 대전된 오브젝트에 의해 생성되는 물리적 필드(field)이다. 생성된 필드 내에 배치되는 오브젝트에 부착된 EM 센서는, EM 필드 내에 있는 이들 오브젝트의 위치 및 방위를 추적하기 위해 사용될 수 있다. 변동하는 전자기장에 의해 EM 센서에서 작은 전류가 유도된다. 이들 전기 신호의 특성은 센서와 EM 필드 생성기 사이의 거리 및 각도에 의존한다. 따라서, EMN 기관지경 검사 시스템은, EM 필드 생성기, 자신의 원위 팁에 또는 그 근처에 EM 센서를 갖는 조향 가능한 의료 기구, 및 안내 컴퓨팅 시스템을 포함할 수 있다. EM 필드 생성기는, 내비게이팅될 환자의 관강 네트워크, 예를 들면, 기도, 위장관(gastrointestinal tract), 또는 순환성 통로(circulatory) 주위에서 EM 필드를 생성한다. 조향 가능한 채널은 기관지경의 작업 채널을 통해 삽입되고 EM 센서를 통해 EM 필드에서 추적된다.
EMN 기관지경 검사 프로시져의 시작 이전에, 환자의 특정한 기도 구조체에 대해, 예를 들면, 수술 전 CT 흉부 스캔으로부터 가상의 삼차원(3D) 기관지 맵이 획득될 수 있다. 맵 및 EMN 기관지경 검사 시스템을 사용하여, 의사는 폐 내의 소망되는 위치로 내비게이팅하여, 병변을 생검하거나, 림프절(lymph node)을 병기 분류하거나(stage), 방사선 치료를 안내하는 마커를 삽입하거나, 또는 근접치료(brachytherapy) 카테터를 안내할 수 있다. 예를 들면, EM 필드의 좌표 시스템과 모델 좌표 시스템 사이의 매핑을 생성하기 위해, 프로시져의 시작에서 위치 맞춤이 수행될 수 있다. 따라서, 기관지경 검사 동안 조향 가능한 채널이 추적됨에 따라, 모델 좌표 시스템에서의 조향 가능한 채널의 위치는 EM 센서로부터의 위치 데이터에 기초하여 공칭적으로 알려지게 된다.
본원에서 사용되는 바와 같이, 좌표 프레임은 특정한 감지 모달리티의 기준의 프레임이다. 예를 들면, EM 데이터에 대해, EM 좌표 프레임은 EM 필드의 소스(예를 들면, 필드 생성기)에 의해 정의되는 기준의 프레임이다. CT 이미지의 경우 그리고 구획화된 3D 모델의 경우, 기준의 이 프레임은 스캐너에 의해 정의되는 프레임에 기초한다. 본 내비게이션 시스템은, 예를 들면, 모델 내부의 기구의 위치를 디스플레이하기 위해, 데이터의 이들 상이한 소스(이들은 그들 자신의 기준 프레임 내에 있음)를 3D 모델(즉, CT 프레임)으로 나타내는(위치 맞춤하는) 내비게이션의 문제를 다룬다.
따라서, 하기에서 더 상세히 설명되는 바와 같이, 개시된 관강 네트워크 내비게이션 시스템 및 기술은, 내비게이션 문제를 완화하고 더욱 효과적인 내시경 검사 프로시져를 가능하게 하기 위해, 이미지 기반의 내비게이션 시스템, 로봇 시스템, 및 EM 내비게이션 시스템으로부터의 입력뿐만 아니라, 다른 환자 센서로부터의 입력 양자를 조합할 수 있다. 예를 들면, 내비게이션 융합 시스템은, 기구 카메라로부터 수신되는 이미지 정보, 기구 팁 상의 EM 센서로부터의 위치 정보, 및 기구의 움직임을 안내하는 로봇 시스템으로부터의 로봇 위치 정보를 분석할 수 있다. 분석에 기초하여, 내비게이션 융합 프레임워크는, 이들 타입의 내비게이션 데이터의 하나 이상에 대한 기구 위치 추정 및/또는 내비게이션 결정을 기초로 할 수 있다. 내비게이션 융합 프레임워크의 몇몇 구현예는 또한, 관강 네트워크의 3D 모델과 관련하여 기구 위치를 결정할 수 있다. 몇몇 실시형태에서, 내비게이션 융합 시스템을 통한 추적을 초기화하기 위해 사용되는 초기 기구 위치는, 본원에서 설명되는 바와 같이, 깊이 정보에 기초하여 생성될 수 있다.
개시된 시스템 및 기술은, 관강 네트워크의 내비게이션을 위한 다른 타입의 내시경 검사 프로시져를 비롯한, 기관지경 검사 안내 시스템 및 다른 애플리케이션에 이점을 제공할 수 있다. 해부학적 구조에서, "관강(lumen)"은, 기관의, 예컨대 기도, 혈관, 신장, 심장, 내장, 또는 내부에서 의학적 프로시져가 수행되고 있는 임의의 다른 적절한 기관의 내부 개방 공간 또는 강(cavity)을 지칭할 수도 있다. 본원에서 사용될 때, "관강 네트워크(luminal network)"는 목표 조직 부위, 예를 들면, 폐의 기도, 순환계(circulatory system), 신배(calyx), 및 위장계(gastrointestinal system)를 향해 이어지는 적어도 하나의 관강을 갖는 해부학적 구조체를 지칭한다. 따라서, 비록 본 개시가 기관지경 검사와 관련되는 내비게이션 시스템의 예를 제공하지만, 개시된 위치 추정 양태는 환자의 관강 네트워크의 내비게이션을 위한 다른 의료 시스템에 적용 가능하다는 것이 인식될 것이다. 그와 같이, 개시된 시스템 및 기술은, 기관지경, 요관경, 위장 내시경, 및 다른 적절한 의료 기구와 함께 사용될 수 있다.
3. 예시적인 내비게이션 시스템의 개요
도 16a는 개시된 내비게이션 시스템 및 기술의 하나 이상의 양태를 구현하는 예시적인 동작 환경(100)을 예시한다. 동작 환경(100)은 환자(101), 환자(101)를 지지하는 플랫폼(102), 내시경(115)의 움직임을 안내하는 의료 로봇 시스템(110), 의료 로봇 시스템(110)의 동작을 제어하기 위한 커맨드 센터(105), EM 컨트롤러(135), EM 필드 생성기(120), 및 EM 센서(125, 130)를 포함한다. 도 16a는 또한, 도 16b에 더 상세하게 도시되는 환자(101) 내의 관강 네트워크(140)의 영역의 외형(outline)을 예시한다.
의료 로봇 시스템(110)은 환자(101)의 관강 네트워크(140)를 통한 내시경(115)의 움직임을 위치 결정하고 안내하기 위한 하나 이상의 로봇 암을 포함할 수 있다. 커맨드 센터(105)는 위치 데이터를 수신하기 위해 및/또는 유저로부터 제어 신호를 제공하기 위해 의료 로봇 시스템(110)에 통신 가능하게 커플링될 수 있다. 본원에서 사용될 때, "통신 가능하게 커플링되는(communicatively coupled)"은, 무선 광역 네트워크(wireless wide area network; WWAN)(예를 들면, 하나 이상의 셀룰러 네트워크), 무선 근거리 통신망(wireless local area network; WLAN)(예를 들면, IEEE 802.11(Wi-Fi)과 같은 하나 이상 표준에 대해 구성됨), 블루투스, 데이터 전송 케이블, 및/또는 등등을 포함하지만 그러나 이들로 제한되지는 않는, 임의의 유선 및/또는 무선 데이터 전송 매체를 지칭한다. 의료 로봇 시스템(110)은 도 1 내지 도 15와 관련하여 상기에서 설명되는 시스템 중 임의의 것일 수 있다. 의료 로봇 시스템(110)의 실시형태는 도 16c와 관련하여 더 상세하게 논의되며, 커맨드 센터(105)는 도 17과 관련하여 더 상세하게 논의된다.
내시경(115)은, 해부학적 구조(예를 들면, 신체 조직)의 이미지를 캡쳐하고 다른 의료 기구를 목표 조직 부위에 삽입하기 위한 작업 채널을 제공하기 위해, 환자의 해부학적 구조 안으로 삽입되는 관형이며 가요성인 수술용 기구일 수도 있다. 상기에서 설명되는 바와 같이, 내시경(115)은, 프로시져 고유의 내시경, 예를 들면, 기관지경, 위내시경, 또는 요관경일 수 있거나, 또는 복강경 또는 관 조향 가능 카테터일 수도 있다. 내시경(115)은 그 원위 단부에 하나 이상의 이미징 디바이스(예를 들면, 카메라 또는 다른 타입의 광학 센서)를 포함할 수 있다. 이미징 디바이스는, 광섬유, 파이버 어레이, 감광성 기판, 및/또는 렌즈(들)와 같은 하나 이상의 광학 컴포넌트를 포함할 수도 있다. 광학 컴포넌트는, 내시경(115)의 팁의 움직임이 이미징 디바이스에 의해 캡쳐되는 이미지의 시야에 대한 대응하는 변화를 초래하도록, 내시경(115)의 팁과 함께 이동한다. 내시경(115)의 원위 단부는, 관강 네트워크(140) 주위에서 생성되는 EM 필드 내에서의 원위 단부의 위치를 추적하기 위한 하나 이상의 EM 센서(125)를 구비할 수 있다. 내시경(115)의 원위 단부는 하기의 도 18을 참조하여 추가로 설명된다.
EM 컨트롤러(135)는 변동하는 EM 필드를 생성하도록 EM 필드 생성기(120)를 제어할 수 있다. EM 필드는, 실시형태에 따라 시변할 수 있고 및/또는 공간적으로 변할 수 있다. EM 필드 생성기(120)는 몇몇 실시형태에서 EM 필드 생성 보드일 수 있다. 개시된 환자 내비게이션 시스템의 몇몇 실시형태는, 환자와 환자를 지지하는 플랫폼(102) 사이에 배치되는 EM 필드 생성기 보드를 사용할 수 있고, EM 필드 생성기 보드는, 그 아래에 위치되는 전도성의 또는 자성의 재료에 의해 야기되는 임의의 추적 왜곡을 최소화하는 얇은 장벽을 통합할 수 있다. 다른 실시형태에서, 예를 들면, 의료 로봇 시스템(110)에서 도시되는 것들과 유사한 로봇 암 상에 EM 필드 생성기 보드가 장착될 수 있는데, 이것은 환자 주위에 유연한 셋업 옵션을 제공할 수 있다.
커맨드 센터(105), 의료 로봇 시스템(110), 및/또는 EM 컨트롤러(135) 안으로 통합되는 EM 공간 측정 시스템은, EM 센서 코일, 예를 들면, EM 센서(125, 130)와 함께 제공되는 또는 임베딩되는 오브젝트의 EM 필드 내에서의 위치를 결정할 수 있다. EM 센서가 본원에서 설명되는 바와 같이 제어된 변동하는 EM 필드 내에 배치되는 경우, 센서 코일에서 전압이 유도된다. 이들 유도된 전압은, EM 센서 및 따라서 EM 센서를 갖는 오브젝트의 위치 및 방위를 계산하기 위해, EM 공간 측정 시스템에 의해 사용될 수 있다. 자기장이 낮은 전계 강도를 가지며 인간 조직을 안전하게 통과할 수 있기 때문에, 광학적 공간 측정 시스템의 시선 제약 없이 오브젝트의 위치 측정이 가능하다.
EM 센서(125)는, EM 필드 내에서 내시경의 원위 단부의 위치를 추적하기 위해, 내시경(115)의 원위 단부에 커플링될 수 있다. EM 필드는 EM 필드 생성기와 관련하여 고정되며, 관강 네트워크의 3D 모델의 좌표 프레임은 EM 필드의 좌표 프레임으로 매핑될 수 있다. 예를 들면, 호흡에 의해 야기되는 변위를 비롯한 환자 움직임을 보상하는 것을 가능하게 하는 것에 의해 EM 센서(125)의 위치를 추적함에 있어서 지원하기 위해, (예를 들면, 관강 네트워크(140)의 영역 내에 있는) 환자의 신체 표면 상에 다수의 추가적인 EM 센서(130)가 제공될 수 있다. 다수의 상이한 EM 센서(130)가 신체 표면 상에서 이격될 수 있다.
도 16b는 도 16a의 동작 환경(100)에서 내비게이팅될 수 있는 예시적인 관강 네트워크(140)를 예시한다. 관강 네트워크(140)는, 환자의 기도(150)의 분기된 구조체(branched structure), 메인 카리나(156)(기관지경 검사 내비게이션 동안 조우되는 첫 번째 분기점)로 이어지는 기관(154), 및 진단 및/또는 치료를 위해 본원에 설명되는 바와 같이 액세스될 수 있는 결절(또는 병변)(155)을 포함한다. 예시되는 바와 같이, 결절(155)은 기도(150)의 주변에 위치된다. 내시경(115)은 제1 직경을 가지며, 따라서, 그 원위 단부는 더 작은 직경의 기도를 통해 결절(155) 주위에 배치될 수 없다. 따라서, 조향 가능한 카테터(155)가 내시경(115)의 작업 채널로부터 결절(155)까지의 잔여 거리를 연장한다. 조향 가능한 카테터(145)는 기구, 예를 들면, 생검 바늘, 세포 브러시(cytology brush), 및/또는 조직 샘플링 포셉가 결절(155)의 목표 조직 부위로 전달될 수 있는 관강을 구비할 수도 있다. 그러한 구현예에서, 내시경(115)의 원위 단부 및 조향 가능 카테터(145)의 원위 단부 둘 모두는, 기도(150) 내에서 그들의 위치를 추적하기 위한 EM 센서를 구비할 수 있다. 다른 실시형태에서, 내시경(115)의 전체 직경은 조향 가능한 카테터(155) 없이 주변부에 도달하기에 충분히 작을 수도 있거나, 또는 주변(예를 들면, 2.5-3 cm 이내)에 가까이 가서 조향 불가능한 카테터를 통해 의료 기구를 배치하기에 충분히 작을 수도 있다. 내시경(115)을 통해 배치되는 의료 기구는 EM 센서를 갖출 수도 있고, 하기에 설명되는 위치 추정 기술은, 그러한 의료 기구가 내시경(115)의 원위 팁을 넘어 배치될 때 그러한 의료 기구에 적용될 수 있다.
몇몇 실시형태에서, 본원에서 설명되는 바와 같은 3D 관강 네트워크 모델의 2D 디스플레이, 또는 3D 모델의 단면은 도 16b와 유사할 수 있다. 추정된 위치 정보는 그러한 표현 상으로 중첩될 수 있다.
도 16c는, 도 16b의 관강 네트워크(140)를 통한 기구 이동을 안내하기 위한 의료 로봇 시스템(110)의 예시적인 로봇 암(175)을 예시한다. 로봇 암(175)은 몇몇 실시형태에서 상기에서 설명되는 로봇 암(12, 39)일 수 있고, 다양한 실시형태에서 카트 베이스(15), 환자 플랫폼(38)의 칼럼(37), 또는 천장 기반의 마운트일 수 있는 베이스(180)에 커플링된다. 상기에서 설명되는 바와 같이, 로봇 암(175)은, 관절(165)에서 커플링되는 다수의 암 세그먼트(170)를 포함하는데, 관절(170)은 로봇 암(175)에게 다수의 자유도를 제공한다.
로봇 암(175)은, 메커니즘 체인저 인터페이스(mechanism changer interface; MCI)(160)를 사용하여, 기구 드라이버(190), 예를 들면, 상기에서 설명되는 기구 드라이버(62)에 커플링될 수도 있다. 기구 드라이버(190)는 제거될 수 있고 상이한 타입의 기구 드라이버, 예를 들면, 내시경을 조작하도록 구성되는 제1 타입의 기구 드라이버 또는 복강경을 조작하도록 구성되는 제2 타입의 기구 드라이버로 교체될 수 있다. MCI(160)는, 공압(pneumatic pressure), 전력, 전기 신호, 및 광학 신호를 로봇 암(175)으로부터 기구 드라이버(190)로 전달하기 위한 커넥터를 포함한다. MCI(160)는 고정 스크류(set screw) 또는 베이스 플레이트 커넥터일 수 있다. 기구 드라이버(190)은, 직접 구동, 하모닉 구동, 기어식 구동, 벨트 및 풀리, 자기 구동, 및 등등을 포함하는 기술을 사용하여 수술용 기구(surgical equipment), 예를 들면, 내시경(115)을 조작한다. MCI(160)는 기구 드라이버(190)의 타입에 기초하여 상호 교환 가능하며 소정 타입의 수술 프로시져에 따라 커스터마이징될 수 있다. 로봇 암(175)은 관절 레벨 토크 감지 및 원위 단부에 있는 손목을 포함할 수 있다.
의료 로봇 시스템(110)의 로봇 암(175)은, 내시경(115)의 팁을 편향시키기 위해 상기에서 설명되는 바와 같이 힘줄을 사용하여 내시경(115)을 조작할 수 있다. 내시경(115)은, 가늘고 긴 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타낼 수도 있다. 비선형 거동은, 내시경(115)의 강성 및 압축성뿐만 아니라, 상이한 가늘고 긴 이동 부재 사이의 느슨함 또는 강성에서의 가변성에 기초할 수도 있다.
베이스(180)는, 의사와 같은 유저가 커맨드 콘솔의 쾌적함으로부터 의료 로봇 시스템(110)을 제어할 수도 있는 동안, 로봇 암(175)이 액세스하여 환자에 대한 수술 프로시져를 수행 또는 지원하도록 배치될 수 있다. 베이스(180)는 도 16a에서 도시되는 커맨드 콘솔(105)에 통신 가능하게 커플링될 수 있다.
베이스(180)는, 전력의 소스(182), 공압(186), 및 제어 및 센서 전자장치(184) - 중앙 프로세싱 유닛, 데이터 버스, 제어 회로부(control circuitry), 및 메모리와 같은 컴포넌트를 포함함 - 및 로봇 암(175)을 움직이기 위한 모터와 같은 관련 액추에이터를 포함할 수 있다. 전자장치(184)는 본원에서 설명되는 내비게이션 제어 기술을 구현할 수 있다. 베이스(180) 내의 전자장치(184)는 또한, 커맨드 콘솔로부터 전달되는 제어 신호를 프로세싱 및 송신할 수도 있다. 몇몇 실시형태에서, 베이스(180)는 의료 로봇 시스템(110)을 운송하기 위한 휠(188) 및 휠(188)용 휠락/브레이크(도시되지 않음)를 포함한다. 의료 로봇 시스템(110)의 이동성은, 외과 수술실에서의 공간 제약을 수용하는 것뿐만 아니라, 수술용 기구의 적절한 위치 결정 및 움직임을 용이하게 하는 것을 돕는다. 게다가, 이동성은, 로봇 암(175)이 환자, 의사, 마취 의사, 또는 임의의 다른 기구와 간섭하지 않도록, 로봇 암(175)이 구성되는 것을 허용한다. 프로시져 동안, 유저는, 제어 디바이스, 예를 들면, 커맨드 콘솔을 사용하여 로봇 암(175)을 제어할 수도 있다.
도 17은, 예를 들면, 예시적인 동작 환경(100)에서 커맨드 콘솔(105)로서 사용될 수 있는 예시적인 커맨드 콘솔(200)을 예시한다. 커맨드 콘솔(200)은 콘솔 베이스(201), 디스플레이 모듈(202), 예를 들면, 모니터, 및 제어 모듈, 예를 들면, 키보드(203) 및 조이스틱(204)을 포함한다. 몇몇 실시형태에서, 커맨드 콘솔(200) 기능성 중 하나 이상은 의료 로봇 시스템(110)의 베이스(180) 또는 의료 로봇 시스템(110)에 통신 가능하게 커플링되는 다른 시스템에 통합될 수도 있다. 유저(205), 예를 들면, 의사는, 커맨드 콘솔(200)을 사용하여 인체 공학적 위치에서 의료 로봇 시스템(110)을 원격으로 제어한다.
콘솔 베이스(201)는, 예를 들면, 도 16a 내지 도 16c에서 도시되는 내시경(115)으로부터의 카메라 화상(camera imagery) 및 추적 센서 데이터와 같은 신호를 해석하고 프로세싱하는 것을 담당하는, 중앙 프로세싱 유닛, 메모리 유닛, 데이터 버스, 및 관련 데이터 통신 포트를 포함할 수도 있다. 몇몇 실시형태에서, 콘솔 베이스(201) 및 베이스(180) 둘 모두는 부하 밸런싱(load-balancing)을 위한 신호 프로세싱을 수행한다. 콘솔 베이스(201)는 또한, 제어 모듈(203 및 204)을 통해 유저(205)에 의해 제공되는 커맨드 및 명령어를 프로세싱할 수도 있다. 도 17에서 도시되는 키보드(203) 및 조이스틱(204) 외에, 제어 모듈은 다른 디바이스, 예를 들면, 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 핸드헬드 원격 컨트롤러와 같은 컨트롤러, 및 손 제스쳐 및 손가락 제스쳐를 캡쳐하는 센서(예를 들면, 모션 센서 또는 카메라)를 포함할 수도 있다. 컨트롤러는 기구의 동작(예를 들면, 관절 운동, 구동, 물 관주, 등등)에 매핑되는 유저 입력(예를 들면, 버튼, 조이스틱, 방향 패드, 등등)의 세트를 포함할 수 있다.
유저(205)는 커맨드 콘솔(200)을 사용하여 내시경(115)과 같은 수술용 기구를 속도 모드 또는 위치 제어 모드에서 제어할 수 있다. 속도 모드에서, 유저(205)는, 제어 모듈을 사용하는 직접 수동 제어에 기초하여 내시경(115)의 원위 단부의 피치 및 요 모션을 직접적으로 제어한다. 예를 들면, 조이스틱(204) 상에서의 움직임은, 내시경(115)의 원위 단부에서의 요 및 피치 움직임으로 매핑될 수도 있다. 조이스틱(204)은 햅틱 피드백을 유저(205)에게 제공할 수 있다. 예를 들면, 조이스틱(204)은, 내시경(115)이 소정의 방향에서 더 이상 병진 또는 회전할 수 없다는 것을 나타내기 위해 진동할 수도 있다. 커맨드 콘솔(200)은 또한, 내시경(115)이 최대 병진 또는 회전에 도달하였다는 것을 나타내기 위해 시각적 피드백(예를 들면, 팝업 메시지) 및/또는 청각적 피드백(예를 들면, 비프음 발생)을 제공할 수 있다.
위치 제어 모드에서, 커맨드 콘솔(200)은 수술용 기구, 예를 들면, 내시경(115)을 제어하기 위해 본원에서 설명되는 바와 같이 환자 관강 네트워크의 3D 맵 및 내비게이션 센서로부터의 입력을 사용한다. 커맨드 콘솔(200)은 의료 로봇 시스템(110)의 로봇 암(175)에 제어 신호를 제공하여 내시경(115)을 목표 위치로 조작한다. 3D 맵에 대한 의존에 기인하여, 위치 제어 모드는 환자의 해부학적 구조의 정확한 매핑을 필요로 할 수도 있다.
몇몇 실시형태에서, 유저(205)는, 커맨드 콘솔(200)을 사용하지 않고도, 의료 로봇 시스템(110)의 로봇 암(175)을 수동으로 조작할 수 있다. 외과 수술실에서의 셋업 동안, 유저(205)는 로봇 암(175), 내시경(115)(또는 내시경들), 및 다른 수술용 기구를 환자에게 액세스하도록 이동시킬 수도 있다. 의료 로봇 시스템(110)은 유저(205)로부터의 힘 피드백 및 관성 제어에 의존하여 로봇 암(175) 및 기구의 적절한 구성을 결정할 수도 있다.
디스플레이(202)는 전자 모니터(예를 들면, LCD 디스플레이, LED 디스플레이, 터치 감응 디스플레이), 가상 현실 뷰잉 디바이스(virtual reality viewing device), 예를 들면, 고글 또는 안경, 및/또는 다른 디스플레이 디바이스를 포함할 수도 있다. 몇몇 실시형태에서, 디스플레이 모듈(202)은, 예를 들면, 터치스크린을 갖는 태블릿 디바이스와 같은 제어 모듈과 통합된다. 몇몇 실시형태에서, 디스플레이(202) 중 하나는 환자의 관강 네트워크의 3D 모델 및 가상 내비게이션 정보(예를 들면, EM 센서 위치에 기초하여 모델 내에서의 내시경의 단부의 가상 표현)를 디스플레이할 수 있고, 한편 다른 디스플레이(202)는 내시경(115)의 단부에 있는 카메라 또는 다른 감지 디바이스로부터 수신되는 이미지 정보를 디스플레이할 수 있다. 몇몇 구현예에서, 유저(205)는 통합 디스플레이(202) 및 제어 모듈을 사용하여 의료 로봇 시스템(110)에 커맨드를 입력하는 것 및 데이터를 보는 것 둘 모두를 할 수 있다. 디스플레이(202)는, 입체 디바이스, 예를 들면, 바이저 또는 고글을 사용하여 3D 이미지의 2D 렌더링 및/또는 3D 이미지를 디스플레이할 수 있다. 3D 이미지는, 환자의 해부학적 구조를 예시하는 컴퓨터 3D 모델인 "내뷰 뷰(endo view)"(즉, 내시경 검사 뷰)를 제공한다. "내부 뷰"는, 환자 내부의 가상 환경 및 환자 내부의 내시경(115)의 예상된 위치를 제공한다. 유저(205)는 "내부 뷰" 모델을, 카메라에 의해 캡쳐되는 실제 이미지에 비교하여, 내시경(115)이 환자 내부에서 정확한 - 또는 대략 정확한 - 위치 안에 있다는 것을 마음속으로 확인하고 검증하는 것을 돕는다. "내부 뷰"는 내시경(115)의 원위 단부 주위의 해부학적 구조, 예를 들면, 환자의 기도, 순환 혈관(circulatory vessel), 또는 장(intestine) 또는 결장(colon)의 형상에 대한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(115)의 원위 단부 주위에 해부학적 구조의 3D 모델 및 CT 스캔을 동시에 디스플레이할 수 있다. 게다가, 디스플레이 모듈(202)은 내시경(115)의 이미 결정된 내비게이션 경로를 3D 모델 및 CT 스캔 상에 오버레이할 수도 있다.
몇몇 실시형태에서, 내시경(115)의 모델은 수술 프로시져의 상태를 나타내는 것을 돕기 위해 3D 모델과 함께 디스플레이된다. 예를 들면, CT 스캔은 생검이 필요할 수도 있는 해부학적 구조에서의 병변을 식별한다. 동작 동안, 디스플레이 모듈(202)은, 내시경(115)의 현재 위치에 대응하는 내시경(115)에 의해 캡쳐되는 기준 이미지를 나타낼 수도 있다. 디스플레이 모듈(202)은 유저 설정 및 특정한 수술 프로시져에 따라 내시경(115)의 모델의 상이한 뷰를 자동적으로 디스플레이할 수도 있다. 예를 들면, 디스플레이 모듈(202)은, 내시경(115)이 환자의 수술 영역에 접근함에 따라 내비게이션 단계 동안의 내시경(115)의 오버헤드 형광 투시 뷰(fluoroscopic view)를 나타낸다.
도 18은, 본원에서 설명되는 바와 같이 이미징 및 EM 감지 성능을 갖는 예시적인 내시경, 예를 들면, 도 16a 내지 도 16c의 내시경(115)의 원위 단부(300)를 예시한다. 도 18에서, 내시경의 원위 단부(300)는 이미징 디바이스(315), 조명 소스(310), 및 EM 센서 코일(305)의 단부를 포함한다. 원위 단부(300)는 내시경의 작업 채널(320)로의 개구를 더 포함하는데, 그 개구를 통해, 생검 바늘, 세포 브러시, 및 포셉과 같은 수술용 기구가 내시경 샤프트를 따라 삽입되어, 내시경 팁 근처의 영역에 액세스하는 것을 허용할 수도 있다.
조명 소스(310)은 해부학적 공간의 일부분을 조명하기 위한 광을 제공한다. 조명 소스 각각은, 선택된 파장 또는 파장의 범위에서 광을 방출하도록 구성되는 하나 이상의 발광 디바이스일 수 있다. 파장은 임의의 적절한 파장, 예를 들면, 몇몇 예를 거론하자면, 가시 스펙트럼 광, 적외선 광, (예를 들면, 형광 투시를 위한) x 선일 수 있다. 몇몇 실시형태에서, 조명 소스(310)는 원위 단부(300)에 위치되는 발광 다이오드(LED)를 포함할 수 있다. 몇몇 실시형태에서, 조명 소스(310)는, 원격 광원, 예를 들면, x 선 생성기로부터의 광을 원위 단부(300)를 통해 투과시키기 위한, 내시경의 길이를 통해 연장되는 하나 이상의 광섬유 파이버를 포함할 수 있다. 원위 단부(300)가 다수의 조명 소스(310)를 포함하는 경우, 이들 각각은 서로 동일한 또는 상이한 파장의 광을 방출하도록 구성될 수 있다.
이미징 디바이스(315)는, 수신된 광을 나타내는 에너지를 전기 신호로 변환하도록 구성되는 임의의 감광성 기판 또는 구조체, 예를 들면, 전하 결합 소자(charge-coupled device; CCD) 또는 상보형 금속 산화물 반도체(Complementary Metal-Oxide Semiconductor; CMOS) 이미지 센서를 포함할 수 있다. 이미징 디바이스(315)의 몇몇 예는, 내시경의 원위 단부(300)로부터의 이미지를 나타내는 광을 내시경의 근위 단부 근처의 접안렌즈(eyepiece) 및/또는 이미지 센서로 송신하도록 구성되는 하나 이상의 광섬유, 예를 들면, 광섬유 번들을 포함할 수 있다. 이미징 디바이스(315)는 다양한 광학 설계를 위해 필요로 되는 바와 같은 하나 이상의 렌즈 및/또는 파장 통과 또는 차단 필터를 추가적으로 포함할 수 있다. 조명 소스(310)로부터 방출되는 광은, 이미징 디바이스(315)가 환자의 관강 네트워크 내부의 이미지를 캡쳐하는 것을 허용한다. 그 다음, 이들 이미지는 개개의 프레임 또는 일련의 연속 프레임(예를 들면, 비디오)으로서 본원에서 설명되는 바와 같은 프로세싱을 위해 커맨드 콘솔(200)과 같은 컴퓨터 시스템으로 송신될 수 있다.
원위 단부(300) 상에 위치되는 전자기 코일(305)은, 원위 단부가 해부학적 시스템 내에 배치되는 동안, 내시경의 원위 단부(300)의 위치 및 방위를 검출하기 위해 전자기 추적 시스템과 함께 사용될 수도 있다. 몇몇 실시형태에서, 코일(305)은 상이한 축을 따라 전자기장에 대한 감도를 제공하도록 기울어져, 개시된 내비게이션 시스템에게 총 6 자유도: 세 개의 치 자유도 및 세 개의 각도 자유도를 측정하는 능력을 제공할 수도 있다. 다른 실시형태에서, 자신의 축이 내시경의 내시경 샤프트를 따라 배향된 단일의 코일만이 원위 단부(300) 상에 또는 그 내에 배치될 수도 있다. 그러한 시스템의 회전 대칭성에 기인하여, 그것의 축을 중심으로 롤링하는 것은 감지되지 않고, 따라서, 그러한 구현예에서는 5 자유도만이 검출될 수도 있다.
도 19는 본원에서 설명되는 바와 같은 예시적인 내비게이션 융합 시스템(400)의 개략적인 블록도를 예시한다. 하기에서 더 상세히 설명되는 바와 같이, 시스템(400)을 사용하여, 수술 프로시져 동안 다수의 상이한 소스로부터의 데이터가 결합되고 반복적으로 분석되어 환자의 관강 네트워크 내에서의 수술용 기구(예를 들면, 내시경)의 위치/방위 정보 및 실시간 움직임 정보의 추정치를 제공하고 내비게이션 결정을 행한다.
내비게이션 융합 시스템(400)은, 깊이 피쳐 데이터 저장소(405), 내시경 EM 센서 데이터 저장소(415), 위치 맞춤 데이터 저장소(475), 모델 데이터 저장소(425), 내시경 이미징 데이터 저장소(480), 내비게이션 경로 데이터 저장소(445), 및 로봇 위치 데이터 저장소(470)를 포함하는 다수의 데이터 저장소를 포함한다. 비록 이하의 논의에서의 명확성의 목적을 위해 도 19에 개별적으로 도시되지만, 데이터 저장소 중 일부 또는 전체는 단일의 메모리 또는 메모리의 세트에 함께 저장될 수 있다는 것이 인식될 것이다. 시스템(400)은 또한, 위치 맞춤 계산기(465), 깊이 기반의 위치 추정기(410), 위치 계산기(430), 이미지 분석기(435), 상태 추정기(440), 및 내비게이션 컨트롤러(460)를 포함하는 다수의 프로세싱 모듈을 포함한다. 각각의 모듈은, 메모리에 저장되는 컴퓨터 판독 가능 명령어의 세트, 및 이하에서 설명되는 피쳐를 함께 수행하기 위한 명령어에 의해 구성되는 하나 이상의 프로세서를 나타낼 수 있다. 내비게이션 융합 시스템(400)은, 예를 들면, 상기에서 설명되는 제어 및 센서 전자장치(184) 및/또는 콘솔 베이스(201)에서 하나 이상의 데이터 스토리지 디바이스 및 하나 이상의 하드웨어 프로세서로서 구현될 수 있다. 내비게이션 융합 시스템(400)은 몇몇 구현예에서 위치 측정 시스템(90)의 한 실시형태일 수 있다.
도 19는 또한, 내비게이션 융합 시스템(400)과 통신하는 모델링 시스템(420)을 예시한다. 하기에서 더 상세히 설명되는 바와 같이, 모델링 시스템(420)을 사용하여, 환자의 해부학적 관강 네트워크의 다수의 이미지를 나타내는 데이터가 분석되어 해부학적 관상 네트워크의 가상 표현의 삼차원 모델을 구축할 수 있고, 이 가상의 해부학적 관강 네트워크는 깊이 피쳐 데이터 저장소(405)를 구축하기 위해 사용될 수 있다. 비록 개별적으로 예시되지만, 몇몇 실시형태에서, 모델링 시스템(420) 및 내비게이션 융합 시스템(400)은 단일의 시스템으로 결합될 수 있다. 모델링 시스템(420)은, 모델 생성기(440) 및 피쳐 추출기(450)를 포함하는 다수의 프로세싱 모듈을 포함한다. 비록 모델 데이터 저장소(425) 및 깊이 피쳐 데이터 저장소(405)가 내비게이션 융합 시스템(400) 내에서 예시되지만, 이들 데이터 저장소는 몇몇 구현예에서 대안적으로 또는 추가적으로 모델링 시스템(420) 내에 위치될 수 있다.
모델 생성기(440)는 의료 이미징 시스템(예시되지 않음), 예를 들면, CT 이미징 시스템 또는 자기 공명 이미징 시스템으로부터 데이터를 수신하도록 구성되는 모듈이다. 수신된 데이터는 환자의 해부학적 관강 네트워크를 나타내는 일련의 이차원 이미지를 포함할 수 있다. 모델 생성기(440)는 일련의 이차원 이미지로부터 데이터의 삼차원 볼륨을 생성할 수 있고, 데이터의 삼차원 볼륨으로부터 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델을 형성할 수 있다. 예를 들면, 모델 생성기는 해부학적 관강 네트워크의 조직에 대응하는 데이터 부분을 식별하기 위해 구획화를 적용할 수 있다. 그와 같이, 결과적으로 나타나는 모델은 해부학적 관강 네트워크의 조직의 내부 표면을 나타낼 수 있다.
모델 데이터 저장소(425)는 환자의 관강 네트워크의 모델, 예를 들면, 모델 생성기(440)에 의해 생성되는 모델을 나타내는 데이터를 저장하는 데이터 스토리지 디바이스이다. 그러한 모델은, 몇몇 예에서, 환자 기도의 지형(topography) 및/또는 직경을 비롯한, 관강 네트워크의 구조 및 연결성에 대한 3D 정보를 제공할 수 있다. 환자 폐의 일부 CT 스캔은, 환자의 기도가 모델에서 그들의 전체 직경으로 확장되도록, 호흡 정지(breath-hold)에서 수행된다.
내시경 이미징 데이터 저장소(480)는, 내시경의 원위 단부에 있는 카메라, 예를 들면, 이미징 디바이스(315)로부터 수신되는 이미지 데이터를 저장하는 데이터 스토리지 디바이스이다. 이미지 데이터는 다양한 실시형태에서 비디오 시퀀스에서의 별개의 이미지 또는 일련의 이미지 프레임일 수 있다.
피쳐 추출기(450)는 모델 생성기(440)로부터 모델을 수신하도록 그리고 모델 내의 다수의 상이한 위치에 대응하는 깊이 피쳐의 데이터베이스를 구축하도록 구성되는 모듈이다. 예를 들면, 피쳐 추출기(450)는 모델 내의 다수의 상이한 위치를 식별하고, 위치의 각각에서 가상 이미징 디바이스를 계산적으로 위치 결정하고, 각각의 위치에서 가상 이미지를 생성하고, 그 다음, 가상 이미지로부터 명시된 피쳐를 유도할 수 있다. 본원에서 설명되는 바와 같은 "가상 이미징 디바이스"는 물리적 이미징 디바이스가 아니라, 오히려, 이미지 캡쳐 디바이스의 계산 시뮬레이션이다. 시뮬레이션은 시야, 렌즈 왜곡, 초점 거리, 및 휘도 쉐이딩을 포함하는 가상 이미징 디바이스 파라미터에 기초하여 가상 이미지를 생성할 수 있는데, 이것은 결과적으로 실제 이미징 디바이스의 파라미터에 기초할 수 있다.
각각의 생성된 가상 이미지는 가상 이미징 디바이스의 위치와 가상 이미징 디바이스의 가상 시야 내의 가상의 관강 네트워크의 조직 사이의 거리를 나타내는 가상 깊이 맵에 대응할 수 있다. 피쳐 추출기(450)는 가상 이미징 디바이스 파라미터를, 환자의 관강 네트워크를 수반하는 의료 프로시져에서 사용하기 위해 식별된 실제 이미징 디바이스의 파라미터에 매칭시킬 수 있다. 데이터베이스를 구축하기 위한 예시적인 프로세스는, 도 20과 관련하여 하기에서 더 상세하게 설명된다.
피쳐 추출기(450)는 또한, 내시경 이미징 데이터 저장소(480)로부터 데이터를 수신하고, 내시경 이미징 디바이스와 이미지의 픽셀에 의해 표현된 이미지화된 조직 사이의 거리를 나타내는 깊이 맵을 생성하고, 생성된 깊이 맵으로부터 피쳐를 유도할 수 있다. 몇몇 실시형태에서, 피쳐 추출기(450)는 단일의 이미지에 기초하여 깊이 맵을 생성하기 위해 광경사법(예를 들면, 음영에 의한 형상) 프로세싱을 사용할 수 있다. 몇몇 실시형태에서, 피쳐 추출기(450)는 깊이 맵을 생성하기 위해 이미지화된 영역을 묘사하는 입체 이미지 세트를 사용할 수 있다.
깊이 피쳐 데이터 저장소(405)는, 피쳐 추출기(450)에 의해 생성되는 바와 같은, 깊이 맵 및/또는 가상 깊이 맵으로부터 유도되는 피쳐의 데이터베이스를 저장하는 데이터 스토리지 디바이스이다. 피쳐는 관강 네트워크의 본질(nature) 및/또는 내비게이션 프로시져 동안 피쳐의 사용에 기초하여 변동될 수 있다. 피쳐는, 예를 들면, 깊이 맵 내에서의 국소적 극대점(local maxima)의 위치(예를 들면, 기도의 분기(branch) 아래로 보이는 가장 먼 가상 조직을 나타냄), 국소적 극대점을 둘러싸는 곡선 피크를 따른 위치, 두 개의 국소적 극대점을 분리하는 거리를 나타내는 값(예를 들면, 두 개의 국소적 극대점 사이의 픽셀의 수), 및/또는 다수의 국소적 극대점을 연결하는 라인 또는 다각형의 사이즈, 형상 및 방위를 포함할 수 있다. 곡선 피크는 ,곡선 피크의 한 쪽 상의 픽셀의 깊이 값이 증가하고 있고 한편 곡선 피크의 다른 쪽 상의 깊이 값이 감소하고 있는 깊이 맵에서의 영역을 나타낸다. 곡선 피크는, 픽셀과 관련되는 깊이가 픽셀의 어느 한 쪽 상의 픽셀과 관련되는 깊이보다 더 큰 국소적 극대점을 포함할 수 있다. 깊이 피쳐 데이터 저장소(405)는, 가상의 관강 네트워크 내의 피쳐 및 관련된 위치를 튜플로서, 예를 들면, 각각의 식별된 위치에 대해 다음의 형태 {위치n, 피쳐 값}로 저장할 수 있다. 예로서, 위치가 기도 내에서의 위치에 관련되고 피쳐가 두 개의 식별된 국소적 극대점 사이의 거리에 관련되는 경우, 튜플은 {위치n(기도 세그먼트, 기도 세그먼트 내에서의 깊이), 피쳐 값(거리)}로서 생성될 수 있다. 그와 같이, 데이터베이스 내의 추출된 피쳐는 내비게이팅된 해부학적 관강 네트워크의 이미지로부터 실시간으로 추출되는 피쳐에 대한 비교에서 프로그래밍 방식으로 신속하게 평가될 수 있고, 식별된 최상의 또는 가까운 피쳐 매치에 대응하는 위치가 신속하게 확인될 수 있다.
깊이 기반의 위치 추정기(410)는, 해부학적 관강 네트워크의 이미지로부터 실시간으로 추출되는 피쳐(들)를, 가상 이미지로부터 추출되는 미리 계산된 피쳐(들)에 비교하도록 구성되는 모듈이다. 깊이 기반의 위치 추정기(410)는, 가상 피쳐 대 실제 이미지로부터 추출되는 피쳐의 매치를 위해 깊이 피쳐 데이터 저장소(405)를 스캔할 수 있고, 매치에 대응하는 위치를, 해부학적 관강 네트워크 내에서의 기구(예를 들면, 내시경)의 위치로서 사용할 수 있다. 매치는, 정확히 매치, 깊이 피쳐 데이터 저장소(405) 내의 이용 가능한 피쳐 중 최상의 매치, 추출된 피쳐와의 임계 차이 이내의 매치일 수 있다. 깊이 기반의 위치 추정기(410)는, 예를 들면, 기구의 위치의 확률론적 평가에서 초기 위치("사전 분포(prior)")로서 사용하기 위해, 또는 기구의 정확한 위치가 알 수 없게 되는 이상 반응(예를 들면, 기침)의 발생 이후 사전 분포로서 사용하기 위해, 상태 추정기(440)에 위치를 출력할 수 있다. 깊이 기반의 위치 추정기(410)는, 모델과 환자 주위에 배치되는 EM 필드 사이의 초기 위치 맞춤 및/또는 업데이트된 위치 맞춤을 생성함에 있어서 사용하기 위해 위치를 위치 맞춤 계산기(465)로 출력할 수 있다.
내시경 EM 센서 데이터 저장소(415)는, 내시경의 원위 단부에 있는 EM 센서로부터 유도되는 데이터를 저장하는 데이터 스토리지 디바이스이다. 상기에서 설명되는 바와 같이, 그러한 센서는 EM 센서(125), 및 EM 센서 코일(305)을 포함할 수도 있고, 결과적으로 나타나는 데이터는 EM 필드 내에서의 센서의 위치 및 방위를 식별하기 위해 사용될 수 있다. EM 호흡 센서로부터의 데이터와 유사하게, 내시경 EM 센서에 대한 데이터는 {x, y, z, tn}의 형태로 튜플로 저장할 수 있는데, 여기서 x, y, 및 z는 시간 tn에서의 EM 필드에서의 센서의 좌표를 나타낸다. 몇몇 실시형태는 EM 센서 튜플에서 기구의 롤, 피치, 및 요를 더 포함할 수도 있다. 내시경 EM 센서 데이터 저장소(415)는 다수의 상이한 시간에 대응하는 각각의 내시경 기반의 센서에 대한 다수의 그러한 튜플을 저장할 수 있다.
위치 맞춤 계산기(465)는 3D 모델의 좌표 프레임(예를 들면, 모델을 생성하기 위해 사용되는 CT 스캐너의 좌표 프레임)과 EM 필드의(예를 들면, EM 필드 생성기(120)의) 좌표 프레임 사이의 위치 맞춤 또는 매핑을 식별할 수 있는 모듈이다. 환자의 해부학적 구조를 통해 센서를 추적하기 위해, 내비게이션 융합 시스템(400)은 "위치 맞춤"으로 알려진 프로세스를 요구할 수도 있는데, 그에 의해 위치 맞춤 계산기(465)는 상이한 좌표 시스템 사이에 단일의 오브젝트를 정렬시키는 기하학적 변환을 찾는다. 예를 들면, 환자의 특정한 해부학적 부위는 3D 모델 좌표의 그리고 또한 EM 센서 좌표의 표현을 가질 수도 있다. 초기 위치 맞춤을 계산하기 위해, 위치 맞춤 계산기(465)의 하나의 구현예는, 2016년 9월 17일자로 출원된 발명의 명칭이 "Navigation of Tubular Networks"인 미국 출원 제15/268,238호에서 설명되는 바와 같은 위치 맞춤을 수행할 수 있는데, 상기 출원의 개시는 참조에 의해 본원에 통합된다. 하나의 가능한 위치 맞춤 기술의 예로서, 위치 맞춤 계산기(465)는, 내시경이 환자의 기도에 삽입될 때, 예를 들면, 내시경이 다양한 분기점에 도달할 때, 다수의 상이한 포인트에서 내시경 이미징 데이터 저장소(480) 및 EM 센서 데이터 저장소(415)로부터 데이터를 수신할 수 있다. 이미지 데이터는, 내시경의 원위 단부가, 예를 들면, 자동화된 피쳐 분석을 통해 분기점에 도달한 때를 식별하기 위해 사용될 수 있다. 위치 맞춤 계산기(465)는 내시경 EM 센서 데이터 저장소(415)로부터 데이터를 수신하고 내시경이 분기점에 배치될 때 내시경의 원위 단부에 있는 EM 센서의 위치를 식별할 수 있다. 몇몇 예는 분기뿐만 아니라 환자 기도 내의 다른 포인트를 사용할 수 있으며, 그러한 포인트를 기도의 "골격" 모델에서의 대응하는 포인트에 매핑할 수도 있다. 위치 맞춤 계산기(465)는, EM 필드와 모델 사이의 기하학적 변환을 식별하기 위해, EM 위치 중 적어도 세 개를 모델 내의 포인트에 연결하는 데이터를 사용할 수 있다. 다른 실시형태는, 예를 들면, 환자 기도의 첫 번째 분기점으로부터 그리고 좌측 및 우측 폐에 있는 두 개 이상의 분기점으로부터 적어도 3 개를 취하는 것에 의해 수동의 위치 맞춤을 수반할 수 있고, 대응하는 포인트를 사용하여 위치 맞춤을 계산할 수 있다. 기하학적 변환(위치 맞춤 데이터로 또한 지칭됨)을 수행하기 위한 이 데이터는 위치 맞춤 데이터로서 위치 맞춤 데이터 저장소(475)에 저장될 수 있다.
초기 위치 맞춤이 결정된 이후, 변환 정확도를 증가시키도록, 뿐만 아니라, 내비게이션 시스템에 대한 변화, 예를 들면, 환자의 움직임에 기인하는 변화를 보상하도록, 위치 맞춤 계산기(465)는 수신된 데이터에 기초하여 위치 맞춤 변환의 자신의 추정치를 업데이트할 수도 있다. 몇몇 양태에서, 위치 맞춤 계산기(465)는, 연속적으로, 정의된 간격으로, 및/또는 관강 네트워크에서의 내시경(또는 그 컴포넌트(들))의 위치에 기초하여, 위치 맞춤 변환의 추정치를 업데이트할 수도 있다.
위치 맞춤 데이터 저장소(475)는, 방금 논의된 바와 같이, EM 필드의 좌표 프레임으로부터 모델의 좌표 프레임으로 기하학적 변환을 수행하기 위해 사용 가능한 위치 맞춤 데이터를 저장하는 데이터 스토리지 디바이스이다. 또한 상기에서 논의되는 바와 같이, 위치 맞춤 데이터는 위치 맞춤 계산기(465)에 의해 생성될 수도 있고 몇몇 구현예에서 연속적으로 또는 주기적으로 업데이트될 수도 있다.
위치 계산기(430)는, EM 센서 좌표를 3D 모델 좌표로 변환하기 위해, 모델 데이터 저장소(425), 위치 맞춤 데이터 저장소(475), 및 스코프 위치 추정기(scope position estimator)(420)로부터 데이터를 수신하는 모듈이다. 스코프 위치 추정기(420)는, 상기에서 설명되는 바와 같이, EM 필드 생성기의 위치와 관련하여 EM 센서의 초기 위치를 계산한다. 이 위치는 또한 3D 모델 내에서의 위치에 대응한다. EM 센서의 초기 위치를 EM 좌표 프레임으로부터 모델 좌표 프레임으로 변환하기 위해, 위치 계산기(430)는, 위치 맞춤 데이터 저장소(475)에 저장되어 있는 바와 같은 모델 좌표 프레임(예를 들면, 위치 맞춤 데이터)과 EM 좌표 프레임 사이의 매핑에 액세스할 수 있다. 스코프 위치를 3D 모델 좌표 프레임으로 변환하기 위해, 위치 계산기(430)는, 입력으로서, 모델 데이터 저장소(425)로부터 3D 모델의 지형을 나타내는 데이터를, 위치 맞춤 데이터 저장소(475)로부터 3D 모델의 좌표 프레임과 EM 필드 사이의 위치 맞춤을 나타내는 데이터를, 그리고 스코프 위치 추정기(420)로부터 EM 필드에서의 스코프의 위치를 수신한다. 몇몇 실시형태는 또한 상태 추정기(440)로부터 사전 추정된 상태 데이터를 수신할 수 있다. 수신된 데이터에 기초하여, 위치 계산기(430)는, 예를 들면, EM 센서 위치 데이터 대 3D 모델에서의 위치의 즉석 변환을 수행할 수도 있다. 이것은, 하기에서 더 상세히 설명되는 바와 같이, 3D 모델의 지형 내에서의 스코프의 원위 단부의 위치의 예비 추정치를 나타낼 수 있고 스코프 위치의 최종 추정치를 생성하기 위한 하나의 입력으로 상태 추정기(440)에 제공될 수 있다.
이미지 분석기(435)는, 내시경 이미징 데이터 저장소(480) 및 모델 데이터 저장소(425)로부터 데이터를 수신하며 이 데이터를 비교하여 내시경 위치 결정을 결정할 수 있는 모듈이다. 예를 들면, 이미지 분석기(435)는 모델 스캔으로부터 기도 트리의 볼륨 렌더링된 또는 표면 렌더링된 관내 이미지에 액세스할 수 있고, 렌더링된 이미지를 이미징 디바이스(315)로부터의 실시간 이미지 또는 비디오 프레임과 비교할 수 있다. 예를 들면, 이미지는 (예를 들면, Powell(파웰)의 최적화, 심플렉스(simplex) 또는 그래디언트(gradient) 방법, 비용으로서 정규화된 교차 상관 또는 상호 정보를 갖는 경사 하강법 알고리즘을 사용하여) 위치 맞춤될 수 있고, 그 다음, 두 소스로부터 획득되는 위치 맞춤된 이미지를 비교하기 위해, 제곱 차이 오차(square difference error)의 가중된 정규화된 합 및 정규화된 상호 정보가 사용될 수 있다. 스캔으로부터의 2D 이미지와 내시경으로부터 수신되는 2D 이미지 사이의 유사성은, 내시경이 스캔으로부터 이미지의 위치 근처에 배치되어 있다는 것을 나타낼 수 있다. 그러한 이미지 기반의 내비게이션은 환자 기도의 분기점에서 국소적 위치 맞춤을 수행할 수 있고, 따라서, EM 추적 시스템보다 환자 호흡 운동에 기인하는 노이즈에 덜 취약할 수 있다. 그러나, 이미지 분석기(435)가 내시경 비디오에 의존하기 때문에, 분석은, 환자 기침 또는 점막 폐색에 의해 야기되는 이미지에서의 아티팩트에 의해 영향을 받을 수 있다.
이미지 분석기(435)는 몇몇 실시형태에서 오브젝트 인식 기술을 구현할 수 있는데, 그에 의해, 이미지 분석기(435)는 이미지 데이터의 시야 내에 존재하는 오브젝트, 예컨대 분기 개구, 병변, 또는 입자를 검출할 수 있다. 오브젝트 인식을 사용하여, 이미지 분석기는 어떤 오브젝트가 식별되었는지에 대한 정보뿐만 아니라, 확률로 표현되는 오브젝트의 위치, 방위, 및/또는 사이즈를 나타내는 오브젝트 데이터를 출력할 수 있다. 하나의 예로서, 오브젝트 인식은, 관강 네트워크에서 분기 포인트를 나타낼 수도 있는 오브젝트를 검출하고, 그 다음, 그들의 위치, 사이즈, 및/또는 방위를 결정하기 위해 사용될 수 있다. 하나의 실시형태에서, 관강 네트워크 내의 주어진 이미지에서, 각각의 분기는 통상적으로 어둡고 대략 타원형인 영역으로 보일 것이며, 이들 영역은, 오브젝트로서 최대 안정적 극 영역(maximally stable extremal regions; MSER)과 같은 영역 검출 알고리즘을 사용하여, 프로세서에 의해 자동적으로 검출될 수도 있다. 이미지 분석기(435)는 기도를 식별하기 위해 다른 기술과 결합되는 광 반사 강도를 사용할 수 있다. 게다가, 이미지 분석기(435)는 또한, 관강 네트워크 내의 가능한 분기의 세트 중 어떤 분기가 진입되었는지를 검출하기 위해, 순차적 이미지 프레임의 세트에 걸쳐 검출된 오브젝트를 추적할 수 있다.
로봇 위치 데이터 저장소(470)는, 의료 로봇 시스템(110)으로부터 수신되는 로봇 위치 데이터, 예를 들면, 관강 네트워크 내에서의 의료 로봇 시스템(110)에 의한 의료 기구 또는 의료 기구의 일부(예를 들면, 기구 팁 또는 원위 단부)의 물리적 움직임에 관련되는 데이터를 저장하는 데이터 스토리지 디바이스이다. 예시적인 로봇 위치 데이터는, 예를 들면, 기구 팁에게, 특정한 해부학적 부위에 도달하고 및/또는 관강 네트워크 내에서 (예를 들면, 내시경 검사 기구의 리더 및 시스 중 하나 또는 둘 모두에 대한 특정한 피치, 롤, 요, 삽입, 및 후퇴를 통해) 기구 팁의 방위를 변경할 것을 지시하는 커맨드 데이터, 의료 기구의 일부(예를 들면, 기구 팁 또는 시스)의 삽입 움직임을 나타내는 삽입 데이터, 기구 드라이버 데이터, 및 예를 들면, 관강 네트워크 내에서의 내시경의 실제 움직임을 구동하는 내시경의 하나 이상의 견인 와이어, 힘줄 또는 샤프트의 모션과 같은, 의료 기구의 가늘고 긴 부재의 기계적 움직임을 나타내는 기계적 데이터를 포함할 수도 있다.
내비게이션 경로 데이터 저장소(445)는 관강 네트워크를 통한 목표 조직 부위까지의 미리 계획된 내비게이션 경로를 나타내는 데이터를 저장하는 데이터 스토리지 디바이스이다. 환자의 신체의 관강 네트워크 내의 특정한 포인트로 내비게이팅하는 것은, 관형 네트워크의 3D 모델을 생성하는 데 그리고 그 내에서의 내비게이션 경로를 결정하는 데 필요한 정보를 생성하기 위해, 수술 전에 소정의 단계가 취해지는 것을 요구할 수도 있다. 상기에서 설명되는 바와 같이, 특정한 환자의 기도의 지형 및 구조체의 3D 모델이 생성될 수도 있다. 목표는, 예를 들면, 생검할 병변 또는 수술로 치료할 기관 조직의 일부를 선택할 수 있다. 하나의 실시형태에서, 유저는, 예컨대 마우스로 클릭하는 것 또는 터치스크린을 터치하는 것에 의해, 3D 모델을 나타낼 수 있는 컴퓨터 디스플레이와 인터페이싱하는 것에 의해, 목표의 위치를 선택할 수 있다. 몇몇 실시형태에서, 내비게이션 경로는, 병변까지의 최단 내비게이션 경로를 유도하기 위해, 식별된 병변 부위 및 모델의 분석에 의해 프로그래밍 방식으로 식별될 수도 있다. 몇몇 실시형태에서, 경로는 의사에 의해 식별될 수도 있거나, 또는 자동 식별된 경로가 의사에 의해 수정될 수도 있다. 내비게이션 경로는, 식별된 목표에 도달하기 위해 이동할 관강 네트워크 내에서의 분기의 시퀀스를 식별할 수 있다.
상태 추정기(440)는, 입력을 수신하고 입력의 분석을 수행하여 의료 기구의 상태를 결정하는 모듈이다. 예를 들면, 상태 추정기(440)는, 입력으로서, 깊이 기반의 위치 추정기(410), 위치 계산기(430), 이미지 분석기(435), 내비게이션 경로 데이터 저장소(445), 및 로봇 위치 데이터 저장소(470)로부터 데이터를 수신할 수 있다. 상태 추정기(440)는, 제공된 입력이 주어지면 관강 네트워크 내에서의 의료 기구의 상태 및 대응하는 확률을 결정하기 위해 확률론적 분석을 구현할 수 있다. 추정된 상태는, (1) 관강 네트워크의 모델의 좌표 프레임과 관련한 기구의 x, y, z 위치, (2) 기구가 모델의 소정의 영역, 예를 들면, 특정한 기도 분기 내에 위치되는지의 여부, (3) 기구의 피치, 롤, 요, 삽입, 및/또는 후퇴, 및 (4) 목표까지의 거리 중 하나 이상을 가리킬 수 있다. 상태 추정기(440)는 기구(또는 기구의 원위 팁)의 추정된 상태를 시간의 함수로서 제공할 수 있다.
몇몇 실시형태에서, 상태 추정기(440)는 상태 및 대응하는 확률을 결정하기 위해 Bayesian(베이지안) 프레임워크를 구현할 수 있다. 베이지안 통계 분석은 사전 분포로 칭해지는 신념으로 시작하고, 그 다음, 관찰된 데이터로 그 신념을 업데이트한다. 사전 분포는, 베이지안 모델 파라미터가 될 수도 있는 것의 추정치를 나타내고 파라미터화된 분포로서 표현될 수 있다. 관찰된 데이터는 파라미터의 실제 값에 대한 증거를 획득하기 위해 수집될 수 있다. 베이지안 분석의 결과는 사후 분포(posterior)로 칭해지며, 신뢰도의 관점에서 이벤트를 표현하는 확률론적 분포를 나타낸다. 추가 데이터가 획득되면, 사후 분포는 사전 분포로서 취급되고 새로운 데이터로 업데이트될 수 있다. 이 프로세스는, 조건부 확률, 예를 들면, 이벤트 B가 발생하는 경우 이벤트 A가 얼마나 가능성이 있는지를 나타내는 Bayes(베이스)의 규칙을 활용한다.
개시된 내비게이션 융합 시스템(400)과 관련하여, 상태 추정기(440)는 이전에 추정된 상태 데이터를 사전 분포로서 사용할 수 있고 호흡 빈도 및/또는 단계 식별자(respiration frequency and/or phase identifier)(410), 스코프 위치 추정기(420), 위치 계산기(430), 이미지 분석기(435), 내비게이션 경로 데이터 저장소(445), 및/또는 로봇 위치 데이터 저장소(470)로부터의 입력을 관찰된 데이터로서 사용할 수 있다. 프로시져의 시작에서, 설명되는 비전 기반의 초기화 기술은 기관에서의 초기 깊이 및 롤을 추정하기 위해 사용될 수 있고, 깊이 기반의 위치 추정기(410)로부터 출력되는 이 추정치는 사전 분포로서 사용될 수 있다. 상태 추정기(440)는, 다수의 가능한 상태의 각각의 확률 및 신뢰도 값을 나타내는 사후 분포를 생성하기 위해, 사전 분포 및 관찰된 데이터의 베이지안 통계 분석을 수행할 수 있다.
"확률 분포"의 "확률"은, 본원에서 사용될 때, 의료 기구의 가능한 위치 및/또는 방위의 추정의 우도가 올바르다는 것을 지칭한다. 예를 들면, 의료 기구가 관강 네트워크 내의 여러 가지 상이한 가능한 분기 중 하나 내에 있을 상대적 우도를 나타내는 알고리즘 모듈 중 하나에 의해 상이한 확률이 계산될 수도 있다. 하나의 실시형태에서, 확률 분포의 타입(예를 들면, 이산 분포 또는 연속 분포)은 추정된 상태의 피쳐(예를 들면, 추정된 상태의 타입, 예를 들면, 연속적인 위치 정보 대 이산 분기 선택)를 매칭시키도록 선택된다. 하나의 예로서, 세 갈래(trifurcation)의 경우 의료 기구가 어떤 세그먼트 내에 있는지를 식별하기 위한 추정된 상태는 이산 확률 분포에 의해 표현될 수도 있고, 알고리즘 모듈 중 하나에 의해 결정되는 바와 같은 세 개의 분기의 각각의 내부의 위치에 있는 것으로 가능성을 나타내는 20 %, 30 % 및 50 %의 세 개의 이산 값을 포함할 수도 있다. 다른 예로서, 추정된 상태는 40 ± 5 도의 의료 기구의 롤 각도를 포함할 수도 있고 분기 내에서의 기구 팁의 세그먼트 깊이는 4 ± 1 mm일 수도 있는데, 각각은 연속 확률 분포의 한 타입인 가우시안 분포(Gaussian distribution)에 의해 표현된다.
대조적으로, "신뢰도 값"은, 본원에서 사용될 때, 하나 이상의 인자에 기초하여 도 19의 모듈 중 하나에 의해 제공되는 상태의 추정에서 신뢰도의 척도를 반영한다. EM 기반의 모듈의 경우, EM 필드에 대한 왜곡, EM 위치 맞춤에서의 부정확성, 환자의 시프트 또는 움직임, 및 환자의 호흡과 같은 인자는 상태의 추정에서 신뢰도에 영향을 줄 수도 있다. 특히, EM 기반의 모듈에 의해 제공되는 상태의 추정에서의 신뢰도 값은, 환자의 특정한 호흡 사이클, 환자 또는 EM 필드 생성기의 움직임, 및 기구 팁이 위치하는 해부학적 구조 내에서의 위치에 의존할 수도 있다. 이미지 분석기(435)의 경우, 상태의 추정에서 신뢰도 값에 영향을 줄 수도 있는 예시적인 인자는, 이미지가 캡쳐되는 해부학적 구조 내에서의 위치에 대한 조명 조건, 유체, 이미지를 캡쳐하는 광학 센서에 대한 또는 그 전방에서의 유체, 조직, 또는 다른 방해물의 존재, 환자의 호흡, 관형 네트워크 내부의 일반적인 유체 및 관형 네트워크의 폐색과 같은 환자 자체(예를 들면, 폐)의 관형 네트워크의 상태, 및 예를 들면, 내비게이팅 또는 이미지 캡쳐에서 사용되는 특정한 동작 기술을 포함한다.
예를 들면, 하나의 인자는, 특정한 알고리즘이 환자의 폐의 상이한 깊이에서 상이한 레벨의 정확도를 갖는 것일 수도 있고, 그 결과, 기도 개구에 상대적으로 가까이에서, 특정한 알고리즘은 의료 기구 위치 및 방위의 자신의 추정에서 높은 신뢰도를 가질 수도 있지만, 그러나 의료 기구가 폐의 저부 안으로 더 깊이 이동할수록, 그 신뢰도 값은 떨어질 수도 있다. 일반적으로, 신뢰도 값은 결과가 결정되는 프로세스에 관련되는 하나 이상의 시스템 인자에 기초하며, 반면, 확률은 기저의 데이터에 기초하여 단일의 알고리즘을 사용하여 다수의 가능성으로부터 올바른 결과를 결정하려고 시도할 때 발생하는 상대적 척도이다.
하나의 예로서, 이산 확률 분포(예를 들면, 추정된 상태의 세 개의 값이 수반되는 세 갈래에 대한 분기/세그먼트 식별)에 의해 표현되는 추정된 상태의 결과를 계산하기 위한 수학식은 다음과 같을 수 있다:
Figure pct00001
상기의 예시적인 수학식에서, Si(i = 1,2,3)는, 3D 모델에서 3 개의 가능한 세그먼트가 식별되거나 또는 존재하는 경우에서의 추정된 상태의 가능한 예시적인 값을 나타내고, CEM, CImage, 및 CRobot은 EM 기반의 알고리즘, 이미지 기반의 알고리즘 및 로봇 기반의 알고리즘에 대응하는 신뢰도 값을 나타내고, Pi,EM, Pi,Image, 및 Pi,Robot은 세그먼트 i에 대한 확률을 나타낸다. 그러한 융합 알고리즘의 확률론적 성질 때문에, 시간 경과에 따른 호흡이 추적될 수 있고 레이턴시 및 이상점 교란(outlier disturbance)을 극복하도록 심지어 예측될 수 있다.
몇몇 실시형태에서, 로봇 위치 데이터(470), 위치 계산기(435), 및 이미지 분석기(435)로부터의 데이터에 대한 신뢰도 값은, 호흡 빈도 및/또는 단계 식별자(410)로부터의 호흡 단계에 기초하여 적응적으로 결정될 수 있다. 예를 들면, 로봇 위치 데이터 및 이미지 데이터는 호흡 운동에 의해 EM 센서 데이터와는 상이하게 영향을 받을 수 있다. 몇몇 실시형태에서, 내시경 이미징 데이터 저장소(430)로부터 획득되는 비전 데이터는, 관강 네트워크 외부의 센서를 통해 검출 가능하지 않은 소정 종류의 호흡 운동, 예를 들면, 비전 프로세싱을 통해 검출될 수 있는 두개골-미부(cranial-caudal)(후방-전방) 운동에서의 기도의 움직임을 검출하기 위해 사용될 수 있다.
내비게이션 컨트롤러(460)는, 상태 추정기(440) 및 내비게이션 경로 데이터 저장소(445)로부터 데이터를 수신하고 이 데이터를 사용하여 의료 로봇 시스템(110)의 추가 동작을 안내하는 모듈이다. 예를 들면, 내비게이션 컨트롤러(460)는, 미리 결정된 내비게이션 경로를 따른 추정된 상태를 플롯할 수 있고, 기구가 내비게이션 경로를 따라 진행하기 위한 다음 움직임(예를 들면, 연장/후퇴 거리, 롤, 풀 와이어의 작동 또는 다른 작동 메커니즘)을 결정할 수 있다. 내비게이션 컨트롤러(460)는 몇몇 실시형태에서 결정된 다음 움직임에 따라 기구를 자동적으로 제어할 수 있다. 몇몇 실시형태에서, 내비게이션 컨트롤러(460)는, 예컨대, 워크스테이션(200)에 의해 유저에게 디스플레이하기 위한 특정한 기구 움직임 명령어 및/또는 기구 드라이버 동작 명령어를 출력할 수 있다. 내비게이션 컨트롤러(460)는, 몇몇 실시형태에서 유저 안내 내비게이션을 용이하게 하기 위해, 스코프 이미징 데이터 저장소(480)로부터 수신되는 실시간 이미지의 그리고 추정된 위치에서의 3D 모델의 슬라이스의 뷰를 나란히 디스플레이하게 할 수 있다.
4. 예시적인 내비게이션 기술의 개요
본 개시의 하나 이상의 양태에 따르면, 도 20은 추출된 가상 피쳐 데이터 세트를 생성하기 위한 예시적인 프로세스(500)의 플로우차트를 묘사한다. 몇몇 실시형태에서, 프로세스(500)는 수술 전에, 즉, 프로세스(500)에 의해 생성되는 모델, 및 프로세스(500)에 의해 추출되는 피쳐를 사용하는 의료 프로시져의 시작 이전에, 수행될 수 있다. 프로세스(500)는 도 19의 모델링 시스템(420), 도 16c의 제어 및 센서 전자장치(184), 및/또는 도 17의 콘솔 베이스(201), 또는 이들의 컴포넌트(들)에서 구현될 수 있다. 도 20의 플로우차트 내에서의 그래픽 묘사는, 설명되는 블록을 제한하는 것이 아니라 예시하기 위해 제공되며, 묘사된 모델(515), 깊이 맵(532, 534), 및 관련 피쳐의 시각적 표현은 프로세스(500)의 과정 동안, 생성 및 디스플레이될 수도 있거나 또는 생성 및 디스플레이되지 않을 수도 있다는 것이 인식될 것이다.
블록(510)에서, 모델 생성기(440)는 환자의 해부학적 관강 네트워크를 나타내는 이미지 데이터에 액세스하여 삼차원 모델(515)을 생성할 수 있다. 예를 들면, CT 스캔 또는 MRI 스캔은 해부학적 관강 네트워크의 이차원 단면을 묘사하는 다수의 이미지를 생성할 수 있다. 모델 생성기(440)는 이들 이차원 이미지를 구획하여 해부학적 관강 네트워크의 조직을 분리 또는 구획할 수 있고, 그 다음, 다양한 이미지에서의 분리된 조직 위치에 기초하여 그리고 이미지에서 묘사되는 단면의 공간적 관계에 기초하여 데이터의 삼차원 포인트 클라우드를 구축할 수 있다. 모델 생성기(440)는 이 삼차원 포인트 클라우드에 기초하여 모델을 생성할 수 있다. 삼차원 모델은 해부학적 관강 네트워크의 내부 표면을 가상의 관강 네트워크로서 모델링할 수 있다. 예를 들면, 모델(515)은 몇몇 구현예에서 CT 스캔으로부터 생성되는 환자의 기도의 구획화된 맵일 수 있다. 모델은 환자의 실제 관강 네트워크(또는 관강 네트워크의 일부분)의 임의의 이차원 또는 삼차원 표현일 수 있다.
블록(520)에서, 피쳐 추출기(450)는 모델(515) 내의 다수의 가상 위치(525)를 식별할 수 있다. 하나의 예로서, 피쳐 추출기(450)는 환자 기도를 나타내는 모델의 기관 세그먼트 내의 다수의 위치, 예를 들면, 내비게이션 시스템(400)의 파라미터에 따라 120 개의 위치, 또는 더 많은 또는 더 적은 위치를 식별할 수 있다. 다른 예에서, 피쳐 추출기(450)는 기도 모델의 다른 세그먼트 내의 위치, 예를 들면, 기도 모델을 통한 계획된 내비게이션 경로를 따르는, 계획된 내비게이션 경로 및 계획된 내비게이션 경로에 대한 미리 결정된 근접도 이내의 분기를 따르는, 또는 기도 세그먼트의 일부 또는 전부 전체에 걸친 위치를 식별할 수 있다.
블록(530)에서, 피쳐 추출기(450)는 식별된 위치에 대응하는 다수의 가상 깊이 맵(532, 534)을 생성할 수 있다. 예를 들면, 피쳐 추출기(450)는 식별된 위치를 사용하여 가상의 해부학적 관강 네트워크 내에서의 가상 이미징 디바이스의 위치를 설정할 수 있고, 각각의 식별된 위치에 대한 가상 깊이 맵(532, 534)을 생성할 수 있다. 묘사된 예시적인 가상 깊이 맵(532) 및 가상 깊이 맵(534)은, 기도에서의 메인 카리나(156)의 가상 표현에 관련이 있는 동일한 깊이 정보의 상이한 표현을 묘사한다. 가상 깊이 맵(532)의 이차원 표현에서의 각각의 가상 픽셀은, 그 깊이 값에 대응하는 컬러를 가지고 묘사되고, 한편 가상 깊이 맵(534)의 삼차원 표현은, 각각의 가상 픽셀이 그 깊이 값에 대응하는 z 축을 따르는 높이에서 도시되는 듀얼 피크 형상을 묘사한다. 묘사된 가상 깊이 맵은 블록(530)의 개념을 예시하기 위해 제공되지만, 그러나, 프로세스(500)의 몇몇 구현예에서는, 하기에서 설명되는 바와 같은 피쳐를 유도하기 위해 프로세스(500)가 그러한 깊이 맵을 나타내는 데이터만을 요구할 수도 있기 때문에, 그러한 시각적 표현은 생성되지 않을 수도 있다.
몇몇 구현예에서, 블록(530)에서, 피쳐 추출기(450)는, 관강 네트워크가 내비게이팅될 의료 프로시져 동안 사용을 위해 식별되는 이미징 디바이스, 예를 들면, 내시경의 원위 단부에 있는 이미징 디바이스(315)의 파라미터에 액세스할 수 있다. 피쳐 추출기(450)는 이미징 디바이스의 파라미터와 매치하도록 가상 이미징 디바이스의 가상 파라미터를 설정할 수 있다. 그러한 파라미터는, 시야, 렌즈 왜곡, 초점 거리, 및 휘도 쉐이딩을 포함할 수 있고, 이미징 디바이스를 테스트하는 것에 의해 획득되는 데이터 또는 캘리브레이션 데이터에 기초할 수 있다. 비네팅(vignetting)으로 또한 알려져 있는 휘도 쉐이딩은 가장자리 근처에서 이미지의 암화(darkening)를 야기하는 광학 시스템에 의해 투과되는 광량에서의 위치 의존적 변동이다. 비네팅은 렌즈 시야(FOV) 주변 근처에서 광학 시스템에 의해 투과되는 광량의 감소로 나타나고, 가장자리에서 이미지의 점차적인 암화를 야기한다. 비네팅은 카메라의 렌즈 롤오프 왜곡 기능을 캘리브레이팅하는 것에 의해 이미지 캡쳐 이후 보정될 수 있다. 가상 파라미터를 실제 파라미터와 매칭시키는 것에 의해, 결과적으로 나타나는 가상 깊이 맵(532, 534)은 이미징 디바이스에 의해 캡쳐되는 이미지에 기초하여 생성되는 실제 깊이 맵에 더욱 가깝게 대응할 수도 있다.
블록(540)에서, 피쳐 추출기(450)는 하나 이상의 깊이 기준을 식별하기 위해 가상 깊이 맵의 값을 분석한다. 깊이 기준은, 예를 들면, 깊이 맵 내에서의 국소적 극대점의 위치(예를 들면, 가상 기도 모델의 분기 아래로 보이는 가장 먼 가상 조직을 나타내는 픽셀) 또는 국소적 극대점을 둘러싸는 곡선 피크를 따르는 국소적 극대점으로부터 임계 거리 이내의 임의의 위치일 수 있다. 설명되는 깊이 기준 위치는 가상 깊이 맵 내의 가상 픽셀 위치일 수 있다.
블록(540)은 예시적인 깊이 기준(522 및 544)의 시각적 예시를, 가상 좌측 기관지 및 가상 우측 기관지 내에서 가상 카메라에 의해 보이는 가장 먼 가상 조직에 대응하는 국소적 극대점으로서 제공한다. 일반적인 규칙으로서, 인간 폐의 통상적인 형상에 기인하여, 메인 카리나 근처에 배치되는 카메라 또는 가상 카메라는 좌측 기관지보다 우측 기관지 안으로 더 멀리 볼 수 있을 것이다. 따라서, 깊이 기준(544)은, 우측 기관지 내에서 가장 멀리 묘사된 가상 조직이 깊이 기준(542)보다 더 큰 값을 갖기 때문에, 그것에 대응하고, 깊이 기준(542)은 좌측 기관지 내에서 가장 멀리 묘사된 가상 조직에 대응한다. 그러한 정보는 본원에서 설명되는 바와 같이 롤의 식별을 지원할 수 있다.
블록(550)에서, 피쳐 추출기(450)는 식별된 깊이 기준으로부터 미리 식별된 가상 피쳐를 유도한다. 예를 들면, 도시되는 바와 같이, 피쳐 추출기(450)는 깊이 기준(542, 544)을 분리하는 거리(555)의 값을 식별할 수 있다. 거리 값은, 삼차원 깊이 맵(544)에 대응하는 (x, y, z) 벡터 또는 이차원 깊이 맵(532)에 대응하는 (x, y) 공간에서의 픽셀의 수로서 표현될 수 있다. 피쳐 추출기(450)는, 추가적으로 또는 대안적으로, 좌우 기관지의 식별 및 위치 결정을 피쳐(들)로서 유도할 수 있다. 예를 들면, 세 개 이상의 기도의 분기를 보는 위치에서의 깊이 맵을 수반하는 다른 구현예에서, 피쳐는 세 개 이상의 국소적 극대점을 연결하는 다각형의 사이즈, 형상, 및 방위를 포함할 수 있다.
블록(560)에서, 피쳐 추출기(450)는 가상 위치(들) 및 관련되어 추출된 가상 피쳐(들)의 데이터베이스를 생성할 수 있다. 이 데이터베이스는, 예를 들면, 확률론적 상태 추정을 자동적으로 초기화하고, 위치 맞춤을 계산하고, 다른 내비게이션 관련 계산을 수행하기 위해, 실시간 기구 위치 결정을 계산함에 있어서 사용하기 위해 내비게이션 시스템(400)에 제공될 수 있다.
도 21은 캡쳐된 내시경 검사 이미지 및 도 20의 추출된 가상 피쳐 데이터 세트와의 깊이 정보의 피쳐 사이의 계산된 대응성에 기초하여 깊이 정보를 생성하기 위한 예시적인 수술 중 프로세스(600)의 플로우차트를 묘사한다. 프로세스(600)는 도 19의 모델링 시스템(420) 및/또는 내비게이션 융합 시스템(400), 도 16c의 제어 및 센서 전자장치(184), 및/또는 도 17의 콘솔 베이스(201), 또는 이들의 컴포넌트(들)에 의해 구현될 수 있다.
블록(610)에서, 피쳐 추출기(450)는 환자의 해부학적 관강 네트워크 내에 배치되는 기구의 원위 단부에 있는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신한다. 예를 들면, 이미징 디바이스는 상기에서 설명되는 이미징 디바이스(315)일 수 있다. 이미징 데이터의 예시적인 시각적 표현은 환자 기도의 메인 카리나를 묘사한 이미지(615)에 의해 도시된다. 이미지(615)는 도 20의 가상 깊이 맵(532)에 의해 표현되는 가상 메인 카리나에 대응하는 해부학적 메인 카리나를 묘사한다. 이미지(615)는 특정한 시각적 표현을 사용하여 특정한 피쳐를 묘사하고, 이미지(615)는 프로세스(600)를 제한하는 것이 아니라 예시하기 위해 제공된다. 이미지(615)는 프로세스(600)에서의 사용에 적절한 관내 이미지 데이터를 나타내고, 다른 적절한 이미지 데이터는 다른 해부학적 구조를 나타내고 및/또는 상이한 시각적 표현을 사용하여 이미지로서 묘사될 수 있다. 게다가, 프로세스(600)의 몇몇 실시형태는, 이미지 데이터(예를 들면, 이미지(615))의 대응하는 시각적 표현을 생성하지 않으면서 이미징 데이터(예를 들면, 이미징 디바이스의 이미지 센서로부터 수신되는 픽셀의 값)에 대해 동작할 수도 있다.
블록(620)에서, 피쳐 추출기(450)는 이미지(615)에 의해 표현되는 이미징 데이터에 대응하는 깊이 맵(620)을 생성한다. 피쳐 추출기(450)는, 이미징 데이터의 각각의 픽셀에 대해, 그 픽셀에 대응하는, 이미징 디바이스와 표현되는 해부학적 관강 네트워크 내의 조직 표면 사이의 추정된 거리를 나타내는 깊이 값을 계산할 수 있다. 구체적으로, 깊이 값은 이미징 디바이스의 광학 시스템의 입사 동공과 픽셀에 의해 묘사되는 이미지화된 조직 사이의 물리적 거리의 추정치를 나타낼 수 있다. 몇몇 실시형태에서, 피쳐 추출기(450)는 단일의 이미지(615)에 기초하여 깊이 맵을 생성하기 위해 광경사법(예를 들면, 쉐이딩에 의한 형상) 프로세싱을 사용할 수 있다. 광경사법을 사용하는 것에 의해, 피쳐 추출기(450)는, 유체(예를 들면, 점액)로 덮일 수도 있는 조직의 부분 사이의 반사율 차이에 기인하는 이상점에 강건할 수 있다. 몇몇 실시형태에서, 피쳐 추출기(450)는 깊이 맵을 생성하기 위해 이미지화된 영역을 묘사하는 입체 이미지 세트를 사용할 수 있다. 예를 들면, 로봇 제어식 내시경(robotically-controlled endoscope)은 제1 위치에서 제1 이미지를 캡쳐할 수 있고, 로봇을 이용하여 후퇴될 수 있고, 연장될 수 있고, 및/또는 제2 위치로 공지된 거리 돌려질 수 있고, 제2 위치에서 제2 이미지를 캡쳐할 수 있다. 피쳐 추출기(450)는 로봇 제어식 내시경의 공지된 변환 및 제1 이미지와 제2 이미지 사이의 디스패리티(disparity)를 사용하여 깊이 맵을 생성할 수 있다.
블록(630)에서, 피쳐 추출기(450)는 깊이 맵에서 하나 이상의 깊이 기준을 식별한다. 가상 깊이 맵과 관련하여 상기에서 설명되는 바와 같이, 실제 이미지 데이터에 기초하여 생성되는 깊이 맵에서의 깊이 기준은, 예를 들면, 깊이 맵 내에서의 국소적 극대점(예를 들면, 환자의 기도의 분기 아래로 보이는 가장 먼 해부학적 조직을 나타내는 픽셀)의 위치 또는 국소적 극대점을 둘러싸는 곡선 피크를 따르는 국소적 극대점으로부터 임계 거리 이내의 임의의 위치일 수 있다. 설명되는 깊이 기준 위치는 이미지(615) 내에서의 픽셀 위치일 수 있다. 블록(630)에서 식별을 위해 선택되는 깊이 기준은, 블록(540)에서 식별되는 깊이 기준에 대응하는 것이 바람직하다.
예를 들면, 피쳐 추출기(450)는 깊이 맵에서 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 깊이 맵에서 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별할 수 있고, 몇몇 실시형태에서, 각각의 깊이 기준은 식별된 픽셀 주위의 깊이 값의 영역에서 국소적 극대점에 대응할 수 있다. 블록(630)은, 이미징 디바이스(315)에 의해 보이는 좌측 기관지 및 우측 기관지 내에서 가장 먼 조직에 대응하는 국소적 극대점으로서 예시적인 깊이 기준(632 및 634)의 시각적 예시를 제공한다. 구체적으로, 깊이 기준(634)은, 깊이 기준(632)보다 더 큰 값을 가지기 때문에, 우측 기관지 내에서 가장 먼 이미지화된 조직을 나타내는 픽셀에 대응하고, 깊이 기준(632)은 좌측 기관지 내에서 가장 먼 이미지화된 조직을 나타내는 픽셀에 대응한다. 다른 기도 분기점은 상이한 분기 사이에서 유사한 공지된 깊이 관계를 가질 수 있다.
블록(640)에서, 피쳐 추출기(450)는 식별된 깊이 기준으로부터 미리 식별된 피쳐를 유도한다. 예를 들면, 도시되는 바와 같이, 피쳐 추출기(450)는 깊이 기준(632 및 634)에 대응하는 픽셀 사이의 거리(645)(예를 들면, 분리의 양)의 값을 계산할 수 있다. 거리 값은, 바람직하게는 프로세스(500)의 블록(550)에서 식별되는 피쳐와 동일한 포맷의, 삼차원 깊이 맵(625)에 대응하는 (x, y, z) 벡터 또는 이차원 깊이 맵에 대응하는 (x, y) 공간에서의 픽셀의 수로서 표현될 수 있다. 피쳐 추출기(450)는, 추가적으로 또는 대안적으로, 좌우 기관지의 식별 및 위치 결정을 피쳐(들)로서 유도할 수 있다. 예를 들면, 세 개 이상의 기도의 분기를 보는 위치에서의 깊이 맵을 수반하는 다른 구현예에서, 피쳐는 세 개 이상의 국소적 극대점을 연결하는 다각형의 사이즈, 형상, 및 방위를 포함할 수 있다.
블록(650)에서, 깊이 기반의 위치 추정기(410)는, 이미징 데이터로부터 유도되는 피쳐(들)와 깊이 피쳐 데이터 저장소(405) 내의 다수의 피쳐 사이의 대응 관계를 계산한다. 예를 들면, 이미징 데이터로부터 유도되는 피쳐는, 블록(640)과 관련하여 설명되는 바와 같이, 깊이 맵(625)의 식별된 깊이 기준에 기초하여 계산되는 거리(645)의 값일 수 있다. 깊이 기반의 위치 추정기(410)는, 거리(645)의 값에 대응하는 거리 값 중 하나를 식별하기 위해, 거리(645)의 값을, 기관 내의 다수의 위치와 관련되는 거리 값에 비교할 수 있다. 이들 거리 값은, 상기에서 도 20과 관련하여 설명되는 바와 같이 미리 계산되어 데이터 저장소(405)에 저장될 수 있거나, 또는 환자의 해부학적 구조가 내비게이팅되고 있을 때 실시간으로 계산될 수 있다. 실시간으로 계산되는 값은, 대응성 계산 동안 작업 메모리에 저장될 수도 있거나, 또는 데이터 저장소(405)에 추가되고, 그 다음, 그 값에 대응하는 위치가 추가적인 대응성 계산에서 수반되는 경우 나중에 액세스될 수도 있다.
대응성을 결정하기 위해, 깊이 기반의 위치 추정기(410)는 (프로세스(500)의 블록(550)과 관련하여 상기에서 논의되는) 거리(555)의 값을, 거리(645)의 값에 대한 정확한 매치로서, 깊이 피쳐 데이터 저장소(405) 내의 옵션 중 거리(645)의 값에 대한 최상의 매치(예를 들면, 가장 가까운 값)로서, 또는 거리(645)의 값의 미리 결정된 임계치 이내의 제1 매치로서 식별할 수 있다. 내비게이션 시스템(400)은, 정확한 매치, 최상의 매치, 또는 제1 임계치 이내 매치를 찾도록, 또는 계산 속도와 위치 출력의 정확도 사이의 절충에 기초하여, 현재의 내비게이션 상태에 기초하여 이들 옵션 중 하나를 동적으로 찾도록 미리 구성될 수 있다는 것이 인식될 것이다.
블록(660)에서, 깊이 기반의 위치 추정기(410)는, 블록(650)의 대응성 계산에서 식별된 가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 추정된 포즈를 결정한다. 포즈는 기구의 위치(예를 들면, 기도 또는 다른 관강 네트워크 부분의 세그먼트 내에서의 삽입 깊이), 기구의 롤, 피치, 및/또는 요, 또는 다른 자유도를 포함할 수 있다. 상기에서 설명되는 바와 같이, 깊이 피쳐 데이터 저장소(405)는, 위치 및 위치에서 생성되는 가상 이미지로부터 추출되는 피쳐(들)를 포함하는 튜플 또는 관련된 값의 데이터베이스를 저장할 수 있다. 따라서, 블록(660)에서, 깊이 기반의 위치 추정기(410)는 블록(650)에서 식별되는 피쳐와 관련하여 저장되는 위치 정보에 액세스하여 이 위치를 기구의 위치로서 출력할 수 있다. 몇몇 실시형태에서, 블록(660)은, 이미지(615)에서의 우측 및 좌측 기관지의 위치와 가상 깊이 맵(532)에서의 가상 우측 및 좌측 기관지의 가상 위치 사이의 각도 변환을 식별하는 것을 포함할 수 있다. 각도 변환은 기도 내에서 기구의 롤을 결정하기 위해 사용될 수 있다.
블록(670)에서, 깊이 기반의 위치 추정기(410)는 내비게이션 시스템(400)에서의 사용을 위해 식별된 포즈를 출력한다. 상기에서 설명되는 바와 같이, 초기화를 가능하게 하기 위해 다수의 명시된 위치에 내시경을 재배치할 것을 유저에게 요구하는 초기화 프로세스와 달리, 포즈는 상태 추정기(440)로 출력될 수 있고 초기화 동안 자동적으로 결정된 베이지안 사전 분포로서 사용될 수 있다. 몇몇 실시형태에서, 포즈는, 모델 좌표 프레임과 EM 좌표 프레임 사이의 위치 맞춤을 계산함에 있어서 사용하기 위해 위치 맞춤 계산기(465)로 출력될 수 있다. 유익하게는, 프로세스(500 및 600)는, 환자의 기도를 통한 목표 조직 부위까지의 미리 결정된 내비게이션 경로를 벗어날 것을 의사에게 요구하지 않고도 그러한 계산을 가능하게 한다.
5. 대안예
본원에서 설명되는 주제의 여러 가지 대안예가 하기에서 제공된다.
1 . 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법으로서, 하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 그 방법은:
해부학적 관강 네트워크 내에 배치되는 기구의 원위 단부에 있는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하는 것;
해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것;
이미징 데이터로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하는 것; 및
가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈를 결정하는 것을 포함한다.
2. 대안예 1의 방법으로서, 이미징 데이터에 기초하여 깊이 맵을 생성하는 것을 더 포함하되, 가상 피쳐는 가상 이미지와 관련되는 가상 깊이 맵으로부터 유도되고, 대응성을 계산하는 것은, 깊이 맵의 하나 이상의 피쳐 및 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초한다.
3. 대안예 2의 방법으로서:
이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 픽셀에 대응하는 해부학적 관강 네트워크 내에서 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 깊이 맵을 생성하는 것;
깊이 맵에서 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 깊이 맵에서 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하는 것;
제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하는 것;
가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 가상 이미징 디바이스와 가상 픽셀에 의해 표현되는 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것은, 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2 값에 액세스하는 것을 포함함; 및
제1 값을 제2 값의 비교하는 것에 기초하여 대응성을 계산하는 것을 더 포함한다.
4. 대안예 3의 방법으로서:
가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하는 것; 및
복수의 값 중 다른 값보다 제1 값에 더욱 밀접하게 대응하는 제2 값에 기초하여 대응성을 계산하는 것을 더 포함한다.
5. 대안예 3 또는 4 중 임의의 하나의 방법으로서, 해부학적 관강 네트워크는 기도를 포함하고, 이미징 데이터는 기도의 분기점을 묘사하고, 그 방법은:
제1 및 제2 깊이 기준 중 하나를, 깊이 맵 및 가상 깊이 맵의 각각에서의 우측 기관지로서 식별하는 것; 및
깊이 맵에서의 우측 기관지의 제1 위치와 가상 깊이 맵에서의 우측 기관지의 제2 위치 사이의 각도 거리에 기초하여 기구의 롤을 결정하는 것 - 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈는 결정된 롤을 포함함 - 을 더 포함한다.
6. 대안예 2 내지 5 중 임의의 것의 방법으로서:
깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하는 것;
깊이 맵 및 가상 깊이 맵의 각각에서 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하는 것; 및
깊이 맵의 다각형의 형상 및 위치를 가상 깊이 맵의 다각형의 형상 및 위치에 비교하는 것에 기초하여 대응성을 계산하는 것을 더 포함한다.
7. 대안예 2 내지 6 중 임의의 것의 방법으로서, 깊이 맵을 생성하는 것은 광경사법에 기초한다.
8. 대안예 1 내지 7 중 임의의 것의 방법으로서:
위치를 포함하는 복수의 입력에 기초하여 해부학적 관강 네트워크 내에서의 기구의 확률론적 상태(probabilistic state)를 계산하는 것; 및
확률론적 상태에 적어도 부분적으로 기초하여 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하는 것을 더 포함한다.
9. 대안예 8의 방법으로서, 확률론적 상태를 계산하고 확률론적 상태에 기초하여 해부학적 관강 네트워크의 내비게이션을 안내하도록 구성되는 내비게이션 시스템을 초기화하는 것을 더 포함하되, 내비게이션 시스템의 초기화는 위치에 기초하여 확률 계산기의 사전 분포를 설정하는 것을 포함한다.
10. 대안예 9의 방법으로서:
기구의 원위 단부의 업데이트된 포즈를 나타내는 추가 데이터를 수신하는 것;
추가 데이터에 기초하여 확률 계산기의 우도 함수를 설정하는 것; 및
사전 분포 및 우도 함수에 기초하여 확률 계산기를 사용하여 확률론적 상태를 결정하는 것을 더 포함한다.
11. 대안예 8 내지 10 중 임의의 하나의 방법으로서:
확률론적 상태를 계산하도록 구성되는 내비게이션 시스템에 복수의 입력 - 제1 입력은 기구의 원위 단부의 포즈를 포함하고 적어도 하나의 추가 입력은 기구의 움직임을 작동시키는 로봇 시스템으로부터의 로봇 위치 데이터 및 기구의 원위 단부에서 위치 센서로부터 수신되는 데이터 중 하나 또는 둘 모두를 포함함 - 을 제공하는 것; 및
제1 입력 및 적어도 하나의 추가 입력에 기초하여 기구의 확률론적 상태를 계산하는 것을 더 포함한다.
12. 대안예 1 내지 11 중 임의의 하나의 방법으로서, 계산된 대응성에 기초하여 결정되는 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈에 적어도 부분적으로 기초하여 해부학적 관강 네트워크 주위에서 생성되는 전자기장의 좌표 프레임과 가상의 관강 네트워크의 좌표 프레임 사이의 위치 맞춤을 결정하는 것을 더 포함한다.
13. 대안예 1 내지 12 중 임의의 하나의 방법으로서, 위치를 결정하는 것은, 기구의 원위 단부가 해부학적 관강 네트워크의 세그먼트 내에서 전진되는 거리를 결정하는 것을 포함한다.
14. 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템으로서, 그 시스템은:
기구의 원위 단부에 있는 이미징 디바이스;
실행 가능 명령어가 저장된 적어도 하나의 컴퓨터 판독 가능 메모리; 및
적어도 하나의 컴퓨터 판독 가능 메모리와 통신하며, 시스템으로 하여금 적어도:
해부학적 관강 네트워크 내에 배치되는 기구의 원위 단부를 갖는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하게 하는;
해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하게 하는;
이미징 데이터로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하게 하는; 그리고
가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구류(instrument relative)의 원위 단부의 포즈를 결정하게 하는
명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함한다.
15. 대안예 14의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
이미징 데이터에 기초하여 깊이 맵을 생성하게 하는 - 가상 이미지는 가상 깊이 맵을 나타냄 - ; 그리고
깊이 맵의 하나 이상의 피쳐와 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초하여 대응성을 결정하게 하는
명령어를 실행하도록 구성된다.
16. 대안예 15의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 픽셀에 대응하는 해부학적 관강 네트워크 내에서 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 깊이 맵을 생성하게 하는;
깊이 맵에서 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 깊이 맵에서 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하게 하는;
제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하게 하는;
가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 가상 이미징 디바이스와 가상 픽셀에 의해 표현되는 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 가상 이미지로부터 유도되는 피쳐는 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2 값을 포함함; 및
제1 값을 제2 값의 비교하는 것에 기초하여 대응성을 결정하게 하는
명령어를 실행하도록 구성된다.
17. 대안예 16의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하게 하는; 그리고
복수의 값 중 다른 값보다 제1 값에 더욱 밀접하게 대응하는 제2 값에 기초하여 대응성을 계산하고 복수의 값 중 제1 값에 가장 가까운 매치로서 제2 값을 식별하게 하는
명령어를 실행하도록 구성된다.
18. 대안예 16 및 17 중 임의의 하나의 시스템으로서, 해부학적 관강 네트워크는 기도를 포함하고, 이미징 데이터는 기도의 분기점을 묘사하고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
제1 및 제2 깊이 기준 중 하나를, 깊이 맵 및 가상 깊이 맵의 각각에서 우측 기관지로서 식별하게 하는; 그리고
깊이 맵에서의 우측 기관지의 제1 위치와 가상 깊이 맵에서의 우측 기관지의 제2 위치 사이의 각도 거리에 기초하여 기구의 롤을 결정하게 하는 - 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈는 결정된 롤을 포함함 -
명령어를 실행하도록 구성된다.
19. 대안예 15 내지 18 중 임의의 하나의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하게 하는;
깊이 맵 및 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하는; 그리고
깊이 맵의 다각형의 형상 및 위치를, 가상 깊이 맵의 다각형의 형상 및 위치에 비교하는 것에 기초하여 대응성을 계산하게 하는
명령어를 실행하도록 구성된다.
20. 대안예 15 내지 19 중 임의의 하나의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 광경사법에 기초하여 깊이 맵을 생성하게 하는 명령어를 실행하도록 구성된다.
21. 대안예 14 내지 20 중 임의의 하나의 시스템으로서, 하나 이상의 프로세서는 내비게이션 시스템과 통신하도록 구성되고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도:
위치를 포함하는 복수의 입력에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 해부학적 관강 네트워크 내에서의 기구의 확률론적 상태를 계산하게 하는; 그리고
내비게이션 시스템에 의해 계산되는 확률론적 상태에 적어도 부분적으로 기초하여 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하게 하는
명령어를 실행하도록 구성된다.
22. 대안예 21의 시스템으로서, 내비게이션 동안 기구의 움직임을 안내하도록 구성되는 로봇 시스템을 더 포함한다.
23. 대안예 22의 시스템으로서, 복수의 입력은, 로봇 시스템으로부터 수신되는 로봇 위치 데이터를 포함하고, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 그리고 로봇 위치 데이터에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 기구의 확률론적 상태를 계산하게 하는 명령어를 실행하도록 구성된다.
24. 대안예 21 내지 23 중 임의의 하나의 시스템으로서, 기구의 원위 단부에서 위치 센서를 더 포함하고, 복수의 입력은 위치 센서로부터 수신되는 데이터를 포함하며, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 그리고 위치 센서로부터 수신되는 데이터에 적어도 부분적으로 기초하여 내비게이션 시스템을 사용하여 기구의 확률론적 상태를 계산하게 하는 명령어를 실행하도록 구성된다.
25. 대안예 14 내지 24 중 임의의 하나의 시스템으로서, 하나 이상의 프로세서는, 시스템으로 하여금 적어도, 위치에 적어도 부분적으로 기초하여 해부학적 관강 네트워크 주위에서 생성되는 전자기장의 좌표 프레임과 가상의 관강 네트워크의 좌표 프레임 사이의 위치 맞춤을 결정하게 하는 명령어를 실행하도록 구성된다.
26. 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
환자의 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델에 액세스하게 하고;
가상의 삼차원 모델 내의 복수의 가상 위치를 식별하게 하고;
가상의 삼차원 모델 내의 복수의 가상 위치의 각각의 가상 위치에 대해:
가상 위치에 배치되는 가상 이미징 디바이스와 가상 위치에 배치될 때 가상 이미징 디바이스의 시야 내의 내부 표면의 일부분 사이의 가상 거리를 나타내는 가상 깊이 맵을 생성하게 하고, 그리고
가상 깊이 맵으로부터 적어도 하나의 가상 피쳐를 유도하게 하고; 그리고
복수의 가상 위치를, 대응하는 가상 깊이 맵으로부터 유도되는 적어도 하나의 가상 피쳐와 관련시키는 데이터베이스를 생성하게 한다.
27. 대안예 26의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 의료 프로시져 동안 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하도록 구성되는 내비게이션 시스템에 데이터베이스를 제공하게 한다.
28. 대안예 27의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
기구의 원위 단부에 배치되는 이미징 디바이스를 나타내는 데이터에 액세스하게 하고;
이미징 디바이스의 이미지 캡쳐 파라미터를 식별하게 하고; 그리고
이미징 디바이스의 이미지 캡쳐 파라미터에 대응하도록 가상 이미징 디바이스의 가상 이미지 캡쳐 파라미터를 설정하게 한다.
29. 대안예 28의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 가상 이미지 캡쳐 파라미터에 기초하여 가상 깊이 맵을 생성하게 한다.
30. 대안예 28 내지 29 중 임의의 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 이미지 캡쳐 파라미터는, 시야, 렌즈 왜곡, 초점 거리, 및 휘도 쉐이딩 중 하나 이상을 포함한다.
31. 대안예 26 내지 30 중 임의의 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
복수의 가상 위치의 각각의 가상 위치에 대해:
가상 깊이 맵에서 제1 및 제2 깊이 기준을 식별하게 하고, 그리고
제1 깊이 기준과 제2 깊이 기준 사이의 거리를 나타내는 값을 계산하게 하고; 그리고
복수의 가상 위치를, 대응하는 값과 관련시키는 것에 의해 데이터베이스를 생성하게 한다.
32. 대안예 26 내지 31 중 임의의 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
복수의 가상 위치의 각각의 가상 위치에 대해:
가상 깊이 맵에서 세 개 이상의 깊이 기준을 식별하게 하고,
세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하고; 그리고
복수의 가상 위치를, 대응하는 다각형의 형상 및 위치와 관련시키는 것에 의해 데이터베이스를 생성하게 한다.
33. 대안예 26 내지 32 중 임의의 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
환자의 해부학적 관강 네트워크를 나타내는 일련의 이차원 이미지로부터 데이터의 삼차원 볼륨을 생성하게 하고; 그리고
데이터의 삼차원 볼륨으로부터 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델을 형성하게 한다.
34. 대안예 33의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 일련의 이차원 이미지를 캡쳐하도록 컴퓨터 단층 촬영 이미징 시스템을 제어하게 한다.
35. 대안예 33 및 34 중 임의의 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 데이터의 삼차원 볼륨에 볼륨 구획화를 적용하는 것에 의해 가상의 삼차원 모델을 형성하게 한다.
36. 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법으로서, 하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 그 방법은:
해부학적 관강 네트워크의 내부를 나타내는 입체 이미지 세트를 수신하는 것;
입체 이미지 세트에 기초하여 깊이 맵을 생성하는 것;
가상의 관강 네트워크 내의 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 것;
깊이 맵으로부터 유도되는 피쳐와 가상 이미지로부터 유도되는 가상 피쳐 사이의 대응성을 계산하는 것; 및
가상 피쳐와 관련되는 가상 위치에 기초하여 해부학적 관강 네트워크 내에서의 기구의 원위 단부의 포즈를 결정하는 것을 포함한다.
37. 대안예 36의 방법으로서, 입체 이미지 세트를 생성하는 것은:
기구의 원위 단부에 있는 이미징 디바이스를 해부학적 관강 네트워크 내의 제1 위치에 배치하는 것;
제1 위치에 배치되는 이미징 디바이스를 사용하여 해부학적 관강 네트워크의 내부의 제1 이미지를 캡쳐하는 것;
해부학적 관강 네트워크 내의 제2 위치까지 공지된 거리를 이동시키도록 이미징 디바이스를 로봇을 이용하여 제어하는 것; 및
제2 위치에 배치되는 이미징 디바이스를 사용하여 해부학적 관강 네트워크의 내부의 제2 이미지를 캡쳐하는 것을 포함한다.
38. 대안예 37의 방법으로서, 공지된 거리를 이동시키도록 이미징 디바이스를 로봇을 이용하여 제어하는 것은, 이미징 디바이스를 후퇴시키는 것 및 이미징 디바이스를 각을 이루게 롤링하는 것 중 하나 또는 둘 모두를 포함한다.
6. 구현 시스템 및 전문 용어
본원에서 개시되는 구현예는 관강 네트워크의 향상된 내비게이션을 위한 시스템, 방법 및 장치를 제공한다.
본원에서 사용될 때 용어 "커플링한다(couple)", "커플링하는(coupling)", "커플링되는(coupled)" 또는 그 단어의 다른 변형어는, 간접적인 연결 또는 직접적인 연결 중 어느 하나를 나타낼 수도 있다는 것을 유의해야 한다. 예를 들면, 제1 컴포넌트가 제2 컴포넌트에 "커플링되는" 경우, 제1 컴포넌트는 다른 컴포넌트를 통해 제2 컴포넌트에 간접적으로 연결될 수도 있거나 또는 제2 컴포넌트에 직접적으로 연결될 수도 있다.
본원에서 설명되는 피쳐 대응성 계산, 위치 추정, 및 로봇 모션 작동 기능은, 프로세서 판독 가능 또는 컴퓨터 판독 가능 매체 상에 하나 이상의 명령어로서 저장될 수도 있다. 용어 "컴퓨터 판독 가능 매체"는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체를 지칭한다. 제한이 아닌 예로서, 그러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 명령어 또는 데이터 구조의 형태로 소망되는 프로그램 코드를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 컴퓨터 판독 가능 매체는 유형이고 비일시적일 수도 있다는 것을 유의해야 한다. 본원에서 사용될 때, 용어 "코드"는 컴퓨팅 디바이스 또는 프로세서에 의해 실행 가능한 소프트웨어, 명령어, 코드 또는 데이터를 지칭할 수도 있다.
본원에서 개시되는 방법은, 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 액션을 포함한다. 방법 단계 및/또는 액션은, 청구범위의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말하면, 설명되고 있는 방법의 적절한 동작을 위해 특정한 순서의 단계 또는 액션이 요구되지 않는 한, 특정한 단계 및/또는 액션의 순서 및/또는 사용은 청구범위의 범위를 벗어나지 않으면서 수정될 수도 있다.
본원에 사용될 때, 용어 "복수"는 두 개 이상을 나타낸다. 예를 들면, 복수의 컴포넌트는 두 개 이상의 컴포넌트를 나타낸다. 용어 "결정(determining)"은 광범위한 액션을 포괄하며, 따라서, "결정"은 계산(calculating), 컴퓨팅(computing), 프로세싱(processing), 유도(deriving), 조사(investigating), 조회(looking up)(예를 들면, 테이블, 데이터베이스 또는 다른 데이터 구조에서의 조회), 확인 및 등등을 포함할 수 있다. 또한, "결정"은 수신(예를 들면, 정보 수신), 액세스(예를 들면, 메모리의 데이터에 대한 액세스) 및 등등을 포함할 수 있다. 또한, "결정"은 해결(resolving), 선택(selecting), 선정(choosing), 확립(establishing) 및 등등을 포함할 수 있다.
어구 "~에 기초하여(based on)"는, 달리 명시되지 않는 한, "~에만 기초하여(based only on)"를 의미하지는 않는다. 다시 말하면, 어구 "~에 기초하여"는 "~에만 기초하여" 및 "적어도 ~에 기초하여(based only on)"둘 모두를 설명한다.
개시된 구현예의 앞선 설명은, 기술 분야의 임의의 숙련된 자가 본 발명을 제조 또는 사용하는 것을 가능하게 하기 위해 제공된다. 이들 구현예에 대한 다양한 수정은 기술 분야의 숙련된 자에게 명백할 것이며, 본원에서 정의되는 일반적인 원리는 본 발명의 범위를 벗어나지 않으면서 다른 구현예에 적용될 수도 있다. 예를 들면, 기술 분야에서 통상의 지식을 가진 자는, 도구 컴포넌트를 고정, 장착, 커플링, 또는 체결하는 등가의 방식, 특정한 작동 모션을 생성하기 위한 등가의 메커니즘, 및 전기적 에너지를 전달하기 위한 등가의 메커니즘과 같은, 다수의 대응하는 대안예 및 등가의 구조적 세부 사항을 활용할 수 있을 것이다는 것이 인식될 것이다. 따라서, 본 발명은 본원에서 도시되는 구현예로 제한되도록 의도되는 것이 아니라, 본원에서 개시되는 원리 및 신규의 피쳐와 부합하는 가장 넓은 범위를 부여받아야 한다.

Claims (30)

  1. 환자의 해부학적 관강 네트워크(anatomical luminal network)의 내비게이션을 용이하게 하는 방법으로서,
    하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 상기 방법은:
    상기 해부학적 관강 네트워크 내에 배치되는 기구(instrument)의 원위 단부(distal end)에 있는 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하는 단계;
    상기 해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐(virtual feature)에 액세스하는 단계;
    상기 이미징 데이터로부터 유도되는 피쳐와 상기 가상 이미지로부터 유도되는 상기 가상 피쳐 사이의 대응성(correspondence)을 계산하는 단계; 및
    상기 가상 피쳐와 관련되는 상기 가상 위치에 기초하여 상기 해부학적 관강 네트워크 내에서의 상기 기구의 상기 원위 단부의 포즈를 결정하는 단계를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  2. 제1항에 있어서,
    상기 이미징 데이터에 기초하여 깊이 맵을 생성하는 단계를 더 포함하되, 상기 가상 피쳐는 상기 가상 이미지와 관련되는 가상 깊이 맵으로부터 유도되고, 상기 대응성을 계산하는 단계는, 상기 깊이 맵의 하나 이상의 피쳐 및 상기 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  3. 제2항에 있어서,
    상기 이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 상기 픽셀에 대응하는 상기 해부학적 관강 네트워크 내에서 상기 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 상기 깊이 맵을 생성하는 단계;
    상기 깊이 맵에서 상기 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 상기 깊이 맵에서 상기 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하는 단계;
    상기 제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하는 단계;
    상기 가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 상기 가상 이미징 디바이스와 상기 가상 픽셀에 의해 표현되는 상기 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 상기 가상 이미지로부터 유도되는 상기 가상 피쳐에 액세스하는 단계는, 상기 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2 값에 액세스하는 단계를 포함함; 및
    상기 제1 값을 상기 제2 값의 비교하는 것에 기초하여 상기 대응성을 계산하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  4. 제3항에 있어서,
    상기 가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하는 단계; 및
    상기 복수의 값 중 다른 값보다 상기 제1 값에 더욱 밀접하게 대응하는 상기 제2 값에 기초하여 상기 대응성을 계산하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  5. 제3항에 있어서,
    상기 해부학적 관강 네트워크는 기도(airway)를 포함하고, 상기 이미징 데이터는 상기 기도의 분기점(bifurcation)을 묘사하고, 상기 방법은:
    상기 제1 및 제2 깊이 기준 중 하나를, 상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서의 우측 기관지(bronchus)로서 식별하는 단계; 및
    상기 깊이 맵에서의 상기 우측 기관지의 제1 위치와 상기 가상 깊이 맵에서의 상기 우측 기관지의 제2 위치 사이의 각도 거리(angular distance)에 기초하여 상기 기구의 롤(roll)을 결정하는 단계 - 상기 해부학적 관강 네트워크 내에서의 상기 기구의 상기 원위 단부의 상기 포즈는 상기 결정된 롤을 포함함 - 를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  6. 제2항에 있어서,
    상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하는 단계;
    상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서 상기 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하는 단계; 및
    상기 깊이 맵의 상기 다각형의 상기 형상 및 위치를 상기 가상 깊이 맵의 상기 다각형의 상기 형상 및 위치에 비교하는 것에 기초하여 상기 대응성을 계산하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  7. 제2항에 있어서,
    상기 깊이 맵을 생성하는 단계는 광경사법(photoclinometry)에 기초하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  8. 제1항에 있어서,
    상기 위치를 포함하는 복수의 입력에 기초하여 상기 해부학적 관강 네트워크 내에서의 상기 기구의 확률론적 상태(probabilistic state)를 계산하는 단계; 및
    상기 확률론적 상태에 적어도 부분적으로 기초하여 상기 해부학적 관강 네트워크를 통해 상기 기구의 내비게이션을 안내하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  9. 제8항에 있어서,
    상기 확률론적 상태를 계산하고 상기 확률론적 상태에 기초하여 상기 해부학적 관강 네트워크의 상기 내비게이션을 안내하도록 구성되는 내비게이션 시스템을 초기화하는 단계를 더 포함하되, 상기 내비게이션 시스템의 상기 초기화는 상기 위치에 기초하여 확률 계산기의 사전 분포(prior)를 설정하는 단계를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  10. 제9항에 있어서,
    상기 기구의 상기 원위 단부의 업데이트된 포즈를 나타내는 추가 데이터를 수신하는 단계;
    상기 추가 데이터에 기초하여 상기 확률 계산기의 우도 함수(likelihood function)를 설정하는 단계; 및
    상기 사전 분포 및 상기 우도 함수에 기초하여 상기 확률 계산기를 사용하여 상기 확률론적 상태를 결정하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  11. 제1항에 있어서,
    상기 계산된 대응성에 기초하여 결정되는 상기 해부학적 관강 네트워크 내에서의 상기 기구의 상기 원위 단부의 상기 포즈에 적어도 부분적으로 기초하여 상기 해부학적 관강 네트워크 주위에서 생성되는 전자기장의 좌표 프레임과 상기 가상의 관강 네트워크의 좌표 프레임 사이의 위치 맞춤(registration)을 결정하는 단계를 더 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  12. 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템으로서,
    기구의 원위 단부에 있는 이미징 디바이스;
    실행 가능 명령어가 저장된 적어도 하나의 컴퓨터 판독 가능 메모리; 및
    상기 적어도 하나의 컴퓨터 판독 가능 메모리와 통신하며, 상기 시스템으로 하여금 적어도:
    상기 해부학적 관강 네트워크 내에 배치되는 상기 기구의 상기 원위 단부를 갖는 상기 이미징 디바이스에 의해 캡쳐되는 이미징 데이터를 수신하게 하는;
    상기 해부학적 관강 네트워크를 나타내는 가상의 관강 네트워크 내의 가상 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하게 하는;
    상기 이미징 데이터로부터 유도되는 피쳐와 상기 가상 이미지로부터 유도되는 상기 가상 피쳐 사이의 대응성을 계산하게 하는; 그리고
    상기 가상 피쳐와 관련되는 상기 가상 위치에 기초하여 상기 해부학적 관강 네트워크 내에서의 상기 기구류(instrument relative)의 상기 원위 단부의 포즈를 결정하게 하는
    상기 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  13. 제12항에 있어서,
    상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 이미징 데이터에 기초하여 깊이 맵을 생성하게 하는 - 상기 가상 이미지는 가상 깊이 맵을 나타냄 - ; 그리고
    상기 깊이 맵의 하나 이상의 피쳐와 상기 가상 깊이 맵의 하나 이상의 피쳐를 상관시키는 것에 적어도 부분적으로 기초하여 상기 대응성을 결정하게 하는
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  14. 제13항에 있어서,
    상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 이미징 데이터의 복수의 픽셀의 각각의 픽셀에 대해, 상기 픽셀에 대응하는 상기 해부학적 관강 네트워크 내에서 상기 이미징 디바이스와 조직 표면 사이의 추정 거리를 나타내는 깊이 값을 계산하는 것에 의해 상기 깊이 맵을 생성하게 하는;
    상기 깊이 맵에서 상기 복수의 픽셀 중 제1 깊이 기준에 대응하는 제1 픽셀 및 상기 깊이 맵에서 상기 복수의 픽셀 중 제2 깊이 기준에 대응하는 제2 픽셀을 식별하게 하는;
    상기 제1 및 제2 픽셀 사이의 거리를 나타내는 제1 값을 계산하게 하는;
    상기 가상 깊이 맵은, 복수의 가상 픽셀의 각각의 가상 픽셀에 대해, 상기 가상 이미징 디바이스와 상기 가상 픽셀에 의해 표현되는 상기 가상의 관강 네트워크의 일부분 사이의 가상 거리를 나타내는 가상 깊이 값을 포함하고, 상기 가상 이미지로부터 유도되는 상기 피쳐는 상기 가상 깊이 맵에서의 제1 및 제2 깊이 기준 사이의 거리를 나타내는 제2값을 포함함; 및
    상기 제1 값을 상기 제2 값의 비교하는 것에 기초하여 상기 대응성을 결정하게 하는
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  15. 제14항에 있어서,
    상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 가상의 관강 네트워크 내의 복수의 가상 위치 중 상이한 하나를 각각 나타내는 복수의 가상 깊이 맵에서 제1 및 제2 깊이 기준 사이의 거리를 나타내는 복수의 값에 액세스하게 하는; 그리고
    상기 복수의 값 중 다른 값보다 상기 제1 값에 더욱 밀접하게 대응하는 상기 제2 값에 기초하여 상기 대응성을 계산하고 상기 복수의 값 중 상기 제1 값에 가장 가까운 매치로서 상기 제2 값을 식별하게 하는
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  16. 제14항에 있어서,
    상기 해부학적 관강 네트워크는 기도를 포함하고, 상기 이미징 데이터는 상기 기도의 분기점을 묘사하고, 상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 제1 및 제2 깊이 기준 중 하나를, 상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서 우측 기관지로서 식별하게 하는; 그리고
    상기 깊이 맵에서의 상기 우측 기관지의 제1 위치와 상기 가상 깊이 맵에서의 상기 우측 기관지의 제2 위치 사이의 각도 거리에 기초하여 상기 기구의 롤을 결정하게 하는 - 상기 해부학적 관강 네트워크 내에서의 상기 기구의 상기 원위 단부의 상기 포즈는 상기 결정된 롤을 포함함 -
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  17. 제13항에 있어서,
    상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서 세 개 이상의 깊이 기준을 식별하게 하는;
    상기 깊이 맵 및 상기 가상 깊이 맵의 각각에서 상기 세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하는; 그리고
    상기 깊이 맵의 상기 다각형의 상기 형상 및 위치를, 상기 가상 깊이 맵의 상기 다각형의 상기 형상 및 위치에 비교하는 것에 기초하여 상기 대응성을 계산하게 하는
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  18. 제12항에 있어서,
    상기 하나 이상의 프로세서는 내비게이션 시스템과 통신하도록 구성되고, 상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도:
    상기 위치를 포함하는 복수의 입력에 적어도 부분적으로 기초하여 상기 내비게이션 시스템을 사용하여 상기 해부학적 관강 네트워크 내에서의 상기 기구의 확률론적 상태를 계산하게 하는; 그리고
    상기 내비게이션 시스템에 의해 계산되는 상기 확률론적 상태에 적어도 부분적으로 기초하여 상기 해부학적 관강 네트워크를 통해 상기 기구의 내비게이션을 안내하게 하는
    상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  19. 제18항에 있어서,
    상기 내비게이션 동안 상기 기구의 움직임을 안내하도록 구성되는 로봇 시스템을 더 포함하고, 상기 복수의 입력은, 상기 로봇 시스템으로부터 수신되는 로봇 위치 데이터를 포함하고, 상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도, 상기 위치에 그리고 상기 로봇 위치 데이터에 적어도 부분적으로 기초하여 상기 내비게이션 시스템을 사용하여 상기 기구의 상기 확률론적 상태를 계산하게 하는 상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  20. 제17항에 있어서,
    기구의 상기 원위 단부에서 위치 센서를 더 포함하고, 상기 복수의 입력은 상기 위치 센서로부터 수신되는 데이터를 포함하되, 상기 하나 이상의 프로세서는, 상기 시스템으로 하여금 적어도, 상기 위치에 그리고 상기 위치 센서로부터 수신되는 상기 데이터에 적어도 부분적으로 기초하여 상기 내비게이션 시스템을 사용하여 상기 기구의 상기 확률론적 상태를 계산하게 하는 상기 명령어를 실행하도록 구성되는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하도록 구성되는 시스템.
  21. 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 명령어는, 실행시, 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
    환자의 해부학적 관강 네트워크의 내부 표면의 가상의 삼차원 모델에 액세스하게 하고;
    상기 가상의 삼차원 모델 내의 복수의 가상 위치를 식별하게 하고;
    상기 가상의 삼차원 모델 내의 상기 복수의 가상 위치의 각각의 가상 위치에 대해:
    상기 가상 위치에 배치되는 가상 이미징 디바이스와 상기 가상 위치에 배치될 때 상기 가상 이미징 디바이스의 시야 내의 상기 내부 표면의 일부분 사이의 가상 거리를 나타내는 가상 깊이 맵을 생성하게 하고, 그리고
    상기 가상 깊이 맵으로부터 적어도 하나의 가상 피쳐를 유도하게 하고; 그리고
    상기 복수의 가상 위치를, 상기 대응하는 가상 깊이 맵으로부터 유도되는 상기 적어도 하나의 가상 피쳐와 관련시키는 데이터베이스를 생성하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  22. 제21항에 있어서,
    상기 명령어는, 실행시, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 의료 프로시져 동안 상기 해부학적 관강 네트워크를 통해 기구의 내비게이션을 안내하도록 구성되는 내비게이션 시스템에 상기 데이터베이스를 제공하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  23. 제22항에 있어서,
    상기 명령어는, 실행시, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
    상기 기구의 원위 단부에 배치되는 이미징 디바이스를 나타내는 데이터에 액세스하게 하고;
    상기 이미징 디바이스의 이미지 캡쳐 파라미터를 식별하게 하고; 그리고
    상기 이미징 디바이스의 상기 이미지 캡쳐 파라미터에 대응하도록 상기 가상 이미징 디바이스의 가상 이미지 캡쳐 파라미터를 설정하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  24. 제23항에 있어서,
    상기 명령어는, 실행시, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도, 상기 가상 이미지 캡쳐 파라미터에 기초하여 상기 가상 깊이 맵을 생성하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  25. 제23항에 있어서,
    상기 이미지 캡쳐 파라미터는, 시야, 렌즈 왜곡, 초점 거리, 및 휘도 쉐이딩(brightness shading) 중 하나 이상을 포함하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  26. 제21항에 있어서,
    상기 명령어는, 실행시, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
    상기 복수의 가상 위치의 각각의 가상 위치에 대해:
    상기 가상 깊이 맵에서 제1 및 제2 깊이 기준을 식별하게 하고,
    상기 제1 깊이 기준과 제2 깊이 기준 사이의 거리를 나타내는 값을 계산하게 하고; 그리고
    상기 복수의 가상 위치를, 상기 대응하는 값과 관련시키는 것에 의해 상기 데이터베이스를 생성하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  27. 제26항에 있어서,
    상기 명령어는, 실행시, 상기 적어도 하나의 컴퓨팅 디바이스로 하여금 적어도:
    상기 복수의 가상 위치의 각각의 가상 위치에 대해:
    상기 가상 깊이 맵에서 세 개 이상의 깊이 기준을 식별하게 하고, 그리고
    상기 세 개 이상의 깊이 기준을 연결하는 다각형의 형상 및 위치를 결정하게 하고; 그리고
    상기 복수의 가상 위치를, 상기 대응하는 다각형의 상기 형상 및 위치와 관련시키는 것에 의해 상기 데이터베이스를 생성하게 하는, 명령어를 저장한 비일시적 컴퓨터 판독 가능 저장 매체.
  28. 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법으로서,
    하나 이상의 컴퓨팅 디바이스의 세트에 의해 실행되는 상기 방법은:
    상기 해부학적 관강 네트워크의 내부를 나타내는 입체 이미지 세트(stereoscopic image set)를 수신하는 단계;
    상기 입체 이미지 세트에 기초하여 깊이 맵을 생성하는 단계;
    가상의 관강 네트워크 내의 위치에 배치되는 가상 이미징 디바이스의 관점에서 시뮬레이팅되는 가상 이미지로부터 유도되는 가상 피쳐에 액세스하는 단계;
    상기 깊이 맵으로부터 유도되는 피쳐와 상기 가상 이미지로부터 유도되는 상기 가상 피쳐 사이의 대응성을 계산하는 단계; 및
    상기 가상 피쳐와 관련되는 상기 가상 위치에 기초하여 상기 해부학적 관강 네트워크 내에서의 상기 기구의 원위 단부의 포즈를 결정하는 단계를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  29. 제28항에 있어서,
    상기 입체 이미지 세트를 생성하는 단계는:
    기구의 원위 단부에 있는 이미징 디바이스를 해부학적 관강 네트워크 내의 제1 위치에 배치하는 단계;
    상기 제1 위치에 배치되는 상기 이미징 디바이스를 사용하여 상기 해부학적 관강 네트워크의 내부의 제1 이미지를 캡쳐하는 단계;
    상기 해부학적 관강 네트워크 내의 제2 위치까지 공지된 거리를 이동시키도록 상기 이미징 디바이스를 로봇을 이용하여(robotically) 제어하는 단계; 및
    상기 제2 위치에 배치되는 상기 이미징 디바이스를 사용하여 상기 해부학적 관강 네트워크의 상기 내부의 제2 이미지를 캡쳐하는 단계를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
  30. 제29항에 있어서,
    상기 공지된 거리를 이동시키도록 상기 이미징 디바이스를 로봇을 이용하여 제어하는 단계는, 상기 이미징 디바이스를 후퇴시키는 단계 및 상기 이미징 디바이스를 각을 이루게(angularly) 롤링하는 단계 중 하나 또는 둘 모두를 포함하는, 환자의 해부학적 관강 네트워크의 내비게이션을 용이하게 하는 방법.
KR1020207002269A 2017-06-23 2018-06-06 관강 네트워크에서 의료 디바이스의 포즈를 결정하기 위한 로봇 시스템 KR102582808B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/631,691 US10022192B1 (en) 2017-06-23 2017-06-23 Automatically-initialized robotic systems for navigation of luminal networks
US15/631,691 2017-06-23
PCT/US2018/036329 WO2018236587A1 (en) 2017-06-23 2018-06-06 ROBOTIC SYSTEMS FOR DETERMINING THE INSTALLATION OF A MEDICAL DEVICE IN LUMINUM NETWORKS

Publications (2)

Publication Number Publication Date
KR20200023639A true KR20200023639A (ko) 2020-03-05
KR102582808B1 KR102582808B1 (ko) 2023-10-04

Family

ID=62837432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002269A KR102582808B1 (ko) 2017-06-23 2018-06-06 관강 네트워크에서 의료 디바이스의 포즈를 결정하기 위한 로봇 시스템

Country Status (7)

Country Link
US (5) US10022192B1 (ko)
EP (1) EP3641687A4 (ko)
JP (2) JP2020524579A (ko)
KR (1) KR102582808B1 (ko)
CN (2) CN110831537B (ko)
AU (1) AU2018289116B2 (ko)
WO (1) WO2018236587A1 (ko)

Families Citing this family (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8414505B1 (en) 2001-02-15 2013-04-09 Hansen Medical, Inc. Catheter driver system
JP4755638B2 (ja) 2004-03-05 2011-08-24 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
JP2009500086A (ja) 2005-07-01 2009-01-08 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
WO2009111736A1 (en) 2008-03-06 2009-09-11 Aquabeam Llc Tissue ablation and cautery with optical energy carried in fluid stream
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9254123B2 (en) 2009-04-29 2016-02-09 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8827948B2 (en) 2010-09-17 2014-09-09 Hansen Medical, Inc. Steerable catheters
US20120191086A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
US20130030363A1 (en) 2011-07-29 2013-01-31 Hansen Medical, Inc. Systems and methods utilizing shape sensing fibers
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
EP2819599B1 (en) 2012-02-29 2018-05-23 Procept Biorobotics Corporation Automated image-guided tissue resection and treatment
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20130317519A1 (en) 2012-05-25 2013-11-28 Hansen Medical, Inc. Low friction instrument driver interface for robotic systems
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US9668814B2 (en) 2013-03-07 2017-06-06 Hansen Medical, Inc. Infinitely rotatable tool with finite rotating drive shafts
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9498601B2 (en) 2013-03-14 2016-11-22 Hansen Medical, Inc. Catheter tension sensing
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US9452018B2 (en) 2013-03-15 2016-09-27 Hansen Medical, Inc. Rotational support for an elongate member
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US10376672B2 (en) 2013-03-15 2019-08-13 Auris Health, Inc. Catheter insertion system and method of fabrication
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
WO2014201165A1 (en) 2013-06-11 2014-12-18 Auris Surgical Robotics, Inc. System for robotic assisted cataract surgery
WO2015010189A1 (en) 2013-07-24 2015-01-29 Centre For Surgical Invention & Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
KR102332023B1 (ko) 2013-10-24 2021-12-01 아우리스 헬스, 인크. 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
JP6689832B2 (ja) 2014-09-30 2020-04-28 オーリス ヘルス インコーポレイテッド 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム
US10499999B2 (en) 2014-10-09 2019-12-10 Auris Health, Inc. Systems and methods for aligning an elongate member with an access site
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
WO2016123697A1 (en) * 2015-02-02 2016-08-11 The University Of Western Ontario Navigation by bending forces
US11819636B2 (en) 2015-03-30 2023-11-21 Auris Health, Inc. Endoscope pull wire electrical circuit
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
CN108348133B (zh) 2015-09-09 2020-11-13 奥瑞斯健康公司 用于手术机器人系统的器械装置操纵器
EP4070723A1 (en) 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
AU2016380277B2 (en) 2015-12-31 2021-12-16 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10463439B2 (en) 2016-08-26 2019-11-05 Auris Health, Inc. Steerable catheter with shaft load distributions
US11241559B2 (en) 2016-08-29 2022-02-08 Auris Health, Inc. Active drive for guidewire manipulation
KR20230096148A (ko) 2016-08-31 2023-06-29 아우리스 헬스, 인코포레이티드 길이 보존 수술용 기구
US11389360B2 (en) * 2016-09-16 2022-07-19 Verb Surgical Inc. Linkage mechanisms for mounting robotic arms to a surgical table
WO2018053281A1 (en) * 2016-09-16 2018-03-22 Verb Surgical Inc. Table adapters for mounting robotic arms to a surgical table
US10650561B2 (en) * 2016-09-19 2020-05-12 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
US10748319B1 (en) 2016-09-19 2020-08-18 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
KR102545869B1 (ko) 2017-03-28 2023-06-23 아우리스 헬스, 인코포레이티드 샤프트 작동 핸들
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
KR20230106716A (ko) 2017-04-07 2023-07-13 아우리스 헬스, 인코포레이티드 환자 삽입기(Introducer) 정렬
KR102643758B1 (ko) 2017-05-12 2024-03-08 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
CN110769736B (zh) 2017-05-17 2023-01-13 奥瑞斯健康公司 可更换工作通道
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11395703B2 (en) 2017-06-28 2022-07-26 Auris Health, Inc. Electromagnetic distortion detection
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
JP7130682B2 (ja) 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
WO2019075074A1 (en) 2017-10-10 2019-04-18 Covidien Lp SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
AU2018379105B2 (en) 2017-12-10 2023-12-21 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US10470830B2 (en) 2017-12-11 2019-11-12 Auris Health, Inc. Systems and methods for instrument based insertion architectures
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
USD873878S1 (en) 2018-01-17 2020-01-28 Auris Health, Inc. Robotic arm
USD924410S1 (en) 2018-01-17 2021-07-06 Auris Health, Inc. Instrument tower
EP3740152A4 (en) 2018-01-17 2021-11-03 Auris Health, Inc. SURGICAL PLATFORM WITH ADJUSTABLE ARMRESTS
USD932628S1 (en) 2018-01-17 2021-10-05 Auris Health, Inc. Instrument cart
WO2019143458A1 (en) 2018-01-17 2019-07-25 Auris Health, Inc. Surgical robotics systems with improved robotic arms
USD901694S1 (en) 2018-01-17 2020-11-10 Auris Health, Inc. Instrument handle
USD901018S1 (en) 2018-01-17 2020-11-03 Auris Health, Inc. Controller
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
CN116370084A (zh) 2018-02-13 2023-07-04 奥瑞斯健康公司 用于驱动医疗器械的系统和方法
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
CN117017505A (zh) 2018-03-28 2023-11-10 奥瑞斯健康公司 复合器械和机器人系统
US11179213B2 (en) 2018-05-18 2021-11-23 Auris Health, Inc. Controllers for robotically-enabled teleoperated systems
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
EP3801280A4 (en) 2018-05-31 2022-03-09 Auris Health, Inc. ROBOTIC SYSTEMS AND LUMINAL NETWORK NAVIGATION METHODS THAT DETECT PHYSIOLOGICAL NOISE
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
EP3813714A4 (en) 2018-06-07 2022-02-09 Auris Health, Inc. HIGH FORCE INSTRUMENT ROBOTIC MEDICAL SYSTEMS
JP7366943B2 (ja) 2018-06-27 2023-10-23 オーリス ヘルス インコーポレイテッド 医療器具のための位置合わせ及び取り付けシステム
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
KR20210024484A (ko) 2018-06-28 2021-03-05 아우리스 헬스, 인코포레이티드 풀리 공유를 통합한 의료 시스템
WO2020016886A1 (en) * 2018-07-17 2020-01-23 Bnaiahu Levin Systems and methods of navigation for robotic colonoscopy
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
CN112789544B (zh) 2018-08-03 2023-06-30 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
KR20230169481A (ko) 2018-08-07 2023-12-15 아우리스 헬스, 인코포레이티드 카테터 제어와의 변형-기반 형상 감지의 조합
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
EP3806758A4 (en) 2018-08-17 2022-04-06 Auris Health, Inc. BIPOLAR MEDICAL DEVICE
JP7487176B2 (ja) * 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
CN112739283A (zh) 2018-09-17 2021-04-30 奥瑞斯健康公司 用于伴随医学规程的系统和方法
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
CN112752534A (zh) 2018-09-28 2021-05-04 奥瑞斯健康公司 用于手动和机器人驱动医疗器械的装置、系统和方法
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
AU2019347767A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Systems and methods for docking medical instruments
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
EP3870075A4 (en) 2018-12-20 2022-08-03 Auris Health, Inc. SHIELDING FOR WRIST INSTRUMENTS
WO2020131186A1 (en) * 2018-12-20 2020-06-25 Auris Health, Inc. Systems and methods for robotic arm alignment and docking
WO2020139973A1 (en) 2018-12-28 2020-07-02 Auris Health, Inc. Medical instrument with articulable segment
JP7480152B2 (ja) 2018-12-28 2024-05-09 オーリス ヘルス インコーポレイテッド ロボット医療用システム及び方法のための経皮的シース
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
EP3883492A4 (en) 2019-01-25 2022-11-30 Auris Health, Inc. VESSEL SEALING DEVICE HAVING HEATING AND COOLING CAPABILITIES
CN109760055A (zh) * 2019-01-30 2019-05-17 盈科视控(北京)科技有限公司 一种用于机器人的图形通讯的方法和系统
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
EP3890644A4 (en) 2019-02-08 2022-11-16 Auris Health, Inc. MANIPULATION AND CLOT REMOVAL WITH ROBOTIC CONTROL
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
EP3965710A4 (en) 2019-03-08 2023-04-05 Auris Health, Inc. TILT MECHANISMS FOR MEDICAL SYSTEMS AND APPLICATIONS
CN113613580A (zh) 2019-03-22 2021-11-05 奥瑞斯健康公司 用于使医疗器械上的输入部对准的系统和方法
CN113613566A (zh) 2019-03-25 2021-11-05 奥瑞斯健康公司 用于医疗缝合的系统和方法
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
JP2022527834A (ja) * 2019-04-08 2022-06-06 オーリス ヘルス インコーポレイテッド 付随する処置のためのシステム、方法、及びワークフロー
AU2019441035A1 (en) * 2019-04-15 2021-10-14 Covidien Lp System and method for robotic cart arm assembly identification
KR102249644B1 (ko) * 2019-04-30 2021-05-10 울산대학교 산학협력단 가이드와이어의 회전 제어 장치 및 방법
US11369386B2 (en) 2019-06-27 2022-06-28 Auris Health, Inc. Systems and methods for a medical clip applier
WO2020263949A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
US11872007B2 (en) 2019-06-28 2024-01-16 Auris Health, Inc. Console overlay and methods of using same
EP4013285A4 (en) 2019-08-15 2023-11-22 Auris Health, Inc. MEDICAL DEVICE COMPRISING SEVERAL FLEXIBLE SECTIONS
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
USD978348S1 (en) 2019-08-15 2023-02-14 Auris Health, Inc. Drive device for a medical instrument
USD975275S1 (en) 2019-08-15 2023-01-10 Auris Health, Inc. Handle for a medical instrument
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
WO2021038495A1 (en) * 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
US11324558B2 (en) 2019-09-03 2022-05-10 Auris Health, Inc. Electromagnetic distortion detection and compensation
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
CN114375182A (zh) 2019-09-10 2022-04-19 奥瑞斯健康公司 用于使用共享机器人自由度进行运动学优化的系统和方法
WO2021053035A2 (en) * 2019-09-18 2021-03-25 Inveox Gmbh System and methods for generating a 3d model of a pathology sample
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US10959792B1 (en) 2019-09-26 2021-03-30 Auris Health, Inc. Systems and methods for collision detection and avoidance
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
JP2023508525A (ja) 2019-12-31 2023-03-02 オーリス ヘルス インコーポレイテッド 経皮的アクセスのための位置合わせ技術
US11950872B2 (en) 2019-12-31 2024-04-09 Auris Health, Inc. Dynamic pulley system
JP2023508521A (ja) 2019-12-31 2023-03-02 オーリス ヘルス インコーポレイテッド 解剖学的特徴の識別及び標的化
WO2021137071A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Advanced basket drive mode
US11602372B2 (en) 2019-12-31 2023-03-14 Auris Health, Inc. Alignment interfaces for percutaneous access
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
WO2021206149A1 (ja) * 2020-04-10 2021-10-14 川崎重工業株式会社 ロボットシステムおよびロボットシステムの制御方法
CN111571611B (zh) * 2020-05-26 2021-09-21 广州纳丽生物科技有限公司 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11701492B2 (en) 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
CN111759464B (zh) * 2020-06-22 2022-10-21 广东省精格医疗技术有限公司 基于双向反馈的血管机器人的控制系统及方法
CN115802975A (zh) 2020-06-29 2023-03-14 奥瑞斯健康公司 用于检测连杆与外部对象之间的接触的系统和方法
US11357586B2 (en) 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
CN115734765A (zh) 2020-06-30 2023-03-03 奥瑞斯健康公司 具有碰撞接近度指示器的机器人医疗系统
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
DE102020212086A1 (de) * 2020-09-25 2022-03-31 Siemens Healthcare Gmbh Ermitteln der Qualität einer Positionierung eines in einen Patientenkörper eingeführten Objekts
CN112815932B (zh) * 2021-01-07 2023-03-21 中铁二院工程集团有限责任公司 基座检核方法及基座与控制点对中的检核方法
WO2022251814A2 (en) * 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data
CN113591977A (zh) * 2021-07-29 2021-11-02 武汉联影智融医疗科技有限公司 点对匹配方法、装置、电子设备和存储介质
US20230404670A1 (en) * 2022-05-27 2023-12-21 Covidien Lp Creating a navigation pathway to a target in the lung and method of navigating to the target
WO2023235224A1 (en) * 2022-05-31 2023-12-07 Noah Medical Corporation Systems and methods for robotic endoscope with integrated tool-in-lesion-tomosynthesis
WO2024100617A1 (en) * 2022-11-10 2024-05-16 Johnson & Johnson Enterprise Innovation Inc. Electronically guided precision medical targeting using near infrared fluorescence imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082351A1 (en) * 2005-05-23 2012-04-05 The Penn State Research Foundation Fast 3d-2d image registration method with application to continuously guided endoscopy
US20170084027A1 (en) * 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks

Family Cites Families (408)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
AU3950595A (en) 1994-10-07 1996-05-06 St. Louis University Surgical navigation systems including reference and localization frames
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
CA2231425A1 (en) 1995-09-20 1997-03-27 Texas Heart Institute Detecting thermal discrepancies in vessel walls
CA2246287C (en) 1996-02-15 2006-10-24 Biosense, Inc. Medical procedures and apparatus using intrabody probes
CA2246341C (en) 1996-02-15 2007-05-01 Biosense, Inc. Precise position determination of endoscopes
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
WO1998032388A2 (en) 1997-01-24 1998-07-30 Koninklijke Philips Electronics N.V. Image display system
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
WO2000028882A2 (en) 1998-11-18 2000-05-25 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US9572519B2 (en) 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6755797B1 (en) 1999-11-29 2004-06-29 Bowles Fluidics Corporation Method and apparatus for producing oscillation of a bladder
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
US7206626B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for haptic sculpting of physical objects
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
JP2003265409A (ja) 2002-03-15 2003-09-24 Olympus Optical Co Ltd 内視鏡装置
JP4171833B2 (ja) * 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7233820B2 (en) 2002-04-17 2007-06-19 Superdimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7822466B2 (en) 2002-04-25 2010-10-26 The Johns Hopkins University Robot for computed tomography interventions
JP2005528157A (ja) 2002-06-04 2005-09-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 回転血管造影法に基づく冠状動脈構造のハイブリッド３ｄ再構成
AU2003231915A1 (en) 2002-06-17 2003-12-31 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
US20040047044A1 (en) 2002-06-25 2004-03-11 Dalton Michael Nicholas Apparatus and method for combining three-dimensional spaces
JP4022114B2 (ja) * 2002-08-30 2007-12-12 オリンパス株式会社 内視鏡装置
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
AU2003278465A1 (en) 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
US20050182319A1 (en) 2004-02-17 2005-08-18 Glossop Neil D. Method and apparatus for registration, verification, and referencing of internal organs
US20060100610A1 (en) 2004-03-05 2006-05-11 Wallace Daniel T Methods using a robotic catheter system
JP4755638B2 (ja) 2004-03-05 2011-08-24 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
US7811294B2 (en) 2004-03-08 2010-10-12 Mediguide Ltd. Automatic guidewire maneuvering system and method
US7922650B2 (en) 2004-03-23 2011-04-12 Boston Scientific Scimed, Inc. Medical visualization system with endoscope and mounted catheter
WO2005092188A1 (ja) 2004-03-29 2005-10-06 Olympus Corporation 被検体内位置検出システム
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US20070208252A1 (en) * 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US7720521B2 (en) * 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
WO2007017847A1 (en) 2005-08-11 2007-02-15 Navotek Medical Ltd. Medical treatment system and method using radioactivity based position sensor
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9125639B2 (en) 2004-11-23 2015-09-08 Pneumrx, Inc. Steerable device for accessing a target site and methods
EP1838378B1 (en) 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
US20070123748A1 (en) 2005-07-14 2007-05-31 Dwight Meglan Robot for minimally invasive interventions
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
WO2007033379A2 (en) 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
US20070161857A1 (en) 2005-11-22 2007-07-12 Neoguide Systems, Inc. Method of determining the shape of a bendable instrument
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US9782229B2 (en) 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
JP4822142B2 (ja) 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
JP5103658B2 (ja) 2006-06-05 2012-12-19 テクニオン リサーチ アンド ディベロップメント ファンデーション リミテッド 柔軟な針の制御された操作
US7967813B2 (en) 2006-06-13 2011-06-28 Intuitive Surgical Operations, Inc. Surgical instrument control and actuation
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航系统
WO2008042423A2 (en) 2006-10-02 2008-04-10 Hansen Medical, Inc. Systems for three-dimensional ultrasound mapping
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
EP2086399B1 (en) 2006-11-10 2017-08-09 Covidien LP Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
US20100054536A1 (en) 2006-12-01 2010-03-04 Thomson Licensing Estimating a location of an object in an image
US9220439B2 (en) 2006-12-29 2015-12-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Navigational reference dislodgement detection method and system
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
WO2008097853A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
EP2143038A4 (en) * 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US10433929B2 (en) 2007-03-09 2019-10-08 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for local deformable registration of a catheter navigation system to image data or a model
EP2117436A4 (en) 2007-03-12 2011-03-02 David Tolkowsky DEVICES AND METHODS FOR PERFORMING MEDICAL OPERATIONS IN ARBORESCENT LUMINUM STRUCTURES
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20080300478A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
EP2626030A3 (en) 2007-08-14 2017-03-08 Koninklijke Philips N.V. Robotic instrument systems and methods utilizing optical fiber sensors
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
US10388066B2 (en) 2008-02-12 2019-08-20 Covidien Lp Controlled perspective guidance method
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US20090228020A1 (en) 2008-03-06 2009-09-10 Hansen Medical, Inc. In-situ graft fenestration
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
US8290571B2 (en) 2008-08-01 2012-10-16 Koninklijke Philips Electronics N.V. Auxiliary cavity localization
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
WO2010044852A2 (en) 2008-10-14 2010-04-22 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
EP2355711B1 (en) 2008-10-20 2019-09-11 The Johns Hopkins University Environment property estimation and graphical display
BRPI0921731B1 (pt) 2008-10-31 2018-01-02 Chevron Phillips Chemical Company Lp “sistema catalisador, processo de oligomerização e processo para a preparação de um sistema catalisador”
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US20100125284A1 (en) 2008-11-20 2010-05-20 Hansen Medical, Inc. Registered instrument movement integration
WO2010068783A1 (en) 2008-12-12 2010-06-17 Corindus Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
EP2424422B1 (en) * 2009-04-29 2019-08-14 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
WO2010128411A1 (en) 2009-05-08 2010-11-11 Koninklijke Philips Electronics, N.V. Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2010131500A1 (ja) 2009-05-15 2010-11-18 シャープ株式会社 画像処理装置および画像処理方法
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
JP5836267B2 (ja) 2009-05-18 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
CN102595998A (zh) * 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测
JP4781492B2 (ja) 2009-11-10 2011-09-28 オリンパスメディカルシステムズ株式会社 多関節マニピュレータ装置及びそれを有する内視鏡システム
US20110184238A1 (en) 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
EP2377457B1 (en) * 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US8845631B2 (en) 2010-04-28 2014-09-30 Medtronic Ablation Frontiers Llc Systems and methods of performing medical procedures
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US20120101369A1 (en) 2010-06-13 2012-04-26 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
EP3659490A1 (en) 2010-08-20 2020-06-03 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US8827948B2 (en) 2010-09-17 2014-09-09 Hansen Medical, Inc. Steerable catheters
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
DE112010006052T5 (de) * 2010-12-08 2013-10-10 Industrial Technology Research Institute Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
US9414770B2 (en) 2010-12-29 2016-08-16 Biosense Webster (Israel) Ltd. Respiratory effect reduction in catheter position sensing
US20120191086A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
EP2676101B1 (en) 2011-02-18 2021-04-14 DePuy Synthes Products, LLC Tool with integrated navigation and guidance system
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US10918307B2 (en) 2011-09-13 2021-02-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter navigation using impedance and magnetic field measurements
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
US9675304B2 (en) 2011-06-27 2017-06-13 Koninklijke Philips N.V. Live 3D angiogram using registration of a surgical tool curve to an X-ray image
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
WO2013036837A1 (en) 2011-09-08 2013-03-14 Apn Health, Llc R-wave detection method
EP2755591B1 (en) 2011-09-16 2020-11-18 Auris Health, Inc. System for displaying an image of a patient anatomy on a movable display
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US20130246431A1 (en) 2011-12-27 2013-09-19 Mcafee, Inc. System and method for providing data protection workflows in a network environment
DE102012100848B4 (de) 2012-02-01 2019-05-29 Hans Pfriem System und Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
EP3488803B1 (en) 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
JP6261516B2 (ja) 2012-02-09 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リアルタイムナビゲーショントラッキングのためのシャフトトラッカー
EP4056111A3 (en) 2012-02-22 2022-12-07 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
EP2866642B1 (en) 2012-06-28 2017-09-13 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
DE102012220116A1 (de) * 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
KR102189666B1 (ko) 2012-08-15 2020-12-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기계 몸체의 운동을 조종하기 위한 가상 자유도
KR20150058250A (ko) 2012-08-24 2015-05-28 유니버시티 오브 휴스턴 로봇 장치 및 영상 안내 및 로봇 지원 수술을 위한 시스템
US9330454B2 (en) 2012-09-12 2016-05-03 Bruce Reiner Method and apparatus for image-centric standardized tool for quality assurance analysis in medical imaging
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
KR102196291B1 (ko) 2012-10-12 2020-12-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
WO2014074481A2 (en) 2012-11-07 2014-05-15 Dana Automotive Systems Group, Llc A clutch management system
US20150313503A1 (en) 2012-11-20 2015-11-05 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
EP2964069B8 (en) 2013-02-26 2020-07-15 ELMED Electronics and Medical Industry and Trade Inc. (A.S.) A robotic manipulator system
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
CN104797186B (zh) * 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
EP2904958A4 (en) 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US10271810B2 (en) 2013-04-02 2019-04-30 St. Jude Medical International Holding S.à r. l. Enhanced compensation of motion in a moving organ using processed reference sensor data
EP2983579A2 (en) * 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
WO2014201165A1 (en) 2013-06-11 2014-12-18 Auris Surgical Robotics, Inc. System for robotic assisted cataract surgery
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
CN109954196B (zh) 2013-08-15 2021-11-09 直观外科手术操作公司 用于导管定位和插入的图形用户界面
US10098565B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
US20160213432A1 (en) 2013-10-02 2016-07-28 Koninklijke Philips N.V. Hub design and methods for optical shape sensing registration
US9980785B2 (en) 2013-10-24 2018-05-29 Auris Health, Inc. Instrument device manipulator with surgical tool de-articulation
KR102332023B1 (ko) 2013-10-24 2021-12-01 아우리스 헬스, 인크. 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
KR102337440B1 (ko) 2013-12-09 2021-12-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 장치-인지 가요성 도구 정합을 위한 시스템 및 방법
CN103705307B (zh) 2013-12-10 2017-02-22 中国科学院深圳先进技术研究院 手术导航系统及医疗机器人
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
EP3085324B1 (en) 2013-12-20 2019-02-20 Olympus Corporation Guide member for flexible manipulator, and flexible manipulator
EP3084747B1 (en) 2013-12-20 2022-12-14 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
JP2017503593A (ja) 2014-01-24 2017-02-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学形状検出装置の視点を伴う仮想画像
US10314656B2 (en) 2014-02-04 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
SG11201606423VA (en) 2014-02-05 2016-09-29 Univ Singapore Systems and methods for tracking and displaying endoscope shape and distal end orientation
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航系统和方法
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
EP3243476B1 (en) * 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
WO2016004177A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method of providing distance and orientation feedback while navigating in 3d
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
JP6463038B2 (ja) * 2014-08-27 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
JP6689832B2 (ja) 2014-09-30 2020-04-28 オーリス ヘルス インコーポレイテッド 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム
US10037841B2 (en) 2014-10-15 2018-07-31 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
US20160128992A1 (en) 2014-11-11 2016-05-12 Vanderbilt University Methods for limiting acute kidney injury
US20170325896A1 (en) 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
JP6342794B2 (ja) 2014-12-25 2018-06-13 新光電気工業株式会社 配線基板及び配線基板の製造方法
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
US10197518B2 (en) 2015-02-20 2019-02-05 Teleflex Medical Devices S.À R.L. Medical device position location systems, devices and methods
JP6348078B2 (ja) 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
CN104758066B (zh) 2015-05-06 2017-05-10 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
DE112015006531T5 (de) 2015-06-11 2018-02-15 Olympus Corporation Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung
US10347904B2 (en) 2015-06-19 2019-07-09 Solidenergy Systems, Llc Multi-layer polymer coated Li anode for high density Li metal battery
JP6750194B2 (ja) 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
GB2540757B (en) 2015-07-22 2021-03-31 Cmr Surgical Ltd Torque sensors
DE102015112411A1 (de) * 2015-07-29 2017-02-02 Universal Consulting GmbH System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
WO2017030913A2 (en) 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017030916A1 (en) 2015-08-14 2017-02-23 Schlumberger Technology Corporation Inline viscosity determination technique
JP6987040B2 (ja) 2015-08-28 2021-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 運動関係を決定する方法及び装置
CN113367671A (zh) 2015-08-31 2021-09-10 梅西莫股份有限公司 无线式病人监护系统和方法
CN108348133B (zh) 2015-09-09 2020-11-13 奥瑞斯健康公司 用于手术机器人系统的器械装置操纵器
CN114098600A (zh) 2015-09-17 2022-03-01 恩达马斯特有限公司 主-从内窥镜系统
EP3361933B1 (en) 2015-10-13 2023-03-01 Lightlab Imaging, Inc. Intravascular imaging system and methods to determine cut plane view angle of side branch
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
CN113384348A (zh) 2016-02-26 2021-09-14 直观外科手术操作公司 使用虚拟边界避免碰撞的系统和方法
JP6637195B2 (ja) 2016-03-24 2020-01-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 治療評価装置
WO2017167754A1 (en) 2016-03-31 2017-10-05 Koninklijke Philips N.V. Image guided robot for catheter placement
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
EP3478161B1 (en) 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
CN106137103A (zh) * 2016-07-18 2016-11-23 王存金 内窥镜及内窥镜系统
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
KR20230096148A (ko) 2016-08-31 2023-06-29 아우리스 헬스, 인코포레이티드 길이 보존 수술용 기구
US20180055576A1 (en) 2016-09-01 2018-03-01 Covidien Lp Respiration motion stabilization for lung magnetic navigation system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10278778B2 (en) * 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
KR102545869B1 (ko) 2017-03-28 2023-06-23 아우리스 헬스, 인코포레이티드 샤프트 작동 핸들
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
KR20230106716A (ko) 2017-04-07 2023-07-13 아우리스 헬스, 인코포레이티드 환자 삽입기(Introducer) 정렬
US10643330B2 (en) 2017-04-21 2020-05-05 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
KR102643758B1 (ko) 2017-05-12 2024-03-08 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
CN110769736B (zh) 2017-05-17 2023-01-13 奥瑞斯健康公司 可更换工作通道
US10022192B1 (en) * 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7130682B2 (ja) 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
US11395703B2 (en) 2017-06-28 2022-07-26 Auris Health, Inc. Electromagnetic distortion detection
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
US10470830B2 (en) 2017-12-11 2019-11-12 Auris Health, Inc. Systems and methods for instrument based insertion architectures
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
EP3740152A4 (en) 2018-01-17 2021-11-03 Auris Health, Inc. SURGICAL PLATFORM WITH ADJUSTABLE ARMRESTS
CN116370084A (zh) 2018-02-13 2023-07-04 奥瑞斯健康公司 用于驱动医疗器械的系统和方法
EP3758641A4 (en) 2018-03-01 2021-12-15 Auris Health, Inc. PROCEDURES AND SYSTEMS FOR MAPPING AND NAVIGATION
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
CN117017505A (zh) 2018-03-28 2023-11-10 奥瑞斯健康公司 复合器械和机器人系统
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
CN111954497A (zh) 2018-03-29 2020-11-17 奥瑞斯健康公司 带有具有旋转偏移的多功能端部执行器的机器人启用式医疗系统
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
EP3801280A4 (en) 2018-05-31 2022-03-09 Auris Health, Inc. ROBOTIC SYSTEMS AND LUMINAL NETWORK NAVIGATION METHODS THAT DETECT PHYSIOLOGICAL NOISE
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
EP3813714A4 (en) 2018-06-07 2022-02-09 Auris Health, Inc. HIGH FORCE INSTRUMENT ROBOTIC MEDICAL SYSTEMS
JP7366943B2 (ja) 2018-06-27 2023-10-23 オーリス ヘルス インコーポレイテッド 医療器具のための位置合わせ及び取り付けシステム
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
KR20210024484A (ko) 2018-06-28 2021-03-05 아우리스 헬스, 인코포레이티드 풀리 공유를 통합한 의료 시스템
KR20230169481A (ko) 2018-08-07 2023-12-15 아우리스 헬스, 인코포레이티드 카테터 제어와의 변형-기반 형상 감지의 조합
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
EP3806758A4 (en) 2018-08-17 2022-04-06 Auris Health, Inc. BIPOLAR MEDICAL DEVICE
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
CN112739283A (zh) 2018-09-17 2021-04-30 奥瑞斯健康公司 用于伴随医学规程的系统和方法
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
AU2019347754A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
AU2019347767A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Systems and methods for docking medical instruments
CN112752534A (zh) 2018-09-28 2021-05-04 奥瑞斯健康公司 用于手动和机器人驱动医疗器械的装置、系统和方法
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
EP3870075A4 (en) 2018-12-20 2022-08-03 Auris Health, Inc. SHIELDING FOR WRIST INSTRUMENTS
JP7480152B2 (ja) 2018-12-28 2024-05-09 オーリス ヘルス インコーポレイテッド ロボット医療用システム及び方法のための経皮的シース
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
EP3965710A4 (en) 2019-03-08 2023-04-05 Auris Health, Inc. TILT MECHANISMS FOR MEDICAL SYSTEMS AND APPLICATIONS
US20200297444A1 (en) 2019-03-21 2020-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for localization based on machine learning
CN113613580A (zh) 2019-03-22 2021-11-05 奥瑞斯健康公司 用于使医疗器械上的输入部对准的系统和方法
CN113613566A (zh) 2019-03-25 2021-11-05 奥瑞斯健康公司 用于医疗缝合的系统和方法
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
JP2022527834A (ja) 2019-04-08 2022-06-06 オーリス ヘルス インコーポレイテッド 付随する処置のためのシステム、方法、及びワークフロー
EP4278322A1 (en) * 2021-01-15 2023-11-22 Boston Scientific Scimed Inc. Methods and apparatuses for generating anatomical models using diagnostic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082351A1 (en) * 2005-05-23 2012-04-05 The Penn State Research Foundation Fast 3d-2d image registration method with application to continuously guided endoscopy
US20170084027A1 (en) * 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks

Also Published As

Publication number Publication date
CN110831537B (zh) 2023-06-06
US20180368920A1 (en) 2018-12-27
US20240033009A1 (en) 2024-02-01
CN116725669A (zh) 2023-09-12
AU2018289116A1 (en) 2020-01-16
AU2018289116B2 (en) 2022-12-08
US10159532B1 (en) 2018-12-25
US20210113280A1 (en) 2021-04-22
EP3641687A4 (en) 2021-02-24
US11759266B2 (en) 2023-09-19
KR102582808B1 (ko) 2023-10-04
WO2018236587A1 (en) 2018-12-27
US20190216548A1 (en) 2019-07-18
JP2020524579A (ja) 2020-08-20
US10022192B1 (en) 2018-07-17
US11278357B2 (en) 2022-03-22
CN110831537A (zh) 2020-02-21
EP3641687A1 (en) 2020-04-29
JP2022141792A (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
US11969217B2 (en) Robotic system configured for navigation path tracing
US11793580B2 (en) Systems and methods for location sensor-based branch prediction
US11850008B2 (en) Image-based branch detection and mapping for navigation
EP3684282B1 (en) Systems to correct for uncommanded instrument roll
EP3773131A1 (en) Systems and methods for registration of location sensors
CN114340542A (zh) 用于位置传感器的基于权重的配准的系统和方法

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)