KR20220123273A - 해부학적 특징부 식별 및 표적설정 - Google Patents

해부학적 특징부 식별 및 표적설정 Download PDF

Info

Publication number
KR20220123273A
KR20220123273A KR1020227026397A KR20227026397A KR20220123273A KR 20220123273 A KR20220123273 A KR 20220123273A KR 1020227026397 A KR1020227026397 A KR 1020227026397A KR 20227026397 A KR20227026397 A KR 20227026397A KR 20220123273 A KR20220123273 A KR 20220123273A
Authority
KR
South Korea
Prior art keywords
target
image
anatomical feature
location
feature
Prior art date
Application number
KR1020227026397A
Other languages
English (en)
Inventor
맹롱 예
얀웨이 왕
엘리프 아이발리
데이비드 폴 무난
Original Assignee
아우리스 헬스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우리스 헬스, 인코포레이티드 filed Critical 아우리스 헬스, 인코포레이티드
Publication of KR20220123273A publication Critical patent/KR20220123273A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40494—Neural network for object trajectory prediction, fuzzy for robot path

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Urology & Nephrology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Electrotherapy Devices (AREA)

Abstract

수술 기구를 위치설정하는 방법은 카메라를 포함하는 제1 의료 기구를 환자의 치료 부위로 전진시키는 단계, 치료 부위에서 표적 해부학적 특징부와 연관된 표적 위치를 기록하는 단계, 제1 의료 기구의 카메라를 사용하여 치료 부위의 제1 이미지를 생성하는 단계, 사전훈련된 신경망을 사용하여 제1 이미지 내의 표적 해부학적 특징부를 식별하는 단계, 및 제1 이미지 내의 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 표적 위치를 조정하는 단계를 포함할 수 있다.

Description

해부학적 특징부 식별 및 표적설정
관련 출원(들)
본 출원은, 그 개시가 전체적으로 본 명세서에 참고로 포함되는, 2019년 12월 31일자로 출원되고 발명의 명칭이 해부학적 특징부 식별 및 표적설정(ANATOMICAL FEATURE IDENTIFICATION AND TARGETING)인 미국 가출원 제62/955,991호에 대한 우선권을 주장한다.
본 개시는 의료 절차의 분야에 관한 것이다.
다양한 의료 절차는 소정의 이미지-캡처링(image-capturing) 기능을 갖도록 구성된 하나 이상의 스코프(scope)-유형 장치의 사용을 수반하고, 이는 각각의 의료 절차와 연관된 소정의 해부학적 특징부의 시각화를 제공하는 데 이용될 수 있다. 소정의 수술 프로세스는 그러한 장치를 사용하여 캡처된 이미지 데이터에 의해 적어도 부분적으로 안내될 수 있다.
스코프 장치 또는 다른 의료 기구를 사용하여 획득된 그러한 특징부들의 이미지들에 기초하여 다양한 해부학적 특징부들의 식별 및 추적을 용이하게 하기 위한 시스템들, 장치들, 및 방법들이 본 명세서에 기술된다. 그러한 특징부 식별 및/또는 추적은 예를 들어 신장의 해부학적 구조에 접근하는 신장경술 또는 다른 절차와 같은 의료 절차와 관련하여 소정의 해부학적 특징부들의 표적설정을 용이하게 할 수 있다.
일부 구현예에서, 본 개시는 수술 기구를 위치설정하는 방법에 관한 것이다. 방법은 카메라를 포함하는 제1 의료 기구를 환자의 치료 부위로 전진시키는 단계, 치료 부위에서 표적 해부학적 특징부와 연관된 표적 위치를 기록하는 단계, 제1 의료 기구의 카메라를 사용하여 치료 부위의 제1 이미지를 생성하는 단계, 사전훈련된 신경망(pretrained neural network)을 사용하여 제1 이미지 내의 표적 해부학적 특징부를 식별하는 단계, 및 제1 이미지 내의 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 표적 위치를 조정하는 단계를 포함한다.
방법은 제1 이미지 내의 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 제1 의료 기구의 배향을 조정하는 단계를 추가로 포함할 수 있다. 예를 들어, 제1 의료 기구의 배향을 조정하는 단계는 식별된 표적 해부학적 특징부를 카메라와 연관된 시야 내에서 중심에 위치시키는 단계를 포함할 수 있다.
일부 실시예에서, 표적 위치를 기록하는 단계는 표적 해부학적 특징부를 제1 의료 기구의 원위 단부와 접촉시키는 단계, 표적 해부학적 특징부와 제1 의료 기구의 원위 단부의 접촉 위치를 나타내는 위치 데이터를 생성하는 단계, 및 위치 데이터가 하나 이상의 데이터 저장 장치들에 저장되게 하는 단계를 포함한다. 예를 들어, 방법은 상기 제1 이미지를 생성하는 단계 전에 제1 의료 기구의 원위 단부를 표적 해부학적 특징부로부터 멀어지게 후퇴시키는 단계를 추가로 포함할 수 있다.
일부 실시예에서, 방법은 제1 이미지를 생성하는 단계 후에 제1 의료 기구의 카메라를 사용하여 치료 부위의 제2 이미지를 생성하는 단계, 사전훈련된 신경망을 사용하여 제2 이미지 내의 해부학적 특징부를 식별하는 단계, 제2 이미지의 해부학적 특징부와 제1 이미지의 표적 해부학적 특징부가 동일한 특징부를 나타내는 것으로 결정하는 단계, 및 상기 결정하는 단계에 응답하여, 제2 이미지 내의 식별된 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 표적 위치를 조정하는 단계를 추가로 포함한다. 예를 들어, 제2 이미지의 해부학적 특징부와 제1 이미지의 표적 해부학적 특징부가 동일한 특징부를 나타내는 것으로 결정하는 단계는 제2 이미지의 해부학적 특징부의 적어도 일부분과 제1 이미지의 표적 해부학적 특징부의 적어도 일부분 사이의 중첩량(amount of overlap)을 결정하는 단계 및 중첩량이 사전결정된 임계치보다 큰 것으로 결정하는 단계를 포함할 수 있다. 방법은 제1 이미지의 표적 해부학적 특징부의 적어도 일부분을 마스킹하는 제1 이미지의 제1 마스크(mask)를 생성하는 단계 및 제2 이미지의 해부학적 특징부의 적어도 일부분을 마스킹하는 제2 이미지의 제2 마스크를 생성하는 단계를 추가로 포함할 수 있고, 중첩량을 결정하는 단계는 제1 마스크 및 제2 마스크를 사용하여 수행된다. 일부 실시예에서, 제2 이미지의 해부학적 특징부와 제1 이미지의 표적 해부학적 특징부가 동일한 특징부를 나타내는 것으로 결정하는 단계는 제1 이미지와 제2 이미지 사이에서의 특징부의 이동을 추적하는 단계를 포함할 수 있다. 일부 실시예에서, 방법은 제1 이미지 및 제2 이미지에 적어도 부분적으로 기초하여 제2 이미지의 해부학적 특징부의 3차원 위치를 추정하는 단계를 추가로 포함한다. 예를 들어, 해부학적 특징부의 3차원 위치를 추정하는 단계는 카메라 초점 거리, 카메라 주점(principal point), 제1 의료 기구의 상대적 움직임, 제1 의료 기구의 회전, 및 전자기, 구조화 조명(structured lighting), 및/또는 비행-시간(time-of-flight) 센서 판독치들 중 하나 이상에 기초한다.
일부 실시예에서, 표적 위치를 조정하는 단계는 추가로 제1 의료 기구의 결정된 이동에 적어도 부분적으로 기초한다. 방법은 제2 의료 기구를 환자의 조직을 통해 표적 위치를 향해 경피적으로 지향시키는 단계를 추가로 포함할 수 있다. 예를 들어, 제2 의료 기구를 환자의 조직을 통해 표적 위치를 향해 지향시키는 단계는 제1 의료 기구 및 제2 의료 기구 둘 모두의 정렬 센서들에 의해 제공되는 센서 데이터를 사용하여 수행될 수 있다. 일부 실시예에서, 방법은 로봇 시스템에 의해 적어도 부분적으로 수행된다.
일부 구현예에서, 본 개시는 해부학적 특징부를 표적설정하는 방법에 관한 것이다. 방법은 환자의 표적 해부학적 특징부와 연관된 표적 위치를 나타내는 표적 위치 데이터를 수신하는 단계, 표적 위치 데이터를 하나 이상의 데이터 저장 장치들에 저장하는 단계, 환자 내의 수술 부위의 제1 이미지를 수신하는 단계, 인공 신경망을 사용하여 표적 해부학적 특징부를 나타내는 제1 이미지 내의 제1 형태를 식별하는 단계, 및 제1 이미지 내의 식별된 형태에 기초하여 표적 위치를 나타내는 업데이트된 표적 위치 데이터를 저장하는 단계를 포함한다.
방법은 의료 기구가 업데이트된 표적 위치 데이터에 응답하여 관절운동되게 하는 단계를 추가로 포함할 수 있다. 일부 실시예에서, 방법은 의료 시스템의 제어 회로에 의해 수행되고, 표적 위치 데이터 및 제1 이미지는 의료 시스템의 내시경(endoscope)으로부터 수신된다. 표적 해부학적 특징부는 환자의 신장의 신배(calyx) 내의 유두(papilla)의 노출된 부분일 수 있다. 인공 신경망은 알려진 이미지 및 라벨 데이터에 기초하여 사전훈련될 수 있다. 예를 들어, 인공 신경망은 다층 특징부 피라미드 네트워크(multiple-layer feature pyramid network)를 포함할 수 있다.
업데이트된 표적 위치 데이터는 환자에 관한 알려진 호흡 정보에 적어도 부분적으로 기초할 수 있다. 일부 실시예에서, 방법은 수술 부위의 제2 이미지를 수신하는 단계, 인공 신경망을 사용하여 표적 해부학적 특징부를 나타내는 제2 이미지 내의 제2 형태를 식별하는 단계, 및 제1 형태 및 제2 형태에 적어도 부분적으로 기초하여 표적 해부학적 특징부의 3차원 위치를 결정하는 단계를 추가로 포함한다. 예를 들어, 표적 해부학적 특징부의 3차원 위치를 결정하는 단계는 제2 형태의 상대적 크기에 적어도 부분적으로 기초할 수 있다. 일부 실시예에서, 표적 해부학적 특징부의 3차원 위치를 결정하는 단계는 구조화 조명 센서(들), 비행-시간 센서(들) 등과 같은 하나 이상의 외부 카메라 센서들에 의해 생성되는 데이터에 기초한다.
일부 구현예에서, 본 개시는 그의 원위 단부와 연관된 카메라 및 전자기 위치 센서를 갖는 내시경, 복수의 관절운동 아암들(articulating arms)을 포함하는 로봇 의료 서브시스템, 및 내시경 및 로봇 의료 서브시스템에 통신가능하게 결합되는 제어 회로를 포함하는 의료 시스템에 관한 것이다. 제어 회로는 사용자 입력에 응답하여 내시경을 환자의 치료 부위로 전진시키고, 전자기장 내에서의 내시경의 원위 단부의 위치를 기록하고, 표적 해부학적 위치로서 상기 위치를 나타내는 사용자 인터페이스 데이터(user interface data)를 생성하고, 내시경의 카메라로부터 제1 이미지를 수신하고, 사전훈련된 신경망을 사용하여 제1 이미지 내의 표적 해부학적 특징부를 식별하고, 제1 이미지 내의 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 표적 해부학적 위치를 조정하도록 구성된다.
제어 회로는 전자기장 내에서 내시경의 원위 단부를 교정하도록 추가로 구성될 수 있다. 일부 실시예에서, 의료 시스템은 제어 회로에 통신가능하게 결합되는 로봇 신장경(robotic nephroscope)을 추가로 포함한다.
일부 구현예에서, 본 개시는 내시경 인터페이스, 및 하나 이상의 프로세서들 및 하나 이상의 데이터 저장 장치들을 포함하는 제어 회로를 포함하는 컴퓨팅 장치에 관한 것이다. 제어 회로는 내시경 인터페이스를 통해 제어 회로에 결합되는 내시경의 원위 단부의 위치를 나타내는 정렬 센서 데이터를 수신하고, 표적 신장경술 위치로서 내시경의 원위 단부의 위치를 나타내는 제1 사용자 인터페이스 데이터를 생성하고, 내시경 인터페이스를 통해 진료 부위의 제1 이미지를 수신하고, 제1 이미지 내의 제1 해부학적 형태를 식별하고, 내시경 인터페이스를 통해 진료 부위의 제2 이미지를 수신하고, 제2 이미지 내의 제2 해부학적 형태를 식별하고, 제1 해부학적 형태와 제2 해부학적 형태가 동일한 표적 해부학적 특징부를 나타내는 것으로 결정하고, 상기 결정하는 것에 기초하여 표적 신장경술 위치를 업데이트하도록 구성된다.
제어 회로는 제1 및 제2 이미지들의 오버레이(overlay)에서의 제1 형태와 제2 형태의 중첩량이 사전결정된 임계치보다 큰 것으로 결정하도록 추가로 구성될 수 있다. 일부 실시예에서, 제어 회로는, 상기 표적 신장경술 위치를 업데이트하는 것에 응답하여, 업데이트된 표적 신장경술 위치를 나타내는 제2 사용자 인터페이스 데이터를 생성하도록 구성된다.
본 개시를 요약하기 위해, 소정 태양, 이점 및 신규한 특징이 기술되었다. 모든 그러한 이점이 반드시 임의의 특정 실시예에 따라 달성될 수 있는 것은 아님이 이해되어야 한다. 따라서, 개시된 실시예는 반드시 본 명세서에 교시되거나 제안될 수 있는 바와 같은 다른 이점을 달성하지 않고서 본 명세서에 교시된 바와 같은 하나의 이점 또는 이점의 그룹을 달성하거나 최적화하는 방식으로 수행될 수 있다.
다양한 실시예가 예시적인 목적으로 첨부 도면에 도시되어 있고, 어떠한 방식으로도 본 발명의 범주를 제한하는 것으로 해석되어서는 안 된다. 또한, 상이한 개시된 실시예의 다양한 특징이 조합되어 본 개시의 일부인 추가 실시예를 형성할 수 있다. 도면 전체에 걸쳐, 도면 부호는 참조 요소들 사이의 대응을 나타내기 위해 재사용될 수 있다.
도 1은 하나 이상의 실시예에 따른 로봇 의료 시스템의 일 실시예를 예시한 도면.
도 2는 하나 이상의 실시예에 따른, 도 1의 의료 시스템에서 구현될 수 있는 예시적인 장치를 예시한 도면.
도 3은 하나 이상의 실시예에 따른, 비뇨기 계통의 부분에 배치된 요관경을 예시한 도면.
도 4는 하나 이상의 실시예에 따른, 안내식 경피 신절석술을 수행하기 위한 프로세스를 예시한 흐름도.
도 5는 하나 이상의 실시예에 따른, 도 4의 프로세스와 연관된 다양한 블록, 상태, 및/또는 동작에 대응하는 소정 이미지를 도시한 도면.
도 6은 하나 이상의 실시예에 따른, 해부학적 특징부를 표적설정하기 위한 프로세스를 예시한 흐름도.
도 7은 하나 이상의 실시예에 따른 표적 식별 및/또는 분류 아키텍처를 예시한 도면.
도 8은 하나 이상의 실시예에 따른 신경망-기반 이미지 세그먼트화 아키텍처를 예시한 도면.
도 9는 하나 이상의 실시예에 따른, 표적 해부학적 특징부를 추적하기 위한 프로세스를 예시한 흐름도.
도 10-1 및 도 10-2는 하나 이상의 실시예에 따른, 표적 해부학적 특징부를 추적하기 위한 프로세스를 예시한 흐름도를 제공한 도면.
도 11은 하나 이상의 실시예에 따른, 도 10-1 및 도 10-2의 프로세스와 연관된 다양한 블록, 상태, 및/또는 동작에 대응하는 소정 이미지를 도시한 도면.
도 12는 하나 이상의 실시예에 따른 3차원 위치 추정 프레임워크를 예시한 도면.
본 명세서에 제공된 표제는 단지 편의를 위한 것이고, 청구된 발명의 범주 또는 의미에 반드시 영향을 주는 것은 아니다. 소정의 바람직한 실시예 및 예가 아래에 개시되지만, 본 발명의 요지는 구체적으로 개시된 실시예를 넘어 다른 대안적인 실시예 및/또는 용도로 그리고 그의 변형 및 등가물로 확장된다. 따라서, 본 명세서로부터 발생할 수 있는 청구범위의 범주는 후술되는 특정 실시예들 중 임의의 것에 의해 제한되지 않는다. 예를 들어, 본 명세서에 개시된 임의의 방법 또는 프로세스에서, 방법 또는 프로세스의 동작 또는 작동은 임의의 적합한 시퀀스로 수행될 수 있고, 반드시 임의의 특정한 개시된 시퀀스로 제한되지는 않는다. 소정 실시예를 이해하는 데 도움이 될 수 있는 방식으로 다양한 동작이 다수의 개별 동작으로서 차례로 기술될 수 있지만; 설명의 순서는 이들 동작이 순서에 의존함을 의미하는 것으로 해석되어서는 안 된다. 추가적으로, 본 명세서에 기술된 구조물, 시스템, 및/또는 장치는 통합된 컴포넌트로서 또는 별개의 컴포넌트로서 구현될 수 있다. 다양한 실시예를 비교하기 위해, 이들 실시예의 소정 태양 및 이점이 기술된다. 모든 그러한 태양 또는 이점이 반드시 임의의 특정 실시예에 의해 달성되는 것은 아니다. 따라서, 예를 들어, 다양한 실시예는 반드시 본 명세서에 또한 교시되거나 제안될 수 있는 바와 같은 다른 태양 또는 이점을 달성하지 않고서 본 명세서에 교시된 바와 같은 하나의 이점 또는 이점의 그룹을 달성하거나 최적화하는 방식으로 수행될 수 있다.
위치의 소정의 표준 해부학적 용어는 바람직한 실시예와 관련하여 동물, 즉 인간의 해부학적 구조를 지칭하기 위해 본 명세서에 사용된다. 소정의 공간적으로 상대적인 용어, 예컨대 "외측", "내측", "상부", "하부", "아래", "위", "수직", "수평", "상단부", "저부", 및 유사한 용어는 다른 장치/요소 또는 해부학적 구조물에 대한 하나의 장치/요소 또는 해부학적 구조물의 공간 관계를 기술하기 위해 본 명세서에 사용되지만, 이들 용어는 도면에 예시된 바와 같이, 요소(들)/구조물(들) 사이의 위치 관계를 기술하기 위한 설명의 용이함을 위해 본 명세서에 사용된다는 것이 이해되어야 한다. 공간적으로 상대적인 용어는 도면에 도시된 배향에 더하여, 사용 또는 동작 중인 요소(들)/구조물(들)의 상이한 배향을 포함하도록 의도된다는 것이 이해되어야 한다. 예를 들어, 다른 요소/구조물 "위"에 있는 것으로 기술된 요소/구조물이 대상 환자 또는 요소/구조물의 대안적인 배향과 관련하여 그러한 다른 요소/구조물 아래에 또는 옆에 있는 위치를 나타낼 수 있고, 그 반대의 경우도 마찬가지이다.
본 개시는 소정의 의료 절차를 보조하기 위해 환자의 표적 해부학적 특징부를 식별하고 추적하기 위한 시스템, 장치, 및 방법에 관한 것이다. 본 개시의 소정 태양이 신장, 비뇨기과학, 및/또는 신장학 절차, 예컨대 신장 결석 제거/치료 절차의 맥락에서 본 명세서에 상세히 기술되지만, 그러한 맥락은 편의상 그리고 명확함을 위해 제공되고, 본 명세서에 개시된 해부학적 특징부 식별 및 추적 개념은 임의의 적합한 의료 절차에 적용가능하다는 것이 이해되어야 한다. 그러나, 언급된 바와 같이, 신장/비뇨기 해부학적 구조 및 연관된 의학적 문제 및 절차의 설명은 본 명세서에 개시된 본 발명의 개념의 설명을 보조하기 위해 아래에 제시된다.
요로 결석증으로도 알려진 신장 결석 질환은 "신장 결석", "요로 결석", "신결석", "신장 결석증", 또는 "신석증"으로 지칭되는, 물질의 고체 조각의 요로 내의 형성을 수반하는 비교적 일반적인 의학적 질환이다. 요로 결석은 신장, 요관, 및 방광("방광 결석"으로 지칭됨)에서 형성되고/되거나 발견될 수 있다. 그러한 요로 결석은 농축된 광물의 결과로서 형성되고, 일단 결석이 요관 또는 요도를 통한 소변 흐름을 방해하기에 충분한 크기에 도달하면 상당한 복부 통증을 유발할 수 있다. 요로 결석은 칼슘, 마그네슘, 암모니아, 요산, 시스테인, 및/또는 다른 화합물로부터 형성될 수 있다.
방광 및 요관으로부터 요로 결석을 제거하기 위해, 외과의는 요도를 통해 요로 내로 삽입되는 요관경을 가질 수 있다. 전형적으로, 요관경은 그의 원위 단부에서 요로의 시각화를 가능하게 하도록 구성된 내시경을 포함한다. 요관경은 또한 요로 결석을 포획하거나 부수기 위해 쇄석술 메커니즘을 포함할 수 있다. 요관경술 절차 동안, 한 명의 의사/전문가가 요관경의 위치를 제어할 수 있고, 한편 다른 의사/전문가가 쇄석술 메커니즘을 제어할 수 있다.
신장으로부터 비교적 큰 결석(즉, "신장 결석")을 제거하기 위해, 의사는, 결석(들)을 부수고/부수거나 제거하기 위해 피부를 통해 신장경을 삽입하는 것을 포함하는 경피 신절석술(percutaneous nephrolithotomy, PCNL) 기법을 사용할 수 있다. 신장 결석(들)의 위치를 찾는 것은 신장경의 삽입을 위한 표적을 제공하기 위한 형광투시법을 사용하여 달성될 수 있다. 그러나, 형광투시법은 형광투시경 자체의 비용뿐만 아니라 형광투시경을 동작시키기 위한 전문가의 비용으로 인해 신절석술 절차의 비용을 증가시킨다. 형광투시법은 또는 환자를 장기간 동안 방사선에 노출시킨다. 형광투시법에 의해서도, 신장 결석에 접근하기 위한 경피 절개부를 정확하게 형성하는 것이 어렵고 바람직하지 않게 부정확할 수 있다. 또한, 일부 신절석술 기법은 2일 또는 3일의 입원 환자 체류를 수반한다. 요컨대, 소정의 신절석술 기법은 비교적 고가이고 환자에게 문제가 될 수 있다.
소정의 수술 절차에 따르면, 내시경(예컨대, 요관경)에 위치 센서가 장착될 수 있고, 여기서 센서의 위치는 PCNL을 위한 것과 같이, 경피 접근을 위한 표적으로서 사용된다. 예를 들어, 전자기-센서-장착식 요관경 및/또는 전자기-센서-장착식 경피 접근 니들이 신장 결석 제거 등을 위한 경피 신장 접근을 안내하는 데 사용될 수 있다. 그러한 절차에서, 외과의/의사는 요관경을 신장의 표적 신배로 구동하고, 니들을 위한 경피 접근 표적으로서 요관경의 원위 단부/팁과 연관된 전자기 센서(예컨대, 비컨(beacon))를 사용할 수 있다. 일반적으로, 표적 신배에 대한 경피 축의 효능은, 예를 들어 그것을 통해 표적 신배에 대한 경피 접근이 이루어질 수 있는 유두에 대한 요관경의 위치 및/또는 방향과 관련하여 의사가 요관경을 위치/파킹시키는(park) 곳에 적어도 부분적으로 의존할 수 있다. 요관경의 원위 단부/팁이 경피 접근 표적으로서 사용되는 일부 절차의 경우, 경피 접근/근접 동안 요관경의 원위 팁이 유두/신배 인터페이스에 가능한 한 가까운 것이 바람직할 수 있다.
용어 "스코프" 및 "내시경"은 그들의 넓고 통상적인 의미에 따라 본 명세서에 사용되고, 이미지 생성, 관찰, 및/또는 캡처링 기능을 갖고 임의의 유형의 장기, 공동, 내강, 챔버, 또는 신체의 공간 내로 도입되도록 구성된 임의의 유형의 세장형 의료 기구를 지칭할 수 있다. 예를 들어, 본 명세서에서 스코프 또는 내시경에 대한 언급은 요관경, 방광경, 신장경, 기관지경, 관절경, 결장경, 복강경, 보어스코프(borescope) 등을 지칭할 수 있다. 스코프/내시경은, 일부 경우에, 강성 또는 가요성 튜브를 포함할 수 있고, 외측 시스(sheath), 카테터(catheter), 삽입기(introducer), 또는 다른 루멘(lumen)-유형 장치 내에서 통과되도록 치수설정될 수 있거나, 그러한 장치 없이 사용될 수 있다.
로봇-보조식 경피 절차는 신장 결석 제거 절차와 같은 다양한 의료 절차와 관련하여 구현될 수 있고, 여기서 로봇 도구는 의사/비뇨기과 의사가 내시경 표적 접근(예컨대, 요관경)뿐만 아니라 경피 접근 또는 치료를 수행하는 것을 가능하게 할 수 있다. 그러나, 수술 동안의 표적 해부학적 특징부의 이동은 수술하는 의사가 고정된 경피 접근 표적 위치에 의존하는 경우에 문제가 될 수 있다. 유리하게는, 본 개시의 태양은 의료 절차에서의 실시간 표적 추적/안내에 관한 것이고, 이는, 예컨대 그러한 실시간 표적-추적 정보에 응답하여 내시경 위치 및/또는 정렬을 자동으로 조정함으로써, 경피-접근 기구(예컨대, 니들 또는 다른 강성 도구)를 지향시키도록 그리고/또는 로봇 기구 장치를 안내하도록 수술하는 의사에 의해 이용될 수 있다. 그러한 기능을 용이하게 하기 위해, 본 개시의 실시예는 유리하게는 신장경술과 같은 다양한 외과 수술을 위한 비교적 효율적이고 정확한 경피 접근을 달성하기 위해 의사(예컨대, 비뇨기과 의사)를 보조하도록 자동 표적 검출, 추적, 및/또는 3차원 위치 추정을 위한 메커니즘을 제공할 수 있다. 본 개시의 태양이 편의상 요관경-안내식 신장경술의 맥락에서 본 명세서에 기술되지만, 본 개시의 발명의 태양은, 로봇이든 아니든 간에, 임의의 적합한 또는 바람직한 유형의 경피 및/또는 내시경술 의료 절차에서 구현될 수 있다는 것이 이해되어야 한다.
의료 시스템
도 1은 본 개시의 태양에 따른, 다양한 의료 절차를 수행하기 위한 예시적인 의료 시스템(10)을 예시한다. 의료 시스템(10)은 환자(13)에게 절차를 수행하기 위해 의료 기구(32)와 맞물리고/리거나 의료 기구를 제어하도록 구성된 로봇 시스템(11)을 포함한다. 의료 시스템(10)은 또한, 로봇 시스템(11)과 인터페이싱하고, 절차에 관한 정보를 제공하고/하거나, 다양한 다른 동작을 수행하도록 구성된 제어 시스템(50)을 포함한다. 예를 들어, 제어 시스템(50)은 의사(5)를 보조하도록 소정 정보를 제시하기 위한 디스플레이(42)를 포함할 수 있다. 의료 시스템(10)은 환자(130)를 유지시키도록 구성된 테이블(15)을 포함할 수 있다. 시스템(10)은 전자기(electromagnetic, EM) 필드 발생기(field generator)(도시되지 않음; 도 3 참조)를 추가로 포함할 수 있고, 이는 로봇 시스템(11)의 로봇 아암들(12) 중 하나 이상에 의해 유지될 수 있거나, 독립형 장치일 수 있다.
일부 구현예에서, 시스템(10)은 경피 신절석술(PCNL)과 같은 경피 절차를 수행하는 데 사용될 수 있다. 예시를 위해, 환자(13)가 요로를 통해 제거되기에는 너무 큰 신장 결석(80)을 갖는 경우, 의사는 환자(13) 상의 경피 접근 지점을 통해 신장 결석을 제거하기 위한 절차를 수행할 수 있다. 일부 실시예에서, 의사는 의료 기구(32)(예컨대, 스코프)를 요도(67)로부터, 방광(65)을 통해, 위로 요관(63)으로, 그리고 결석(80)이 위치된 신장(70) 내로 전진시키고 내비게이팅하기 위해 로봇 시스템(11)을 제어하도록 제어 시스템(50) 및/또는 로봇 시스템(11)과 상호작용할 수 있다. 제어 시스템(50)은 의사(5)가 의료 기구를 내비게이팅하는 것을 보조하기 위해, 의료 기구(32)에 관한 정보, 예컨대 그에 의해 캡처된 실시간 내시경 이미지를 디스플레이(42)를 통해 제공할 수 있다.
신장의 해부학적 구조는 본 발명의 개념의 태양에 관련된 소정의 의료 절차와 관련하여 참조를 위해 본 명세서에 기술된다. 도 1의 전형적인 해부학적 위치에서 개략적으로 도시된 신장은 일반적으로 후복막 공간 내에서 좌측 및 우측에 위치된 2개의 콩-형상의 장기를 포함한다. 성인의 경우, 신장은 일반적으로 길이가 약 11 cm이다. 신장은 쌍을 이룬 신동맥으로부터 혈액을 수용하고; 혈액은 쌍을 이룬 신정맥으로 빠져나가며, 이들 중 어느 것도 시각적 명확성을 위해 도시되지 않는다. 각각의 신장(70)은 요관(63)에 부착되고, 이는 신장으로부터 배출된 소변을 방광(65)으로 운반하는 관이다.
신장은 전형적으로 복강 내에서 비교적 높게 위치되고, 약간 비스듬한 각도로 후복막 위치에 놓인다. 간의 위치로 인한, 복강 내에서의 비대칭은 전형적으로 우측 신장이 좌측 신장보다 약간 더 낮고 더 작게 하고, 좌측 신장보다 약간 더 중앙에 배치되게 한다. 각각 신장의 상부에 부신이 있다. 신장의 상부 부분은 11번 및 12번 늑골에 의해 부분적으로 보호된다. 각각의 신장은, 그의 부신과 함께, 2개의 지방 층에 의해 둘러싸인다: 신근막(renal fascia)과 신피막(renal capsule) 사이에 존재하는 신장주위 지방(perirenal fat) 및 신근막 위에 있는 신장곁 지방(pararenal fat).
신장은 다양한 체액 구획의 부피, 유체 삼투질농도, 산-염기 균형, 다양한 전해질 농도, 및 독소 제거의 제어에 참여한다. 신장은 소정 물질을 분비하고 다른 물질을 재흡수함으로써 여과 기능을 제공한다. 소변으로 분비되는 물질의 예는 수소, 암모늄, 칼륨 및 요산이다. 또한, 신장은 또한 호르몬 합성 등과 같은 다양한 다른 기능을 수행한다.
신장(70)의 오목한 가장자리 상의 리세스된 영역(recessed area)이 신문(renal hilum)(78)이고, 여기서 (도시되지 않은) 신동맥이 신장으로 들어가고 (도시되지 않은) 신정맥과 요관(63)이 나간다. 신장은 강인한 섬유질 조직인 신피막(74)에 의해 둘러싸이고, 이는 그 자체가 신장주위 지방, 신근막, 및 신장곁 지방에 의해 둘러싸인다. 이들 조직의 전방(앞쪽) 표면은 복막이고, 한편 후방(뒤쪽) 표면은 복횡근막이다.
신장의 기능적 물질 또는 실질(parenchyma)은 2개의 주요 구조로 나뉜다: 외측 신피질(renal cortex)(77) 및 내측 신수질(renal medulla)(87). 이들 구조는, 신추체(renal pyramid)(72)로 불리는 수질의 일부분을 둘러싸는 신피질을 각각 포함하는, 복수의 원추-형상의 신엽(renal lobe)의 형상을 취한다. 신추체들(72) 사이에, 신주(renal column)(73)로 불리는 피질의 돌기가 있다. 신장의 소변-생성 기능적 구조인 네프론(nephron)(도 1에 상세히 도시되지 않음)이 피질 및 수질에 걸쳐 있다. 네프론의 초기 여과 부분은 신소체(renal corpuscle)이고, 이는 피질 내에 위치된다. 그 뒤로, 피질로부터 수질 추체로 깊게 통과하는 세뇨관(renal tubule)이 이어진다. 신피질의 일부인 수질 방사선(medullary ray)은 단일 집합관으로 배출하는 세뇨관의 집합이다.
각각의 추체의 팁 또는 유두(79)는 소변을 각각의 소신배(minor calyx)(75)로 비우고; 소신배(75)는 대신배(major calyx)(76)로 비우고, 대신배(76)는 신우(renal pelvis)(71)로 비우고, 이는 요관(63)으로 이행된다. 문(78)에서, 요관(63)과 신정맥은 신장에서 빠져나가고 신동맥은 들어간다. 림프절을 가진 림프 조직 및 문 지방(hilar fat)이 이들 구조를 둘러싼다. 문 지방은 신동(renal sinus)으로 불리는 지방-충전 공동과 인접해 있다. 신동은 집합적으로 신우 및 신배를 포함하고, 이들 구조를 신수질 조직으로부터 분리한다.
의료 시스템(10)을 추가로 참조하면, 의료 기구(예컨대, 스코프)(32)는 요로를 통해 신장(70) 내로 전진될 수 있다. 일단 신장 결석(80)의 부위에서(예컨대, 그것을 통해 결석(80)에 접근가능한 신장(70)의 신배 내에서), 의료 기구(32)는 신장(70)에 대한 경피 접근을 위한 표적 위치를 지정/태깅하는(tag) 데 사용될 수 있다. 신장 및/또는 주변 해부학적 구조에 대한 손상을 최소화하기 위해, 의사(5)는 경피-접근 기구(예컨대, 니들; 도시되지 않음)로 신장 내로 진입하기 위한 표적 위치로서 신장(70)의 특정 유두(79)를 지정할 수 있다. 그러나, 다른 표적 위치가 지정되거나 결정될 수 있다. 경피-접근 기구가 표적 위치(예컨대, 신배)에 도달하였으면, 이용된 경피 접근 경로는 환자(13)로부터 신장 결석(80)을 추출하는 데 사용될 수 있다.
도 1의 예에서, 의료 기구(32)는 스코프로서 구현된다. 그러나, 의료 기구(32)는 각각 카테터, 가이드와이어, 쇄석기(lithotripter), 바스켓 회수 장치(basket retrieval device) 등과 같은, 임의의 적합한 유형의 의료 기구로서 구현될 수 있다. 일부 실시예에서 의료 기구가 조향가능 장치인 반면, 다른 실시예에서 의료 기구가 비-조향가능 장치이다. 일부 실시예에서, 수술 도구가 니들, 메스(scalpel), 가이드와이어 등과 같은, 인간 해부학적 구조를 통해 천공하거나 삽입되도록 구성된 장치를 지칭한다. 그러나, 수술 도구가 다른 유형의 의료 기구를 지칭할 수 있다.
스코프(32)와 같은 스코프가 인간 해부학적 구조 내에서, 예컨대 인간 해부학적 구조의 자연 구멍 또는 내강 내에서 내비게이팅하도록 구성될 수 있다. 스코프가 예를 들어 (예컨대, 요로에 접근하기 위한) 요관경, 복강경, (예컨대, 신장에 접근하기 위한) 신장경, (예컨대, 기관지와 같은 기도에 접근하기 위한) 기관지경, (예컨대, 결장에 접근하기 위한) 결장경, (예컨대, 관절에 접근하기 위한) 관절경, (예컨대, 방광에 접근하기 위한) 방광경 등을 포함할 수 있다.
로봇 시스템(11)은 의료 절차의 실행을 적어도 부분적으로 용이하게 하도록 구성될 수 있다. 로봇 시스템(11)은 특정 절차에 따라 다양한 방식으로 배열될 수 있다. 로봇 시스템(11)은 절차를 수행하기 위해 스코프(32)와 맞물리고/리거나 스코프를 제어하도록 구성된 하나 이상의 로봇 아암(12)을 포함할 수 있다. 도시된 바와 같이, 각각의 로봇 아암(12)은 조인트(joint)에 결합된 다수의 아암 세그먼트를 포함할 수 있고, 이는 다중 이동도(degree of movement)를 제공할 수 있다. 도 1의 예에서, 로봇 시스템(110)은 환자의 다리에 근접하게 위치되고, 로봇 아암(12)은 환자(13)의 요도(67)와 같은 접근 지점 내로의 접근을 위해 스코프(32)와 맞물리고 스코프를 위치시키도록 작동된다. 로봇 시스템(110)이 적절하게 위치될 때, 스코프(120)는 로봇 아암(12)을 사용하여 로봇으로, 의사(5)에 의해 수동으로, 또는 이들의 조합으로 환자(13) 내로 삽입될 수 있다.
로봇 시스템(11)은 제어 시스템(50), 테이블(15), EM 필드 발생기(도시되지 않음; 도 3 참조), 스코프(32), 및/또는 경피-접근 기구(예컨대, 니들; 도 3 참조)와 같은, 의료 시스템(100)의 임의의 컴포넌트에 결합될 수 있다. 일부 실시예에서, 로봇 시스템(11)은 제어 시스템(50)에 통신가능하게 결합된다. 예를 들어, 로봇 시스템(11)은 동작을 수행하기 위해, 예컨대 특정 방식으로 로봇 아암(12)을 위치시키고, 스코프(32)를 조작하는 등을 위해 제어 시스템(50)으로부터 제어 신호를 수신하도록 구성될 수 있다. 이에 응답하여, 로봇 시스템(11)은 동작을 수행하기 위해 로봇 시스템(11)의 컴포넌트를 제어할 수 있다. 일부 실시예에서, 로봇 시스템(11)은 환자(13)의 내부 해부학적 구조, 즉 도 1의 특정 묘사와 관련하여 비뇨기 계통을 나타내는 이미지 및/또는 이미지 데이터를 스코프(32)로부터 수신하고/하거나, 이미지/이미지 데이터를 제어 시스템(50)에 송신하도록(이는 이어서 디스플레이(43) 또는 다른 출력 장치 상에 표시될 수 있음) 구성된다. 또한, 일부 실시예에서, 로봇 시스템(11)은 제어 시스템(50)과 같은, 의료 시스템(10)의 컴포넌트에, 그로부터 유체, 광학계, 전력 등이 수용되도록 허용하는 방식으로 결합된다. 로봇 시스템의 추가의 예시적인 상세 사항이 도 2를 참조하여 아래에서 더 상세히 논의된다.
제어 시스템(50)은 의료 절차를 수행하는 것을 보조하기 위해 다양한 기능을 제공하도록 구성될 수 있다. 일부 실시예에서, 제어 시스템(50)은 로봇 시스템(11)에 결합되고, 환자(13)에게 의료 절차를 수행하기 위해 로봇 시스템(11)과 협력하여 동작할 수 있다. 예를 들어, 제어 시스템(50)은 (예컨대, 로봇 시스템(11) 및/또는 스코프(32)를 제어하고, 스코프(32)에 의해 캡처된 이미지를 수신하는 등을 위해) 무선 또는 유선 접속을 통해 로봇 시스템(11)과 통신하고, 하나 이상의 유체 채널을 통해 로봇 시스템(11)에 유체를 제공하고, 하나 이상의 전기 접속부를 통해 로봇 시스템(11)에 전력을 제공하고, 하나 이상의 광섬유 또는 다른 컴포넌트를 통해 로봇 시스템(11)에 광학계를 제공하는 등을 할 수 있다. 또한, 일부 실시예에서, 제어 시스템(50)은 니들 및/또는 신장경과 통신하여 그로부터 위치 데이터를 수신할 수 있다. 또한, 일부 실시예에서, 제어 시스템(50)은 테이블(15)과 통신하여 테이블(15)을 특정 배향으로 위치시키거나 달리 테이블(15)을 제어할 수 있다. 또한, 일부 실시예에서, 제어 시스템(50)은 EM 필드 발생기(도시되지 않음)와 통신하여 환자(13) 주위의 영역 내의 EM 필드의 발생을 제어할 수 있다.
제어 시스템(50)은 의사(5) 또는 다른 사람이 의료 절차를 수행하는 것을 보조하도록 구성된 다양한 I/O 장치를 포함할 수 있다. 예를 들어, 제어 시스템(50)은 사용자 입력이 스코프(32)를 제어하게, 예컨대 환자(13) 내에서 스코프(32)를 내비게이팅하게 허용하도록 구성된 소정의 입력/출력(I/O) 컴포넌트를 포함할 수 있다. 일부 실시예에서, 예를 들어, 의사(5)는 제어 시스템 및/또는 로봇 시스템에 입력을 제공할 수 있고, 여기서, 이에 응답하여, 제어 신호는 로봇 시스템(11)에 송신되어 스코프(32)를 조작할 수 있다. 또한 도 1에 도시된 바와 같이, 제어 시스템(50)은 절차에 관한 다양한 정보를 제공하기 위한 디스플레이(42)를 포함할 수 있다. 예를 들어, 디스플레이(42)는 스코프(32)에 관한 정보를 제공할 수 있다. 예를 들어, 제어 시스템(50)은 스코프(32)에 의해 캡처된 실시간 이미지를 수신하고, 디스플레이(42)를 통해 실시간 이미지를 표시할 수 있다. 추가적으로 또는 대안적으로, 제어 시스템(140)은 환자(13)와 연관된 의료용 모니터 및/또는 센서로부터 신호(예컨대, 아날로그, 디지털, 전기, 음향/음파, 공압, 촉각, 수압 등)를 수신할 수 있고, 디스플레이(42)는 환자(13)의 건강 또는 환경에 관한 정보를 제시할 수 있다. 그러한 정보는, 예를 들어 심박수(예컨대, ECG, HRV 등), 혈압/혈류량, 근육 생체-신호(예컨대, EMG), 체온, 혈중 산소 포화도(예컨대, SpO2), CO2, 뇌파(예컨대, EEG), 환경 및/또는 국소 또는 심부 체온 등을 포함하는, 의료용 모니터를 통해 표시되는 정보를 포함할 수 있다.
제어 시스템(50)의 기능을 용이하게 하기 위해, 제어 시스템은 다양한 컴포넌트(때때로 "서브시스템"으로 지칭됨)를 포함할 수 있다. 예를 들어, 제어 시스템(50)은 제어 전자장치/회로뿐만 아니라, 하나 이상의 전원, 공압 장치, 광원, 액추에이터(actuator), 데이터 저장 장치, 및/또는 통신 인터페이스를 포함할 수 있다. 일부 실시예에서, 제어 시스템(50)은, 실행될 때, 다양한 동작이 구현되게 하는 실행가능 명령어를 저장하도록 구성된 컴퓨터-기반 제어 시스템을 포함하는 제어 회로를 포함한다. 일부 실시예에서, 제어 시스템(50)은 이동가능하지만, 다른 실시예에서, 제어 시스템(50)은 실질적으로 고정형 시스템이다. 다양한 기능 및 컴포넌트가 제어 시스템(50)에 의해 구현되는 것으로 논의되지만, 그러한 기능 및/또는 컴포넌트들 중 임의의 것이 예를 들어 로봇 시스템(11), 테이블(15)과 같은 다른 시스템 및/또는 장치에 통합되고/되거나 그에 의해 수행될 수 있다. 예시적인 로봇 시스템의 컴포넌트가 도 2를 참조하여 아래에서 더 상세히 논의된다.
의료 시스템(10)은 의사가 절차(예컨대, 기구 추적, 기구 정렬 정보 등)를 수행하는 것을 보조하기 위한 안내를 제공하는 것, 의사가 다루기 어려운 아암 운동 및/또는 위치에 대한 필요 없이 인체공학적 위치로부터 절차를 수행할 수 있게 하는 것, 한 명의 의사가 하나 이상의 의료 기구로 절차를 수행할 수 있게 하는 것, (예컨대, 형광투시법 기법과 연관된) 방사선 노출을 회피하는 것, 절차가 단일-수술 설정으로 수행될 수 있게 하는 것, (예컨대, 신장 결석을 제거하기 위해) 물체를 더욱 효율적으로 제거하기 위한 연속적인 흡입을 제공하는 것 등과 같은, 다양한 이점을 제공할 수 있다. 예를 들어, 의료 시스템(10)은 의사가 해부학적 구조(예컨대, 주요 장기, 혈관 등)에 대한 출혈 및/또는 손상을 최소화하면서 표적 해부학적 특징부에 접근하기 위해 다양한 의료 기구를 사용하는 것을 보조하기 위한 안내 정보를 제공할 수 있다. 또한, 의료 시스템(10)은 방사선에 대한 의사 및 환자 노출을 감소시키고/시키거나 수술실 내의 장비의 양을 감소시키기 위해 비-방사선-기반 내비게이션 및/또는 위치결정 기법을 제공할 수 있다. 또한, 의료 시스템(10)은 독립적으로 이동가능할 수 있는, 적어도 제어 시스템(50)과 로봇 시스템(11) 사이에 분배되는 기능을 제공할 수 있다. 그러한 기능의 분배 및/또는 이동성은 제어 시스템(50) 및/또는 로봇 시스템(11)이 특정 의료 절차에 최적인 위치에 배치되는 것을 가능하게 할 수 있고, 이는 환자 주위의 작업 영역을 최대화하고/하거나, 의사가 절차를 수행하기 위한 최적화된 위치를 제공할 수 있다.
시스템(10)의 다양한 컴포넌트는 무선 및/또는 유선 네트워크를 포함할 수 있는 네트워크를 통해 서로 통신가능하게 결합될 수 있다. 예시적인 네트워크는 하나 이상의 개인 영역 네트워크(PAN), 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷 영역 네트워크(IAN), 셀룰러 네트워크, 인터넷 등을 포함한다. 또한, 일부 실시예에서, 시스템(10)의 다양한 컴포넌트는 하나 이상의 지원 케이블, 튜브 등을 통해 데이터 통신, 유체/기체 교환, 전력 교환 등을 위해 연결될 수 있다.
도 2는 도 1에 도시된 로봇 시스템(11)(예컨대, 카트-기반 로봇-이용가능 시스템(cart-based robotically-enabled system)) 및 제어 시스템(50)의 실시예의 상세한 예시를 제공한다. 로봇 시스템(11)은 일반적으로 세장형 지지 구조물(14)("칼럼(column)"으로도 지칭됨), 로봇 시스템 기부(25), 및 칼럼(14)의 상부에 있는 콘솔(console)(16)을 포함한다. 칼럼(14)은 하나 이상의 로봇 아암(12)(3개가 도 2에 도시됨)의 전개를 지원하기 위한 하나 이상의 아암 지지부(17)("캐리지(carriage)"로도 지칭됨)를 포함할 수 있다. 아암 지지부(17)는 환자에 대한 더 양호한 위치설정을 위해 로봇 아암(12)의 기부를 조정하도록 수직 축을 따라 회전하는 개별적으로 구성가능한 아암 마운트(arm mount)를 포함할 수 있다. 아암 지지부(17)는 또한 아암 지지부(17)가 칼럼(14)을 따라 수직으로 병진하도록 허용하는 칼럼 인터페이스(19)를 포함한다.
칼럼 인터페이스(19)는 아암 지지부(17)의 수직 병진을 안내하기 위해 칼럼(14)의 서로 반대편에 있는 측부들 상에 위치된, 슬롯(slot)(20)과 같은 슬롯을 통해 칼럼(14)에 연결될 수 있다. 슬롯(20)은 아암 지지부(17)를 로봇 시스템 기부(25)에 대해 다양한 수직 높이에 위치시키고 유지시키기 위한 수직 병진 인터페이스를 포함한다. 아암 지지부(17)의 수직 병진은 로봇 시스템(11)이 로봇 아암(12)의 도달범위를 조정하여 다양한 테이블 높이, 환자 크기, 및 의사 선호도를 충족시키도록 허용한다. 유사하게, 아암 지지부(17) 상의 개별적으로 구성가능한 아암 마운트는 로봇 아암(12)의 로봇 아암 기부(21)가 다양한 구성으로 경사지도록 허용한다.
로봇 아암(12)은 일반적으로, 일련의 조인트(24)에 의해 연결되는 일련의 링크장치(linkage)(23)에 의해 분리되는 로봇 아암 기부(21) 및 엔드 이펙터(end effector)(22)를 포함할 수 있고, 각각의 조인트는 하나 이상의 독립적인 액추에이터를 포함한다. 각각의 액추에이터는 독립적으로 제어가능한 모터를 포함할 수 있다. 각각의 독립적으로 제어가능한 조인트(24)는 로봇 아암이 이용가능한 독립적인 자유도(degree of freedom)를 제공하거나 나타낼 수 있다. 일부 실시예에서, 아암들(12) 각각은 7개의 조인트를 갖고, 따라서 "여분의(redundant)" 자유도를 포함하는, 7 자유도를 제공한다. 여분의 자유도는 로봇 아암(12)이 상이한 링크장치 위치 및 조인트 각도를 사용하여 공간에서 특정 위치, 배향, 및 궤적으로 그들 각각의 엔드 이펙터(22)를 위치시키도록 허용한다. 이는 시스템이 의료 기구를 공간에서 원하는 지점으로부터 위치시키고 지향시키도록 허용함과 동시에, 의사가 아암 충돌을 회피하면서 더 우수한 접근을 생성하기 위해 아암 조인트를 환자로부터 떨어진 임상적으로 유리한 위치로 이동시키도록 허용한다.
로봇 시스템 기부(25)는 바닥 위에서 칼럼(14), 아암 지지부(17), 및 아암(12)의 중량의 균형을 잡는다. 따라서, 로봇 시스템 기부(25)는 전자장치, 모터, 전력 공급부와 같은 더 무거운 컴포넌트뿐만 아니라, 선택적으로 이동을 가능하게 하거나 로봇 시스템을 움직이지 못하게 하는 컴포넌트를 수용할 수 있다. 예를 들어, 로봇 시스템 기부(25)는 절차 전에 로봇 시스템이 수술실을 용이하게 돌아다니도록 허용하는 휠-형상의 캐스터(wheel-shaped caster)(28)를 포함한다. 적절한 위치에 도달한 후에, 캐스터(28)는 절차 동안 로봇 시스템(11)을 제위치로 유지시키기 위해 휠 로크(wheel lock)를 사용하여 움직이지 못하게 될 수 있다.
칼럼(14)의 상부 단부에 위치되어, 콘솔(16)은 사용자 입력을 수신하기 위한 사용자 인터페이스, 및 수술전 데이터 및 수술중 데이터 둘 모두를 의사 사용자에게 제공하기 위한 디스플레이 스크린 둘 모두(또는 예를 들어 터치스크린(26)과 같은 이중-목적 장치)를 허용한다. 터치스크린(26) 상의 잠재적인 수술전 데이터는 수술전 계획, 수술전 컴퓨터 단층촬영(computerized tomography, CT) 스캔으로부터 도출된 내비게이션 및 매핑 데이터(mapping data), 및/또는 수술전 환자 인터뷰로부터의 기록을 포함할 수 있다. 디스플레이 상의 수술중 데이터는 도구로부터 제공되는 광학 정보, 센서로부터의 센서 및 좌표 정보뿐만 아니라, 호흡, 심박수, 및/또는 맥박과 같은 바이탈 환자 통계치를 포함할 수 있다. 콘솔(16)은 의사가 아암 지지부(17) 반대편에 있는 칼럼(14)의 측부로부터 콘솔에 접근하게 허용하도록 위치되고 틸팅될(tilted) 수 있다. 이러한 위치로부터, 의사는 로봇 시스템(11) 뒤로부터 콘솔(16)을 동작시키면서 콘솔(16), 로봇 아암(12), 및 환자를 관찰할 수 있다. 도시된 바와 같이, 콘솔(16)은 또한 로봇 시스템(11)을 조작하고 안정시키는 것을 보조하기 위한 손잡이(27)를 포함할 수 있다.
로봇 아암들(12) 각각의 엔드 이펙터(22)는 메커니즘 체인저 인터페이스(mechanism changer interface, MCI)를 사용하여 부착될 수 있는 기구 장치 조작기(instrument device manipulator, IDM)를 포함할 수 있다. 일부 실시예에서, IDM은 제거되고 상이한 유형의 IDM으로 교체될 수 있는데, 예를 들어 제1 유형의 IDM이 내시경을 조작할 수 있고, 한편 제2 유형의 IDM이 복강경을 조작할 수 있다. MCI는 로봇 아암(12)으로부터 IDM으로 공압, 전력, 전기 신호, 및/또는 광학 신호를 전달하기 위한 커넥터를 포함할 수 있다. IDM은 스코프(32)와 같은 의료 기구(예컨대, 수술 도구/기구)를, 예를 들어 직접 구동, 하모닉 구동(harmonic drive), 기어식 구동, 벨트 및 풀리, 자기 구동 등을 포함하는 기법을 사용하여 조작하도록 구성될 수 있다.
도 2에 도시된 제어 시스템(50)은 예시적인 수술 로봇 시스템(11)을 위한 명령 콘솔로서 기능할 수 있다. 제어 시스템(50)은 콘솔 기부(51) 및 하나 이상의 디스플레이 장치(42)를 포함할 수 있다.
시스템(10)은 본 명세서에 기술된 소정의 기능을 수행하도록 구성된 소정의 제어 회로(60)를 포함할 수 있다. 제어 회로(60)는 로봇 시스템, 제어 시스템(50), 또는 둘 모두의 일부일 수 있다. 즉, 제어 회로에 대한 본 명세서의 언급은 로봇 시스템, 제어 시스템, 또는 도 1에 도시된 의료 시스템(10)과 같은 의료 시스템의 임의의 다른 컴포넌트에서 구현되는 회로를 지칭할 수 있다. 용어 "제어 회로"는 그의 넓고 통상적인 의미에 따라 본 명세서에 사용되고, 프로세서, 처리 회로, 처리 모듈/유닛, 칩, 다이(예컨대, 하나 이상의 능동 및/또는 수동 소자 및/또는 접속 회로를 포함하는 반도체 다이), 마이크로프로세서, 마이크로-제어기, 디지털 신호 프로세서, 마이크로컴퓨터, 중앙 처리 유닛, 필드 프로그래머블 게이트 어레이, 프로그래머블 로직 장치, 상태 기계(예컨대, 하드웨어 상태 기계), 로직 회로, 아날로그 회로, 디지털 회로, 및/또는 회로 및/또는 동작 명령어의 하드 코딩에 기초하여 신호(아날로그 및/또는 디지털)를 조작하는 임의의 장치의 임의의 집합을 지칭할 수 있다. 본 명세서에서 참조된 제어 회로는 하나 이상의 회로 기판(예컨대, 인쇄 회로 보드), 전도성 트레이스 및 비아, 및/또는 장착 패드, 커넥터, 및/또는 컴포넌트를 추가로 포함할 수 있다. 본 명세서에서 참조된 제어 회로는 단일 메모리 장치, 복수의 메모리 장치, 및/또는 장치의 내장 회로로 구현될 수 있는 하나 이상의 저장 장치를 추가로 포함할 수 있다. 그러한 데이터 저장소는 판독-전용 메모리, 랜덤 액세스 메모리, 휘발성 메모리, 비-휘발성 메모리, 정적 메모리, 동적 메모리, 플래시 메모리, 캐시 메모리, 데이터 저장 레지스터, 및/또는 디지털 정보를 저장하는 임의의 장치를 포함할 수 있다. 제어 회로가 하드웨어 및/또는 소프트웨어 상태 기계, 아날로그 회로, 디지털 회로, 및/또는 로직 회로를 포함하는 실시예에서, 임의의 연관된 동작 명령어를 저장하는 데이터 저장 장치(들)/레지스터(들)는 상태 기계, 아날로그 회로, 디지털 회로, 및/또는 로직 회로를 포함하는 회로에 내장되거나 회로 외부에 있을 수 있다는 것에 유의하여야 한다.
도 2를 추가로 참조하면, 제어 회로(60)는 본 도면들 중 하나 이상에 예시된 그리고/또는 본 명세서에 기술된 단계들 및/또는 기능들 중 적어도 일부에 대응하는 하드-코딩된 및/또는 동작 명령어를 저장한 컴퓨터-판독가능 매체를 포함할 수 있다. 그러한 컴퓨터-판독가능 매체는 일부 경우에 제조 물품에 포함될 수 있다. 제어 회로(60)는 전체적으로 로컬에 유지/배치될 수 있거나, 적어도 부분적으로 원격에 위치될 수 있다(예컨대, 근거리 통신망 및/또는 광역 통신망을 통해 간접적으로 통신가능하게 결합됨).
일부 실시예에서, 제어 회로(60)의 적어도 일부분은 로봇 시스템(11)(예컨대, 기부(25), 칼럼(14), 및/또는 콘솔(14) 내에) 또는 로봇 시스템(11)에 통신가능하게 결합된 다른 시스템과 통합된다. 일부 실시예에서, 제어 회로(60)의 적어도 일부분은 제어 시스템(50)(예컨대, 콘솔 기부(51) 및/또는 디스플레이 유닛(42) 내에)과 통합된다. 따라서, 본 명세서의 기능 제어 회로의 임의의 설명은 로봇 시스템(11), 제어 시스템(50), 또는 둘 모두에서, 그리고/또는 적어도 부분적으로 하나 이상의 다른 로컬 또는 원격 시스템/장치에서 구현되는 것으로 이해될 수 있다.
시스템(10)은 하나 이상의 버튼, 키이, 조이스틱, 핸드헬드 제어기(예컨대, 비디오-게임-유형 제어기), 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 및/또는 손 제스처 및 손가락 제스처를 캡처하는 센서(예컨대, 모션 센서 또는 카메라), 및/또는 그에 따른 인터페이스/커넥터와 같은, 임의의 유형의 사용자 입력(및/또는 출력) 장치 또는 장치 인터페이스를 포함할 수 있는 소정의 사용자 제어부(65)를 추가로 포함한다. 사용자 제어부(65)는 제어 회로(60)의 적어도 일부에 통신가능하게 그리고/또는 물리적으로 결합된다.
일부 실시예에서, 사용자 제어부(65) 및/또는 제어 회로(60)는 사용자가 로봇 시스템에 의해 적어도 부분적으로 조작가능한 기구와 같은 의료 기구, 예컨대 내시경 또는 신장경을 속도 모드 또는 위치 제어 모드로 제어하도록 허용하기 위해 사용자 입력을 수신하도록 구성된다. 속도 모드에서, 사용자는 제어부(65)를 사용한 직접 수동 제어에 기초하여, 예를 들어 내시경 또는 다른 기구의 원위 단부의 피치(pitch) 및 요(yaw) 운동을 직접 제어하도록 허용될 수 있다. 예를 들어, 조이스틱에 대한 이동은 스코프/장치의 원위 단부의 요 및 피치 이동에 매핑될 수 있다. 일부 실시예에서, 사용자 제어부(65)는 사용자에게 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 조이스틱 또는 다른 제어 메커니즘이 유효하지 않거나 잠재적으로 문제가 있는 입력을 나타내도록 진동할 수 있다. 일부 실시예에서, 제어 시스템(50) 및/또는 로봇 시스템(11)은 또한 로봇 동작과 연관된 문제를 나타내기 위해 시각적 피드백(예컨대, 팝-업 메시지) 및/또는 오디오 피드백(예컨대, 비프음 발생)을 제공할 수 있다.
위치 제어 모드에서, 제어 회로(60)는 의료 기구(예컨대, 내시경)를 제어하기 위해 환자의 3차원(3D) 맵(map) 및/또는 환자의 사전-결정된 컴퓨터 모델을 사용할 수 있다. 예를 들어, 제어 회로(60)는 관련 기구를 조작하여 관련 기구를 표적 위치, 자리, 및/또는 배향/정렬로 위치시키기 위해 로봇 시스템(11)의 로봇 아암(12)에 제어 신호를 제공하도록 구성될 수 있다. 3D 매핑을 구현하는 실시예의 경우, 위치 제어 모드는 환자의 해부학적 구조의 충분히 정확한 매핑을 필요로 할 수 있다.
일부 실시예에서, 사용자가 사용자 제어부(65)를 사용함이 없이 로봇 시스템(11)의 로봇 아암(12)을 수동으로 조작할 수 있다. 예를 들어, 외과 수술실에서의 설정 동안, 사용자가 환자에 대한 원하는 접근을 제공하기 위해 로봇 아암(12) 및/또는 임의의 다른 의료 기구를 이동시킬 수 있다. 로봇 시스템(11)은 로봇 아암(12) 및 연관된 기구 장치의 적절한 구성을 결정하기 위해 사용자로부터의 힘 피드백 및 관성 제어에 의존할 수 있다.
제어 시스템(50)의 디스플레이 장치(들)(42)는 예를 들어 사용자 입력을 제공하는 터치스크린을 가진 태블릿 장치로서 사용자 제어부(65)와 통합될 수 있다. 디스플레이 장치(들)(42)는 통합된 디스플레이 터치 제어를 사용하여 로봇 시스템(11)에 데이터 및 입력 명령을 제공하도록 구성될 수 있다. 디스플레이 장치(들)(42)는 하나 이상의 위치 센서에 의해 제공되는 정보에 기초하여 환자 및/또는 시스템 내에서 동작하는 다양한 기구의 위치 및 배향에 관한 정보를 보여주는 그래픽 사용자 인터페이스를 표시하도록 구성될 수 있다. 일부 실시예에서, 의료 기구(예컨대, 내시경)와 연관된 위치 센서는 위치를 나타내는 신호를 생성하고 센서에 결합된 와이어 및/또는 전송기 상에서 신호를 전송하도록 구성될 수 있다. 그러한 접속 컴포넌트는 위치 정보를 제어 회로(60)에 의한 그의 처리를 위해 그리고 디스플레이 장치(들)를 통한 제시를 위해 콘솔 기부(51)에 전송하도록 구성될 수 있다.
도 3은 본 개시의 하나 이상의 실시예에 따른, 환자의 비뇨기 계통의 부분에 배치된 요관경(340)을 예시한다. 위에서 참조된 바와 같이, 요관경 절차는 인간 요관 내의 이상을 조사하고/하거나 이를 치료하기 위해 구현될 수 있다. 예를 들어, 요관경 절차는 신장 결석을 치료하고/하거나 제거하기 위해 구현될 수 있다. 그러한 절차는 적어도 부분적으로 수동으로 구현될 수 있고/있거나 도 1 및 도 2에 도시된 로봇 시스템(11)과 같이, 적어도 부분적으로 로봇 기술을 사용하여 수행될 수 있다. 예를 들어, 소정의 내시경술 절차를 위한 로봇 장치 및/또는 시스템의 사용은 엄밀히 수동인 절차에 비해 상대적으로 더 높은 정밀도, 제어, 및/또는 조정을 제공할 수 있다. 일부 실시예에서, 스코프(340)는 의료 기구(예컨대, 쇄석기, 바스켓팅 장치, 겸자 등)의 전개, 관주, 및/또는 스코프의 원위 단부에서의 수술 영역에 대한 흡인을 위한 작업 채널(344)을 포함한다.
스코프(340)는 예컨대 스코프의 적어도 원위 부분과 관련하여 관절운동가능할 수 있고, 따라서 스코프는 인간 해부학적 구조 내에서 조향될 수 있다. 일부 실시예에서, 스코프(340)는 예를 들어, XYZ 좌표 이동뿐만 아니라 피치 및 요를 포함하는 5 자유도로 관절운동되도록 구성된다. 일부 실시예에서, 니들 센서는 X, Y, 및 Z 좌표 위치뿐만 아니라 피치, 로(law), 및 요를 포함하는 6 자유도를 제공한다. 스코프(340)의 위치 센서(들)는 마찬가지로 그들이 생성/제공하는 위치 정보와 관련하여 유사한 자유도를 가질 수 있다. 도면은 일부 실시예에 따른 스코프(340)의 다중 운동도(degree of motion)를 예시한다. 도 3에 도시된 바와 같이, 스코프(340)의 팁(342)은 그의 길이방향 축(306)("롤 축(roll axis)"으로도 지칭됨)에 대해 제로 편향(zero deflection)으로 배향될 수 있다.
팁(342)의 상이한 배향에서 이미지를 캡처하기 위해, 로봇 시스템이 팁(342)을 양의 요 축(302), 음의 요 축(303), 양의 피치 축(304), 음의 피치 축(305), 또는 롤 축(306) 상에서 편향시키도록 구성될 수 있다. 스코프(342)의 팁(342) 또는 본체(345)는 길이방향 축(306), x-축(308), 또는 y-축(309)에서 세장형이거나 병진될 수 있다. 스코프(340)는 스코프의 위치를 교정하기 위한 기준 구조물(도시되지 않음)을 포함할 수 있다. 예를 들어, 로봇 시스템이 기준 구조물에 대한 스코프(340)의 편향을 측정할 수 있다. 기준 구조물은 예를 들어 내시경(340)의 근위 단부 상에 위치될 수 있고, 키이, 슬롯, 또는 플랜지를 포함할 수 있다. 기준 구조물은 초기 교정을 위해 제1 구동 메커니즘에 결합되고 수술 절차를 수행하기 위해 제2 구동 메커니즘에 결합될 수 있다.
로봇 구현예를 위해, 로봇 시스템의 로봇 아암은 세장형 이동 부재를 사용하여 스코프(340)를 조작하도록 구성될/구성가능할 수 있다. 세장형 이동 부재는 하나 이상의 당김 와이어(pull wire)(예컨대, 당김 또는 밀어냄 와이어(push wire)), 케이블, 섬유, 및/또는 가요성 샤프트를 포함할 수 있다. 예를 들어, 로봇 아암은 스코프(118)의 팁(342)을 편향시키기 위해 스코프(340)에 결합된 다수의 당김 와이어(도시되지 않음)를 작동시키도록 구성될 수 있다. 당김 와이어는 임의의 적합한 또는 바람직한 재료, 예컨대 스테인리스 강, 케블라(Kevlar), 텅스텐, 탄소 섬유 등과 같은 금속 및 비-금속 재료를 포함할 수 있다. 일부 실시예에서, 스코프(340)는 세장형 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타내도록 구성된다. 비선형 거동은 스코프의 강직성 및 압축성뿐만 아니라, 상이한 세장형 이동 부재들 사이의 슬랙(slack) 또는 강직성의 변동에 기초할 수 있다.
스코프(예컨대, 내시경/요관경)(340)는 해부학적 구조의 이미지를 캡처하기 위해 환자의 해부학적 구조 내로 삽입되도록 구성되는 튜브형이고 가요성인 의료 기구를 포함할 수 있다. 일부 실시예에서, 스코프(340)는 광학 카메라와 같은 이미징 장치(348)를 포함할 수 있는, 광학 조립체 및 스코프(340)의 원위 단부(342)로/로부터 신호를 전달하기 위한 와이어 및/또는 광섬유를 수용할 수 있다.
카메라/이미징 장치(348)는 신장(70)의 표적 신배/유두와 같은, 내부 해부학적 공간의 이미지를 캡처하는 데 사용될 수 있다. 스코프(340)는 발광 다이오드와 같은, 근위에 위치된 광원으로부터 스코프의 원위 단부(342)로 광을 전달하기 위한 광섬유를 수용하도록 추가로 구성될 수 있다. 스코프(340)의 원위 단부(342)는 카메라/이미징 장치를 사용할 때 해부학적 공간을 조명하기 위해 광원을 위한 포트를 포함할 수 있다. 일부 실시예에서, 스코프(340)는 도 1 및 도 2에 도시된 로봇 시스템(11)과 하나 이상의 측면에서 유사한 로봇 시스템에 의해 제어되도록 구성된다. 이미징 장치는 광섬유, 섬유 어레이, 및/또는 렌즈를 포함할 수 있다. 광학 컴포넌트는 스코프(340)의 팁과 함께 이동하여, 스코프의 팁의 이동이 이미징 장치(들)(348)에 의해 캡처되는 이미지에 대한 변화를 생성하게 한다.
경피 신절석술(PCNL) 절차를 위해, 환자의 피부 및 개재 조직을 통해 표적 신배로의 접근이 이루어진다. 일반적으로, 신장의 신배에 대한 바람직한 접근은 연-조직 유두 구조를 통한 것이고, 여기서 그러한 조직을 통한 접근은 일반적으로 출혈 및/또는 다른 합병증의 감소된 위험과 연관될 수 있다. 니들이 유두 구조를 통해 삽입되는 경우, 출혈이 없음에 더하여, 그러한 경로는 신장의 상호연결된 내부 채널(예컨대, 신배)에 대한 완전한 접근을 제공할 수 있다.
PCNL이 큰 신결석을 치료하기 위한 비교적 효과적인 방법을 나타내지만, 많은 의사는 부분적으로 표적 유두/신배를 정확하게 표적설정함에 있어서의 어려움으로 인해 다른 절차를 선택한다. 더욱 특정하게는, PCNL을 수행하는 것은 환자의 옆구리를 통해 신장의 표적 신배에 대한 경피 접근을 달성하기 위해 니들을 사용하는 것을 수반한다. 이러한 단계는 의사가 주변 장기를 횡단하지 않고 또한 강성 기구가 요로 결석에 도달하여 치료하도록 허용하는 신장으로의 니들 경로를 선택해야 하기 때문에, 절차의 궁극적인 성공에 매우 중요한 것으로 고려될 수 있다. 의사가 효과적으로 그렇게 하지 못하면, 그들은 내장 또는 흉막 손상을 유발하거나 결석을 완전히 치료할 수 없는 위험을 야기한다. 이들 문제로 인해, 적합한 환자 위치(예컨대, 변형된 앙와위(supine position))에서 PCNL을 수행하기 위해 경피 니들 접근을 달성하는 것과 연관된 학습 곡선은 매우 높다.
일부 절차에서, 의사(들)는 요로 결석의 위치, 주변 장기의 위치 및 뼈 구조를 결정하고, 신배의 형태계측을 검사하기 위해 환자의 수술전 컴퓨터 단층촬영(CT) 이미지를 연구한다. 이러한 지식으로, 의사(들)는 경피 니들 경로에 대한 수술전 계획을 마음속으로 생성할 수 있다. 전형적으로, 의사는 강성 기구를 수용하도록 천공하기 위해 후방 신배를 식별해야 한다. 구체적으로, 후방 신배가 일반적으로 신우로의 비교적 직선인 샷(shot)을 제공한다. 의사는 신장 혈관구조를 손상시키고 출혈을 유발하는 것을 회피하기 위해 유두를 통해 신장 내로 니들을 삽입하려고 시도해야 한다. 수술중에, 의사는 일부 절차에서 표적 신배로의 니들의 정렬 및 삽입을 안내하기 위해 형광투시법 또는 초음파에 의존한다. 그러나, 그러한 이미징 기법과 연관된 해상도 및 해석의 어려움은 니들 천공을 만족스럽게 실행함에 있어서 비교적 높은 정도의 어려움을 야기할 수 있다. 따라서, 유두 및 신배와 같은 표적 해부학적 특징부의 개선된 추적 및 시각화를 제공하는 본 개시의 실시예는 다른 PCNL 방법론보다 더 큰 서브세트의 의사들에게 매력적이고 수술 결과를 개선할 수 있다.
일부 실시예에서, 의료 기구(예컨대, 스코프)(340)는 센서 위치 데이터를 생성하고/하거나 그것을 다른 장치에 송신하도록 구성된 센서를 포함한다. 센서 위치 데이터는 의료 기구(340)(예컨대, 그의 원위 단부(342))의 위치 및/또는 배향을 나타낼 수 있고/있거나 의료 기구의 위치/배향을 결정/추론하는 데 사용될 수 있다. 예를 들어, 센서(때때로 "위치 센서"로 지칭됨)가 전도성 재료의 코일, 또는 안테나의 다른 형태/실시예를 가진 전자기(EM) 센서를 포함할 수 있다.
도 3은 의료 기구 상의 EM 센서에 의해 검출되는 EM 필드(90)를 브로드캐스팅하도록(broadcast) 구성된 EM 필드 발생기(315)를 도시한다. 자기장(90)은 EM 위치 센서의 코일 내에 소전류(small current)를 유도할 수 있고, 이는 EM 센서와 EM 필드 발생기(315) 사이의 거리 및/또는 각도/배향을 결정하기 위해 분석될 수 있다. 또한, 의료 기구/스코프(340)는 형상 감지 섬유, 가속도계(들), 자이로스코프(들), 위성-기반 위치확인 센서(들)(예컨대, GPS(global positioning system) 센서), 무선-주파수 송수신기(들) 등과 같은 다른 유형의 센서를 포함할 수 있다. 일부 실시예에서, 의료 기구 상의 센서가 센서 데이터를 제어 시스템에 제공할 수 있고, 이는 이어서 의료 기구의 위치 및/또는 배향을 결정하는 데 사용된다. 일부 실시예에서, 위치 센서는 의료 기구(340)의 원위 단부(342) 상에 위치되고, 한편 다른 실시예에서 센서는 의료 기구 상의 다른 위치에 위치된다. 요관경은 표적 유두에 근접한 위치로 구동될 수 있다.
일부 구현예에서, 더 상세히 후술되는 바와 같이, 요관경(340)의 원위 단부는 표적 해부학적 특징부(예컨대, 유두)와 접촉하도록 전진될 수 있다. 표적 해부학적 특징부와 접촉하고/하거나 그에 근접한 스코프(340)의 원위 단부와 연관된 위치 센서에 의해, 스코프(340)의 원위 단부의 위치는 경피-접근 기구(예컨대, 니들)가 유두를 통해 표적 신배에 접근하도록 지향될 수 있는 표적 경피 접근 위치로서 기록될 수 있다.
본 개시의 소정 실시예는 유리하게는 표적 해부학적 특징부에 대한 경피 접근을 달성하기 위한 프로세스를 통해 자동화하고 의사를 안내하는 데 도움을 준다. 예를 들어, 전자기 위치설정 및 스코프 이미지가 환자 내로의 니들의 삽입을 안내하기 위해 함께 사용될 수 있다. 그러한 해결책은 비-전문가 의사가 예를 들어 변형된 앙와위에서 신장 내로의 접근을 달성하고 PCNL을 수행할 수 있도록 허용할 수 있다.
본 개시의 소정 실시예는 신장 내의 표적 위치와 같은 표적 치료 부위에 대한 위치-센서-안내식 경피 접근을 수반한다. 예를 들어, 스코프(340)에 하나 이상의 전자기 센서가 장착되고, 신장경 접근 니들이 하나 이상의 전자기 센서를 추가로 포함하고, 그러한 센서가 필드 발생기(315)에 의해 생성된 전자기장(90)을 받는 경우, 연관된 시스템 제어 회로는 그들의 위치를 검출하고 추적하도록 구성될 수 있다. 일부 실시예에서, 요관경(340)의 팁은 사용자가 경피 접근 니들을 삽입하는 동안 안내 비컨으로서 작용한다. 그러한 해결책은 사용자가 다양한 접근법으로부터 표적에 도달하도록 허용하여, 형광투시 또는 초음파 이미징 기법에 의존할 필요성을 제거할 수 있다.
일부 실시예에서, 스코프(340)와 연관된 (도 3에 도시되지 않은) 제어 시스템이 스코프(340) 및/또는 경피 접근 니들(도시되지 않음)과 같은 의료 기구의 위치/자리를 결정하고/하거나 추적하기 위해 위치결정/위치설정 기법을 구현하도록 구성된다. 일부 예에서, 위에서 언급된 바와 같이, EM 필드 발생기(315)는 환자의 환경 내에 EM 필드(90)를 제공하도록 구성된다. 스코프(340) 및/또는 경피 접근 니들은 EM 신호를 검출하고 검출된 EM 신호에 관한 센서 데이터를 제어 시스템에 송신하도록 구성된 EM 센서를 포함할 수 있다. 제어 시스템은 센서 데이터를 분석하여, 스코프(340)의 위치 및/또는 배향(예컨대, EM 센서와 EM 필드 발생기(315) 사이의 거리 및/또는 각도/배향)을 결정할 수 있다. 대안적으로 또는 추가적으로, 일부 예에서, 제어 시스템은 스코프(340)의 위치 및/또는 배향을 결정하기 위해 다른 기법을 사용할 수 있다. 예를 들어, 스코프(340)(및/또는 니들)는 형상-감지 섬유, 가속도계, 자이로스코프, 가속도계, 위성-기반 위치확인 센서(예컨대, GPS(global positioning system)), 무선-주파수 송수신기 등을 포함할 수 있다. 제어 시스템은 스코프(340)로부터 센서 데이터를 수신하고 그의 위치 및/또는 배향을 결정할 수 있다. 일부 실시예에서, 제어 시스템은 좌표계 및/또는 환자의 해부학적 구조와 관련하여 실시간으로 스코프(340)의 위치 및/또는 배향을 추적할 수 있다.
스코프(340)는 사용자 입력에 기초하여 또는 자동으로, 임의의 적합한 또는 바람직한 방식으로 제어가능할 수 있다. 제어부(311, 312)는 사용자 입력을 수신하는 데 사용될 수 있는 예를 제공한다. 일부 실시예에서, 스코프(340)의 제어부는 스코프의 근위 손잡이 상에 위치되고, 이는 요관경의 배향이 변화함에 따라 일부 절차의 자세/위치에서 파지하기가 비교적 어려울 수 있다. 일부 실시예에서, 스코프(340)는 이미지(312)에서와 같이, 양손형 제어기를 사용하여 제어된다. 제어기(311, 312)가 핸드-헬드 제어기로서 도시되지만, 사용자 입력은 터치스크린/패드, 마우스, 키보드, 마이크 등과 같은, 임의의 유형의 I/O 장치를 사용하여 수신될 수 있다.
도 4(부분 4-1 및 4-2로 표현됨)는 본 개시의 하나 이상의 실시예에 따른, 환자의 표적 신배 또는 다른 장기에 접근하기 위한 프로세스(400)를 예시하는 흐름도이다. 도 5(부분 5-1 및 5-2로 표현됨)는 하나 이상의 실시예에 따른, 도 4의 프로세스와 연관된 다양한 블록, 상태, 및/또는 동작에 대응하는 소정 이미지를 도시한다. 프로세스(400)는 신장 결석 제거(예컨대, PCNL)를 위한 신장(70)에 대한 경피 접근을 수반할 수 있다. 그러한 경피 접근은 요관경을 통한 제거가 비실용적이거나 바람직하지 않을 정도로 충분히 큰 결석의 추출에 바람직할 수 있다. 예를 들어, 결석은 직경이 2 cm보다 클 수 있는 반면, 소정 요관경은 약 1.2 mm의 직경을 갖는, 결석 또는 파편이 그것을 통해 제거될 수 있는 작업 채널을 갖는다. 요관경술을 통한 제거를 위해 결석을 더 작은 파편으로 부수는 것이 많은 경우에 효과가 있지만, 연구에 따르면 남은 결석 잔해물이 종종 새로운 결석 형성의 원인이 되어, 향후 유사한 치료를 필요로 하는 것으로 나타났다.
블록(402)에서, 프로세스(400)는 전술된 바와 같이, 요관경(440)을 사용하여 환자의 요관을 통해 신장에 접근하는 것을 수반한다. 특히, 블록(402)의 동작은 스코프(440)를 요관(63)을 통해, 신우(71)를 지나, 그리고 하나 이상의 신배의 또는 그 부근의 영역으로 전진시키는 것을 수반할 수 있다.
블록(404)에서, 프로세스(400)는 내시경의 원위 단부(442)와 연관된 이미지-캡처링 장치(예컨대, 카메라)를 사용하여, 환자가 치료될 신장 결석(480)의 위치를 찾아내는 것을 수반한다. 예를 들어, 신장 결석(480)은 적어도 부분적으로 프로세스(400)의 목적으로서 추출될 수 있다.
블록(406)에서, 프로세스(400)는 신장 결석(480)에 대한 접근이 그것을 통해 달성될 수 있는 표적 신배(475) 내에서 노출된 표적 유두(479)를 식별하는 것을 수반한다. 표적 유두(479)를 식별하는 것은 경피 접근을 통하여 신장 결석(480)에 대한 접근이 그것을 통해 이루어질 수 있는 작업가능한 트랙을 생성하는 데 중요할 수 있다. 예를 들어, 그것을 통해 신장 결석(480)에 도달할 수 있는 신배(예컨대, 소신배(475))에 접근하는 방식으로 비교적 강성인 신장경에 의한 접근에 적절한 각도를 결정하는 것이 필요할 수 있다. 일부 구현예에서, 요관신우 접합부(71)에 대한 충분히 직선인 접근을 제공하기 위해 후방 신배를 통해 신장 결석(들)(480)에 도달하는 것이 바람직하거나 필요할 수 있다. 일반적으로, 표적 소신배는 비교적 작은 표적으로 고려될 수 있다. 예를 들어, 그러한 신배는 직경이 대략 4 내지 8 mm일 수 있다. 따라서, 정밀한 표적설정은 신장 결석(들)을 효과적으로 추출하기 위해 중요할 수 있다.
표적 신배(475)에 대한 니들/신장경 접근이 그것을 통해 달성되는 경로는 니들/신장경이 그것을 통해 위치될 수 있는 유두(479)와 연관된 신추체(476) 주위의 혈관과 부딪히는 것을 회피하기 위해 유리하게는 가능한 한 직선일 수 있다. 또한, 환자의 다양한 주요 해부학적 구조의 위치는 환자의 조직/해부학적 구조의 구속된 윈도우(constrained window)를 통한 내비게이션을 필요로 할 수 있다. 예를 들어, 12번 늑골 아래의 하극 신배(lower pole calyx)는 폐흉막을 피하기 위한 적합한 접근을 제공할 수 있다. 또한, 접근 경로는 결장 및/또는 척추주위근을 피하기 위해 유리하게는 후액와선(posterior axillary line)의 내측에 있을 수 있다(예컨대, 대략 12번 늑골의 팁에 대해 1 cm 아래 및 1 cm 내측). 또한, 접근 경로는 유리하게는 늑간 신경을 피하기 위해 늑골에 아주 근접한 범위 내에 접근하는 것을 회피할 수 있다. 또한, 신배(475)의 축방향 중심 영역 내의 진입을 표적설정함으로써, 일부 경우에 주요 동맥 및/또는 다른 혈관을 피할 수 있다.
블록(408)에서, 프로세스(400)는 원하는 접근이 그것을 통해 달성될 표적 신배(479) 내의 노출된 유두(479)의 위치를 태깅/기록하는 것을 수반한다. 예를 들어, 위치 정보/데이터는 전자기장 공간과 같은 3차원 공간 내에서 표현될/식별가능할 수 있다.
유두(179)의 위치를 기록하기 위해, 스코프(440)는 전진된 스코프 팁(443)에 의해 도시된 바와 같이, 표적 유두(479)와 물리적으로 터치/접촉하도록 전진될 수 있고, 이와 관련하여 그러한 접촉 위치는 스코프(440) 및/또는 조작자에 의해 표적 위치로서 식별되고/되거나 달리 표시될 수 있다. 일부 구현예에서, 요관경의 원위 단부/팁(442)과 연관된 전자기 비컨 또는 다른 센서 장치가 표적 위치를 나타내어, 전자기장 공간 내에서 표적 위치를 정합시킬 수 있다. 유두(479)와 터치/접촉하고 위치를 기록한 후에, 스코프의 단부(442)는 후퇴될 수 있고, 그러한 후퇴의 깊이는 일부 방식으로 측정될 수 있다. 일부 구현예에서, 조작자는 스코프(440)의 원위 단부(443)가 유두(479)와 접촉하였음을, 일반적으로 접촉이 이루어질 때 차단/블랙-아웃될(blacked-out) 수 있는, 그에 의해 생성된 카메라 이미지를 모니터링함으로써 통지받을 수 있다.
블록(410)에서, 프로세스(400)는 니들과 같은 의료 기구(450)를 환자 내로 경피적으로 도입하는 것을 수반한다. 예를 들어, 그러한 접근은 일부 구현예에서 환자의 옆구리를 통해 이루어질 수 있다. 블록(412)에서, 프로세스(400)는 궁극적으로 표적 유두(479)를 횡단하고 그것을 통해 표적 신배(475)에 접근하기 위해 경피적으로 전진된 의료 기구(450)를 표적 위치를 향해 지향시키는 것을 수반한다.
일부 실시예에서, 표적 신배(475) 내로의 니들(450)의 팁의 진입의 시각적 확인이 스코프(440)의 카메라에 의해 제공될 수 있다. 예를 들어, 스코프(440)는 전술된 바와 같이, 표적 위치로부터 뒤로 물러나서, 신배(475) 내의 유두(479)를 포함하는 시야를 제공할 수 있고, 따라서 니들(450)의 팁은 그것이 유두(479)의 표면을 통해 돌출됨에 따라 보일 수 있다.
기록된 표적 위치에 의해, 경피적으로 삽입된 의료 기구(예컨대, 니들(450))가 기록된 위치를 향해 지향될 수 있다. 그러나, 그러한 기록된 위치가 정적인 경우, 표적 위치의 기록 후에 발생하는 해부학적 움직임은 표적 위치가 그것을 통한 접근이 요구되는 표적 해부학적 특징부와 연관된 실시간 위치를 정확하게 반영하지 못하게 할 수 있다. 예를 들어, 환자 내로 니들(450)을 삽입하는 동작은 표적 장기(예컨대, 신장(70)) 주위의 소정 해부학적 구조 및/또는 표적 장기 자체가 일부 방식으로 이동하고/하거나 왜곡/잘못 형상화되게 하여, 표적 해부학적 특징부(예컨대, 유두(479))가 표적 접근 위치가 기록되었던 시간과 상이한 위치/형상을 취하게 할 수 있다. 신장 절차와 관련하여, 요관경(440)은 신우(71)의 위치에 고정될 수 있어서, 요관경에 대한 신장(70)의 변형 및/또는 움직임이 그러한 표적 위치 손상을 야기할 수 있다. 따라서, 유두(479)는 해부학적 움직임이 시스템에 도입되면 정확하게 추적되지 않을 수 있다.
신배(475)에 대한 니들 접근이 이루어졌으면, 결석 제거를 위한 더 큰 포트를 제공하기 위해 더 큰 직경의 장치가 니들(450)과 교환될 수 있다. 일부 구현예에서, 니들(450)은 스타일릿(stylet) 및 캐뉼러(cannula)를 포함한다. 니들 팁이 신배(475)로 전진된 상태에서, 스타일릿은 제거되어, 신장 결석의 위치에 개방 포트를 형성하도록 캐뉼러를 남길 수 있다. 캐뉼러를 통해, 가이드 와이어가 배치되어 결석(480)을 제거하기 위해 프로세스의 나머지를 수행하도록 사용될 수 있다. 예를 들어, 가이드 와이어는 와이어를 따라 수축된 벌룬 또는 확장기를 통과시키는 데 사용될 수 있다. 벌룬 또는 확장기는 신루설치술 튜브(nephrostomy tube)와 같은 중공 흡입 튜브를 신배(475) 내로 직접 도입하기에 충분히 큰 포트를 생성하도록 확장될 수 있다. 이러한 지점에서, 신장경 또는 다수의 다른 기구들 중 임의의 기구가 결석(480)을 제거하는 것을 보조하기 위해 흡입 튜브 내로 도입될 수 있다. 예를 들어, 결석 브레이커(breaker), 레이저, 초음파, 바스켓, 파지기, 배액 튜브 등이 결석 또는 그의 파편을 제거하기 위해 사용될 수 있고/있거나, 신루설치술 카테터와 같은 배액 튜브가 신장내 압력을 감소시키기 위해 흡입 튜브를 따라 전개될 수 있다. 그러한 기능의 임의의 조합이 신장경(도시되지 않음) 및/또는 요관경(440)에서 구현될 수 있다.
이미지-처리-향상 기구 안내 및 자동화
본 명세서에 기술된 프로세스는, 요관경의 맥락에서 기술되지만, 유두 또는 요로 결석과 같은 표적 해부학적 특징부를 추적하기 위해 위치 센서(예컨대, 전자기장 센서) 및/또는 카메라를 이용하는 임의의 다른 유형의 수술 절차에 적용될 수 있다. 기술된 바와 같이, 정적 위치 마커(static position marker)가 표적 해부학적 특징부/랜드마크와 연관된 표적 위치를 식별하기 위해 정합/기록될 수 있다. 일부 실시예에서, 본 개시는 소정의 표적-식별 및/또는 표적-추적 이미지-처리 기법을 고려하여 정적 위치 마커에 적어도 부분적으로 기초하여 내시경 및/또는 경피-접근 기구를 안내하고/하거나 자동화하기 위한 시스템, 장치, 및 방법을 제공한다. 본 개시의 실시예에 따른 표적 식별 및 추적은 임의의 유형의 로봇 내시경술 절차에 적용될 수 있다.
일부 구현예에서, 표적 해부학적 특징부를 식별하기 위해 소정의 이미지 데이터가 수집되고 사용될 수 있다. 그러한 식별은 적어도 부분적으로 기계 학습 프레임워크를 사용하여 달성될 수 있다. 예를 들어, 본 개시의 시스템, 장치, 및 방법은 실시간 내시경 이미지에서 표적 해부학적 특징부의 식별을 제공할 수 있고, 여기서 이미지에서의 표적 해부학적 특징부의 식별은 소정의 응답 동작을 촉구할 수 있다. 예를 들어, 로봇 내시경술 및/또는 경피-접근 장치(들)에 통신가능하게 결합된 제어 회로가 표적 특징부의 이동을 추적하고, 내시경의 하나 이상의 부분(예컨대, 원위 단부 부분)을 관절운동시키거나, 표적 위치 데이터를 조정하는 것과 같은 동작을 취하도록 구성될 수 있다. 예를 들어, 제어 회로는 내시경 카메라의 인터페이스 및/또는 이미지 필드의 시야의 중심에서 또는 그 부근에서 표적 위치/지점을 중심에 위치시키기 위해 내시경이 관절운동하게 하도록 구성될 수 있다.
로봇-보조식 경피 접근을 이용함으로써, 의사가 수술 표적 접근 및 치료를 수행하는 것이 가능할 수 있다. 또한, 경피 접근은, 경피 접근 안내를 위한 표적 위치를 정확히 유지하기 위해 의존될 수 있는, 더 상세히 후술되는 본 개시의 태양에 따른 자동화된 표적 식별 및 추적을 이용하여 추가로 보조될 수 있다. 본 개시의 태양에 따른 스코프-이용가능 표적 추적에 의해 안내되는 경피 접근은 비교적 덜 기술-집약적일 수 있다. 일부 구현예에서, 단일 조작자 또는 로봇 시스템이 프로세스를 수행할 수 있다. 또한, 형광투시법에 대한 필요성이 제거될 수 있다.
자동 표적 검출
도 6은 하나 이상의 실시예에 따른, 해부학적 특징부를 표적설정하기 위한 프로세스(600)를 예시한 흐름도이다. 본 명세서에 개시된 소정의 다른 프로세스와 유사하게, 프로세스(600)는, 블록(610)에서, 적어도 부분적으로 표적 장기 내에 배치된 내강 또는 챔버와 같은 치료 부위로, 스코프(예컨대, 요관경)와 같은 의료 기구를 전진시키는 것을 수반한다. 예를 들어, 블록(610)의 동작은 의료 기구를 환자의 신장의 표적 신배로 전진시키는 것을 수반할 수 있다. 의료 기구와 표적 사이의 상대 위치는 해부학적 움직임으로 인해 그리고/또는 경피 니들 기구가 본 명세서에 개시된 소정 프로세스에 따라 표적에 접근할 때 약간 변화할 수 있다. 제위치에 대한 그러한 상대적 변화는 표적 장기의 위치를 추적할 필요성 또는 요구로 이어질 수 있다. 예를 들어, 더 상세히 후술되는 바와 같이, 위치는 2차원 공간에서 추적될 수 있고, 위치는 3차원 공간에서 회복될 수 있다.
위에서 참조된 바와 같이, 본 개시의 태양에 따른 로봇 내시경-안내식 경피 접근은 치료 부위에 대한 접근이 그것을 통해 달성되는 표적 해부학적 특징부에 관한 위치-추적 기술을 이용할 수 있다. 예를 들어, 의사/전문가가 경피-접근 기구를 치료 부위(예컨대, 표적 신배)와 정렬시키는 것을 안내하기 위해 의료 기구(예컨대, 스코프)의 원위 단부 및/또는 경피-접근 기구(예컨대, 니들)와 연관된 위치-추적 메커니즘/센서가 구현될 수 있다. 본 개시의 태양에 의해 가능해지는 바와 같은 정확한 실시간 표적 추적은 치료 부위에 대한 비교적 정밀한 단일-스틱 접근(single-stick access)을 가능하게 할 수 있다.
블록(620)에서, 프로세스(600)는 표적 해부학적 구조의 위치를 태깅하는 것을 수반한다. 이미지 처리 접근법이 표적의 3D 위치를 제공할 수 있을 때 이러한 수동 태깅 프로세스가 필요하지 않다는 것을 명확히 하는 것이 낫다. 예를 들어, 표적 해부학적 위치의 위치를 태깅하는 것은 결정 및/또는 기록하는 것을 수반할 수 있다(예컨대, 본 명세서에 도시되고 기술된 바와 같은 소정의 제어 회로의 휘발성 및/또는 비-휘발성 데이터 저장소에서 캡처함). 블록(620)과 관련하여 표적 해부학적 특징부의 위치를 태깅하는 것은, 각각 블록(624, 623)과 관련하여 후술되는, 적어도 부분적인 수동 태깅 서브프로세스(622) 또는 적어도 부분적인 이미지-기반 태깅 서브프로세스(621)를 사용하는 것과 같은, 임의의 적합한 또는 바람직한 방식으로 수행될 수 있다.
소정의 수동 태깅 프로세스와 관련하여, 블록(622)에서, 프로세스(600)는 표적 해부학적 특징부를 치료 부위에서 의료 기구의 원위 단부와 접촉시키는 것을 수반한다. 예를 들어, 의료 기구는 의료 기구의 원위 단부의 위치를 나타낼 수 있는, 전자기 센서/비컨과 같은 센서 장치를 포함할 수 있고, 따라서 의료 기구의 원위 단부가 표적 해부학적 특징부에 대해 그리고/또는 그에 인접하게 배치된 상태에서, 그러한 위치 판독치는 표적 해부학적 특징부의 위치를 나타내는 것으로 의존될 수 있다. 예로서, 사용자는 일부 방식으로 표적 해부학적 특징부의 노출된 면(예컨대, 표적 신배 내에서 노출된 유두 면)을 태깅/정합시킴으로써 표적 해부학적 특징부의 특징부-접촉 위치를 관련 컴퓨팅/의료 시스템에 통지하기 위한 입력을 제공할 수 있다. 그러한 태깅은 일부 방식으로 사용자 입력의 제공을 통해 구현될 수 있거나, 인지된 조직 접촉 등에 기초하여 실질적으로 자동일 수 있다.
소정의 이미지-기반 태깅 프로세스와 관련하여, 블록(623)에서, 프로세스(600)는 도 7 및 도 8과 관련하여 상세히 후술되는 바와 같이, 이미지 데이터 입력 및 소정의 신경망 기능을 사용하여 표적 해부학적 특징부의 위치를 결정하는 것을 수반한다. 일부 구현예에서, 컨볼루션 신경망(convolutional neural network)이 표적 위치 식별/태깅을 위해 사용된다.
블록(620)의 동작(들)과 관련하여 기록된 특징부-접촉 위치는 시간 경과에 따라 변화할 수 있는, 표적 해부학적 특징부의 잠재적으로 동적인 상대 위치와 관련하여 정적 위치로 고려될 수 있다. 특징부-접촉 위치는 하나 이상의 데이터 저장 장치에 저장되는 것과 같은, 임의의 적합한 또는 바람직한 방식으로 기록 및/또는 유지될 수 있다.
프로세스(600)는, 표적 해부학적 특징부의 방향으로, 니들 등과 같은 경피-접근 기구를 전진시키는 동안 수술 기간에 걸쳐 표적 해부학적 특징부를 추적하는 것을 수반할 수 있는 서브프로세스(630)로 진행한다. 표적 해부학적 특징부의 동적 상대 위치의 실시간 추적은 유리하게는 치료 부위에 대한 경피-접근 기구의 정확한 방향을 용이하게 할 수 있다.
서브프로세스(630)는 다양한 방식으로 구현될 수 있다. 예를 들어, 서브프로세스(632)로서 도시된 바와 같이, 표적 해부학적 특징부의 수술 추적을 제공하기 위해 라이브(live) 기구(예컨대, 스코프) 추적이 구현될 수 있다. 예를 들어, 관련 수술 기간 전체에 걸쳐, 의료 기구의 원위 단부는 표적 해부학적 특징부와 접촉하여 유지될 수 있고(블록(634)), 따라서 의료 기구에 의해 표시된 위치 센서 데이터는 표적 해부학적 특징부의 실시간의 정확한 위치를 제공할 수 있다. 따라서, 블록(636)에 도시된 바와 같이, 의료 기구의 라이브 위치는 원하는 경피 접근 경로를 제공하기 위해 표적설정될 수 있다. 그러나, 의료 기구의 원위 단부가 표적 해부학적 특징부와 아주 근접/접촉한 상태에서, 표적 해부학적 특징부의 실시간 시각화는 카메라(들)의 시야에서 특징부 자체에 의한 표적 해부학적 특징부의 차단으로 인해 가능하지 않거나 충분히 명확하지 않을 수 있다. 즉, 로컬 기구와 연관된 카메라는 표적 해부학적 특징부의 매스(mass)에 의해 충분히 차단되거나 가려져서, 의사/사용자가 경피-접근 기구(예컨대, 니들)에 의한 표적 해부학적 특징부의 침투를 시각적으로 확인하는 것을 방해할 수 있다.
경피-접근 기구의 접근 동안 표적 해부학적 특징부의 명확한 시각을 여전히 유지하면서 표적 해부학적 특징부를 추적하기 위한 대안적인 서브프로세스(631)가 도시되어 있다. 그러한 서브프로세스(631)는 블록(620)의 동작과 관련된 바와 같이, 표적 해부학적 특징부의 정적 태깅된 위치를 이용할 수 있다. 예를 들어, 블록(633)에서, 서브프로세스(631)는 전술된, 블록(620)의 동작과 관련하여 구현된 표적 해부학적 특징부와의 접촉과 연관된 특징부 접촉 위치를 기록하는 것을 수반할 수 있다.
서브프로세스(632)에서와 같이, 수술 추적을 제공하기 위해 의료 기구를 표적 해부학적 특징부와 접촉/근접한 상태로 계속 유지하기보다는, 서브프로세스(631)는 의료 기구를 표적 해부학적 특징부로부터 (예컨대, 근위 방향으로) 떨어진 거리로 후퇴시키는 것을 수반하여, 의료 기구가 블록(635)에서 표시된 바와 같이 그와 연관된 카메라(들)의 시야에서 표적 해부학적 특징부를 명확하게 캡처하도록 허용할 수 있다. 예를 들어, 일부 구현예에서, 의사/사용자는 의료 기구가 표적 해부학적 특징부로부터 떨어진 원하는 거리에 파킹된 때를 일부 방식으로 시스템에 통지할 수 있다.
명확하게 하기 위해, 서브프로세스(631, 632)가 서브프로세스(630)의 대안적인 구현예를 나타낸다는 것에 유의한다. 즉, 프로세스(600)는 일반적으로 서브프로세스(632) 또는 서브프로세스(631) 중 어느 하나의 구현예를 수반할 수 있지만, 둘 모두는 아니다. 예를 들어, 서브프로세스(632)는 일반적으로, 와이어 또는 스코프와 연관된 위치-추적 장치(예컨대, 전자기 비컨)를 표적 해부학적 특징부(예컨대, 유두)의 위치/표면에 남기는 것을 수반하는 해결책을 예시하고, 여기서 위치-추적 장치는 니들 삽입 동안 유두와 함께 이동하게 될/이동하도록 허용될 수 있다. 따라서, 표적 위치는 센서가 표적 해부학적 특징부와 함께 이동함에 따라 연속적으로 업데이트될 수 있다. 서브프로세스(632)는 일반적으로 임의의 실시간 이미지 데이터를 요구하지 않을/요구할 수 있다. 그러나, 서브프로세스(632)의 해결책은 차단으로 인해 표적 유두의 니들 천공의 즉각적인 시각적 확인을 제공하지 않을 수 있다.
일부 경우에, 스코프가 표적 신배의 내측에 남아 있고 유두-스코프 정합이 보존되는 것으로 가정될 수 있다. 스코프 위치 센서(들)와 관련하여 표적 해부학적 특징부의 상대적 이동이 없는 경우, 표적 위치는 결정된 현재 스코프 위치에 기초하여 연속적으로 업데이트될 수 있다. 예를 들어, 블록(634)과 연관된 동작(들)은, 기구/센서와 표적 해부학적 특징부 사이의 접촉을 연속적으로 유지하기보다는, 스코프가 표적으로부터 멀어지게 후퇴되어 그의 카메라 관찰을 허용할 수 있는 것을 수반할 수 있다. 스코프의 후퇴 동안 수집된 위치 데이터(예컨대, EM 데이터)는 스코프와 관련하여 유두 위치를 정합/기록하는 데 사용될 수 있다. 예를 들어, 하나의 사용 사례에 따르면, 스코프의 후퇴/위치설정은 대략 유두의 전방으로 5 mm 및 좌측으로 2 mm일 수 있다. 그러한 위치 오프셋은 스코프의 현재 위치에 대한 표적의 위치를 결정하는 데 사용될 수 있다. 그러나, 표적 해부학적 특징부와 스코프 사이의 상대적 이동은 위치 오프셋 계산의 비신뢰성을 야기할 수 있고, 따라서, 그러한 프로세스는 상대적 이동을 보상함이 없이 부적절할 수 있다.
소정 측면에서, 서브프로세스(631)는 서브프로세스(632)에 비해 개선을 나타낼 수 있다. 예를 들어, 정적 위치 데이터 및/또는 스코프-오프셋 데이터에 대한 의존은 일반적으로 그것 자체가 표적 해부학적 특징부에 관한 해부학적 이동 및/또는 다른 움직임을 보상하기 위한 강건한 해결책을 제공하지 않을 수 있고, 이는 예를 들어 경피-접근 기구의 삽입 및/또는 다른 인자로 인한 것일 수 있다. 해부학적 이동에 더하여, 치료 부위에서 의료 기구의 구동/위치설정과 연관된 로봇 메커니즘 및/또는 다른 컴포넌트의 물리적 위치설정의 변동은 표적 해부학적 특징부 및 의료 기구의 원위 단부의 상대적 위치설정에 관한 부정확성을 추가로 도입할 수 있다. 표적 해부학적 특징부의 바람직하지 않은 이동에 의해, 그의 정적 기록된 위치는 표적 해부학적 특징부의 실제 추적 위치를 제공하기 위해 확신을 갖고서 의존되지 않을 수 있다. 따라서, 블록(620)에서 기록된 정적 표적 위치가 해부학적 움직임 및/또는 전술된 바와 같은 다른 도입된 부정확성을 수용하도록 업데이트되는 것이 바람직할 수 있다.
의료 기구가 표적 해부학적 특징부와 더 이상 접촉/근접하지 않은 상태에서, 의료 기구의 원위 단부의 실시간 위치는 그에 따라 그것 자체가 표적 해부학적 특징부의 실시간 위치를 나타내지 않을 수 있다. 오히려, 서브프로세스(631)는 블록(633)의 동작과 관련하여 기록/태깅된 정적 위치에 기초하여 표적 해부학적 특징부의 위치를 추적하기 위한 다양한 해결책을 구현할 수 있다. 예를 들어, 블록(637)에서, 서브프로세스(631)는 본 개시의 실시예에 따른, 신경망 회로 및/또는 소정의 시스템 제어 회로에 의해 구현되는 다른 이미지-추적 기능을 사용하여 표적 해부학적 특징부의 실시간 이미지(들)를 처리함으로써 표적 해부학적 특징부의 위치를 추적하는 것을 수반할 수 있다. 예를 들어, 신경망 및/또는 다른 이미지-추적 메커니즘(들)은 표적 해부학적 특징부의 실시간 이미지(들)를 입력으로서 수신할 수 있고, 여기서 신경망 회로 및/또는 다른 이미지-추적 메커니즘(들)은 그 내부의 표적 해부학적 특징부를 식별하고 그의 위치를 결정하도록 구성된다. 그러한 특징부-식별 기능은 블록(633)과 관련하여 기록된 정적 위치에 대해 실시간으로 표적 해부학적 특징부를 추적하기 위해 사용될 수 있다.
서브프로세스(631)는 접촉(624) 및 후퇴(635) 단계를 포함/수반하거나 그렇지 않을 수 있고, 여기서 사용자는 표적 유두 위치와 물리적으로 접촉하고 스코프의 시야에서 유두를 보이게 하기 위해 스코프를 후퇴시킨다. 예를 들어, 이미지-기반 태깅(621)이 블록(620)과 관련하여 구현되는 경우, 표적 해부학적 특징부와 물리적으로 접촉하여 그의 자리/위치를 결정하는 것이 필요하지 않을 수 있다. 오히려, 자리/위치는 스코프/기구의 하나 이상의 카메라에 의해 캡처/생성된 이미지 데이터에 기초하여 본 명세서에 개시된 표적-식별 메커니즘을 사용하여 결정될 수 있다. 예를 들어, 일부 실시예에서, 표적은 이미지/비전(vision) 및/또는 위치(예컨대, EM) 데이터의 다수의 프레임을 사용하여 식별되고 추적된다. 그러한 표적 위치 결정의 예는 도 12와 관련하여 후술된다. 일부 구현예에서, 2개의 별개의 위치 및/또는 정렬로부터 표적 해부학적 특징부(예컨대, 유두)를 보는 것에 의해, 표적 위치는 3차원 공간과 관련하여 추정/결정될 수 있다.
블록(639)에서, 서브프로세스(631)는 경피-접근 기구로 표적 해부학적 특징부의 추적된 위치를 표적설정하는 것을 수반한다. 예를 들어, 치료 부위의 실시간 이미지에서 식별된 유두 형상 또는 형태의 중심은 경피-접근 기구를 위한 표적 위치에서 사용될 수 있다.
블록(640)에서, 프로세스(600)는 프로세스(600)의 특정 구현예에 따라, 서브프로세스(632)와 관련하여 표적 해부학적 특징부에 대한 시각적 확인 없이 또는 서브프로세스(631)에 따른 시각적 확인을 갖고서, 표적 해부학적 특징부를 천공하는 것을 수반한다.
블록(633)에서 특징부-접촉 위치를 기록하거나 블록(636)에서 라이브 기구 위치를 표적설정하기 위한 것과 같은, 본 개시의 실시예와 관련하여 사용되는 다양한 위치 센서는 임의의 유형의 위치 센서일 수 있다. 예로서, 그러한 센서(들)는 전자기(EM) 센서/프로브일 수 있다. 스코프와 관련하여, 위치 센서는 그의 팁과 통합되거나 팁에 근접하게 부착될 수 있다. 대안적으로, 센서(들)는, 코일에서 생성되고 와이어를 따라 통과되는 전기 신호를 해석하도록 구성된 외부 제어 회로에 연결되는, 스코프의 길이로 연장되는 전기 와이어에 연결된 코일을 포함할 수 있다. 본 개시의 실시예와 관련하여 구현될 수 있는 위치 센서 장치의 유형의 예는 가속도계, 자이로스코프, 자력계, 광섬유 형상 감지(예컨대, 브래그 격자(Bragg grating), 레일리 산란(Rayleigh scattering), 간섭 측정(interferometry), 또는 관련 기법을 통함) 등을 포함하지만, 이에 제한되지 않는다. 구현예에 따라, CT 스캔과 같은, 별개의 형태의 환자 영상에 대한 정합은 환자 내의 요로 결석의 위치를 찾아내기 위한 기준 프레임(frame of reference)을 제공하는 데 필요하거나 필요하지 않을 수 있다.
참고로, 개시된 실시예들 중 일부에서 구현될 수 있는 소정의 위치 확정/위치결정 메커니즘이 기술된다. 코일 또는 다른 안테나와 같은 EM-유형 센서와 관련하여, 그러한 센서 장치는 EM 센서가 필드 내에서(예컨대, 신장 내에서) 이동함에 따라 EM 필드의 변화를 검출하도록 구성될 수 있다. 따라서, 소정 실시예는 EM 센서(들)에 의해 픽업되는(picked up) EM 필드를 방출하도록 구성된 하나 이상의 EM 발생기를 사용하여 구현된다. EM 발생기(들)는 임의의 적합한 또는 바람직한 방식으로 변조될 수 있고, 따라서 그들의 방출된 필드가 EM 센서(들)에 의해 캡처되고 적절한 제어 회로에 의해 처리될 때, 상이한 EM 발생기로부터의 신호는 추가 차원의 위치 정보를 제공하도록 분리가능하다. EM 발생기는 시간에서 또는 주파수에서 변조될 수 있고, 각각의 신호가 가능하게는 시간 중첩됨에도 불구하고 각각의 다른 신호로부터 완전히 분리가능하도록 직교 변조를 사용할 수 있다. 또한, 별개의 EM 발생기는 비-제로, 비-직교 각도로 직교 공간에서 서로에 대해 배향될 수 있어서, EM 센서(들)의 배향의 변화는 임의의 순간에 EM 발생기들 중 적어도 하나로부터 적어도 일부 신호를 수신하는 EM 센서(들)를 생성할 것이다.
도 6의 블록(633)에서 특징부-접촉 위치의 기록을 추가로 참조하면, EM 위치 데이터는 EM 데이터에 대한 기준 프레임을 확립하기 위해, CT 스캔과 같은, EM 이외의 상이한 기법(또는 어떤 것이든 정렬 센서의 데이터를 캡처하는 데 사용되는 메커니즘)으로 캡처된 환자의 이미지에 정합될 수 있다. 스코프에 더하여, 경피-접근 니들은 EM 센서와 같은 하나 이상의 위치/정렬 센서를 포함할 수 있다. 니들 EM 센서로부터 수신된 위치/정렬 데이터는 전술된 바와 같은 스코프 위치 데이터와 유사하게 수신되고 처리될 수 있다. 본 명세서에 기술된 다양한 프로세스는 전체적으로 또는 부분적으로 수동으로 그리고/또는 전체적으로 또는 부분적으로 로봇을 사용하여 수행될 수 있다.
본 명세서에 개시된 프로세스는 담낭 결석 제거, 폐 (폐/경흉부) 종양 생검 등과 같은, 신장 결석 제거 절차 이외의 절차와 관련하여 구현될 수 있다. 일반적으로, 임의의 유형의 경피 절차가 본 개시의 실시예에 따른, 신경망 처리를 사용하여 특징부 식별 및 추적을 위해 이미지 데이터를 캡처하도록 구성된 내시경을 사용함으로써 수행될 수 있다. 추가 예는 위 수술, 식도 및 폐 수술 등을 포함한다. 또한, 제거될 물체는 반드시 요로 결석일 필요가 없고, 그들은 인체 내에 생성된 물체 또는 이물질과 같은 임의의 물체일 수 있다.
신경망-기반 해부학적 특징부 식별 및 추적
도 7은 본 개시의 하나 이상의 실시예에 따른, 표적 위치 데이터를 동적으로 업데이트하기 위해 내시경 카메라 이미지에서 하나 이상의 표적 해부학적 특징부를 식별하기 위한 특징부-식별 프레임워크를 예시한다. 특징부-식별 프레임워크(700)는 하나 이상의 프로세서, 데이터 저장 장치, 접속 특징부, 기판, 수동 및/또는 능동 하드웨어 회로 장치, 칩/다이 등을 포함하는, 소정의 제어 회로에서 구현될 수 있다. 예를 들어, 프레임워크(700)는 도 2에 도시되고 전술된 제어 회로(60)에서 구현될 수 있다. 특징부 식별 프레임워크(700)는 예를 들어 내부 신장 해부학적 구조의 요관경 이미지에 대한 자동 표적 검출을 수행하기 위해 기계 학습 기능을 채용할 수 있다.
특징부-식별 프레임워크(700)는 하나 이상의 의료 절차와 연관된 치료 부위의 적어도 일부분을 나타내는 이미지 데이터와 같은, 소정의 이미지-유형 데이터 구조에서 동작하도록 구성될 수 있다. 그러한 입력 데이터/데이터 구조는 프레임워크(700)의 이미지 처리 부분과 연관된 소정의 변환 회로(720)에 의해 일부 방식으로 동작될 수 있다. 변환 회로(720)는 임의의 적합한 또는 바람직한 인공 신경망 아키텍처와 같은, 임의의 적합한 또는 바람직한 변환 및/또는 분류 아키텍처를 포함할 수 있다.
변환 회로(720)는 입력/출력 쌍으로서 각각의 이미지(712)에 대응하는 알려진 해부학적 이미지(712) 및 표적 라벨(732)에 따라 훈련될 수 있고, 여기서 변환/분류 프레임워크(720)는 알려진 입력 및 출력 이미지 데이터를 상관시키기 위해 하나 이상의 파라미터 또는 그와 연관된 가중치를 조정하도록 구성된다. 예를 들어, 변환 회로(720)(예컨대, 컨볼루션 신경망)는 라벨링된 데이터세트 및/또는 기계 학습을 사용하여 훈련될 수 있다. 일부 구현예에서, 기계 학습 프레임워크는 임의의 적합한 또는 바람직한 방식으로 학습/훈련을 실행하도록 구성될 수 있다.
알려진 표적 라벨(732)은 알려진 해부학적 이미지(712)에서 해부학적 특징부를 수동으로 라벨링함으로써 적어도 부분적으로 생성될 수 있다. 예를 들어, 수동 라벨은 관련 의료 전문가에 의해, 예를 들어 유두 해부학적 구조가 신배간 해부학적 이미지들 중에 있는 라벨에 대해 결정되고/되거나 적용될 수 있다. 알려진 입력/출력 쌍은 변환 회로(720)의 파라미터를 나타낼 수 있고, 이는 일부 실시예에서 동적으로 업데이트가능할 수 있다.
알려진 표적 라벨(732)은 그 내부에 존재하는 표적 해부학적 특징부의 경계 및/또는 내부 영역을 묘사할 수 있다. 일부 실시예에서, 프레임워크(700)는 실시간 해부학적 이미지들(715) 중 특정 이미지가 표적 해부학적 특징부를 포함하는지 여부를 이진 방식으로 나타내는 방식으로 실시간 표적 라벨(735)을 생성하도록 구성될 수 있고, 여기서 표적 해부학적 특징부의 위치 및/또는 다른 양태를 추가로 식별하기 위해 표적 해부학적 특징부의 하나 이상의 인스턴스를 포함하는 것으로 식별된 이미지에 대해 추가 처리가 수행될 수 있다. 일부 실시예에서, 식별된 표적 해부학적 특징부 및/또는 그의 하나 이상의 부분의 3차원 위치를 결정하기 위해 추가 처리가 수행될 수 있다.
프레임워크(700)는 변환 회로(720)의 훈련된 버전을 사용하여 실시간 해부학적 이미지(715)와 연관된 실시간 표적 라벨(735)을 생성하도록 추가로 구성될 수 있다. 예를 들어, 의료 절차 동안, 치료 부위에 배치된 내시경 또는 다른 의료 기구와 연관된 치료 부위의 실시간 이미지는 변환 회로(720)를 사용하여 처리되어, 실시간 이미지에서 하나 이상의 표적 해부학적 특징부의 존재 및/또는 위치를 식별하는 실시간 표적 라벨(735)을 생성할 수 있다. 예를 들어, 일부 구현예에서, 요관경 이미지는 변환 회로(720)에 의해 처리되어, 표적 유두의 존재, 위치, 및/또는 형상을 식별할 수 있고, 이는 본 명세서에 상세히 기술되는 바와 같은 경피 접근 기구로 표적설정될 수 있다. 요관경술 응용과 관련하여, 유두 해부학적 구조는 일반적으로 대상에 걸쳐 외양이 유사하게 존재할 수 있고, 따라서 유두 해부학적 구조는 광범위한 인구통계에 걸쳐 식별될 수 있다.
일부 실시예에서, 변환 회로(720)는 표적 해부학적 특징부(들)(예컨대, 유두)뿐만 아니라, 식별된 해부학적 특징부(들)를 포함하고/하거나 이미지에서 식별된 해부학적 특징부(들)를 둘러싸는 세그먼트-아웃(segment-out) 영역(들)을 식별하도록 구성될 수 있다. 변환 프레임워크(720)는 컨볼루션 신경망과 같은 인공 신경망을 포함할 수 있다. 예를 들어, 프레임워크(720)는, 입력 이미지에서 이루어지고, 서로 구별하기 위해 이미지에서 다양한 양태/객체에 학습가능 가중치를 할당하고/그로 바이어싱되는 딥 러닝 아키텍처(deep learning architecture)를 구현할 수 있다. 프레임워크(720)의 필터/특성은 핸드-엔지니어링되거나(hand-engineered) 기계 학습을 통해 학습될 수 있다.
프레임워크(720)는 입력 이미지의 시각 영역을 커버하는 입력 이미지의 중첩 영역에 대응하는 복수의 뉴런(예컨대, 도 7에 도시된 바와 같은 뉴런의 층)을 포함할 수 있다. 프레임워크(720)는 일부 방식으로 입력 이미지 또는 그의 부분(들)을 평탄화하도록 추가로 동작할 수 있다. 프레임워크(720)는 소정 필터의 적용을 통해 입력 이미지(715)에서 공간적 및/또는 시간적 의존성을 캡처하도록 구성될 수 있다. 그러한 필터는 원하는 출력 데이터를 달성하기 위해 다양한 컨볼루션 동작에서 실행될 수 있다. 그러한 컨볼루션 동작은 에지, 윤곽 등과 같은 특징부를 추출하기 위해 사용될 수 있다. 프레임워크(720)는 임의의 수의 컨볼루션 층을 포함할 수 있고, 여기서 더 많은 층은 더 높은 레벨의 특징부의 식별을 제공할 수 있다. 프레임워크(720)는, 소정의 해부학적 특징부에서와 같이, 회전 및/또는 위치 불변인 특징부를 추출하는 데 유용할 수 있는, 컨볼브된(convolved) 특징부의 공간적 크기를 감소시키도록 구성될 수 있는 하나 이상의 풀링 층(pooling layer)을 추가로 포함할 수 있다. 평탄화, 풀링, 및/또는 다른 프로세스를 통해 준비되면, 이미지 데이터는 다중-레벨 퍼셉트론(perceptron) 및/또는 피드-포워드(feed-forward) 신경망에 의해 처리될 수 있다. 또한, 역전파가 각각의 훈련의 반복에 적용될 수 있다. 프레임워크는 입력 이미지에서 우세 및 소정의 저-레벨 특징부들을 구별하고, 임의의 적합한 또는 바람직한 기법을 사용하여 그들을 분류하는 것이 가능할 수 있다. 일부 실시예에서, 신경망 아키텍처는 하기의 알려진 컨볼루션 신경망 아키텍처들 중 임의의 것을 포함한다: LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, 또는 ZFNet.
프레임워크(720)에 대한 입력은 비디오 또는 스틸 이미지일 수 있다. 일부 실시예에서, 입력은 비디오를 포함하고, 여기서 프레임워크(720)는 비디오의 소정의 특징부가 전환되는 방법(예컨대, 시간 모델의 구현)을 나타내는 출력을 생성하도록 구성된다. 일부 구현예에서, 신경망(720)이 훈련되었으면, 신경망 프레임워크에 대한 동작 입력은 복수의(예컨대, 2개의) 이미지를 포함할 수 있고, 여기서 출력(735)은 이미지에 걸친(예컨대, 시간 경과에 따른) 하나 이상의 표적의 위치를 나타내는 데이터를 포함한다. 입력(715)은 이미지 또는 이미지 데이터를 포함할 수 있고/있거나, 별개의(예컨대, 연속적인) 이미지들 사이의 차이를 나타내는 데이터를 포함할 수 있다. 예를 들어, 프레임워크(720)는 픽셀들 사이의 움직임 또는 공간적 변화를 검출할 수 있고, 여기서 픽셀 위치의 변화가 이미지들 사이의 그리고/또는 시간 경과에 따른 움직임을 나타낸다. 출력은 이미지들 사이의 차이를 나타낼 수 있다. 일부 실시예에서, 신경망 프레임워크(720)는 광학 흐름을 추정하도록 훈련된다.
도 8은 본 개시의 하나 이상의 실시예에 따른 예시적인 신경망 특징부-분류/식별 프레임워크(800)를 예시한다. 프레임워크(800)는 컨볼루션 신경망 아키텍처를 나타낼 수 있고, 본 개시의 시스템, 장치, 및/또는 방법 중 임의의 것과 연관된 제어 회로의 하나 이상의 부분 또는 컴포넌트에서 각각 구현될 수 있는 소정의 기능 컴포넌트를 나타낼 수 있는 예시된 컴포넌트들 중 하나 이상을 포함할 수 있다. 프레임워크(800)는 도 7의 변환 회로(720) 또는 그의 일부분의 일 실시예를 나타낼 수 있다.
신경망 프레임워크(800)는 ResNet 50 신경망 등과 같은, 사전-훈련된 신경망(821)을 포함할 수 있다. 프레임워크(800)는 특징부 피라미드 네트워크와 같은, 특징부-추출 컴포넌트(822)(예컨대, 특징부 추출 네트워크(SDN))를 추가로 포함할 수 있다. 특징부 추출 컴포넌트(822)는 입력 이미지의 하나 이상의 특징부 맵을 추출하고/하거나 특징부-검출기 윤곽을 엔지니어링하도록 구성될 수 있다. 특징부 피라미드 네트워크 기능을 구현하는 실시예에서, 다수의 이미지가 상이한 레벨의 해상도로 처리되어 출력 변형을 제공할 수 있다.
프레임워크(800)는 영역 제안 네트워크 컴포넌트(823)를 추가로 포함할 수 있다. 영역 제안 네트워크(823)는 특징부 추출 컴포넌트(822)에 의해 생성되고/되거나 제공된 특징부 맵 상에서 표시된/식별된 표적을 캡슐화하는 소정의 경계 박스를 이미지 상에 제안하도록 구성될 수 있다.
일부 실시예에서, 이미지에서 표적을 추출하기 위해 코스-투-파인(coarse-to-fine) 처리 다이어그램이 실행될 수 있다. 영역 제안 네트워크(823)에 의해 제공된 제안된 경계 박스는 하나 이상의 추가 컴포넌트(827)에 의해 사용될 수 있다. 예를 들어, 이진 분류 네트워크 컴포넌트(826)는 그들이 관심 대상의 표적 특징부를 포함하는지 여부에 기초하여 경계 박스를 분류하도록 구성될 수 있다. 또한, 박스 회귀 네트워크(825)는 영역 제안 네트워크(823)에 의해 제안된 경계 박스를 리파인(refine)하도록 위치되고 구성될 수 있다. 또한, 마스크 예측 네트워크 컴포넌트(824)는 식별된 표적 특징부(들)의 실루엣 또는 형상/형태를 계산하고/하거나 나타내도록 구성될 수 있다.
표적 해부학적 특징부 추적
표적 해부학적 특징부 및 그의 위치를 정확하게 식별하는 능력은 유리하게는 의료 절차 동안 의료 기구에 의한 표적 해부학적 특징부의 표적설정을 허용할 수 있다. 그러나, 표적 해부학적 특징부의 표적 위치의 결정 후에 해부학적 움직임의 발생은 표적 해부학적 특징부가 알려진 표적 위치로부터 멀리 이동하게 할 수 있다. 따라서, 표적 위치 데이터의 실시간 업데이트를 제공하는 본 개시의 실시예는 수술간 해부학적 움직임과 연관된 문제를 제거하는 것을 도울 수 있다.
일부 실시예에서, 하나 이상의 의료 기구의 위치를 결정하기 위해 위치설정 시스템(예컨대, 본 명세서에 기술된 바와 같은 전자기 위치설정 시스템)이 구현될 수 있다. 일부 실시예에서, 위치설정 시스템은 위치설정 필드 내에서 카메라 이미지에 표현되는 특징부의 위치를 결정하기 위해 카메라 이미지로 교정될 수 있다.
다양한 방법론에 따라 표적 해부학적 특징부 추적이 달성될 수 있다. 예를 들어, 일부 실시예에서, 표적 추적은 치료 부위의 2개의 연속적으로 또는 순차적으로 캡처된 이미지의 신경망(또는 다른 이미지 처리) 회로의 출력을 비교함으로써 달성될 수 있다. 예를 들어, 상이한 시간에 캡처된 이미지와 관련하여 신경망 또는 다른 유형의 표적-식별 회로의 출력으로서 표적 해부학적 특징부의 실루엣 또는 마스크가 주어지면, 중첩 백분율의 맥락에서와 같이, 그러한 실루엣/마스크의 중첩(예컨대, 쌍별(pairwise) IOU(intersection-over-union))이 결정될 수 있다. 일반적으로, 적어도 충분히 높은 샘플 레이트에서의 이미지 캡처와 관련하여 연속적인 이미지들 사이의 콘텐트 차이가 유의하게 상이하지 않은 것으로 가정될 수 있다. 따라서, 연속적으로 캡처된 이미지의 마스크는, 중첩 백분율이 사전정의된/사전결정된 임계치보다 높은 경우, 동일한 표적 해부학적 특징부를 나타내는 것으로 고려될 수 있고, 여기서 임계치는 샘플링에 걸친 표적의 최대 이동에 관련된다.
도 9는 본 개시의 하나 이상의 실시예에 따른, 치료 부위에서 표적 해부학적 특징부를 추적하기 위한 프로세스(900)를 예시한 흐름도이다. 블록(902)에서, 프로세스(900)는 라벨링된 이미지 데이터를 사용하여 신경망을 훈련시키는 것을 수반한다. 예를 들어, 신경망은 각각 도 7 및 도 8에 도시된 프레임워크(700, 800)와 소정 측면에서 유사한 프레임워크를 포함할 수 있다.
블록(904)에서, 프로세스(900)는 치료 부위에 또는 그 부근에 배치된 내시경 또는 다른 의료 기구로부터 치료 부위의 제1 이미지를 수신하는 것을 수반한다. 블록(906)에서, 프로세스(900)는 신경망 아키텍처/프레임워크를 사용하여 제1 이미지 내의 제1 특징부를 식별하는 것을 수반한다. 예를 들어, 제1 특징부는 치료 부위에 존재하는 표적 유두일 수 있다. 예를 들어, 제1 이미지와 관련하여 제1 특징부의 세그먼트화를 수행하기 위해 하나 이상의 기계 학습 컴포넌트 또는 모듈이 구현될 수 있다.
블록(908)에서, 프로세스(900)는 치료 부위의 제2 이미지를 수신하는 것을 수반한다. 제2 이미지는 제1 이미지와 관련하여 연속적으로 그리고/또는 순차적으로 캡처될 수 있다. 블록(910)에서, 프로세스(900)는 신경망을 사용하여 제2 이미지 내의 제2 특징부를 식별하는 것을 수반한다. 예를 들어, 제2 특징부는 표적 신배 치료 부위 내의 유두일 수 있다. 블록(912)에서, 프로세스(900)는 제1 및 제2 특징부가 치료 부위에서, 동일한 표적 유두와 같은 동일한 표적 해부학적 특징부를 나타내는 것으로 결정하는 것을 수반한다. 제1 및 제2 특징부가 동일한 표적 해부학적 특징부를 나타낸다는 결정은 임의의 방식으로, 예컨대 제1 및 제2 특징부 및/또는 그의 부분(들)의 결정된 중첩 또는 이동을 비교함으로써 이루어질 수 있다.
블록(914)에서, 프로세스(900)는 식별된 제2 특징부 및/또는 기구 위치 데이터에 기초하여 표적 해부학적 특징부와 연관된 표적 추적 위치를 수정하는 것을 수반한다. 예를 들어, 기구 위치 데이터는 의료 기구의 초기 태깅된 위치 및/또는 그의 관절운동 또는 상대적 이동에 대응할 수 있다. 표적 추적 위치의 수정은 그의 동적 상대적 이동을 보상함으로써 표적 해부학적 특징부를 추적하는 역할을 할 수 있다. 또한, 제1 이미지 및 제2 이미지를 캡처하기 위해 사용되는 내시경 또는 다른 의료 기구가 그와 연관된 전자기 센서 또는 다른 위치 센서를 가질 수 있다. 그러한 위치 센서는 표적 추적 위치 데이터로 의료 기구의 이동에 대한 보상을 도입하는 데 사용될 수 있다.
표적 추적 위치의 수정은 제1 이미지의 캡처 시간과 제2 이미지의 캡처 시간 사이의 표적 해부학적 특징부의 상대적 움직임에 기초하여 필요하고/하거나 바람직할 수 있다. 전술된 바와 같이, 그러한 움직임은 치료 부위의 전반적인 영역에서, 니들과 같은 경피-접근 기구의 삽입 및/또는 조작에 의해 유발될 수 있다. 움직임 때문에, 표적 해부학적 특징부(예컨대, 유두)는 일반적으로, 초기 표적 위치를 결정하는 데 사용될 수 있는 스코프와 관련하여 고정되어 유지되지 않을 수 있다. 따라서, 본 개시의 시스템, 장치, 및 방법과 관련하여 개시된 특징부 식별 및 추적 기능은 카메라 이미지를 사용하여 시간 경과에 따른 표적 해부학적 특징부의 추적을 허용할 수 있다. 그러한 추적은 표적 해부학적 특징부의 3차원 위치를 동적으로 예측하는 데 사용될 수 있고, 여기서 3차원 위치는 본 명세서에 기술된 바와 같은, 경피-접근 기구를 위한 표적 추적 위치로서 사용될 수 있다. 경피-접근 기구와 표적 해부학적 특징부 사이의 랑데부(rendezvous)를 달성하는 것은 본 명세서에 기술된 바와 같은, 동적 표적 추정에 의해 크게 도움을 받을 수 있다.
의료 기구(예컨대, 내시경)의 카메라의 위치는 의료 기구의 원위 단부와 연관된 위치 센서의 위치와 관련하여 결정될 수 있다. 그러한 카메라 위치 정보에 의해, 이미지 공간에 나타나는 물체/특징부의 위치는 위치 센서와 연관된 위치 공간(예컨대, 전자기장 공간)과 관련하여 결정될 수 있다. 따라서, 제2 이미지 내의 제2 특징부의 위치는 3차원 공간에서 결정될 수 있고, 경피-접근 기구(예컨대, 니들)의 방향을 위해 제공될 수 있다.
도 9가 제2 특징부 식별 및/또는 위치에 기초하여 표적 추적 위치를 수정하는 것을 기술하지만, 임의의 유형의 응답 동작이 업데이트된 해부학적 특징부 식별에 적어도 부분적으로 기초하여 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, 내시경의 위치를 제어하는 로봇에 통신가능하게 결합된 소정의 제어 회로가 구현되어, 표적 해부학적 특징부의 이동에 기초하여 스코프를 조정/관절운동시킬 수 있다. 예를 들어, 스코프는 표적 해부학적 특징부의 중심 또는 다른 부분이 카메라, 인터페이스, 또는 치료 부위의 다른 시각적 표현의 시야의 중심 또는 그 부근의 위치에 있도록 이동될 수 있다.
본 명세서에 개시된 신경망 및 마스킹 개념은, 그 전체 내용이 본 명세서에 명확히 참조로 포함된 간행물["Mask R-CNN," (He, Kaiming, Georgia Gkioxari, Piotr
Figure pct00001
, and Ross Girshick. "Mask r-cnn." In Computer Vision (ICCV), 2017 IEEE International Conference on, pp. 2980-2988. IEEE, 2017)]의 태양에 따라 구현될 수 있다.
도 10은 본 개시의 하나 이상의 실시예에 따른, 치료 부위에서 표적 해부학적 특징부를 추적하기 위한 프로세스를 예시한 흐름도이다. 도 10의 추적 프로세스(1000)는 직접 추적 실시예로 고려될 수 있다. 도 11은 도 10에 도시된 프로세스(1000)의 다양한 단계에 관련된 소정의 특징부 마스크 및 관련 이미지를 도시한다.
블록(1002)에서, 프로세스(1000)는 제1 시간(t)에 촬영된 치료 부위의 제1 이미지(121)에 대한 표적 마스크(122)를 생성하는 것을 수반한다. 이미지(121)에 도시된 바와 같이, 제1 이미지는 표적 해부학적 특징부(111)의 적어도 일부분을 포함하고, 이는 신배/신장 치료 부위 내로부터 가시적인 유두를 나타낼 수 있다. 이미지(122)는 표적 해부학적 특징부의 마스크를 나타낸다. 본 개시의 실시예에 따라 임의의 마스크가 사용될 수 있지만, 예시된 마스크(122)는 표적 해부학적 특징부(111)의 가시적인 부분의 형상 또는 형태를 나타내는 특징부 영역(112), 및 표적 해부학적 특징부(111)에 대응하지 않는 이미지(121)의 영역을 나타내는 배경 부분(119)을 포함하는 이진 마스크이다. 마스크(122)는 임의의 유형의 세그먼트화 및/또는 기계 학습 메커니즘을 사용하여 생성될 수 있고, 이때 세그먼트화된 영역은 도시된 바와 같은 영역 마스크를 제공하도록 분기된다.
블록(1004)에서, 프로세스(1000)는 제1 이미지(121)가 캡처된 때의 시간(t)에 후속하는 시간(t+1)에 촬영된 제2 이미지(123)에 대한 표적 마스크(124)를 생성하는 것을 수반한다. 본 개시의 태양에 따른 신경망 이미지 처리 또는 다른 표적-식별 메커니즘을 통해, 표적 해부학적 특징부(113)는 이미지(123)에서 식별될 수 있다. 표적 특징부(113)에 관한 이미지(123)의 마스크(124)는 이미지(124)로서 도시되고, 이는 이미지(123) 및 표적 해부학적 특징부(113)의 가시적인 부분의 형상/실루엣 또는 형태를 나타내는 특징부 영역(114), 및 표적 해부학적 특징부(113)에 대응하지 않는 이미지(123)의 영역을 나타내는 배경 부분(127)을 포함한다.
블록(1006)에서, 프로세스(1000)는 그의 각각의 마스크(122, 124)를 사용하여 제1(121) 및 제2(123) 이미지에서의 표적 또는 특징부 중첩을 결정하는 것을 수반한다. 이미지(125)는 제1 마스크(122) 및 제2 마스크(124)의 오버레이를 나타낸다. 생성된 이미지(125)는 제1 이미지(121) 및 제2 이미지(123) 둘 모두에 대한 배경에 대응하는 일부분(115), 제1 이미지(121)에 관한 배경에, 그러나 제2 이미지(123)에 관한 특징부 영역에 대응하는 일부분(116), 및 제2 이미지(123)에 관한 배경에, 그러나 제1 이미지(121)에 관한 특징부 영역에 대응하는 일부분(117)을 포함한다. 나머지 영역(118)은 식별된 해부학적 특징부들(111, 113) 사이의 중첩 영역을 나타낸다. 중첩 영역/형상은 명확성을 위해 이미지(126)로서 별개로 도시되고, 마스크(122, 124)의 특징부 영역들 각각보다 크지 않은 영역을 나타낸다.
프로세스(1000)는, 중첩량(118, 126)이 제1 특징부 영역(112), 제2 특징부 영역(114), 또는 둘 모두의 영역과 관련하여 사전결정된 임계 중첩량보다 큰지 여부가 결정될 수 있는 결정 블록(1008)으로 진행할 수 있다. 결정이 긍정인 경우, 프로세스(1000)는 블록(1010)으로 진행하고, 여기서 응답 동작이 취해질 수 있다. 예를 들어, 블록(1010)에서, 제1 식별된 해부학적 특징부(111)와 제2 식별된 해부학적 특징부(113)가 동일한 표적 해부학적 특징부를 나타내는 것으로 가정될 수 있다. 예를 들어, 둘 모두의 식별된 특징부는 환자의 신장 내의 동일한 유두를 나타낼 수 있다. 따라서, 이미지들(121, 123) 사이의 위치의 임의의 변화는 해부학적 이동을 나타낼 수 있고, 따라서 응답 동작은 표적 해부학적 특징부와 연관된 표적 위치를 조정하는 것 및/또는 이미지(121, 123)를 캡처하는 데 이용되는 기구(예컨대, 내시경 및/또는 그의 카메라)와 같은, 이용되는 의료 기구의 위치를 조정하는 것을 수반할 수 있다. 예를 들어, 하나 이상의 로봇 아암은 아암(들) 및/또는 로봇 아암(들)에 의해 제어되는 내시경 위치를 조정함으로써 응답하도록 구성될 수 있다. 관련 영역의 중첩의 결정은 2차원 X/Y 축에 기초할 수 있다. 이미지들(121, 123) 사이의 차이가 해부학적 이동에 기인하는 것으로 기술되지만, 그러한 차이는 적어도 부분적으로 하나 이상의 수술 도구 또는 기구의 이동에 기인할 수 있음이 이해되어야 한다.
특징부 중첩이 사전결정된 임계치를 충족하지 않는 경우, 프로세스(1000)는 임의의 응답 동작과 연관될 수 있거나 연관되지 않을 수 있는 블록(1012)으로 진행할 수 있다. 예를 들어, 블록(1012)에서, 특징부(111, 113)는 별개의 해부학적 특징부 및/또는 그의 부분을 나타내는 것으로 가정될 수 있다. 따라서, 특징부들(111, 113) 사이의 위치의 차이는 표적 해부학적 특징부의 특정 해부학적 이동을 나타내는 것으로 의존되지 않을 수 있다. 일부 실시예에서, 사전결정된 임계치는 동적으로 조정가능할 수 있고, 바람직한 또는 최적의 구별 성능을 생성하기 위해 선택되고/되거나 결정될 수 있다. 예를 들어, 임계치는 본 명세서에 기술된 바와 같이, 이전에 알려진 데이터의 분석에 기초하여 결정될 수 있다. 일부 실시예에서, 주기적 호흡 동작에 기인할 수 있는 이동이 필터링될 수 있고, 따라서 그러한 이동은 표적 해부학적 특징부의 이동에 기인하지 않는다. 예를 들어, 이미지(121, 123)의 샘플링은 그들이 호흡 주기의 기간 내의 유사한 지점에 대응하도록 수행될 수 있다. 일부 구현예에서, 이미지는 대략 초당 30 프레임, 또는 임의의 다른 적합한 또는 바람직한 샘플링 레이트로 샘플링된다.
전술된 바와 같은 직접 추적 방법에 더하여, 간접 추적 방법이 본 개시에 따라 구현될 수 있다. 예를 들어, 다수의 이미지에 걸쳐 표적 해부학적 특징부 부분 및/또는 그의 대응하는 픽셀 표현의 이동을 추적하기 위해 광학 흐름 추적이 구현될 수 있다. 예를 들어, 공통 이미지 특징부를 나타내는 픽셀을 추적하는 것은 표적 해부학적 특징부 이동 정보를 제공할 수 있다. 또한, 코너, 블로그, 픽셀 그룹, 및/또는 임의의 다른 이미지 특징부의 추적과 같은 다른 특징부-추적 메커니즘이 구현될 수 있다.
세그먼트화/마스킹이 신경망 프레임워크 등을 포함하여, 본 명세서에 기술된 바와 같은 이미지 처리 방법론을 사용하여 수행될 수 있지만, 일부 구현예에서, 세그먼트화/마스킹은 의사 또는 다른 전문가/조작자에 의해 적어도 부분적으로 수동으로 수행된다. 예를 들어, 전문가는 표적 해부학적 특징부를 선택하고 후속 이미지(들)에서 유사한 특징부를 식별할 수 있고, 여기서 순차적 특징부 식별/세그먼트화에 의해 표현되는 이동은 본 개시에 따른 임의의 적합한 또는 바람직한 방식으로 고려될 수 있다. 일부 구현예에서, 특징부 디스크립터(descriptor)는 식별된 특징부 영역에서 로컬로 실행될 수 있고, 이는 후속 이미지에서 특징부 존재의 높은 가능성이 있는 영역으로 고려될 수 있다.
본 발명의 개시의 태양이 요관경의 맥락에서 제시되지만, 그러한 개념은 임의의 유형의 내시경술 응용에 적용가능하다는 것이 이해되어야 한다. 예를 들어, 본 명세서에 기술된 특징부 식별 및 추적 기법은 용종 또는 다른 표적 해부학적 특징부를 식별하고 추적하기 위해 이용될 수 있다. 기관지경술 절차와 관련하여, 본 개시의 표적 해부학적 특징부 식별 및 추적 개념은 종양을 식별하고/하거나 샘플 등을 수집하기 위한 스코프 위치를 관리하기 위해 이용될 수 있다. 호흡기 절차와 관련하여, 본 개시에 따른 특징부 식별 및 표적설정은 표적 기도, 기도 자체, 및/또는 다른 특징부 내측의 결절을 식별하고/하거나 추적하기 위해 이용될 수 있다.
본 명세서에 개시된 실시예들 중 임의의 것과 관련하여, 알려진 스코프 이동 데이터는 표적 해부학적 특징부 식별 및/또는 추적과 관련하여 보상될 수 있다는 것이 이해되어야 한다. 또한, 위치 센서 정보는 표적 특징부 추적 목적을 위해 보상이 이루어질 수 있는 이동을 나타내는 정보를 추가로 제공할 수 있다. 도 10을 추가로 참조하면, 일부 실시예에서, 블록(1010)에서 임의의 응답 동작을 개시하기 전에, 프로세스(1000)는 사용자-개시된 스코프 이동 또는 의도하지 않은 스코프 이동이 발생했는지 여부를 결정하는 것을 수반할 수 있다. 그러할 경우, 생성된 마스크는 그러한 이동이 중첩 결정 및/또는 응답 동작에서 반영되지 않도록 그러한 이동을 보상하기 위해 조정될 수 있다.
본 명세서에 개시된 다양한 실시예와 관련하여, 위치 정보는 임의의 적합한 또는 바람직한 유형의 센서, 장치, 또는 이들의 조합을 사용하여 결정되고/되거나 생성될 수 있다. 예를 들어, 본 개시의 위치 센서/장치는 하기 임의의 것 중 하나 이상을 포함할 수 있다: 위치, 거리, 배향, 가속도, 정렬 등을 나타내는 정보를 제공하는 전자기 센서, 임피던스 분광법 센서, 동축 센서, 관성 측정 센서, 가속도계, 자기 미터, 자이로스코프, 및/또는 임의의 다른 유형의 센서.
3차원 표적 위치 추정
본 개시의 태양에 따른 표적 해부학적 특징부 추적을 위한 3차원(3D) 위치 추정은 임의의 적합한 또는 바람직한 기법 또는 메커니즘에 따라 구현될 수 있다. 예를 들어, 일부 실시예에서, 내시경 카메라와 표적 해부학적 특징부 사이의 거리는 이미지에서 해부학적 특징부의 대표적인 크기에 기초하여 추정될 수 있다.
일부 실시예에서, 스코프 및/또는 해부학적 특징부의 이동 각도에 관한 정보가 3D 위치를 결정하는 데 사용될 수 있다. 예를 들어, 전자기장/공간 내의 전자기 센서/비컨은 그러한 이동 각도 정보를 제공할 수 있다. 전자기 센서 데이터를 이미지 데이터와 조합함으로써, 그러한 거리의 이동 후에 캡처된 생성된 이미지에서의 표적 해부학적 특징부로부터의 거리와 표적 해부학적 특징부의 크기 사이의 매핑은 후속 이미지에서의 특징부의 깊이/거리를 추정하는 데 사용될 수 있다. 일부 실시예에서, 표적 해부학적 특징부(예컨대, 유두)와 접촉하고 바람직한 시야를 제공하도록 스코프를 제위치에 파킹시키기 위해 스코프를 그러한 특징부로부터 멀어지게 후퇴시킬 때, 이동된 거리는 예를 들어 전자기 센서 데이터를 사용하여 정합될 수 있다. 또한, 후속 이미지는 해부학적 특징부가 그러한 이미지에서 얼마나 크게 나타나는지에 관한 정보를 제공하고, 따라서 특징부 크기와 거리 사이의 관계/매핑이 결정되고 향후 위치 결정에 사용될 수 있다. 일부 구현예에서, 기계 학습은 그러한 이미지 내의 특징부의 크기에 기초하여 이미지를 분류하고 위치 정보를 결정하는 데 이용될 수 있다.
일부 실시예에서, 기계 학습은 이미지 데이터를 해석하고 이미지 픽셀의 3D 깊이를 나타내는 출력을 생성하기 위해 신경망 프레임워크를 훈련시키는 데 이용될 수 있다. 그러한 기계 학습은 본 명세서에 기술된 임의의 적합한 또는 바람직한 프로세스 또는 메커니즘에 따라 구현될 수 있다. 일부 실시예에서, 의료 기구(예컨대, 스코프)와 연관된 외부 카메라 센서(들)가 표적의 3D 위치를 획득하기 위해 이용될 수 있다. 예를 들어, 구조화-조명 센서(들) 및/또는 비행-시간 센서(들)가 3D 위치설정의 결정에 사용될 수 있다.
일부 실시예에 따르면, 표적 해부학적 특징부의 3D 위치를 검출하기 위해 기하학적 병진 접근법이 구현될 수 있다. 예를 들어, 본 개시의 소정의 다른 실시예에서와 같이, 별개의 타임스탬프(timestamp)와 연관된 잠재적인 이미지가 캡처될 수 있다. 그러한 이미지와 관련하여, 임의의 적합한 또는 바람직한 센서 또는 장치로부터의 센서 정보에 기초하여 결정될 수 있는, 카메라에 관한 회전 병진 정보는 3D 공간 내의 그러한 이미지의 위치를 삼각측량하고/하거나 결정하는 데 사용되어, 3D 공간 내의 표적 해부학적 특징부(들)의 3D 위치를 나타내는 정보를 제공할 수 있다. 회전 병진 정보는, 예컨대 카메라 및/또는 스코프와 연관되고 전자기장 공간 내의 카메라의 위치를 나타내는 전자기 비컨 장치로부터의 위치 센서 정보 및/또는 로봇 액추에이터 이동에 기초할 수 있다.
도 12는 (
Figure pct00002
및
Figure pct00003
으로 지칭되는) 별개의 시간, 즉 각각 시간(t) 및 시간(t+1)에 대응하는 시간에 촬영된 제1(91) 및 제2(92) 이미지를 수반하는 3D 위치 추정 프로세스의 태양을 예시한 도면이다.
카메라의 내적 및 외적 파라미터(주점, 초점 거리 및 왜곡 인자, 상대적 움직임)가 주어지면, 이미지에 대한 추적된 표적 2차원(2D) 위치에 적어도 부분적으로 기초하여 표적 해부학적 특징부의 3D 위치를 계산할 수 있다. 내적 파라미터의 경우, 카메라 주점 및 초점 거리가 고려될 수 있다. 고려될 수 있는 추가 데이터는 반경방향 및 접선방향 왜곡 인자를 포함할 수 있다. 센서 판독치(예컨대, 로봇- 또는 EM-기반)에 기초하여, 2개의 이미지가 촬영된 위치들 사이에서의 스코프의 회전(R) 및 병진(T)을 포함하는 외적 파라미터가 또한 획득될 수 있다. 편의를 위해, K는 내적 파라미터를 포함하는 행렬로서 표시될 수 있고, H는
Figure pct00004
와
Figure pct00005
사이에서의 외적 회전 및 병진을 포함하는 4×4 행렬로서 표시될 수 있다.
Figure pct00006
에 대해, 3D-2D 투영 관계는
Figure pct00007
로서 표현될 수 있고, 여기서 X는 3D 좌표 w.r.t.이다.
Figure pct00008
및
Figure pct00009
는 이미지 t 상의 2D 좌표(표적의 검출된 중심)이다. 여기서, K는 다음과 같이 표현될 수 있는 3×4 행렬이다:
Figure pct00010
이때
Figure pct00011
은 K의 n번째 행이다.
유사하게,
Figure pct00012
에 대해,
Figure pct00013
이고, 여기서:
Figure pct00014
Figure pct00015
와
Figure pct00016
가 평행 벡터이므로,
Figure pct00017
이고, 유사하게,
Figure pct00018
이다. 여기서, '×'는 외적 연산자(cross-product operator)이다. 따라서:
Figure pct00019
상기는 다음을 생성할 수 있고:
Figure pct00020
, 여기서
Figure pct00021
및
Figure pct00022
는
Figure pct00023
의 2D 좌표이다. 따라서:
Figure pct00024
여기서, 세 번째 방정식이 처음 2개의 선형 조합이기 때문에, 처음 2개의 방정식만이 필요할 수 있다. 유사하게,
Figure pct00025
에 대해, 하기 2개의 방정식이 획득될 수 있다:
Figure pct00026
Figure pct00027
및
Figure pct00028
의 방정식을 스택킹(stacking)한 후에, 하기가 생성될 수 있다:
Figure pct00029
여기서 A는 4×4 행렬이다:
Figure pct00030
A의 요소가 알려지기 때문에(검출된 2D 좌표, 내적 및 외적 파라미터), X는 A에 대한 특이값 분해(singular value decomposition, SVD)를 수행함으로써 계산될 수 있다:
Figure pct00031
그리고 V의 마지막 열은 X의 해이다.
따라서, 전술한 개시를 고려하여, 본 명세서에 개시된 다양한 본 발명의 개념은 자동 표적 검출, 표적 추적, 및/또는 3차원 위치 추정을 수행하는 데 이용될 수 있다. 일부 실시예에서, 본 개시의 태양은 유리하게는 표적 해부학적 특징부와의 물리적 접촉을 필요로 함이 없이 표적 해부학적 특징부 추적을 허용하고, 이는 요관경의 사용의 개선된 인체공학을 용이하게 할 수 있다.
도 12의 시스템을 구현하도록 구성된 제어 회로는 유리하게는 2개의 (예컨대, 시간적으로 연속적인) 이미지에 존재하는 표적과 연관된 3차원(3D) 위치 정보를 생성할 수 있다. 일부 구현예에서, 3D 정보는 신경망 프레임워크를 사용하여 생성될 수 있고, 이는 하나 이상의 측면에서 전술된 계산 구현예에 대한 대안으로서 또는 그에 더하여 도 7에 도시되고 전술된 프레임워크(720)와 유사할 수 있다. 예를 들어, 신경망에 대한 입력(들)은 표적 해부학적 구조의 3D 크기, 3D 위치(예컨대, xyz 좌표), 또는 이미지 파라미터에 관련된 다른 데이터를 나타내는 이미지, 라벨 또는 다른 데이터를 포함할 수 있다. 깊이 정보는 CT로부터 결정될 수 있거나, 다른 정보로부터 도출될 수 있다. 예를 들어, 깊이 및/또는 픽셀 좌표 정보는 신경망으로부터의 출력(들)일 수 있다.
추가 실시예
실시예에 따라, 본 명세서에 기술된 프로세스들 또는 알고리즘들 중 임의의 것의 소정의 동작, 이벤트, 또는 기능은 상이한 시퀀스로 수행될 수 있고, 추가되거나, 병합되거나, 완전히 생략될 수 있다. 따라서, 소정 실시예에서, 프로세스의 실행을 위해 모든 기술된 동작 또는 이벤트가 필요하지는 않다.
구체적으로 달리 언급되지 않는 한 또는 사용된 바와 같은 맥락 내에서 달리 이해되지 않는 한, 본 명세서에 사용되는 조건부 언어, 예컨대, 그 중에서도, "할 수 있다", "할 수 있을 것이다", "할 수도 있을 것이다", "할 수도 있다", "예컨대" 등은 그의 통상적인 의미로 의도되고 일반적으로, 소정 실시예가 소정 특징부, 요소 및/또는 단계를 포함하는 반면, 다른 실시예가 소정 특징부, 요소 및/또는 단계를 포함하지 않음을 전달하도록 의도된다. 따라서, 그러한 조건부 언어는 일반적으로, 특징부, 요소 및/또는 단계가 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행될 것인지 여부를, 입안자 입력 또는 촉구를 가지고 또는 이를 가짐이 없이, 결정하기 위한 로직을 하나 이상의 실시예가 필연적으로 포함한다는 것, 또는 이들 특징부, 요소, 및/또는 단계가 하나 이상의 실시예에 대해 요구되는 임의의 방식으로 있다는 것을 의미하도록 의도되지 않는다. 용어 "포함하는", "구비하는", "갖는" 등은 동의어이고, 그들의 통상적인 의미로 사용되고, 포괄적으로 개방형 방식으로 사용되며, 추가의 요소, 특징부, 동작, 작동 등을 배제하지 않는다. 또한, 용어 "또는"은 그의 포괄적인 의미로 사용되어(그리고 그의 배타적인 의미로 사용되지 않음), 예를 들어 요소의 목록을 연결하기 위해 사용될 때, 용어 "또는"이 목록 내의 요소들 중 하나, 일부, 또는 전부를 의미하도록 한다. 구체적으로 달리 언급되지 않는 한, 어구 "X, Y 및 Z 중 적어도 하나"와 같은 접속 언어는, 항목, 용어, 요소 등이 X, Y 또는 Z일 수 있음을 전달하는 데 일반적으로 사용되는 바와 같은 맥락으로 이해된다. 따라서, 그러한 접속 언어는 일반적으로, 소정 실시예가 각각 존재하기 위해 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나를 필요로 한다는 것을 의미하도록 의도되지 않는다.
실시예의 위의 설명에서, 다양한 특징부가 때때로 본 개시를 간소화하고 다양한 본 발명의 태양들 중 하나 이상의 이해를 돕기 위해 단일 실시예, 도면, 또는 그의 설명에서 함께 그룹화된다는 것이 인식되어야 한다. 그러나, 본 개시의 이러한 방법은 임의의 청구항이 그러한 청구항에서 명백하게 인용되는 것보다 많은 특징부를 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 또한, 본 명세서의 특정 실시예에서 예시되고/되거나 기술된 임의의 컴포넌트, 특징부, 또는 단계는 임의의 다른 실시예(들)에 적용되거나 그와 함께 사용될 수 있다. 또한, 컴포넌트, 특징부, 단계, 또는 컴포넌트, 특징부, 또는 단계의 그룹이 각각의 실시예에 필요하거나 필수적이지는 않다. 따라서, 본 명세서에서 개시되고 아래에 청구된 본 발명의 범주는 전술된 특정 실시예에 의해 제한되어야 하는 것이 아니라, 하기의 청구범위의 타당한 판독에 의해서만 결정되어야 하는 것으로 의도된다.
특정 서수 용어(예컨대, "제1" 또는 "제2")는 참조의 용이함을 위해 제공될 수 있고 반드시 물리적 특성 또는 순서를 의미하지는 않는다는 것이 이해되어야 한다. 따라서, 본 명세서에 사용되는 바와 같이, 구조물, 컴포넌트, 동작 등과 같은 요소를 변형시키는 데 사용되는 서수 용어(예컨대, "제1", "제2", "제3" 등)는 반드시 임의의 다른 요소에 대한 그러한 요소의 우선 순위 또는 순서를 나타내는 것이 아니라, 오히려 일반적으로 유사하거나 동일한 명칭을 갖는(그러나 서수 용어의 사용을 위한) 다른 요소로부터 그러한 요소를 구별할 수 있다. 또한, 본 명세서에 사용되는 바와 같이, 부정 관사("a" 및 "an")는 "하나"보다는 "하나 이상"을 나타낼 수 있다. 또한, 조건 또는 이벤트에 "기초하여" 수행되는 동작은 또한 명시적으로 언급되지 않은 하나 이상의 다른 조건 또는 이벤트에 기초하여 수행될 수 있다.
달리 정의되지 않는 한, 본 명세서에 사용되는 모든 용어(기술 및 과학 용어 포함)는 예시적인 실시예가 속하는 분야의 당업자가 일반적으로 이해하는 것과 동일한 의미를 갖는다. 통상적으로 사용되는 사전에 정의된 것과 같은 용어가 관련 기술의 맥락에서의 그들의 의미와 일관되는 의미를 갖는 것으로 해석되어야 하고, 본 명세서에서 명확히 그렇게 정의되지 않는 한 이상화된 또는 과도하게 공식적인 의미로 해석되지 않아야 한다는 것이 또한 이해되어야 한다.
공간적으로 상대적인 용어 "외측", "내측", "상부", "하부", "아래", "위", "수직", "수평" 및 유사한 용어는 도면에 예시된 바와 같이 하나의 요소 또는 컴포넌트와 다른 요소 또는 컴포넌트 사이의 관계를 기술하기 위한 설명의 용이함을 위해 본 명세서에서 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 배향에 더하여 사용 또는 동작 시에 장치의 상이한 배향을 포함하도록 의도된다는 것이 이해되어야 한다. 예를 들어, 도면에 도시된 장치가 뒤집힌 경우, 다른 장치 "아래" 또는 "밑"에 위치된 장치는 다른 장치 "위"에 배치될 수 있다. 따라서, 예시적인 용어 "아래"는 하부 및 상부 위치 둘 모두를 포함할 수 있다. 장치는 또한 다른 방향으로 배향될 수 있고, 따라서 공간적으로 상대적인 용어는 배향에 따라 상이하게 해석될 수 있다.
달리 명시적으로 언급되지 않는 한, "더 적은", "더 많은", "더 큰" 등과 같은 비교적인 및/또는 정량적인 용어는 균등의 개념을 포함하도록 의도된다. 예를 들어, "더 적은"은 가장 엄격한 수학적 의미에서 "더 적은"뿐만 아니라, "더 적거나 같은"을 의미할 수 있다.

Claims (30)

  1. 수술 기구를 위치설정하는 방법으로서,
    카메라를 포함하는 제1 의료 기구를 환자의 치료 부위로 전진시키는 단계;
    상기 치료 부위에서 표적 해부학적 특징부와 연관된 표적 위치를 기록하는 단계;
    상기 제1 의료 기구의 상기 카메라를 사용하여 상기 치료 부위의 제1 이미지를 생성하는 단계;
    사전훈련된 신경망(pretrained neural network)을 사용하여 상기 제1 이미지 내의 상기 표적 해부학적 특징부를 식별하는 단계; 및
    상기 제1 이미지 내의 상기 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 상기 표적 위치를 조정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 이미지 내의 상기 식별된 표적 해부학적 특징부의 상기 위치에 적어도 부분적으로 기초하여 상기 제1 의료 기구의 배향을 조정하는 단계를 추가로 포함하는, 방법.
  3. 제2항에 있어서, 상기 제1 의료 기구의 상기 배향을 조정하는 단계는 상기 식별된 표적 해부학적 특징부를 상기 카메라와 연관된 시야 내에서 중심에 위치시키는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 표적 위치를 기록하는 단계는,
    상기 표적 해부학적 특징부를 상기 제1 의료 기구의 원위 단부와 접촉시키는 단계;
    상기 표적 해부학적 특징부와 상기 제1 의료 기구의 상기 원위 단부의 접촉 위치를 나타내는 위치 데이터를 생성하는 단계; 및
    상기 위치 데이터가 하나 이상의 데이터 저장 장치들에 저장되게 하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 제1 이미지를 생성하는 단계 전에 상기 제1 의료 기구의 상기 원위 단부를 상기 표적 해부학적 특징부로부터 멀어지게 후퇴시키는 단계를 추가로 포함하는, 방법.
  6. 제1항에 있어서,
    상기 제1 이미지를 생성하는 단계 후에, 상기 제1 의료 기구의 상기 카메라를 사용하여 상기 치료 부위의 제2 이미지를 생성하는 단계;
    상기 사전훈련된 신경망을 사용하여 상기 제2 이미지 내의 해부학적 특징부를 식별하는 단계;
    상기 제2 이미지의 상기 해부학적 특징부와 상기 제1 이미지의 상기 표적 해부학적 특징부가 동일한 특징부를 나타내는 것으로 결정하는 단계; 및
    상기 결정하는 단계에 응답하여, 상기 제2 이미지 내의 상기 식별된 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 상기 표적 위치를 조정하는 단계를 추가로 포함하는, 방법.
  7. 제6항에 있어서, 상기 결정하는 단계는,
    상기 제2 이미지의 상기 해부학적 특징부의 적어도 일부분과 상기 제1 이미지의 상기 표적 해부학적 특징부의 적어도 일부분 사이의 중첩량(amount of overlap)을 결정하는 단계; 및
    상기 중첩량이 사전결정된 임계치보다 큰 것으로 결정하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 제1 이미지의 상기 표적 해부학적 특징부의 상기 적어도 일부분을 마스킹하는 상기 제1 이미지의 제1 마스크(mask)를 생성하는 단계; 및
    상기 제2 이미지의 상기 해부학적 특징부의 상기 적어도 일부분을 마스킹하는 상기 제2 이미지의 제2 마스크를 생성하는 단계를 추가로 포함하고;
    상기 중첩량을 결정하는 단계는 상기 제1 마스크 및 상기 제2 마스크를 사용하여 수행되는, 방법.
  9. 제6항에 있어서, 상기 결정하는 단계는 상기 제1 이미지와 상기 제2 이미지 사이에서의 특징부의 이동을 추적하는 단계를 포함하는, 방법.
  10. 제6항에 있어서, 상기 제1 이미지 및 상기 제2 이미지에 적어도 부분적으로 기초하여 상기 제2 이미지의 상기 해부학적 특징부의 3차원 위치를 추정하는 단계를 추가로 포함하는, 방법.
  11. 제10항에 있어서, 상기 해부학적 특징부의 상기 3차원 위치를 추정하는 단계는 카메라 초점 거리, 카메라 주점(principal point), 상기 제1 의료 기구의 상대적 움직임, 상기 제1 의료 기구의 회전, 및 전자기 센서 판독치들 중 하나 이상에 기초하는, 방법.
  12. 제1항에 있어서, 상기 표적 위치를 조정하는 단계는 추가로 상기 제1 의료 기구의 결정된 이동에 적어도 부분적으로 기초하는, 방법.
  13. 제1항에 있어서, 제2 의료 기구를 상기 환자의 조직을 통해 상기 표적 위치를 향해 경피적으로 지향시키는 단계를 추가로 포함하는, 방법.
  14. 제13항에 있어서, 상기 지향시키는 단계는 상기 제1 의료 기구 및 상기 제2 의료 기구 둘 모두의 정렬 센서들에 의해 제공되는 센서 데이터를 사용하여 수행되는, 방법.
  15. 제1항에 있어서, 상기 방법은 로봇 시스템에 의해 적어도 부분적으로 수행되는, 방법.
  16. 해부학적 특징부를 표적설정하는 방법으로서,
    환자의 표적 해부학적 특징부와 연관된 표적 위치를 나타내는 표적 위치 데이터를 수신하는 단계;
    상기 표적 위치 데이터를 하나 이상의 데이터 저장 장치들에 저장하는 단계;
    환자 내의 수술 부위의 제1 이미지를 수신하는 단계;
    인공 신경망을 사용하여, 상기 표적 해부학적 특징부를 나타내는 상기 제1 이미지 내의 제1 형태를 식별하는 단계; 및
    상기 제1 이미지 내의 상기 식별된 형태에 기초하여 상기 표적 위치를 나타내는 업데이트된 표적 위치 데이터를 저장하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 의료 기구가 상기 업데이트된 표적 위치 데이터에 응답하여 관절운동되게 하는 단계를 추가로 포함하는, 방법.
  18. 제16항에 있어서,
    상기 방법은 의료 시스템의 제어 회로에 의해 수행되고;
    상기 표적 위치 데이터 및 상기 제1 이미지는 상기 의료 시스템의 내시경(endoscope)으로부터 수신되는, 방법.
  19. 제16항에 있어서, 상기 표적 해부학적 특징부는 상기 환자의 신장의 신배(calyx) 내의 유두(papilla)의 노출된 부분인, 방법.
  20. 제16항에 있어서, 상기 인공 신경망은 알려진 이미지 및 라벨 데이터에 기초하여 사전훈련되는, 방법.
  21. 제20항에 있어서, 상기 인공 신경망은 다층 특징부 피라미드 네트워크(multiple-layer feature pyramid network)를 포함하는, 방법.
  22. 제16항에 있어서, 상기 업데이트된 표적 위치 데이터는 상기 환자에 관한 알려진 호흡 정보에 적어도 부분적으로 기초하는, 방법.
  23. 제16항에 있어서,
    상기 수술 부위의 제2 이미지를 수신하는 단계;
    상기 인공 신경망을 사용하여, 상기 표적 해부학적 특징부를 나타내는 상기 제2 이미지 내의 제2 형태를 식별하는 단계; 및
    상기 제1 형태 및 상기 제2 형태에 적어도 부분적으로 기초하여 상기 표적 해부학적 특징부의 3차원 위치를 결정하는 단계를 추가로 포함하는, 방법.
  24. 제23항에 있어서, 상기 표적 해부학적 특징부의 상기 3차원 위치를 결정하는 단계는 상기 제2 형태의 상대적 크기에 적어도 부분적으로 기초하는, 방법.
  25. 의료 시스템으로서,
    원위 단부와 연관된 카메라 및 전자기 위치 센서를 갖는 내시경;
    복수의 관절운동 아암들(articulating arms)을 포함하는 로봇 의료 서브시스템; 및
    상기 내시경 및 상기 로봇 의료 서브시스템에 통신가능하게 결합되는 제어 회로를 포함하고, 상기 제어 회로는,
    사용자 입력에 응답하여 상기 내시경을 환자의 치료 부위로 전진시키고;
    전자기장 내에서의 상기 내시경의 상기 원위 단부의 위치를 기록하고;
    표적 해부학적 위치로서 상기 위치를 나타내는 사용자 인터페이스 데이터(user interface data)를 생성하고;
    상기 내시경의 상기 카메라로부터 제1 이미지를 수신하고;
    사전훈련된 신경망을 사용하여 상기 제1 이미지 내의 표적 해부학적 특징부를 식별하고;
    상기 제1 이미지 내의 상기 식별된 표적 해부학적 특징부의 위치에 적어도 부분적으로 기초하여 상기 표적 해부학적 위치를 조정하도록 구성되는, 의료 시스템.
  26. 제25항에 있어서, 상기 제어 회로는 상기 전자기장 내에서 상기 내시경의 상기 원위 단부를 교정하도록 추가로 구성되는, 의료 시스템.
  27. 제25항에 있어서, 상기 제어 회로에 통신가능하게 결합되는 로봇 신장경(robotic nephroscope)을 추가로 포함하는, 의료 시스템.
  28. 컴퓨팅 장치로서,
    내시경 인터페이스; 및
    하나 이상의 프로세서들 및 하나 이상의 데이터 저장 장치들을 포함하는 제어 회로를 포함하고, 상기 제어 회로는,
    상기 내시경 인터페이스를 통해 상기 제어 회로에 결합되는 내시경의 원위 단부의 위치를 나타내는 정렬 센서 데이터를 수신하고;
    표적 신장경술 위치로서 상기 내시경의 상기 원위 단부의 상기 위치를 나타내는 제1 사용자 인터페이스 데이터를 생성하고;
    상기 내시경 인터페이스를 통해 진료 부위의 제1 이미지를 수신하고;
    상기 제1 이미지 내의 제1 해부학적 형태를 식별하고;
    상기 내시경 인터페이스를 통해 상기 진료 부위의 제2 이미지를 수신하고;
    상기 제2 이미지 내의 제2 해부학적 형태를 식별하고;
    상기 제1 해부학적 형태와 상기 제2 해부학적 형태가 동일한 표적 해부학적 특징부를 나타내는 것으로 결정하고;
    상기 결정하는 것에 기초하여 상기 표적 신장경술 위치를 업데이트하도록 구성되는, 컴퓨팅 장치.
  29. 제28항에 있어서, 상기 제어 회로는 상기 제1 및 제2 이미지들의 오버레이(overlay)에서의 상기 제1 형태와 상기 제2 형태의 중첩량이 사전결정된 임계치보다 큰 것으로 결정하도록 추가로 구성되는, 컴퓨팅 장치.
  30. 제28항에 있어서, 상기 제어 회로는, 상기 표적 신장경술 위치를 업데이트하는 것에 응답하여, 상기 업데이트된 표적 신장경술 위치를 나타내는 제2 사용자 인터페이스 데이터를 생성하도록 구성되는, 컴퓨팅 장치.
KR1020227026397A 2019-12-31 2020-12-14 해부학적 특징부 식별 및 표적설정 KR20220123273A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962955991P 2019-12-31 2019-12-31
US62/955,991 2019-12-31
PCT/IB2020/061908 WO2021137072A1 (en) 2019-12-31 2020-12-14 Anatomical feature identification and targeting

Publications (1)

Publication Number Publication Date
KR20220123273A true KR20220123273A (ko) 2022-09-06

Family

ID=76545636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227026397A KR20220123273A (ko) 2019-12-31 2020-12-14 해부학적 특징부 식별 및 표적설정

Country Status (6)

Country Link
US (2) US11298195B2 (ko)
EP (1) EP4084721A4 (ko)
JP (1) JP2023508521A (ko)
KR (1) KR20220123273A (ko)
CN (1) CN114901194A (ko)
WO (1) WO2021137072A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6106169B2 (ja) 2011-07-11 2017-03-29 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ 手術ロボットシステム
US10582973B2 (en) 2012-08-08 2020-03-10 Virtual Incision Corporation Robotic surgical devices, systems, and related methods
CA2871149C (en) 2012-05-01 2020-08-25 Board Of Regents Of The University Of Nebraska Single site robotic device and related systems and methods
EP3021779A4 (en) 2013-07-17 2017-08-23 Board of Regents of the University of Nebraska Robotic surgical devices, systems and related methods
WO2017024081A1 (en) 2015-08-03 2017-02-09 Board Of Regents Of The University Of Nebraska Robotic surgical devices systems and related methods
JP7176757B2 (ja) 2016-05-18 2022-11-22 バーチャル インシジョン コーポレイション ロボット手術装置、システム及び関連する方法
US11051894B2 (en) * 2017-09-27 2021-07-06 Virtual Incision Corporation Robotic surgical devices with tracking camera technology and related systems and methods
CN111770816B (zh) 2018-01-05 2023-11-03 内布拉斯加大学董事会 具有紧凑型关节设计的单臂机器人装置及相关系统和方法
US11903658B2 (en) 2019-01-07 2024-02-20 Virtual Incision Corporation Robotically assisted surgical system and related devices and methods
US20220151708A1 (en) * 2020-11-18 2022-05-19 The Board Of Regents Of The University Of Oklahoma Endoscopic Guidance Using Neural Networks
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
CN117580531A (zh) * 2021-07-15 2024-02-20 波士顿科学医学有限公司 远侧尖端跟踪和标测
WO2023060198A1 (en) * 2021-10-08 2023-04-13 Intuitive Surgical Operations, Inc. Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
CN114176775B (zh) * 2022-02-16 2022-05-10 武汉大学 Ercp选择性胆管插管的校验方法、装置、设备及介质
WO2023168306A2 (en) * 2022-03-01 2023-09-07 Kaliber Labs Inc. Arthroscopic surgery assistance apparatus and method
WO2023244659A1 (en) * 2022-06-16 2023-12-21 Intuitive Surgical Operations, Inc. Non-visible-spectrum light image-based training and use of a machine learning model
CN115245387B (zh) * 2022-09-22 2022-12-20 深圳市爱博医疗机器人有限公司 细长型医疗器械递送系统、递送方法、设备及介质
CN116919593B (zh) * 2023-08-04 2024-02-06 溧阳市中医医院 一种胆囊切除手术用胆囊取出器
CN117944070A (zh) * 2024-03-26 2024-04-30 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂

Family Cites Families (643)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644237A (en) 1985-10-17 1987-02-17 International Business Machines Corp. Collision avoidance system
US4748969A (en) 1987-05-07 1988-06-07 Circon Corporation Multi-lumen core deflecting endoscope
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
DE347098T1 (de) 1988-06-13 1991-04-11 Samuel Mundelein Ill. Us Shiber Atherectomiesystem mit einem fuehrungsdraht.
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5194791A (en) 1990-07-19 1993-03-16 Mcdonnell Douglas Corporation Compliant stereo vision target
US5199417A (en) 1990-12-21 1993-04-06 Circon Corporation Endoscope having a deflectable distal section and a semi-rigid proximal section
US5251611A (en) 1991-05-07 1993-10-12 Zehel Wendell E Method and apparatus for conducting exploratory procedures
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
JP3067346B2 (ja) 1991-10-30 2000-07-17 株式会社町田製作所 内視鏡用重力方向指示装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5408263A (en) 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US5403276A (en) 1993-02-16 1995-04-04 Danek Medical, Inc. Apparatus for minimally invasive tissue removal
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
NL9301210A (nl) 1993-07-09 1995-02-01 Robert Philippe Koninckx Beeldweergavestelsel met beeldpositiecorrectie.
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
AU3950595A (en) 1994-10-07 1996-05-06 St. Louis University Surgical navigation systems including reference and localization frames
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
CA2231425A1 (en) 1995-09-20 1997-03-27 Texas Heart Institute Detecting thermal discrepancies in vessel walls
US5769086A (en) 1995-12-06 1998-06-23 Biopsys Medical, Inc. Control system and method for automated biopsy device
CA2246341C (en) 1996-02-15 2007-05-01 Biosense, Inc. Precise position determination of endoscopes
CA2246287C (en) 1996-02-15 2006-10-24 Biosense, Inc. Medical procedures and apparatus using intrabody probes
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US5672877A (en) 1996-03-27 1997-09-30 Adac Laboratories Coregistration of multi-modality data in a medical imaging system
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
US6004016A (en) 1996-08-06 1999-12-21 Trw Inc. Motion planning and control for systems with multiple mobile objects
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
WO1998032388A2 (en) 1997-01-24 1998-07-30 Koninklijke Philips Electronics N.V. Image display system
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
EP2362284B1 (en) 1997-09-19 2015-05-20 Massachusetts Institute Of Technology Robotic apparatus
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
AU5391999A (en) 1998-08-04 2000-02-28 Intuitive Surgical, Inc. Manipulator positioning linkage for robotic surgery
US6198974B1 (en) 1998-08-14 2001-03-06 Cordis Webster, Inc. Bi-directional steerable catheter
WO2000028882A2 (en) 1998-11-18 2000-05-25 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6179776B1 (en) 1999-03-12 2001-01-30 Scimed Life Systems, Inc. Controllable endoscopic sheath apparatus and related method of use
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US10820949B2 (en) 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
US8442618B2 (en) 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US8271130B2 (en) 2009-03-09 2012-09-18 Intuitive Surgical Operations, Inc. Master controller having redundant degrees of freedom and added forces to create internal motion
US7037258B2 (en) 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US7366562B2 (en) 2003-10-17 2008-04-29 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US6755797B1 (en) 1999-11-29 2004-06-29 Bowles Fluidics Corporation Method and apparatus for producing oscillation of a bladder
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
US6458076B1 (en) 2000-02-01 2002-10-01 5 Star Medical Multi-lumen medical device
EP1229471A4 (en) 2000-02-10 2005-09-28 Sony Corp AUTOMATIC DEVICE, DEVICE PROVIDING INFORMATION, ROBOT, AND TRANSACTION METHOD
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
US6858005B2 (en) 2000-04-03 2005-02-22 Neo Guide Systems, Inc. Tendon-driven endoscope and methods of insertion
US6837846B2 (en) 2000-04-03 2005-01-04 Neo Guide Systems, Inc. Endoscope having a guide tube
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US7559895B2 (en) * 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
JP4133319B2 (ja) 2000-07-14 2008-08-13 ノバダック テクノロジーズ インコーポレイテッド コンパクトな蛍光内視鏡映像システム
US8253779B2 (en) * 2000-10-11 2012-08-28 University of Pittsbugh—Of The Commonwealth System of Higher Education System for remote guidance by expert for imaging device
US7395170B2 (en) * 2001-05-24 2008-07-01 Test Advantage, Inc. Methods and apparatus for data analysis
US7043961B2 (en) 2001-01-30 2006-05-16 Z-Kat, Inc. Tool calibrator and tracker system
JP2002336190A (ja) 2001-03-12 2002-11-26 Olympus Optical Co Ltd 内視鏡
JP3808321B2 (ja) 2001-04-16 2006-08-09 ファナック株式会社 ロボット制御装置
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20060178556A1 (en) 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
US6835173B2 (en) 2001-10-05 2004-12-28 Scimed Life Systems, Inc. Robotic endoscope
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
US7277833B2 (en) 2002-02-06 2007-10-02 Siemens Corporate Research, Inc. Modeling of the workspace and active pending behavior of an endscope using filter functions
US7206626B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for haptic sculpting of physical objects
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
US7233820B2 (en) 2002-04-17 2007-06-19 Superdimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7822466B2 (en) 2002-04-25 2010-10-26 The Johns Hopkins University Robot for computed tomography interventions
JP2005528157A (ja) 2002-06-04 2005-09-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 回転血管造影法に基づく冠状動脈構造のハイブリッド３ｄ再構成
AU2003231915A1 (en) 2002-06-17 2003-12-31 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
US20040047044A1 (en) 2002-06-25 2004-03-11 Dalton Michael Nicholas Apparatus and method for combining three-dimensional spaces
US20040176751A1 (en) 2002-08-14 2004-09-09 Endovia Medical, Inc. Robotic medical instrument system
US20040186376A1 (en) 2002-09-30 2004-09-23 Hogg Bevil J. Method and apparatus for improved surgical navigation employing electronic identification with automatically actuated flexible medical devices
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
AU2003278465A1 (en) 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
CN1846181A (zh) 2003-06-20 2006-10-11 美国发那科机器人有限公司 多个机械手的跟踪和镜像微动
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7379769B2 (en) * 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7280863B2 (en) 2003-10-20 2007-10-09 Magnetecs, Inc. System and method for radar-assisted catheter guidance and control
US20050107917A1 (en) 2003-11-14 2005-05-19 Smith Paul E. Robotic system for sequencing multiple specimens between a holding tray and a microscope
JP2007512596A (ja) 2003-12-01 2007-05-17 ニューサウス イノヴェーションズ ピーティワイ リミテッド 相互依存ユニットから形成されたシステムを制御する方法
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
FI20040255A (fi) 2004-02-18 2005-08-19 Jurilab Ltd Oy Menetelmä pre-eklampsian riskin havaitsemiseksi
US8046049B2 (en) 2004-02-23 2011-10-25 Biosense Webster, Inc. Robotically guided catheter
JP4755638B2 (ja) 2004-03-05 2011-08-24 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
US20060100610A1 (en) 2004-03-05 2006-05-11 Wallace Daniel T Methods using a robotic catheter system
US8021326B2 (en) 2004-03-05 2011-09-20 Hansen Medical, Inc. Instrument driver for robotic catheter system
US7922650B2 (en) 2004-03-23 2011-04-12 Boston Scientific Scimed, Inc. Medical visualization system with endoscope and mounted catheter
US9345456B2 (en) 2004-03-24 2016-05-24 Devicor Medical Products, Inc. Biopsy device
WO2005092188A1 (ja) 2004-03-29 2005-10-06 Olympus Corporation 被検体内位置検出システム
JP3922284B2 (ja) 2004-03-31 2007-05-30 有限会社エスアールジェイ 保持装置
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7303528B2 (en) 2004-05-18 2007-12-04 Scimed Life Systems, Inc. Serialization of single use endoscopes
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7197354B2 (en) 2004-06-21 2007-03-27 Mediguide Ltd. System for determining the position and orientation of a catheter
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
WO2007017847A1 (en) 2005-08-11 2007-02-15 Navotek Medical Ltd. Medical treatment system and method using radioactivity based position sensor
US7395116B2 (en) 2004-08-19 2008-07-01 Medtronic, Inc. Lead body-to-connector transition zone
JP4709513B2 (ja) 2004-08-19 2011-06-22 オリンパス株式会社 電動湾曲制御装置
JP2006061214A (ja) 2004-08-24 2006-03-09 Olympus Corp 手術システム
JP4695420B2 (ja) 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
US7831294B2 (en) 2004-10-07 2010-11-09 Stereotaxis, Inc. System and method of surgical imagining with anatomical overlay for navigation of surgical devices
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9049954B2 (en) 2004-11-03 2015-06-09 Cambridge International, Inc. Hanger bar assembly for architectural mesh and the like
US9125639B2 (en) 2004-11-23 2015-09-08 Pneumrx, Inc. Steerable device for accessing a target site and methods
JP4674214B2 (ja) 2004-12-03 2011-04-20 オリンパス株式会社 挿入部着脱式電動湾曲内視鏡装置
US20060200026A1 (en) 2005-01-13 2006-09-07 Hansen Medical, Inc. Robotic catheter system
EP1838378B1 (en) 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
US7763015B2 (en) 2005-01-24 2010-07-27 Intuitive Surgical Operations, Inc. Modular manipulator support for robotic surgery
US8182433B2 (en) 2005-03-04 2012-05-22 Endosense Sa Medical apparatus system having optical fiber load sensing capability
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US8945095B2 (en) 2005-03-30 2015-02-03 Intuitive Surgical Operations, Inc. Force and torque sensing for surgical instruments
JP2008541797A (ja) 2005-05-03 2008-11-27 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
US7860609B2 (en) 2005-05-06 2010-12-28 Fanuc Robotics America, Inc. Robot multi-arm control system
US20070016130A1 (en) 2005-05-06 2007-01-18 Leeflang Stephen A Complex Shaped Steerable Catheters and Methods for Making and Using Them
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
US20070123748A1 (en) 2005-07-14 2007-05-31 Dwight Meglan Robot for minimally invasive interventions
US20070043455A1 (en) 2005-07-26 2007-02-22 Viswanathan Raju R Apparatus and methods for automated sequential movement control for operation of a remote navigation system
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US20070161857A1 (en) 2005-11-22 2007-07-12 Neoguide Systems, Inc. Method of determining the shape of a bendable instrument
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8498691B2 (en) 2005-12-09 2013-07-30 Hansen Medical, Inc. Robotic catheter system and methods
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US9586327B2 (en) 2005-12-20 2017-03-07 Intuitive Surgical Operations, Inc. Hook and pivot electro-mechanical interface for robotic medical arms
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8469945B2 (en) 2006-01-25 2013-06-25 Intuitive Surgical Operations, Inc. Center robotic arm with five-bar spherical linkage for endoscopic camera
US8161977B2 (en) 2006-01-31 2012-04-24 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
EP1815950A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
EP1815949A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
US9782229B2 (en) 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
US8112292B2 (en) 2006-04-21 2012-02-07 Medtronic Navigation, Inc. Method and apparatus for optimizing a therapy
US8628520B2 (en) 2006-05-02 2014-01-14 Biosense Webster, Inc. Catheter with omni-directional optical lesion evaluation
JP4822142B2 (ja) 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
ATE472980T1 (de) 2006-05-17 2010-07-15 Hansen Medical Inc Roboterinstrumentensystem
JP5103658B2 (ja) 2006-06-05 2012-12-19 テクニオン リサーチ アンド ディベロップメント ファンデーション リミテッド 柔軟な針の制御された操作
EP2038712B2 (en) 2006-06-13 2019-08-28 Intuitive Surgical Operations, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
US7967813B2 (en) 2006-06-13 2011-06-28 Intuitive Surgical Operations, Inc. Surgical instrument control and actuation
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
JP4878526B2 (ja) 2006-09-05 2012-02-15 国立大学法人 名古屋工業大学 可撓性線状体の圧縮力計測装置
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航系统
US8660635B2 (en) * 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
US20080108870A1 (en) 2006-11-06 2008-05-08 Wiita Bruce E Apparatus and method for stabilizing an image from an endoscopic camera
EP2086399B1 (en) 2006-11-10 2017-08-09 Covidien LP Adaptive navigation technique for navigating a catheter through a body channel or cavity
US20140163664A1 (en) 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
US20100054536A1 (en) 2006-12-01 2010-03-04 Thomson Licensing Estimating a location of an object in an image
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
US7783133B2 (en) 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
US9220439B2 (en) 2006-12-29 2015-12-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Navigational reference dislodgement detection method and system
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
EP3533410B1 (en) 2007-01-30 2022-04-13 Auris Health, Inc. Robotic instrument systems controlled using kinematics and mechanics models
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
WO2008097853A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
EP2143038A4 (en) 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
WO2008109346A1 (en) * 2007-03-05 2008-09-12 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision in sterile environments
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
EP2117436A4 (en) 2007-03-12 2011-03-02 David Tolkowsky DEVICES AND METHODS FOR PERFORMING MEDICAL OPERATIONS IN ARBORESCENT LUMINUM STRUCTURES
JP4550849B2 (ja) 2007-03-22 2010-09-22 株式会社東芝 アーム搭載移動ロボット
EP1972416B1 (en) 2007-03-23 2018-04-25 Honda Research Institute Europe GmbH Robots with occlusion avoidance functionality
WO2008118481A2 (en) 2007-03-26 2008-10-02 Hansen Medical, Inc. Robotic catheter systems and methods
JP2010524547A (ja) 2007-04-16 2010-07-22 ニューロアーム サージカル リミテッド 医療用ロボットに関する自動化された動作のための方法、装置、及びシステム
US8554368B2 (en) 2007-04-16 2013-10-08 Tim Fielding Frame mapping and force feedback methods, devices and systems
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US8945148B2 (en) 2007-06-13 2015-02-03 Intuitive Surgical Operations, Inc. Surgical system instrument manipulator
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
JP4961475B2 (ja) 2007-06-20 2012-06-27 オリンパスメディカルシステムズ株式会社 内視鏡システム
EP2184079B1 (en) 2007-07-26 2015-09-09 Kyoto University Suction device, suction system, and suction method
EP2626030A3 (en) 2007-08-14 2017-03-08 Koninklijke Philips N.V. Robotic instrument systems and methods utilizing optical fiber sensors
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
JP2009055955A (ja) 2007-08-29 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
EP3281671A1 (en) 2007-09-13 2018-02-14 ProCure Treatment Centers, Inc. Patient positioner system
US8180428B2 (en) 2007-10-03 2012-05-15 Medtronic, Inc. Methods and systems for use in selecting cardiac pacing sites
US10498269B2 (en) 2007-10-05 2019-12-03 Covidien Lp Powered surgical stapling device
WO2009058693A1 (en) 2007-11-01 2009-05-07 Honda Motors Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US20090228020A1 (en) 2008-03-06 2009-09-10 Hansen Medical, Inc. In-situ graft fenestration
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US20090259099A1 (en) 2008-04-10 2009-10-15 Georgia Tech Research Corporation Image-based control systems
JP5424570B2 (ja) 2008-04-10 2014-02-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ、ビデオスコープ及び電子内視鏡装置
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US9125562B2 (en) 2009-07-01 2015-09-08 Avinger, Inc. Catheter-based off-axis optical coherence tomography imaging system
KR101479233B1 (ko) 2008-05-13 2015-01-05 삼성전자 주식회사 로봇 및 그 협조작업 제어방법
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US7720322B2 (en) 2008-06-30 2010-05-18 Intuitive Surgical, Inc. Fiber optic shape sensor
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
EP2322071A4 (en) 2008-08-08 2012-01-18 Panasonic Corp CONTROL DEVICE AND CONTROL METHOD FOR CLEANING APPARATUS, CLEANING APPARATUS, CONTROL PROGRAM FOR CLEANING APPARATUS, AND INTEGRATED ELECTRONIC CIRCUIT
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US8126114B2 (en) 2008-09-12 2012-02-28 Accuray Incorporated Seven or more degrees of freedom robotic manipulator having at least one redundant joint
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
WO2010044852A2 (en) 2008-10-14 2010-04-22 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
US9610131B2 (en) 2008-11-05 2017-04-04 The Johns Hopkins University Rotating needle driver and apparatuses and methods related thereto
US8720448B2 (en) 2008-11-07 2014-05-13 Hansen Medical, Inc. Sterile interface apparatus
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US8083691B2 (en) 2008-11-12 2011-12-27 Hansen Medical, Inc. Apparatus and method for sensing force
US20100125284A1 (en) 2008-11-20 2010-05-20 Hansen Medical, Inc. Registered instrument movement integration
WO2010068783A1 (en) 2008-12-12 2010-06-17 Corindus Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
EP2241179B1 (en) 2009-04-16 2017-05-17 DeLaval Holding AB A milking parlour and method for operating the same
EP2424422B1 (en) 2009-04-29 2019-08-14 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
US20100280320A1 (en) 2009-04-29 2010-11-04 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
WO2010128411A1 (en) 2009-05-08 2010-11-11 Koninklijke Philips Electronics, N.V. Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2010131500A1 (ja) 2009-05-15 2010-11-18 シャープ株式会社 画像処理装置および画像処理方法
JP5836267B2 (ja) 2009-05-18 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
CN102368944B (zh) 2009-06-11 2015-07-08 奥林巴斯医疗株式会社 医疗用控制装置
JP4768086B2 (ja) 2009-07-02 2011-09-07 パナソニック株式会社 ロボット、ロボットアームの制御装置、及びロボットアームの制御プログラム
KR101180665B1 (ko) 2009-07-03 2012-09-07 주식회사 이턴 하이브리드 수술용 로봇 시스템 및 수술용 로봇 제어방법
US20110015484A1 (en) 2009-07-16 2011-01-20 Alvarez Jeffrey B Endoscopic robotic catheter system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US9724167B2 (en) 2009-10-01 2017-08-08 Mako Surgical Corp. System with brake to limit manual movement of member and control system for same
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
JP5077323B2 (ja) 2009-10-26 2012-11-21 株式会社安川電機 ロボット制御システム
CN102595998A (zh) 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测
JP4781492B2 (ja) 2009-11-10 2011-09-28 オリンパスメディカルシステムズ株式会社 多関節マニピュレータ装置及びそれを有する内視鏡システム
EP2470089B1 (en) 2009-11-13 2018-08-01 Intuitive Surgical Operations, Inc. Curved cannula and robotic manipulator
EP3320875A1 (en) 2009-11-13 2018-05-16 Intuitive Surgical Operations Inc. Apparatus for hand gesture control in a minimally invasive surgical system
WO2011058530A1 (en) 2009-11-16 2011-05-19 Koninklijke Philips Electronics, N.V. Human-robot shared control for endoscopic assistant robot
US8374819B2 (en) 2009-12-23 2013-02-12 Biosense Webster (Israel), Ltd. Actuator-based calibration system for a pressure-sensitive catheter
US9675302B2 (en) 2009-12-31 2017-06-13 Mediguide Ltd. Prolapse detection and tool dislodgement detection
US20110184238A1 (en) 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
US8668638B2 (en) 2010-02-11 2014-03-11 Intuitive Surgical Operations, Inc. Method and system for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
EP2377457B1 (en) 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
JP5048158B2 (ja) 2010-03-17 2012-10-17 オリンパスメディカルシステムズ株式会社 内視鏡システム
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
JP4679668B1 (ja) 2010-04-21 2011-04-27 日本ライフライン株式会社 カテーテル
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
JP5080694B2 (ja) 2010-05-21 2012-11-21 オリンパスメディカルシステムズ株式会社 二段湾曲内視鏡
DE102010029745A1 (de) 2010-06-07 2011-12-08 Kuka Laboratories Gmbh Werkstück-Handhabungssystem und Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren
US20120101369A1 (en) 2010-06-13 2012-04-26 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US20120130217A1 (en) 2010-11-23 2012-05-24 Kauphusman James V Medical devices having electrodes mounted thereon and methods of manufacturing therefor
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US10737398B2 (en) 2010-07-08 2020-08-11 Vanderbilt University Continuum devices and control methods thereof
EP3659490A1 (en) 2010-08-20 2020-06-03 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US8827948B2 (en) 2010-09-17 2014-09-09 Hansen Medical, Inc. Steerable catheters
US9101379B2 (en) 2010-11-12 2015-08-11 Intuitive Surgical Operations, Inc. Tension control in actuation of multi-joint medical instruments
US20130274783A1 (en) 2010-11-15 2013-10-17 Jason B. Wynberg Percutaneous renal access system
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
DE112010006052T5 (de) 2010-12-08 2013-10-10 Industrial Technology Research Institute Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
US9186220B2 (en) 2010-12-17 2015-11-17 Ethicon Endo-Surgery, Inc. Surgical system and methods for mimicked motion
EP2654583A2 (en) 2010-12-20 2013-10-30 Spine View, Inc. Articulating tissue removal systems and methods
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
EP2476455A1 (de) 2011-01-13 2012-07-18 BIOTRONIK SE & Co. KG Implantierbare Elektrodenleitung
US20120191086A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
EP2676101B1 (en) 2011-02-18 2021-04-14 DePuy Synthes Products, LLC Tool with integrated navigation and guidance system
FR2972915B1 (fr) 2011-03-24 2013-04-19 Gen Electric Systeme d'imagerie medicale multiplan
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US10918307B2 (en) 2011-09-13 2021-02-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter navigation using impedance and magnetic field measurements
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
US9675304B2 (en) 2011-06-27 2017-06-13 Koninklijke Philips N.V. Live 3D angiogram using registration of a surgical tool curve to an X-ray image
US20130018306A1 (en) 2011-07-13 2013-01-17 Doron Moshe Ludwin System for indicating catheter deflection
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
WO2013036837A1 (en) 2011-09-08 2013-03-14 Apn Health, Llc R-wave detection method
WO2013036909A1 (en) 2011-09-09 2013-03-14 Children's National Medical Center Enhanced control of flexible endoscopes through human-machine interface
BR112014005616A2 (pt) 2011-09-13 2017-03-28 Koninklijke Philips Nv aparelho de aquisição de imagem por raios x de braço em c para processar uma imagem de projeção 2d obtida de uma estrutura tubular; método assistido por computador para processar uma imagem de projeção 2d obtida por meio de um aparelho de aquisição de imagem por raios x de braço em c; sistema de aquisição de imagem por raios x médica para processar uma imagem de projeção 2d obtida de uma estrutura tubular; elemento de programa de computador para controlar um aparelho; e meio legível por computador
EP2755591B1 (en) 2011-09-16 2020-11-18 Auris Health, Inc. System for displaying an image of a patient anatomy on a movable display
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US9044138B2 (en) 2011-10-21 2015-06-02 Viking Systems, Inc. Steerable electronic stereoscopic endoscope
CN104244816B (zh) 2011-11-22 2018-08-31 阿森松技术公司 导丝跟踪
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US8920368B2 (en) 2011-12-22 2014-12-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Multi-user touch-based control of a remote catheter guidance system (RCGS)
US20130246431A1 (en) 2011-12-27 2013-09-19 Mcafee, Inc. System and method for providing data protection workflows in a network environment
JP5826862B2 (ja) 2012-01-16 2015-12-02 オリンパス株式会社 挿入装置
EP3488803B1 (en) 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
US20130218005A1 (en) 2012-02-08 2013-08-22 University Of Maryland, Baltimore Minimally invasive neurosurgical intracranial robot system and method
JP6261516B2 (ja) 2012-02-09 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リアルタイムナビゲーショントラッキングのためのシャフトトラッカー
US9314926B2 (en) 2012-02-15 2016-04-19 Intuitive Surgical Operations, Inc. Compact needle manipulator for targeted interventions
US9129417B2 (en) 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
EP4056111A3 (en) 2012-02-22 2022-12-07 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
DE102012207707A1 (de) 2012-05-09 2013-11-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Minimalinvasives Instrument für die robotische Chirurgie
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US9700737B2 (en) 2012-05-15 2017-07-11 Koninklijke Philips N.V. Brachytherapy apparatus
CN107397591B (zh) 2012-06-01 2020-04-03 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的系统和方法
US20150045675A1 (en) 2012-06-01 2015-02-12 Ary Chernomorsky Percutaneous methods and devices for carotid body ablation
EP2866642B1 (en) 2012-06-28 2017-09-13 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
US20140001234A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Coupling arrangements for attaching surgical end effectors to drive systems therefor
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
EP2879609B2 (en) 2012-08-02 2022-12-21 Koninklijke Philips N.V. Controller definition of a robotic remote center of motion
US9226796B2 (en) 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
KR102189666B1 (ko) 2012-08-15 2020-12-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기계 몸체의 운동을 조종하기 위한 가상 자유도
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
KR20150058250A (ko) 2012-08-24 2015-05-28 유니버시티 오브 휴스턴 로봇 장치 및 영상 안내 및 로봇 지원 수술을 위한 시스템
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
KR102196291B1 (ko) 2012-10-12 2020-12-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
WO2014074481A2 (en) 2012-11-07 2014-05-15 Dana Automotive Systems Group, Llc A clutch management system
GB201220688D0 (en) 2012-11-16 2013-01-02 Trw Ltd Improvements relating to electrical power assisted steering systems
US20150313503A1 (en) 2012-11-20 2015-11-05 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
US8894610B2 (en) 2012-11-28 2014-11-25 Hansen Medical, Inc. Catheter having unirail pullwire architecture
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
JP6045417B2 (ja) 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
DE102013100605A1 (de) 2013-01-22 2014-07-24 Rg Mechatronics Gmbh Robotersystem und Verfahren zum Steuern eines Robotersystems für die minimal invasive Chirurgie
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
EP2964069B8 (en) 2013-02-26 2020-07-15 ELMED Electronics and Medical Industry and Trade Inc. (A.S.) A robotic manipulator system
US9186142B2 (en) 2013-02-28 2015-11-17 Ethicon Endo-Surgery, Inc. Surgical instrument end effector articulation drive with pinion and opposing racks
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
WO2014136702A1 (ja) 2013-03-06 2014-09-12 Jx日鉱日石金属株式会社 スパッタリング用チタンターゲット及びその製造方法
CN104797186B (zh) 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
EP2904958A4 (en) 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9498601B2 (en) 2013-03-14 2016-11-22 Hansen Medical, Inc. Catheter tension sensing
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
EP3900641A1 (en) 2013-03-14 2021-10-27 SRI International Inc. Wrist and grasper system for a robotic tool
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
SG11201507613QA (en) 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Intelligent positioning system and methods therefore
EP3626179B1 (en) 2013-03-15 2022-05-04 SRI International Electromechanical surgical system
US9174024B1 (en) 2013-03-15 2015-11-03 St. Jude Medical Luxembourg Holdings S.À.R.L. Steering control mechanisms for catheters
US9782198B2 (en) 2013-03-28 2017-10-10 Koninklijke Philips N.V. Localization of robotic remote center of motion point using custom trocar
US10271810B2 (en) 2013-04-02 2019-04-30 St. Jude Medical International Holding S.à r. l. Enhanced compensation of motion in a moving organ using processed reference sensor data
EP2983579A2 (en) 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
RU2699331C2 (ru) 2013-04-12 2019-09-04 Конинклейке Филипс Н.В. Чувствительный к форме ультразвуковой зонд
US9414859B2 (en) 2013-04-19 2016-08-16 Warsaw Orthopedic, Inc. Surgical rod measuring system and method
US9387045B2 (en) 2013-05-14 2016-07-12 Intuitive Surgical Operations, Inc. Grip force normalization for surgical instrument
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
WO2014201165A1 (en) 2013-06-11 2014-12-18 Auris Surgical Robotics, Inc. System for robotic assisted cataract surgery
EP3017759A4 (en) 2013-07-02 2017-05-10 Olympus Corporation Medical instrument
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
CN109954196B (zh) 2013-08-15 2021-11-09 直观外科手术操作公司 用于导管定位和插入的图形用户界面
US10098565B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
JP6506295B2 (ja) 2013-09-20 2019-04-24 ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッドThe Brigham and Women’s Hospital, Inc. 制御装置、及び腱駆動装置
US20160213432A1 (en) 2013-10-02 2016-07-28 Koninklijke Philips N.V. Hub design and methods for optical shape sensing registration
DE102013220798A1 (de) 2013-10-15 2015-04-16 Kuka Laboratories Gmbh Verfahren zum Handhaben von Objekten mittels wenigstens zweier Industrieroboter, und zugehöriger Industrieroboter
KR102332023B1 (ko) 2013-10-24 2021-12-01 아우리스 헬스, 인크. 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법
US9980785B2 (en) 2013-10-24 2018-05-29 Auris Health, Inc. Instrument device manipulator with surgical tool de-articulation
US9173553B2 (en) 2013-10-30 2015-11-03 Faculty Physicians And Surgeons Of Loma Linda University School Of Medicine Controlled pressure endoscopic and percutaneous surgery
CN103565529B (zh) 2013-11-11 2015-06-17 哈尔滨工程大学 一种机器人辅助微创外科手术多功能器械臂
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
KR102337440B1 (ko) 2013-12-09 2021-12-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 장치-인지 가요성 도구 정합을 위한 시스템 및 방법
CN103705307B (zh) 2013-12-10 2017-02-22 中国科学院深圳先进技术研究院 手术导航系统及医疗机器人
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
EP3085324B1 (en) 2013-12-20 2019-02-20 Olympus Corporation Guide member for flexible manipulator, and flexible manipulator
EP3084747B1 (en) 2013-12-20 2022-12-14 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
CN103767659B (zh) 2014-01-02 2015-06-03 中国人民解放军总医院 消化内窥镜机器人
JP2017503593A (ja) 2014-01-24 2017-02-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学形状検出装置の視点を伴う仮想画像
EP3096672B1 (en) 2014-01-24 2022-07-20 Koninklijke Philips N.V. Sensorless force control for transesophageal echocardiography probe
US10314656B2 (en) 2014-02-04 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
CN105960213B (zh) 2014-02-06 2020-07-07 圣犹达医疗用品心脏病学部门有限公司 包括斜切环电极和可变轴杆的细长医疗设备
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
US10548630B2 (en) 2014-02-11 2020-02-04 Vanderbilt University System, method, and apparatus for configuration, design, and operation of an active cannula robot
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
US10241968B2 (en) 2014-02-18 2019-03-26 Siemens Healthcare Gmbh System and method for real-time simulation of patient-specific cardiac electrophysiology including the effect of the electrical conduction system of the heart
JP6353665B2 (ja) 2014-02-21 2018-07-04 オリンパス株式会社 マニピュレータの初期化方法、マニピュレータ、およびマニピュレータシステム
JP6138071B2 (ja) 2014-02-26 2017-05-31 オリンパス株式会社 弛み補正機構、マニピュレータ及びマニピュレータシステム
US10322299B2 (en) 2014-02-27 2019-06-18 Koninklijke Philips N.V. System for performing a therapeutic procedure
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
US10548459B2 (en) 2014-03-17 2020-02-04 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航系统和方法
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
WO2015149042A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
CN108836480B (zh) 2014-04-22 2022-05-13 香港生物医学工程有限公司 外科设备
AU2015258819B2 (en) 2014-05-16 2019-12-12 Applied Medical Resources Corporation Electrosurgical system
US9549781B2 (en) 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
WO2015188071A2 (en) 2014-06-05 2015-12-10 Medrobotics Corporation Articulating robotic probes, systems and methods incorporating the same, and methods for performing surgical procedures
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
WO2016004177A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method of providing distance and orientation feedback while navigating in 3d
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
BR112017001378B1 (pt) 2014-07-22 2022-08-16 Eximis Surgical, LLC Sistema de remoção para extrair uma amostra de tecido de um paciente
KR102414384B1 (ko) 2014-08-12 2022-06-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비제어 이동 검출
US20160051221A1 (en) 2014-08-25 2016-02-25 Covidien Lp System and Method for Planning, Monitoring, and Confirming Treatment
US9931651B2 (en) 2014-08-28 2018-04-03 Nebia Inc. Immersive showerhead
JP6460690B2 (ja) 2014-09-16 2019-01-30 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
EP3193727A1 (en) 2014-09-18 2017-07-26 Koninklijke Philips N.V. Ultrasound imaging apparatus
WO2016051421A1 (en) 2014-09-30 2016-04-07 Shah Kaushikkumar Vallabhadas A sheath assembly and mutihole catheter for different fields of endoscopic surgery involving suction, irrigation and material removal.
JP6689832B2 (ja) 2014-09-30 2020-04-28 オーリス ヘルス インコーポレイテッド 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム
US10441374B2 (en) 2014-10-08 2019-10-15 Mohammad Ali Tavallaei System for catheter manipulation
US10037841B2 (en) 2014-10-15 2018-07-31 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
GB201418368D0 (en) 2014-10-16 2014-12-03 Creo Medical Ltd Surgical snare
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
US20160128992A1 (en) 2014-11-11 2016-05-12 Vanderbilt University Methods for limiting acute kidney injury
US20170325896A1 (en) 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
CN106999094B (zh) 2014-12-01 2021-04-13 皇家飞利浦有限公司 用于基于导管的导航的虚拟定向的电磁跟踪线圈
EP3229719B1 (en) 2014-12-11 2019-07-17 Boston Scientific Scimed, Inc. Medical device
WO2016098252A1 (ja) 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098251A1 (ja) 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
US10197518B2 (en) 2015-02-20 2019-02-05 Teleflex Medical Devices S.À R.L. Medical device position location systems, devices and methods
CN106794023A (zh) 2015-02-26 2017-05-31 奥林巴斯株式会社 医疗用处置器具
CN107530065A (zh) * 2015-03-06 2018-01-02 英国质谱公司 活体内内窥镜下组织识别工具
JP6348078B2 (ja) 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
US10716639B2 (en) 2015-03-10 2020-07-21 Covidien Lp Measuring health of a connector member of a robotic surgical system
US10413377B2 (en) 2015-03-19 2019-09-17 Medtronic Navigation, Inc. Flexible skin based patient tracker for optical navigation
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US9302702B1 (en) 2015-03-27 2016-04-05 Proterra Inc. Steering control mechanisms for an electric vehicle
JP6360455B2 (ja) 2015-03-30 2018-07-18 富士フイルム株式会社 検査画像閲覧支援装置、その作動方法及び作動プログラム
US10226193B2 (en) 2015-03-31 2019-03-12 Medtronic Ps Medical, Inc. Wireless pressure measurement and monitoring for shunts
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
CN105030331A (zh) 2015-04-24 2015-11-11 长春理工大学 位置传感器与三维腹腔镜摄像机标定装置及方法
CN104758066B (zh) 2015-05-06 2017-05-10 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
US20160354057A1 (en) 2015-06-08 2016-12-08 General Electric Company Ultrasound imaging system and ultrasound-based method for guiding a catheter
DE112015006531T5 (de) 2015-06-11 2018-02-15 Olympus Corporation Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung
EP3311768A4 (en) 2015-06-18 2019-02-27 Olympus Corporation MEDICAL SYSTEM
US10347904B2 (en) 2015-06-19 2019-07-09 Solidenergy Systems, Llc Multi-layer polymer coated Li anode for high density Li metal battery
GB2540757B (en) 2015-07-22 2021-03-31 Cmr Surgical Ltd Torque sensors
WO2017030913A2 (en) 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
JP6987040B2 (ja) 2015-08-28 2021-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 運動関係を決定する方法及び装置
CN113367671A (zh) 2015-08-31 2021-09-10 梅西莫股份有限公司 无线式病人监护系统和方法
US20170056215A1 (en) 2015-09-01 2017-03-02 Medtronic, Inc. Stent assemblies including passages to provide blood flow to coronary arteries and methods of delivering and deploying such stent assemblies
CN108348133B (zh) 2015-09-09 2020-11-13 奥瑞斯健康公司 用于手术机器人系统的器械装置操纵器
WO2017044987A2 (en) 2015-09-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
CN114098600A (zh) 2015-09-17 2022-03-01 恩达马斯特有限公司 主-从内窥镜系统
EP4070723A1 (en) 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
CA2994443A1 (en) 2015-09-25 2017-03-30 Covidien Lp Robotic surgical assemblies and electromechanical instruments thereof
US10441371B2 (en) 2015-10-02 2019-10-15 Vanderbilt University Concentric tube robot
EP3361933B1 (en) 2015-10-13 2023-03-01 Lightlab Imaging, Inc. Intravascular imaging system and methods to determine cut plane view angle of side branch
US20170106904A1 (en) 2015-10-16 2017-04-20 Ford Global Technologies, Llc Control Method For Vehicle With Electronic Steering Column Lock
JP6985262B2 (ja) * 2015-10-28 2021-12-22 エンドチョイス インコーポレイテッドEndochoice, Inc. 患者の体内における内視鏡の位置を追跡するための装置及び方法
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10779976B2 (en) 2015-10-30 2020-09-22 Ram Medical Innovations, Llc Apparatus and method for stabilization of procedural catheter in tortuous vessels
US10413316B2 (en) 2015-11-17 2019-09-17 Covidien Lp Articulating ultrasonic surgical instruments and systems
US10966798B2 (en) 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105511881A (zh) 2015-12-10 2016-04-20 中国航空工业集团公司西安航空计算技术研究所 一种通用机载交互数据的管理方法
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10154886B2 (en) 2016-01-06 2018-12-18 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
JP6643487B2 (ja) 2016-01-22 2020-02-12 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 回収システム
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
US10485579B2 (en) 2016-02-25 2019-11-26 Indian Wells Medical, Inc. Steerable endoluminal punch
CN113384348A (zh) 2016-02-26 2021-09-14 直观外科手术操作公司 使用虚拟边界避免碰撞的系统和方法
JP6637195B2 (ja) 2016-03-24 2020-01-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 治療評価装置
WO2017167754A1 (en) 2016-03-31 2017-10-05 Koninklijke Philips N.V. Image guided robot for catheter placement
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10786224B2 (en) 2016-04-21 2020-09-29 Covidien Lp Biopsy devices and methods of use thereof
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
CN106097353B (zh) * 2016-06-15 2018-06-22 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
EP3478161B1 (en) 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US20180036033A1 (en) * 2016-08-03 2018-02-08 Anthony R. Ignagni Systems and methods for electrode placement in deep muscles and nerves using ultrasound guidance
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
KR20230096148A (ko) 2016-08-31 2023-06-29 아우리스 헬스, 인코포레이티드 길이 보존 수술용 기구
US20180055576A1 (en) 2016-09-01 2018-03-01 Covidien Lp Respiration motion stabilization for lung magnetic navigation system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10342410B2 (en) * 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
WO2018098477A1 (en) 2016-11-28 2018-05-31 University Of Florida Research Foundation, Incorporated Urologic sheath with photodiode and coaxial grabber for suctioning of larger kidney stones
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
CN107028659B (zh) 2017-01-23 2023-11-28 新博医疗技术有限公司 一种ct图像引导下的手术导航系统及导航方法
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
CN116585031A (zh) 2017-03-22 2023-08-15 直观外科手术操作公司 用于智能种子配准的系统和方法
KR102545869B1 (ko) 2017-03-28 2023-06-23 아우리스 헬스, 인코포레이티드 샤프트 작동 핸들
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
KR20230106716A (ko) 2017-04-07 2023-07-13 아우리스 헬스, 인코포레이티드 환자 삽입기(Introducer) 정렬
US10646288B2 (en) * 2017-04-12 2020-05-12 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
KR102643758B1 (ko) 2017-05-12 2024-03-08 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
CN110769736B (zh) 2017-05-17 2023-01-13 奥瑞斯健康公司 可更换工作通道
US11259878B2 (en) 2017-05-29 2022-03-01 Intellijoint Surgical Inc. Systems and methods for surgical navigation with a tracker instrument
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11395703B2 (en) 2017-06-28 2022-07-26 Auris Health, Inc. Electromagnetic distortion detection
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
JP7130682B2 (ja) * 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
CN107595368B (zh) 2017-10-19 2024-04-30 以诺康医疗科技（苏州）有限公司 一种超声波手术刀头、刀杆及超声波手术刀
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
US10470830B2 (en) 2017-12-11 2019-11-12 Auris Health, Inc. Systems and methods for instrument based insertion architectures
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
EP3509013A1 (en) * 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
EP3740152A4 (en) 2018-01-17 2021-11-03 Auris Health, Inc. SURGICAL PLATFORM WITH ADJUSTABLE ARMRESTS
CN116370084A (zh) 2018-02-13 2023-07-04 奥瑞斯健康公司 用于驱动医疗器械的系统和方法
EP3758641A4 (en) 2018-03-01 2021-12-15 Auris Health, Inc. PROCEDURES AND SYSTEMS FOR MAPPING AND NAVIGATION
WO2019174953A1 (en) * 2018-03-12 2019-09-19 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
CN117017505A (zh) 2018-03-28 2023-11-10 奥瑞斯健康公司 复合器械和机器人系统
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
CN111954497A (zh) 2018-03-29 2020-11-17 奥瑞斯健康公司 带有具有旋转偏移的多功能端部执行器的机器人启用式医疗系统
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
EP3801280A4 (en) * 2018-05-31 2022-03-09 Auris Health, Inc. ROBOTIC SYSTEMS AND LUMINAL NETWORK NAVIGATION METHODS THAT DETECT PHYSIOLOGICAL NOISE
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
EP3813714A4 (en) 2018-06-07 2022-02-09 Auris Health, Inc. HIGH FORCE INSTRUMENT ROBOTIC MEDICAL SYSTEMS
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
KR20210024484A (ko) 2018-06-28 2021-03-05 아우리스 헬스, 인코포레이티드 풀리 공유를 통합한 의료 시스템
KR20230169481A (ko) 2018-08-07 2023-12-15 아우리스 헬스, 인코포레이티드 카테터 제어와의 변형-기반 형상 감지의 조합
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
EP3806758A4 (en) 2018-08-17 2022-04-06 Auris Health, Inc. BIPOLAR MEDICAL DEVICE
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
CN112739283A (zh) 2018-09-17 2021-04-30 奥瑞斯健康公司 用于伴随医学规程的系统和方法
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
AU2019347767A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Systems and methods for docking medical instruments
CN112752534A (zh) 2018-09-28 2021-05-04 奥瑞斯健康公司 用于手动和机器人驱动医疗器械的装置、系统和方法
AU2019347754A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
EP3870075A4 (en) 2018-12-20 2022-08-03 Auris Health, Inc. SHIELDING FOR WRIST INSTRUMENTS
JP7480152B2 (ja) 2018-12-28 2024-05-09 オーリス ヘルス インコーポレイテッド ロボット医療用システム及び方法のための経皮的シース
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
EP3965710A4 (en) 2019-03-08 2023-04-05 Auris Health, Inc. TILT MECHANISMS FOR MEDICAL SYSTEMS AND APPLICATIONS
CN113613580A (zh) 2019-03-22 2021-11-05 奥瑞斯健康公司 用于使医疗器械上的输入部对准的系统和方法
CN113613566A (zh) 2019-03-25 2021-11-05 奥瑞斯健康公司 用于医疗缝合的系统和方法
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
JP2022527834A (ja) 2019-04-08 2022-06-06 オーリス ヘルス インコーポレイテッド 付随する処置のためのシステム、方法、及びワークフロー

Also Published As

Publication number Publication date
CN114901194A (zh) 2022-08-12
WO2021137072A1 (en) 2021-07-08
US20220296312A1 (en) 2022-09-22
US11298195B2 (en) 2022-04-12
JP2023508521A (ja) 2023-03-02
US20210196398A1 (en) 2021-07-01
EP4084721A1 (en) 2022-11-09
EP4084721A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US11298195B2 (en) Anatomical feature identification and targeting
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
US11660147B2 (en) Alignment techniques for percutaneous access
US11504187B2 (en) Systems and methods for localizing, tracking and/or controlling medical instruments
US11602372B2 (en) Alignment interfaces for percutaneous access
US11737663B2 (en) Target anatomical feature localization
US11147633B2 (en) Instrument image reliability systems and methods
KR20220058569A (ko) 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
CN117615724A (zh) 医疗器械指导系统和相关联方法
US20230225802A1 (en) Phase segmentation of a percutaneous medical procedure
US20240127399A1 (en) Visualization adjustments for instrument roll
EP4171421A1 (en) Systems for evaluating registerability of anatomic models and associated methods