KR102196291B1 - 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 - Google Patents

분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 Download PDF

Info

Publication number
KR102196291B1
KR102196291B1 KR1020157008997A KR20157008997A KR102196291B1 KR 102196291 B1 KR102196291 B1 KR 102196291B1 KR 1020157008997 A KR1020157008997 A KR 1020157008997A KR 20157008997 A KR20157008997 A KR 20157008997A KR 102196291 B1 KR102196291 B1 KR 102196291B1
Authority
KR
South Korea
Prior art keywords
sequence
captured
anatomical structure
blobs
image
Prior art date
Application number
KR1020157008997A
Other languages
English (en)
Other versions
KR20150068382A (ko
Inventor
타오 자오
쥬세페 마리아 프리스코
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20150068382A publication Critical patent/KR20150068382A/ko
Application granted granted Critical
Publication of KR102196291B1 publication Critical patent/KR102196291B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/09—Guide wires
    • A61M2025/09166—Guide wires having radio-opaque features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

해부학적 구조물을 통해 이동하는 의료 장치의 원위 단부의 시야로부터 포착된 순차적 영상들로부터 추출된 정보가 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 정보와 비교된다. 순차적 영상들로부터 추출된 정보와 컴퓨터 모델로부터 추출된 대응하는 정보 사이의 가장 가능성 있는 매칭이 그 다음 잠재적인 매칭들의 세트와 관련된 확률을 사용하여 결정되어, 의료 장치에 대해 해부학적 구조물의 컴퓨터 모델을 정합시키고, 이에 의해 의료 장치가 현재 있는 해부학적 구조물의 내강을 결정한다. 센서 정보가 잠재적인 매칭들의 세트를 제한하기 위해 사용될 수 있다. 영상들의 시퀀스 및 잠재적인 매칭들의 세트와 관련된 특징 속성이 가장 가능성 있는 매칭의 결정의 일부로서 정량적으로 비교될 수 있다.

Description

분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 {DETERMINING POSITION OF MEDICAL DEVICE IN BRANCHED ANATOMICAL STRUCTURE}
본 발명은 대체로 의료 시스템에 관한 것이고, 특히 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부에서 포착된 영상의 정보를 분지형 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 정보와 비교함으로써 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위한 시스템 및 방법에 관한 것이다.
영상 안내식 수술은 치료적 및/또는 진단적 의료 시술이 목표 상에서 수행될 수 있도록 의사가 의료 장치를 환자 내의 목표로 운행시키는 것을 돕는다. 안내를 위해, 의료 장치의 원위 단부의 위치는 추적될 수 있고, 그의 영상은 목표와 관련된 해부학적 구조물의 컴퓨터 모델과 함께 디스플레이되거나 그 위에 중첩될 수 있다. 컴퓨터 모델은 x-선, 초음파, 투시진단법, 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 및 다른 촬영 기술과 같은 수술전 및/또는 수술중 환자의 해부학적 스캔 데이터로부터 발생될 수 있다. 의료 장치는 내시경, 카테터, 또는 환자의 분지형 해부학적 구조물 내의 목표로 이어지는 신체 통로 또는 내강에 일치할 수 있는 조향 가능한 팁 또는 가요성 본체를 갖는 의료 기기일 수 있다.
의료 장치, 해부학적 구조물, 및 해부학적 구조물의 컴퓨터 모델의 서로에 대한 적절한 정합은 정확한 영상 안내식 수술에 대해 바람직하다. 그러므로, 이러한 항목들의 정합은 전형적으로 환자에 대해 의료 시술을 수행하기 전에 수행된다. 그러나, 정합 오류가 해부학적 구조물의 움직임 및/또는 의료 장치가 해부학적 구조물을 통해 이동할 때 의료 장치를 추적하는 데 있어서의 어려움으로 인해 의료 시술의 수행 중에 발현될 수 있다. 내부에서 가요성 의료 장치가 목표 영역으로 운행되는 연속적으로 움직이는 분지형 해부학적 구조물에 대해, 의료 장치의 추적 위치와 분지형 해부학적 구조물 사이의 적절한 정합을 유지하는 것이 특히 어렵다.
미국 특허 출원 공개 제2005/0182319호는 동적 참조 및/또는 게이팅 기술을 사용하여 해부학적 구조물의 움직임을 추적하고, 전자기(EM) 추적 장치를 사용하여 의료 장치가 해부학적 구조물 내부에서 이동할 때의 해부학적 구조물의 이동을 추적하는 것을 설명한다. 그러나, 동적 참조, EM 추적 장치, 및 해부학적 움직임에 적어도 부분적으로 기인하는 부정확성으로 인해, 폐 또는 심장과 같은 분지형 해부학적 구조물을 통해 이동하는 의료 장치의 정확한 정합은 분지형 해부학적 구조물 내의 복수의 내강이 그러한 부정확성으로부터 생성되는 불확실성 영역 내에 존재할 때 오류를 일으키기 쉽다.
[Luo, Xiongbiao et al. "On Scale Invariant Features and Sequential Monte Carlo Sampling for Bronchoscope Tracking," Medical Imaging 2011: Visualization, Image-Guided Procedures], 및 [Modeling, edited by Kenneth H. Wong, David R. Homes III, Proc. Of SPIE Vol. 7964, 79640Q]는 기관지경 자세를 결정하기 위해 현재의 기관지경 카메라 프레임과 발생되는 가상 프레임 사이의 최대 유사성을 결정하기 위한 2-단계 영상 기반 방법을 설명한다. 제1 단계는 크기 불변 특징 변환(SIFT: Scale Invariant Feature Transform) 특징 및 에피폴라(epipolar) 기하 분석을 사용하여 기관지경 비디오의 연속된 영상들 사이의 프레임간 운동 파라미터를 예측한다. 제2 단계는 제1 단계의 추정된 결과에 따라 현재의 기관지경 카메라 자세의 사후 확률 밀도를 회귀적으로 근사화한다. 제2 단계가 카메라 이동 파라미터로서 정의되는 무작위 샘플들의 세트와, 가상 기관지경 영상과 환자 특이적 실제 기관지경 영상 사이의 유사성을 발생시키므로, 현재의 카메라 이동 파라미터는 샘플 세트 내부에서의 최대 유사성에 대응하는 하나의 샘플의 자세와 동일한 것으로 결정될 수 있다. 방법이 양호한 정확성을 제공하는 것으로 입증되었지만, 순차적 몬테 카를로(SMC: Sequential Monte Carlo) 방법을 사용한 그의 계산의 복잡성은 프레임당 약 3.0초의 계산 시간을 갖는 실시간 적용에 대해 부적합하다.
[Soper, Timothy D. et al. "In Vivo Validation of a Hybrid Tracking System for Navigation of an Ultrathin Bronchoscope within Peripheral Airways," IEEE Transactions on Biomedical Engineering, Vol. 57, No. 3, March 2010, pp. 736-745]는 전자기 추적(EMT: ElectroMagnetic Tracking) 및 영상 기반 추적(IBT: Image-Based Tracking)이 2개의 추적 입력들 사이의 위치 결정 오류를 적응식으로 추정하는 오류 상태 칼만(Kalman) 필터와 함께 채용되는 하이브리드 접근법을 설명한다. 그러나, 오류가 커지면, 시스템은 스스로 자가 교정할 수 없다. 그러므로, 추적이 해부학적 구조물 내의 기관지경의 실제 경로로부터 벗어나면 작업자 개입이 필요해질 수 있다.
미국 특허 제7,756,563호는 라이브 카메라 화면을 컴퓨터 모델로부터 렌더링된 대응하는 화면에 대해 연속적으로 정렬시킴으로써 기관지경 내에서의 카메라 자세 추정을 수행하기 위한 방법을 설명한다. 이는 이전의 프레임으로부터의 추정은 현재의 프레임의 반복적인 최적화를 유발하기 위해 정확하다고 가정한다. 그러나, 방법은 실제 생활에서 매우 발생하기 쉬운 임의의 추적 실패로부터 복원될 수 없다.
따라서, 본 발명의 하나 이상의 태양의 하나의 목적은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위한 의료 시스템 및 그에서 구현되는 방법이다.
본 발명의 하나 이상의 태양의 다른 목적은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위해 자가 교정식인 의료 시스템 및 그에서 구현되는 방법이다.
본 발명의 하나 이상의 태양의 다른 목적은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위해 계산 효율적이며 실시간 용도에 대해 적합한 의료 시스템 및 그에서 구현되는 방법이다.
본 발명의 하나 이상의 태양의 다른 목적은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위한 정확한 결과를 제공하는 의료 시스템 및 그에서 구현되는 방법이다.
이러한 그리고 추가의 목적은 본 발명의 다양한 태양에 의해 달성되고, 간략하게 말하자면, 하나의 태양은 분지형 해부학적 구조물의 컴퓨터 모델의 정보를 저장하는 메모리; 및 의료 장치가 분지형 해부학적 구조물의 복수의 내강을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상들의 시퀀스로부터 추출된 정보와 분지형 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 정보 사이의 가장 가능성 있는 매칭을 결정함으로써 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위해 의료 장치에 컴퓨터 모델을 정합시키도록 프로그램된 프로세서를 포함하는 의료 시스템이다.
다른 태양은 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위한 방법이고, 방법은 의료 장치가 분지형 해부학적 구조물 내의 복수의 내강을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 포착된 영상들의 시퀀스로부터 추출된 정보와 분지형 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 정보 사이의 가장 가능성 있는 매칭을 결정하는 단계를 포함한다.
본 발명의 다양한 태양의 추가의 목적, 특징, 및 장점은 첨부된 도면과 관련하여 취해지는 다음의 설명으로부터 명백해질 것이다.
도 1은 수동식 의료 장치를 포함하는, 본 발명의 태양을 이용하는 의료 시스템을 도시한다.
도 2는 원격 작동식 의료 장치를 포함하는, 본 발명의 태양을 이용하는 대안적인 의료 시스템을 도시한다.
도 3은 환자에 대해 의료 시술을 수행하기 전에 수행되는 수술전 작업의 선도를 도시한다.
도 4는 분지형 해부학적 구조물 내의 목표 영역으로의 의료 장치의 운행 중의 보조 스크린의 화면을 도시한다.
도 5는 본 발명의 태양을 이용하는, 분지형 해부학적 구조물 내에서의 의료 장치의 위치를 결정하기 위해 의료 장치에 분지형 해부학적 구조물의 컴퓨터 모델을 정합시키기 위한 방법의 흐름도를 도시한다.
도 6은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상을 도시한다.
도 7은 블럽(blob)에 대한 특징 속성을 정의하기 위해 유용한 라인 세그먼트와 함께 도 6의 포착된 영상으로부터 추출된 블럽을 도시한다.
도 8 - 도 13은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상으로부터 추출될 수 있는 블럽 토폴로지의 다양한 예를 도시한다.
도 14는 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상에 대한 부정 오류 블럽 식별의 하나의 예를 도시한다.
도 15는 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상에 대한 긍정 오류 블럽 식별의 하나의 예를 도시한다.
도 16 - 도 17은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상으로부터 추출된 블럽의 특징 속성을 정의하기 위해 사용될 수 있는 블럽 특성의 예를 도시한다.
도 18 - 도 19는 의료 장치가 분지형 해부학적 구조물 내의 두 갈래 분기부를 향해 이동할 때 의료 장치의 원위 단부의 시야로부터 영상 포착 장치에 의해 포착된 영상으로부터 추출된 블럽들의 시퀀스의 하나의 예를 도시한다.
도 20은 블럽에 대한 특징 속성을 정의하기 위해 사용되는 라인 세그먼트와 함께 도 6의 포착된 영상으로부터 추출된 블럽을 도시한다.
도 21은 컴퓨터 모델로부터 발생된 합성 영상으로부터 매칭되는 블럽을 찾기 위한 템플릿으로서 사용되는 특징 속성인 형상을 갖는 포착된 영상 블럽을 도시한다.
도 22는 의료 장치가 해부학적 구조물의 내강을 통해 이동할 때의 선택적인 위치, 배향, 구름, 및 삽입 센서를 구비한 의료 장치의 개략도를 도시한다.
도 23은 도 22의 선택적인 위치 센서와 관련된 직교 좌표계를 도시한다.
도 24는 도 22의 선택적인 배향 센서와 관련된 배향 각도를 도시
도 1은 조향 가능한 의료 장치(110), 하나 이상의 센서(131), 센서 프로세서(130), 하나 이상의 센서(131)를 센서 프로세서(130)에 결합시키는 하나 이상의 신호 통신 케이블(132), 영상 포착 요소(141), 영상 프로세서(140), 영상 포착 요소(141)를 영상 프로세서(140)에 결합시키는 광섬유 또는 전기 케이블(142), 디스플레이 프로세서(150), 1차 디스플레이 스크린(151), 보조 디스플레이 스크린(152), 메인 프로세서(160), 및 메모리(161)를 포함하는 의료 시스템(100)을, 하나의 예로서, 도시한다. 분리된 유닛들로서 도시되어 있지만, 센서 프로세서(130), 영상 프로세서(140), 디스플레이 프로세서(150), 및 메인 프로세서(160)는 단일 프로세서 또는 복수의 프로세서들 사이에 분포된 그들 각각의 기능 내에서 구현될 수 있고, 그러한 프로세서들 각각은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다. 본원에서 사용되는 바와 같이, 프로세서라는 용어는 신호를 프로세서 내로 그리고/또는 그로부터 이동시키고 그리고/또는 전달하기 위한 인터페이스 로직 및/또는 회로와, 종래의 디지털 처리 로직을 포함하는 것으로 이해된다. 메모리(161)는 컴퓨터 시스템 내에서 보편적으로 사용되는 바와 같은 임의의 메모리 장치 또는 데이터 저장 시스템일 수 있다. 1차 및 보조 디스플레이 스크린(151, 152)은 바람직하게는 시스템(100)의 작업자에게 3차원 영상을 디스플레이할 수 있는 컴퓨터 모니터이다. 그러나, 비용 또는 다른 고려 사항으로 인해, 1차 디스플레이 스크린(151) 및 보조 디스플레이 스크린(152) 중 하나 또는 모두가 2차원 영상만을 디스플레이할 수 있는 표준 컴퓨터 모니터일 수 있다.
의료 장치(110)는 가요성 본체(114), 그의 원위 단부(111)에서의 조향 가능한 팁(112), 및 그의 근위 단부(115)에서의 수동식 손잡이(116)를 갖는다. 제어 케이블(도시되지 않음) 또는 다른 제어 수단이 전형적으로 손잡이(116)로부터 조향 가능한 팁(112)까지 연장하여, 팁(112)은 예를 들어 구부러진 팁(112)의 점선 버전에 의해 도시된 바와 같이 제어 가능하게 구부러지거나 회전될 수 있다. 의료 장치(110)는 내시경, 카테터, 또는 가요성 본체 및 조향 가능한 팁을 갖는 다른 의료 기기일 수 있다.
영상 포착 요소(141)는 영상 프로세서(140) 및/또는 디스플레이 프로세서(150)로 송신되어 그에 의해 처리되고, 1차 디스플레이 스크린(151), 보조 디스플레이 스크린(152), 및/또는 본원에서 설명되는 바와 같은 본 발명의 다양한 태양에 따른 다른 디스플레이 수단 상에서 디스플레이되는 영상을 포착하기 위해 원위 단부(111)에 배치된 2차원 단안 카메라 또는 3차원 입체 카메라 또는 다른 촬영 장치일 수 있다. 대안적으로, 영상 포착 요소(141)는 섬유경과 같은 의료 장치(110)의 근위 단부 상의 촬영 및 처리 시스템에 결합하는 광섬유 다발일 수 있다. 영상 포착 요소(141)는 또한 가시 또는 적외/자외 스펙트럼 내의 영상 데이터를 포착하는 단일 또는 복수 분광식일 수 있다. 따라서, 본원에서 언급되는 임의의 영상 포착 요소, 장치, 또는 시스템은 이러한 그리고 다른 촬영 기술들 중 임의의 하나 또는 조합일 수 있다. 복수의 광섬유 케이블(도시되지 않음)들 중 하나가 원위 단부(111)에서의 조명 목적으로, 그의 근위 단부에서 광원(도시되지 않음)에 결합될 수 있다. 복수의 광섬유 케이블(도시되지 않음)들 중 다른 것은 이러한 광섬유 케이블을 통과하는 광이 의료 장치(110)의 현재의 자세 및 형상을 결정하기 위해 센서 프로세서(130)에 의해 처리되도록, 의료 장치(110)의 길이를 따라 분포된 광섬유 브래그 격자(Fiber Bragg Gratings) (또는 레일리(Rayleigh) 산란을 채용하는 것과 같은 다른 변형률 센서)와 같은 위치 및 굽힘 또는 형상 센서를 구비하여 구성될 수 있다.
도 2는 손잡이(116)가 의료 장치(110)를 원격 작동시키기 위한 전자 기계 인터페이스(170), 제어기(180), 및 입력 장치(190)에 의해 대체되어 있는 의료 시스템(100)의 대안적인 실시예를, 하나의 예로서, 도시한다. 인터페이스(170)는 의료 장치의 팁(112)을 조향하기 위해 의료 장치(110) 내의 케이블을 구동하기 위한 액추에이터, 및 의료 장치가 자연 신체 구멍 또는 의사가 생성한 최소 침습적 절개부와 같은 진입 포트를 통해 환자 내로 삽입되고 환자로부터 후퇴될 수 있도록, 전체 의료 장치(110)를 전방 및 후방으로 이동시키기 위한 액추에이터를 포함한다. 또한, 인터페이스(170)는 의료 장치(110)를 그의 중심 종축에 대해 회전시키기 위한 액추에이터를 포함할 수 있다. 제어기(180)는 바람직하게는 프로세서(130, 140, 150, 160)와 동일한 하나 이상의 컴퓨터 프로세서, 또는 상이한 컴퓨터 프로세서 내에서 하드웨어, 펌웨어, 또는 소프트웨어 (또는 이들의 조합)으로서 구현된다. 가요성 본체(114)는 수동 또는 능동적으로 굽힘 가능할 수 있다. 의료 시스템은 또한 상기 2개의 예들의 하이브리드일 수 있다.
그러한 조향 가능한 의료 장치의 예가 발명의 명칭이 "내시경 운행 시에 작업자를 보조하기 위한 방법 및 시스템(Method and System for Assisting an Operator in Endoscopic Navigation)"인 미국 특허 출원 공개 제2010/0249506 A1호 및 발명의 명칭이 "내시경을 자동 제어하기 위한 장치 및 방법(Apparatus and Method for Automatically Controlling an Endoscope)"인 WO 2009/097461 A1호에 설명되어 있고, 이들은 각각 본원에서 참조로 통합되었다. 광섬유 브래그 격자를 사용한 내시경의 위치 및 굽힘의 결정에 대한 세부는, 예를 들어, 발명의 명칭이 "광섬유 브래그 격자를 사용하는 위치 센서를 포함하는 로봇 수술 시스템(Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings)"인 미국 특허 출원 공개 제2007/0156019 A1호, 발명의 명칭이 "레일리 산란에 기초한 광섬유 위치 및/또는 형상 감지(Fiber Optic Position and/or Shape Sensing Based on Rayleigh Scatter)"인 미국 특허 출원 공개 제2008/0212082 A1호, 발명의 명칭이 "브래그 광섬유 센서를 사용하는 로봇 수술 기기 및 방법(Robotic Surgical Instrument and Methods using Bragg Fiber Sensors)"인 미국 특허 출원 공개 제2008/0218770 A1호, 및 발명의 명칭이 "광섬유 형상 센서(Fiber Optic Shape Sensor)"인 미국 특허 출원 공개 제2009/0324161 A1호에서 찾을 수 있고, 이들은 각각 본원에서 참조로 통합되었다.
도 3은 환자에 대해 수행되는 의료 시술을 계획할 때 수행될 수 있는 수술전 작업의 선도를, 하나의 예로서, 도시한다. 다음의 예에서, 분지형 해부학적 구조물은 공기 및 혈액 순환계의 주기적 운동 또는 기침 또는 다른 신체 경련과 같은 비주기적 운동에서와 같이 의료 시술 중에 움직일 수 있다.
블록(301)에서, 환자의 영상들의 세트가 분지형 해부학적 구조물의 3차원(3D) 컴퓨터 모델을 발생시킬 수 있는 적절한 촬영 기술을 사용하여 획득된다. 그러한 촬영 기술의 예는 형광투시법, 자기 공명 영상, 단층촬영, 초음파, 광 간섭 단층촬영, 열 촬영, 임피던스 촬영, 레이저 촬영, 및 나노 튜브 X-선 촬영을 포함하지만 이들로 제한되지 않는다. 분지형 해부학적 구조물이 사람의 폐와 같이 확장/수축 사이클을 겪으면, 호흡계 또는 운동 검출기로부터와 같이, 트리거 신호를 사용하여 극치에서의 영상들의 세트를 획득하는 것이 유리할 수 있다.
블록(302)에서, 분지형 해부학적 구조물의 3차원(3D) 컴퓨터 모델이 해부학적 구조물의 획득된 영상으로부터 발생된다. 블록(303)에서, 하나 이상의 목표가 분지형 해부학적 구조물 내에서 식별될 수 있다. 목표는 의료 시술이 수행되어야 하는 해부학적 구조물 내의 또는 그에 인접한 위치 또는 대상이다. 예를 들어, 목표는 해부학적 구조물 내의 또는 그에 인접한 종양일 수 있다. 목표(들)은 해부학적 구조물의 획득된 영상 또는 발생된 3D 컴퓨터 모델 정보 중 그러한 식별에 대해 더 간편하고 그리고/또는 신뢰할 수 있는 것의 분석에 의해 보편적인 방식으로 외과 전문의 또는 방사선 전문의에 의해 식별될 수 있다.
블록(304)에서, 의료 장치(110)의 작동 단부가 각각의 목표로 이동하기 위한 해부학적 구조물로의 그리고 그를 통한 운행 경로가 결정될 수 있다. 이러한 경우에, 작동 단부는 의료 장치(110)의 원위 단부(111)인 것으로 가정된다. 의사는 의료 장치(110)가 목표를 향해 이동할 때 야기할 수 있는 환자에 대한 임의의 손상 그리고 최단 시간 및/또는 최단 경로를 고려하기 위해 해부학적 구조물의 획득된 영상 또는 발생된 3D 컴퓨터 모델을 분석함으로써 목표로의 적합한 운행 경로를 결정할 수 있다. 대안적으로, 컴퓨터 프로그램이 인공 지능 기술을 사용하여 운행 경로를 결정하기 위한 그러한 분석을 수행하기 위해 프로세서에 의해 실행될 수 있다.
도 4는 해부학적 구조물 내의 목표 영역으로의 의료 장치(110)의 운행 중의 보조 디스플레이 스크린(152)의 화면을, 하나의 예로서, 도시한다. 화면은 분지형 해부학적 구조물의 컴퓨터 모델(420), 및 의료 장치(110)가 해부학적 구조물을 통해 이동할 때 실시간으로 갱신되는 의료 장치(110)의 컴퓨터 모델(410)의 2D 또는 3D 화면일 수 있다. 또한, 목표의 표시(421)가 도시되어 있다. 따라서, 보조 스크린(152)은 의료 장치(110)를 해부학적 구조물을 통해 목표로 조향하는 데 있어서 의사를 보조한다.
이러한 예에서, 분지형 해부학적 구조물은 기관, 기관지, 및 세기관지를 포함한 복수의 자연 신체 통로 또는 내강을 갖는 한 쌍의 폐이다. 의료 장치(110)는 기관지경이고, 환자 내로의 그의 진입 포트는 환자의 구강이다. 폐의 특질로 인해, 의료 장치(110)는 기관세지의 다수의 연결된 내강 또는 분지부를 통해 안내될 수 있다. 그렇게 할 때, 의료 장치(110)의 가요성 본체(114)는 그가 이동하는 통로에 일치한다. 한 쌍의 폐가 본 예에서 도시되어 있지만, 본 발명의 다양한 태양이 또한 호흡기계에 추가하여, 심장, 뇌, 소화기계, 순환기계, 및 비뇨기계와 같은 다른 해부학적 구조물에 대해 적용 가능하며 유용함을 이해하여야 한다.
도 4에 도시된 바와 같이 보조 디스플레이 스크린(152) 상에서 분지형 해부학적 구조물 및 의료 장치의 컴퓨터 모델을 디스플레이하는 것에 추가하여 또는 대안적으로, 영상 포착 요소(141)에 의해 포착된 영상이 의료 장치(110)의 원위 단부(111)의 시야로부터의 분지형 해부학적 구조물의 3D 컴퓨터 모델로부터 발생되는 합성 영상과 함께 1차 디스플레이 스크린(151) 상에 나란히 보여질 수 있다. 이러한 경우에, 화살표가 목표를 향해 취해져야 하는 방향을 표시하기 위해 합성 영상 상에서 디스플레이될 수 있다. 추가의 세부에 대해, 예를 들어, 본원에서 참조로 통합된, 2011년 5월 13일자로 출원된 발명의 명칭이 "영상 안내식 수술을 위해 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery)"인 미국 특허 출원 제13/107,562호(대리인 문서 번호 ISRG03100/US) 참조.
다수의 수술전 정합 작업이 시스템(100)을 사용하여 환자에 대해 의료 시술을 수행하는 준비 시에 보편적인 방식으로 수행된다. 첫째로, 의료 장치(110)는, 예를 들어, 의료 장치(110)의 원위 단부(111)를 고정 기준 프레임 내의 하나 이상의 공지되고 정지된 지점에 접촉시킴으로써 고정 기준 프레임에 대해 위치 결정된다. 둘째로, 환자는 의료 장치(110)의 원위 단부(111)를 환자 상의 하나 이상의 지점에 접촉시킴으로써 고정 기준 프레임에 대해 정합될 수 있고, 지점들은 자연 신체 특징 또는 인공 표지와 같은 환자의 획득된 영상 상의 식별 가능한 지점들에 대응한다. 셋째로, 해부학적 구조물의 컴퓨터 모델은 환자 상의 대응하는 기준 지점들 및 자연 신체 특징 또는 인공 표지와 같은 컴퓨터 모델을 사용하여 환자에게 정합될 수 있다. 따라서, 의료 장치(110), 분지형 해부학적 구조물, 및 해부학적 구조물의 컴퓨터 모델은 이러한 방식으로 서로에 대해 그리고 고정 기준 프레임에 대해 정합될 수 있다.
그러나, 환자에 대한 의료 시술의 수행 중에, 부분적으로 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치(110)의 원위 단부의 위치를 추적하는 데 있어서의 고유한 부정확성으로 인해, 정합 오류가 의료 장치와 분지형 해부학적 구조물의 컴퓨터 모델 사이에서 발생할 수 있다. 정합 오류는 의료 장치(110)의 원위 단부를 추적하기 위해 사용되는 운동학의 오류, 원위 단부의 위치를 추적하기 위해 사용되는 센서와 관련된 오류, 및/또는 분지형 해부학적 구조물의 움직임에 기인하는 오류로부터 생성될 수 있다. 이러한 그리고 다른 가능한 오류의 결과로서, 의료 장치(110)에 대한 분지형 해부학적 구조물의 오정합이 발현될 수 있다. 결과적으로, 시스템에 의해 제공되는 운행 안내 보조가 오류가 날 수 있다.
도 5는 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 분지형 해부학적 구조물 내에서의 의료 장치의 위치가 결정될 수 있도록, 의료 장치에 대해 분지형 해부학적 구조물의 컴퓨터 모델을 정합시키기 위한, 바람직하게는 메인 프로세서(160)에 의해 구현되는 방법을, 하나의 예로서, 도시한다. 이러한 경우에, 분지형 해부학적 구조물 내에서의 의료 장치의 위치는 의료 장치가 현재 있는 분지형 해부학적 구조물의 내강을 표시한다. 방법은 독립형 정합 기술로서 사용될 수 있거나, 다른 정합 기술과 조합될 수 있다. 예를 들어, 방법은 전체 정합을 위해 사용될 수 있고, 다른 기술은 국소 정합을 위해 사용될 수 있다.
간략하게, 방법은 분지형 해부학적 구조물에 대한 의료 장치의 원위 단부의 정합을 가능케 하기 위해, 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터 포착된 영상으로부터 추출되는 내강 정보를 식별하고 추적하여, 분지형 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 내강 정보와 상호 연관시킨다. 특히, 방법은 포착된 영상들의 시퀀스 내에서 보이는 내강의 토폴로지(topology), 특징 속성, 거동, 및/또는 관계의 정보를 분지형 해부학적 구조물의 컴퓨터 모델 내의 내강의 토폴로지, 특징 속성, 거동, 및/또는 관계의 대응하는 정보와 비교한다. 포착된 영상들의 시퀀스 내에서 보이는 내강의 경로와 분지형 해부학적 구조물의 컴퓨터 모델 내의 내강의 경로 사이의 가장 가능성 있는 매칭이 그 다음 의료 장치가 현재 있는 분지형 해부학적 구조물의 내강을 표시하기 위해 결정된다.
블록(501 - 504)을 포함하는 방법의 제1 부분에서, 영상 내에서 출현하는 블럽들의 세트 내에 변화가 발생할 때까지, 블럽들이 순차적으로 수신된 영상들 내에서 추출, 라벨링, 및 추적된다. 각각의 추출된 블럽은 분지형 해부학적 구조물 내의 현재 진입되거나 진입 가능한 내강을 표시하기 위해 추출된다. 예를 들어, 포착된 영상 내의 내강은 아마도 내강의 더 먼 측면이 덜 조명되는 사실로 인해 영상 내에서 더 어두운 구멍으로서 출현한다. 영상 처리 기술이 그 다음 영상 내의 핵심적인 어두운 영역을 추출하기 위해 사용될 수 있다. 따라서, 이러한 추출된 핵심적인 어두운 영역은 본원에서 "블럽"으로 불린다. 추출된 블럽이 내강을 표시하기 때문에, 블럽 및 내강이라는 용어는 본원에서 호환 가능하게 사용될 수 있다. 위상학적으로 등가인 영상들의 시퀀스(예컨대, 블럽들 또는 내강들의 동일한 세트가 출현하는 시퀀스)가 본원에서 "트랙릿(tracklet)"으로 불린다. 따라서, 의료 장치가 분지형 해부학적 구조물을 통해 이동하는 경로는 트랙릿들의 시퀀스이다.
블록(501)에서, 방법은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부의 시야로부터, 예를 들어 영상 포착 요소(114)에 의해 포착된 영상을 수신한다. 그러한 수신된 영상의 하나의 예가 도 6에 도시되어 있고, 여기서 폐의 두 갈래 분기부가 도시되어 있으며 하류 두 갈래 분기부가 두 갈래 분기부의 각각의 내강 내에서 출현한다. 수신된 영상은 (도시된 바와 같은) 2차원 단안 영상 또는 깊이 정보를 제공하는 3차원 입체 영상일 수 있다.
블록(502)에서, 방법은 최대 안정 극한 영역(MSER: Maximally Stable Extremal Region)과 같은 다수의 공지된 블럽 검출 알고리즘들 중 임의의 적합한 것을 사용하여 블럽을 추출하기 위해 수신된 영상을 처리한다. 처리된 영상의 하나의 예가 도 7에 도시되어 있고, 여기서 도 6의 수신된 영상으로부터 추출된 블럽의 거친 윤곽이 출현한다. 또한, 하나의 내강의 중심에 연결된 일 단부 및 두 갈래 분기부의 다른 내강의 중심에 연결된 다른 단부를 갖는 각각의 두 갈래 분기부에 대한 라인 세그먼트가 도 7에 도시되어 있다.
분지형 해부학적 구조물 내의 내강을 표시하는 폐쇄 곡선으로서 블럽을 더 잘 정의하기 위해, 블럽 추출 이전 및/또는 도중에 공지된 영상 필터링 및/또는 모서리 검출 기술을 사용하는 추가의 영상 처리가 바람직할 수 있다. 렌즈 왜곡 교정이 또한 포착된 영상 내의 영상 관찰의 분지형 해부학적 구조물의 컴퓨터 모델과의 연관화를 돕기 위해 수행될 수 있다. 도 8 - 도 20은 그러한 처리로부터 생성될 수 있는 다양한 블럽 토폴로지를 도시한다.
예를 들어, 도 8은 내강(801)을 통해 이동하는 의료 장치를 도시하고, 여기서 하류 노드가 이러한 시점에서 보이지 않는다. 도 9는 내강(901)을 통해 이동하는 의료 장치의 하나의 예를 도시하고, 여기서 내강(902, 903)을 포함하는 하류 두 갈래 분기부가 보인다. 도 10은 내강(1001)을 통해 이동하는 의료 장치의 하나의 예를 도시하고, 여기서 내강(1002, 1003, 1004)을 포함하는 하류 세 갈래 분기부가 보인다. 도 11은 내강(1101)을 통해 이동하는 의료 장치의 다른 예를 도시하고, 여기서 내강(1102, 1103, 1104)을 포함하는 하류 세 갈래 분기부가 도 10의 세 갈래 분기부와 상이한 배향으로 보인다. 도 12 및 도 13은 영상들의 시퀀스를 도시한다. 도 12는 내강(1201)을 통해 이동하는 의료 장치의 하나의 예를 도시하고, 여기서 내강(1202, 1203)을 포함하는 제1 하류 두 갈래 분기부가 보이고, 내강(1203) 내에서 내강(1204, 1205)을 포함하는 제2 하류 두 갈래 분기부가 보인다. 도 13은 내강(1203) 내로 이동한 의료 장치의 하나의 예를 도시하여, 내강(1201, 1202)이 더 이상 보이지 않는다.
블록(503)에서, 각각의 추출된 블럽이 추적된다. 블럽이 블록(501 - 504)을 통한 순환에 의해 수신되는 영상들의 현재 시퀀스 내에서 처음으로 보이면, 이는 이전에 할당되지 않는 참조 번호로 라벨링되어, 방법은 블럽 (또는 특히, 블럽이 표시하는 내강)의 추적을 유지할 수 있다. 다른 한편으로, 블럽이 이전에 수신된 영상 내에서 보였으면, 이는 이미 라벨을 할당받았고, 이는 대신에 추적된다. 이러한 맥락에서의 추적은 영상마다 블럽을 식별하는 것을 의미한다. 대체로, 그러한 식별은 블럽이 영상 내에서 출현하는 상대 위치를 고려함으로써 간단하게 이루어질 수 있다.
블럽 추적의 하나의 예로서, 도 18 및 도 19는 트랙릿 내의 2개의 순차적 영상들을 도시한다. 도 18에서, 의료 장치가 내강(1801)을 통해 두 갈래 분기부를 향해 이동하는 동안, 블럽/내강(1802, 1803)을 포함하는 두 갈래 분기부가 멀리서 보인다. 도 19에서, 동일한 두 갈래 분기부는 의료 장치가 그의 원위 단부가 블럽/내강(1803)을 향해 조향되면서 내강(1801)을 통해 이동하였으므로, 더 가까운 거리에서 보인다. 이러한 예에서, 블럽(1802, 1803)은 도 18에 도시된 영상과 도 19에 도시된 영상 사이에서 쉽게 추적될 수 있고, 이는 블럽들의 서로에 대한 위치가 동일하게 유지되기 때문이다 (즉, 블럽(1802)이 계속하여 두 갈래 분기부의 좌측 내강이고, 블럽(1803)이 계속하여 두 갈래 분기부의 우측 내강이기 때문이다).
블럽 식별의 다른 약간 더 복잡한 예로서, 이전에 설명된 도 12 및 도 13은 인접한 트랙릿들 사이에서의 전이를 일으키는 순차적 영상들의 상이한 쌍을 도시한다. 도 12와 도 13의 비교에 의해, 도 13에서, 의료 장치는 내강(즉, 블럽)의 총수가 감소하였으므로, 내강(1202, 1203)들 중 하나 내로 이동되었음이 가장 가능성 있다. 아울러, 의료 장치가 내강(1203) 내로 이동되었음이 가장 가능성 있다. 이는 하류 두 갈래 분기부가 도 13에서 보이고 하류 두 갈래 분기부가 도 12에 도시된 앞서 수신된 영상에 따르면 내강(1203) 내에서만 보이기 때문이다.
블록(504)에서, 방법은 위상학적 등가성이 방법이 블록(501 - 504)들을 통해 순환할 때 수신되는 영상들의 현재의 시퀀스 내에서 유지되는지에 대한 결정을 한다. 블록(504)에서의 결정이 예이면, 블록(505)에서, 방법은 수신된 영상을 현재의 트랙릿과 연관시키고, 블록(501)으로 복귀하여 영상들의 현재의 시퀀스에 추가한다. 다른 한편으로, 블록(504)에서의 결정이 아니오이면, 블록(506)에서, 새로운 트랙릿이 가장 최근에 수신된 영상에서 시작하여 정의된다. 현재의 트랙릿은 그 다음 폐쇄되어, 이는 지금까지의 영상들의 현재의 시퀀스만을 포함하지만, 가장 최근에 수신된 영상(즉, 라벨링된 블럽 소멸 또는 새로운 블럽 출현에 의해 블럽들의 세트 내의 변화를 처음으로 보여주는 영상)은 포함하지 않는다.
하나의 예로서, 현재의 트랙릿은 도 12에 도시된 바와 같은 추출된 블럽을 생성할 수 있다. 의료 장치가 내강/블럽(1203) 내로 이동한 후에, 새로운 트랙릿이 도 13에 도시된 바와 같은 추출된 블럽을 생성한다.
블럽의 개수가 순차적 영상들의 쌍 사이에서 감소할 때, 예비 가정은 의료 장치가 도 12 및 도 13을 참조하여 설명된 바와 같이, 노드(예컨대, 두 갈래 분기부 또는 세 갈래 분기부)를 통과하여 노드로부터 분지된 내강 내로 진입한 것이다. 다른 한편으로, 블럽의 개수가 순차적 영상들의 쌍 사이에서 증가할 때, 예비 가정은 의료 장치가 두 갈래 분기부 또는 세 갈래 분기부와 같은 하류 노드가 보이는 지점까지 내강 내에서 전방으로 이동한 것이다. 이러한 예비 가정들은 순차적 영상들 및/또는 센서 데이터 내에서의 추적되는 블럽의 진행의 인지에 의해 부인될 수 있다. 예를 들어, 순차적으로 포착된 영상들의 진행 시에 영상의 경계를 향해 접근하며 그로부터 나오는 소멸하는 블럽이 의료 장치가 노드를 통과했다는 예비 가정을 확인하고, 영상들의 시퀀스 내의 소멸하는 블럽의 상이한 거동은 예비 가정을 부인할 수 있다. 다른 예로서, 의료 장치의 분지형 해부학적 구조물 내로의 삽입 및 그로부터의 후퇴를 감지할 수 있는 센서가 상반된 표시에 의해 예비 가정을 부인할 수 있다.
그러한 예비 가정에서의 하나의 잠재적인 문제점은 부정 오류(즉, 현재의 영상 내의 블럽/내강의 개수가 이전의 영상 내의 블럽/내강의 개수보다 더 적다는 잘못된 결정) 및 긍정 오류(즉, 현재의 영상 내의 블럽/내강의 개수가 이전의 영상 내의 블록/내강의 개수보다 더 많다는 잘못된 결정)의 결정이다. 도 14에 도시된 바와 같은 부정 오류의 하나의 예에 대한 근거로서 도 9를 사용하면, 폐색물(1404)이 그가 소멸된 후에 블럽(902)을 출현시킬 정도로 배경 조직과 잘 혼합된다. 다시 도 15에 도시된 바와 같은 긍정 오류의 하나에 예에 대한 근거로서 도 9를 사용하면, 이물질(1504)이 내강(901) 내에서 출현한다.
그러한 부정 오류 및 긍정 오류의 유형 및 원인에 의존하여, 추가의 처리 및/또는 로직이 잘못된 결정을 제거하기 위해 방법에 의해 수행될 수 있다. 예를 들어, 도 14에 도시된 바와 같이 일 측면으로 위치된 단일 하류 블럽/내강은 가능성이 없어 보이고, 따라서 부정 오류가 무시되어야 한다. 다른 예로서, 세 갈래 분기부를 표시하는 3개의 블럽/내강이 도 15에 도시된 바와 같이 출현할 수 있지만, 추출된 블럽에 대한 특징 속성의 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생된 합성 영상 내의 세 갈래 분기부에 대한 대응하는 특징 속성과의 비교는 현재의 영상 내의 긍정 오류 결정을 노출시킬 수 있다. 분지형 해부학적 구조물의 컴퓨터 모델로부터 예상되는 것과 불일치하는 블럽 토폴로지 및/또는 특성에 추가하여, 연속적인 영상들 사이의 시간적 일관성에 대한 요건이 또한 부정 오류 및 긍정 오류를 노출시킬 수 있다. 의료 장치를 후퇴시키고 다시 전진시키는 것으로부터 생성되는 부정 오류 및 긍정 오류는 또한 연속적인 영상들을 분석함으로써 검출될 수 있다. 후퇴시키고 다시 전진시키는 하나의 예로서, 두 갈래 분기부의 우측 내강이 시계의 우측으로 연속적인 영상들 내에서 점진적으로 소멸하여, 단일 내강이 보이게 되고, 그 다음 제2 내강이 시계의 우측으로부터 연속적인 영상들 내에서 점진적으로 출현하면, 이는 의료 장치가 먼저 두 갈래 분기부의 좌측 내강 내로 들어가고, 그 다음 좌측 내강으로부터 후퇴되어, 두 갈래 분기부의 우측 내강이 다시 한번 보이는 상황을 표시할 수 있다.
블록(507 - 510)을 포함하는 방법의 제2 부분에서, 영상들의 현재의 시퀀스(즉, 현재의 트랙릿)가 처리되고, 분지형 해부학적 구조물의 컴퓨터 모델 내의 내강의 경로와의 가장 가능성 있는 매칭이 현재의 트랙릿 및 그의 인접한 트랙릿을 고려함으로써 결정된다. 의료 장치가 분지형 해부학적 구조물의 내강을 통해 이동할 때 의료 장치가 취할 수 있는 다수의 잠재적인 경로가 있다. 방법의 제1 부분에서 식별된 각각의 트랙릿은 분지형 해부학적 구조물의 상이한 내강에 대응할 수 있다. 따라서, 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 블록(501 - 510)을 통한 순환에 의해 식별된 트랙릿들의 시퀀스는 의료 장치가 분지형 해부학적 구조물 내의 경로를 따라 이동할 때 포착된 영상들의 화상 역사를 제공한다. 새로운 트랙릿이 식별될 때마다, 이는 트랙릿들의 시퀀스에 추가되고, 트랙릿들의 갱신된 시퀀스는 의료 장치가 분지형 해부학적 구조물의 내강을 통해 이동할 때 의료 장치가 취할 수 있는 잠재적인 경로에 대해 매칭된다. 2개 이상의 잠재적인 경로가 갱신된 시퀀스에 밀접하게 매칭되는 것이 발생할 수 있다. 그러한 경우에, 가장 밀접한 매칭이 다음의 트랙릿이 블록(501 - 504)을 통한 순환 이후에 식별될 때, 그러한 지점에 대한 가장 가능성 있는 매칭으로 지정될 수 있지만, 트랙릿들의 갱신된 시퀀스는 "올바른" 매칭 대 이전에 식별된 "잘못된" 매칭을 표시하기 위해 다른 잠재적인 매칭들 중 하나와 더 밀접하게 매칭될 수 있다. 따라서, "잘못된 매칭" 오류는 방법에서 자가 교정된다. 대조적으로, 종래 기술의 방법은 대체로 작업자가 "잘못된 매칭"이 발생했을 때를 인식하여 오류를 교정하도록 요구하고, 이는 작업자에 대해 매우 어렵고 시간이 걸릴 수 있다.
블록(507)에서, 방법은 현재의 트랙릿의 분지형 해부학적 구조물의 컴퓨터 모델 내의 위치와의 잠재적인 매칭을 식별한다. 현재의 트랙릿이 노드로 이어지는 하나의 내강을 통해 이동하여 노드로부터 분지된 다른 내강 내로 진입함으로써 분지형 해부학적 구조물의 노드를 통과하는 의료 장치에 의해 종료된 트랙릿인 것으로 제한되지 않지만, 이러한 유형의 트랙릿이 일반적으로 마주치며, 방법을 설명하기 위해 사용될 것이다.
잠재적인 매칭은 분지형 해부학적 구조물 내의 모든 노드의 집합으로부터의 노드들의 제한된 세트(예컨대, 두 갈래 분기부 및 세 갈래 분기부)를 나타낸다. 많은 필터링 기준이 (예컨대, 잠재적으로 매칭되는 노드를 식별함으로써 또는 소정의 노드를 배제함으로써) 노드들의 세트를 제한하도록 사용될 수 있다. 하나의 그러한 필터링 기준은 현재의 트랙릿과 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생될 수 있는 합성 영상의 잠재적인 매칭 사이의 위상학적 등가성이다. 합성 영상은 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 원위 단부에서 포착된 영상에 대응하는 분지형 해부학적 구조물의 3차원 컴퓨터 모델 내의 화면을 나타낸다. 그러한 합성 영상이 본원에서 사용되는 것으로 설명되지만, 그러한 합성 영상을 표시하는 정보가 대신에 컴퓨터 모델로부터 추출될 수 있음을 이해하여야 한다. 필터링 기준으로서 위상학적 등가성을 사용하는 하나의 예로서, 트랙릿이 통과되는 노드가 두 갈래 분기부라고 표시하면, 두 갈래 분기부 노드만이 포함될 수 있다. 역으로, 트랙릿이 통과되는 노드가 세 갈래 분기부라고 표시하면, 세 갈래 분기부 노드만이 포함될 수 있다. 다른 예로서, 트랙릿이 하류 노드가 상류 노드의 내강들 중 하나를 통해 보인다고 표시하면, 그러한 토폴로지를 만족시키는 노드를 표시하는 합성 영상만이 잠재적인 매칭들의 세트 내에 포함될 수 있다. 위상학적 등가성은 바람직하게는 트랙릿에 대한 잠재적인 매칭으로서 간주되는 합성 영상에 대한 임계 요건이다.
현재의 트랙릿과의 잠재적인 매칭을 발생시키기 위해 노드들의 세트를 제한하기 위한 다른 필터링 기준은 이용 가능한 센서 정보를 사용할 수 있다. 하나의 예로서, 도 22는 의료 장치(110)가 인터페이스(170)에 의해 제어될 때, 블록(2200)에 의해 표현되는 해부학적 구조물 내의 개방부(2201)를 통해 그리고 만곡된 경로(2202)를 따라 이동하는 개략도를 도시한다. 4개의 선택적인 센서(2221, 2222, 2223, 2224)가 잠재적인 노드 매칭들의 세트를 추가로 제한하기 위해 채용될 수 있는 정보를 제공한다. 신호 통신 케이블 또는 라인(132)이 정보를 원위 단부 센서(2222, 2223)로부터 다시 인터페이스(170)로 전달한다. 도 1에 도시된 바와 같이, 센서 정보는 그 다음 아날로그-디지털(A/D) 변환기를 포함할 수 있는 센서 프로세서(130)로 제공되어, 정보는 메인 프로세서(160)에 의한 처리를 위해 적합한 형태로 변환될 수 있다.
삽입 센서(2221)가 의료 장치가 얼마나 많이 해부학적 구조물(2200) 내로 삽입되었는지에 대한 정보를 제공하기 위해 선택적으로 제공될 수 있다. 이러한 정보에 의해, 개방부로부터 삽입 깊이까지의 임계 거리 내의 노드만이 잠재적인 매칭들의 세트 내에 포함될 것이다. 이러한 유형의 센서는 의료 장치가 내강에 이미 진입한 후에 두 갈래 분기부 내강으로부터 후퇴되었을 때와 같은, 방향 전환 상황을 검출하기 위해 특히 유용하다. 전형적으로, 그러한 삽입 센서(2221)는 보편적으로 의료 장치(110)의 해부학적 구조물(2200) 내로 그리고 그로부터의 선형 이동을 검출하기 위해 인터페이스(170) 내에 또는 그에 인접하여 제공될 수 있다.
위치 센서(2222)가 (도 23에 도시된 지점(XK, YK, ZK)과 같은) 3차원 공간 내에서의 위치 정보를 제공하기 위해 의료 장치(110)의 원위 단부(111)에 선택적으로 제공될 수 있다. 이러한 정보에 의해, 감지되는 위치로부터 (센서의 불확실성 범위 내와 같은) 임계 거리 내의 노드만이 잠재적인 매칭들의 세트 내에 포함될 것이다.
배향 센서(2223)가 원위 단부에 대한 배향 정보를 제공하기 위해 의료 장치(110)의 원위 단부(111)에 선택적으로 제공될 수 있다. 예를 들어, 도 24에 도시된 바와 같이, (내강(2413) 내에서 포착된) 수신된 영상의 수평 라인에 대응하는 라인(2411)이 얼마나 많이 중력 벡터에 대해 직교하는 기준 라인(2412)으로부터 벗어나는 지를 표시하는 각도(φ)의 정보가 배향 센서(2223)에 의해 제공될 수 있다. 이러한 정보에 의해, 수신된 영상 내의 블럽의 배향은 블럽이 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생되는 합성 영상 내에서 어떻게 보일 것으로 예상되는 지를 더 정확하게 반영하기 위해 조정될 수 있다. 이러한 배향 정보는 2-내강 두 갈래 분기부를 연관시키기 위한 하나의 방법만이 있을 것이므로, 블럽들 중 어느 것이 다른 것의 좌측 또는 우측에 있는 지를 결정하는 데 있어서의 가능한 오류를 방지하기 위해 특히 유용하다 (즉, 좌우 역전 오류의 회피).
구름 센서(2224)가 의료 장치(110)가 얼마나 많이 그의 종축에 대해 회전되었는 지의 정보를 제공하기 위해 선택적으로 제공될 수 있다. 이러한 정보는 배향 센서가 이용 불가능할 때 원위 단부의 배향을 추정하기 위해 유용할 수 있다. 전형적으로, 그러한 구름 센서(2224)는 보편적으로 의료 장치(110)의 그의 종축에 대한 회전을 검출하기 위해 인터페이스(170) 내에 또는 그에 인접하여 제공될 수 있다.
다른 실시예에서, 추가의 필터링 데이터는 노드 가능성의 집합을 좁히기 위해 사용될 수 있는 히스토리 사용자 입력을 포함할 수 있다. 예를 들어, 운행 제어 입력(예컨대, 하나 이상의 노드에서의 조향 명령)이 주어진 노드(들)에서 진입하는 가장 가능성 있는 내강(들)을 식별하기 위한 근거로서 사용될 수 있다. 이러한 방향 표시(들)은, 예를 들어, 경로 추적/내강 식별을 향상시키기 위해, 보충적이거나 블럽 추적 기술 대신에 사용될 수 있다. 대안적으로, 사용자는 특히 노드 필터링 목적으로 입력을 제공할 수 있다 (예컨대, 내강, 두 갈래 분기부, 및/또는 다른 조직 구조물과 같은 구체적인 해부학적 특징이 노드 필터링 알고리즘 내로의 이후의 통합을 위해, 수동으로 "표지되거나", "라벨링되거나", 사용자에 의해 달리 식별될 수 있다). 해부학적 랜드마크의 이러한 수동 식별은 노드 가능성의 범위를 상당히 감소시킬 수 있다.
정량적 비교가 그 다음 위상학적 등가성 기준 및 선택적으로 임의의 이용 가능한 센서 정보 및/또는 사용자 입력을 사용하여 잠재적인 매칭들의 세트를 필터링한 후에 세트의 잔여 개체에 대해 수행될 수 있다. 그러한 정량적 비교를 수행하기 위한 하나의 기술은 현재의 트랙릿으로부터 결정된 특징 속성 및 컴퓨터 모델의 노드에 대해 해부학적 구조물의 컴퓨터 모델로부터 추출된 대응하는 특징 속성을 사용한다. 하나의 예로서, 현재의 트랙릿의 특징 속성은 노드 및 그의 합성 영상이 잠재적인 매칭들의 세트 내에 포함되도록, 컴퓨터 모델의 노드에 대응하는 합성 영상의 특징 속성에 적당히 가까워야 한다. 특징 속성이 의료 장치의 원위 단부가 노드로부터 분지되는 내강들 중 하나를 향해 그리고 그를 통해 조향될 때 변화할 수 있으므로, 현재의 트랙릿에 대한 특징 속성은 바람직하게는 그러한 원위 단부 조향이 발생하기 전에 포착된 영상으로부터 결정된다.
트랙릿과 잠재적인 매칭 사이의 그러한 정량적 비교를 수행하기 위해, 방법은 현재의 트랙릿 내의 블럽에 대한 특징 속성을 결정한다. 특징 속성은 분지형 해부학적 구조물 내에서 상이한 두 갈래 분기부들을 서로로부터 구분하고 상이한 세 갈래 분기부들을 서로로부터 구분하기 위해 사용된다.
하나의 예로서, 도 16은 블럽/내강(1601) 내에서 보이는 바와 같은 좌측 및 우측 블럽/내강(1602, 1603)을 갖는 두 갈래 분기부를 도시한다. 좌측 및 우측 내강의 높이("a", "c") 및 폭("b", "d")의 측정은 (수신된 영상 내의 픽셀과 같은) 공통 스케일, 및 높이의 비율("a/c"), 폭의 비율("b/d"), 좌측 블럽/내강에 대한 종횡비("b/a"), 및 우측 블럽/내강에 대한 종횡비("d/c")와 같은 특징 속성을 결정하기 위해 계산된 비율에 따라 이루어질 수 있다. 이해될 수 있는 바와 같이, 종횡비가 특히 내강이 노드로부터 연장하는 각도를 표시할 수 있으므로 매우 유용한 정보를 줄 수 있다.
다른 예로서, 도 17은 블럽/내강(1701) 내에서 보이는 바와 같은 좌측 및 우측 블럽/내강(1702, 1703)을 갖는 두 갈래 분기부를 도시한다. 기준 라인으로서, 고정 수평 평면(즉, 중력 벡터에 대해 직교하는 평면) 상의 수평 라인(1707)이 도시되어 있다. 블럽/내강(1702, 1703)의 중심(1704, 1705)을 통해 연장하는 다른 라인(1706)이 도시되어 있다. 각도(θ)가 그 다음 두 갈래 분기부의 특징 속성으로서 역할하도록 라인(1707, 1706)들 사이에서 측정되거나 달리 결정될 수 있다. 중심(1704, 1705)들을 연결하는 라인 세그먼트의 길이 또한 두 갈래 분기부의 다른 특징 속성을 발생시키기 위해 사용될 수 있다. 예를 들어, 비율은 각각의 블럽의 높이 및 폭을 라인 세그먼트의 길이에 의해 나눔으로써 계산될 수 있다. 각도(ψ)가 또한 두 갈래 분기부의 다른 특징 속성으로서 역할하도록 블럽(1702, 1703)들의 높이 라인(1712, 1713)들 사이에서 측정되거나 달리 결정될 수 있다. 유사한 각도가 또한 두 갈래 분기부의 또 다른 특징 속성으로서 역할하도록 블럽들의 폭 라인들 사이에서 측정되거나 달리 결정될 수 있다.
다른 예로서, 도 20은 도 6에 도시된 수신된 영상으로부터 추출된 블럽을 도시한다. 이러한 경우의 추출된 블럽은 도 7에 도시된 블럽의 추가의 영상 처리로부터 생성될 수 있다. 전경 두 갈래 분기부는 블럽/내강(2001, 2002)을 포함한다. 블럽/내강(2001)을 보면, 블럽/내강(2011, 2012)을 포함하는 하류 두 갈래 분기부가 보인다. 유사하게, 블럽/내강(2002)을 보면, 블럽/내강(2021, 2022)을 포함하는 다른 하류 두 갈래 분기부가 보인다. 라인 세그먼트(2003)가 블럽/내강(2001, 2002)들의 중심들을 연결하고, 라인 세그먼트(2013)가 블럽/내강(2011, 2012)들의 중심들을 연결하고, 라인 세그먼트(2023)가 블럽/내강(2021, 2022)들의 중심들을 연결한다. 여러 특징 속성이 라인 세그먼트(2003, 2013, 2023)를 사용하여 정의되고 정량될 수 있다. 예를 들어, 각각의 라인 세그먼트의 길이는 블럽에 대한 특징 속성을 정의하기 위해 그들 각각의 블럽의 높이 및/또는 폭과의 비율로 사용될 수 있다. 다른 예로서, 라인 세그먼트들의 쌍 사이의 각도가 영상의 다른 특징 속성을 정의할 수 있다. 이러한 특징 속성의 측정은 배향 독립적이라는 (즉, 영상 포착 장치가 화면의 배향을 변화시키기 위해 회전되더라도 동일한 값을 생성한다는) 것을 알아야 한다. 따라서, 이러한 종류의 특징 속성은 고정 기준 라인을 요구하는 도 17에 도시된 바와 같은 배향 의존적 특징 속성에 비해 유리하다.
또 다른 예로서, 도 21은 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생된 합성 영상의 대응하는 블럽과 비교되는 템플릿으로서 추출된 블럽의 사용을 도시한다 (예컨대, 분지형 해부학적 구조물의 컴퓨터 모델로부터의 두 갈래 분기부의 합성 영상 내의 좌측 내강의 형상에 비교되는 포착된 영상 내의 두 갈래 분기부의 좌측 블럽/내강의 형상). 이러한 방식으로, 블럽 템플릿 또한 특징 속성으로서 사용될 수 있다. 이해될 수 있는 바와 같이, 본원에서 설명된 것 이외의 많은 특징 속성이 또한 추출된 블럽들의 상대 형상, 크기, 및 배향을 표시하는 다양한 라인 및 각도를 사용하여 정의될 수 있다. 아울러, 단지 하나의 수신된 영상에 대해 추출된 블럽들의 특징 속성을 결정하기보다는, 특징 속성은 결정된 정보를 평균화하고 그리고/또는 트랙릿 내의 영상들에 대한 결정된 정보 내의 이상치를 제거함으로써, 트랙릿에 대해 결정될 수 있다 (즉, 위상학적으로 등가인 영상들의 시퀀스). 위에서 설명된 바와 같은 추출된 블럽의 위상학적 및 기하학적 특징으로부터 결정된 특징 속성에 추가하여, 포착된 영상 내에서 식별된 특징 지점에 관련되는 다른 특징 속성이 본원에서 설명되는 방법에서 정의되고 사용될 수 있다. 하나의 예로서, 크기 불변 특징 변환(SIFT)이 포착된 영상으로부터 특징 지점을 추출하기 위해 사용될 수 있다. 실제 영상과 컴퓨터 모델을 비교하기 위해 사용되는 특징 속성은 또한 운동으로부터 구조 파악(SfM: Structure from Motion) 기술을 사용하여 복수의 영상 프레임으로부터 추출된 3차원 특징일 수 있다. 예컨대, [Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2nd Edition, 2004] 참조. 또한, 예컨대, [C. Tomasi and T. Kanade, "Factoring image sequences into shape and motion," Proceedings of the IEEE Workshop on Visual Motion, pages 21-28, Princeton, NJ, October 1991] 참조.
분지형 해부학적 구조물 내의 두 갈래 분기부 및 세 갈래 분기부를 구분하기 위해 특징 속성을 사용하는 것에 추가하여, 영상들의 시퀀스에 대해 결정된 특징 속성은 또한 블록(504)을 수행하는 일부로서 부정 오류 및 긍정 오류를 검출하기 위해 사용될 수 있다. 하나의 예로서, 도 18 및 도 19는 도 18에 도시된 영상이 도 19에 도시된 영상 이전에 수신된 영상들의 시퀀스를 도시한다. 의료 장치의 원위 단부가 우측 내강(1803)을 향해 조향될 때, 좌측 내강의 종횡비는 더 작아질 것으로 예상되고, 우측 내강의 종횡비는 더 커질 것으로 예상된다. 다른 특징 속성이 또한 조향의 방향을 표시하기 위해 정의될 수 있다. 예를 들어, 블럽/내강(1802)의 중심이 "A"이고, 블럽/내강(1803)의 중심이 "B"이고, 의료 장치가 현재 이동하고 있는 내강(1801)의 중심이 "C"이면, 의료 장치의 원위 단부가 우측 내강(1803)을 향해 조향될 때, 블럽/내강(1801, 1803)들의 중심들 사이의 거리는 더 작아질 것으로 예상된다. 따라서, 내강(1801)의 중심(C)까지의, 블럽/내강(1802, 1803)들의 중심(A, B)들 사이의 거리를 추적함으로써, 의료 장치의 원위 단부가 조향되고 있는 방향이 결정될 수 있다. 이러한 정보는 위에서 설명된 바와 같은 부정 오류를 회피하기 위해 사용될 수 있다.
블록(507)에서 방법에 의해 수행되는 정량적 비교는 현재의 트랙릿 내의 블럽의 특징 속성이 얼마나 "가까이" 잠재적인 노드 매칭의 합성 영상 내의 블럽의 대응하는 특징 속성과 매칭되는 지를 표시한다. 하나의 예로서, 현재의 트랙릿 내의 두 갈래 분기부의 좌측 블럽의 종횡비와 잠재적인 매칭의 각각의 합성 영상 내의 두 갈래 분기부의 좌측 블럽의 종횡비 사이의 차이가 계산될 수 있다. 다른 예로서, 도 21에 도시된 바와 같이, 추출된 블럽(2100)과 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생된 합성 블럽(2101)의 형상 사이의 차이(예컨대, Zm과 Yn에서의 대향하는 화살표들 사이의 거리)가 결정되어 정량적 비교 목적으로 사용될 수 있다. 이러한 경우의 차이가 낮을수록, 트랙릿과 합성 영상 내에서 나타나는 노드 사이의 매칭이 더 양호하다.
정량적 비교는 바람직하게는 각각의 잠재적인 매칭 또는 가설에 대한 확률 또는 신뢰 점수로 변환된다. 하나의 예로서, i번째 트랙릿(t i )에 대한 j번째 가설(h i,j )의 우도는 다음과 같이 표현될 수 있다:
Figure 112015034171073-pct00001
(1)
여기서, O i 는 t i 와 관련된 모든 관찰을 나타내고; O i (I) 는 t i 와 관련된 모든 영상 관찰을 나타내고; O i (S) 는 t i 와 관련된 모든 이용 가능한 센서 관찰을 나타낸다.
잠재적인 매칭들의 세트 내의 각각의 개체에 대한 정량적 비교를 결정한 후에, 방법은 메모리(161)와 같은 메모리 내에 현재의 트랙릿에 대한 정량적 비교의 결과를 저장한다.
블록(508)에서, 방법은 현재의 트랙릿으로부터 새로운 트랙릿으로의 전이에 대한 잠재적인 매칭을 식별한다. 블록(507)에서 설명된 바와 유사한 필터링 기술이 블록(508) 내에서 수행될 수 있다. 예를 들어, 내강 내의 화면에 대응하는 합성 영상이 분지형 해부학적 구조물 내의 각각의 내강에 대해 분지형 해부학적 구조물의 컴퓨터 모델로부터 발생될 수 있다. 현재의 트랙릿 및 다음의 트랙릿과 관련된 포착된 영상이 그 다음 위상학적 등가성에 대해 분지형 해부학적 구조물 내의 연결된 내강들의 쌍에 대응하는 합성 영상들의 쌍과 비교될 수 있다. 이용 가능한 센서 정보가 또한 현재의 트랙릿과 새로운 트랙릿 사이의 전이에 대한 잠재적인 매칭들의 세트로부터 분지형 해부학적 구조물 내의 연결된 내강들의 쌍을 제거하기 위해 사용될 수 있다. 정량적 분석은 그 다음 잠재적인 매칭들의 세트의 잔여 개체에 대해 수행되고, 바람직하게는 각각의 잠재적인 매칭 또는 가설에 대한 전이 확률 또는 신뢰 점수로 변환된다.
잠재적인 전이 매칭들의 센트 내의 각각의 개체 대한 정량적 비교를 결정한 후에, 방법은 메모리(161)와 같은 메모리 내에 현재의 트랙릿으로부터 새로운 트랙릿으로의 전이에 대한 정량적 비교의 결과를 저장한다.
블록(509)에서, 방법은 그 다음 의료 장치가 분지형 해부학적 구조물을 통해 이동할 때 의료 장치의 경로를 구성하는 트랙릿들의 시퀀스 내의 하나 이상의 인접한 트랙릿의 정보를 고려함으로써 블록(501 - 510)을 통한 순환으로부터 생성되는 트랙릿들의 시퀀스에 대한 가장 가능성 있는 매칭을 결정한다. 이전의 트랙릿의 정보는 블록(501 - 510)을 통해 순환하는 동안 그러한 트랙릿에 대해 블록(507, 508)의 처리 중에 메모리 내에 저장되었다.
현재의 트랙릿에 대한 가설적 경로("T")의 우도는 현재의 트랙릿에 대한 개별 가설의 우도 및 인접한 트랙릿의 전이 확률의 조합이다. 의료 장치가 i번째 트랙릿에서의 j번째 가설로부터 (i+1)번째 트랙릿에서의 k번째 가설로 절환하는 전이 확률은 다음과 같이 표현될 수 있다:
Figure 112015034171073-pct00002
(2)
이는 분지형 해부학적 구조물의 컴퓨터 모델 내의 연결성의 정적인 이전의 인지와 현재의 트랙릿에 의해 표시되는 노드로부터 분지된 어떤 내강에 의료 장치가 진입하였는지의 동적 인지의 조합이다. 분지형 해부학적 구조물의 컴퓨터 모델 내의 연결성의 정적인 이전의 인지는, 예를 들어, 분지형 해부학적 구조물의 정확한 3차원 컴퓨터 모델이 발생될 수 있는 영상 슬라이스를 포착하기 위해 적합한 촬영 양태를 사용하여 환자 스캔을 수행함으로써 얻어질 수 있다. 현재의 트랙릿에 의해 표시되는 노드로부터 분지된 어떤 내강에 의료 장치가 진입하였는지의 동적인 인지는, 예를 들어, 본원에서 설명되는 바와 같은 분석적 추론을 따르는 인공 추론으로 프로세서를 프로그래밍함으로써 얻어질 수 있다.
트랙릿들의 현재의 시퀀스에 대한 가장 가능성 있는 매칭은 그 다음 의료 장치에 의해 취해지는 가장 가능성 있는 가설적 경로에 기초한다. 하나의 예로서, 해답은 다음과 같이 표현되는 조합 확률을 최대화하는 경로일 수 있다:
Figure 112015034171073-pct00003
(3)
상기 이산 경로 최적화 문제를 효율적으로 해결하기 위한 하나의 기술은 히든 마코프 모델(HMM: Hidden Markov Model) 내의 간섭 알고리즘과 유사한 동적 프로그래밍(DP: Dynamic Programming)을 사용하는 것이다.
블록(509)의 처리를 완료한 후에, 방법은 그 다음 블록(510)에서 새로운 트랙릿을 현재의 트랙릿으로서 재정의하고, 블록(501)으로 복귀하여 블록(504)에서 이전에 검출된 새로운 현재의 트랙릿 상으로 확장하여 그를 처리한다. 방법은 그 다음 의료 장치가 계속하여 분지형 해부학적 구조물을 통해 이동할 때, 계속하여 블록(501 - 510)을 통해 순환한다.
본 발명의 다양한 태양이 하나 이상의 실시예에 대해 설명되었지만, 본 발명은 첨부된 청구범위의 완전한 범주 내에서 완전히 보호받을 권리가 있음이 이해될 것이다.

Claims (29)

  1. 시스템이며:
    인간의 해부학적 구조물의 모델을 나타내는 정보를 저장하는 메모리;
    해부학적 구조물 내로 삽입되도록 구성된 원위 단부를 포함하는 의료 장치로서, 원위 단부는 의료 장치가 해부학적 구조물의 분지를 통해 이동할 때 순차적 영상들을 포착하도록 구성된 영상 포착 장치를 지지하는 의료 장치; 및
    해부학적 구조물의 모델을 나타내는 정보에 접근하도록 구성된 하나 이상의 처리 장치로서, 하나 이상의 처리 장치는:
    개별 영상 내의 하나 이상의 블럽을 검출하기 위해 포착된 순차적 영상을 처리하고 - 하나 이상의 블럽은 해부학적 구조물 내의 내강을 나타냄 -;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제1 세트의 하나 이상의 내강에 관한 정보를 나타내는 제1 포착된 시퀀스를 식별하고;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제2 세트의 하나 이상의 내강에 관한 정보를 나타내는 제2 포착된 시퀀스를 식별하고 - 제2 포착된 시퀀스는 포착된 순차적 영상 내의 제1 포착된 시퀀스를 따르고 제2 세트의 내강은 제1 세트의 내강과 상이함 -,
    해부학적 구조물의 모델에 기초하여 발생된, 영상의 발생된 시퀀스가 제1 포착된 시퀀스 및 제2 포착된 시퀀스를 포함하는 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하고,
    발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭된다는 결정에 응답하여, 영상의 발생된 시퀀스에 의해 나타나는 위치에 기초하여 해부학적 구조물 내의 원위 단부의 위치를 결정하도록 추가로 구성된 하나 이상의 처리 장치를 포함하는 시스템.
  2. 제1항에 있어서, 하나 이상의 처리 장치는:
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제1 블럽을 식별하기 위해 포착된 순차적 영상 내의 제1 영상을 처리하고;
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제2 블럽을 식별하기 위해 포착된 순차적 영상 내의 제2 영상을 처리하고;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 매칭되는지를 결정하고;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 매칭된다는 결정에 응답하여, 제1 포착된 시퀀스 또는 제2 포착된 시퀀스의 일부로서 각각의 제1 영상 및 제2 영상을 라벨링하도록 추가로 구성된 시스템.
  3. 제1항에 있어서, 하나 이상의 처리 장치는:
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제1 블럽을 식별하기 위해 포착된 순차적 영상 내의 제1 영상을 처리하고;
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제2 블럽을 식별하기 위해 포착된 순차적 영상 내의 제2 영상을 처리하고;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 상이한지를 결정하고;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 상이하다는 결정에 응답하여, 제1 포착된 시퀀스 또는 제2 포착된 시퀀스의 일부로서 제1 영상을 라벨링하고, 제1 영상과 상이한 시퀀스의 일부로서 제2 영상을 라벨링하도록 추가로 구성된 시스템.
  4. 제3항에 있어서, 하나 이상의 처리 장치는 단일 통합된 포착된 시퀀스의 일부로서 2개의 상이한 시퀀스로부터 영상을 라벨링하도록 추가로 구성된 시스템.
  5. 제4항에 있어서, 하나 이상의 처리 장치는:
    영상의 발생된 시퀀스가 통합된 포착된 시퀀스를 또한 포함하는 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하도록 추가로 구성된 시스템.
  6. 제1항에 있어서, 영상의 발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하는 것은:
    해부학적 구조물의 모델에 기초하여 발생된, 복수의 후보 시퀀스가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 것;
    각각의 복수의 후보 시퀀스에 대한 매칭 점수를 발생시키는 것; 및
    매칭 점수에 기초하여, 현재의 포착된 시퀀스와 실질적으로 매칭되는 영상의 발생된 시퀀스로서 복수의 후보 시퀀스 중 하나를 식별하는 것을 포함하는 시스템.
  7. 제6항에 있어서, 복수의 후보 시퀀스가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 것은:
    후보 시퀀스 내에서 나타나는 하나 이상의 블럽의 특징 속성의 세트를 식별하는 것;
    특징 속성의 세트에 기초하여, 복수의 후보 시퀀스 중 하나로부터의 하나 이상의 블럽과 현재의 포착된 시퀀스 내의 하나 이상의 블럽 사이의 유사성을 표시하는 메트릭을 계산하는 것; 및
    메트릭이 임계 조건을 만족하는지에 대한 결정에 응답하여 복수의 후보 시퀀스 중 하나가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 것을 포함하는 시스템.
  8. 제7항에 있어서, 특징 속성의 세트는 하나 이상의 블럽의 개수, 형상, 크기, 위치, 및 배향 중 하나 이상을 포함하는 시스템.
  9. 제1항에 있어서, 영상의 발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하는 것은:
    영상의 현재의 포착된 시퀀스 내의, 제1 포착된 시퀀스와 제2 포착된 시퀀스 사이의 전이 지점을 식별하는 것;
    전이 지점에 기초하여, 하나 이상의 연결된 내강을 식별하는 것;
    해부학적 구조물의 모델 내의 연결된 내강의 위치에 기초하여 복수의 후보 시퀀스를 식별하는 것 - 복수의 후보 시퀀스는 해부학적 구조물의 모델로부터 발생됨 -; 및
    현재의 포착된 시퀀스와 실질적으로 매칭되는 영상의 발생된 시퀀스로서 복수의 후보 시퀀스 중 하나를 식별하는 것을 포함하는 시스템.
  10. 제9항에 있어서, 하나 이상의 처리 장치는:
    복수의 후보 시퀀스 각각에 대하여 전이 확률을 결정하고 - 전이 확률은 해부학적 구조물의 모델 내의 하나의 내강으로부터 다른 내강으로의 전이에 대한 매칭의 품질을 표시함-;
    복수의 후보 시퀀스에 대해 계산된 전이 확률에 기초하여 영상의 발생된 시퀀스로서 복수의 후보 시퀀스 중 하나를 결정하도록 추가로 구성된 시스템.
  11. 제9항에 있어서, 복수의 후보 시퀀스를 식별하는 것은 의료 장치 내에 배치된 위치 센서로부터 수신된 위치 정보에도 기초하는 시스템.
  12. 제9항에 있어서, 복수의 후보 시퀀스를 식별하는 것은 의료 장치 내에 배치된 배향 센서로부터 수신된 배향 정보에도 기초하고, 배향 센서는 고정 수평 평면에 대한 의료 장치의 원위 단부의 배향을 측정하도록 구성된 시스템.
  13. 제9항에 있어서, 복수의 후보 시퀀스를 식별하는 것은 의료 장치 내에 배치된 구름 센서로부터의 구름 정보에도 기초하고, 구름 센서는 의료 장치의 종축에 대하여 의료 장치의 구름 각도를 측정하도록 구성된 시스템.
  14. 제9항에 있어서, 복수의 후보 시퀀스를 식별하는 것은 의료 장치 내에 배치된 삽입 센서로부터 수신된 삽입 정보에도 기초하고, 삽입 센서는 해부학적 구조물 내로 의료 장치의 원위 단부의 삽입 거리를 측정하도록 구성된 시스템.
  15. 하나 이상의 처리 장치에 의해 수행되는, 인간의 해부학적 구조물 내의 의료 장치의 원위 단부의 위치를 결정하는 방법이며, 원위 단부는 해부학적 구조물 내로 삽입되도록 구성되고,
    의료 장치의 원위 단부에 의해 지지되는 영상 포착 장치를 사용하여 포착된 순차적 영상의 표현을 수신하는 단계;
    해부학적 구조물의 모델을 나타내는 정보에 접근하는 단계;
    개별 영상 내의 하나 이상의 블럽을 검출하기 위해 포착된 순차적 영상을 처리하는 단계 - 하나 이상의 블럽은 해부학적 구조물 내의 내강을 나타냄 -;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제1 세트의 하나 이상의 내강에 관한 정보를 나타내는 제1 포착된 시퀀스를 식별하는 단계;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제2 세트의 하나 이상의 내강에 관한 정보를 나타내는 제2 포착된 시퀀스를 식별하는 단계 - 제2 포착된 시퀀스는 포착된 순차적 영상 내의 제1 포착된 시퀀스를 따르고 제2 세트의 내강은 제1 세트의 내강과 상이함 -;
    해부학적 구조물의 모델에 기초하여 발생된, 영상의 발생된 시퀀스가 제1 포착된 시퀀스 및 제2 포착된 시퀀스를 포함하는 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하는 단계; 및
    발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭된다는 결정에 응답하여, 영상의 발생된 시퀀스에 의해 나타나는 위치에 기초하여 해부학적 구조물 내의 원위 단부의 위치를 결정하는 단계를 포함하는 방법.
  16. 제15항에 있어서,
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제1 블럽을 식별하기 위해 포착된 순차적 영상 내의 제1 영상을 처리하는 단계;
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제2 블럽을 식별하기 위해 포착된 순차적 영상 내의 제2 영상을 처리하는 단계;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 매칭되는지를 결정하는 단계; 및
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 매칭된다는 결정에 응답하여, 제1 포착된 시퀀스 또는 제2 포착된 시퀀스의 일부로서 각각의 제1 영상 및 제2 영상을 라벨링하는 단계를 추가로 포함하는 방법.
  17. 제15항에 있어서,
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제1 블럽을 식별하기 위해 포착된 순차적 영상 내의 제1 영상을 처리하는 단계;
    해부학적 구조물 내의 대응하는 내강을 나타내는 하나 이상의 제2 블럽을 식별하기 위해 포착된 순차적 영상 내의 제2 영상을 처리하는 단계;
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 상이한지를 결정하는 단계; 및
    하나 이상의 제2 블럽이 하나 이상의 제1 블럽과 실질적으로 상이하다는 결정에 응답하여, 제1 포착된 시퀀스 또는 제2 포착된 시퀀스의 일부로서 제1 영상을 라벨링하고, 제1 영상과 상이한 시퀀스의 일부로서 제2 영상을 라벨링하는 단계를 추가로 포함하는 방법.
  18. 제15항에 있어서, 영상의 발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하는 단계는:
    해부학적 구조물의 모델에 기초하여 발생된, 복수의 후보 시퀀스가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 단계;
    각각의 복수의 후보 시퀀스에 대한 매칭 점수를 발생시키는 단계; 및
    매칭 점수에 기초하여, 현재의 포착된 시퀀스와 실질적으로 매칭되는 영상의 발생된 시퀀스로서 복수의 후보 시퀀스 중 하나를 식별하는 단계를 포함하는 방법.
  19. 제18항에 있어서, 복수의 후보 시퀀스가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 단계는:
    후보 시퀀스 내에서 나타나는 하나 이상의 블럽의 특징 속성의 세트를 식별하는 단계;
    특징 속성의 세트에 기초하여, 복수의 후보 시퀀스 중 하나로부터의 하나 이상의 블럽과 현재의 포착된 시퀀스 내의 하나 이상의 블럽 사이의 유사성을 표시하는 메트릭을 계산하는 단계; 및
    메트릭이 임계 조건을 만족하는지에 대한 결정에 응답하여 복수의 후보 시퀀스 중 하나가 현재의 포착된 시퀀스와 매칭되는지를 식별하는 단계를 포함하는 방법.
  20. 하나 이상의 처리 장치가 동작을 수행하게 하도록 구성된 명령어가 인코딩된 하나 이상의 기계-판독가능 저장 장치이며,
    상기 동작은:
    인간의 해부학적 구조물 내로 삽입되도록 구성된 의료 장치의 원위 단부에 의해 지지되는 영상 포착 장치를 사용하여 포착된 순차적 영상의 표현을 수신하는 단계;
    해부학적 구조물의 모델을 나타내는 정보에 접근하는 단계;
    개별 영상 내의 하나 이상의 블럽을 검출하기 위해 포착된 순차적 영상을 처리하는 단계 - 하나 이상의 블럽은 해부학적 구조물 내의 내강을 나타냄 -;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제1 세트의 하나 이상의 내강에 관한 정보를 나타내는 제1 포착된 시퀀스를 식별하는 단계;
    포착된 순차적 영상으로부터, 해부학적 구조물 내의 제2 세트의 하나 이상의 내강에 관한 정보를 나타내는 제2 포착된 시퀀스를 식별하는 단계 - 제2 포착된 시퀀스는 포착된 순차적 영상 내의 제1 포착된 시퀀스를 따르고 제2 세트의 내강은 제1 세트의 내강과 상이함 -;
    해부학적 구조물의 모델에 기초하여 발생된, 영상의 발생된 시퀀스가 제1 포착된 시퀀스 및 제2 포착된 시퀀스를 포함하는 현재의 포착된 시퀀스와 실질적으로 매칭되는지를 결정하는 단계; 및
    발생된 시퀀스가 현재의 포착된 시퀀스와 실질적으로 매칭된다는 결정에 응답하여, 영상의 발생된 시퀀스에 의해 나타나는 위치에 기초하여 해부학적 구조물 내의 원위 단부의 위치를 결정하는 단계를 포함하는 하나 이상의 기계-판독가능 저장 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
KR1020157008997A 2012-10-12 2013-10-08 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 KR102196291B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261713010P 2012-10-12 2012-10-12
US61/713,010 2012-10-12
PCT/US2013/063813 WO2014058838A1 (en) 2012-10-12 2013-10-08 Determining position of medical device in branched anatomical structure

Publications (2)

Publication Number Publication Date
KR20150068382A KR20150068382A (ko) 2015-06-19
KR102196291B1 true KR102196291B1 (ko) 2020-12-30

Family

ID=50477813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157008997A KR102196291B1 (ko) 2012-10-12 2013-10-08 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정

Country Status (6)

Country Link
US (3) US20140180063A1 (ko)
EP (1) EP2906133B1 (ko)
JP (1) JP6219396B2 (ko)
KR (1) KR102196291B1 (ko)
CN (2) CN108042092B (ko)
WO (1) WO2014058838A1 (ko)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930065B2 (en) * 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20130317519A1 (en) 2012-05-25 2013-11-28 Hansen Medical, Inc. Low friction instrument driver interface for robotic systems
US20140180063A1 (en) 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
DE102013219737B4 (de) 2013-09-30 2019-05-09 Siemens Healthcare Gmbh Angiographisches Untersuchungsverfahren eines Gefäßsystems
EP3689284A1 (en) * 2013-10-24 2020-08-05 Auris Health, Inc. System for robotic-assisted endolumenal surgery and related methods
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
EP3164048B1 (en) 2014-07-02 2022-11-16 Covidien LP Real-time automatic registration feedback
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US20170325896A1 (en) 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6413927B2 (ja) * 2015-05-25 2018-10-31 コニカミノルタ株式会社 動態解析装置及び動態解析システム
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN108348133B (zh) 2015-09-09 2020-11-13 奥瑞斯健康公司 用于手术机器人系统的器械装置操纵器
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
AU2016323982A1 (en) 2015-09-18 2018-04-12 Auris Health, Inc. Navigation of tubular networks
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
JP6218991B2 (ja) * 2015-11-13 2017-10-25 オリンパス株式会社 内視鏡の状態推定装置の作動方法および内視鏡システム
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN105769109B (zh) * 2016-04-28 2017-07-18 深圳市鹏瑞智能图像有限公司 一种内窥镜扫描控制方法及系统
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
JP6640382B2 (ja) * 2016-05-03 2020-02-05 セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルＳｔ． Ｊｕｄｅ Ｍｅｄｉｃａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｈｏｌｄｉｎｇ Ｓ．ａ，ｒ．ｌ． 磁気的位置特定システムにおける磁場歪み検出および補正
US11241559B2 (en) 2016-08-29 2022-02-08 Auris Health, Inc. Active drive for guidewire manipulation
EP3506836A4 (en) 2016-08-31 2020-04-29 Auris Health, Inc. EXTENSION FOR SURGICAL INSTRUMENT
WO2018085788A1 (en) * 2016-11-04 2018-05-11 The University Of North Carolina At Chapel Hill Office Of Commercialization And Economic Development Methods, systems, and computer readable media for smart image protocoling
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
US11490782B2 (en) 2017-03-31 2022-11-08 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
WO2018185755A1 (en) 2017-04-02 2018-10-11 Mazor Robotics Ltd. Three dimensional robotic bioprinter
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3641686A4 (en) * 2017-06-23 2021-03-24 Intuitive Surgical Operations, Inc. SYSTEMS AND PROCEDURES FOR NAVIGATION TO A DESTINATION DURING A MEDICAL OPERATION
WO2019005696A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. DETECTION OF ELECTROMAGNETIC DISTORTION
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
CN116725667A (zh) 2017-06-28 2023-09-12 奥瑞斯健康公司 提供定位信息的系统和在解剖结构内定位器械的方法
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN111602141B (zh) * 2017-08-17 2024-04-12 新加坡国立大学 影像视觉关系检测方法和系统
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
US11304669B2 (en) * 2017-10-12 2022-04-19 Canon Medical Systems Corporation X-ray diagnosis apparatus, medical image processing apparatus, medical image processing system, and medical image processing method
US10555778B2 (en) * 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US20200254225A1 (en) * 2017-11-17 2020-08-13 Convergascent Llc Devices, systems and methods for intraluminal local drug delivery
US10470830B2 (en) 2017-12-11 2019-11-12 Auris Health, Inc. Systems and methods for instrument based insertion architectures
CN110869173B (zh) 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的系统与方法
JP7059377B2 (ja) 2017-12-18 2022-04-25 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の器具の追跡およびナビゲーションの方法およびシステム
CN111867511A (zh) 2018-01-17 2020-10-30 奥瑞斯健康公司 具有改进的机器人臂的外科机器人系统
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP7225259B2 (ja) * 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
MX2020010112A (es) 2018-03-28 2020-11-06 Auris Health Inc Sistemas y metodos para el registro de sensores de ubicacion.
USD887405S1 (en) 2018-04-25 2020-06-16 Fitbit, Inc. Body of smart watch with health monitor sensor
US11219488B2 (en) * 2018-04-25 2022-01-11 Biosense Webster (Israel) Ltd. Determining catheter touch location using force-vector information
JP7273416B2 (ja) * 2018-05-01 2023-05-15 国立大学法人東北大学 画像処理装置，画像処理方法および画像処理プログラム
WO2019231895A1 (en) 2018-05-30 2019-12-05 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
EP3801280A4 (en) 2018-05-31 2022-03-09 Auris Health, Inc. ROBOTIC SYSTEMS AND LUMINAL NETWORK NAVIGATION METHODS THAT DETECT PHYSIOLOGICAL NOISE
EP3801189A4 (en) 2018-05-31 2022-02-23 Auris Health, Inc. PATH-BASED NAVIGATION OF TUBULAR NETWORKS
US10898275B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Image-based airway analysis and mapping
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US10820947B2 (en) 2018-09-28 2020-11-03 Auris Health, Inc. Devices, systems, and methods for manually and robotically driving medical instruments
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
CN109350791B (zh) * 2018-12-13 2021-04-27 中国人民解放军陆军特色医学中心 一种肺泡灌洗装置
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11638618B2 (en) 2019-03-22 2023-05-02 Auris Health, Inc. Systems and methods for aligning inputs on medical instruments
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11931112B2 (en) 2019-08-12 2024-03-19 Bard Access Systems, Inc. Shape-sensing system and methods for medical devices
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
CN114340540B (zh) 2019-08-30 2023-07-04 奥瑞斯健康公司 器械图像可靠性系统和方法
EP4021331A4 (en) 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
CN114641252B (zh) 2019-09-03 2023-09-01 奥瑞斯健康公司 电磁畸变检测和补偿
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11712224B2 (en) * 2019-10-11 2023-08-01 GE Precision Healthcare LLC Method and systems for context awareness enabled ultrasound scanning
US11850338B2 (en) 2019-11-25 2023-12-26 Bard Access Systems, Inc. Optical tip-tracking systems and methods thereof
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien
US11819242B2 (en) * 2019-12-29 2023-11-21 Biosense Webster (Israel) Ltd. Navigated trocar with internal camera
US11786271B2 (en) * 2019-12-29 2023-10-17 Biosense Webster (Israel) Ltd. Trocar with modular obturator head
JP2023508718A (ja) 2019-12-31 2023-03-03 オーリス ヘルス インコーポレイテッド 高度バスケット駆動モード
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health Inc IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
EP4084720A4 (en) 2019-12-31 2024-01-17 Auris Health Inc ALIGNMENT TECHNIQUES FOR PERCUTANE ACCESS
WO2021137104A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Dynamic pulley system
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US20210275255A1 (en) * 2020-03-09 2021-09-09 Biosense Webster (Israel) Ltd. Finding roll angle of distal end of deflectable or non-deflectable invasive medical instrument
EP3920189A1 (en) * 2020-06-04 2021-12-08 Ambu A/S Estimating a position of an endoscope in a model of the human airways
WO2021263023A1 (en) 2020-06-26 2021-12-30 Bard Access Systems, Inc. Malposition detection system
US11883609B2 (en) 2020-06-29 2024-01-30 Bard Access Systems, Inc. Automatic dimensional frame reference for fiber optic
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
EP4188212A1 (en) 2020-08-03 2023-06-07 Bard Access Systems, Inc. Bragg grated fiber optic fluctuation sensing and monitoring system
EP4346677A2 (en) * 2021-05-27 2024-04-10 Covidien LP Improved systems and methods of navigating a medical device in a body lumen using fuzzy logic combined with device parameters, direct user inputs, and distributed anonymized data
CN115868960A (zh) * 2021-09-27 2023-03-31 巴德阿克塞斯系统股份有限公司 医疗器械形状过滤系统和方法
CN114831731B (zh) * 2022-05-17 2022-09-02 真健康（北京）医疗科技有限公司 适用于手术室进行肺部病灶定位的手术导航设备和系统
US20230404670A1 (en) * 2022-05-27 2023-12-21 Covidien Lp Creating a navigation pathway to a target in the lung and method of navigating to the target

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080207997A1 (en) 2007-01-31 2008-08-28 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
DE69532916D1 (de) * 1994-01-28 2004-05-27 Schneider Medical Technologies Verfahren und vorrichtung zur bilddarstellung
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
EP1715788B1 (en) * 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
WO2007129616A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8660635B2 (en) * 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
EP2086399B1 (en) * 2006-11-10 2017-08-09 Covidien LP Adaptive navigation technique for navigating a catheter through a body channel or cavity
US20080218770A1 (en) 2007-02-02 2008-09-11 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
US9629571B2 (en) * 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
US7720322B2 (en) 2008-06-30 2010-05-18 Intuitive Surgical, Inc. Fiber optic shape sensor
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
CN102439631A (zh) * 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
US20120071753A1 (en) * 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
US20120130171A1 (en) * 2010-11-18 2012-05-24 C2Cure Inc. Endoscope guidance based on image matching
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2884879B1 (en) * 2012-08-14 2020-01-08 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
US20140180063A1 (en) 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080207997A1 (en) 2007-01-31 2008-08-28 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy

Also Published As

Publication number Publication date
WO2014058838A1 (en) 2014-04-17
JP2016501557A (ja) 2016-01-21
US20170311844A1 (en) 2017-11-02
CN108042092A (zh) 2018-05-18
US11903693B2 (en) 2024-02-20
JP6219396B2 (ja) 2017-10-25
EP2906133B1 (en) 2022-03-23
CN104736085A (zh) 2015-06-24
CN108042092B (zh) 2023-02-28
EP2906133A4 (en) 2016-06-22
US20140180063A1 (en) 2014-06-26
US10888248B2 (en) 2021-01-12
CN104736085B (zh) 2018-01-30
EP2906133A1 (en) 2015-08-19
US20210244311A1 (en) 2021-08-12
KR20150068382A (ko) 2015-06-19

Similar Documents

Publication Publication Date Title
US11903693B2 (en) Determining position of medical device in branched anatomical structure
EP3417759B1 (en) Improvement of registration with trajectory information with shape sensing
US20230107693A1 (en) Systems and methods for localizing, tracking and/or controlling medical instruments
KR102567087B1 (ko) 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
US20230057983A1 (en) Robotic systems for navigation of luminal networks that compensate for physiological noise
US20150148690A1 (en) Method and system for determining a shape of a lumen in an anatomical structure
US20230346479A1 (en) Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation
Ramadani et al. A survey of catheter tracking concepts and methodologies
CN116916847A (zh) 用于基于图像的配准的系统及其相关方法
Fried et al. Landmark Based Bronchoscope Localization for Needle Insertion Under Respiratory Deformation
US20240050160A1 (en) Systems for dynamic image-based localization and associated methods

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant