KR20210016566A - 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법 - Google Patents

Abstract

생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법이 제공된다. 일 태양에서, 시스템은, 기구 상에 위치되는 이미지 센서로부터 제1 및 제2 이미지 데이터를 수신하고, 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출하고, 제1 및 제2 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제1 위치들의 세트 및 제2 위치의 세트를 식별하도록 구성되는 하나 이상의 프로세서들의 세트를 포함한다. 프로세서들의 세트는, 제1 위치들의 세트 및 제2 위치들의 세트에 기초하여, 제1 위치들의 세트 및 제2 위치들의 세트에 기초하는 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하도록 추가로 구성된다.

Description

생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법

관련 출원(들)의 상호 참조

본 출원은 전체적으로 본 명세서에 참고로 포함되는, 2018년 5월 31일자로 출원된 미국 가출원 제62/678,520호의 이익을 주장한다.

기술분야

본 명세서에 개시된 시스템 및 방법은 수술 로봇(surgical robotic)에 관한 것으로, 더 상세하게는 관내 내비게이션(endoluminal navigation)에 관한 것이다.

기관지경술은 의사가 기관지 및 세기관지와 같은, 환자의 폐 기도의 내측 상태를 검사하도록 허용하는 의료 절차이다. 폐 기도는 기관(trachea) 또는 숨통(windpipe)으로부터 폐로 공기를 운반한다. 의료 절차 동안, 기관지경으로 알려진 얇은, 가요성 튜브형 도구가 환자의 입 내로 삽입되고 환자의 인후를 따라 그/그녀의 폐 기도 내로 통과될 수 있으며, 환자는 일반적으로 의료 절차 동안 수술 검사 및 수술을 위해 그들의 인후 및 폐 공동을 이완시키기 위해 마취된다.

관련 기술에서, 기관지경은 의사가 환자의 숨통 및 기도를 검사하도록 허용하는 광원 및 소형 카메라를 포함할 수 있고, 강성 튜브가 수술 목적으로 위해, 예컨대 환자의 폐 내에서 상당한 양의 출혈이 있을 때 또는 큰 객체가 환자의 인후를 차단하고 있을 때, 기관지경과 함께 사용될 수 있다. 강성 튜브가 사용될 때, 환자는 흔히 마취된다. 로봇 기관지경은 관상 네트워크(tubular network)를 통한 내비게이션에서 대단한 이점을 제공한다. 그들은 사용을 용이하게 하고 기관지경술 단계 동안에도 치료 및 생검이 편리하게 시행되도록 허용할 수 있다.

기계 장치 또는 플랫폼(platform), 예컨대 전술된 로봇 기관지경 외에도, 다양한 방법 및 소프트웨어 모델이 수술에 도움을 주기 위해 사용될 수 있다. 예로서, 환자의 폐의 컴퓨터 단층촬영(computerized tomography, CT) 스캔이 흔히 수술 검사의 수술전 동안에 수행된다. CT 스캔으로부터의 데이터는 환자의 폐의 기도의 3차원(3D) 모델을 생성하는 데 사용될 수 있고, 생성된 3D 모델은 의사가 수술 검사의 수술 절차 동안 유용할 수 있는 시각적 기준에 접근하는 것을 가능하게 한다.

그러나, 관상 네트워크의 내비게이션을 위한 이전 기법은, 의료 장치(예컨대, 로봇 기관지경)를 이용할 때 및 기존 방법을 사용할(예컨대, CT 스캔을 수행하고 3D 모델을 생성할) 때에도, 여전히 문제를 갖는다. 일례로서, 환자의 신체 내측의 의료 장치(예컨대, 기관지경 도구)의 운동 추정은 장치의 위치 및 배향 변화에 기초하여 정확하지 않을 수 있고, 그 결과 장치의 위치는 환자의 신체 내측에서 실시간으로 정확하거나 정밀하게 위치결정되지 않을 수 있다. 그러한 기구에 대한 부정확한 위치 정보는 의료 수술 절차 동안 3D 모델을 시각적 기준으로서 사용하는 의사에게 오인하게 하는 정보를 제공할 수 있다.

따라서, 관상 구조의 네트워크를 통해 내비게이션하기 위한 개선된 기법에 대한 필요성이 존재한다.

일 태양에서, 의료 로봇 시스템(medical robotic system)으로서, 하나 이상의 프로세서들의 세트; 및 프로세서들의 세트와 통신하고, 프로세서들의 세트로 하여금, 환자의 내강 네트워크(luminal network)를 통해 구동되도록 구성되는 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하고, 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트(point of interest)들의 세트를 검출하고, 제1 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하고, 이미지 센서로부터 제2 이미지 데이터를 수신하고, 제2 이미지 데이터에서 하나 이상의 포인트들의 세트를 검출하고, 제2 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하고, 제1 위치들의 세트 및 제2 위치들의 세트에 기초하여, 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하게 하기 위한 컴퓨터-실행가능 명령어들을 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하는, 의료 로봇 시스템이 제공된다.

다른 태양에서, 명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하고; 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출하고; 제1 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하고; 이미지 센서로부터 제2 이미지 데이터를 수신하고; 제2 이미지 데이터에서 하나 이상의 포인트들의 세트를 검출하고; 제2 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하고; 제1 위치들의 세트 및 제2 위치들의 세트에 기초하여, 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체가 제공된다.

또 다른 태양에서, 기구의 위치의 변화를 검출하기 위한 방법으로서, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하는 단계; 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출하는 단계; 제1 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하는 단계; 이미지 센서로부터 제2 이미지 데이터를 수신하는 단계; 제2 이미지 데이터에서 하나 이상의 포인트들의 세트를 검출하는 단계; 제2 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하는 단계; 및 제1 위치들의 세트 및 제2 위치들의 세트에 기초하여, 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하는 단계를 포함하는, 방법이 제공된다.

개시된 태양은, 개시된 태양을 제한하지 않고 예시하기 위해 제공되는 첨부 도면과 함께 본 명세서에 후술될 것이며, 여기에서 유사한 명칭은 유사한 요소를 나타낸다.
도 1a는 일 실시예에 따른 예시적인 수술 로봇 시스템을 도시한 도면.
도 1b 내지 도 1f는 일 실시예에 따른, 도 1a에 도시된 수술 로봇 시스템에 결합된 로봇 플랫폼의 다양한 사시도를 도시한 도면.
도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템을 위한 예시적인 명령 콘솔(command console)을 도시한 도면.
도 3a는 일 실시예에 따른, 도 1a에 도시된 기구 장치 조작기(instrument device manipulator, IDM)의 예시적인 독립적인 구동 메커니즘(independent drive mechanism)의 등각도를 도시한 도면.
도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(strain gauge)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한 도면.
도 4a는 일 실시예에 따른 예시적인 내시경의 평면도를 도시한 도면.
도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경의 예시적인 내시경 팁(endoscope tip)을 도시한 도면.
도 5는 일 실시예에 따른, 수술 로봇 시스템 내에 포함된 EM 추적 시스템의 예시적인 개략적인 구성을 도시한 도면.
도 6a 및 도 6b는 일 실시예에 따른, 해부학적 내강 및 해부학적 내강의 예시적인 3D 모델을 도시한 도면.
도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델을 도시한 도면.
도 8a 내지 도 8d는 일 실시예에 따른, 관상 네트워크를 통한 경로의 3D 모델에 대한 EM 시스템의 온-더-플라이 정합(on-the-fly registration)을 예시한 예시적인 그래프를 도시한 도면.
도 8e 및 도 8f는 일 실시예에 따른, 분지 관상 네트워크(branched tubular network)의 3D 모델에 대한 EM 시스템의 예시적인 정합의 효과를 도시한 도면.
도 9a는 일 실시예에 따른, 내비게이션 구성 시스템의 예시적인 블록도의 상위 수준의 개요(high-level overview)를 도시한 도면.
도 9b는 일 실시예에 따른, 도 9a에 도시된 내비게이션 모듈의 예시적인 블록도를 도시한 도면.
도 9c는 일 실시예에 따른, 상태 추정기(state estimator) 내에 포함된 추정 상태 데이터 저장소(estimated state data store)의 예시적인 블록도를 도시한 도면.
도 10a는 본 개시의 태양에 따른 운동 추정 모듈(motion estimation module)의 예시적인 블록도를 도시한 도면.
도 10b는 일례에 따른 객체 검출 모듈(object detection module)의 예시적인 블록도를 도시한 도면.
도 10c는 일 실시예에 따른 객체 매핑 모듈(object mapping module)의 예시적인 블록도를 도시한 도면.
도 10d는 일 실시예에 따른 위상 추론 모듈(topological reasoning module)의 예시적인 블록도를 도시한 도면.
도 11a 및 도 11b는 일 실시예에 따른, 객체 매핑 모듈에 의해 수행되는 예시적인 객체-대-내강 매핑을 도시한 도면.
도 12는 본 개시의 태양에 따른, 생리학적 잡음(physiological noise)을 검출하기 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도.
도 13a는 본 개시의 태양에 따른, 제1 시점에서 이미지 센서에 의해 캡처된 예시적인 이미지 데이터를 예시한 도면.
도 13b는 본 개시의 태양에 따른, 제1 시점 후에, 제2 시점에서 이미지 센서에 의해 캡처된 이미지 데이터의 다른 예를 예시한 도면.
도 13c는 본 개시의 태양에 따른, 도 13a 및 도 13b에 예시된 이미지 데이터 프레임(image data frame)들 사이의 예시적인 픽셀의 위치의 변화의 예를 예시한 도면.
도 13d는 본 개시의 태양에 따른, 도 13a 및 도 13b에 예시된 이미지 데이터 프레임들 사이의 예시적인 픽셀의 위치의 변화의 다른 예를 예시한 도면.
도 14a 및 도 14b는 본 개시의 태양에 따른, 스케일 변화 값(scale change value)이 축적될 수 있는 이미지 데이터 프레임들의 시퀀스 내의 2개의 이미지 데이터 프레임의 예를 예시한 도면.
도 15a 및 도 15b는 본 개시의 태양에 따른, 이미지 데이터 프레임들의 시퀀스에 걸친 축적된 스케일 변화 값에 대한 변화를 예시한 그래프.
이제, 그 예가 첨부 도면에 예시된 여러 실시예를 상세히 참조할 것이다. 실행가능한 경우는 언제나, 유사하거나 동일한 도면 부호가 도면에 사용될 수 있으며, 유사하거나 동일한 기능을 나타낼 수 있다는 것에 유의한다. 도면은 단지 예시를 위해 기술된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 하기 설명으로부터, 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 본 명세서에서 기술된 원리로부터 벗어남이 없이 채용될 수 있음을 용이하게 인식할 것이다.

I. 수술 로봇 시스템

도 1a는 일 실시예에 따른 예시적인 수술 로봇 시스템(100)을 도시한다. 수술 로봇 시스템(100)은 하나 이상의 로봇 아암(robotic arm), 예컨대 로봇 아암(102)에 결합되는 기부(101)를 포함한다. 기부(101)는 섹션 II. 명령 콘솔에서 도 2를 참조하여 추가로 기술되는 명령 콘솔에 통신가능하게 결합된다. 기부(101)는 의사와 같은 사용자가 명령 콘솔에서 편안하게 수술 로봇 시스템(100)을 제어할 수 있는 상태에서, 로봇 아암(102)이 환자에게 수술 절차를 수행하기 위해 접근할 수 있도록 위치될 수 있다. 일부 실시예에서, 기부(101)는 환자를 지지하기 위한 수술 테이블(table) 또는 베드(bed)에 결합될 수 있다. 명확성을 위해 도 1에 도시되지 않지만, 기부(101)는 제어 전자장치, 공압장치, 전원, 광원 등과 같은 서브시스템을 포함할 수 있다. 로봇 아암(102)은 조인트(joint)(111)에서 결합되는 다수의 아암 세그먼트(110)를 포함하며, 이는 로봇 아암(102)에 다중 자유도(degree of freedom), 예컨대 7개의 아암 세그먼트에 대응하는 7 자유도를 제공한다. 기부(101)는 전원(112), 공압부(113), 및 제어 및 센서 전자장치(114) - 중앙 처리 유닛, 데이터 버스, 제어 회로, 및 메모리와 같은 구성요소를 포함함 - 와 관련 액추에이터(actuator), 예컨대 모터를 포함하여 로봇 아암(102)을 이동시킬 수 있다. 기부(101) 내의 전자장치(114)는 또한 명령 콘솔로부터 전달되는 제어 신호를 처리하고 전송할 수 있다.

일부 실시예에서, 기부(101)는 수술 로봇 시스템(100)을 이송시키기 위한 휠(wheel)(115)을 포함한다. 수술 로봇 시스템(100)의 이동성은 수술실의 공간 제약을 수용할 뿐만 아니라 수술 장비의 적절한 위치설정 및 이동을 용이하게 하는 데 도움을 준다. 또한, 이동성은 로봇 아암(102)이 환자, 의사, 마취과 의사, 또는 임의의 다른 장비와 간섭되지 않도록 로봇 아암(102)이 구성되는 것을 허용한다. 절차 동안, 사용자가 제어 장치, 예컨대 명령 콘솔을 사용하여 로봇 아암(102)을 제어할 수 있다.

일부 실시예에서, 로봇 아암(102)은 브레이크(brake) 및 카운터-밸런스(counter-balance)의 조합을 사용하여 로봇 아암(102)의 위치를 유지시키는 셋업 조인트(set up joint)를 포함한다. 카운터-밸런스는 가스 스프링 또는 코일 스프링을 포함할 수 있다. 브레이크, 예컨대 고장 안전 브레이크(fail safe brake)는 기계 및/또는 전기 구성요소를 포함할 수 있다. 또한, 로봇 아암(102)은 중력-보조식 수동형 지지(gravity-assisted passive support) 유형 로봇 아암일 수 있다.

각각의 로봇 아암(102)은 메커니즘 체인저 인터페이스(mechanism changer interface, MCI)(116)를 사용하여 기구 장치 조작기(IDM)(117)에 결합될 수 있다. IDM(117)은 제거되고 상이한 유형의 IDM으로 교체될 수 있는데, 예를 들어 제1 유형의 IDM이 내시경을 조작하는 한편, 제2 유형의 IDM이 복강경을 조작한다. MCI(116)는 로봇 아암(102)으로부터 IDM(117)으로 공압, 전력, 전기 신호, 및 광학 신호를 전달하는 커넥터를 포함한다. MCI(116)는 세트 스크류 또는 기부 플레이트 커넥터일 수 있다. IDM(117)은 수술 기구, 예컨대 내시경(118)을, 직접 구동, 고조파 구동(harmonic drive), 기어식 구동, 벨트 및 풀리, 자기 구동(magnetic drive) 등을 포함하는 기법을 사용하여 조작한다. MCI(116)는 IDM(117)의 유형에 기초하여 교환가능하고, 소정 유형의 수술 절차에 대해 맞춤화될 수 있다. 쿠카 아게(KUKA AG)(등록상표) LBR5 로봇 아암과 같은 로봇 아암(102)은 원위 단부에 리스트(wrist) 및 조인트 레벨 토크 감지부(joint level torque sensing)를 포함할 수 있다.

내시경(118)은 해부학적 구조(예컨대, 신체 조직)의 이미지를 캡처하기 위해 환자의 해부학적 구조 내로 삽입되는 튜브형이고 가요성인 수술 기구이다. 특히, 내시경(118)은 이미지를 캡처하는 하나 이상의 이미징 장치(예컨대, 카메라 또는 다른 유형의 광학 센서)를 포함한다. 이미징 장치는 광섬유, 섬유 어레이, 또는 렌즈와 같은 하나 이상의 광학 구성요소를 포함할 수 있다. 광학 구성요소는 내시경(118)의 팁과 함께 이동하여, 내시경(118)의 팁의 이동이 이미징 장치에 의해 캡처되는 이미지에 대한 변화를 생성하게 한다. 내시경(118)은 섹션 IV. 내시경에서 도 3a 내지 도 4b를 참조하여 추가로 기술된다.

수술 로봇 시스템(100)의 로봇 아암(102)은 세장형 이동 부재를 사용하여 내시경(118)을 조작한다. 세장형 이동 부재는, 풀 또는 푸시 와이어(pull or push wire), 케이블, 섬유, 또는 가요성 샤프트로 또한 지칭되는 풀 와이어를 포함할 수 있다. 예를 들어, 로봇 아암(102)은 내시경(118)에 결합된 다수의 풀 와이어를 작동시켜 내시경(118)의 팁을 편향시킨다. 풀 와이어는 스테인리스 강, 케블라(Kevlar), 텅스텐, 탄소 섬유 등과 같은 금속 및 비-금속 재료 둘 모두를 포함할 수 있다. 내시경(118)은 세장형 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타낼 수 있다. 비선형 거동은 내시경(118)의 강직성 및 압축성뿐만 아니라, 상이한 세장형 이동 부재들 사이의 슬랙(slack) 또는 강직성의 변동에 기초할 수 있다.

도 1b 내지 도 1f는 다양한 실시예에 따른, 로봇 플랫폼(150)(또는 수술 베드)에 결합된 수술 로봇 시스템(100)의 다양한 사시도를 도시한다. 구체적으로, 도 1b는 로봇 아암(102)이 내시경(118)을 조작하여 환자의 신체 내측에 내시경을 삽입하는 수술 로봇 시스템(100)의 측면도를 도시하며, 환자는 로봇 플랫폼(150) 상에 누워 있다. 도 1c는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 평면도를 도시하며, 로봇 아암에 의해 조작되는 내시경(118)은 환자의 신체 내측에 삽입된다. 도 1d는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 내시경(118)은 로봇 플랫폼과 수평으로 평행하게 위치되도록 제어된다. 도 1e는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 다른 사시도를 도시하며, 내시경(118)은 로봇 플랫폼에 비교적 수직으로 위치되도록 제어된다. 더 상세하게는, 도 1e에서, 로봇 플랫폼(150)의 수평 표면과 내시경(118) 사이의 각도는 75도이다. 도 1f는 도 1e에 도시된 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 더 상세하게는, 로봇 플랫폼으로부터 상대적으로 더 멀리 떨어져 위치된 로봇 아암(102)과 내시경의 일 단부(180)를 연결하는 가상 선(160)과 내시경(118) 사이의 각도는 90도이다.

II. 명령 콘솔

도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템(100)을 위한 예시적인 명령 콘솔(200)을 도시한다. 명령 콘솔(200)은 콘솔 기부(201), 디스플레이 모듈(202), 예컨대 모니터, 및 제어 모듈, 예컨대 키보드(203) 및 조이스틱(204)을 포함한다. 일부 실시예에서, 명령 콘솔(200) 기능 중 하나 이상은 수술 로봇 시스템(100)의 기부(101) 또는 수술 로봇 시스템(100)에 통신가능하게 결합된 다른 시스템에 통합될 수 있다. 사용자(205), 예컨대 의사가 명령 콘솔(200)을 사용하여 인체공학적 위치로부터 수술 로봇 시스템(100)을 원격으로 제어한다.

콘솔 기부(201)는 카메라 이미지와 같은 신호의 해석과 처리 및 예컨대 도 1에 도시된 내시경(118)으로부터의 센서 데이터의 추적을 담당하는 중앙 처리 유닛, 메모리 유닛, 데이터 버스, 및 연관 데이터 통신 포트를 포함할 수 있다. 일부 실시예에서, 콘솔 기부(201) 및 기부(101) 둘 모두는 하중-균형(load-balancing)을 위한 신호 처리를 수행한다. 콘솔 기부(201)는 또한 제어 모듈(203, 204)을 통해 사용자(205)에 의해 제공되는 명령 및 명령어를 처리할 수 있다. 도 2에 도시된 키보드(203) 및 조이스틱(204)에 더하여, 제어 모듈은 다른 장치, 예를 들어 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 비디오 게임 제어기, 및 손 제스처와 손가락 제스처를 캡처하는 센서(예컨대, 모션 센서 또는 카메라)를 포함할 수 있다.

사용자(205)는 속도 모드 또는 위치 제어 모드에서 명령 콘솔(200)을 사용하여 내시경(118)과 같은 수술 기구를 제어할 수 있다. 속도 모드에서, 사용자(205)는 제어 모듈을 사용한 직접 수동 제어에 기초하여 내시경(118)의 원위 단부의 피치(pitch) 및 요(yaw) 운동을 직접 제어한다. 예를 들어, 조이스틱(204)에 대한 이동은 내시경(118)의 원위 단부의 요 및 피치 이동에 매핑될 수 있다. 조이스틱(204)은 사용자(205)에게 햅틱 피드백(haptic feedback)을 제공할 수 있다. 예를 들어, 조이스틱(204)은 내시경(118)이 소정 방향으로 추가로 병진하거나 회전할 수 없음을 나타내기 위해 진동한다. 명령 콘솔(200)은 또한 내시경(118)이 최대 병진 또는 회전에 도달하였음을 나타내기 위해 시각 피드백(예컨대, 팝-업 메시지) 및/또는 청각 피드백(예컨대, 비프음(beeping))을 제공할 수 있다.

위치 제어 모드에서, 명령 콘솔(200)은 수술 기구, 예컨대 내시경(118)을 제어하기 위해 환자의 3차원(3D) 맵 및 환자의 사전-결정된 컴퓨터 모델을 사용한다. 명령 콘솔(200)은 내시경(118)을 표적 위치로 조작하기 위해 수술 로봇 시스템(100)의 로봇 아암(102)에 제어 신호를 제공한다. 3D 맵에 대한 의존성으로 인해, 위치 제어 모드는 환자의 해부학적 구조의 정확한 매핑을 필요로 한다.

일부 실시예에서, 사용자(205)는 명령 콘솔(200)을 사용함이 없이 수술 로봇 시스템(100)의 로봇 아암(102)을 수동으로 조작할 수 있다. 수술실에서의 구성 동안, 사용자(205)는 환자에게 접근하기 위해 로봇 아암(102), 내시경(118), 및 다른 수술 장비를 이동시킬 수 있다. 수술 로봇 시스템(100)은 로봇 아암(102) 및 장비의 적절한 구성을 결정하기 위해 사용자(205)로부터의 관성 제어 및 힘 피드백에 의존할 수 있다.

디스플레이 모듈(202)은 전자 모니터, 가상 현실 관찰 장치, 예컨대 고글 또는 안경, 및/또는 다른 디스플레이 장치 수단을 포함할 수 있다. 일부 실시예에서, 디스플레이 모듈(202)은 예를 들어 터치스크린을 갖는 태블릿 장치로서 제어 모듈과 통합된다. 또한, 사용자(205)는 통합된 디스플레이 모듈(202) 및 제어 모듈을 사용하여 데이터를 관찰할 뿐만 아니라 수술 로봇 시스템(100)에 명령을 입력할 수 있다.

디스플레이 모듈(202)은 입체 장치(stereoscopic device), 예컨대 바이저 또는 고글을 사용하여 3D 이미지를 디스플레이할 수 있다. 3D 이미지는 환자의 해부학적 구조를 예시하는 컴퓨터 3D 모델인 "엔도 뷰(endo view)"(즉, 내시경 뷰)를 제공한다. "엔도 뷰"는 환자 내부의 가상 환경 및 환자 내측의 내시경(118)의 예상된 위치를 제공한다. 사용자(205)는 "엔도 뷰" 모델을 카메라에 의해 캡처된 실제 이미지와 비교하여, 마음속으로 배향시키고 내시경(118)이 환자 내에서 정확한 - 또는 대략 정확한 - 위치에 있는지를 확인하는 데 도움을 준다. "엔도 뷰"는 내시경(118)의 원위 단부 주위의 해부학적 구조, 예컨대 환자의 장 또는 결장의 형상에 관한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(118)의 원위 단부 주위의 해부학적 구조의 컴퓨터 단층촬영(CT) 스캔 및 3D 모델을 동시에 디스플레이할 수 있다. 또한, 디스플레이 모듈(202)은 수술전 모델 데이터에 기초하여 생성되는 스캔/이미지(예컨대, CT 스캔) 및 3D 모델 상에 내시경(118)의 이미 결정된 내비게이션 경로를 오버레이할(overlay) 수 있다.

일부 실시예에서, 내시경(118)의 모델이 수술 절차의 상태를 나타내는 데 도움을 주기 위해 3D 모델과 함께 디스플레이된다. 예를 들어, CT 스캔은 생검이 필요할 수 있는 해부학적 구조 내의 병변을 식별한다. 작동 동안, 디스플레이 모듈(202)은 내시경(118)의 현재 위치에 대응하는, 내시경(118)에 의해 캡처된 기준 이미지를 보여줄 수 있다. 디스플레이 모듈(202)은 사용자 설정 및 특정 수술 절차에 따라 내시경(118)의 모델의 상이한 뷰를 자동으로 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(202)은 내시경(118)이 환자의 수술 영역에 접근함에 따라 내비게이션 단계 동안 내시경(118)의 오버헤드 형광투시 뷰(overhead fluoroscopic view)를 보여준다.

III. 기구 장치 조작기

도 3a는 일 실시예에 따른, 도 1에 도시된 IDM(117)의 예시적인 독립적인 구동 메커니즘의 등각도를 도시한다. 독립적인 구동 메커니즘은 각각 IDM(117)의 출력 샤프트(305, 306, 307, 308)를 회전시킴으로써 내시경의 풀 와이어(321, 322, 323, 324)를 (예컨대, 서로 독립적으로) 팽팽하게 하거나 느슨하게 할 수 있다. 출력 샤프트(305, 306, 307, 308)가 각도 운동을 통해 각각 풀 와이어(321, 322, 323, 324)를 따라 힘을 전달하는 것처럼, 풀 와이어(321, 322, 323, 324)는 힘을 다시 출력 샤프트로 전달한다. IDM(117) 및/또는 수술 로봇 시스템(100)은 센서, 예컨대 추가로 후술되는 스트레인 게이지를 사용하여 전달된 힘을 측정할 수 있다.

도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(334)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한다. 힘(331)이 모터(337)의 모터 마운트(333)에 결합된 출력 샤프트(305)로부터 멀어지게 지향될 수 있다. 따라서, 힘(331)은 모터 마운트(333)의 수평 변위를 생성한다. 또한, 모터 마운트(333)에 수평으로 결합된 스트레인 게이지(334)는 힘(331)의 방향으로 변형(strain)을 겪는다. 변형은 스트레인 게이지(334)의 전체 수평 폭(336)에 대한 스트레인 게이지(334)의 팁(335)의 수평 변위의 비로서 측정될 수 있다.

일부 실시예에서, IDM(117)은 IDM(117)의 배향을 결정하기 위해 추가 센서, 예컨대 경사계 또는 가속도계를 포함한다. 추가 센서 및/또는 스트레인 게이지(334)로부터의 측정치에 기초하여, 수술 로봇 시스템(100)은 중력 하중 효과를 처리하기 위해 스트레인 게이지(334)로부터의 판독치를 교정할 수 있다. 예를 들어, IDM(117)이 IDM(117)의 수평측으로 배향되는 경우, IDM(117)의 소정 구성요소의 중량은 모터 마운트(333)에 대해 변형을 유발할 수 있다. 따라서, 중력 하중 효과를 처리하지 않으면, 스트레인 게이지(334)는 출력 샤프트에 대한 변형으로부터 생성되지 않은 변형을 측정할 수 있다.

IV. 내시경

도 4a는 일 실시예에 따른 예시적인 내시경(118)의 평면도를 도시한다. 내시경(118)은, 시스(sheath)(411) 튜브형 구성요소 내측에 포개지거나 부분적으로 포개지고 그와 길이방향으로 정렬되는 리더(leader)(415) 튜브형 구성요소를 포함한다. 시스(411)는 근위 시스 섹션(412) 및 원위 시스 섹션(413)을 포함한다. 리더(415)는 시스(411)보다 작은 외경을 갖고, 근위 리더 섹션(416) 및 원위 리더 섹션(417)을 포함한다. 시스 기부(414) 및 리더 기부(418)는, 예를 들어 수술 로봇 시스템(100)의 사용자로부터의 제어 신호에 기초하여, 각각 원위 시스 섹션(413) 및 원위 리더 섹션(417)을 작동시킨다. 시스 기부(414) 및 리더 기부(418)는 예컨대 도 1에 도시된 IDM(117)의 일부이다.

시스 기부(414) 및 리더 기부(418) 둘 모두는 시스(411) 및 리더(415)에 결합된 풀 와이어를 제어하기 위한 구동 메커니즘(예컨대, 섹션 III. 기구 장치 조작기에서 도 3a 및 도 3b를 참조하여 추가로 기술되는 독립적인 구동 메커니즘)을 포함한다. 예를 들어, 시스 기부(414)는 원위 시스 섹션(413)을 편향시키기 위해 시스(411)에 결합된 풀 와이어에 인장 하중을 생성한다. 유사하게, 리더 기부(418)는 원위 리더 섹션(417)을 편향시키기 위해 리더(415)에 결합된 풀 와이어에 인장 하중을 생성한다. 시스 기부(414) 및 리더 기부(418) 둘 모두는 또한 각각 IDM으로부터 시스(411) 및 리더(414)로의 공압, 전력, 전기 신호, 또는 광학 신호의 라우팅을 위한 커플링을 포함할 수 있다. 풀 와이어가 시스(411) 또는 리더(415) 내에서 풀 와이어의 길이를 따라 강철 코일 파이프를 포함할 수 있으며, 이는 축방향 압축을 다시 하중의 시점, 예컨대 각각 시스 기부(414) 또는 리더 기부(418)로 전달한다.

내시경(118)은 시스(411) 및 리더(415)에 결합된 풀 와이어에 의해 제공되는 다중 자유도로 인해 용이하게 환자의 해부학적 구조를 내비게이션할 수 있다. 예를 들어, 4개 이상의 풀 와이어가 시스(411) 및/또는 리더(415)에 사용되어, 8 이상의 자유도를 제공할 수 있다. 다른 실시예에서, 최대 3개의 풀 와이어가 사용되어, 최대 6 자유도를 제공할 수 있다. 시스(411) 및 리더(415)는 길이방향 축(406)을 따라 최대 360도 회전되어, 더 많은 운동도(degree of motion)를 제공할 수 있다. 회전 각도 및 다중 자유도의 조합은 수술 로봇 시스템(100)의 사용자에게 내시경(118)의 사용자 친화적이고 직관적인 제어를 제공한다.

도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경(118)의 예시적인 내시경 팁(430)을 예시한다. 도 4b에서, 내시경 팁(430)은 이미징 장치(431)(예컨대, 카메라), 조명원(432), 및 EM 코일(434)의 단부를 포함한다. 조명원(432)은 해부학적 공간의 내부 부분을 조명하기 위한 광을 제공한다. 제공된 광은 이미징 장치(431)가 그러한 공간의 이미지를 기록하도록 허용하며, 이는 이어서 본 명세서에 기술된 바와 같은 처리를 위해 명령 콘솔(200)과 같은 컴퓨터 시스템으로 전송될 수 있다. 팁(430) 상에 위치된 전자기(electromagnetic, EM) 코일(434)은 내시경 팁(430)의 위치 및 배향을, 그것이 해부학적 시스템 내에 배치된 상태에서 검출하도록 EM 추적 시스템과 함께 사용될 수 있다. 일부 실시예에서, 코일은 상이한 축을 따라 EM 필드(field)에 대한 감도를 제공하도록 경사져, 최대 6 자유도: 3개의 위치 및 3개의 각도를 측정하는 능력을 제공할 수 있다. 다른 실시예에서, 단일 코일만이, 그의 축이 내시경(118)의 내시경 샤프트를 따라 배향된 상태로, 내시경 팁(430) 내에 배치될 수 있으며; 그러한 시스템의 회전 대칭성으로 인해, 그것은 그의 축을 중심으로 하는 롤(roll)에 민감하지 않고, 따라서 그러한 경우에 5 자유도만이 검출될 수 있다. 내시경 팁(430)은, 생검 바늘과 같은 수술 기구가 그것을 통해 내시경 샤프트를 따라 삽입되어 내시경 팁 부근의 영역에 대한 접근을 허용할 수 있는 작업 채널(436)을 추가로 포함한다.

V. 3D 모델에 대한 EM 시스템의 정합 변환(registration Transform)

V. A. EM 추적 시스템의 개략적인 구성

도 5는 일 실시예에 따른, 수술 로봇 시스템(500) 내에 포함된 EM 추적 시스템(505)의 예시적인 개략적인 구성을 도시한다. 도 5에서, 다수의 로봇 구성요소(예컨대, 후술되는 바와 같은 윈도우 필드 발생기(window field generator), 기준 센서)가 EM 추적 시스템(505) 내에 포함된다. 로봇 수술 시스템(500)은 환자의 신체를 유지시키기 위한 수술 베드(511)를 포함한다. EM 코일들(예컨대, 도 4b에 도시된 EM 코일들(434))의 세트를 순차적으로 활성화시키도록 구성되는 윈도우 필드 발생기(WFG)(512)가 베드(511) 아래에 있다. WFG(512)는 넓은 체적에 걸쳐 교류(AC) 자기 필드를 생성하는데; 예를 들어 일부 경우에, 그것은 약 0.5 × 0.5 × 0.5 m의 체적 내에 AC 필드를 생성할 수 있다.

추가 필드가 신체 내의 기구를 추적하는 데 도움을 주기 위해 추가 필드 발생기에 의해 인가될 수 있다. 예를 들어, 평면형 필드 발생기(planar field generator, PFG)가 환자에 인접한 시스템 아암에 부착되고 EM 필드를 일정 각도로 제공하도록 배향될 수 있다. 기준 센서(513)는 추적 정확도를 추가로 증가시키기 위해 국소 EM 필드를 제공하도록 환자의 신체 상에 배치될 수 있다. 기준 센서들(513) 각각은 케이블(514)에 의해 명령 모듈(515)에 부착될 수 있다. 케이블(514)은 그들 각각의 장치와의 통신을 취급할 뿐만 아니라 전력을 제공하는 인터페이스 유닛(516)을 통해 명령 모듈(515)에 연결된다. 인터페이스 유닛(516)은 위에서 언급된 다양한 엔티티에 대한 전체 인터페이스 제어기로서 작용하는 시스템 제어 유닛(system control unit, SCU)(517)에 결합된다. SCU(517)는 또한 필드 발생기(예컨대, WFG(512))를 구동시킬 뿐만 아니라, 인터페이스 유닛(516)으로부터의 센서 데이터를 수집하며, 이로부터 SCU가 신체 내의 센서의 위치 및 배향을 계산한다. SCU(517)는 사용자 액세스 및 제어를 허용하도록 개인용 컴퓨터(PC)(518)에 결합될 수 있다.

명령 모듈(515)은 또한 본 명세서에 기술된 바와 같이 수술 로봇 시스템(500)에 결합되는 다양한 IDM(519)에 연결된다. IDM(519)은 전형적으로 단일 수술 로봇 시스템(예컨대, 수술 로봇 시스템(500))에 결합되고, 그들 각각의 연결된 로봇 구성요소; 예를 들어, 로봇 내시경 도구 또는 로봇 아암을 제어하고 그로부터 데이터를 수신하기 위해 사용된다. 전술된 바와 같이, 예로서, IDM(519)은 수술 로봇 시스템(500)의 내시경 도구(여기에 도시되지 않음)에 결합된다.

명령 모듈(515)은 내시경 도구로부터 전달된 데이터를 수신한다. 수신된 데이터의 유형은 부착된 기구의 대응하는 유형에 의존한다. 예를 들어, 예시적인 수신된 데이터는 센서 데이터(예컨대, 이미지 데이터, EM 데이터), 로봇 데이터(예컨대, 내시경 및 IDM 물리적 운동 데이터), 제어 데이터, 및/또는 비디오 데이터를 포함한다. 비디오 데이터를 더 양호하게 취급하기 위해, 필드-프로그래머블 게이트 어레이(field-programmable gate array, FPGA)(520)가 이미지 처리를 취급하도록 구성될 수 있다. 다양한 센서, 장치, 및 필드 발생기로부터 획득된 데이터를 비교하는 것은 SCU(517)가 수술 로봇 시스템(500)의 상이한 구성요소의 이동, 및 예를 들어 이들 구성요소의 위치 및 배향을 정밀하게 추적하도록 허용한다.

환자의 해부학적 구조를 통해 센서를 추적하기 위해, EM 추적 시스템(505)은 "정합"으로 알려진 프로세스를 필요로 할 수 있으며, 여기에서 시스템은 상이한 좌표계들 사이에서 단일 객체를 정렬시키는 기하학적 변환을 발견한다. 예를 들어, 환자 상의 특정 해부학적 부위가 3D 모델 좌표에서 그리고 EM 센서 좌표에서 2개의 상이한 표현을 갖는다. 이들 2개의 상이한 좌표계들 사이의 일관성 및 공통 언어를 확립할 수 있도록 하기 위해, EM 추적 시스템(505)은 이들 2개의 표현을 링크시키는 변환, 즉 정합을 발견하여야 한다. 예를 들어, EM 필드 발생기의 위치에 대한 EM 추적기의 위치는 대응하는 3D 모델 내에서의 위치를 격리시키기 위해 3D 좌표계에 매핑될 수 있다.

V. B. 3D 모델 표현

도 6a 및 도 6b는 일 실시예에 따른, 해부학적 내강(600) 및 해부학적 내강의 예시적인 3D 모델(620)을 도시한다. 더 구체적으로는, 도 6a 및 도 6b는 실제 해부학적 내강(600)과 그의 3D 모델(620) 사이의 중심선 좌표, 직경 측정치 및 해부학적 공간의 관계를 예시한다. 도 6a에서, 해부학적 내강(600)은 중심선 좌표(601, 602, 603, 604, 605, 606)에 의해 길이방향으로 대략적으로 추적되며, 여기에서 각각의 중심선 좌표는 내강의 단층촬영 슬라이스(tomographic slice)의 중심에 대략적으로 근사화된다. 중심선 좌표는 중심선(607)에 의해 연결되고 시각화된다. 내강의 체적은 각각의 중심선 좌표에서 내강의 직경을 측정함으로써 추가로 시각화될 수 있는데, 예컨대 좌표(608, 609, 610, 611, 612, 613)는 좌표(601, 602, 603, 604, 605, 606)에 대응하는 내강(600)의 측정치를 나타낸다.

도 6b는 일 실시예에 따른, 도 6a에 도시된 해부학적 내강(600)의 예시적인 3D 모델(620)을 도시한다. 도 6b에서, 해부학적 내강(600)은 먼저 중심선(607)에 기초하여 3D 공간에서 중심선 좌표(601, 602, 603, 604, 605, 606)의 위치를 찾아냄으로써 3D 공간에서 시각화된다. 일례로서, 각각의 중심선 좌표에서, 내강 직경은 직경(608, 609, 610, 611, 612, 613)을 가진 2D 원형 공간(예컨대, 2D 원형 공간(630))으로서 시각화된다. 3D 공간을 형성하기 위해 그들 2D 원형 공간을 연결함으로써, 해부학적 내강(600)은 3D 모델(620)로서 근사화되고 시각화된다. 더 정확한 근사화는 중심선 좌표 및 측정치의 해상도를 증가시킴으로써, 즉 주어진 내강 또는 서브섹션에 대한 중심선 좌표 및 측정치의 밀도를 증가시킴으로써 결정될 수 있다. 중심선 좌표는 또한 병변을 포함하여 의사에 대한 관심 대상의 포인트를 나타내도록 마커를 포함할 수 있다.

일부 실시예에서, 수술전 소프트웨어 패키지가 또한 해부학적 공간의 생성된 3D 모델에 기초하여 내비게이션 경로를 분석하고 도출하는 데 사용된다. 예를 들어, 소프트웨어 패키지는 단일 병변으로의(중심선 좌표에 의해 마킹됨) 또는 여러 병변으로의 최단 내비게이션 경로를 도출할 수 있다. 이러한 내비게이션 경로는 조작자의 선호도에 따라 2차원 또는 3차원으로 수술중에 조작자에게 제시될 수 있다. 소정 구현예에서, 내비게이션 경로(또는 그의 일부분)는 조작자에 의해 수술전에 선택될 수 있다. 경로 선택은 환자의 해부학적 구조 내의 하나 이상의 표적 위치(간단히 "표적"으로 또한 지칭됨)의 식별을 포함할 수 있다.

도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델(700)을 도시한다. 도 6a 및 도 6b에서 위에서 논의된 바와 같이, 3D 모델(700)은 수술전에 생성된 CT 스캔을 검토함으로써 획득된 중심선(701)을 사용하여 생성될 수 있다. 일부 실시예에서, 컴퓨터 소프트웨어는 3D 모델(700) 내의 수술 부위(703)(또는 다른 표적)에 접근하기 위해 관상 네트워크 내에서 내비게이션 경로(702)를 매핑하는 것이 가능할 수 있다. 일부 실시예에서, 수술 부위(703)는 개별 중심선 좌표(704)에 링크될 수 있으며, 이는 컴퓨터 알고리즘이 관상 네트워크 내에서의 최적 경로(702)에 대한 3D 모델(700)의 중심선 좌표를 위상적으로(topologically) 검색하도록 허용한다. 소정 실시예에서, 경로(702)에 대한 위상 검색은 하나 이상의 표적의 위치, 하나 이상의 웨이포인트(waypoint) 등과 같은, 소정의 조작자 선택 파라미터에 의해 제약될 수 있다.

일부 실시예에서, 환자의 해부학적 구조 내에서의 내시경 도구의 원위 단부는 추적되고, 환자의 해부학적 구조 내에서의 내시경 도구의 추적된 위치는 매핑되어 컴퓨터 모델 내에 배치되고, 이는 관상 네트워크의 내비게이션 능력을 향상시킨다. 내시경 도구의 원위 작업 단부, 즉 작업 단부의 위치 및 배향을 추적하기 위해, 다수의 접근법이 개별적으로 또는 조합으로 채용될 수 있다.

위치결정에 대한 센서-기반 접근법에서, EM 추적기와 같은 센서가 내시경 도구의 진행의 실시간 표시를 제공하기 위해 내시경 도구의 원위 작업 단부에 결합될 수 있다. EM-기반 추적에서, 내시경 도구 내에 매립된 EM 추적기가 하나 이상의 EM 전송기에 의해 생성되는 전자기 필드의 변동을 측정한다. 전송기(또는 필드 발생기)는 저 강도 자기 필드를 생성하기 위해 (예컨대, 수술 베드의 일부로서) 환자에 가깝게 배치될 수 있다. 이는 EM 추적기 내의 센서 코일에 소-전류(small-current)를 유도하며, 이는 센서와 발생기 사이의 거리 및 각도에 상관된다. 전기 신호는 이어서 인터페이스 유닛(온-칩(on-chip) 또는 PCB)에 의해 디지털화되고 케이블/배선을 통해 다시 시스템 카트(system cart)로 그리고 이어서 명령 모듈로 송신될 수 있다. 데이터는 이어서 현재 데이터를 해석하고 전송기에 대한 센서의 정확한 위치 및 배향을 계산하도록 처리될 수 있다. 다수의 센서가 내시경 도구 내의 상이한 위치에, 예를 들어 리더 및 시스 내에 사용하여 그들 구성요소의 개별 위치를 계산할 수 있다. 따라서, 인위적으로 생성된 EM 필드로부터의 판독치에 기초하여, EM 추적기는 그것이 환자의 해부학적 구조를 통해 이동함에 따라 필드 강도의 변화를 검출할 수 있다.

V. C. 온-더-플라이 EM 정합

도 8a 내지 도 8d는 일 실시예에 따른, 관상 네트워크를 통한 경로의 3D 모델에 대한 EM 시스템의 온-더-플라이 정합을 예시한 예시적인 그래프(810 내지 840)를 도시한다. 본 명세서에 기술된 내비게이션 구성 시스템은 내시경 절차 전에 독립적인 정합을 필요로 함이 없이 3D 모델 좌표에 대한 EM 좌표의 온-더-플라이 정합을 허용한다. 더 상세하게는, 도 8a는 EM 추적 시스템 및 3D 모델의 좌표계가 초기에 서로 정합되지 않은 것을 도시하며, 도 8a의 그래프(810)는 분지 관상 네트워크(여기에 도시되지 않음)를 통해 계획된 내비게이션 경로(802)를 따라 이동하는 내시경 팁(801)의 정합된(또는 예상된) 위치를 보여주고, 기구 팁(801)의 정합된 위치 및 계획된 경로(802)는 3D 모델로부터 도출된다. 팁의 실제 위치는 EM 추적 시스템(505)에 의해 반복적으로 측정되어, EM 데이터에 기초하는 다수의 측정된 위치 데이터 포인트(803)를 생성한다. 도 8a에 도시된 바와 같이, EM 추적으로부터 도출되는 데이터 포인트(803)는 초기에 3D 모델로부터 예상되는 내시경 팁(801)의 정합된 위치로부터 멀리 위치되어, EM 좌표와 3D 모델 좌표 사이의 정합의 결여를 반영한다. 이에 대해 여러 이유가 있을 수 있는데, 예를 들어 내시경 팁이 관상 네트워크를 통해 비교적 원활하게 이동되고 있는 경우에도, 환자의 폐의 호흡 이동으로 인해, EM 측정에서 여전히 일부 가시적인 산란이 있을 수 있다.

3D 모델 상의 포인트는 또한 3D 모델 자체, 광학 센서(예컨대, 카메라)로부터 수신된 이미지 데이터 및 로봇 명령으로부터의 로봇 데이터 사이의 상관관계에 기초하여 결정되고 조절될 수 있다. 이들 포인트와 수집된 EM 데이터 포인트 사이의 3D 변환은 3D 모델 좌표계에 대한 EM 좌표계의 초기 정합을 결정할 것이다.

도 8b는 일 실시예에 따른, 그래프(810)와 비교한 이후 시간 단계에서의 그래프(820)를 도시한다. 더 구체적으로는, 그래프(820)는, 도 8a에 도시된 기구 팁(801)의 원래 예상된 위치로부터 도 8b에 도시된 위치로의 경로를 따른 이동에 의해 예시된 바와 같이, 3D 모델로부터 예상되는 내시경 팁(801)의 예상된 위치가 사전계획된 내비게이션 경로(802)를 따라 더 멀리 이동된 것을 보여준다. 그래프(810)의 생성과 그래프(820)의 생성 사이의 EM 추적 동안, 추가 데이터 포인트(803)가 EM 추적 시스템에 의해 기록되었지만, 정합은 새롭게 수집된 EM 데이터에 기초하여 아직 업데이트되지 않았다. 그 결과, 도 8b의 데이터 포인트(803)는 가시적인 경로(814)를 따라 군집화되지만(clustered), 그러한 경로는 내시경 팁이 조작자에 의해 그것을 따라 이동하도록 지향되고 있는 계획된 내비게이션 경로(802)로부터 위치 및 배향이 상이하다. 궁극적으로, 일단 충분한 데이터(예컨대, EM 데이터)가 축적되면, 3D 모델만을 또는 EM 데이터만을 사용하는 것과 비교하여, 상대적으로 더 정확한 추정치가 EM 좌표를 3D 모델의 좌표에 정합시키는 데 필요한 변환으로부터 도출될 수 있다. 충분한 데이터의 결정은 축적된 총 데이터 또는 방향의 변화의 수와 같은 임계 기준에 의해 이루어질 수 있다. 예를 들어, 기관지 네트워크와 같은 분지 관상 네트워크에서, 2개의 분지부 지점(branch point)에 도달한 후에 충분한 데이터가 축적된 것으로 판단될 수 있다.

도 8c는 일 실시예에 따른, 내비게이션 구성 시스템이 EM으로부터 3D 모델 좌표로의 정합 변환을 추정하기 위해 충분한 양의 데이터를 축적한 직후의 그래프(830)를 도시한다. 도 8c의 데이터 포인트(803)는 이제 정합 변환의 결과로서 도 8b에 도시된 바와 같은 그들의 이전 위치로부터 이동되었다. 도 8c에 도시된 바와 같이, EM 데이터로부터 도출되는 데이터 포인트(803)는 이제 3D 모델로부터 도출되는 계획된 내비게이션 경로(802)를 따라 놓이고, 데이터 포인트들(803) 중의 각각의 데이터 포인트는 이제 3D 모델의 좌표계에서의 내시경 팁(801)의 예상된 위치의 측정치를 반영한다. 일부 실시예에서, 추가 데이터가 수집됨에 따라, 정합 변환은 정확도를 증가시키기 위해 업데이트될 수 있다. 일부 경우에, 정합 변환을 결정하는 데 사용되는 데이터는 이동하는 윈도우에 의해 선택된 데이터의 서브세트일 수 있고, 따라서 정합은 시간 경과에 따라 변화할 수 있으며, 이는 예를 들어 환자의 이동으로 인해, EM 및 3D 모델의 상대 좌표의 변화를 처리하는 능력을 제공한다.

도 8d는 일 실시예에 따른, 내시경 팁(801)의 예상된 위치가 계획된 내비게이션 경로(802)의 종단부에 도달하여, 관상 네트워크 내의 표적 위치에 도달한 예시적인 그래프(840)를 도시한다. 도 8d에 도시된 바와 같이, 기록된 EM 데이터 포인트(803)는 이제 전반적으로 계획된 내비게이션 경로(802)를 따라 추적하고, 이는 절차 전체에 걸친 내시경 팁의 추적을 나타낸다. 각각의 데이터 포인트는 3D 모델에 대한 EM 추적 시스템의 업데이트된 정합으로 인한 변환된 위치를 반영한다.

일부 실시예에서, 도 8a 내지 도 8d에 도시된 그래프들 각각은 내시경 팁이 관상 네트워크 내에서 전진됨에 따라 사용자에게 가시적인 디스플레이 상에 순차적으로 보여질 수 있다. 일부 실시예에서, 프로세서는 사용자가 고정된 기준 프레임(frame of reference)을 유지시키도록 그리고 디스플레이 상에 보여지는 계획된 경로 상에서 그리고 모델 상에서 시각적으로 배향되어 유지되도록 허용하기 위해 측정된 데이터 포인트가 디스플레이 상에 보여지는 측정된 경로의 이동에 의해 디스플레이에 정합될 때 디스플레이 상에 보여지는 모델이 실질적으로 고정되어 유지되도록 하는 내비게이션 구성 시스템으로부터의 명령어로 구성될 수 있다.

도 8e 및 도 8f는 일 실시예에 따른, 분지 관상 네트워크의 3D 모델에 대한 EM 시스템의 예시적인 정합의 효과를 도시한다. 도 8e 및 도 8f에서, 전자기 추적 데이터(852) 및 환자의 기관지 시스템(854)의 모델을 보여주는 3D 그래프가 정합 변환 없이(도 8e에 도시됨) 그리고 정합 변환을 갖고서(도 8f에 도시됨) 예시되어 있다. 도 8e에서, 정합 없이, 추적 데이터(860)는 기관지 시스템(854)을 통한 경로에 대응하는 형상을 갖지만, 그러한 형상은 임의적인 오프셋 및 회전을 받는다. 도 8f에서, 정합을 적용함으로써, 추적 데이터(852)는 이동되고 회전되어, 그들은 기관지 시스템(854)을 통한 경로에 대응한다.

VI. 내비게이션 구성 시스템

VI. A. 내비게이션 구성 시스템의 상위 수준의 개요

도 9a 내지 도 9c는 일 실시예에 따른, 내비게이션 구성 시스템(900)의 예시적인 블록도를 도시한다. 더 구체적으로는, 도 9a는 일 실시예에 따른, 내비게이션 구성 시스템(900)의 예시적인 블록도의 상위 수준의 개요를 도시한다. 도 9a에서, 내비게이션 구성 시스템(900)은 다수의 입력 데이터 저장소, 다수의 입력 데이터 저장소로부터 다양한 유형의 입력 데이터를 수신하는 내비게이션 모듈(905), 및 내비게이션 모듈로부터 출력 내비게이션 데이터를 수신하는 출력 내비게이션 데이터 저장소(990)를 포함한다. 도 9a에 도시된 내비게이션 구성 시스템(900)의 블록도는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 내비게이션 구성 시스템(900)은 상이한 및/또는 추가 엔티티를 포함할 수 있다. 마찬가지로, 시스템(900)의 다양한 엔티티에 의해 수행되는 기능은 상이한 실시예에 따라 상이할 수 있다. 내비게이션 구성 시스템(900)은 전체적으로 본 명세서에 참고로 포함되는, 2017년 3월 23일자로 공개된 미국 특허 공개 제2017/0084027호에 기술된 내비게이션 시스템과 유사할 수 있다.

본 명세서에 사용되는 바와 같이, 입력 데이터는 출력 내비게이션 데이터뿐만 아니라 내시경에 대한 추정 상태 정보를 생성하기 위해 입력 장치(예컨대, 명령 모듈, 광학 센서, EM 센서, IDM)로부터 수집되고/되거나 그에 의해 처리된 원시 데이터를 지칭한다. 다수의 입력 데이터 저장소(910 내지 940)는 이미지 데이터 저장소(910), EM 데이터 저장소(920), 로봇 데이터 저장소(930), 및 3D 모델 데이터 저장소(940)를 포함한다. 입력 데이터 저장소(910 내지 940)의 각각의 유형은 내비게이션 모듈(905)에 의한 액세스 및 사용을 위한 명칭이 지시하는 유형의 데이터를 저장한다. 이미지 데이터는 기구 팁에서 이미징 장치에 의해 캡처된 하나 이상의 이미지 프레임뿐만 아니라, 프레임들의 쌍들 사이에서 경과된 시간의 결정을 허용하는 타임스탬프 또는 프레임 레이트와 같은 정보를 포함할 수 있다. 로봇 데이터는 관상 네트워크 내에서의 의료 기구 또는 의료 기구의 일부(예컨대, 기구 팁 또는 시스)의 물리적 이동에 관련된 데이터를 포함할 수 있다. 예시적인 로봇 데이터는 기구 팁을 관상 네트워크 내에서 특정 해부학적 부위에 도달하게 하고/하거나 (예컨대, 리더 및 시스 중 하나 또는 둘 모두에 대한 특정 피치, 롤, 요, 삽입, 및 후퇴로) 그의 배향을 변화시키게 하도록 지시하는 명령 데이터, 의료 기구의 부분(예컨대, 기구 팁 또는 시스)의 삽입 이동을 나타내는 삽입 데이터, IDM 데이터, 및 의료 기구의 세장형 부재의 기계적 이동, 예를 들어 관상 네트워크 내에서의 의료 기구의 실제 이동을 구동시키는 내시경의 하나 이상의 풀 와이어, 텐돈(tendon) 또는 샤프트의 운동을 나타내는 기계적 데이터를 포함한다. EM 데이터는 전술된 바와 같이 EM 센서 및/또는 EM 추적 시스템에 의해 수집될 수 있다. 3D 모델 데이터는 전술된 바와 같이 2D CT 스캔으로부터 도출될 수 있다.

출력 내비게이션 데이터 저장소(990)는 내비게이션 모듈(905)에 의해 제공되는 출력 내비게이션 데이터를 수신하고 저장한다. 출력 내비게이션 데이터는 관상 네트워크 내의 특정 목적지에 도달하기 위해 관상 네트워크를 통해 의료 기구를 지향시키는 것을 보조하기 위한 정보를 나타내고, 각각의 순간 시간(instant time)에 의료 기구에 대한 추정 상태 정보에 기초하며, 추정 상태 정보는 관상 네트워크 내에서의 의료 기구의 위치 및 배향을 포함한다. 일 실시예에서, 의료 기구가 관상 네트워크 내측에서 이동함에 따라, 의료 기구의 이동 및 위치/배향 정보의 업데이트를 나타내는 출력 내비게이션 데이터는 실시간으로 제공되고, 이는 관상 네트워크를 통한 그의 내비게이션을 더 양호하게 보조한다.

출력 내비게이션 데이터를 결정하기 위해, 내비게이션 모듈(905)은 관상 네트워크 내의 의료 기구의 추정 상태의 위치를 찾아낸다(또는 결정한다). 도 9a에 도시된 바와 같이, 내비게이션 모듈(905)은, 각각이 주로 소정 유형의 입력 데이터를 소비하고 상이한 유형의 데이터를 상태 추정기(980)에 제공할 수 있는 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970)과 같은 다양한 알고리즘 모듈을 추가로 포함한다. 도 9a에 예시된 바와 같이, EM-기반 데이터, 이미지-기반 데이터, 및 로봇-기반 데이터로 라벨링된, 이들 모듈에 의해 출력되는 상이한 종류의 데이터는 일반적으로 설명을 위해 "중간 데이터"로 지칭될 수 있다. 각각의 알고리즘 모듈의 그리고 상태 추정기(980)의 상세한 구성은 더 완전히 후술된다.

VI. B. 내비게이션 모듈

도 9b는 일 실시예에 따른, 도 9a에 도시된 내비게이션 모듈(905)의 예시적인 블록도를 도시한다. 위에서 소개된 바와 같이, 내비게이션 모듈(905)은 관상 네트워크를 통해 내비게이션하기 위해 상이한 알고리즘을 채용하는 다수의 알고리즘 모듈뿐만 아니라 상태 추정기(980)를 추가로 포함한다. 설명의 명확성을 위해, 상태 추정기(980)가 먼저 기술되고, 상태 추정기(980)와 데이터를 교환하는 다양한 모듈의 설명이 이어진다.

VI. B. 1 상태 추정기

내비게이션 모듈(905) 내에 포함된 상태 추정기(980)는 다양한 중간 데이터를 수신하고, 시간의 함수로서 기구 팁의 추정 상태를 제공하며, 여기에서 추정 상태는 관상 네트워크 내의 기구 팁의 추정 위치 및 배향 정보를 나타낸다. 추정 상태 데이터는 상태 추정기(980) 내에 포함되는 추정 데이터 저장소(985)에 저장된다.

도 9c는 일 실시예에 따른, 상태 추정기(980) 내에 포함된 추정 상태 데이터 저장소(985)의 예시적인 블록도를 도시한다. 추정 상태 데이터 저장소(985)는 분기 데이터 저장소(bifurcation data store)(1086), 위치 데이터 저장소(1087), 깊이 데이터 저장소(1088), 및 배향 데이터 저장소(1089)를 포함할 수 있지만, 데이터 저장의 이러한 특정 명세는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 상이한 및/또는 추가 데이터 저장소가 추정 상태 데이터 저장소(985) 내에 포함될 수 있다.

위에서 소개된 다양한 저장소는 다양한 방식으로 추정 상태 데이터를 나타낸다. 구체적으로, 분기 데이터는 관상 네트워크 내의 분지부들의 세트(예컨대, 3개 초과의 분지부로의 분기, 삼분기(trifurcation) 또는 분할)에 대한 의료 기구의 위치를 지칭한다. 예를 들어, 분기 데이터는, 예를 들어 관상 네트워크의 전체를 매핑하는 3D 모델에 의해 제공되는 바와 같은 이용가능한 분지부들의 더 큰 세트에 기초하여, 기구가 관상 네트워크를 통해 가로지름에 따라 기구에 의해 선택되는 분지부 선택들의 세트일 수 있다. 분기 데이터는 기구 팁의 위치 전방의 정보, 예컨대 기구 팁이 부근에 있지만 아직 그것을 통해 가로지르지 않은, 그러나 예를 들어 3D 모델에 대한 팁의 현재 위치 정보에 기초하여, 또는 다가오는 분기의 캡처된 이미지에 기초하여 검출되었을 수 있는 분지부(분기)를 추가로 포함할 수 있다.

위치 데이터는 관상 네트워크 내의 의료 기구의 일부 부분 또는 관상 네트워크 자체의 일부 부분의 3차원 위치를 나타낸다. 위치 데이터는 예를 들어 관상 네트워크의 3D 모델에 대한 절대 위치 또는 상대 위치의 형태일 수 있다. 일례로서, 위치 데이터는 특정 분지부 내에 있는 기구의 위치의 위치의 표시를 포함할 수 있다. 특정 분지부의 식별은 또한 기구 팁이 위치되는 모델의 특정 세그먼트를 고유하게 식별하는 세그먼트 식별(ID)로서 저장될 수 있다.

깊이 데이터는 관상 네트워크 내의 기구 팁의 깊이 정보를 나타낸다. 예시적인 깊이 데이터는 환자 내로의 의료 기구의 총 삽입 (절대) 깊이뿐만 아니라 식별된 분지부(예컨대, 위치 데이터 저장소(1087)에 의해 식별된 세그먼트) 내의 (상대) 깊이를 포함한다. 깊이 데이터는 관상 네트워크 및 의료 기구 둘 모두에 관한 위치 데이터에 기초하여 결정될 수 있다.

배향 데이터는 기구 팁의 배향 정보를 나타내며, 식별된 분지부 내에서의 피치, 롤, 요뿐만 아니라 3D 모델과 관련하여 전체 롤, 피치, 및 요를 포함할 수 있다.

다시 도 9b를 참조하면, 상태 추정기(980)는 추정 상태 데이터를 다시 알고리즘 모듈에 제공하여 더 정확한 중간 데이터를 생성하며, 이는 상태 추정기가 피드백 루프를 형성하는 개선된 및/또는 업데이트된 추정 상태 등을 생성하는 데 사용한다. 예를 들어, 도 9b에 도시된 바와 같이, EM-기반 알고리즘 모듈(950)은 타임스탬프 "t-1"과 연관된 데이터로 또한 지칭되는 이전 EM-기반 추정 상태 데이터를 수신한다. 상태 추정기(980)는 이러한 데이터를 사용하여 타임스탬프 "t-1"과 연관된 "추정 상태 데이터(이전)"를 생성한다. 상태 추정기(980)는 이어서 데이터를 다시 EM-기반 알고리즘 모듈에 제공한다. "추정 상태 데이터(이전)"는 상이한 알고리즘 모듈로부터 생성 및 수신된 바와 같은 타임스탬프 "t-1"과 연관되는 상이한 유형의 중간 데이터(예컨대, 로봇 데이터, 이미지 데이터)의 조합에 기초할 수 있다. 다음으로, EM-기반 알고리즘 모듈(950)은 추정 상태 데이터(이전)를 사용하여 그의 알고리즘을 실행하여 상태 추정기(980)로 개선되고 업데이트된 EM-기반 추정 상태 데이터를 출력하고, 이는 여기서 "EM-기반 추정 상태 데이터(현재)"에 의해 표현되고 타임스탬프 t와 연관된다. 이러한 프로세스는 또한 미래의 타임스탬프에 대해 계속해서 반복된다.

상태 추정기(980)가 관상 네트워크 내의 의료 기구의 상태의 그의 추정치에 도달하기 위해 여러 상이한 종류의 중간 데이터를 사용할 수 있기 때문에, 상태 추정기(980)는 각각의 유형의 기본 데이터(로봇, EM, 이미지) 및 각각의 유형의 알고리즘 모듈이 추정 상태를 결정함에 있어서 고려하기 위해 사용되는 중간 데이터를 생성하거나 그것으로 달성할 수 있는 측정 및 분석 둘 모두에서의 다양한 상이한 종류의 오류 및 불확실성을 처리하도록 구성된다. 이들을 해결하기 위해, 2개의 개념, 즉 확률 분포의 개념 및 신뢰도 값의 개념이 논의된다.

본 명세서에 사용되는 바와 같이, "확률 분포"의 "확률"은 의료 기구의 가능한 위치 및/또는 배향의 추정이 정확할 가능성을 지칭한다. 예를 들어, 상이한 확률은 알고리즘 모듈들 중 하나에 의해 계산되어, 의료 기구가 관상 네트워크 내의 여러 상이한 가능한 분지부들 중 하나 내에 있을 상대적 가능성을 나타낼 수 있다. 일 실시예에서, 확률 분포의 유형(예컨대, 이산 분포 또는 연속 분포)은 추정 상태의 특징(예컨대, 추정 상태의 유형, 예를 들어 연속 위치 정보 대 이산 분지부 선택)과 일치하도록 선택된다. 일례로서, 삼분기에 대해 의료 기구가 어느 세그먼트 내에 있는지를 식별하기 위한 추정 상태는 이산 확률 분포에 의해 표현될 수 있으며, 알고리즘 모듈들 중 하나에 의해 결정되는 바와 같은 3개의 분지부들 각각 내측의 위치에 있을 가능성을 나타내는 20%, 30% 및 50%의 3개의 이산 값을 포함할 수 있다. 다른 예로서, 추정 상태는 40 ± 5도의 의료 기구의 롤 각도를 포함할 수 있고, 분지부 내의 기구 팁의 세그먼트 깊이가 4 ± 1 mm일 수 있으며, 각각은 연속 확률 분포의 유형인 가우스 분포에 의해 표현된다. 상이한 방법 또는 기법이 확률을 생성하는 데 사용될 수 있으며, 이는 이하의 도면을 참조하여 더 완전히 후술되는 바와 같이 알고리즘 모듈에 의해 달라질 것이다.

대조적으로, 본 명세서에 사용되는 바와 같이, "신뢰도 값"은 하나 이상의 인자에 기초하여 알고리즘들 중 하나에 의해 제공되는 상태의 추정에서의 신뢰도의 측정치를 반영한다. EM-기반 알고리즘의 경우, EM 필드에 대한 왜곡, EM 정합의 부정확성, 환자의 이동 또는 움직임, 및 환자의 호흡과 같은 인자가 상태의 추정에서의 신뢰도에 영향을 미칠 수 있다. 특히, EM-기반 알고리즘에 의해 제공되는 상태의 추정에서의 신뢰도 값은 환자의 특정 호흡 주기, 환자 또는 EM 필드 발생기의 이동, 및 기구 팁이 위치한 해부학적 구조 내의 위치에 의존할 수 있다. 이미지-기반 알고리즘의 경우, 상태의 추정에서의 신뢰도 값에 영향을 미칠 수 있는 예시적인 인자는 이미지가 캡처되는 해부학적 구조 내의 위치에 대한 조명 조건, 이미지를 캡처하는 광학 센서에 대항하는 또는 그 전방의 유체, 조직, 또는 다른 방해물의 존재, 환자의 호흡, 환자 자신의 관상 네트워크(예컨대, 폐)의 상태, 예컨대 관상 네트워크 내측의 전반적인 유체 및 관상 네트워크의 폐색, 및 예컨대 내비게이션 또는 이미지 캡처하는 데 사용되는 특정 작동 기법을 포함한다.

예를 들어, 하나의 인자는 특정 알고리즘이 환자의 폐 내의 상이한 깊이에서 상이한 수준의 정확도를 갖는 것일 수 있으며, 따라서 기도 개구에 비교적 가까이에서, 특정 알고리즘이 의료 기구 위치 및 배향의 그의 추정에서 높은 신뢰도를 가질 수 있지만, 의료 기구가 이동하는 폐의 저부 내로 더 멀리서, 그러한 신뢰도 값은 하락할 수 있다. 일반적으로, 신뢰도 값은 결과가 결정되는 프로세스와 관련된 하나 이상의 체계적 인자(systemic factor)에 기초하는 반면, 확률은 기본 데이터에 기초한 단일 알고리즘에 의한 다수의 가능성으로부터 정확한 결과를 결정하려고 할 때 발생하는 상대 측정치이다.

일례로서, 이산 확률 분포에 의해 표현되는 추정 상태의 결과(예컨대, 수반되는 추정 상태의 3개의 값으로 삼분기에 대한 분지부/세그먼트 식별)를 계산하기 위한 수학 방정식이 하기와 같을 수 있다:

;

;

.

위의 예시적인 수학 방정식에서,

은 3개의 가능한 세그먼트가 3D 모델에서 제시되거나 식별되는 경우에서의 추정 상태의 가능한 예시적인 값을 나타내고,

,

, 및

은 EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘에 대응하는 신뢰도 값을 나타내며,

,

, 및

은 세그먼트 i에 대한 확률을 나타낸다.

추정 상태와 연관된 확률 분포 및 신뢰도 값의 개념을 더 잘 예시하기 위해, 상세한 예가 여기에 제공된다. 이러한 예에서, 사용자는 기구 팁이 관상 네트워크의 중심 기도(예측된 영역) 내의 소정 삼분기 내에 위치되는 세그먼트를 식별하려고 하고, EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘을 포함하는 3개의 알고리즘 모듈이 사용된다. 이러한 예에서, EM-기반 알고리즘에 대응하는 확률 분포는 제1 분지부에서 20%, 제2 분지부에서 30%, 및 제3 (최종) 분지부에서 50%일 수 있고, 이러한 EM-기반 알고리즘 및 중심 기도에 적용된 신뢰도 값은 80%이다. 동일한 예에 대해, 이미지-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 40%, 20%, 40%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 30%인 한편; 로봇-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 10%, 60%, 30%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 20%이다. EM-기반 알고리즘 및 이미지-기반 알고리즘에 적용된 신뢰도 값의 차이는 EM-기반 알고리즘이 이미지-기반 알고리즘과 비교하여 중심 기도 내에서의 세그먼트 식별에 대한 더 양호한 선택일 수 있음을 나타낸다. 최종 추정 상태의 예시적인 수학적 계산은 다음과 같을 수 있다:

제1 분지부에 대해: 20%*80% + 40%*30% + 10%*20% = 30%; 제2 분지부에 대해: 30%*80% + 20%*30% + 60%*20% = 42%; 및 제3 분지부에 대해: 50%*80% + 40%*30% + 30%*20% = 58%.

이러한 예에서, 기구 팁에 대한 출력 추정 상태는 결과 값(예컨대, 결과적인 30%, 42% 및 58%), 또는 이들 결과 값으로부터의 도함수 값, 예컨대 기구 팁이 제3 분지부 내에 있다는 결정일 수 있다.

위와 같이, 추정 상태는 다수의 상이한 방식으로 표현될 수 있다. 예를 들어, 추정 상태는 기도로부터 기구의 팁의 위치까지의 절대 깊이뿐만 아니라, 관상 네트워크 내에서 기구가 가로지르는 분지부들의 세트를 나타내는 데이터의 세트를 추가로 포함할 수 있으며, 분지부들의 세트는 예를 들어 환자의 폐의 3D 모델에 의해 제공되는 분지부들의 전체 세트의 서브세트이다. 추정 상태에 대한 확률 분포 및 신뢰도 값의 적용은 관상 네트워크 내에서의 기구 팁의 위치 및/또는 배향의 추정의 개선된 정확도를 허용한다.

VI. B. 2 알고리즘 모듈

도 9b에 도시된 바와 같이, 알고리즘 모듈은 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970)을 포함한다. 도 9b에 도시된 알고리즘 모듈은 단지 일례이며, 대안적인 실시예에서, 상이한 및/또는 추가 내비게이션 알고리즘을 수반하는 상이한 및/또는 추가 알고리즘 모듈이 또한 내비게이션 모듈(905)에 포함될 수 있다.

VI. B. 2. i. 이미지-기반 알고리즘 모듈

다시 도 9b를 참조하면, 이미지-기반 알고리즘 모듈(960)은 관상 네트워크 내의 기구의 추정 상태를 결정하기 위해 이미지 데이터를 사용한다. 이미지-기반 알고리즘 모듈(960)은 상이한 이미지-기반 알고리즘을 채용하는 하나 이상의 상이한 유형의 이미지-기반 알고리즘 모듈을 추가로 포함한다. 도 9b에 도시된 바와 같이, 객체-기반 알고리즘 모듈(962)을 포함하는 일례가 도시되어 있다. 도시되지 않은 대안적인 실시예에서, 다른 유형의 이미지-기반 알고리즘이 채용될 수 있고, 대응하는 알고리즘 모듈이 이미지-기반 알고리즘 모듈(960)에 포함될 수 있다. 기구의 추정 상태를 결정하는 것에 더하여, 이미지-기반 알고리즘 모듈(960)은 또한 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하고 검출된 위치의 변화의 표시를 상태 추정기(980)에 제공할 수 있다. 기구의 위치의 변화의 검출의 태양에 관한 추가 상세사항이 도 11과 관련하여 아래에 제공될 것이다.

객체-기반 알고리즘 모듈(962)은 추정 상태를 결정하기 위해, 분지부 개구 또는 입자와 같은, 이미지 데이터의 시야 내에 존재하는 객체를 검출하고 분석한다. 일 실시예에서, 그것은 객체 검출 모듈(963), 및 객체 매핑 모듈(964), 위상 추론 모듈(965), 및 운동 추정 모듈(966)을 포함한다. 일부 실시예에서, 상이한 모듈(963, 964, 965, 966)을 고정된 순차적인 순서로 적용하는 것이 필요할 수 있거나 필요하지 않을 수 있으며, 객체-기반 알고리즘 모듈(962)에 의해 기술되는 객체-기반 알고리즘의 프로세스를 실제로 실행할 때, 모듈(962) 내의 각각의 모듈을 채용하는 순서는 도 9b에 도시된 것과 상이한 순서이다.

도 10a를 참조하면, 운동 추정 모듈(963)은 이미지 데이터 저장소(910)로부터의 이미지 데이터, 추정 상태 데이터 저장소(985)로부터의 추정 상태 데이터(이전)(구체적으로 분기 데이터), 및 3D 모델 데이터 저장소(940)로부터의 3D 모델 데이터를 입력으로서 수신한다. 수신된 이미지 데이터에 기초하여, 운동 추정 모듈(963)은 수신된 이미지 데이터에 기초하는 다수의 이미지 프레임들 사이에서의 의료 기구의 이동을 측정한다. 사용되는 예시적인 기법은 특히 광학 유동 및 이미지 정합 기법을 포함한다. 이러한 측정은 그 자신의 국소 기준 프레임 내에서의 기구 팁의 차동 이동, 예컨대 전방-후방 운동 또는 롤 운동을 결정한다. 이러한 이동은 새로운 추정 상태를 계산하기 위해 이전 추정 상태 입력과 조합될 수 있다. 특히, 전방(또는 후방) 이동이 이전 추정 상태에 대한 깊이의 증가(또는 감소)로 변환될 수 있다. 유사하게, 차동 롤은 이전 추정 상태에 대한 롤 각도의 변화로 변환된다. 이들 측정은 관상 네트워크를 통한 이동의 추정을 허용한다. 위와 같이, 이들 추정은 확률 분포(예컨대, 가우스 분포에 의해 표현되는 40 ± 5도의 의료 기구의 롤 각도)로서 표현될 수 있다. 출력 추정 상태는 추정 상태 데이터 저장소(985)에 저장된다.

일 실시예에서, 특정 순간 시간에 대한 추정 상태 및 분기 데이터가 기구 팁이 분지부 지점에 또는 그 부근에 있음을 나타내는 경우에, 이러한 이동 측정은 기구 팁이 진입하고 있거나 진입한 것으로 추정되는 추정된 새로운 분지부의 식별을 포함할 수 있다. 예를 들어, 분기 데이터가 내시경 팁이 분지부 지점에 있음을 나타내는 경우, 피치 및 요 이동이 지향 각도의 변화를 결정하기 위해 측정될 수 있고, 새로운 추정된 각도는 관상 네트워크의 3D 모델 내의 상이한 분지부의 예상된 각도와 비교될 수 있다. 이어서, 내시경이 새로운 분지부 내로 이동될 때 내시경이 어느 분지부로 향할지의 결정이 이루어질 수 있다. 새로운 위치, 배향, 및/또는 분지부 진입의 이들 추정치들 각각을 반영하는 추정 상태 데이터가 상태 추정기(980)로 출력된다.

도 10b는 일례에 따른 객체 검출 모듈(964)의 예시적인 블록도를 도시한다. 객체 검출 모듈(964)은 이미지 데이터(예컨대, 이미지 프레임)를 입력으로서 수신하고, 객체 데이터를 객체 데이터 저장소(1063)로 그리고 추정 상태 데이터를 추정 상태 데이터 저장소(985)로 출력한다. 객체 데이터는 어떤 객체가 식별되었는지뿐만 아니라, 확률로 표현되는 객체의 위치, 배향, 및 크기에 관한 정보를 나타낸다.

구체적으로, 객체 검출 모듈(964)은, 이미지 내에서, 하나 이상의 객체 및 관상 네트워크 내의 분지부 지점을 나타낼 수 있는 객체(들)의 하나 이상의 관심 대상의 포인트를 검출하고, 이어서 그들의 위치, 크기, 및 배향을 결정한다. 객체 검출 모듈(964)에 의해 검출되는 객체는 또한, 예를 들어 이미지 내의 하나 이상의 식별가능 픽셀을 포함할 수 있는 "관심 대상의 포인트"로 지칭될 수 있다. 소정 실시예에서, 관심 대상의 포인트는 하나 이상의 이미지들의 시퀀스에 걸쳐 검출될 수 있는 하나 이상의 픽셀들의 세트를 포함할 수 있다. 일부 구현예에서, 검출된 객체는 관련 기술의 이미지 처리 기법, 예컨대 SURF(speeded up robust features) 및 SIFT(scale-invariant feature transform)를 사용하여 검출되는 하나 이상의 관심 대상의 포인트(예컨대, 이미지 특징)를 포함할 수 있다. 그러나, 이미지들의 시리즈를 통해 하나 이상의 픽셀을 신뢰성 있게 검출하고 추적할 수 있는 임의의 기법이 본 명세서에 기술된 이미지 처리 기법에 사용될 수 있는 관심 대상의 포인트를 검출하는 데 사용될 수 있다.

소정 구현예에서, 객체는 검출된 분지부 지점에 대해 원/난형/타원과 같은 2차원 형상인 것으로 객체 검출 모듈(964)에서 계산되거나 표현될 수 있다. 이는 객체를 캡처하는 데 사용되는 이미지 데이터가 기구가 위치되는 세그먼트의 방향에 실질적으로 평행한 축을 따라 통상적으로 지향되는 기구 팁 상의 카메라로부터의 이미지라는 사실에 대응한다. 결과적으로, 관상 네트워크 내의 분지부와 같은 객체는 이미지 내에서 타원과 같은 단순한 형상으로서 나타난다. 일 실시예에서, 관상 네트워크 내의 주어진 이미지에서, 각각의 분지부는 전형적으로 어두운, 대략 타원형의 영역으로서 나타날 것이고, 이들 영역은 객체로서 영역-검출 알고리즘, 예컨대 MSER(maximally stable extremal regions)을 사용하여, 프로세서에 의해 자동으로 검출될 수 있다. 이들 영역은 이어서 타원 중심, 장축 및 단축, 및 이미지 내의 각도와 같은 적절한 자유 파라미터로, 객체(예컨대, 타원)를 정의하도록 맞춰질 수 있다. 이미지 내의 내강과 모델 내강 사이의 식별된 매칭(matching) 및 롤 측정치는 또한 위상 추론 모듈(966)뿐만 아니라 상태 추정기(980)로 출력된다. 기관지 네트워크의 이미지 상에 중첩된 식별된 객체의 예가, 그들의 중심을 연결하는 링크와 함께, 도 11a 및 도 11b를 참조하여 기술된다.

일 실시예에서, "기도"가 또한 이미지 데이터에 존재하는 객체로서 식별될 수 있다. 객체 검출 모듈(964)은 기도를 식별하기 위해 다른 기법과 조합된 광 반사 강도를 사용할 수 있다.

객체 검출 모듈(964)은 순차적인 이미지 프레임들의 세트에 걸쳐 검출된 객체 또는 관심 대상의 포인트를 추가로 추적할 수 있다. 객체 추적은 관상 네트워크 내의 가능한 분지부들의 세트 중에서 어느 분지부에 진입하였는지를 검출하는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 객체의 추적은 더 상세히 후술되는 바와 같이 기구에 대한 내강 네트워크의 이동에 의해 유발되는 내강 네트워크 내에서의 기구의 위치의 변화를 검출하는 데 사용될 수 있다. 이미지 프레임 내의 객체의 상대 위치를 추적하는 것은 또한 분지 네트워크 내의 롤 각도의 국소, 절대 측정치를 결정하는 데 사용될 수 있다.

도 10c는 일 실시예에 따른 객체 매핑 모듈(965)의 예시적인 블록도를 도시한다. 객체 매핑 모듈(965)은 3D 모델 데이터 저장소(940)로부터의 3D 모델 데이터, 객체 데이터 저장소(1063)로부터의 객체 데이터(예컨대, 관상 네트워크 내의 가능한 분지를 나타내는 형상과 같은 검출된 객체), 및 추정 상태 데이터 저장소(985)로부터의 추정 상태 데이터(이전)를 입력으로서 수신한다.

수신된 입력 데이터에 기초하여, 객체 매핑 모듈(965)은 객체 매핑 데이터를 객체 매핑 데이터 저장소(1065)로 그리고 이미지-기반 추정 상태 데이터(현재)를 추정 상태 데이터 저장소(985)로 출력한다. 일례로서, 객체 매핑 데이터는 (검출된 객체에 기초하여) 이미지 데이터에 보여지는 물리적 분지부(내강)과 3D 모델에 의해 생성된 가상 분지부 정보 사이의 매핑 정보를 나타낸다. 모듈(965)에 의해 생성된 추정 상태 데이터(현재)는 이미지 내에서 가시적인 관상 네트워크의 각각의 분지부의 식별뿐만 아니라 3D 모델에 대한 내시경 팁의 롤의 추정치를 포함한다. 위와 같이, 추정 상태 데이터(현재)는 확률 분포로서 표현될 수 있다. 가시적인 내강의 식별은, 예를 들어 3D 모델 가상 이미지 데이터와 상관되는 객체 크기뿐만 아니라, 관상 네트워크의 특정 분지부와의 각각의 식별된 내강 위치의 연관성에 기초하여, 이미지 내의 각각의 식별된 내강 중심의 x 및 y 좌표를 포함할 수 있다.

일부 실시예에서, 3D 모델이 내시경 절차 전에 생성되기 때문에, 관상 네트워크의 가상 이미지는 처리를 가속화하기 위해 사전-계산될 수 있다. 도시되지 않은 대안적인 실시예에서, 관상 네트워크는 내강 중간선의 수형도(tree diagram)와 같은 구조에 의해 표현될 수 있고, 이때 각각의 그러한 중간선은 3D 경로를 기술하며, 따라서 임의의 임의적인 관점으로부터 보이는 바와 같은 국소 분지부 중심의 예상된 위치가 EM 데이터 및/또는 로봇 데이터에 기초하여 분지부 중심의 식별된 실제 위치와 비교될 수 있다.

도 11a 및 도 11b는 일 실시예에 따른, 객체 매핑 모듈(965)에 의해 수행되는 예시적인 객체-대-내강 매핑을 도시한다. 더 구체적으로는, 도 11a는 일 실시예에 따른, 2개의 객체의 중심을 연결하는 링크(1103)와 함께 기관지 네트워크(1105)의 이미지 상에 중첩된 2개의 예시적인 식별된 객체(1101, 1102)를 도시한다. 예시된 예에서, 식별된 객체(1101, 1102)는 타원-형상이다.

도 11b는 일 실시예에 따른, 실제 기관지 네트워크의 실제 이미지(1110) 내의 기도 내강과 그러한 동일한 네트워크의 3D 모델로부터의 대응하는 가상 이미지(1120) 사이의 매칭을 도시한다. 실제 이미지(1110)에서, 타원은, 일 실시예에서 도 6a 및 도 6b에서 전술된 바와 같은 분지부의 중심선 좌표를 나타내는 식별된 중심(1111, 1112)에 위치되는, 2개의 상이한 분지부에 대응하여 식별된다. 3D 모델 가상 이미지(1120)는 실제 이미지(1110)에 도시된 실제 기관지 네트워크의 시뮬레이션된 표현이고, 상태 추정기(980)에 의해 결정되는 바와 같은 내시경 팁의 추정된 중심(1121, 1122)은 식별된 중심(1111, 1112)의 위치에 대응하는 것으로 도시되어 있다.

이미지들(1110, 1120) 둘 모두가 사용자 인터페이스를 통해 사용자에게 제시되는 경우, 3D 모델 이미지(1120)는 실제 이미지(1110)와 가상 이미지(1120) 사이의 맞춤의 근접성을 증가시키기 위해 회전되거나 병진될 수 있고, 회전 또는 병진에 필요한 롤의 양은 현재 추정 상태(예컨대, 기구 팁의 롤)에 대한 보정으로서 출력될 수 있다.

일 실시예에서, 객체 매핑 모듈(965)에 의해 생성되는 바와 같은 가능한 추정 상태에 적용되는 확률은 실제 이미지(1110)에서 검출되는 식별된 중심(1111, 1112)과 3D 모델 이미지(1120) 내의 추정된 중심(1121, 1121) 사이의 맞춤의 근접성에 기초하며, 일례로서, 식별된 중심(1112)을 가진 내강 내에 있을 확률은 추정된 중심(1122)과 식별된 중심(1112) 사이의 거리가 증가함에 따라 하락한다.

도 10d는 일 실시예에 따른 위상 추론 모듈(966)의 예시적인 블록도를 도시한다. 위상 추론 모듈(966)은 3D 모델 데이터 저장소(940)로부터의 3D 모델 데이터로부터의 이미지 데이터, 객체 매핑 데이터 저장소(1065)로부터의 객체 매핑 데이터, 및 추정 상태 데이터 저장소(985)로부터의 추정 상태 데이터(이전)를 입력으로서 수신한다.

수신된 데이터에 기초하여, 위상 추론 모듈(966)은 내시경 팁이 어느 분지부로 향할지를 결정하여, 그에 의해 내시경이 전방으로 이동되는 경우 어느 분지부에 진입할지의 예측을 생성한다. 위와 같이, 이러한 결정은 확률 분포로서 표현될 수 있다. 일 실시예에서, 기구 팁이 전방으로 이동하고 있을 때, 위상 추론 모듈(966)은 관상 네트워크의 새로운 분지부에 진입하였음을 결정하고 팁이 어느 분지부 내로 이동되었는지를 식별한다. 어느 분지부로 향하고 있는지 및 어느 세그먼트에 진입하는지의 결정은, 예를 들어 상이한 식별된 객체(예컨대, 타원)의 상대 크기 및 위치를 비교함으로써 이루어질 수 있다. 일례로서, 특정 내강 분지부에 진입함에 따라, 대응하는 검출된 객체는 연속적인 이미지 프레임에서 더 크게 성장할 것이고, 또한 그들 프레임에서 더 중심에 놓일 것이다. 이러한 거동이 객체들 중 하나에 대해 식별되는 경우, 위상 추론 모듈(966)은 내시경 팁이 그러한 객체와 연관된 내강을 향해 이동함에 따라 점점 더 큰 확률을 대응하는 추정 상태에 할당한다. 다른 분지부는, 최종적으로 그들의 객체 형상이 이미지로부터 완전히 사라질 때까지, 대응하게 더 낮은 확률을 할당받는다. 일 실시예에서, 의료 기구가 그들 분지부 내에 있을 확률은 분지부가 객체 매핑 모듈(964)에 의해 잘못 식별된 확률에만 의존한다. 위상 추론 모듈(966)의 출력은 분지 네트워크 내의 가능한 분지부들의 세트 각각 내에 있을 추정 확률을 나타내는 이미지-기반 추정 상태 데이터이다.

VII. 생리학적 잡음의 이미지-기반 검출

호흡기내과 의사는 그들의 결정 및 동작을 환자의 호흡 주기에 기반함으로써 수술중 외상을 방지할 수 있다. 그러한 동작의 일례는 예를 들어 기관지경술을 통해 조직 샘플을 수집하기 위한 생검 도구의 삽입이다. 폐의 주변부에서 또는 그 부근에서 기도는 좁을 수 있고, 기도의 둘레는 폐의 호흡 단계에 따라 변화한다. 기도의 직경은 환자가 호흡 주기의 흡기 단계에서 들이쉼에 따라 확장되고, 환자가 주기의 호기 단계 동안 내쉼에 따라 수축된다. 절차 동안, 호흡기내과 의사는 고정된 직경의 내시경 또는 특정 도구가 기도에 진입할 수 있는지 여부를 결정하기 위해 환자가 흡기 단계 또는 호기 단계에 있는지 여부를 결정하도록 환자를 관찰할 수 있다. 기도가 외상을 유발함이 없이 호기 동안 도구 주위로 폐쇄될 수 있지만, 호기 단계 동안 수축된 기도를 통해 도구를 가압하는 것은 예를 들어 혈관을 천공시킴으로써 심각한 외상을 유발할 수 있다.

전술한 문제는 특히 본 명세서에 기술된 내강 네트워크 내비게이션 시스템 및 기법에 의해 소정 실시예에서 해결된다. 개시된 내강 네트워크 내비게이션 시스템 및 기법의 일부 실시예는 환자 안전 수단(예컨대, 기구 제어 기법, 사용자 인터페이스 경보, 통지 등)을 구현하기 위해 호흡 주파수 및/또는 크기를 내비게이션 프레임워크(framework)에 통합시키는 것에 관한 것이다.

환자의 호흡 주기가 또한 환자의 기도 내로 삽입된 기구의 위치 및/또는 배향의 검출의 정확도에 영향을 미칠 수 있다. 따라서, 개시된 기관지경술 내비게이션 시스템 및 기법의 일부 실시예는 환자 기도 내의 기구의 위치의 더 정확한 식별을 제공하기 위해 환자 호흡에 의해 유발되는 운동을 식별하고/하거나 보상하는 것에 관한 것이다. 예를 들어, 환자 기도 내에 위치되는 기구에는 EM 센서가 제공될 수 있다. 내비게이션 시스템은 호흡에 의해 유발되는 호흡 통로의 주기적인 운동으로 인한 신호 잡음을 제거하기 위해 EM 센서로부터의 기구 위치 정보를 필터링할 수 있다. 주기적인 호흡 운동의 주파수는 하나 이상의 추가 센서로부터의 데이터로부터 획득될 수 있다. 일부 구현예에서, 흡기 및 호기 주기는 일례에서 환자의 신체 상에 배치된 추가 EM 센서(들), 가속도계(들), 및/또는 음향 호흡 센서(들)로부터의 데이터에 기초하여 결정될 수 있다. 일부 구현예에서, 주파수는 다른 유형의 센서 또는 시스템, 예를 들어 환자 호흡을 제어하기 위해 사용되는 인공호흡기(ventilator)로부터의 호흡 주기 정보, 또는 환자를 관찰하도록 위치된 광학 센서로부터 수신되는 이미지의 자동화된 분석으로부터 추출되는 호흡 주기 정보로부터 획득될 수 있다.

소정 상황 하에서, EM 센서로부터 수신되는 위치 정보로부터의 환자의 호흡의 필터링은 기구의 위치의 충분히 정확한 추정치를 결정하기에 충분하지 않을 수 있다. 예를 들어, 추가 EM 센서(들)가 환자의 신체의 외부 상에 배치될 때, EM 센서는 횡단 방향으로의 호흡으로 인한 운동을 검출할 수 있다. 즉, EM 센서는 환자의 신체 상에 배치된 EM 센서의 이동을 통해 환자의 기도의 전체 확장 및 수축을 추적할 수 있다.

환자의 기도 내의 기구의 위치에 따라, 환자의 호흡은 또한 기구의 위치에 다른 영향을 미칠 수 있다. 즉, 내강 네트워크 내에서 기구가 가로지르는 경로의 길이는 호흡 주기와 함께 확장 및 수축될 수 있다. 기구의 길이가 절차 동안 현저하게 변화하지 않을 수 있기 때문에, 내강 네트워크에 대한 기구의 상대 위치는 내강 네트워크 내에서 기구에 의해 취해지는 경로에 의해 정의되는 내강 네트워크의 전체 길이가 확장 및 수축됨에 따라 변화할 수 있다. 기구의 원위 단부의 기준 지점으로부터, 이는, 기구가 능동적으로 구동되고 있지 않더라도, 기구가 내강 네트워크 내에서 전진되고 후퇴되고 있는 것처럼 나타날 수 있다. 소정 상황에서, 기구는, 기구의 원위 단부의 기준 지점으로부터 기구가 전진되고 후퇴되고 있는 동안에도, 플랫폼의 기준 지점에 대해 실질적으로 고정되어 있을 수 있다. 이러한 경우에, EM 센서에 기초하여 결정되는 기구의 위치는 기구가 실질적으로 고정되어 있음을 나타낼 수 있고, 내강 네트워크의 기준 프레임에 대한 기구의 위치는 환자의 호흡 주기에 따라 변화하고 있을 수 있다.

따라서, 본 개시의 소정 태양은 환자의 호흡(또는 다른 생리학적 운동)으로 인한 내강 네트워크의 기준 프레임에 대한 기구의 이동(예컨대, 기구 주위의 내강 네트워크의 이동)의 검출에 관한 것일 수 있다. 일단 검출되면, 로봇 시스템은 기구의 디스플레이된 위치에 소정량의 보상되지 않은 오차가 있을 수 있음을 나타내기 위해 사용자 인터페이스 경보를 제공할 수 있다.

VII. A. 생리학적 잡음의 이미지-기반 검출의 개요

도 12는 본 개시의 태양에 따른, 생리학적 잡음을 검출하기 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도이다. 예를 들어, 도 12에 예시된 방법(1200)의 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 이미지-기반 알고리즘 모듈(960))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 방법(1200)은, 방법(1200)의 설명과 관련하여 간단히 "시스템"으로 또한 지칭되는, 내비게이션 구성 시스템에 의해 수행되는 것으로 기술된다.

방법(1200)은 블록(1201)에서 시작된다. 블록(1205)에서, 시스템은 기구 상에 위치된 이미지 센서로부터 제1 이미지 데이터를 수신할 수 있고, 기구는 환자의 내강 네트워크를 통해 구동되도록 구성된다. 예시적인 실시예에서, 기구는 환자의 기도를 통해 구동되도록 구성되는 기관지경을 포함할 수 있다. 이들 실시예에서, 시스템은 이미지 센서로부터 수신된 이미지에 적어도 부분적으로 기초하여 기구의 호흡 운동을 검출하도록 구성될 수 있다.

블록(1210)에서, 시스템은 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출할 수 있다. 위에서 논의된 바와 같이, 관심 대상의 포인트는, 예를 들어 이미지 내의 하나 이상의 식별가능 픽셀 또는 이미지 데이터에서 검출된 하나 이상의 객체와 같은, 다수의 이미지 데이터에 걸친 임의의 구별가능 데이터일 수 있다. 소정 실시예에서, 관심 대상의 포인트는 하나 이상의 이미지들의 시퀀스에 걸쳐 검출될 수 있는 하나 이상의 픽셀들의 세트를 포함할 수 있다. 일부 구현예에서, 검출된 객체는 관련 기술의 이미지 처리 기법, 예컨대 SURF 및 SIFT를 사용하여 검출되는 하나 이상의 구별가능 객체를 포함할 수 있다. 그러나, 이미지들의 시리즈를 통해 하나 이상의 픽셀을 신뢰성 있게 검출하고 추적할 수 있는 임의의 기법이 본 명세서에 기술된 이미지 처리 기법에 사용될 수 있는 관심 대상의 포인트를 검출하는 데 사용될 수 있다.

블록(1215)에서, 시스템은 제1 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별할 수 있다. 포인트들의 세트가 이미지 내의 식별가능 픽셀에 대응하는 실시예에서, 위치들의 세트는 이미지 내의 픽셀의 행 및/또는 열 값에 대응할 수 있다. 따라서, 제1 위치들의 세트는 포인트들의 세트 내의 픽셀들 각각에 대한 X-좌표 및 Y-좌표를 포함할 수 있다.

블록(1220)에서, 시스템은 이미지 센서로부터 제2 이미지 데이터를 수신할 수 있다. 제2 이미지는 제1 이미지가 이미지 센서에 의해 캡처된 시간 후에 발생하는 시점에서 이미지 센서로부터 수신된 이미지일 수 있다.

블록(1225)에서, 시스템은 제2 이미지 데이터에서 하나 이상의 포인트들의 세트를 검출할 수 있다. 제2 이미지에서 검출된 포인트들의 세트는 제1 이미지에서 검출된 포인트들의 세트에 대응할 수 있다. 다수의 이미지들 사이의 포인트들의 동일한 세트의 검출은 도 13a 내지 도 13c와 관련하여 더 상세히 후술될 것이다.

블록(1230)에서, 시스템은 제2 이미지 데이터 내의 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별할 수 있다. 일부 상황에서, 생리학적 잡음이 내강 네트워크에 대한 기구의 상대 위치에 영향을 미치고 있을 때, 제2 이미지 내의 관심 대상의 포인트들의 위치들의 세트는 제1 이미지 내의 관심 대상의 포인트들의 위치들의 세트와 상이할 수 있다. 예를 들어, 기구가 (예컨대, 내강 네트워크의 길이의 수축으로 인해) 내강 네트워크 내로 전진됨에 따라, 이미지 센서에 의해 캡처된 이미지에 나타나는 객체는 그것이 이미지 센서에 접근하고 있는 것처럼 나타날 수 있다. 따라서, 객체의 위치를 추적함으로써(예컨대, 관심 대상의 포인트를 추적함으로써), 시스템은 내강 네트워크에 대한 기구의 운동을 추정하는 것이 가능할 수 있다.

블록(1235)에서, 시스템은, 제1 위치들의 세트 및 제2 위치들의 세트에 기초하여, 기구에 대한 내강 네트워크의 이동에 의해 유발되는 기구 주위에서의 내강 네트워크의 위치의 변화를 검출할 수 있다. 전술된 바와 같이, 추적된 관심 대상의 포인트의 위치의 이동은 기구에 대한 내강 네트워크의 이동을 나타낼 수 있다. 내강 네트워크의 이동에 의해 유발되는 위치의 변화의 검출에 관한 특정 실시예가 도 14a 내지 및 도 15b와 관련하여 후술될 것이다. 방법(1200)은 블록(1240)에서 종료된다.

VII. B. 이미지 데이터 프레임들의 시리즈 사이에서 관심 대상의 포인트를 추적하는 예

도 13a는 본 개시의 태양에 따른, 제1 시점에서 이미지 센서에 의해 캡처된 예시적인 이미지 데이터를 예시한다. 도 13b는 본 개시의 태양에 따른, 제1 시점 후에, 제2 시점에서 이미지 센서에 의해 캡처된 이미지 데이터의 다른 예를 예시한다. 실시예에 따라, 제1 이미지 데이터 및 제2 이미지 데이터는 이미지 센서에 의해 캡처된 이미지 데이터 프레임들의 시리즈 내의 연속적인 이미지일 수 있거나, 그들 사이에 개재되는 적어도 하나의 추가 이미지 데이터 프레임과 시간적으로 분리될 수 있다. 도 13c는 본 개시의 태양에 따른, 도 13a 및 도 13b에 예시된 이미지 데이터 프레임들 사이의 예시적인 픽셀의 위치의 변화의 예를 예시한다. 도 13d는 본 개시의 태양에 따른, 도 13a 및 도 13b에 예시된 이미지 데이터 프레임들 사이의 예시적인 픽셀의 위치의 변화의 다른 예를 예시한다.

도 13a 및 도 13b에 예시된 이미지 데이터 프레임은 이미지 데이터 프레임들의 시리즈 사이의 관심 대상의 포인트의 위치의 추적에 수반될 수 있는 검출된 이미지 데이터의 소정 태양을 보여주기 위해 단순화된다. 소정 실시예에서, 기구의 이미지 센서에 의해 캡처된 이미지 데이터는 예시된 것보다 많거나 적은 수의 픽셀을 갖는 픽셀들의 어레이를 포함할 수 있다. 예를 들어, 이미지 센서는 소정 구현예에서 200x200 픽셀 이미지 데이터 프레임을 캡처하도록 구성될 수 있다.

도 13a는 2개의 관심 대상의 포인트(1310A, 1320A)를 포함하는 제1 이미지 데이터(1300A)를 예시한다. 제한된 수의 관심 대상의 포인트(1310A, 1320A)는 단지 설명의 목적을 위해 단순화되며, 다른 실시예에서, 더 많은 수의 관심 대상의 포인트(1310A, 1320A)가 제1 이미지 데이터(1300A)에서 검출되고 추적될 수 있다. 또한, 도 13a 예에서, 관심 대상의 포인트(1310A, 1320A)는 제1 이미지 데이터(1300A) 내의 개별 픽셀에 대응할 수 있다. 그러나, 위에서 논의된 바와 같이, 다른 실시예에서, 관심 대상의 포인트(1310A, 1320A)는 객체 검출 모듈(964)에 의해 식별된 객체 또는 SURF 및/또는 SURF와 같은 이미지 처리 기법을 사용하여 검출된 관심 대상의 포인트에 대응할 수 있다.

도 13b의 제2 이미지 데이터(1300B)에서, 시스템은 제1 이미지 데이터(1300A)에서 식별된 동일한 관심 대상의 포인트(1310B, 1320B)를 검출할 수 있다. 그러나, 관심 대상의 포인트(1310B, 1320B)는 제1 및 제2 이미지 데이터(1300A, 1300B)의 캡처링 사이에 경과된 시간에 제2 이미지 데이터(1300B) 내의 새로운 위치로 이동되었을 수 있다. 제1 이미지 데이터(1300A)로부터 제2 이미지 데이터(1300B) 내의 그들 각각의 위치로의 관심 대상의 포인트(1310B, 1320B)의 이동은 이미지 센서의 위치에 대한 내강 네트워크의 대응하는 부분의 상대 이동에 기초할 수 있다. 기구가 로봇 시스템에 대해 고정되어 있을 때(예컨대, 기구를 구동시키도록 제공되고 있는 로봇 명령이 없을 때), 시스템은 관심 대상의 포인트(1310B, 1320B), 및 그에 따른 내강 네트워크 내에서의 기구의 이동이 생리학적 잡음으로 인한 것임을 추론하는 것이 가능할 수 있다. 기관지경술 예에서, 생리학적 잡음은 환자의 호흡으로 인해 기구에 의해 취해진 경로를 따라 확장 및 수축하는 내강 네트워크의 길이에 대응할 수 있다. 추가적으로 또는 대안적으로, 호흡으로 인한 기도의 직경의 변화는 또한 관심 대상의 포인트의 위치의 변화에 의해 추적될 수 있다. 본 명세서에 개시된 이미지 방법론에 의해 검출될 수 있는 생리학적 잡음의 예는 환자의 호흡 및 환자의 심박수를 포함한다.

도 13a 내지 도 14b의 관심 대상의 포인트의 위치는 제1 이미지 데이터 및 제2 이미지 데이터 내의 포인트의 2D 위치를 포함할 수 있다. 따라서, 관심 대상의 포인트의 위치는 포인트들 각각에 대한 X-좌표 및 Y-좌표를 포함할 수 있다. 다른 실시예에서, 시스템은 이미지 데이터(1300A, 1300B)에 기초하여 3D 공간(예시되지 않음) 내의 포인트의 위치를 추적할 수 있다. 이들 실시예에서, 시스템은 이미지 데이터(1300A, 1300B) 각각으로부터의 깊이 정보를 추출하고, 포인트의 각각의 위치를 나타내는 3D 정보에서 포인트의 위치를 표현할 수 있다.

도 13c는 동일한 이미지 데이터 프레임 상에 오버레이되는 제1 시점 및 제2 시점 각각에서 관심 대상의 포인트의 위치를 예시한다. 도 13c에 도시된 바와 같이, 제1 관심 대상의 포인트(1310A, 1310B)가 제1 이미지 데이터(1300A)로부터 제2 이미지 데이터(1300B) 내의 상이한 위치로 이동되었다. 제1 관심 대상의 포인트의 이동은 벡터(1315)에 의해 예시되어 있다. 유사하게, 제2 관심 대상의 포인트(1320A, 1320B)가 벡터(1325)에 의해 예시된 바와 같이 제1 및 제2 이미지 데이터(1300A, 1300B) 사이에서 이동되었다.

더 일반적으로는, 시스템은 기구 상의 이미지 센서 위치로부터 수신된 이미지 데이터 프레임들의 시리즈에 걸쳐 관심 대상의 포인트들의 세트를 추적할 수 있다. 시스템은 시리즈 내의 2개의 연속적인 이미지 데이터 프레임들 사이의 "스케일 변화"를 결정할 수 있다. 도 13d는 관심 대상의 포인트들 사이의 상대 거리를 예시하기 위해 동일한 이미지 데이터 상에 오버레이되는 제1 시점 및 제2 시점 각각에서 관심 대상의 포인트의 위치의 다른 예를 예시한다. 도 13d에 도시된 바와 같이, 제1 관심 대상의 포인트(1310A, 1310B)가 제1 이미지 데이터(1300A)로부터 제2 이미지 데이터(1300B) 내의 상이한 위치로 이동되었다. 시스템은 제1 이미지 데이터(1300A) 내의 제1 포인트(1310A) 및 제2 포인트(1320A)의 위치에 기초하여 제1 이미지 데이터 내의 제1 포인트(1310A)와 제2 포인트(1320A) 사이의 제1 거리(1330)를 결정할 수 있다. 시스템은 또한 제1 이미지 데이터(1300B) 내의 제1 포인트(1310B) 및 제2 포인트(1320B)의 위치에 기초하여 제2 이미지 데이터(1300B) 내의 제1 포인트(1310B)와 제2 포인트(1320B) 사이의 제2 거리(1335)를 결정할 수 있다. 일부 구현예에서, 제1 거리(1330) 및 제2 거리(1335)는 각각의 포인트들 사이의 유클리드 거리(Euclidean distance)에 의해 결정될 수 있다.

시스템은 내강 네트워크 내에서의 기구의 위치의 변화를 검출하기 위해 제1 거리(1330) 및 제2 거리(1335)를 사용할 수 있다. 예를 들어, 일 실시예에서, 시스템은 제1 거리(1330) 및 제2 거리(1335)에 기초하여 스케일 변화 추정치(scale change estimate)를 결정할 수 있다. 일 구현예에서, 스케일 변화 추정치는 제1 거리(1330)와 제2 거리(1335) 사이의 차이에 기초할 수 있다.

2개의 관심 대상의 포인트만이 도 13a 내지 도 13d에 예시되지만, 시스템은 이미지 데이터 프레임들의 시리즈에 걸쳐 적어도 3개의 관심 대상의 포인트들의 세트를 추적할 수 있다. 관심 대상의 포인트들의 세트 내의 포인트의 수가 이미지 데이터 내의 픽셀의 수 미만일 때, 포인트들의 세트는 포인트들의 "희박(sparse)" 세트로 고려될 수 있다. 다른 실시예에서, 시스템에 의해 추적되는 관심 대상의 포인트들의 세트 내의 포인트의 수는 포인트들의 "조밀(dense)" 세트일 수 있으며, 여기에서 추적된 포인트의 수는 이미지 데이터 내의 픽셀의 수와 동일하다. 시스템은 포인트들의 세트 내의 포인트들을 복수의 포인트들의 쌍들로 그룹화할 수 있다. 이는 전체 포인트들의 세트에 대한 포인트들의 쌍들의 각각의 조합을 포함할 수 있거나, 포인트들의 세트에 대한 가능한 포인트들의 쌍들의 서브세트를 포함할 수 있다.

시스템은 포인트들의 쌍들에 대해 결정된 스케일 추정치에 기초하여 2개의 이미지 데이터 프레임들 사이의 스케일 변화 값을 결정할 수 있다. 소정 실시예에서, 스케일 변화 값은 추적된 포인트들의 쌍들의 전부 또는 서브세트에 기초하여 2개의 이미지 데이터 프레임들 사이의 스케일 변화를 나타낼 수 있다. 일 실시예에서, 시스템은 스케일 변화 추정치들의 중간 값으로서 스케일 변화 값을 결정할 수 있다. 다른 실시예에서, 시스템은 스케일 변화 추정치들의 평균 값으로서 스케일 변화 값을 결정할 수 있다. 당업자는 다른 기법 또는 방법론이 스케일 변화 추정치들의 세트에 기초하여 스케일 변화 값을 생성하는 데 사용될 수 있다는 것을 인식할 것이다.

VII. C. 이미지 데이터 프레임들의 시리즈에 걸친 누적 스케일 변화를 추적하는 예

시스템은 이미지 데이터 프레임들의 시퀀스에 걸친 스케일 변화 값을 축적하여, 그에 의해 2개 초과의 이미지 데이터 프레임에 걸친 스케일 변화를 추적할 수 있다. 소정 구현예에서, 시스템은 이미지 데이터 프레임들의 시퀀스 내의 이미지 데이터 프레임들의 연속적인 쌍들 사이의 스케일 변화 값들을 곱함으로써 스케일 변화 값을 축적할 수 있다. 도 14a 및 도 14b는 본 개시의 태양에 따른, 스케일 변화 값이 축적될 수 있는 이미지 데이터 프레임들의 시퀀스 내의 2개의 이미지 데이터 프레임의 예를 예시한다. 도 15a 및 도 15b는 본 개시의 태양에 따른, 이미지 데이터 프레임들의 시퀀스에 걸친 축적된 스케일 변화 값에 대한 변화를 예시하는 그래프이다.

도 14a 내지 도 15b를 참조하면, 이미지 데이터의 시퀀스가 이미지 데이터 프레임들의 번호가 매겨진 시퀀스에 걸쳐 예시되어 있으며, 여기에서 도 15a는 프레임 #930으로부터 프레임 #1125까지의 이미지 데이터를 포함하고 도 15b는 프레임 #965로부터 프레임 #1155까지의 이미지 데이터를 포함한다. 도 14a는 프레임 #1125로부터의 이미지 데이터(1405)를 포함하는 한편, 도 14b는 프레임 #1155로부터의 이미지 데이터(1410)를 포함한다.

도 15a 및 도 15b 각각은 본 개시의 태양에 따라 결정된 누적 스케일 값을 예시한다. 예를 들어, 그래프 내의 각각의 프레임에서의 값은 2개의 이미지 데이터 프레임들 사이의 현재 결정된 스케일 변화 값을 이전 프레임에 대해 결정된 축적된 스케일 변화 값과 곱함으로써 계산될 수 있다. 그래프에 도시된 바와 같이, 누적 스케일 변화 값은 주기적인 생리학적 잡음이 이미지 센서(및 그에 따른 기구의 원위 단부)의 위치에 영향을 미치고 있을 때의 기간이다. 시스템은 제1 기간에 걸쳐 이미지 센서로부터 수신된 이미지 데이터의 시퀀스 내의 스케일 변화 값에 대한 누적 변화를 추적하고, 일정 기간에 걸친 누적 스케일 변화 값에 기초하여 생리학적 잡음의 주파수를 결정할 수 있다. 일 실시예에서, 시스템은 추적된 스케일 변화 값을 (예컨대, 푸리에(Fourier) 또는 다른 변환을 사용하여) 주파수 영역(frequency domain)으로 변환할 수 있다. 시스템은 주파수 영역에서 추적된 스케일 변화 값 내의 적어도 하나의 고조파(harmonic)를 추가로 식별할 수 있다. 소정 실시예에서, 시스템은 주파수 영역에서 추적된 스케일 변화 값의 제1 고조파를 생리학적 잡음의 추정된 주파수로서 식별할 수 있다.

누적 스케일 변화 값으로부터 결정된 주파수는 생리학적 잡음의 주파수의 추정치로서 이용될 수 있다. 그러나, 생리학적 잡음은 내강 네트워크에 대한 기구의 위치에 대해, 생리학적 잡음이 (예컨대, 내비게이션 구성 시스템(900)에 의해 결정되는 바와 같은) 기구의 위치결정에 오차를 도입하기에 충분히 큰 영향을 항상 미치지는 않을 수 있다. 따라서, 소정 실시예에서, 시스템은 생리학적 잡음의 추정된 주파수를 생리학적 잡음의 별개로 추정된 주파수와 비교할 수 있다.

일 실시예에서, 시스템은 이미지 센서로부터 수신된 이미지 데이터 프레임들의 시퀀스에 기초하여 환자의 제1 생리학적 이동 주파수(physiological movement frequency)를 결정할 수 있다. 시스템은 하나 이상의 위치 센서(예컨대, EM 센서, 형상-감지 섬유(shape-sensing fiber), 로봇 명령 데이터, 및 방사선-기반 이미지 센서)로부터 수신된 데이터에 기초하여 환자의 제2 생리학적 이동 주파수를 추가로 결정할 수 있다. 하나 이상의 위치 센서로부터 수신된 데이터에 기초하여 환자의 생리학적 이동 주파수를 결정하기 위한 시스템 및 기법의 예가 전체적으로 본 명세서에 참고로 포함되는, 2018년 3월 29일자로 출원된 미국 특허 출원 공개 제2018/0279852호에 기술되어 있다.

시스템은 이어서 이미지 데이터의 시퀀스에 기초하는 제1 생리학적 이동 주파수와 위치 센서 데이터에 기초하는 제2 생리학적 이동 주파수 사이의 차이가 임계 차이 미만인지 여부를 결정할 수 있다. 제1 및 제2 생리학적 이동 주파수들 사이의 차이가 임계 차이 미만일 때, 시스템은 이미지 데이터 프레임들의 시퀀스에서의 스케일 변화의 주파수가 생리학적 잡음 소스에 기인한다고 결정할 수 있다. 소정 실시예에서, 시스템은 이미지 데이터 프레임들의 시퀀스에서의 스케일 변화의 주파수가 생리학적 잡음 소스에 기인한다고 결정하는 것에 응답하여 내강 네트워크 내에서의 기구의 검출된 위치의 변화의 표시를 디스플레이에 제공할 수 있다.

대조적으로, 제1 및 제2 생리학적 이동 주파수들 사이의 차이가 임계 차이 미만이 아닐 때, 시스템은 기구에 대한 내강 네트워크에서의 이동이 (예컨대, 내비게이션 구성 시스템(900)에 의해 결정되는 바와 같은) 기구의 위치결정의 정확도에 영향을 미칠 것으로 결정하기에 충분한 신뢰도를 갖지 않을 수 있다. 다시 말하면, 이미지 데이터의 시퀀스에서의 스케일 변화의 주파수가 별개의 기법을 사용하여 측정된 생리학적 주파수와 충분히 일치하지 않을 때, 시스템은 기구의 위치결정에 오차를 도입하지 않도록 내강 네트워크에 대해 충분히 안정된 기구의 위치를 추론할 수 있다.

VII. D. 관심 대상의 포인트의 역추적(Backtracking)의 예

관심 대상의 포인트를 식별하는 데 사용되는 특정 이미지 처리 기법(예컨대, SURF, SIFT 등)에 따라, 이미지 데이터의 2개의 프레임이 처리되는 순서는 이미지 데이터 내의 관심 대상의 포인트의 위치의 식별에 영향을 미칠 수 있다. 예를 들어, 도 13a 및 도 13b를 참조하면, 일례에서, 시스템은 프레임(1300A)으로부터의 픽셀(1310A, 1320A)의 위치의 변화를 추적함으로써 이미지 데이터 프레임(1300B) 내의 픽셀(1310B, 1320B)을 식별할 수 있다. 그러나, 소정 조건 하에서, 이미지 데이터 프레임(1300B)으로부터 이미지 데이터 프레임(1300A)으로 픽셀(1310B, 1320B)을 추적함으로써 이러한 프로세스를 역전시켜, 시스템은 원래 픽셀(1310A, 1320A)로부터 상이한 픽셀을 식별할 수 있다. 역추적 프로세스 동안 식별된 픽셀이 원래 픽셀들(1310A, 1320A)과 동일하지 않을 때, 식별된 픽셀은 스케일 변화 추정치를 결정하기에 충분히 강건하지 않을 수 있다.

따라서, 시스템은 제2 이미지 데이터로부터 제1 이미지 데이터로 포인트들의 세트를 역추적함으로써 제1 이미지 데이터 내의 포인트들의 세트의 역추적된 위치들의 세트를 식별하고 역추적된 위치들의 세트를 제1 이미지 데이터로부터 식별된 포인트들의 세트의 위치들의 원래 세트와 비교할 수 있다. 시스템은 역추적된 위치가 제1 위치들의 세트의 임계 거리 내에 있지 않은(예컨대, 역추적된 픽셀의 위치가 순방향 추적에 사용되는 픽셀의 원래 결정된 위치와 충분히 일치하지 않는) 포인트들의 세트로부터의 포인트들의 서브-세트를 식별할 수 있다. 시스템은 포인트들의 세트로부터 포인트들의 서브-세트를 제거하고 포인트들의 제거된 서브-세트 없이 스케일 변화 추정치를 결정할 수 있다. 이는 이미지 데이터 프레임들의 시리즈에 걸쳐 포인트 추적의 정확도 및 강건성을 개선할 수 있다.

VII. D. 동적 기구 이동 동안 생리학적 잡음을 검출하는 예

본 개시의 소정 태양이 기구가 고정되어 있는 상태에서(예컨대, 기구를 이동시키기 위한 로봇 명령이 제공되지 않는 상태에서) 수행될 수 있지만, 동적 기구 이동 동안(예컨대 내강 네트워크 내에서 기구를 구동시키는 상태에서) 생리학적 잡음을 검출하는 것이 또한 바람직할 수 있다. 그러한 동적 기구 이동 동안, (예컨대, 제1 시간 및 제2 시간에 수신된) 2개의 이미지 데이터 프레임들 사이의 변화는 기구 이동 및 생리학적 잡음의 조합의 결과일 수 있다. 따라서, 기구의 동적 이동 동안에 생리학적 잡음을 검출하기 위해, 기구 이동 운동은 이미지-기반 알고리즘 모듈(970)에 의해 검출된 운동에서의 생리학적 잡음으로부터 분리되어야 한다. 소정 실시예에서, 시스템은 위치설정 센서로부터 수신된 기구의 3D 이동(예컨대, EM-기반 상태 데이터, 로봇-기반 상태 데이터, EM 및/또는 광학적 형상 감지 상태 데이터 등)을 사용함으로써 3D 공간에서 운동 분리를 수행할 수 있다. 시스템은 기구와 내강 네트워크 사이의 상대 3D 운동을 결정하기 위해 이미지-기반 3D 운동 추정(예컨대, 운동으로부터의 구조)을 포함하는 소정의 이미지 처리 기법을 채용할 수 있다.

하나의 예시적인 구현예에서, 시스템은 위치 센서로부터 수신된 데이터에 기초하여 2개의 시점들 사이의(예컨대,

와

사이의) 위치 센서-기반 3D 기구 이동을 결정할 수 있다. 3D 기구 이동 데이터는 3 공간 자유도(degrees-of-freedom, DoF), 예를 들어

, 및 3 회전 DoF, 예를 들어

에 의해 표현될 수 있다. 시스템은 또한 위치 센서-기반 3D 기구 이동에서와 동일한 6 DoF 측정에 의해 표현되는 2개의 시점들 사이의 이미지 센서-기반 3D 기구 이동을 결정할 수 있다.

시스템은 위치 센서-기반 3D 기구 이동과 이미지 센서-기반 3D 기구 이동 사이의 차이를 결정함으로써 생리학적 이동을 나타내는 3D 기구 이동 추정치를 결정할 수 있다. 시스템은 이어서 주어진 기간에 걸쳐 위치 센서 측정치 및 이미지 데이터의 시퀀스에 걸친 생리학적 이동을 나타내는 3D 기구 이동 추정치를 축적할 수 있고, 이로부터 생리학적 잡음과 연관된 주파수 및 진폭이 (예컨대, 고조파 분석을 포함하는 위에서 정의된 기법들 중 하나 이상을 사용하여) 추출될 수 있다.

VII. E. 생리학적 잡음으로 인해 연접부들 사이에서 이행하는 기구를 검출하는 예

기구가 내강 네트워크 내의 연접부 부근에 위치될 때(예컨대, 현재 세그먼트가 2개 이상의 차일드 세그먼트(child segment)로 분지될 때) 생리학적 잡음으로 인해 도입된 기구의 결정된 위치의 불확실성이 있을 수 있다. 즉, 기구가 연접부 부근에 위치되지 않은 경우, 기구가 생리학적 잡음으로 인해 현재 세그먼트 내에서 깊이의 변화를 가질 수 있더라도, 기구는 다른 세그먼트로 이행함이 없이 현재 세그먼트 내에서 유지될 수 있다. 그러나, 기구가 연접부 부근에 위치되는 경우, 생리학적 잡음으로 인한 기구의 이동은 기구를 하나의 세그먼트로부터 다른 세그먼트 내로 이동시키기에 충분할 수 있다. 따라서, 기구가 내강 네트워크의 새로운 세그먼트 내로 연접부를 건너갔는지 여부를 시스템이 정확하게 결정할 수 없다는 표시를 사용자에게 제공하는 것이 바람직할 수 있다.

소정 실시예에서, 시스템은 이미지 센서로부터 수신된 이미지 데이터로부터 기도를 식별 및 분석함으로써 연접부 이행을 검출할 수 있다. 예를 들어, 시스템은 (예컨대, 제1 시간

및 제2 시간

에 수신된) 2개의 이미지 데이터 프레임들 사이에서 검출된 기도의 위치를 추적한다. 시스템은, 소정 실시예에서, 기구가 하기 조건들 중 적어도 하나가 충족되는 것에 응답하여 연접부를 통해 이행되었음을 결정할 수 있다: 1) 모든 추정된 기도가 시간

에서의 이미지 데이터의 검출된 기도와 중첩되지만, 추정된 기도와 중첩되지 않는 시간

에서의 이미지 데이터의 하나 이상의 검출된 기도가 존재함; 2) 시간

에서의 이미지 데이터의 모든 검출된 기도가 추정된 기도와 중첩되지만, 시간

에서의 이미지 데이터의 검출된 기도와 중첩되지 않는 하나 이상의 추정된 기도가 존재함; 및 3) 추정된 기도와 중첩되지 않는 하나 이상의 검출된 기도가 존재하고, 검출된 기도와 중첩되지 않는 하나 이상의 추정된 기도가 존재함. 따라서, 실시예는 이전 기도의 위치 및 크기를 추적하고 그들을 현재 이미지 데이터에서 검출된 기도의 위치 및 크기와 비교할 수 있다. 위에서 열거된 조건들 중 하나 이상의 존재 및 기구에 대한 해부학적 구조의 이동의 검출은 연접부들 사이에서의 이행을 검출하기 위해 시스템에 의해 사용될 수 있다.

VIII. 구현 시스템 및 용어

본 명세서에 개시된 구현예는 내강 네트워크의 내비게이션 동안 생리학적 잡음을 검출하기 위한 시스템, 방법 및 장치를 제공한다.

본 명세서에 사용되는 바와 같은 용어 "결합하다", "결합하는", "결합된" 또는 단어 결합하다의 다른 변형은 간접적인 연결 또는 직접적인 연결을 나타낼 수 있다는 것에 유의하여야 한다. 예를 들어, 제1 구성요소가 제2 구성요소에 "결합된" 경우, 제1 구성요소는 다른 구성요소를 통해 제2 구성요소에 간접적으로 연결되거나 제2 구성요소에 직접적으로 연결될 수 있다.

본 명세서에 기술된 경로-기반 내비게이션 기능은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령어로서 저장될 수 있다. 용어 "컴퓨터-판독가능 매체"는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예로서, 그러한 매체는 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 전기적 소거가능 프로그램가능 판독-전용 메모리(EEPROM), 플래시 메모리, 콤팩트 디스크 판독-전용 메모리(CD-ROM)를 포함할 수 있고 또는 다른 광학 디스크 저장장치는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터-판독가능 매체는 유형적이고 비-일시적일 수 있음에 유의하여야 한다. 본 명세서에 사용되는 바와 같이, 용어 "코드"는 컴퓨팅 장치 또는 프로세서에 의해 실행가능한 소프트웨어, 명령어, 코드 또는 데이터를 지칭할 수 있다.

본 명세서에 개시된 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법 단계 및/또는 동작은 청구범위의 범주로부터 벗어남이 없이 서로 교환될 수 있다. 다시 말하면, 기술되는 방법의 적절한 작동을 위해 특정 순서의 단계 또는 동작이 요구되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용은 청구범위의 범주로부터 벗어남이 없이 수정될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "복수"는 2개 이상을 나타낸다. 예를 들어, 복수의 구성요소는 2개 이상의 구성요소를 나타낸다. 용어 "결정하는"은 매우 다양한 동작을 포함하며, 따라서 "결정하는"은 계산, 컴퓨팅, 처리, 도출, 조사, 검색(예컨대, 테이블, 데이터베이스 또는 다른 데이터 구조에서의 검색), 확인 등을 포함할 수 있다. 또한, "결정하는"은 수신(예컨대, 정보를 수신함), 액세스(예컨대, 메모리의 데이터에 액세스함) 등을 포함할 수 있다. 또한, "결정하는"은 해석, 선택, 선정, 설정 등을 포함할 수 있다.

어구 "~에 기초한"은, 달리 명백히 명시되지 않는 한, "단지 ~에 기초한"을 의미하지는 않는다. 다시 말하면, 어구 "~에 기초한"은 "단지 ~에 기초한" 및 "적어도 ~에 기초한" 둘 모두를 기술한다.

개시된 구현예의 이전의 설명은 당업자가 본 발명을 제조하거나 사용하는 것을 가능하게 하도록 제공된다. 이들 구현예에 대한 다양한 수정은 당업자에게 용이하게 명백해질 것이고, 본 명세서에서 정의된 일반적인 원리는 본 발명의 범주로부터 벗어남이 없이 다른 구현예에 적용될 수 있다. 예를 들어, 당업자가 다수의 대응하는 대안적인 그리고 동등한 구조적 상세사항, 예컨대 도구 구성요소를 체결, 장착, 결합, 또는 맞물리게 하는 동등한 방식, 특정 작동 운동을 생성하기 위한 동등한 메커니즘, 및 전기 에너지를 전달하기 위한 동등한 메커니즘을 채용할 수 있을 것임이 인식될 것이다. 따라서, 본 발명은 본 명세서에 도시된 구현예로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범주에 따른다.

Claims (39)

1. 의료 로봇 시스템(medical robotic system)으로서,
   하나 이상의 프로세서들의 세트; 및
   상기 프로세서들의 세트와 통신하고, 상기 프로세서들의 세트로 하여금,
   환자의 내강 네트워크(luminal network)를 통해 구동되도록 구성되는 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하고,
   상기 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트(point of interest)들의 세트를 검출하고,
   상기 제1 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하고,
   상기 이미지 센서로부터 제2 이미지 데이터를 수신하고,
   상기 제2 이미지 데이터에서 상기 하나 이상의 포인트들의 세트를 검출하고,
   상기 제2 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하고,
   상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여, 상기 기구에 대한 상기 내강 네트워크의 이동에 의해 유발되는 상기 내강 네트워크 내에서의 상기 기구의 위치의 변화를 검출하게 하기 위한 컴퓨터-실행가능 명령어들을 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하는, 의료 로봇 시스템.
2. 제1항에 있어서,
   상기 제1 위치들의 세트 및 상기 제2 위치의 세트는 각각 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 내에서의 상기 포인트들의 2차원(2D) 위치들을 정의하는, 의료 로봇 시스템.
3. 제2항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   제1 포인트들의 쌍이 제1 포인트 및 제2 포인트를 포함하는, 복수의 포인트들의 쌍들로 상기 포인트들의 세트를 그룹화하고,
   상기 제1 위치들의 세트에 기초하여 상기 제1 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제1 거리를 결정하고,
   상기 제2 위치들의 세트에 기초하여 상기 제2 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제2 거리를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
   상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 거리 및 상기 제2 거리에 추가로 기초하는, 의료 로봇 시스템.
4. 제3항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 포인트들의 쌍에 대한 제1 스케일 변화 추정치(scale change estimate)를 결정하고,
   상기 스케일 변화 추정치에 기초하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터 사이에서의 상기 스케일 변화를 나타내는 스케일 변화 값을 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
   상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 스케일 변화 값에 추가로 기초하는, 의료 로봇 시스템.
5. 제4항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   상기 포인트들의 쌍들에 각각 대응하는 스케일 변화 추정치들의 세트를 결정하고,
   상기 스케일 변화 추정치들의 세트의 중간 값 또는 상기 스케일 변화 추정치들의 세트의 평균 값에 기초하여 상기 스케일 변화 값을 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
6. 제1항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   제1 기간에 걸쳐 상기 이미지 센서로부터 수신되는 이미지 데이터의 스케일 변화를 나타내는 스케일 변화 값에 대한 누적 변화들을 추적하고,
   상기 추적된 스케일 변화 값을 주파수 영역(frequency domain)으로 변환하고,
   주파수 영역에서 상기 추적된 스케일 변화 값 내의 적어도 하나의 고조파(harmonic)를 식별하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
   상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 적어도 하나의 고조파에 추가로 기초하는, 의료 로봇 시스템.
7. 제1항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   하나 이상의 위치 센서들로부터 수신되는 데이터에 기초하여 상기 기구의 위치를 결정하고,
   상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여 상기 환자의 제1 생리학적 이동 주파수(physiological movement frequency)를 결정하는 것으로서, 상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 생리학적 이동 주파수에 추가로 기초하는, 상기 환자의 제1 생리학적 이동 주파수를 결정하고,
   상기 내강 네트워크 내에서의 상기 기구의 상기 검출된 위치의 변화의 표시를 디스플레이에 제공하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
8. 제7항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
   상기 하나 이상의 위치 센서들로부터 수신되는 상기 데이터에 기초하여 상기 환자의 제2 생리학적 이동 주파수를 결정하고,
   상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 차이가 임계 차이 미만인지를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
   상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 상기 차이가 상기 임계 차이 미만인 것으로 결정한 것에 추가로 응답하는, 의료 로봇 시스템.
9. 제7항에 있어서, 상기 하나 이상의 위치 센서들은 전자기(electromagnetic, EM) 센서, 형상-감지 섬유(shape-sensing fiber), 로봇 명령 데이터, 및 방사선-기반 이미지 센서 중 적어도 하나를 포함하는, 의료 로봇 시스템.
10. 제7항에 있어서, 상기 생리학적 이동은 상기 환자의 호흡 또는 상기 환자의 심박수 중 적어도 하나를 포함하는, 의료 로봇 시스템.
11. 제1항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
    상기 제2 이미지 데이터로부터 상기 제1 이미지 데이터로 상기 포인트들의 세트를 역추적함(backtracking)으로써 상기 제1 이미지 데이터 내의 상기 포인트들의 세트의 역추적된 위치들의 세트를 식별하고,
    상기 역추적된 위치들의 세트를 상기 제1 위치들의 세트와 비교하고,
    상기 역추적된 위치들이 상기 제1 위치들의 세트의 임계 거리 내에 있지 않은 상기 포인트들의 세트 내의 포인트들의 서브-세트를 식별하고,
    상기 포인트들의 세트로부터 상기 포인트들의 서브-세트를 제거하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
12. 제1항에 있어서, 상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터의 좌표계에 대한 상기 포인트들의 상기 각각의 위치들을 나타내는 2차원(2D) 정보를 포함하는, 의료 로봇 시스템.
13. 제1항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
    상기 제1 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하고,
    상기 제2 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 제2 이미지 데이터 각각으로부터 추출된 깊이 정보에 기초하여 결정되는 상기 포인트들의 상기 각각의 위치들을 나타내는 3차원(3D) 정보를 포함하는, 의료 로봇 시스템.
14. 명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금,
    환자의 내강 네트워크를 통해 구동되도록 구성되는 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하고;
    상기 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출하고;
    상기 제1 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하고;
    상기 이미지 센서로부터 제2 이미지 데이터를 수신하고;
    상기 제2 이미지 데이터에서 상기 하나 이상의 포인트들의 세트를 검출하고;
    상기 제2 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하고;
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여, 상기 기구에 대한 상기 내강 네트워크의 이동에 의해 유발되는 상기 내강 네트워크 내에서의 상기 기구의 위치의 변화를 검출하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
15. 제14항에 있어서,
    상기 제1 위치들의 세트 및 상기 제2 위치의 세트는 각각 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 내에서의 상기 포인트들의 2차원(2D) 위치들을 정의하는, 비-일시적 컴퓨터 판독가능 저장 매체.
16. 제15항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    제1 포인트들의 쌍이 제1 포인트 및 제2 포인트를 포함하는, 복수의 포인트들의 쌍들로 상기 포인트들의 세트를 그룹화하고;
    상기 제1 위치들의 세트에 기초하여 상기 제1 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제1 거리를 결정하고;
    상기 제2 위치들의 세트에 기초하여 상기 제2 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제2 거리를 결정하게 하는 명령어들을 추가로 저장하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 거리 및 상기 제2 거리에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
17. 제16항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 포인트들의 쌍에 대한 제1 스케일 변화 추정치를 결정하고;
    상기 스케일 변화 추정치에 기초하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터 사이에서의 상기 스케일 변화를 나타내는 스케일 변화 값을 결정하게 하는 명령어들을 추가로 저장하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 스케일 변화 값에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
18. 제17항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    상기 포인트들의 쌍들에 각각 대응하는 스케일 변화 추정치들의 세트를 결정하고;
    상기 스케일 변화 추정치들의 세트의 중간 값 또는 상기 스케일 변화 추정치들의 세트의 평균 값에 기초하여 상기 스케일 변화 값을 결정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
19. 제14항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    제1 기간에 걸쳐 상기 이미지 센서로부터 수신되는 이미지 데이터의 스케일 변화를 나타내는 스케일 변화 값에 대한 누적 변화들을 추적하고;
    상기 추적된 스케일 변화 값을 주파수 영역으로 변환하고;
    주파수 영역에서 상기 추적된 스케일 변화 값 내의 적어도 하나의 고조파를 식별하게 하는 명령어들을 추가로 저장하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 적어도 하나의 고조파에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
20. 제14항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    하나 이상의 위치 센서들로부터 수신되는 데이터에 기초하여 상기 기구의 위치를 결정하고;
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여 상기 환자의 제1 생리학적 이동 주파수를 결정하는 것으로서, 상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 생리학적 이동 주파수에 추가로 기초하는, 상기 환자의 제1 생리학적 이동 주파수를 결정하고;
    상기 내강 네트워크 내에서의 상기 기구의 상기 검출된 위치의 변화의 표시를 디스플레이에 제공하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
21. 제20항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    상기 하나 이상의 위치 센서들로부터 수신되는 상기 데이터에 기초하여 상기 환자의 제2 생리학적 이동 주파수를 결정하고;
    상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 차이가 임계 차이 미만인지를 결정하게 하는 명령어들을 추가로 저장하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 것은 상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 상기 차이가 상기 임계 차이 미만인 것으로 결정한 것에 추가로 응답하는, 비-일시적 컴퓨터 판독가능 저장 매체.
22. 제20항에 있어서, 상기 하나 이상의 위치 센서들은 전자기(EM) 센서, 형상-감지 섬유, 로봇 명령 데이터, 및 방사선-기반 이미지 센서 중 적어도 하나를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
23. 제20항에 있어서, 상기 생리학적 이동은 상기 환자의 호흡 또는 상기 환자의 심박수 중 적어도 하나를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
24. 제14항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    상기 제2 이미지 데이터로부터 상기 제1 이미지 데이터로 상기 포인트들의 세트를 역추적함으로써 상기 제1 이미지 데이터 내의 상기 포인트들의 세트의 역추적된 위치들의 세트를 식별하고;
    상기 역추적된 위치들의 세트를 상기 제1 위치들의 세트와 비교하고;
    상기 역추적된 위치들이 상기 제1 위치들의 세트의 임계 거리 내에 있지 않은 상기 포인트들의 세트 내의 포인트들의 서브-세트를 식별하고;
    상기 포인트들의 세트로부터 상기 포인트들의 서브-세트를 제거하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
25. 제14항에 있어서, 상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터의 좌표계에 대한 상기 포인트들의 상기 각각의 위치들을 나타내는 2차원(2D) 정보를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
26. 제14항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
    상기 제1 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하고;
    상기 제2 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하게 하는 명령어들을 추가로 저장하고,
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 제2 이미지 데이터 각각으로부터 추출된 깊이 정보에 기초하여 결정되는 상기 포인트들의 상기 각각의 위치들을 나타내는 3차원(3D) 정보를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
27. 기구의 위치의 변화를 검출하기 위한 방법으로서,
    환자의 내강 네트워크를 통해 구동되도록 구성되는 상기 기구 상에 위치되는 이미지 센서로부터 제1 이미지 데이터를 수신하는 단계;
    상기 제1 이미지 데이터에서 하나 이상의 관심 대상의 포인트들의 세트를 검출하는 단계;
    상기 제1 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제1 위치들의 세트를 식별하는 단계;
    상기 이미지 센서로부터 제2 이미지 데이터를 수신하는 단계;
    상기 제2 이미지 데이터에서 상기 하나 이상의 포인트들의 세트를 검출하는 단계;
    상기 제2 이미지 데이터 내의 상기 포인트들의 세트에 각각 대응하는 제2 위치들의 세트를 식별하는 단계; 및
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여, 상기 기구에 대한 상기 내강 네트워크의 이동에 의해 유발되는 상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계를 포함하는, 방법.
28. 제27항에 있어서,
    상기 제1 위치들의 세트 및 상기 제2 위치의 세트는 각각 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 내에서의 상기 포인트들의 2차원(2D) 위치들을 정의하는, 방법.
29. 제28항에 있어서, 상기 방법은,
    제1 포인트들의 쌍이 제1 포인트 및 제2 포인트를 포함하는, 복수의 포인트들의 쌍들로 상기 포인트들의 세트를 그룹화하는 단계;
    상기 제1 위치들의 세트에 기초하여 상기 제1 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제1 거리를 결정하는 단계; 및
    상기 제2 위치들의 세트에 기초하여 상기 제2 이미지 데이터 내의 상기 제1 포인트와 상기 제2 포인트 사이의 제2 거리를 결정하는 단계를 추가로 포함하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계는 상기 제1 거리 및 상기 제2 거리에 추가로 기초하는, 방법.
30. 제29항에 있어서, 상기 방법은,
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 포인트들의 쌍에 대한 제1 스케일 변화 추정치를 결정하는 단계; 및
    상기 스케일 변화 추정치에 기초하여 상기 제1 이미지 데이터와 상기 제2 이미지 데이터 사이에서의 상기 스케일 변화를 나타내는 스케일 변화 값을 결정하는 단계를 추가로 포함하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계는 상기 스케일 변화 값에 추가로 기초하는, 방법.
31. 제30항에 있어서,
    상기 포인트들의 쌍들에 각각 대응하는 스케일 변화 추정치들의 세트를 결정하는 단계; 및
    상기 스케일 변화 추정치들의 세트의 중간 값 또는 상기 스케일 변화 추정치들의 세트의 평균 값에 기초하여 상기 스케일 변화 값을 결정하는 단계를 추가로 포함하는, 방법.
32. 제27항에 있어서, 상기 방법은,
    제1 기간에 걸쳐 상기 이미지 센서로부터 수신되는 이미지 데이터의 스케일 변화를 나타내는 스케일 변화 값에 대한 누적 변화들을 추적하는 단계;
    상기 추적된 스케일 변화 값을 주파수 영역으로 변환하는 단계; 및
    주파수 영역에서 상기 추적된 스케일 변화 값 내의 적어도 하나의 고조파를 식별하는 단계를 추가로 포함하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계는 상기 적어도 하나의 고조파에 추가로 기초하는, 방법.
33. 제27항에 있어서,
    하나 이상의 위치 센서들로부터 수신되는 데이터에 기초하여 상기 기구의 위치를 결정하는 단계;
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트에 기초하여 상기 환자의 제1 생리학적 이동 주파수를 결정하는 단계로서, 상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계는 상기 제1 생리학적 이동 주파수에 추가로 기초하는, 상기 환자의 제1 생리학적 이동 주파수를 결정하는 단계; 및
    상기 내강 네트워크 내에서의 상기 기구의 상기 검출된 위치의 변화의 표시를 디스플레이에 제공하는 단계를 추가로 포함하는, 방법.
34. 제33항에 있어서, 상기 방법은,
    상기 하나 이상의 위치 센서들로부터 수신되는 상기 데이터에 기초하여 상기 환자의 제2 생리학적 이동 주파수를 결정하는 단계; 및
    상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 차이가 임계 차이 미만인지를 결정하는 단계를 추가로 포함하고,
    상기 내강 네트워크 내에서의 상기 기구의 상기 위치의 변화를 검출하는 단계는 상기 제1 생리학적 이동 주파수와 상기 제2 생리학적 이동 주파수 사이의 상기 차이가 상기 임계 차이 미만인 것으로 결정한 단계에 추가로 응답하는, 방법.
35. 제33항에 있어서, 상기 하나 이상의 위치 센서들은 전자기(EM) 센서, 형상-감지 섬유, 로봇 명령 데이터, 및 방사선-기반 이미지 센서 중 적어도 하나를 포함하는, 방법.
36. 제33항에 있어서, 상기 생리학적 이동은 상기 환자의 호흡 또는 상기 환자의 심박수 중 적어도 하나를 포함하는, 방법.
37. 제27항에 있어서,
    상기 제2 이미지 데이터로부터 상기 제1 이미지 데이터로 상기 포인트들의 세트를 역추적함으로써 상기 제1 이미지 데이터 내의 상기 포인트들의 세트의 역추적된 위치들의 세트를 식별하는 단계;
    상기 역추적된 위치들의 세트를 상기 제1 위치들의 세트와 비교하는 단계;
    상기 역추적된 위치들이 상기 제1 위치들의 세트의 임계 거리 내에 있지 않은 상기 포인트들의 세트 내의 포인트들의 서브-세트를 식별하는 단계; 및
    상기 포인트들의 세트로부터 상기 포인트들의 서브-세트를 제거하는 단계를 추가로 포함하는, 방법.
38. 제27항에 있어서, 상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터의 좌표계에 대한 상기 포인트들의 상기 각각의 위치들을 나타내는 2차원(2D) 정보를 포함하는, 방법.
39. 제27항에 있어서, 상기 방법은,
    상기 제1 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하는 단계; 및
    상기 제2 이미지 데이터로부터 상기 포인트들의 세트에 대한 깊이 정보를 추출하는 단계를 추가로 포함하고,
    상기 제1 위치들의 세트 및 상기 제2 위치들의 세트는 상기 제1 이미지 데이터 및 제2 이미지 데이터 각각으로부터 추출된 깊이 정보에 기초하여 결정되는 상기 포인트들의 상기 각각의 위치들을 나타내는 3차원(3D) 정보를 포함하는, 방법.

Images