KR20210018858A

KR20210018858A - 관상 네트워크의 경로-기반 내비게이션

Info

Publication number: KR20210018858A
Application number: KR1020207037574A
Authority: KR
Inventors: 수바쉬니 스리니바산; 헤디에흐 라피이-타리; 리트윅 움마라네니; 데이비드 폴 누난; 프라산쓰 지반
Original assignee: 아우리스 헬스, 인코포레이티드
Priority date: 2018-05-31
Filing date: 2019-05-28
Publication date: 2021-02-18
Also published as: EP3801189A4; MX2020012898A; WO2019231891A1; US20190365486A1; EP3801189A1; CN110831481B; JP7371026B2; US10898286B2; US11864850B2; JP2021525566A; US20210137617A1; US20230390002A1; EP3801189B1; CN110831481A

Abstract

관상 네트워크의 경로-기반 내비게이션을 위한 시스템 및 방법이 제공된다. 일 태양에서, 방법은 위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하는 단계를 포함한다. 방법은 또한 위치 데이터에 기초하여 제1 시간에서의 기구의 위치의 제1 추정치를 결정하는 단계, 경로에 기초하여 제1 시간에서의 기구의 위치의 제2 추정치를 결정하는 단계, 및 제1 추정치 및 제2 추정치에 기초하여 제1 시간에서의 기구의 위치를 결정하는 단계를 포함한다.

Description

관상 네트워크의 경로-기반 내비게이션

관련 출원의 상호 참조

본 출원은 전체적으로 본 명세서에 참고로 포함되는, 2018년 5월 31일자로 출원된 미국 가출원 제62/678,970호의 이익을 주장한다.

기술분야

본 명세서에 개시된 시스템 및 방법은 수술 로봇(surgical robotic)에 관한 것으로, 더 상세하게는 경로(path)에 적어도 부분적으로 기초하는 환자의 신체의 관상 네트워크(tubular network) 내에서의 의료 기구의 내비게이션(navigation)에 관한 것이다.

기관지경술은 의사가 기관지 및 세기관지와 같은, 환자의 폐 기도의 내측 상태를 검사하도록 허용하는 의료 절차이다. 폐 기도는 기관(trachea) 또는 숨통(windpipe)으로부터 폐로 공기를 운반한다. 의료 절차 동안, 기관지경으로 알려진 얇은, 가요성 튜브형 도구가 환자의 입 내로 삽입되고 환자의 인후를 따라 그/그녀의 폐 기도 내로 통과될 수 있으며, 환자는 일반적으로 의료 절차 동안 수술 검사 및 수술을 위해 그들의 인후 및 폐 공동을 이완시키기 위해 마취된다.

관련 기술에서, 기관지경은 의사가 환자의 숨통 및 기도를 검사하도록 허용하는 광원 및 소형 카메라를 포함할 수 있고, 강성 튜브가 수술 목적을 위해, 예컨대 환자의 폐 내에서 상당한 양의 출혈이 있을 때 또는 큰 객체가 환자의 인후를 차단하고 있을 때, 기관지경과 함께 사용될 수 있다. 강성 튜브가 사용될 때, 환자는 흔히 마취된다. 다른 진보된 의료 장치의 출현과 동시에, 로봇 기관지경의 사용이 점점 더 현실이 되고 있다. 로봇 기관지경은 관상 네트워크를 통한 내비게이션에서 대단한 이점을 제공한다. 그들은 사용하기에 용이하고 기관지경술 단계 동안에도 치료 및 생검이 편리하게 시행되도록 허용한다.

기계 장치 또는 플랫폼(platform), 예컨대 전술된 로봇 기관지경 외에도, 다양한 방법 및 소프트웨어 모델이 수술에 도움을 주기 위해 사용될 수 있다. 예로서, 환자의 폐의 컴퓨터 단층촬영(computerized tomography, CT) 스캔이 흔히 수술 검사의 수술전 동안에 수행된다. CT 스캔으로부터의 데이터는 환자의 폐의 기도의 3차원(3D) 모델을 생성하는 데 사용될 수 있고, 생성된 3D 모델은 의사가 수술 검사의 수술 절차 동안 유용할 수 있는 시각적 기준에 접근하는 것을 가능하게 한다.

그러나, 관상 네트워크의 내비게이션을 위한 이전 기법은, 의료 장치(예컨대, 로봇 기관지경)를 이용할 때 및 기존 방법을 사용할(예컨대, CT 스캔을 수행하고 3D 모델을 생성할) 때에도, 여전히 문제를 갖는다. 일례로서, 환자의 신체 내측의 의료 장치(예컨대, 기관지경 도구)의 운동 추정은 장치의 위치 및 배향 변화에 기초하여 정확하지 않을 수 있고, 그 결과 장치의 위치는 환자의 신체 내측에서 실시간으로 정확하거나 정밀하게 위치결정되지 않을 수 있다. 그러한 기구에 대한 부정확한 위치 정보는 의료 수술 절차 동안 3D 모델을 시각적 기준으로서 사용하는 의사에게 오인하게 하는 정보를 제공할 수 있다.

따라서, 관상 구조의 네트워크를 통해 내비게이션하기 위한 개선된 기법에 대한 필요성이 존재한다.

본 개시의 시스템, 방법 및 장치는 각각 여러 혁신적인 태양을 가지며, 그 중 어떠한 단일 태양도 단독으로 본 명세서에 개시된 바람직한 속성의 원인이 되는 것은 아니다.

일 태양에서, 의료 로봇 시스템(medical robotic system)으로서, 하나 이상의 프로세서들의 세트; 및 프로세서들의 세트와 통신하고, 환자의 내강 네트워크(luminal network)의 모델, 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하고, 메모리는 프로세서들의 세트로 하여금, 위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하고, 위치 데이터에 기초하여 제1 시간에서의 기구의 위치의 제1 추정치(estimate)를 결정하고, 경로에 기초하여 제1 시간에서의 기구의 위치의 제2 추정치를 결정하고, 제1 추정치 및 제2 추정치에 기초하여 제1 시간에서의 기구의 위치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템이 제공된다.

다른 태양에서, 명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금, 위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하고; 위치 데이터에 기초하여 제1 시간에서의 기구의 위치의 제1 추정치를 결정하고; 적어도 하나의 컴퓨터-판독가능 메모리에 저장된 경로에 기초하여 제1 시간에서의 기구의 위치의 제2 추정치를 결정하는 것으로서, 비-일시적 컴퓨터 판독가능 저장 매체는 내강 네트워크의 모델, 모델에 대한 표적의 위치, 및 경로를 추가로 저장하고, 경로는 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따라 한정되는, 제1 시간에서의 기구의 위치의 제2 추정치를 결정하고, 제1 추정치 및 제2 추정치에 기초하여 제1 시간에서의 기구의 위치를 결정하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체가 제공된다.

또 다른 태양에서, 기구의 위치를 추정하는 방법으로서, 위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하는 단계; 위치 데이터에 기초하여 제1 시간에서의 기구의 위치의 제1 추정치를 결정하는 단계; 적어도 하나의 컴퓨터-판독가능 메모리에 저장된 경로에 기초하여 제1 시간에서의 기구의 위치의 제2 추정치를 결정하는 단계로서, 적어도 하나의 컴퓨터-판독가능 메모리는 내강 네트워크의 모델, 모델에 대한 표적의 위치, 및 경로를 저장하고, 경로는 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따라 한정되는, 제1 시간에서의 기구의 위치의 제2 추정치를 결정하는 단계, 및 제1 추정치 및 제2 추정치에 기초하여 제1 시간에서의 기구의 위치를 결정하는 단계를 포함하는, 방법이 제공된다.

또 다른 태양에서, 의료 로봇 시스템으로서, 하나 이상의 프로세서들의 세트; 및 프로세서들의 세트와 통신하고, 환자의 내강 네트워크의 매핑된 부분(mapped portion)의 모델, 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하고, 메모리는 프로세서들의 세트로 하여금, 경로가 표적에 도달하기 전에 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하고, 적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 모델의 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티(modality)를 통해, 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하고, 현재 위치에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는지를 결정하고, 기구의 원위 단부가 지점의 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 제1 모달리티에 주어지는 가중치(weight)의 감소에 기초하여 기구의 현재 위치를 업데이트하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템이 제공된다.

또 다른 태양에서, 명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금, 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 것으로서, 적어도 하나의 컴퓨터-판독가능 메모리가 내강 네트워크의 매핑된 부분의 모델, 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한, 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하고; 적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 모델의 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티를 통해, 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하고; 현재 위치에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는지를 결정하고; 기구의 원위 단부가 지점의 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 제1 모달리티에 주어지는 가중치의 감소에 기초하여 기구의 현재 위치를 업데이트하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체가 제공된다.

다른 태양에서, 기구의 위치를 결정하는 방법으로서, 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 단계로서, 적어도 하나의 컴퓨터-판독가능 메모리가 내강 네트워크의 매핑된 부분의 모델, 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한, 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 단계; 적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 모델의 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티를 통해, 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하는 단계; 현재 위치에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는지를 결정하는 단계; 및 기구의 원위 단부가 지점의 임계 범위 내에 있는 것으로 결정한 단계에 응답하여, 제1 모달리티에 주어지는 가중치의 감소에 기초하여 기구의 현재 위치를 업데이트하는 단계를 포함하는, 방법이 제공된다.

개시된 태양은, 개시된 태양을 제한하지 않고 예시하기 위해 제공되는 첨부 도면과 함께 본 명세서에 후술될 것이며, 여기에서 유사한 명칭은 유사한 요소를 나타낸다.
도 1a는 일 실시예에 따른 예시적인 수술 로봇 시스템을 도시한 도면.
도 1b 내지 도 1f는 일 실시예에 따른, 도 1a에 도시된 수술 로봇 시스템에 결합된 로봇 플랫폼의 다양한 사시도를 도시한 도면.
도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템을 위한 예시적인 명령 콘솔(command console)을 도시한 도면.
도 3a는 일 실시예에 따른, 도 1a에 도시된 기구 장치 조작기(instrument device manipulator, IDM)의 예시적인 독립적인 구동 메커니즘(independent drive mechanism)의 등각도를 도시한 도면.
도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(strain gauge)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한 도면.
도 4a는 일 실시예에 따른 예시적인 내시경의 평면도를 도시한 도면.
도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경의 예시적인 내시경 팁(endoscope tip)을 도시한 도면.
도 5는 일 실시예에 따른, 수술 로봇 시스템 내에 포함된 EM 추적 시스템의 예시적인 개략적인 구성을 도시한 도면.
도 6a 및 도 6b는 일 실시예에 따른, 해부학적 내강 및 해부학적 내강의 예시적인 3D 모델을 도시한 도면.
도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델을 도시한 도면.
도 8a 내지 도 8d는 일 실시예에 따른, 관상 네트워크를 통한 경로의 3D 모델에 대한 EM 시스템의 온-더-플라이 정합(on-the-fly registration)을 예시한 예시적인 그래프를 도시한 도면.
도 8e 및 도 8f는 일 실시예에 따른, 분지 관상 네트워크(branched tubular network)의 3D 모델에 대한 EM 시스템의 예시적인 정합의 효과를 도시한 도면.
도 9a는 일 실시예에 따른, 내비게이션 구성 시스템의 예시적인 블록도의 상위 수준의 개요(high-level overview)를 도시한 도면.
도 9b는 일 실시예에 따른, 상태 추정기(state estimator) 내에 포함된 추정 상태 데이터 저장소(estimated state data store)의 예시적인 블록도를 도시한 도면.
도 10은 본 개시의 태양에 따른 경로-기반 알고리즘 모듈의 예시적인 블록도를 도시한 도면.
도 11은 본 개시의 태양에 따른, 관상 네트워크의 경로-기반 내비게이션을 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도.
도 12는 경로-기반 위치 추정과 관련된 본 개시의 태양을 기술하기 위한 내강 네트워크의 일부분의 단순화된 예시적인 모델.
도 13은 본 개시의 태양에 따른, 내강 네트워크 상에 오버레이된(overlaid) 모델의 예시적인 도면.
도 14는 본 개시의 태양에 따른, 관상 네트워크의 경로-기반 내비게이션을 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 다른 예시적인 방법을 예시한 흐름도.
도 15는 본 개시의 태양에 따른, 매핑된 부분 및 미매핑 부분(unmapped portion)을 포함하는 도 13의 내강 네트워크의 일부분을 예시한 도면.
도 16은 본 개시의 태양에 따른, 기구의 원위 단부의 추적된 위치를 포함하는 3D 모델의 도면.
도 17은 다양한 실시예에 따른, 예시적인 관상 네트워크를 통해 내비게이션하기 위한 수술 기구(예컨대, 기구 팁)의 준비를 위한 예시적인 수술전 방법을 도시한 도면.
이제, 그 예가 첨부 도면에 예시된 여러 실시예를 상세히 참조할 것이다. 실행가능한 경우는 언제나, 유사하거나 동일한 도면 부호가 도면에 사용될 수 있으며, 유사하거나 동일한 기능을 나타낼 수 있다는 것에 유의한다. 도면은 단지 예시를 위해 기술된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 하기 설명으로부터, 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 본 명세서에서 기술된 원리로부터 벗어남이 없이 채용될 수 있음을 용이하게 인식할 것이다.

I. 수술 로봇 시스템

도 1a는 일 실시예에 따른 예시적인 수술 로봇 시스템(100)을 도시한다. 수술 로봇 시스템(100)은 하나 이상의 로봇 아암(robotic arm), 예컨대 로봇 아암(102)에 결합되는 기부(101)를 포함한다. 기부(101)는 섹션 II. 명령 콘솔에서 도 2를 참조하여 추가로 기술되는 명령 콘솔에 통신가능하게 결합된다. 기부(101)는 의사와 같은 사용자가 명령 콘솔에서 편안하게 수술 로봇 시스템(100)을 제어할 수 있는 상태에서, 로봇 아암(102)이 환자에게 수술 절차를 수행하기 위해 접근할 수 있도록 위치될 수 있다. 일부 실시예에서, 기부(101)는 환자를 지지하기 위한 수술 테이블(table) 또는 베드(bed)에 결합될 수 있다. 명확성을 위해 도 1에 도시되지 않지만, 기부(101)는 제어 전자장치, 공압장치, 전원, 광원 등과 같은 서브시스템을 포함할 수 있다. 로봇 아암(102)은 조인트(joint)(111)에서 결합되는 다수의 아암 세그먼트(arm segment)(110)를 포함하며, 이는 로봇 아암(102)에 다중 자유도(degree of freedom), 예컨대 7개의 아암 세그먼트에 대응하는 7 자유도를 제공한다. 기부(101)는 전원(112), 공압부(113), 및 제어 및 센서 전자장치(114) - 중앙 처리 유닛, 데이터 버스, 제어 회로, 및 메모리와 같은 구성요소를 포함함 - 와 관련 액추에이터(actuator), 예컨대 모터를 포함하여 로봇 아암(102)을 이동시킬 수 있다. 기부(101) 내의 전자장치(114)는 또한 명령 콘솔로부터 전달되는 제어 신호를 처리하고 전송할 수 있다.

일부 실시예에서, 기부(101)는 수술 로봇 시스템(100)을 이송시키기 위한 휠(wheel)(115)을 포함한다. 수술 로봇 시스템(100)의 이동성은 수술실의 공간 제약을 수용할 뿐만 아니라 수술 장비의 적절한 위치설정 및 이동을 용이하게 하는 데 도움을 준다. 또한, 이동성은 로봇 아암(102)이 환자, 의사, 마취과 의사, 또는 임의의 다른 장비와 간섭되지 않도록 로봇 아암(102)이 구성되는 것을 허용한다. 절차 동안, 사용자가 제어 장치, 예컨대 명령 콘솔을 사용하여 로봇 아암(102)을 제어할 수 있다.

일부 실시예에서, 로봇 아암(102)은 브레이크(brake) 및 카운터-밸런스(counter-balance)의 조합을 사용하여 로봇 아암(102)의 위치를 유지시키는 셋업 조인트(set up joint)를 포함한다. 카운터-밸런스는 가스 스프링 또는 코일 스프링을 포함할 수 있다. 브레이크, 예컨대 고장 안전 브레이크(fail safe brake)는 기계 및/또는 전기 구성요소를 포함할 수 있다. 또한, 로봇 아암(102)은 중력-보조식 수동형 지지(gravity-assisted passive support) 유형 로봇 아암일 수 있다.

각각의 로봇 아암(102)은 메커니즘 체인저 인터페이스(mechanism changer interface, MCI)(116)를 사용하여 기구 장치 조작기(IDM)(117)에 결합될 수 있다. IDM(117)은 제거되고 상이한 유형의 IDM으로 교체될 수 있는데, 예를 들어 제1 유형의 IDM이 내시경을 조작하는 한편, 제2 유형의 IDM이 복강경을 조작한다. MCI(116)는 로봇 아암(102)으로부터 IDM(117)으로 공압, 전력, 전기 신호, 및 광학 신호를 전달하는 커넥터를 포함한다. MCI(116)는 세트 스크류 또는 기부 플레이트 커넥터일 수 있다. IDM(117)은 수술 기구, 예컨대 내시경(118)을, 직접 구동, 고조파 구동(harmonic drive), 기어식 구동, 벨트 및 풀리, 자기 구동(magnetic drive) 등을 포함하는 기법을 사용하여 조작한다. MCI(116)는 IDM(117)의 유형에 기초하여 교환가능하고, 소정 유형의 수술 절차에 대해 맞춤화될 수 있다. 쿠카 아게(KUKA AG)(등록상표) LBR5 로봇 아암과 같은 로봇 아암(102)은 원위 단부에 리스트(wrist) 및 조인트 레벨 토크 감지부(joint level torque sensing)를 포함할 수 있다.

내시경(118)은 해부학적 구조(예컨대, 신체 조직)의 이미지를 캡처하기 위해 환자의 해부학적 구조 내로 삽입되는 튜브형이고 가요성인 수술 기구이다. 특히, 내시경(118)은 이미지를 캡처하는 하나 이상의 이미징 장치(예컨대, 카메라 또는 다른 유형의 광학 센서)를 포함한다. 이미징 장치는 광섬유, 섬유 어레이, 또는 렌즈와 같은 하나 이상의 광학 구성요소를 포함할 수 있다. 광학 구성요소는 내시경(118)의 팁과 함께 이동하여, 내시경(118)의 팁의 이동이 이미징 장치에 의해 캡처되는 이미지에 대한 변화를 생성하게 한다. 내시경(118)은 섹션 IV. 내시경에서 도 3a 내지 도 4b를 참조하여 추가로 기술된다.

수술 로봇 시스템(100)의 로봇 아암(102)은 세장형 이동 부재를 사용하여 내시경(118)을 조작한다. 세장형 이동 부재는, 풀 또는 푸시 와이어(pull or push wire), 케이블, 섬유, 또는 가요성 샤프트로 또한 지칭되는 풀 와이어를 포함할 수 있다. 예를 들어, 로봇 아암(102)은 내시경(118)에 결합된 다수의 풀 와이어를 작동시켜 내시경(118)의 팁을 편향시킨다. 풀 와이어는 스테인리스 강, 케블라(Kevlar), 텅스텐, 탄소 섬유 등과 같은 금속 및 비-금속 재료 둘 모두를 포함할 수 있다. 내시경(118)은 세장형 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타낼 수 있다. 비선형 거동은 내시경(118)의 강직성 및 압축성뿐만 아니라, 상이한 세장형 이동 부재들 사이의 슬랙(slack) 또는 강직성의 변동에 기초할 수 있다.

도 1b 내지 도 1f는 다양한 실시예에 따른, 로봇 플랫폼(150)(또는 수술 베드)에 결합된 수술 로봇 시스템(100)의 다양한 사시도를 도시한다. 구체적으로, 도 1b는 로봇 아암(102)이 내시경(118)을 조작하여 환자의 신체 내측에 내시경을 삽입하는 수술 로봇 시스템(100)의 측면도를 도시하며, 환자는 로봇 플랫폼(150) 상에 누워 있다. 도 1c는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 평면도를 도시하며, 로봇 아암에 의해 조작되는 내시경(118)은 환자의 신체 내측에 삽입된다. 도 1d는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 내시경(118)은 로봇 플랫폼과 수평으로 평행하게 위치되도록 제어된다. 도 1e는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 다른 사시도를 도시하며, 내시경(118)은 로봇 플랫폼에 비교적 수직으로 위치되도록 제어된다. 더 상세하게는, 도 1e에서, 로봇 플랫폼(150)의 수평 표면과 내시경(118) 사이의 각도는 75도이다. 도 1f는 도 1e에 도시된 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 더 상세하게는, 로봇 플랫폼으로부터 상대적으로 더 멀리 떨어져 위치된 로봇 아암(102)과 내시경의 일 단부(180)를 연결하는 가상 선(160)과 내시경(118) 사이의 각도는 90도이다.

II. 명령 콘솔

도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템(100)을 위한 예시적인 명령 콘솔(200)을 도시한다. 명령 콘솔(200)은 콘솔 기부(201), 디스플레이 모듈(202), 예컨대 모니터, 및 제어 모듈, 예컨대 키보드(203) 및 조이스틱(204)을 포함한다. 일부 실시예에서, 명령 콘솔(200) 기능 중 하나 이상은 수술 로봇 시스템(100)의 기부(101) 또는 수술 로봇 시스템(100)에 통신가능하게 결합된 다른 시스템에 통합될 수 있다. 사용자(205), 예컨대 의사가 명령 콘솔(200)을 사용하여 인체공학적 위치로부터 수술 로봇 시스템(100)을 원격으로 제어한다.

콘솔 기부(201)는 카메라 이미지와 같은 신호의 해석과 처리 및 예컨대 도 1에 도시된 내시경(118)으로부터의 센서 데이터의 추적을 담당하는 중앙 처리 유닛, 메모리 유닛, 데이터 버스, 및 연관 데이터 통신 포트를 포함할 수 있다. 일부 실시예에서, 콘솔 기부(201) 및 기부(101) 둘 모두는 하중-균형(load-balancing)을 위한 신호 처리를 수행한다. 콘솔 기부(201)는 또한 제어 모듈(203, 204)을 통해 사용자(205)에 의해 제공되는 명령 및 명령어를 처리할 수 있다. 도 2에 도시된 키보드(203) 및 조이스틱(204)에 더하여, 제어 모듈은 다른 장치, 예를 들어 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 비디오 게임 제어기, 및 손 제스처와 손가락 제스처를 캡처하는 센서(예컨대, 모션 센서 또는 카메라)를 포함할 수 있다.

사용자(205)는 속도 모드 또는 위치 제어 모드에서 명령 콘솔(200)을 사용하여 내시경(118)과 같은 수술 기구를 제어할 수 있다. 속도 모드에서, 사용자(205)는 제어 모듈을 사용한 직접 수동 제어에 기초하여 내시경(118)의 원위 단부의 피치(pitch) 및 요(yaw) 운동을 직접 제어한다. 예를 들어, 조이스틱(204)에 대한 이동은 내시경(118)의 원위 단부의 요 및 피치 이동에 매핑될 수 있다. 조이스틱(204)은 사용자(205)에게 햅틱 피드백(haptic feedback)을 제공할 수 있다. 예를 들어, 조이스틱(204)은 내시경(118)이 소정 방향으로 추가로 병진하거나 회전할 수 없음을 나타내기 위해 진동한다. 명령 콘솔(200)은 또한 내시경(118)이 최대 병진 또는 회전에 도달하였음을 나타내기 위해 시각 피드백(예컨대, 팝-업 메시지) 및/또는 청각 피드백(예컨대, 비프음(beeping))을 제공할 수 있다.

위치 제어 모드에서, 명령 콘솔(200)은 수술 기구, 예컨대 내시경(118)을 제어하기 위해 환자의 3차원(3D) 맵 및 환자의 사전-결정된 컴퓨터 모델을 사용한다. 명령 콘솔(200)은 내시경(118)을 표적 위치로 조작하기 위해 수술 로봇 시스템(100)의 로봇 아암(102)에 제어 신호를 제공한다. 3D 맵에 대한 의존성으로 인해, 위치 제어 모드는 환자의 해부학적 구조의 정확한 매핑을 필요로 한다.

일부 실시예에서, 사용자(205)는 명령 콘솔(200)을 사용함이 없이 수술 로봇 시스템(100)의 로봇 아암(102)을 수동으로 조작할 수 있다. 수술실에서의 구성 동안, 사용자(205)는 환자에게 접근하기 위해 로봇 아암(102), 내시경(118), 및 다른 수술 장비를 이동시킬 수 있다. 수술 로봇 시스템(100)은 로봇 아암(102) 및 장비의 적절한 구성을 결정하기 위해 사용자(205)로부터의 관성 제어 및 힘 피드백에 의존할 수 있다.

디스플레이 모듈(202)은 전자 모니터, 가상 현실 관찰 장치, 예컨대 고글 또는 안경, 및/또는 다른 디스플레이 장치 수단을 포함할 수 있다. 일부 실시예에서, 디스플레이 모듈(202)은 예를 들어 터치스크린을 갖는 태블릿 장치로서 제어 모듈과 통합된다. 또한, 사용자(205)는 통합된 디스플레이 모듈(202) 및 제어 모듈을 사용하여 데이터를 관찰할 뿐만 아니라 수술 로봇 시스템(100)에 명령을 입력할 수 있다.

디스플레이 모듈(202)은 입체 장치(stereoscopic device), 예컨대 바이저 또는 고글을 사용하여 3D 이미지를 디스플레이할 수 있다. 3D 이미지는 환자의 해부학적 구조를 예시하는 컴퓨터 3D 모델인 "엔도 뷰(endo view)"(즉, 내시경 뷰)를 제공한다. "엔도 뷰"는 환자 내부의 가상 환경 및 환자 내측의 내시경(118)의 예상된 위치를 제공한다. 사용자(205)는 "엔도 뷰" 모델을 카메라에 의해 캡처된 실제 이미지와 비교하여, 마음속으로 배향시키고 내시경(118)이 환자 내에서 정확한 - 또는 대략 정확한 - 위치에 있는지를 확인하는 데 도움을 준다. "엔도 뷰"는 내시경(118)의 원위 단부 주위의 해부학적 구조, 예컨대 환자의 장 또는 결장의 형상에 관한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(118)의 원위 단부 주위의 해부학적 구조의 컴퓨터 단층촬영(CT) 스캔 및 3D 모델을 동시에 디스플레이할 수 있다. 또한, 디스플레이 모듈(202)은 수술전 모델 데이터에 기초하여 생성되는 스캔/이미지(예컨대, CT 스캔) 및 3D 모델 상에 내시경(118)의 이미 결정된 내비게이션 경로를 오버레이할 수 있다.

일부 실시예에서, 내시경(118)의 모델이 수술 절차의 상태를 나타내는 데 도움을 주기 위해 3D 모델과 함께 디스플레이된다. 예를 들어, CT 스캔은 생검이 필요할 수 있는 해부학적 구조 내의 병변을 식별한다. 작동 동안, 디스플레이 모듈(202)은 내시경(118)의 현재 위치에 대응하는, 내시경(118)에 의해 캡처된 기준 이미지를 보여줄 수 있다. 디스플레이 모듈(202)은 사용자 설정 및 특정 수술 절차에 따라 내시경(118)의 모델의 상이한 뷰를 자동으로 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(202)은 내시경(118)이 환자의 수술 영역에 접근함에 따라 내비게이션 단계 동안 내시경(118)의 오버헤드 형광투시 뷰(overhead fluoroscopic view)를 보여준다.

III. 기구 장치 조작기

도 3a는 일 실시예에 따른, 도 1에 도시된 IDM(117)의 예시적인 독립적인 구동 메커니즘의 등각도를 도시한다. 독립적인 구동 메커니즘은 각각 IDM(117)의 출력 샤프트(305, 306, 307, 308)를 회전시킴으로써 내시경의 풀 와이어(321, 322, 323, 324)를 (예컨대, 서로 독립적으로) 팽팽하게 하거나 느슨하게 할 수 있다. 출력 샤프트(305, 306, 307, 308)가 각도 운동을 통해 각각 풀 와이어(321, 322, 323, 324)를 따라 힘을 전달하는 것처럼, 풀 와이어(321, 322, 323, 324)는 힘을 다시 출력 샤프트로 전달한다. IDM(117) 및/또는 수술 로봇 시스템(100)은 센서, 예컨대 추가로 후술되는 스트레인 게이지를 사용하여 전달된 힘을 측정할 수 있다.

도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(334)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한다. 힘(331)이 모터(337)의 모터 마운트(333)에 결합된 출력 샤프트(305)로부터 멀어지게 지향될 수 있다. 따라서, 힘(331)은 모터 마운트(333)의 수평 변위를 생성한다. 또한, 모터 마운트(333)에 수평으로 결합된 스트레인 게이지(334)는 힘(331)의 방향으로 변형(strain)을 겪는다. 변형은 스트레인 게이지(334)의 전체 수평 폭(336)에 대한 스트레인 게이지(334)의 팁(335)의 수평 변위의 비로서 측정될 수 있다.

일부 실시예에서, IDM(117)은 IDM(117)의 배향을 결정하기 위해 추가 센서, 예컨대 경사계 또는 가속도계를 포함한다. 추가 센서 및/또는 스트레인 게이지(334)로부터의 측정치에 기초하여, 수술 로봇 시스템(100)은 중력 하중 효과를 처리하기 위해 스트레인 게이지(334)로부터의 판독치를 교정할 수 있다. 예를 들어, IDM(117)이 IDM(117)의 수평측으로 배향되는 경우, IDM(117)의 소정 구성요소의 중량은 모터 마운트(333)에 대해 변형을 유발할 수 있다. 따라서, 중력 하중 효과를 처리하지 않으면, 스트레인 게이지(334)는 출력 샤프트에 대한 변형으로부터 생성되지 않은 변형을 측정할 수 있다.

IV. 내시경

도 4a는 일 실시예에 따른 예시적인 내시경(118)의 평면도를 도시한다. 내시경(118)은, 시스(sheath)(411) 튜브형 구성요소 내측에 포개지거나 부분적으로 포개지고 그와 길이방향으로 정렬되는 리더(leader)(415) 튜브형 구성요소를 포함한다. 시스(411)는 근위 시스 섹션(412) 및 원위 시스 섹션(413)을 포함한다. 리더(415)는 시스(411)보다 작은 외경을 갖고, 근위 리더 섹션(416) 및 원위 리더 섹션(417)을 포함한다. 시스 기부(414) 및 리더 기부(418)는, 예를 들어 수술 로봇 시스템(100)의 사용자로부터의 제어 신호에 기초하여, 각각 원위 시스 섹션(413) 및 원위 리더 섹션(417)을 작동시킨다. 시스 기부(414) 및 리더 기부(418)는 예컨대 도 1에 도시된 IDM(117)의 일부이다.

시스 기부(414) 및 리더 기부(418) 둘 모두는 시스(411) 및 리더(415)에 결합된 풀 와이어를 제어하기 위한 구동 메커니즘(예컨대, 섹션 III. 기구 장치 조작기에서 도 3a 및 도 3b를 참조하여 추가로 기술되는 독립적인 구동 메커니즘)을 포함한다. 예를 들어, 시스 기부(414)는 원위 시스 섹션(413)을 편향시키기 위해 시스(411)에 결합된 풀 와이어에 인장 하중을 생성한다. 유사하게, 리더 기부(418)는 원위 리더 섹션(417)을 편향시키기 위해 리더(415)에 결합된 풀 와이어에 인장 하중을 생성한다. 시스 기부(414) 및 리더 기부(418) 둘 모두는 또한 각각 IDM으로부터 시스(411) 및 리더(414)로의 공압, 전력, 전기 신호, 또는 광학 신호의 라우팅을 위한 커플링을 포함할 수 있다. 풀 와이어가 시스(411) 또는 리더(415) 내에서 풀 와이어의 길이를 따라 강철 코일 파이프를 포함할 수 있으며, 이는 축방향 압축을 다시 하중의 시점, 예컨대 각각 시스 기부(414) 또는 리더 기부(418)로 전달한다.

내시경(118)은 시스(411) 및 리더(415)에 결합된 풀 와이어에 의해 제공되는 다중 자유도로 인해 용이하게 환자의 해부학적 구조를 내비게이션할 수 있다. 예를 들어, 4개 이상의 풀 와이어가 시스(411) 및/또는 리더(415)에 사용되어, 8 이상의 자유도를 제공할 수 있다. 다른 실시예에서, 최대 3개의 풀 와이어가 사용되어, 최대 6 자유도를 제공할 수 있다. 시스(411) 및 리더(415)는 길이방향 축(406)을 따라 최대 360도 회전되어, 더 많은 운동도(degree of motion)를 제공할 수 있다. 회전 각도 및 다중 자유도의 조합은 수술 로봇 시스템(100)의 사용자에게 내시경(118)의 사용자 친화적이고 직관적인 제어를 제공한다.

도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경(118)의 예시적인 내시경 팁(430)을 예시한다. 도 4b에서, 내시경 팁(430)은 이미징 장치(431)(예컨대, 카메라), 조명원(432), 및 EM 코일(434)의 단부를 포함한다. 조명원(432)은 해부학적 공간의 내부 부분을 조명하기 위한 광을 제공한다. 제공된 광은 이미징 장치(431)가 그러한 공간의 이미지를 기록하도록 허용하며, 이는 이어서 본 명세서에 기술된 바와 같은 처리를 위해 명령 콘솔(200)과 같은 컴퓨터 시스템으로 전송될 수 있다. 팁(430) 상에 위치된 전자기(electromagnetic, EM) 코일(434)은 내시경 팁(430)의 위치 및 배향을, 그것이 해부학적 시스템 내에 배치된 상태에서 검출하도록 EM 추적 시스템과 함께 사용될 수 있다. 일부 실시예에서, 코일은 상이한 축을 따라 EM 필드(field)에 대한 감도를 제공하도록 경사져, 최대 6 자유도: 3개의 위치 및 3개의 각도를 측정하는 능력을 제공할 수 있다. 다른 실시예에서, 단일 코일만이, 그의 축이 내시경(118)의 내시경 샤프트를 따라 배향된 상태로, 내시경 팁(430) 내에 배치될 수 있으며; 그러한 시스템의 회전 대칭성으로 인해, 그것은 그의 축을 중심으로 하는 롤(roll)에 민감하지 않고, 따라서 그러한 경우에 5 자유도만이 검출될 수 있다. 내시경 팁(430)은, 생검 바늘과 같은 수술 기구가 그것을 통해 내시경 샤프트를 따라 삽입되어 내시경 팁 부근의 영역에 대한 접근을 허용할 수 있는 작업 채널(436)을 추가로 포함한다.

V. 3D 모델에 대한 EM 시스템의 정합 변환(registration Transform)

V. A. EM 추적 시스템의 개략적인 구성

도 5는 일 실시예에 따른, 수술 로봇 시스템(500) 내에 포함된 EM 추적 시스템(505)의 예시적인 개략적인 구성을 도시한다. 도 5에서, 다수의 로봇 구성요소(예컨대, 후술되는 바와 같은 윈도우 필드 발생기(window field generator), 기준 센서)가 EM 추적 시스템(505) 내에 포함된다. 로봇 수술 시스템(500)은 환자의 신체를 유지시키기 위한 수술 베드(511)를 포함한다. EM 코일들(예컨대, 도 4b에 도시된 EM 코일들(434))의 세트를 순차적으로 활성화시키도록 구성되는 윈도우 필드 발생기(WFG)(512)가 베드(511) 아래에 있다. WFG(512)는 넓은 체적에 걸쳐 교류(AC) 자기 필드를 생성하는데; 예를 들어 일부 경우에, 그것은 약 0.5 x 0.5 x 0.5 m의 체적 내에 AC 필드를 생성할 수 있다.

추가 필드가 신체 내의 기구를 추적하는 데 도움을 주기 위해 추가 필드 발생기에 의해 인가될 수 있다. 예를 들어, 평면형 필드 발생기(planar field generator, PFG)가 환자에 인접한 시스템 아암에 부착되고 EM 필드를 일정 각도로 제공하도록 배향될 수 있다. 기준 센서(513)는 추적 정확도를 추가로 증가시키기 위해 국소 EM 필드를 제공하도록 환자의 신체 상에 배치될 수 있다. 기준 센서들(513) 각각은 케이블(514)에 의해 명령 모듈(515)에 부착될 수 있다. 케이블(514)은 그들 각각의 장치와의 통신을 취급할 뿐만 아니라 전력을 제공하는 인터페이스 유닛(516)을 통해 명령 모듈(515)에 연결된다. 인터페이스 유닛(516)은 위에서 언급된 다양한 엔티티에 대한 전체 인터페이스 제어기로서 작용하는 시스템 제어 유닛(system control unit, SCU)(517)에 결합된다. SCU(517)는 또한 필드 발생기(예컨대, WFG(512))를 구동시킬 뿐만 아니라, 인터페이스 유닛(516)으로부터의 센서 데이터를 수집하며, 이로부터 SCU가 신체 내의 센서의 위치 및 배향을 계산한다. SCU(517)는 사용자 액세스 및 제어를 허용하도록 개인용 컴퓨터(PC)(518)에 결합될 수 있다.

명령 모듈(515)은 또한 본 명세서에 기술된 바와 같이 수술 로봇 시스템(500)에 결합되는 다양한 IDM(519)에 연결된다. IDM(519)은 전형적으로 단일 수술 로봇 시스템(예컨대, 수술 로봇 시스템(500))에 결합되고, 그들 각각의 연결된 로봇 구성요소; 예를 들어, 로봇 내시경 도구 또는 로봇 아암을 제어하고 그로부터 데이터를 수신하기 위해 사용된다. 전술된 바와 같이, 예로서, IDM(519)은 수술 로봇 시스템(500)의 내시경 도구(여기에 도시되지 않음)에 결합된다.

명령 모듈(515)은 내시경 도구로부터 전달된 데이터를 수신한다. 수신된 데이터의 유형은 부착된 기구의 대응하는 유형에 의존한다. 예를 들어, 예시적인 수신된 데이터는 센서 데이터(예컨대, 이미지 데이터, EM 데이터), 로봇 데이터(예컨대, 내시경 및 IDM 물리적 운동 데이터), 제어 데이터, 및/또는 비디오 데이터를 포함한다. 비디오 데이터를 더 양호하게 취급하기 위해, 필드-프로그래머블 게이트 어레이(field-programmable gate array, FPGA)(520)가 이미지 처리를 취급하도록 구성될 수 있다. 다양한 센서, 장치, 및 필드 발생기로부터 획득된 데이터를 비교하는 것은 SCU(517)가 수술 로봇 시스템(500)의 상이한 구성요소의 이동, 및 예를 들어 이들 구성요소의 위치 및 배향을 정밀하게 추적하도록 허용한다.

환자의 해부학적 구조를 통해 센서를 추적하기 위해, EM 추적 시스템(505)은 "정합"으로 알려진 프로세스를 필요로 할 수 있으며, 여기에서 시스템은 상이한 좌표계들 사이에서 단일 객체를 정렬시키는 기하학적 변환을 발견한다. 예를 들어, 환자 상의 특정 해부학적 부위가 3D 모델 좌표에서 그리고 EM 센서 좌표에서 2개의 상이한 표현을 갖는다. 이들 2개의 상이한 좌표계들 사이의 일관성 및 공통 언어를 확립할 수 있도록 하기 위해, EM 추적 시스템(505)은 이들 2개의 표현을 링크시키는 변환, 즉 정합을 발견하여야 한다. 예를 들어, EM 필드 발생기의 위치에 대한 EM 추적기의 위치는 대응하는 3D 모델 내에서의 위치를 격리시키기 위해 3D 좌표계에 매핑될 수 있다.

V. B. 3D 모델 표현

도 6a 및 도 6b는 일 실시예에 따른, 해부학적 내강(600) 및 해부학적 내강의 예시적인 3D 모델(620)을 도시한다. 더 구체적으로는, 도 6a 및 도 6b는 실제 해부학적 내강(600)과 그의 3D 모델(620) 사이의 중심선 좌표, 직경 측정치 및 해부학적 공간의 관계를 예시한다. 도 6a에서, 해부학적 내강(600)은 중심선 좌표(601, 602, 603, 604, 605, 606)에 의해 길이방향으로 대략적으로 추적되며, 여기에서 각각의 중심선 좌표는 내강의 단층촬영 슬라이스(tomographic slice)의 중심에 대략적으로 근사화된다. 중심선 좌표는 중심선(607)에 의해 연결되고 시각화된다. 내강의 체적은 각각의 중심선 좌표에서 내강의 직경을 측정함으로써 추가로 시각화될 수 있는데, 예컨대 좌표(608, 609, 610, 611, 612, 613)는 좌표(601, 602, 603, 604, 605, 606)에 대응하는 내강(600)의 측정치를 나타낸다.

도 6b는 일 실시예에 따른, 도 6a에 도시된 해부학적 내강(600)의 예시적인 3D 모델(620)을 도시한다. 도 6b에서, 해부학적 내강(600)은 먼저 중심선(607)에 기초하여 3D 공간에서 중심선 좌표(601, 602, 603, 604, 605, 606)의 위치를 찾아냄으로써 3D 공간에서 시각화된다. 일례로서, 각각의 중심선 좌표에서, 내강 직경은 직경(608, 609, 610, 611, 612, 613)을 가진 2D 원형 공간(예컨대, 2D 원형 공간(630))으로서 시각화된다. 3D 공간을 형성하기 위해 그들 2D 원형 공간을 연결함으로써, 해부학적 내강(600)은 3D 모델(620)로서 근사화되고 시각화된다. 더 정확한 근사화는 중심선 좌표 및 측정치의 해상도를 증가시킴으로써, 즉 주어진 내강 또는 서브섹션에 대한 중심선 좌표 및 측정치의 밀도를 증가시킴으로써 결정될 수 있다. 중심선 좌표는 또한 병변을 포함하여 의사에 대한 관심 대상의 포인트를 나타내도록 마커를 포함할 수 있다.

일부 실시예에서, 수술전 소프트웨어 패키지가 또한 해부학적 공간의 생성된 3D 모델에 기초하여 내비게이션 경로를 분석하고 도출하는 데 사용된다. 예를 들어, 소프트웨어 패키지는 단일 병변으로의(중심선 좌표에 의해 마킹됨) 또는 여러 병변으로의 최단 내비게이션 경로를 도출할 수 있다. 이러한 내비게이션 경로는 조작자의 선호도에 따라 2차원 또는 3차원으로 수술중에 조작자에게 제시될 수 있다. 소정 구현예에서, 아래에서 논의되는 바와 같이, 내비게이션 경로(또는 그의 일부분)는 조작자에 의해 수술전에 선택될 수 있다. 경로 선택은 환자의 해부학적 구조 내의 하나 이상의 표적 위치(간단히 "표적"으로 또한 지칭됨)의 식별을 포함할 수 있다.

도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델(700)을 도시한다. 도 6a 및 도 6b에서 위에서 논의된 바와 같이, 3D 모델(700)은 수술전에 생성되었던 CT 스캔을 검토함으로써 획득되었던 중심선(701)을 사용하여 생성될 수 있다. 일부 실시예에서, 컴퓨터 소프트웨어는 3D 모델(700) 내의 수술 부위(703)(또는 다른 표적)에 접근하기 위해 관상 네트워크 내에서 내비게이션 경로(702)를 매핑하는 것이 가능할 수 있다. 일부 실시예에서, 수술 부위(703)는 개별 중심선 좌표(704)에 링크될 수 있으며, 이는 컴퓨터 알고리즘이 관상 네트워크 내에서의 최적 경로(702)에 대한 3D 모델(700)의 중심선 좌표를 위상적으로(topologically) 검색하도록 허용한다. 소정 실시예에서, 경로(702)에 대한 위상 검색은 하나 이상의 표적의 위치, 하나 이상의 웨이포인트(waypoint) 등과 같은, 소정의 조작자 선택 파라미터에 의해 제약될 수 있다.

일부 실시예에서, 환자의 해부학적 구조 내에서의 내시경 도구의 원위 단부는 추적되고, 환자의 해부학적 구조 내에서의 내시경 도구의 추적된 위치는 매핑되어 컴퓨터 모델 내에 배치되고, 이는 관상 네트워크의 내비게이션 능력을 향상시킨다. 내시경 도구의 원위 작업 단부, 즉 작업 단부의 위치 및 배향을 추적하기 위해, 다수의 접근법이 개별적으로 또는 조합으로 채용될 수 있다.

위치결정에 대한 센서-기반 접근법에서, 전자기(EM) 추적기와 같은 센서가 내시경 도구의 진행의 실시간 표시를 제공하기 위해 내시경 도구의 원위 작업 단부에 결합될 수 있다. EM-기반 추적에서, 내시경 도구 내에 매립된 EM 추적기가 하나 이상의 EM 전송기에 의해 생성되는 전자기 필드의 변동을 측정한다. 전송기(또는 필드 발생기)는 저 강도 자기 필드를 생성하기 위해 (예컨대, 수술 베드의 일부로서) 환자에 가깝게 배치될 수 있다. 이는 EM 추적기 내의 센서 코일에 소-전류(small-current)를 유도하며, 이는 센서와 발생기 사이의 거리 및 각도에 상관된다. 전기 신호는 이어서 인터페이스 유닛(온-칩(on-chip) 또는 PCB)에 의해 디지털화되고 케이블/배선을 통해 다시 시스템 카트(system cart)로 그리고 이어서 명령 모듈로 송신될 수 있다. 데이터는 이어서 현재 데이터를 해석하고 전송기에 대한 센서의 정확한 위치 및 배향을 계산하도록 처리될 수 있다. 다수의 센서가 내시경 도구 내의 상이한 위치에, 예를 들어 리더 및 시스 내에 사용하여 그들 구성요소의 개별 위치를 계산할 수 있다. 따라서, 인위적으로 생성된 EM 필드로부터의 판독치에 기초하여, EM 추적기는 그것이 환자의 해부학적 구조를 통해 이동함에 따라 필드 강도의 변화를 검출할 수 있다.

V. C. 온-더-플라이 EM 정합

도 8a 내지 도 8d는 일 실시예에 따른, 관상 네트워크를 통한 경로의 3D 모델에 대한 EM 시스템의 온-더-플라이 정합을 예시한 예시적인 그래프(810 내지 840)를 도시한다. 본 명세서에 기술된 내비게이션 구성 시스템은 내시경 절차 전에 독립적인 정합을 필요로 함이 없이 3D 모델 좌표에 대한 EM 좌표의 온-더-플라이 정합을 허용한다. 더 상세하게는, 도 8a는 EM 추적 시스템 및 3D 모델의 좌표계가 초기에 서로 정합되지 않은 것을 도시하며, 도 8a의 그래프(810)는 분지 관상 네트워크(여기에 도시되지 않음)를 통해 계획된 내비게이션 경로(802)를 따라 이동하는 내시경 팁(801)의 정합된(또는 예상된) 위치를 보여주고, 기구 팁(801)의 정합된 위치 및 계획된 경로(802)는 3D 모델로부터 도출된다. 팁의 실제 위치는 EM 추적 시스템(505)에 의해 반복적으로 측정되어, EM 데이터에 기초하는 다수의 측정된 위치 데이터 포인트(803)를 생성한다. 도 8a에 도시된 바와 같이, EM 추적으로부터 도출되는 데이터 포인트(803)는 초기에 3D 모델로부터 예상되는 내시경 팁(801)의 정합된 위치로부터 멀리 위치되어, EM 좌표와 3D 모델 좌표 사이의 정합의 결여를 반영한다. 이에 대해 여러 이유가 있을 수 있는데, 예를 들어 내시경 팁이 관상 네트워크를 통해 비교적 원활하게 이동되고 있는 경우에도, 환자의 폐의 호흡 이동으로 인해, EM 측정에서 여전히 일부 가시적인 산란이 있을 수 있다.

3D 모델 상의 포인트는 또한 3D 모델 자체, 광학 센서(예컨대, 카메라)로부터 수신된 이미지 데이터 및 로봇 명령으로부터의 로봇 데이터 사이의 상관관계에 기초하여 결정되고 조절될 수 있다. 이들 포인트와 수집된 EM 데이터 포인트 사이의 3D 변환은 3D 모델 좌표계에 대한 EM 좌표계의 초기 정합을 결정할 것이다.

도 8b는 일 실시예에 따른, 그래프(810)와 비교한 이후 시간 단계에서의 그래프(820)를 도시한다. 더 구체적으로는, 그래프(820)는, 도 8a에 도시된 기구 팁(801)의 원래 예상된 위치로부터 도 8b에 도시된 위치로의 경로를 따른 이동에 의해 예시된 바와 같이, 3D 모델로부터 예상되는 내시경 팁(801)의 예상된 위치가 사전계획된 내비게이션 경로(802)를 따라 더 멀리 이동된 것을 보여준다. 그래프(810)의 생성과 그래프(820)의 생성 사이의 EM 추적 동안, 추가 데이터 포인트(803)가 EM 추적 시스템에 의해 기록되었지만, 정합은 새롭게 수집된 EM 데이터에 기초하여 아직 업데이트되지 않았다. 그 결과, 도 8b의 데이터 포인트(803)는 가시적인 경로(814)를 따라 군집화되지만(clustered), 그러한 경로는 내시경 팁이 조작자에 의해 그것을 따라 이동하도록 지향되고 있는 계획된 내비게이션 경로(802)로부터 위치 및 배향이 상이하다. 궁극적으로, 일단 충분한 데이터(예컨대, EM 데이터)가 축적되면, 3D 모델만을 또는 EM 데이터만을 사용하는 것과 비교하여, 상대적으로 더 정확한 추정치가 EM 좌표를 3D 모델의 좌표에 정합시키는 데 필요한 변환으로부터 도출될 수 있다. 충분한 데이터의 결정은 축적된 총 데이터 또는 방향의 변화의 수와 같은 임계 기준에 의해 이루어질 수 있다. 예를 들어, 기관지 네트워크와 같은 분지 관상 네트워크에서, 2개의 분지부 지점(branch point)에 도달한 후에 충분한 데이터가 축적된 것으로 판단될 수 있다.

도 8c는 일 실시예에 따른, 내비게이션 구성 시스템이 EM으로부터 3D 모델 좌표로의 정합 변환을 추정하기 위해 충분한 양의 데이터를 축적한 직후의 그래프(830)를 도시한다. 도 8c의 데이터 포인트(803)는 이제 정합 변환의 결과로서 도 8b에 도시된 바와 같은 그들의 이전 위치로부터 이동되었다. 도 8c에 도시된 바와 같이, EM 데이터로부터 도출되는 데이터 포인트(803)는 이제 3D 모델로부터 도출되는 계획된 내비게이션 경로(802)를 따라 놓이고, 데이터 포인트들(803) 중의 각각의 데이터 포인트는 이제 3D 모델의 좌표계에서의 내시경 팁(801)의 예상된 위치의 측정치를 반영한다. 일부 실시예에서, 추가 데이터가 수집됨에 따라, 정합 변환은 정확도를 증가시키기 위해 업데이트될 수 있다. 일부 경우에, 정합 변환을 결정하는 데 사용되는 데이터는 이동하는 윈도우에 의해 선택된 데이터의 서브세트일 수 있고, 따라서 정합은 시간 경과에 따라 변화할 수 있으며, 이는 예를 들어 환자의 이동으로 인해, EM 및 3D 모델의 상대 좌표의 변화를 처리하는 능력을 제공한다.

도 8d는 일 실시예에 따른, 내시경 팁(801)의 예상된 위치가 계획된 내비게이션 경로(802)의 종단부에 도달하여, 관상 네트워크 내의 표적 위치에 도달한 예시적인 그래프(840)를 도시한다. 도 8d에 도시된 바와 같이, 기록된 EM 데이터 포인트(803)는 이제 전반적으로 계획된 내비게이션 경로(802)를 따라 추적하고, 이는 절차 전체에 걸친 내시경 팁의 추적을 나타낸다. 각각의 데이터 포인트는 3D 모델에 대한 EM 추적 시스템의 업데이트된 정합으로 인한 변환된 위치를 반영한다.

일부 실시예에서, 도 8a 내지 도 8d에 도시된 그래프들 각각은 내시경 팁이 관상 네트워크 내에서 전진됨에 따라 사용자에게 가시적인 디스플레이 상에 순차적으로 보여질 수 있다. 일부 실시예에서, 프로세서는 사용자가 고정된 기준 프레임(frame of reference)을 유지시키도록 그리고 디스플레이 상에 보여지는 계획된 경로 상에서 그리고 모델 상에서 시각적으로 배향되어 유지되도록 허용하기 위해 측정된 데이터 포인트가 디스플레이 상에 보여지는 측정된 경로의 이동에 의해 디스플레이에 정합될 때 디스플레이 상에 보여지는 모델이 실질적으로 고정되어 유지되도록 하는 내비게이션 구성 시스템으로부터의 명령어로 구성될 수 있다.

도 8e 및 도 8f는 일 실시예에 따른, 분지 관상 네트워크의 3D 모델에 대한 EM 시스템의 예시적인 정합의 효과를 도시한다. 도 8e 및 도 8f에서, 전자기 추적 데이터(852) 및 환자의 기관지 시스템(854)의 모델을 보여주는 3D 그래프가 정합 변환 없이(도 8e에 도시됨) 그리고 정합 변환을 갖고서(도 8f에 도시됨) 예시되어 있다. 도 8e에서, 정합 없이, 추적 데이터(860)는 기관지 시스템(854)을 통한 경로에 대응하는 형상을 갖지만, 그러한 형상은 임의적인 오프셋 및 회전을 받는다. 도 8f에서, 정합을 적용함으로써, 추적 데이터(852)는 이동되고 회전되어, 그들은 기관지 시스템(854)을 통한 경로에 대응한다.

VI. 내비게이션 구성 시스템

VI. A. 내비게이션 구성 시스템의 상위 수준의 개요

도 9a 및 도 9b는 일 실시예에 따른 내비게이션 구성 시스템(900)의 예시적인 블록도를 도시한다. 더 구체적으로는, 도 9a는 일 실시예에 따른, 내비게이션 구성 시스템(900)의 예시적인 블록도의 상위 수준의 개요를 도시한다. 도 9a에서, 내비게이션 구성 시스템(900)은 다수의 입력 데이터 저장소, 다수의 입력 데이터 저장소로부터 다양한 유형의 입력 데이터를 수신하는 내비게이션 모듈(905), 다수의 입력 데이터 저장소로부터 다양한 유형의 입력 데이터를 수신하는 외측 세그먼테이션 내비게이션 모듈(outside segmentation navigation module)(905), 및 내비게이션 모듈로부터 출력 내비게이션 데이터를 수신하는 출력 내비게이션 데이터 저장소(990)를 포함한다. 도 9a에 도시된 내비게이션 구성 시스템(900)의 블록도는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 내비게이션 구성 시스템(900)은 상이한 및/또는 추가 엔티티를 포함할 수 있다. 마찬가지로, 시스템(900)의 다양한 엔티티에 의해 수행되는 기능은 상이한 실시예에 따라 상이할 수 있다. 내비게이션 구성 시스템(900)은 전체적으로 본 명세서에 참고로 포함되는, 2017년 3월 23일자로 공개된 미국 특허 공개 제2017/0084027호에 기술된 내비게이션 시스템과 유사할 수 있다.

본 명세서에 사용되는 바와 같이, 입력 데이터는 출력 내비게이션 데이터뿐만 아니라 내시경에 대한 추정 상태 정보를 생성하기 위해 입력 장치(예컨대, 명령 모듈, 광학 센서, EM 센서, IDM)로부터 수집되고/되거나 그에 의해 처리된 원시 데이터를 지칭한다. 다수의 입력 데이터 저장소(910 내지 945)는 이미지 데이터 저장소(910), EM 데이터 저장소(920), 로봇 데이터 저장소(930), 3D 모델 데이터 저장소(940), 및 경로 데이터 저장소(945)를 포함한다. 입력 데이터 저장소(910 내지 945)의 각각의 유형은 내비게이션 모듈(905)에 의한 액세스 및 사용을 위한 명칭이 지시하는 유형의 데이터를 저장한다. 이미지 데이터는 기구 팁에서 이미징 장치에 의해 캡처된 하나 이상의 이미지 프레임뿐만 아니라, 프레임들의 쌍들 사이에서 경과된 시간의 결정을 허용하는 타임스탬프 또는 프레임 레이트와 같은 정보를 포함할 수 있다. 로봇 데이터는 관상 네트워크 내에서의 의료 기구 또는 의료 기구의 일부(예컨대, 기구 팁 또는 시스)의 물리적 이동에 관련된 데이터를 포함할 수 있다. 예시적인 로봇 데이터는 기구 팁을 관상 네트워크 내에서 특정 해부학적 부위에 도달하게 하고/하거나 (예컨대, 리더 및 시스 중 하나 또는 둘 모두에 대한 특정 피치, 롤, 요, 삽입, 및 후퇴로) 그의 배향을 변화시키게 하도록 지시하는 명령 데이터, 의료 기구의 부분(예컨대, 기구 팁 또는 시스)의 삽입 이동을 나타내는 삽입 데이터, IDM 데이터, 및 의료 기구의 세장형 부재의 기계적 이동, 예를 들어 관상 네트워크 내에서의 의료 기구의 실제 이동을 구동시키는 내시경의 하나 이상의 풀 와이어, 텐돈(tendon) 또는 샤프트의 운동을 나타내는 기계적 데이터를 포함한다. EM 데이터는 전술된 바와 같이 EM 센서 및/또는 EM 추적 시스템에 의해 수집될 수 있다. 3D 모델 데이터는 전술된 바와 같이 2D CT 스캔으로부터 도출될 수 있다. 경로 데이터는 하나 이상의 표적에 대한 관상 네트워크의 위상 검색에 의해 생성될 수 있는 계획된 내비게이션 경로(예컨대, 내비게이션 경로(702))를 포함한다. 다수의 입력 데이터 저장소는 또한 선택적인 위치 센서 데이터 저장소(947)와 같은 다른 유형의 데이터 저장소를 포함할 수 있다. 소정 구현예에서, 위치 센서 데이터 저장소(947)는 기구 내에 위치된 형상 감지 섬유(shape sensing fiber)로부터 수신되는 형상 센서 데이터를 저장할 수 있다. 내비게이션 모듈(905) 및/또는 외측 세그먼테이션 내비게이션 모듈(907)은 실시예에 따라 위치 센서 데이터 저장소(947)로부터 위치 센서 데이터를 수신하도록 구성될 수 있다.

출력 내비게이션 데이터 저장소(990)는 내비게이션 모듈(905) 및/또는 외측 세그먼테이션 내비게이션 모듈(907)에 의해 제공되는 출력 내비게이션 데이터를 수신하고 저장한다. 더 상세히 후술되는 바와 같이, 시스템(900)은 내강 네트워크의 매핑된 부분에 대한 기구의 위치에 기초하여 내비게이션 모듈(905) 및 외측 세그먼테이션 내비게이션 모듈(907)에 의해 생성된 출력 내비게이션 데이터에 주어지는 가중치를 조절할 수 있다. 출력 내비게이션 데이터는 관상 네트워크 내의 특정 목적지에 도달하기 위해 관상 네트워크를 통해 의료 기구를 지향시키는 것을 보조하기 위한 정보를 나타내고, 각각의 순간 시간(instant time)에 의료 기구에 대한 추정 상태 정보에 기초하며, 추정 상태 정보는 관상 네트워크 내에서의 의료 기구의 위치 및 배향을 포함한다. 일 실시예에서, 의료 기구가 관상 네트워크 내측에서 이동함에 따라, 의료 기구의 이동 및 위치/배향 정보의 업데이트를 나타내는 출력 내비게이션 데이터는 실시간으로 제공되고, 이는 관상 네트워크를 통한 그의 내비게이션을 더 양호하게 보조한다.

출력 내비게이션 데이터를 결정하기 위해, 내비게이션 모듈(905) 및/또는 외측 세그먼테이션 내비게이션 모듈(907)은 관상 네트워크 내의 의료 기구의 추정 상태의 위치를 찾아낸다(또는 결정한다). 도 9a에 도시된 바와 같이, 내비게이션 모듈(905)은, 각각이 주로 소정 유형의 입력 데이터를 소비하고 상이한 유형의 데이터를 상태 추정기(980)에 제공할 수 있는 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 로봇-기반 알고리즘 모듈(970), 및 경로-기반 알고리즘 모듈(975)과 같은 다양한 알고리즘 모듈을 추가로 포함한다. 도 9a에 예시된 바와 같이, EM-기반 데이터, 이미지-기반 데이터, 로봇-기반 데이터, 및 경로-기반 데이터로 라벨링된, 이들 모듈에 의해 출력되는 상이한 종류의 데이터는 일반적으로 설명을 위해 "중간 데이터"로 지칭될 수 있다. 각각의 알고리즘 모듈의 그리고 상태 추정기(980)의 상세한 구성은 더 완전히 후술된다.

VI. B. 내비게이션 모듈

도 9a에 도시된 내비게이션 모듈(905)을 참조하면, 내비게이션 모듈(905)은 관상 네트워크를 통해 내비게이션하기 위해 상이한 알고리즘을 채용하는 다수의 알고리즘 모듈뿐만 아니라 상태 추정기(980)를 포함한다. 설명의 명확성을 위해, 상태 추정기(980)가 먼저 기술되고, 상태 추정기(980)와 데이터를 교환하는 다양한 모듈의 설명이 이어진다.

VI. B. 1 상태 추정기

내비게이션 모듈(905) 내에 포함된 상태 추정기(980)는 다양한 중간 데이터를 수신하고, 시간의 함수로서 기구 팁의 추정 상태를 제공하며, 여기에서 추정 상태는 관상 네트워크 내의 기구 팁의 추정 위치 및 배향 정보를 나타낸다. 추정 상태 데이터는 상태 추정기(980) 내에 포함되는 추정 데이터 저장소(985)에 저장된다.

도 9b는 일 실시예에 따른, 상태 추정기(980) 내에 포함된 추정 상태 데이터 저장소(985)의 예시적인 블록도를 도시한다. 추정 상태 데이터 저장소(985)는 분기 데이터 저장소(bifurcation data store)(1086), 위치 데이터 저장소(1087), 깊이 데이터 저장소(1088), 및 배향 데이터 저장소(1089)를 포함할 수 있지만, 데이터 저장의 이러한 특정 명세는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 상이한 및/또는 추가 데이터 저장소가 추정 상태 데이터 저장소(985) 내에 포함될 수 있다.

위에서 소개된 다양한 저장소는 다양한 방식으로 추정 상태 데이터를 나타낸다. 구체적으로, 분기 데이터는 관상 네트워크 내의 분지부들의 세트(예컨대, 3개 초과의 분지부로의 분기, 삼분기(trifurcation) 또는 분할)에 대한 의료 기구의 위치를 지칭한다. 예를 들어, 분기 데이터는, 예를 들어 관상 네트워크의 전체를 매핑하는 3D 모델에 의해 제공되는 바와 같은 이용가능한 분지부들의 더 큰 세트에 기초하여, 기구가 관상 네트워크를 통해 가로지름에 따라 기구에 의해 선택되는 분지부 선택들의 세트일 수 있다. 분기 데이터는 기구 팁의 위치 전방의 정보, 예컨대 기구 팁이 부근에 있지만 아직 그것을 통해 가로지르지 않은, 그러나 예를 들어 3D 모델에 대한 팁의 현재 위치 정보에 기초하여, 또는 다가오는 분기의 캡처된 이미지에 기초하여 검출되었을 수 있는 분지부(분기)를 추가로 포함할 수 있다.

위치 데이터는 관상 네트워크 내의 의료 기구의 일부 부분 또는 관상 네트워크 자체의 일부 부분의 3차원 위치를 나타낸다. 위치 데이터는 예를 들어 관상 네트워크의 3D 모델에 대한 절대 위치 또는 상대 위치의 형태일 수 있다. 일례로서, 위치 데이터는 특정 분지부 내에 있는 기구의 위치의 위치의 표시를 포함할 수 있다. 특정 분지부의 식별은 또한 기구 팁이 위치되는 모델의 특정 세그먼트를 고유하게 식별하는 세그먼트 식별(ID)로서 저장될 수 있다.

깊이 데이터는 관상 네트워크 내의 기구 팁의 깊이 정보를 나타낸다. 예시적인 깊이 데이터는 환자 내로의 의료 기구의 총 삽입 (절대) 깊이뿐만 아니라 식별된 분지부(예컨대, 위치 데이터 저장소(1087)에 의해 식별된 세그먼트) 내의 (상대) 깊이를 포함한다. 깊이 데이터는 관상 네트워크 및 의료 기구 둘 모두에 관한 위치 데이터에 기초하여 결정될 수 있다.

배향 데이터는 기구 팁의 배향 정보를 나타내며, 식별된 분지부 내에서의 피치, 롤, 요뿐만 아니라 3D 모델과 관련하여 전체 롤, 피치, 및 요를 포함할 수 있다.

다시 도 9a를 참조하면, 상태 추정기(980)는 추정 상태 데이터를 다시 알고리즘 모듈에 제공하여 더 정확한 중간 데이터를 생성하며, 이는 상태 추정기가 피드백 루프를 형성하는 개선된 및/또는 업데이트된 추정 상태 등을 생성하는 데 사용한다. 예를 들어, 도 9a에 도시된 바와 같이, EM-기반 알고리즘 모듈(950)은 타임스탬프 "t-1"과 연관된 데이터로 또한 지칭되는 이전 EM-기반 추정 상태 데이터를 수신한다. 상태 추정기(980)는 이러한 데이터를 사용하여 타임스탬프 "t-1"과 연관된 "추정 상태 데이터(이전)"를 생성한다. 상태 추정기(980)는 이어서 데이터를 다시 EM-기반 알고리즘 모듈에 제공한다. "추정 상태 데이터(이전)"는 상이한 알고리즘 모듈로부터 생성 및 수신된 바와 같은 타임스탬프 "t-1"과 연관되는 상이한 유형의 중간 데이터(예컨대, 로봇 데이터, 이미지 데이터)의 조합에 기초할 수 있다. 다음으로, EM-기반 알고리즘 모듈(950)은 추정 상태 데이터(이전)를 사용하여 그의 알고리즘을 실행하여 상태 추정기(980)로 개선되고 업데이트된 EM-기반 추정 상태 데이터를 출력하고, 이는 여기서 "EM-기반 추정 상태 데이터(현재)"에 의해 표현되고 타임스탬프 t와 연관된다. 이러한 프로세스는 또한 미래의 타임스탬프에 대해 계속해서 반복된다.

상태 추정기(980)가 관상 네트워크 내의 의료 기구의 상태의 그의 추정치에 도달하기 위해 여러 상이한 종류의 중간 데이터를 사용할 수 있기 때문에, 상태 추정기(980)는 각각의 유형의 기본 데이터(로봇, EM, 이미지, 경로) 및 각각의 유형의 알고리즘 모듈이 추정 상태를 결정함에 있어서 고려하기 위해 사용되는 중간 데이터를 생성하거나 그것으로 달성할 수 있는 측정 및 분석 둘 모두에서의 다양한 상이한 종류의 오류 및 불확실성을 처리하도록 구성된다. 이들을 해결하기 위해, 2개의 개념, 즉 확률 분포의 개념 및 신뢰도 값의 개념이 논의된다.

본 명세서에 사용되는 바와 같이, "확률 분포"의 "확률"은 의료 기구의 가능한 위치 및/또는 배향의 추정이 정확할 가능성을 지칭한다. 예를 들어, 상이한 확률은 알고리즘 모듈들 중 하나에 의해 계산되어, 의료 기구가 관상 네트워크 내의 여러 상이한 가능한 분지부들 중 하나 내에 있을 상대적 가능성을 나타낼 수 있다. 일 실시예에서, 확률 분포의 유형(예컨대, 이산 분포 또는 연속 분포)은 추정 상태의 특징(예컨대, 추정 상태의 유형, 예를 들어 연속 위치 정보 대 이산 분지부 선택)과 일치하도록 선택된다. 일례로서, 삼분기에 대해 의료 기구가 어느 세그먼트 내에 있는지를 식별하기 위한 추정 상태는 이산 확률 분포에 의해 표현될 수 있으며, 알고리즘 모듈들 중 하나에 의해 결정되는 바와 같은 3개의 분지부들 각각 내측의 위치에 있을 가능성을 나타내는 20%, 30% 및 50%의 3개의 이산 값을 포함할 수 있다. 다른 예로서, 추정 상태는 40 ± 5도의 의료 기구의 롤 각도를 포함할 수 있고, 분지부 내의 기구 팁의 세그먼트 깊이가 4 ± 1 mm일 수 있으며, 각각은 연속 확률 분포의 유형인 가우스 분포에 의해 표현된다. 상이한 방법 또는 모달리티가 확률을 생성하는 데 사용될 수 있으며, 이는 이하의 도면을 참조하여 더 완전히 후술되는 바와 같이 알고리즘 모듈에 의해 달라질 것이다.

대조적으로, 본 명세서에 사용되는 바와 같이, "신뢰도 값"은 하나 이상의 인자에 기초하여 알고리즘들 중 하나에 의해 제공되는 상태의 추정에서의 신뢰도의 측정치를 반영한다. EM-기반 알고리즘의 경우, EM 필드에 대한 왜곡, EM 정합의 부정확성, 환자의 이동 또는 움직임, 및 환자의 호흡과 같은 인자가 상태의 추정에서의 신뢰도에 영향을 미칠 수 있다. 특히, EM-기반 알고리즘에 의해 제공되는 상태의 추정에서의 신뢰도 값은 환자의 특정 호흡 주기, 환자 또는 EM 필드 발생기의 이동, 및 기구 팁이 위치한 해부학적 구조 내의 위치에 의존할 수 있다. 이미지-기반 알고리즘의 경우, 상태의 추정에서의 신뢰도 값에 영향을 미칠 수 있는 예시적인 인자는 이미지가 캡처되는 해부학적 구조 내의 위치에 대한 조명 조건, 이미지를 캡처하는 광학 센서에 대항하는 또는 그 전방의 유체, 조직, 또는 다른 방해물의 존재, 환자의 호흡, 환자 자신의 관상 네트워크(예컨대, 폐)의 상태, 예컨대 관상 네트워크 내측의 전반적인 유체 및 관상 네트워크의 폐색, 및 예컨대 내비게이션 또는 이미지 캡처하는 데 사용되는 특정 작동 기법을 포함한다.

예를 들어, 하나의 인자는 특정 알고리즘이 환자의 폐 내의 상이한 깊이에서 상이한 수준의 정확도를 갖는 것일 수 있으며, 따라서 기도 개구에 비교적 가까이에서, 특정 알고리즘이 의료 기구 위치 및 배향의 그의 추정에서 높은 신뢰도를 가질 수 있지만, 의료 기구가 이동하는 폐의 저부 내로 더 멀리서, 그러한 신뢰도 값은 하락할 수 있다. 일반적으로, 신뢰도 값은 결과가 결정되는 프로세스와 관련된 하나 이상의 체계적 인자(systemic factor)에 기초하는 반면, 확률은 기본 데이터에 기초한 단일 알고리즘에 의한 다수의 가능성으로부터 정확한 결과를 결정하려고 할 때 발생하는 상대 측정치이다.

일례로서, 이산 확률 분포에 의해 표현되는 추정 상태의 결과(예컨대, 수반되는 추정 상태의 3개의 값으로 삼분기에 대한 분지부/세그먼트 식별)를 계산하기 위한 수학 방정식이 하기와 같을 수 있다:

위의 예시적인 수학 방정식에서,

은 3개의 가능한 세그먼트가 3D 모델에서 제시되거나 식별되는 경우에서의 추정 상태의 가능한 예시적인 값을 나타내고,

,

, 및

은 EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘에 대응하는 신뢰도 값을 나타내며,

,

, 및

은 세그먼트 i에 대한 확률을 나타낸다.

추정 상태와 연관된 확률 분포 및 신뢰도 값의 개념을 더 잘 예시하기 위해, 상세한 예가 여기에 제공된다. 이러한 예에서, 사용자는 기구 팁이 관상 네트워크의 중심 기도(예측된 영역) 내의 소정 삼분기 내에 위치되는 세그먼트를 식별하려고 하고, EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘을 포함하는 3개의 알고리즘 모듈이 사용된다. 이러한 예에서, EM-기반 알고리즘에 대응하는 확률 분포는 제1 분지부에서 20%, 제2 분지부에서 30%, 및 제3 (최종) 분지부에서 50%일 수 있고, 이러한 EM-기반 알고리즘 및 중심 기도에 적용된 신뢰도 값은 80%이다. 동일한 예에 대해, 이미지-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 40%, 20%, 40%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 30%인 한편; 로봇-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 10%, 60%, 30%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 20%이다. EM-기반 알고리즘 및 이미지-기반 알고리즘에 적용된 신뢰도 값의 차이는 EM-기반 알고리즘이 이미지-기반 알고리즘과 비교하여 중심 기도 내에서의 세그먼트 식별에 대한 더 양호한 선택일 수 있음을 나타낸다. 최종 추정 상태의 예시적인 수학적 계산은 다음과 같을 수 있다:

제1 분지부에 대해: 20%*80% + 40%*30% + 10%*20% = 30%; 제2 분지부에 대해: 30%*80% + 20%*30% + 60%*20% = 42%; 및 제3 분지부에 대해: 50%*80% + 40%*30% + 30%*20% = 58%.

이러한 예에서, 기구 팁에 대한 출력 추정 상태는 결과 값(예컨대, 결과적인 30%, 42% 및 58%), 또는 이들 결과 값으로부터의 도함수 값, 예컨대 기구 팁이 제3 분지부 내에 있다는 결정일 수 있다. 이러한 예가 EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘을 포함하는 알고리즘 모듈의 사용을 기술하지만, 기구 팁에 대한 상태의 추정은 또한 경로-기반 알고리즘을 포함하는 다양한 알고리즘 모듈의 상이한 조합에 기초하여 제공될 수 있다.

위와 같이, 추정 상태는 다수의 상이한 방식으로 표현될 수 있다. 예를 들어, 추정 상태는 기도로부터 기구의 팁의 위치까지의 절대 깊이뿐만 아니라, 관상 네트워크 내에서 기구가 가로지르는 분지부들의 세트를 나타내는 데이터의 세트를 추가로 포함할 수 있으며, 분지부들의 세트는 예를 들어 환자의 폐의 3D 모델에 의해 제공되는 분지부들의 전체 세트의 서브세트이다. 추정 상태에 대한 확률 분포 및 신뢰도 값의 적용은 관상 네트워크 내에서의 기구 팁의 위치 및/또는 배향의 추정의 개선된 정확도를 허용한다.

VI. B. 2 경로-기반 내비게이션의 개요

도 9a에 도시된 바와 같이, 알고리즘 모듈은 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 로봇-기반 알고리즘 모듈(970), 및 경로-기반 알고리즘 모듈(975)을 포함한다. 도 9a에 도시된 알고리즘 모듈은 단지 일례이며, 대안적인 실시예에서, 상이한 및/또는 추가 내비게이션 알고리즘을 수반하는 상이한 및/또는 추가 알고리즘 모듈이 또한 내비게이션 모듈(905)에 포함될 수 있다. EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970)의 추가 상세사항 및 예시적인 실시예가 위에서 참조된 미국 특허 공개 제2017/0084027호에 기술되어 있다.

도 10은 본 개시의 태양에 따른 경로-기반 알고리즘 모듈(975)의 예시적인 블록도를 도시한다. 경로-기반 알고리즘 모듈(975)은 추정 상태 데이터 저장소(985)로부터의 추정 상태 데이터(이전)(예컨대, 위치 데이터 및/또는 깊이 데이터), 3D 모델 데이터 저장소(940)로부터의 3D 모델 데이터, 및 경로 데이터 저장소(945)로부터의 경로 데이터를 입력으로서 수신한다. 수신된 데이터에 기초하여, 경로-기반 알고리즘 모듈(975)은 관상 네트워크의 3D 모델에 대한 기구 팁의 위치의 추정치를 결정하고 경로-기반 추정 상태 데이터(현재)를 상태 추정기(980)에 제공하며, 이는 추정 상태 데이터 저장소(985)에 저장될 수 있다. 예로서, 경로-기반 추정 상태 데이터는 3D 모델의 복수의 식별된 세그먼트들 사이의 확률 분포로서 표현될 수 있다(예컨대, 분기에서 연결된 2개의 세그먼트에 대해 30% 및 70%의 이산 분포).

내비게이션 구성 시스템(900)은 추정 상태 데이터 저장소(985)로부터 수신된 추정 상태 데이터(이전)에 기초하여 한정될 수 있는, 기구 팁의 현재 위치에 따라 복수의 모달리티들 중 하나로 작동할 수 있다. 구체적으로, 내비게이션 구성 시스템(900)은, 3D 모델 데이터 저장소(940)에 저장된 3D 모델 데이터에 의해 한정될 수 있는, 기구 팁의 현재 위치가 내강 네트워크의 매핑된 부분 내에 있는 것으로 결정될 때 (예컨대, 내비게이션 모듈(905)을 사용하여) 하나의 모달리티로 작동할 수 있다. 또한, 소정 구현예에서, 경로-기반 알고리즘 모듈(975)은, 기구 팁의 현재 위치가 내강 네트워크의 매핑된 부분의 외측에 또는 내강 네트워크의 미매핑 부분의 임계 거리 내에 있는 것으로 결정될 때, (예컨대, 외측 세그먼테이션 내비게이션 모듈(907)을 사용하여) 다른 모달리티로 작동할 수 있다. 더 상세히 후술될 바와 같이, 내비게이션 구성 시스템(900)은 기구의 현재 위치로부터 내강 네트워크의 매핑된 부분의 에지까지의 거리와 같은 소정 임계 값의 검출에 기초하여 제1 및 제2 모달리티들 사이에서 전환할 수 있다.

VI. B. 2. I. 경로-기반 내비게이션 - 내강 네트워크의 매핑된 부분 내부

도 11은 본 개시의 태양에 따른, 관상 네트워크의 경로-기반 내비게이션을 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도이다. 예를 들어, 도 11에 예시된 방법(1100)의 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 경로-기반 알고리즘 모듈(945))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 방법(1100)은, 방법(1100)의 설명과 관련하여 간단히 "시스템"으로 또한 지칭되는, 내비게이션 구성 시스템에 의해 수행되는 것으로 기술된다.

방법(1100)은 블록(1101)에서 시작된다. 블록(1105)에서, 시스템은 위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터 위치 데이터를 수신할 수 있다. 위치 데이터는 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타낼 수 있다. 전술된 바와 같이, 시스템은 내강 네트워크의 모델(예컨대, 3D 모델 데이터 저장소(940)에 저장된 3D 모델 데이터), 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함할 수 있다. 소정 실시예에서, 표적의 위치 및 경로는 경로 데이터 저장소(945)에 경로 데이터로서 저장될 수 있다.

블록(1110)에서, 시스템은 위치 데이터에 기초하여 제1 시간에서의 기구의 위치의 제1 추정치를 결정할 수 있다. 기구의 위치의 제1 추정치는 예를 들어 이미지 데이터 저장소(910), EM 데이터 저장소(920), 로봇 데이터 저장소(930), 및/또는 3D 모델 데이터 저장소(940) 중 하나 이상으로부터 수신되는 데이터에 기초할 수 있다.

블록(1115)에서, 시스템은 경로에 기초하여 제1 시간에서의 기구의 위치의 제2 추정치를 결정할 수 있다. 소정 구현예에서, 경로-기반 추정 상태 데이터는 경로를 따른 세그먼트의 표시(예컨대, 경로 데이터 저장소(945)로부터 수신된 경로 데이터) 및 식별된 세그먼트와 연관된 가중치를 포함할 수 있다. 따라서, 시스템은 경로-기반 위치 추정치와 연관된 가중치를 결정할 수 있다.

실시예에 따라, 시스템은 추정 상태 데이터 저장소(985)의 깊이 데이터 저장소(1088)로부터 수신된 깊이 데이터에 기초하여 기구의 추정 위치로서 경로를 따른 내강 네트워크의 세그먼트를 선택할 수 있다. 시스템은, 깊이 정보를 사용하여, 깊이 데이터로부터 결정된 경로를 따른 거리(예컨대, 내강 네트워크의 접근 지점으로부터 시작하는 깊이 데이터에 의해 한정되는 거리)에 기초하여 기구의 위치를 추정할 수 있다.

시스템은 경로-기반 추정치와 연관된 가중치를 결정하기 위해 복수의 방법들 또는 모달리티들 중 하나를 채용할 수 있다. 소정 실시예에서, 시스템은 내강 네트워크 내의 기구의 위치에 기초하여(예컨대, 추정 상태 데이터 저장소(985)로부터 수신된 추정 상태 데이터(이전)에 기초하여) 가중치를 결정할 수 있다. 상세히 후술되는 바와 같이, 경로-기반 위치 추정치와 연관된 가중치는 기구를 구동시키는 동안 조작자가 경로로부터 이탈할 확률에 기초할 수 있다. 다양한 인자가 조작자가 경로의 일부가 아닌 내강 네트워크의 세그먼트를 따라 기구를 구동시킬 확률에 영향을 미칠 수 있다. 이들 인자의 예는 기구를 전진시키기 위한 정확한 세그먼트를 시각적으로 식별함에 있어서의 어려움, 내강 네트워크의 분지 시스템(branching system)의 복잡성, 경로의 외측의 내강 네트워크의 부분을 탐색하기 위한 조작자 결정 등을 포함한다. 이들 인자들 중 일부 또는 전부는 조작자가 내강 네트워크 내로의 기구의 삽입 깊이에 따라 경로로부터 이탈할 확률을 증가시킬 수 있다. 가중치의 적절한 선택에 의해, 시스템은 기구의 추정 상태가 기초로 하는 데이터의 소스로서 경로-기반 위치 추정을 신뢰성 있게 사용하는 상태 추정기(980)의 능력을 증가시킬 수 있다.

관련 태양에서, 블록(1115)에 관한 추가 상세사항 및 예시적인 모델이 도 12를 참조하여 후술된다.

도 11을 계속 참조하면, 블록(1120)에서, 시스템은 제1 추정치 및 제2 추정치에 기초하여 제1 시간에서의 기구의 위치를 결정할 수 있다. 이러한 결정은 예를 들어 상태 추정기(980)가 경로-기반 알고리즘 모듈(975), 및 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970) 중 적어도 하나로부터 수신된 추정 상태 데이터에 기초하여 기구의 상태를 결정함으로써 수행될 수 있다. 시스템이 경로-기반 위치 추정치와 연관된 가중치를 결정하는 실시예에서, 시스템은 블록(1120)에서 기구의 위치를 결정함에 있어서 가중치를 추가로 사용할 수 있다. 방법(1110)은 블록(1125)에서 종료된다.

도 12는 경로-기반 위치 추정과 관련된 본 개시의 태양을 기술하기 위한 내강 네트워크의 일부분의 단순화된 예시적인 모델이다. 특히, 도 12는 내강 네트워크의 중심선에 의해 한정될 수 있는 골격(1205), 및 모델(1200)의 일부분을 가로지르는 내비게이션 경로(1210)를 포함하는 단순화된 내강 네트워크의 모델(1200)을 도시한다. 골격(1205)으로부터 오프셋된 것으로 예시되어 있지만, 내비게이션 경로(1210)는 소정 실시예에서 골격(1205)을 따라 한정될 수 있다. 모델(1200)은 1-세대 세그먼트(1221), 1-세대 세그먼트(1221)로부터 분지되는 2개의 2-세대 세그먼트(1231, 1235), 및 4개의 3-세대 세그먼트(1241, 1243, 1245, 1247)를 추가로 포함한다. 기구의 원위 단부의 2개의 예시적인 위치(1251, 1255)가 또한 도 12에 예시되어 있다.

일 구현예에서, 기구의 위치는 기구의 원위 단부가 현재 위치되는 세그먼트를 식별함으로써 한정될 수 있다. 이러한 구현예에서, 모델은 복수의 세그먼트(예컨대, 도 12에 예시된 바와 같은 세그먼트(1221 내지 1247))를 포함할 수 있으며, 여기에서 각각의 세그먼트는 세대 수(generation count) 또는 세대 명칭(generation designation)과 연관된다. 주어진 세그먼트의 세대 수는 기구가 내강 네트워크 내로 접근하도록 허용하는 환자의 접근 지점과 주어진 세그먼트 사이에 위치되는 내강 네트워크 내의 분지부의 개수에 기초하여 결정되거나 한정될 수 있다. 도 12의 실시예에서, 세그먼트(1221 내지 1247)에 대한 세대 수의 예시적인 할당은 1의 세대 수를 갖는 1세대 세그먼트(1221), 2의 세대 수를 갖는 2세대 세그먼트(1231, 1235), 및 3의 세대 수를 갖는 3세대 세그먼트(1241, 1243, 1245, 1247)를 포함할 수 있다. 당업자는 다른 번호 부여 기법이 내강 네트워크의 세그먼트에 세대 수 및/또는 세대 명칭을 할당하는 데 채용될 수 있다는 것을 인식할 것이다.

소정 구현예에서, 시스템은 경로-기반 위치 추정치를 사용하여 기구가 위치되는 현재 세그먼트를 추정하고, 현재 세그먼트의 세대 수에 기초하여 경로-기반 위치 추정치와 연관된 가중치를 결정할 수 있다. 예를 들어, 기구가 제1 위치(1251)에 위치될 때, 현재 세그먼트(1231)의 세그먼트 수는 2일 수 있다. 시스템은, 소정 실시예에서, 세대 수가 증가함에 따라 경로-기반 위치 추정치에 대한 가중치를 감소시킬 수 있다. 다시 말하면, 경로-기반 추정치에 주어지는 가중치는 현재 세그먼트의 세대 수가 증가함에 따라 (예컨대, 단조적으로).감소될 수 있다. 도 12의 예를 참조하면, 이러한 구현예에서, 제2 위치(1255)에서 경로-기반 추정치에 할당되는 가중치는 제1 위치(1251)에서 경로-기반 추정치에 할당되는 가중치 미만일 수 있다. 가중치를 결정하기 위해 시스템에 의해 사용되는 특정 기능은 특정하게 제한되지 않는다. 하나의 예시적인 구현예에서, 특정 세그먼트에 주어지는 가중치는 세그먼트의 세대 수에 반비례할 수 있다.

기구가 내강 네트워크 내로 충분한 거리로 전진된 후에, 시스템은 경로-기반 위치 추정치에 할당된 가중치를 0 또는 다른 최소 값으로 감소시킬 수 있다. 소정 구현예에서, 시스템은 기구가 위치되는 현재 세그먼트의 세대 수에 기초하여 가중치를 0 또는 최소 값으로 감소시킬지 여부를 결정할 수 있다. 예를 들어, 시스템은 현재 세그먼트의 세대 수가 임계 세대 수 초과인지를 결정하고, 제1 세그먼트의 세대 수가 임계 세대 수 초과인 것으로 결정한 것에 응답하여, 가중치를 0 또는 최소 값으로 설정할 수 있다.

실시예에 따라, 경로-기반 위치 추정치와 연관된 가중치는 추정치와 연관된 신뢰도 값에 대응할 수 있다. 전술된 바와 같이, 신뢰도 값은 경로-기반 알고리즘 모듈(975)에 의해 제공되는 상태의 추정에서의 신뢰도의 측정치를 반영할 수 있다. 시스템은 로봇 시스템의 조작자가 내비게이션 경로로부터 이탈할 가능성에 기초하여 신뢰도 값을 결정할 수 있다. 조작자가 내비게이션 경로로부터 이탈할 가능성은 실제 의료 절차 동안 기구의 위치를 추적하는 것에 기초하여 경험적으로 결정될 수 있다. 일례에서, 조작자가 기관지경 절차 동안 기관으로부터 주 기관지들 중 하나로 전환하고 있을 때와 같은, 절차의 시작 부근에서 조작자가 내비게이션 경로로부터 이탈할 가능성은 실제로 0일 수 있다. 그러나, 기구가 기도 내로 추가로 전진됨에 따라, 조작자가 예를 들어 카메라로부터 수신된 이미지에 기초하여 기구를 그 내부로 구동시킬 네트워크의 정확한 세그먼트를 식별하는 것이 더 어려울 수 있다. 대안적으로, 조작자는 내강 네트워크의 일부분을 조사하기 위해 또는 복합 내비게이션 조작을 수행하기 위해(예컨대, 내강 네트워크 내에서 조밀한 곡률 주위로 기구를 관절운동시킴) 기구가 표적에 접근할 때 경로로부터 이탈하기로 결정할 수 있다. 따라서, 기구가 내강 네트워크 내로 추가로 전진함에 따라 조작자가 내비게이션 경로를 벗어날 증가하는 확률과 일치하도록 경로-기반 위치 추정치의 신뢰도 수준을 낮추는 것이 유리할 수 있다.

VI. B. 2. II. 경로-기반 내비게이션 - 내강 네트워크의 매핑된 부분의 외측

내강 네트워크의 매핑된 부분 내에 있을 때 기구의 위치를 추정함에 있어서의 경로의 사용에 더하여, 경로는 또한 기구가 내강 네트워크의 매핑된 부분의 외측에 위치될 때 데이터 소스로서 사용될 수 있다. 특히, 주어진 내강 네트워크의 모델은 내강 네트워크 전체를 완전히 매핑하지 않을 수 있다. 도 13은 본 개시의 태양에 따른, 내강 네트워크(1310) 상에 오버레이된 모델(1300)(예컨대, 3D 모델 데이터 저장소(940)에 저장된 3D 모델 데이터)의 예시적인 도면이다. 일부 경우에, 모델(1300)을 생성하는 데 사용되는 이미징 및 매핑 기법에서의 제한은 전체 내강 네트워크(1310)에 대응하는 모델의 생성을 방해할 수 있다. 예를 들어, 내강 네트워크 내의 소정의 분지 내강(branched lumen)은 그들이 통상의 이미징 및 매핑 기법에 의해 명확하게 묘사되고 분석될 수 없을 정도로 충분히 작을 수 있다. 따라서, 모델(1300)은 내강 네트워크(1310)의 완전한 표현을 제공하지 않아서, 예를 들어 내강 네트워크(1310)의 다양한 부분을 모델(1300)에 매핑되지 않은 그리고/또는 표현되지 않은 상태로 남길 수 있다.

예를 들어, 도 13에 도시된 바와 같이, 모델(1300)은 내강 네트워크(1310)의 매핑된 부분(1320)에 대응할 수 있다. 모델(1300)에 의해 표현되지 않을 수 있는 내강 네트워크(1310)의 미매핑 부분(1330)이 매핑된 부분(1320)을 넘어 연장될 수 있다. 내강 네트워크(1310)의 매핑된 부분(1320)의 섹션 및 내강 네트워크(1310)의 미매핑 부분(1330)의 섹션을 포함하는 모델(1300)의 일부분(1350)이 후술되는 도 15에서 확대되어 있다.

기구의 위치를 추정하기 위한 소정 알고리즘은 기구의 위치를 나타내는 추정 상태 데이터를 생성하기 위해 3D 모델 데이터 저장소로부터 수신된 3D 모델 데이터를 이용할 수 있다. 예를 들어, EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970) 각각은 상태 데이터를 추정함에 있어서 3D 모델 데이터 저장소(940)로부터 수신된 3D 모델 데이터를 사용할 수 있다. 따라서, 기구가 내강 네트워크의 미매핑 부분(예컨대, 도 13의 미매핑 부분(1330))으로 구동되는 경우, 3D 모델 데이터 저장소(940)는 기구의 위치의 추정에 사용될 수 있는 3D 모델 데이터를 갖지 않을 수 있다. 따라서, 본 개시의 태양은 기구 위치를 추정하는 데 사용되는 3D 모델 데이터의 결여를 해결하기 위해 (예컨대, 경로 데이터 저장소(945)에 저장된) 경로 데이터의 사용에 관한 것이다.

도 14는 본 개시의 태양에 따른, 관상 네트워크의 세그먼트화되지 않은 부분의 외측에서의 내비게이션에서 경로-기반 데이터를 사용하기 위해 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 다른 예시적인 방법을 예시한 흐름도이다. 예를 들어, 도 14에 예시된 방법(1400)의 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 경로-기반 알고리즘 모듈(945))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 방법(1400)은, 방법(1400)의 설명과 관련하여 간단히 "시스템"으로 또한 지칭되는, 내비게이션 구성 시스템에 의해 수행되는 것으로 기술된다.

방법(1400)은 블록(1401)에서 시작된다. 블록(1405)에서, 시스템은 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정할 수 있다. 방법(1400)을 수행함에 있어서, 시스템은 내강의 매핑된 부분의 모델, 모델에 대한 표적의 위치, 및 접근 지점으로부터 표적까지의 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함할 수 있다. 따라서, 블록(1405)은 경로의 적어도 일부분이 내강 네트워크의 미매핑 부분을 통해 표적으로 연장되는지를 프로세서가 결정하는 것을 수반할 수 있다.

관련 태양에서, 블록(1405)에 관한 추가 상세사항이 도 15를 참조하여 후술된다. 특히, 도 15와 관련하여 아래의 설명은, 경로가 내강 네트워크의 매핑된 부분을 벗어났는지를 시스템이 결정할 수 있는 방법을 상술하는 다수의 실시예에 관한 추가 상세사항을 제공한다.

블록(1410)에서, 시스템은 적어도 제1 모달리티(예컨대, 도 9a의 내비게이션 모듈(905))를 통해 기구의 현재 위치를 디스플레이할 수 있다. 제1 모달리티는 시스템이 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 모델의 매핑된 부분에 기초하여 기구의 위치를 도출하는 것을 포함할 수 있다. 위치 데이터의 예는 이미지 데이터, EM 데이터, 및 로봇 데이터를 포함한다. 실시예에 따라, 제1 모달리티는 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970) 중 하나 이상을 통한 기구의 위치의 추정치를 포함할 수 있다.

블록(1415)에서, 시스템은 기구의 현재 위치에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는지를 결정할 수 있다.

일 실시예에서, 시스템은 도 15의 예에 예시된 바와 같이 기구가 최종에서 두 번째 세그먼트(1525) 내에 위치된 것으로 결정한 것에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구가 있는 것으로 결정할 수 있다. 시스템은 최종에서 두 번째 세그먼트(1525)를, 최종 세그먼트(1520)에 인접하고 경로(1505)를 따라 위치됨 모델(1300)의 세그먼트로서 식별할 수 있다.

다른 실시예에서, 시스템은 내강 네트워크(1310)의 최종 세그먼트(1520)와 하나 이상의 미매핑 세그먼트(unmapped segment)(1530) 사이의 하나 이상의 미매핑 교점(unmapped intersection)의 위치(들)를 식별하는 것에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는 것으로 결정할 수 있다. 일 구현예에서, 시스템은 기구의 원위 단부에 또는 그 부근에 위치된 카메라를 사용하여 캡처된 이미지를 사용할 수 있다. 시스템은 내강 네트워크(1310) 내의 교점(예컨대, 분기)을 나타내는, 이미지 내의 시각적 객체를 식별하도록 구성될 수 있다. 시스템은 검출된 시각적 객체를 사용하여 최종 세그먼트(1520)와 미매핑 세그먼트(들)(1530) 사이의 교점의 위치를 추정할 수 있다.

시스템은 또한 기구의 현재 위치와 교점의 위치 사이의 거리에 기초하여, 경로가 내강 네트워크의 매핑된 부분을 벗어나는 지점의 임계 범위 내에 기구의 원위 단부가 있는지를 결정할 수 있다. 소정 실시예에서, 시스템은 기구의 현재 위치가 하나 이상의 미매핑 교점의 위치로부터 한정된 거리 내에 있는지를 결정할 수 있다.

블록(1420)에서, 시스템은 기구의 원위 단부가 지점의 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 제1 모달리티에 주어지는 가중치의 감소에 기초하여 기구의 현재 위치를 업데이트할 수 있다. 임계 범위에 기초하여 제1 모달리티에 주어지는 가중치를 감소시키는 것에 더하여 또는 그 대신에, 시스템은 또한 제1 모달리티에 주어지는 가중치를 감소시키기 위한 하나 이상의 다른 조건을 사용할 수 있다. 예를 들어, 하나의 그러한 조건은 기구가 최종에서 두 번째 세그먼트(예컨대, 도 15의 최종에서 두 번째 세그먼트(1525)) 내에 위치된 것으로 결정하는 것을 포함할 수 있다. 다른 조건은 기구가 최종에서 두 번째 세그먼트(1525)로부터의 임계 거리 내에 있는 것으로 결정하는 것을 포함할 수 있다. 다른 태양에서, 조건은 기구의 현재 위치가 최종 세그먼트(1520) 내에 존재하는 하나 이상의 미매핑 교점의 위치로부터 한정된 거리 내에 있는 것으로 결정하는 것을 포함할 수 있다.

시스템은 또한 기구가 내강 네트워크의 매핑된 부분으로 복귀하는 것에 응답하여 제1 모달리티에 주어지는 가중치를 증가시키도록 구성될 수 있다. 제1 모달리티에 주어지는 가중치의 이러한 증가는 블록(1420)에서 가중치를 감소시키기 전에 가중치를 원래 값으로 복귀시키는 것을 포함할 수 있다.

소정 구현예에서, 시스템은 기구의 현재 위치에 기초하여, 기구의 원위 단부가 내강 네트워크의 매핑된 부분의 외측으로부터(예컨대, 내강 네트워크의 미매핑 부분으로부터) 내강 네트워크의 매핑된 부분으로 복귀하였는지를 결정할 수 있다. 기구의 원위 단부가 내강 네트워크의 매핑된 부분으로 복귀한 것으로 결정한 것에 응답하여, 시스템은 제1 모달리티에 주어지는 가중치의 증가에 기초하여 기구의 현재 위치를 업데이트할 수 있다. 즉, 시스템은 EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 및 로봇-기반 알고리즘 모듈(970) 중 하나 이상에서 3D 모델 데이터 저장소(940)로부터의 3D 모델 데이터의 사용으로 복귀할 수 있다.

기구가 내강 네트워크의 매핑된 부분으로 복귀하였다는 결정은 또한 기구가 내강 네트워크의 매핑된 부분을 벗어난 위치의 표시를 시스템이 저장하는 것을 수반할 수 있다. 예를 들어, 시스템은 기구의 위치의 추정이 먼저 제1 모달리티에 주어지는 감소된 가중치에 기초하였던 기구의 위치를 결정할 수 있다. 기구가 위에서 언급된 위치로 후퇴되는 것으로 결정한 것에 응답하여, 시스템은 이어서 기구가 내강 네트워크의 매핑된 부분 내로 후퇴된 것으로 결정할 수 있다.

일부 구현예에서, 제1 모달리티에 주어지는 가중치의 감소는 경로 추적 모드(path tracing mode)에 진입하는 것을 포함할 수 있다. 경로 추적 모드는 예를 들어, 시스템이, 사용자 디스플레이 상에, 모델에 대한 기구의 이전 위치를 나타내는 시각적 표지(visual indicia)를 디스플레이하는 것을 포함할 수 있다. 경로 추적 모드는 또한 새로운 시각적 표지가 규칙적인 간격으로 사용자 디스플레이 상에 디스플레이되는 "브레드크럼(breadcrumb)" 모드로 지칭될 수 있다. 소정 구현예에서, 시각적 표지는 내강 네트워크 내에서의, 특히 내강 네트워크의 미매핑 부분 내에서의 기구의 이력 위치(historical position)를 나타낼 수 있다. 실시예에 따라, 시스템은 경로 추적 모드에 있을 때 이미지 데이터, EM 데이터, 및 로봇 데이터 중 적어도 하나를 참조함이 없이 기구의 위치를 결정할 수 있다. EM 데이터에 대한 오프셋을 계산하고 적용하는 데 사용될 수 있는 소정 실시예가, 각각 전체적으로 본 명세서에 참고로 포함되는, 2017년 10월 13일자로 출원된 미국 출원 제62/572,285호, 및 2018년 9월 26일자로 출원된 미국 특허 출원 제16/143,362호에 기술되어 있다.

다른 구현예에서, 제1 모달리티에 주어지는 가중치의 감소는 기구의 원위 단부의 위치를 결정하기 위해 제2 모달리티에 진입하는 것을 포함할 수 있다. 다시 도 9a를 참조하면, 제2 모달리티에서, 시스템(900)은 내비게이션 모듈(905) 대신에 외측 세그먼테이션 내비게이션 모듈(907)을 사용하여 출력 내비게이션 데이터 저장소(990)에 제공되는 출력 내비게이션 데이터를 결정할 수 있다. 외측 세그먼테이션 내비게이션 모듈(907)은 EM 데이터 저장소(920), 로봇 데이터 저장소(930), 3D 모델 데이터 저장소(940), 및 경로 데이터 저장소(945) 중 적어도 하나로부터 수신되는 입력 데이터에 기초하여 관상 네트워크 내의 의료 기구의 추정 상태의 위치를 찾아낼 수 있다(또는 결정할 수 있다). 전술된 바와 같이, 시스템(900)은 경로 데이터 저장소(945)로부터 수신되는 경로 데이터에 기초하여 제2 모달리티에 진입하는 것으로 결정할 수 있다.

시스템은 예를 들어, 모델의 매핑된 부분(예컨대, 3D 모델 데이터)과는 관계없이 위치 데이터(예컨대, EM 데이터, 및 로봇 데이터)에 기초하여 기구의 위치를 도출함으로써 제2 모달리티에서 기구의 위치를 결정할 수 있다. 특히, 외측 세그먼테이션 내비게이션 모듈(907)은 EM 데이터에 대한 정합을 결정하기 위해 EM 데이터 저장소(920), 로봇 데이터 저장소(930), 및 3D 모델 데이터 저장소(940) 각각으로부터 수신되는 데이터를 사용할 수 있다. 추가적으로, 외측 세그먼테이션 내비게이션 모듈(907)은 기구의 삽입 및/또는 후퇴의 양을 추적하기 위해 로봇 데이터를 사용할 수 있다. 외측 세그먼테이션 내비게이션 모듈(907)은 기구가 제2 모달리티에 진입하였던 지점으로 후퇴되었는지 여부를 결정하고 기구가 이러한 지점으로 후퇴되는 것에 기초하여 다시 제1 모달리티로 전환하기 위해 삽입 및/또는 후퇴 데이터를 사용할 수 있다.

외측 세그먼테이션 내비게이션 모듈(907)은 또한 내비게이션 모듈(905)의 사용으로부터 외측 세그먼테이션 내비게이션 모듈(907)로 전환할 때 정합된 EM 데이터에 오프셋을 적용하기 위해 3D 모델 데이터를 사용할 수 있다. 오프셋은, 그렇지 않을 경우 전환 동안 발생할 수 있는 출력 내비게이션 데이터에서의 급격한 점프(sudden jump)를 방지할 수 있다. EM 데이터에 대한 오프셋을 계산하고 적용하는 데 사용될 수 있는 소정 실시예가, 각각 전체적으로 본 명세서에 참고로 포함되는, 2017년 12월 18일자로 출원된 미국 출원 제62/607,246호, 및 2018년 12월 14일자로 출원된 미국 특허 출원 제16/221,020호에 기술되어 있다. 소정 구현예에서, 외측 세그먼테이션 내비게이션 모듈(907)은 정합된 EM 데이터를 사용하여 출력 내비게이션 데이터를 생성할 수 있다. 따라서, 외측 세그먼테이션 내비게이션 모듈(907)은 먼저 출력 내비게이션 데이터를 결정하기 전에 EM 데이터에 대한 정합을 결정할 수 있다. 일부 구현예에서, 시스템(900)은 기구가 내강 네트워크 내로(예컨대, 3-세대 세그먼트 내로) 사전결정된 거리로 구동되는 것에 기초하여 정합을 결정할 수 있다. 따라서, 외측 세그먼테이션 내비게이션 모듈(907)은 기구가 3-세대 세그먼트(예컨대, 도 12의 3세대 세그먼트(1241, 1243, 1245, 1247)) 내로 구동되는 것에 응답하여 출력 내비게이션 데이터를 생성하기 시작할 수 있다. 방법(1400)은 블록(1425)에서 종료된다.

경로가 내강 네트워크의 매핑된 부분을 벗어나는지 여부를 결정하기 위해 사용될 수 있는 다수의 예시적인 실시예가 도 15와 관련하여 논의될 것이다. 도 15는 본 개시의 태양에 따른, 매핑된 부분(1320) 및 미매핑 부분(1330)을 포함하는 도 13의 내강 네트워크(1310)의 일부분(1350)을 예시한다. 도 15의 예에 도시된 바와 같이, 표적(1510)은 내강 네트워크(1310)의 미매핑 부분(1320) 내에 위치될 수 있다. 따라서, 경로(1505)가 표적(1510)에 도달하기 전에 내강 네트워크(1310)의 매핑된 부분(1320)으로부터 내강 네트워크(1310)의 미매핑 부분(1320) 내로 연장될 수 있다. 내강 네트워크(1310)의 미매핑 부분(1320)은 조작자가 (예컨대, 아래에서 도 17과 관련하여 논의되는 바와 같은 수술전 경로 계획 동안) 경로(1510)를 선택할 때 관찰하도록 이용가능하지 않을 수 있기 때문에, 경로(1505)는 반드시 내강 네트워크(1310)의 미매핑 부분(1320) 내의 내강을 따르지는 않을 수 있다. 일부 실시예에서, 경로(1505)는 경로(1505)의 최종 세그먼트(1520)와 표적(1510) 사이에서 실질적으로 직선을 따를 수 있다.

도 15에 도시된 바와 같이, 모델(1300)은 제1 세그먼트(1520) 및 제2 세그먼트(1525)를 포함하는 복수의 세그먼트를 포함한다. 제1 세그먼트(1520)는 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나기 전의 모델(1300)의 최종 세그먼트(1520)를 나타낼 수 있는 한편, 제2 세그먼트(1525)는 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나기 전의 모델(1300)의 최종에서 두 번째("끝에서 두 번째(penultimate)"로 또한 지칭됨) 세그먼트(1525)를 나타낼 수 있다. 시스템은 최종 세그먼트(1520) 및/또는 최종에서 두 번째 세그먼트(1525)의 식별에 기초하여, 예를 들어 도 14에 예시된 블록(1405)에서, 경로가 내강 네트워크의 매핑된 부분(1320)을 벗어나는지를 결정할 수 있다.

소정 실시예에서, 시스템은 최종 및/또는 최종에서 두 번째 세그먼트(1520 및/또는 1525)의 식별에 기초하여, 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 지점을 결정할 수 있다. 따라서, 시스템은 경로(1505)가 모델(1300)의 최종 세그먼트(1520)로부터 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어난다는 결정에 기초하여, 경로(1505)가 표적(1510)에 도달하기 전에 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 것으로 결정할 수 있다.

다른 실시예에서, 시스템은 기구가 제2 세그먼트(1525)로부터 임계 거리 내에 있다는 결정에 기초하여, 기구가 표적(1510)에 도달하기 전에 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 것으로 결정할 수 있다. 따라서, 시스템은 기구의 현재 위치와 경로가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 지점 사이의 거리를 결정하고 그러한 거리를 임계 거리와 비교할 수 있다. 일 실시예에서, 시스템은 기구의 현재 위치와 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 지점 사이의 경로(1505)의 길이로서, 기구의 현재 위치와 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 지점 사이의 거리를 결정할 수 있다. 다른 실시예에서, 시스템은 기구의 현재 위치와 경로(1505)가 내강 네트워크(1310)의 매핑된 부분(1320)을 벗어나는 지점 사이의 유클리드 거리(Euclidean distance)를 결정할 수 있다.

도 16은 본 개시의 태양에 따른, 기구의 원위 단부의 추적된 위치를 포함하는 3D 모델의 도면이다. 도 16의 예에서, 도면은 내강 네트워크(1600)의 3D 모델, 기구의 제1 추적된 추정 위치들의 세트(1605) 및 기구의 제2 추적된 추정 위치들의 세트(1610)를 포함한다. 내강 네트워크(1600)의 매핑된 부분 및 미매핑 부분은 도 16에 예시되지 않는다.

제1 추적된 추정 위치들의 세트(1605)는 제1 모달리티에 주어지는 가중치에 대한 임의의 변화 없이, 위에서 도 14와 관련하여 기술된 바와 같이 제1 모달리티에 의해 추정되는 바와 같은 기구의 원위 단부의 추정 위치를 나타낸다. 대조적으로, 제2 추적된 추정 위치들의 세트(1610)는 블록(1420)에서 수행되는 제1 모달리티에 주어지는 가중치에 대한 감소를 포함하여, 위에서 도 14와 관련하여 기술된 바와 같이 제1 모달리티에 의해 추정되는 바와 같은 기구의 원위 단부의 추정 위치를 나타낸다.

도 16의 예에서, 기구는 내강 네트워크(1600)의 매핑된 부분의 외측으로 구동되었다. 제1 모달리티는 그에 주어지는 가중치에 대한 변화 없이 사용되었기 때문에, 제1 추적된 추정 위치들의 세트(1605)는, 기구가 내강 네트워크(1600)의 매핑된 부분을 벗어난 후에도, 3D 모델 데이터 저장소(940)로부터의 수술전 3D 모델 데이터를 계속 사용하였다. 따라서, 제1 추적된 추정 위치들의 세트(1605)는 내강 네트워크(1600)의 미매핑 부분의 위치에 밀접하게 일치되지 않으며, 따라서 기구 위치의 부정확한 추정치를 제공한다. 제2 추적된 추정 위치들의 세트(1610)는, 제1 모달리티에 주어지는 가중치가 감소되며 기구가 모델의 매핑된 부분의 최종에서 두 번째 세그먼트 내에 위치될 때 경로 추적 모드에 진입하는 것을 포함할 수 있는 실시예를 예시한다. 여기서, 제2 추적된 추정 위치들의 세트(1610)는 제1 모달리티로부터 제2 모달리티로의 전환으로 인해 제1 추적된 추정 위치들의 세트(1605)보다 내강 네트워크(1600)의 실제 위치를 더 밀접하게 추적한다.

VII. 내비게이션 준비를 위한 수술전 경로 계획

환자의 신체의 관상 네트워크 내의 특정 지점으로 내비게이션하는 것은 관상 네트워크의 3D 모델을 생성하는 데 그리고 내비게이션 경로를 결정하는 데 사용되는 정보를 생성하기 위해 수술전에 소정 단계를 취하는 것을 수반할 수 있다. 도 17은 다양한 실시예에 따른, 예시적인 관상 네트워크를 통해 내비게이션하기 위한 수술 기구(예컨대, 기구 팁)의 준비를 위한 예시적인 수술전 방법을 도시한다. 특히, 도 17은 기구 팁을 관상 네트워크 내의 특정 부위로 내비게이션하기 위한 예시적인 수술전 방법(1700)을 도시한다. 방법(1700)의 각각의 단계와 함께, 대응하는 이미지가 경로를 계획하고 관상 네트워크를 통해 내비게이션하기 위한 관련 데이터의 표현을 예시하도록 도시되어 있다.

초기에, 블록(1705)에서, 관상 네트워크의 수술전 모델 데이터(예컨대, CT 스캔)에 기초하여 생성된 스캔/이미지가 획득되고, CT 스캔으로부터의 데이터는 관상 네트워크의 구조 및 연결성에 관한 3D 정보를 제공한다. 예를 들어, 블록(1705)에서의 이미지는 환자의 폐의 단층촬영 슬라이스를 보여준다.

블록(1710)에서, 3D 모델이 획득된 CT 스캔 데이터에 기초하여 생성되고, 생성된 3D 모델은 관상 네트워크의 각각의 분지부에 고유 아이덴티티(unique identity)를 할당하여, 네트워크 내에서의 편리한 내비게이션을 가능하게 하는 데 사용될 수 있다. 예를 들어, 블록(1710)에서의 이미지는 환자의 기관지 네트워크의 3D 모델을 보여준다.

블록(1715)에서, 표적(1716)이 선택되고, 이러한 표적은 예를 들어 생검할 병변, 또는 수술적으로 수복할 장기 조직의 일부분일 수 있다. 일 실시예에서, 시스템은 3D 모델을 보여줄 수 있는 컴퓨터 디스플레이와 인터페이싱함으로써, 예컨대 마우스로 클릭하거나 터치스크린을 터치함으로써 표적의 위치를 선택하는 사용자 능력을 제공한다. 선택된 표적은 이어서 사용자에게 디스플레이될 수 있다. 예를 들어, 표적(1716)은 단계(1710)로부터 생성된 3D 기관지 모델 내에 마킹된다.

블록(1720)에서, 경로(1721)가 진입 지점(1722)으로부터 표적(1716)까지 자동으로 계획되고, 경로(1721)는 표적(1716)에 도달하기 위해 그것을 통해 이동할 네트워크 내의 분지부들의 시퀀스를 식별한다. 일 실시예에서, 관상 네트워크는 나무와 유사할 수 있고, 경로(1721)는 관상 네트워크의 구조에 의해 고유하게 결정될 수 있는 한편, 다른 실시예에서, 관상 네트워크는 환형(cyclic)일 수 있고, 경로는 최단-경로 알고리즘과 같은 적절한 알고리즘에 의해 발견될 수 있다.

일단 경로(1721)가 결정되었으면, 가상 내시경술(1725)이 사용자에게 내시경 절차의 미리보기를 제공하도록 수행될 수 있다. 단계(1710)로부터 생성된 3D 모델은 3D 모델에 대응하는 네트워크를 내비게이션하는 동안 내시경 팁에 의해 보여지는 것처럼 2D 이미지들의 시퀀스를 생성하는 데 사용된다. 경로(1721)는 진입 지점(1722)으로부터 표적(1716)에 도달하기 위해 따를 수 있는 곡선으로서 보여질 수 있다.

일단 가상 내시경 팁이 표적(1716)에 도달하였으면, 가상 도구 정렬 절차(1730)가 표적에서 수술 절차를 수행하기 위해 내시경 도구를 조작하는 방법을 사용자에게 예시하기 위해 수행될 수 있다. 예를 들어, 예시에서, 가상 내시경 생검 바늘(1731)이 기관지의 표면 아래에 위치된 병변(1732)을 생검하기 위해 사용자에 의해 조작된다. 병변 위치는 사용자가 바늘을 그것에 정렬시키고 이어서 바늘을 사용하여 기관지의 표면을 천공하여 아래의 병변에 접근할 수 있도록 강조된다. 이는 실제 수술 절차 동안 취해질 단계를 모사하여, 사용자가 수술을 수행하기 전에 연습하도록 허용한다.

VIII. 구현 시스템 및 용어

본 명세서에 개시된 구현예는 관상 네트워크의 경로-기반 내비게이션을 위한 시스템, 방법 및 장치를 제공한다.

본 명세서에 사용되는 바와 같은 용어 "결합하다", "결합하는", "결합된" 또는 단어 결합하다의 다른 변형은 간접적인 연결 또는 직접적인 연결을 나타낼 수 있다는 것에 유의하여야 한다. 예를 들어, 제1 구성요소가 제2 구성요소에 "결합된" 경우, 제1 구성요소는 다른 구성요소를 통해 제2 구성요소에 간접적으로 연결되거나 제2 구성요소에 직접적으로 연결될 수 있다.

본 명세서에 기술된 경로-기반 내비게이션 기능은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령어로서 저장될 수 있다. 용어 "컴퓨터-판독가능 매체"는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예로서, 그러한 매체는 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 전기적 소거가능 프로그램가능 판독-전용 메모리(EEPROM), 플래시 메모리, 콤팩트 디스크 판독-전용 메모리(CD-ROM)를 포함할 수 있고 또는 다른 광학 디스크 저장장치는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터-판독가능 매체는 유형적이고 비-일시적일 수 있음에 유의하여야 한다. 본 명세서에 사용되는 바와 같이, 용어 "코드"는 컴퓨팅 장치 또는 프로세서에 의해 실행가능한 소프트웨어, 명령어, 코드 또는 데이터를 지칭할 수 있다.

본 명세서에 개시된 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법 단계 및/또는 동작은 청구범위의 범주로부터 벗어남이 없이 서로 교환될 수 있다. 다시 말하면, 기술되는 방법의 적절한 작동을 위해 특정 순서의 단계 또는 동작이 요구되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용은 청구범위의 범주로부터 벗어남이 없이 수정될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "복수"는 2개 이상을 나타낸다. 예를 들어, 복수의 구성요소는 2개 이상의 구성요소를 나타낸다. 용어 "결정하는"은 매우 다양한 동작을 포함하며, 따라서 "결정하는"은 계산, 컴퓨팅, 처리, 도출, 조사, 검색(예컨대, 테이블, 데이터베이스 또는 다른 데이터 구조에서의 검색), 확인 등을 포함할 수 있다. 또한, "결정하는"은 수신(예컨대, 정보를 수신함), 액세스(예컨대, 메모리의 데이터에 액세스함) 등을 포함할 수 있다. 또한, "결정하는"은 해석, 선택, 선정, 설정 등을 포함할 수 있다.

어구 "~에 기초한"은, 달리 명백히 명시되지 않는 한, "단지 ~에 기초한"을 의미하지는 않는다. 다시 말하면, 어구 "~에 기초한"은 "단지 ~에 기초한" 및 "적어도 ~에 기초한" 둘 모두를 기술한다.

개시된 구현예의 이전의 설명은 당업자가 본 발명을 제조하거나 사용하는 것을 가능하게 하도록 제공된다. 이들 구현예에 대한 다양한 수정은 당업자에게 용이하게 명백해질 것이고, 본 명세서에서 정의된 일반적인 원리는 본 발명의 범주로부터 벗어남이 없이 다른 구현예에 적용될 수 있다. 예를 들어, 당업자가 다수의 대응하는 대안적인 그리고 동등한 구조적 상세사항, 예컨대 도구 구성요소를 체결, 장착, 결합, 또는 맞물리게 하는 동등한 방식, 특정 작동 운동을 생성하기 위한 동등한 메커니즘, 및 전기 에너지를 전달하기 위한 동등한 메커니즘을 채용할 수 있을 것임이 인식될 것이다. 따라서, 본 발명은 본 명세서에 도시된 구현예로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범주에 따른다.

Claims

의료 로봇 시스템(medical robotic system)으로서,
하나 이상의 프로세서들의 세트; 및
상기 프로세서들의 세트와 통신하고, 환자의 내강 네트워크(luminal network)의 모델, 상기 모델에 대한 표적의 위치, 및 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하고, 상기 메모리는 상기 프로세서들의 세트로 하여금,
위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 상기 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하고,
상기 위치 데이터에 기초하여 제1 시간에서의 상기 기구의 상기 위치의 제1 추정치(estimate)를 결정하고,
상기 경로에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치의 제2 추정치를 결정하고,
상기 제1 추정치 및 상기 제2 추정치에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제1항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 제2 추정치와 연관된 가중치(weight)를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
상기 기구의 상기 위치를 결정하는 것은 상기 가중치에 추가로 기초하는, 의료 로봇 시스템.
제2항에 있어서,
상기 모델은 복수의 세그먼트(segment)들을 포함하고, 각각의 세그먼트는 상기 대응하는 세그먼트와 상기 접근 지점 사이에 위치되는 상기 내강 네트워크 내의 다수의 분지부(branch)들에 기초하여 결정되는 세대 수(generation count)와 연관되고,
상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하고,
상기 제1 세그먼트의 상기 세대 수에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제3항에 있어서, 상기 제2 추정치에 대한 상기 가중치는 상기 세대 수가 증가함에 따라 값이 감소하는, 의료 로봇 시스템.
제3항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 제1 세그먼트의 상기 세대 수가 임계 세대 수 초과인지를 결정하고,
상기 제1 세그먼트의 상기 세대 수가 상기 임계 세대 수 초과인 것으로 결정한 것에 응답하여 상기 가중치를 0으로 설정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제2항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 기구의 상기 위치와 상기 접근 지점 사이의 거리를 결정하고,
상기 거리에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제2항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하고,
상기 제1 세그먼트의 직경을 결정하고,
상기 제1 세그먼트의 상기 직경에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제1항에 있어서,
상기 위치 센서들의 세트는,
상기 기구의 원위 단부에 위치되고 이미지 데이터를 생성하도록 구성되는 카메라, 및
상기 기구의 상기 원위 단부에 위치되고 전자기(electromagnetic, EM) 데이터를 생성하도록 구성되는 하나 이상의 EM 센서들의 세트를 포함하고,
상기 메모리는 상기 프로세서들의 세트로 하여금, 상기 로봇 명령 입력들에 기초하여 상기 기구의 상기 위치를 나타내는 로봇 데이터를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
상기 기구의 상기 위치의 상기 제1 추정치를 결정하는 것은 상기 이미지 데이터 및 상기 EM 데이터에 추가로 기초하는, 의료 로봇 시스템.
명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금,
위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하고;
상기 위치 데이터에 기초하여 제1 시간에서의 상기 기구의 상기 위치의 제1 추정치를 결정하고;
적어도 하나의 컴퓨터-판독가능 메모리에 저장된 경로에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치의 제2 추정치를 결정하는 것으로서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는 상기 내강 네트워크의 모델, 상기 모델에 대한 표적의 위치, 및 상기 경로를 추가로 저장하고, 상기 경로는 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따라 한정되는, 상기 제1 시간에서의 상기 기구의 상기 위치의 제2 추정치를 결정하고,
상기 제1 추정치 및 상기 제2 추정치에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치를 결정하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제9항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 제2 추정치와 연관된 가중치를 결정하게 하는 명령어들을 추가로 저장하고,
상기 기구의 상기 위치를 결정하는 것은 상기 가중치에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제10항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고, 각각의 세그먼트는 상기 대응하는 세그먼트와 상기 접근 지점 사이에 위치되는 상기 내강 네트워크 내의 다수의 분지부들에 기초하여 결정되는 세대 수와 연관되고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하고;
상기 제1 세그먼트의 상기 세대 수에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 상기 제2 추정치에 대한 상기 가중치는 상기 세대 수가 증가함에 따라 값이 감소하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 제1 세그먼트의 상기 세대 수가 임계 세대 수 초과인지를 결정하고,
상기 제1 세그먼트의 상기 세대 수가 상기 임계 세대 수 초과인 것으로 결정한 것에 응답하여 상기 가중치를 0으로 설정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제10항에 있어서, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 기구의 상기 위치와 상기 접근 지점 사이의 거리를 결정하고,
상기 거리에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제10항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하고,
상기 제1 세그먼트의 직경을 결정하고,
상기 제1 세그먼트의 상기 직경에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제9항에 있어서,
상기 위치 센서들의 세트는,
상기 기구의 원위 단부에 위치되고 이미지 데이터를 생성하도록 구성되는 카메라, 및
상기 기구의 상기 원위 단부에 위치되고 전자기(EM) 데이터를 생성하도록 구성되는 하나 이상의 EM 센서들의 세트를 포함하고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금, 상기 로봇 명령 입력들에 기초하여 상기 기구의 상기 위치를 나타내는 로봇 데이터를 결정하게 하는 명령어들을 추가로 저장하고,
상기 기구의 상기 위치의 상기 제1 추정치를 결정하는 것은 상기 이미지 데이터 및 상기 EM 데이터에 추가로 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
기구의 위치를 추정하는 방법으로서,
위치 센서들의 세트 및 로봇 명령 입력들의 세트 중 적어도 하나로부터, 환자의 내강 네트워크를 통해 구동되도록 구성되는 기구의 위치를 나타내는 위치 데이터를 수신하는 단계;
상기 위치 데이터에 기초하여 제1 시간에서의 상기 기구의 상기 위치의 제1 추정치를 결정하는 단계;
적어도 하나의 컴퓨터-판독가능 메모리에 저장된 경로에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치의 제2 추정치를 결정하는 단계로서, 적어도 하나의 컴퓨터-판독가능 메모리는 상기 내강 네트워크의 모델, 상기 모델에 대한 표적의 위치, 및 상기 경로를 저장하고, 상기 경로는 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따라 한정되는, 상기 제1 시간에서의 상기 기구의 상기 위치의 제2 추정치를 결정하는 단계, 및
상기 제1 추정치 및 상기 제2 추정치에 기초하여 상기 제1 시간에서의 상기 기구의 상기 위치를 결정하는 단계를 포함하는, 방법.
제17항에 있어서, 상기 방법은,
상기 제2 추정치와 연관된 가중치를 결정하는 단계를 추가로 포함하고,
상기 기구의 상기 위치를 결정하는 단계는 상기 가중치에 추가로 기초하는, 방법.
제18항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고, 각각의 세그먼트는 상기 대응하는 세그먼트와 상기 접근 지점 사이에 위치되는 상기 내강 네트워크 내의 다수의 분지부들에 기초하여 결정되는 세대 수와 연관되고,
상기 방법은,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하는 단계; 및
상기 제1 세그먼트의 상기 세대 수에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하는 단계를 추가로 포함하는, 방법.
제19항에 있어서, 상기 제2 추정치에 대한 상기 가중치는 상기 세대 수가 증가함에 따라 값이 감소하는, 방법.
제19항에 있어서,
상기 제1 세그먼트의 상기 세대 수가 임계 세대 수 초과인지를 결정하는 단계, 및
상기 제1 세그먼트의 상기 세대 수가 상기 임계 세대 수 초과인 것으로 결정한 단계에 응답하여 상기 가중치를 0으로 설정하는 단계를 추가로 포함하는, 방법.
제18항에 있어서,
상기 기구의 상기 위치와 상기 접근 지점 사이의 거리를 결정하는 단계, 및
상기 거리에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하는 단계를 추가로 포함하는, 방법.
제18항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 방법은,
상기 기구가 위치되는 상기 세그먼트들 중 제1 세그먼트를 식별하는 단계;
상기 제1 세그먼트의 직경을 결정하는 단계; 및
상기 제1 세그먼트의 상기 직경에 기초하여 상기 제2 추정치에 대한 상기 가중치를 결정하는 단계를 추가로 포함하는, 방법.
제17항에 있어서,
상기 위치 센서들의 세트는,
상기 기구의 원위 단부에 위치되고 이미지 데이터를 생성하도록 구성되는 카메라, 및
상기 기구의 상기 원위 단부에 위치되고 전자기(EM) 데이터를 생성하도록 구성되는 하나 이상의 EM 센서들의 세트를 포함하고,
상기 방법은 상기 로봇 명령 입력들에 기초하여 상기 기구의 상기 위치를 나타내는 로봇 데이터를 결정하는 단계를 추가로 포함하고,
상기 기구의 상기 위치의 상기 제1 추정치를 결정하는 단계는 상기 이미지 데이터 및 상기 EM 데이터에 추가로 기초하는, 방법.
의료 로봇 시스템으로서,
하나 이상의 프로세서들의 세트; 및
상기 프로세서들의 세트와 통신하고, 환자의 내강 네트워크의 매핑된 부분(mapped portion)의 모델, 상기 모델에 대한 표적의 위치, 및 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따른 경로를 저장한 적어도 하나의 컴퓨터-판독가능 메모리를 포함하고, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하고,
적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 상기 모델의 상기 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티(modality)를 통해, 상기 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하고,
상기 현재 위치에 기초하여, 상기 경로가 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는 지점의 임계 범위 내에 상기 기구의 원위 단부가 있는지를 결정하고,
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 상기 제1 모달리티에 주어지는 가중치의 감소에 기초하여 상기 기구의 상기 현재 위치를 업데이트하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제25항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것을 포함하고,
상기 메모리는 상기 프로세서들의 세트로 하여금, 상기 기구가, 상기 제1 세그먼트에 인접하고 상기 경로를 따라 위치되는 제2 세그먼트 내에 위치되는지를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구가 상기 제2 세그먼트 내에 위치된 것으로 결정한 것에 추가로 응답하는, 의료 로봇 시스템.
제26항에 있어서,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 기구가 상기 제2 세그먼트로부터 임계 거리 내에 있는지를 결정하는 것을 추가로 포함하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구가 상기 제2 세그먼트로부터 상기 임계 거리 내에 있는 것으로 결정한 것에 추가로 응답하는, 의료 로봇 시스템.
제26항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 현재 위치에 기초하여, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하고,
상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀한 것으로 결정한 것에 응답하여, 상기 제1 모달리티에 주어지는 상기 가중치의 증가에 기초하여 상기 기구의 상기 현재 위치를 업데이트하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제28항에 있어서, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하는 것은,
상기 기구의 상기 현재 위치를 업데이트하는 것이 먼저 상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하였던 상기 기구의 제1 위치를 결정하는 것, 및
상기 기구가 상기 제1 위치로 후퇴되는지를 결정하는 것을 포함하는, 의료 로봇 시스템.
제25항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것을 포함하고,
상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 내강 네트워크의 상기 제1 세그먼트와 하나 이상의 미매핑 세그먼트(unmapped segment)들 사이의 하나 이상의 미매핑 교점(unmapped intersection)들의 위치를 식별하고,
상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 한정된 거리 내에 있는지를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 상기 한정된 거리 내에 있는 것으로 결정한 것에 추가로 응답하는, 의료 로봇 시스템.
제25항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 기구의 상기 현재 위치가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 경로 추적 모드(path tracing mode)에 진입하고,
상기 경로 추적 모드에 있을 때, 사용자 디스플레이 상에, 상기 모델에 대한 상기 기구의 이전 위치들을 나타내는 시각적 표지(visual indicia)를 디스플레이하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제31항에 있어서, 상기 시각적 표지는 상기 내강 네트워크 내에서의 상기 기구의 이력 위치(historical position)들을 나타내는, 의료 로봇 시스템.
제31항에 있어서,
상기 제1 모달리티는 상기 경로 추적 모드에 있지 않을 때 이미지 데이터, 전자기(EM) 데이터, 및 로봇 데이터에 기초하여 상기 기구의 상기 위치를 도출하는, 의료 로봇 시스템.
제33항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 경로 추적 모드에 있을 때 상기 이미지 데이터, 상기 EM 데이터, 및 상기 로봇 데이터 중 적어도 하나를 참조함이 없이 상기 기구의 상기 위치를 결정하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
제25항에 있어서, 상기 메모리는 상기 프로세서들의 세트로 하여금,
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 적어도, 상기 위치 데이터에 기초하여 그리고 상기 모델의 상기 매핑된 부분과는 관계없이 상기 위치를 도출하는 제2 모달리티를 통해, 상기 기구의 상기 현재 위치를 업데이트하게 하기 위한 컴퓨터-실행가능 명령어들을 추가로 저장한, 의료 로봇 시스템.
명령어들을 저장한 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 실행될 때, 적어도 하나의 컴퓨팅 장치로 하여금,
경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 것으로서, 적어도 하나의 컴퓨터-판독가능 메모리가 상기 내강 네트워크의 상기 매핑된 부분의 모델, 상기 모델에 대한 상기 표적의 위치, 및 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따른 상기 경로를 저장한, 상기 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하고;
적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 상기 모델의 상기 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티를 통해, 상기 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하고;
상기 현재 위치에 기초하여, 상기 경로가 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는 지점의 임계 범위 내에 상기 기구의 원위 단부가 있는지를 결정하고;
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 상기 제1 모달리티에 주어지는 가중치의 감소에 기초하여 상기 기구의 상기 현재 위치를 업데이트하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것을 포함하고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금, 상기 기구가, 상기 제1 세그먼트에 인접하고 상기 경로를 따라 위치되는 제2 세그먼트 내에 위치되는지를 결정하게 하는 명령어들을 추가로 저장하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구가 상기 제2 세그먼트 내에 위치된 것으로 결정한 것에 추가로 응답하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제37항에 있어서,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 기구가 상기 제2 세그먼트로부터 임계 거리 내에 있는지를 결정하는 것을 추가로 포함하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구가 상기 제2 세그먼트로부터 상기 임계 거리 내에 있는 것으로 결정한 것에 추가로 응답하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제37항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 현재 위치에 기초하여, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하고,
상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀한 것으로 결정한 것에 응답하여, 상기 제1 모달리티에 주어지는 상기 가중치의 증가에 기초하여 상기 기구의 상기 현재 위치를 업데이트하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제39항에 있어서, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하는 것은,
상기 기구의 상기 현재 위치를 업데이트하는 것이 먼저 상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하였던 상기 기구의 제1 위치를 결정하는 것, 및
상기 기구가 상기 제1 위치로 후퇴되는지를 결정하는 것을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제36항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것은 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 것을 포함하고,
상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 내강 네트워크의 상기 제1 세그먼트와 하나 이상의 미매핑 세그먼트들 사이의 하나 이상의 미매핑 교점들의 위치를 식별하고;
상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 한정된 거리 내에 있는지를 결정하게 하는 명령어들을 추가로 저장하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 것은 상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 상기 한정된 거리 내에 있는 것으로 결정한 것에 추가로 응답하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제36항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 기구의 상기 현재 위치가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 경로 추적 모드에 진입하고,
상기 경로 추적 모드에 있을 때, 사용자 디스플레이 상에, 상기 모델에 대한 상기 기구의 이전 위치들을 나타내는 시각적 표지를 디스플레이하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제42항에 있어서, 상기 시각적 표지는 상기 내강 네트워크 내에서의 상기 기구의 이력 위치들을 나타내는, 비-일시적 컴퓨터 판독가능 저장 매체.
제42항에 있어서,
상기 제1 모달리티는 상기 경로 추적 모드에 있지 않을 때 이미지 데이터, 전자기(EM) 데이터, 및 로봇 데이터에 기초하여 상기 기구의 상기 위치를 도출하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제44항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 경로 추적 모드에 있을 때 상기 이미지 데이터, 상기 EM 데이터, 및 상기 로봇 데이터 중 적어도 하나를 참조함이 없이 상기 기구의 상기 위치를 결정하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
제36항에 있어서, 상기 비-일시적 컴퓨터 판독가능 저장 매체는, 실행될 때, 상기 적어도 하나의 컴퓨팅 장치로 하여금,
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 것에 응답하여, 적어도, 상기 위치 데이터에 기초하여 그리고 상기 모델의 상기 매핑된 부분과는 관계없이 상기 위치를 도출하는 제2 모달리티를 통해, 상기 기구의 상기 현재 위치를 업데이트하게 하는 명령어들을 추가로 저장한, 비-일시적 컴퓨터 판독가능 저장 매체.
기구의 위치를 결정하는 방법으로서,
경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 단계로서, 적어도 하나의 컴퓨터-판독가능 메모리가 상기 내강 네트워크의 상기 매핑된 부분의 모델, 상기 모델에 대한 상기 표적의 위치, 및 접근 지점으로부터 상기 표적까지의 상기 모델의 적어도 일부분을 따른 상기 경로를 저장한, 상기 경로가 표적에 도달하기 전에 환자의 내강 네트워크의 매핑된 부분을 벗어나는지를 결정하는 단계;
적어도, 하나 이상의 위치 센서들의 세트로부터 수신되는 위치 데이터 및 상기 모델의 상기 매핑된 부분에 기초하여 위치를 도출하는 제1 모달리티를 통해, 상기 내강 네트워크를 통해 구동되도록 구성되는 기구의 현재 위치를 디스플레이하는 단계;
상기 현재 위치에 기초하여, 상기 경로가 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는 지점의 임계 범위 내에 상기 기구의 원위 단부가 있는지를 결정하는 단계; 및
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 단계에 응답하여, 상기 제1 모달리티에 주어지는 가중치의 감소에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 단계를 포함하는, 방법.
제47항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 단계는 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 단계를 포함하고,
상기 방법은 상기 기구가, 상기 제1 세그먼트에 인접하고 상기 경로를 따라 위치되는 제2 세그먼트 내에 위치되는지를 결정하는 단계를 추가로 포함하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 단계는 상기 기구가 상기 제2 세그먼트 내에 위치된 것으로 결정한 단계에 추가로 응답하는, 방법.
제48항에 있어서,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 단계는 상기 기구가 상기 제2 세그먼트로부터 임계 거리 내에 있는지를 결정하는 단계를 추가로 포함하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 단계는 상기 기구가 상기 제2 세그먼트로부터 상기 임계 거리 내에 있는 것으로 결정한 단계에 추가로 응답하는, 방법.
제48항에 있어서,
상기 현재 위치에 기초하여, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하는 단계, 및
상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀한 것으로 결정한 단계에 응답하여, 상기 제1 모달리티에 주어지는 상기 가중치의 증가에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 단계를 추가로 포함하는, 방법.
제50항에 있어서, 상기 기구의 상기 원위 단부가 상기 내강 네트워크의 상기 매핑된 부분의 외측으로부터 상기 내강 네트워크의 상기 매핑된 부분으로 복귀하였는지를 결정하는 단계는,
상기 기구의 상기 현재 위치를 업데이트하는 단계가 먼저 상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하였던 상기 기구의 제1 위치를 결정하는 단계, 및
상기 기구가 상기 제1 위치로 후퇴되는지를 결정하는 단계를 포함하는, 방법.
제47항에 있어서,
상기 모델은 복수의 세그먼트들을 포함하고,
상기 경로가 상기 표적에 도달하기 전에 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 단계는 상기 경로가 상기 모델의 제1 세그먼트로부터 상기 내강 네트워크의 상기 매핑된 부분을 벗어나는지를 결정하는 단계를 포함하고,
상기 방법은,
상기 내강 네트워크의 상기 제1 세그먼트와 하나 이상의 미매핑 세그먼트들 사이의 하나 이상의 미매핑 교점들의 위치를 식별하는 단계; 및
상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 한정된 거리 내에 있는지를 결정하는 단계를 추가로 포함하고,
상기 제1 모달리티에 주어지는 상기 감소된 가중치에 기초하여 상기 기구의 상기 현재 위치를 업데이트하는 단계는 상기 기구의 상기 현재 위치가 상기 하나 이상의 미매핑 교점들의 상기 위치로부터 상기 한정된 거리 내에 있는 것으로 결정한 단계에 추가로 응답하는, 방법.
제47항에 있어서,
상기 기구의 상기 현재 위치가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 단계에 응답하여, 경로 추적 모드에 진입하는 단계, 및
상기 경로 추적 모드에 있을 때, 사용자 디스플레이 상에, 상기 모델에 대한 상기 기구의 이전 위치들을 나타내는 시각적 표지를 디스플레이하는 단계를 추가로 포함하는, 방법.
제53항에 있어서, 상기 시각적 표지는 상기 내강 네트워크 내에서의 상기 기구의 이력 위치들을 나타내는, 방법.
제53항에 있어서,
상기 제1 모달리티는 상기 경로 추적 모드에 있지 않을 때 이미지 데이터, 전자기(EM) 데이터, 및 로봇 데이터에 기초하여 상기 기구의 상기 위치를 도출하는, 방법.
제55항에 있어서,
상기 경로 추적 모드에 있을 때 상기 이미지 데이터, 상기 EM 데이터, 및 상기 로봇 데이터 중 적어도 하나를 참조함이 없이 상기 기구의 상기 위치를 결정하는 단계를 추가로 포함하는, 방법.
제47항에 있어서,
상기 기구의 상기 원위 단부가 상기 지점의 상기 임계 범위 내에 있는 것으로 결정한 단계에 응답하여, 적어도, 상기 위치 데이터에 기초하여 그리고 상기 모델의 상기 매핑된 부분과는 관계없이 상기 위치를 도출하는 제2 모달리티를 통해, 상기 기구의 상기 현재 위치를 업데이트하는 단계를 추가로 포함하는, 방법.