KR20190134968A

KR20190134968A - 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템

Info

Publication number: KR20190134968A
Application number: KR1020187028219A
Authority: KR
Inventors: 리트윅 움말라네니; 헤디에 라피-타리; 천시 에프. 그레첼
Original assignee: 아우리스 헬스, 인코포레이티드
Priority date: 2017-03-31
Filing date: 2018-03-29
Publication date: 2019-12-05
Also published as: US20230057983A1; CN108990412B; EP3600031A1; JP7282685B2; CN108990412A; US20180279852A1; JP2020512102A; EP3600031A4; AU2018243364A1; KR102558061B1; WO2018183727A1; US11490782B2; AU2018243364B2

Abstract

특정 측면들은 관강내 조직망 항행을 위한 시스템 및 기술에 관한 것이다. 일부 측면들은 호흡의 빈도 및/또는 크기를 항행 시스템과 결합해 환자 안전 조치를 구현하는 것에 관한 것이다. 일부 측면들은 관강내 조직망 안에서 기구의 더 정확한 위치를 식별하기 위해서 환자 호흡으로 인한 동작을 식별하고 보상하는 것에 관한 것이다.

Description

생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템

관련 출원(들)과의 상호 참조

본 출원은 2017년 3월 31일에 “생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템(ROBOTIC SYSTEMS FOR NAVIGATION OF LUMINAL NETWORKS THAT COMPENSATE FOR PHYSIOLOGICAL NOISE,)"이라는 제목으로 출원된 미국 특허 가출원 제 62/480,257호에 대한 이익을 주장하며, 상기 가출원의 전문이 참조로써 본 명세서에 병합된다.

본 명세서에서 개시된 시스템들과 방법들은 내강 시술, 보다 상세하게는, 내강 항행을 목적으로 한다.

기관지 내시경 검사는 의사가 환자의 기관지 및 모세 기관지와 같은 폐 기도 내부 상태를 검사하는 의료 시술이다. 의료 시술 중, 기관지경이라고 알려진 가느다란 연성 관형 도구가 환자의 입을 통해 환자의 목구멍을 따라 폐 기도 안으로 내려가 이후 진단 및 치료를 위해 식별된 조직 부위를 향해 삽입될 수 있다. 기관지경은 조직 부위까지 경로를 제공하는 내부 내강 ("작업 채널")과 카테터(catheter)를 포함할 수 있으며 다양한 의료 도구가 상기 작업 채널을 통해 조직 부위로 삽입될 수 있다.

호흡기내과 의사가 환자의 호흡 주기를 토대로 결정과 행위를 한다면 수술 중 외상(intra-operative trauma)을 방지할 수 있다. 이러한 행위의 일 예로, 조직 샘플 채취를 하기 위해서 생검 도구를 예를 들어, 기관지 내시경을 통해 삽입하는 것이다. 폐 말초 또는 근접 부위에 기도는 좁을 수 있으며 기도의 둘레는 폐의 호흡 단계에 따라 바뀐다. 기도의 지름은 호흡 주기의 흡기(inspiration) 단계에서 환자가 숨을 들이마실 때 확장되고 상기 주기의 호기(expiration) 단계에서 환자가 숨을 내쉴 때 수축한다. 시술 중에 호흡기내과 의사는 환자를 관찰함으로써 환자가 흡기 단계에 있는지 또는 호기 단계에 있는지 판단하여 특정 도구 또는 고정된 지름의 내시경이 기도로 진입할 수 있을지를 판단할 수 있다. 기도는 호기 동안 외상을 초래하지 않고 도구 주위를 에워쌀 수 있지만, 호기 단계 동안 수축한 기도 안으로 도구를 강제로 밀어 넣으면 혈관에 구멍을 내는 것과 같은 심각한 외상을 입힐 수 있다.

상술된 문제는 다른 문제들과 함께, 본 명세서에서 설명되는 관강내 조직망 항행 시스템 및 기술을 통해 일부 실시예에서 다뤄진다. 개시된 관강내 조직망 항행 시스템 및 기술의 일부 실시예는 호흡의 빈도 및/또는 크기를 항행 프레임워크와 결합해 (장치 제어 기술, 사용자 인터페이스 경고, 알림 등과 같은) 환자 안전 조치를 구현하는 것에 관한 것이다. 장치 제어 기술의 예로, 본 명세서에 설명되는 로봇 시스템은 호흡 동조(respiratory gating)를 자동으로 시행해서 사용자(의사)가 환자의 기도에 의도치 않은 외상을 입히는 것을 방지한다. 본 명세서에서 사용될 때, "호흡 동조"는 환자의 기도 안에 위치한 장치의 작동과 환자의 호흡간의 동기화를 지칭할 수 있다. 일부 예에서, 상기 장치 제어 기술은 환자의 기도에서 호기 시 장치의 삽입으로 인한 외상이 초래될 가능성이 높은 부위("주의 범위"), 예를 들어, 숨을 들이마시는 동안 기도 지름이 장치 지름에 가까워질 수 있는 폐 말초 근접부의 다소 좁은 기도 부위를 식별하는 것을 포함한다. 상기 로봇 시스템은 장치가 식별 부위 중 한 곳의 내부에 위치한 것으로 판단 되면 장치를 제어하기 위해서 호흡 동조를 시행할 수 있다. 사용자 인터페이스 경고의 예로, 상기 로봇 시스템은 기관지 내시경 시술 중에 흡기, 호기 및/또는 식별된 위험 부위 안에 장치가 위치하는 것을 나타내는 영상 및/또는 음성 표시자(indicator)를 제공할 수 있다. 사용자는 사용자 인터페이스 경고를 토대로 장치 제어를 할 수 있는데, 예를 들어, 수동적으로 호흡 동조를 시행하거나 또는 로봇 시스템을 제어해서 호흡 동조를 시행할 수 있다.

개시된 기관지 내시경 항행 시스템 및 기술의 일부 실시예는 환자의 기도 안에서 기구의 더 정확한 위치를 식별하기 위해 환자 호흡으로 인한 동작을 식별하고 보상하는 것에 관한 것이다. 예를 들어, 환자의 기도 안에 위치하는 기구에 전자기(EM 센서)가 제공될 수 있다. 상기 항행 시스템은 상기 EM 센서로부터 수신한 기구 위치 정보를 필터링하여 호흡으로 인한 호흡 기도의 주기적인 동작 때문에 발생하는 신호 노이즈를 제거한다. 주기적인 호흡 동작의 빈도는 한 개 이상의 추가 센서로부터 수신한 데이터를 통해 취득 될 수 있다. 일부 구현에서, 흡기 및 호기의 주기는 일 예로, 환자 신체에 위치한 추가적인 EM 센서(들), 가속도계(들) 및/또는 음향 호흡 센서(들)로부터 얻은 데이터를 기초로 결정될 수 있다. 일부 구현에서, 상기 빈도는, 예를 들어, 환자의 호흡 조절을 위해 사용되는 인공호흡기로부터 호흡 주기 정보를 취득 하거나 환자를 관찰하기 위한 광학 센서로부터 수신한 화상을 자동 분석해서 호흡 주기 정보를 척출하는 것과 같이 다른 종류의 센서 또는 시스템을 통해 취득 될 수 있다.

따라서, 한 측면은 환자의 관강내 조직망 항행을 위해 구성된 시스템에 관한 것이며, 상기 시스템은 전자기(EM)장을 발생시키는 전자기장 발생기; 조향가능한 기구의 원위 단부에 위치한 한 개 이상의 EM 센서 세트, 실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및 상기 적어도 한 개의 컴퓨터 판독가능 메모리와 통신하고 상기 명령어를 실행해서 상기 시스템이 적어도 관강내 조직망을 표현하는 수술 전 모델을 접근하고; 상기 전자기장의 좌표 프레임과 상기 수술 전 모델의 좌표 프레임간의 매핑에 접근하고; 상기 EM 센서 세트로부터의 데이터 신호를 기초로 상기 전자기장 안에서 상기 EM 센서 세트의 적어도 하나의 위치를 산출하고; 상기 호흡 센서 세트로부터의 데이터 신호를 기초로 환자 호흡의 빈도를 산출하고; 상기 정합 매핑, 호흡의 빈도 및 전자기장 내 EM 센서 세트의 적어도 한 개의 위치를 기초로 상기 수술 전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 하는 한 개 이상의 프로세서를 포함한다.

일부 구현에서 EM 센서 세트의 각각의 EM 센서는 상기 EM 센서와 상기 장 발생기 사이의 거리와 각도를 나타내는 신호를 생성하도록 구성되며, 상기 전기 신호는 전자기장 내 EM 센서의 위치와 방향 중 하나 또는 둘 다 결정하는데 사용가능 하다.

일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 호흡 센서 세트의 한 개 이상의 데이터 신호를 상기 한 개 이상의 데이터 신호를 표현하는 주파수 영역으로(frequency domain) 변환하고; 및 상기 한 개 이상의 데이터 신호를 표현하는 주파수 영역으로부터 호흡 빈도를 식별하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 상기 EM 센서 세트의 한 개 이상의 데이터 신호에 필터를 적용하도록 구성되고, 상기 필터는 상기 한 개 이상의 데이터 신호의 일부를 상기 식별된 빈도에 맞춰 감쇠하고; 및 필터링된 상기 EM 센서 세트의 한 개 이상의 데이터 신호에 기초하여 상기 수술 전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된다.

일부 구현에서, 상기 한 개 이상의 프로세서는 상기 명령어를 실행하여 상기 시스템이 적어도 환자의 호흡의 흡기와 호기 단계 사이에 상기 호흡 센서 세트의 적어도 한 개의 변위 크기(magnitude of displacement) 를 산출하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 적어도 상기 호흡 센서 세트에 대한 상기 EM 센서 세트의 적어도 한 개의 위치를 결정하고; 상기 흡기와 호기 단계 사이에 상기 EM 센서 세트의 적어도 한 개의 위치 변위(positional displacement)를 (i) 상기 호흡 센서 세트에 대한 상기 EM 센서 세트의 적어도 한 개의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 상기 호흡 센서 세트의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및 상기 흡기와 호기 단계 사이에 상기 EM 센서 세트의 산출된 적어도 한 개의 위치 변위에 기초하여 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된다. 일부 구현에서, 상기 호흡 센서 세트는 사용시 신체 표면의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 신체 표면의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 흡기와 호기 단계 사이에 제1 추가 EM 센서의 제1 변위 크기가 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 제2 위치는 제1 위치로부터 떨어져 있다. 일부 구현에서, 한 개 이상의 상기 프로세서는 명령어를 실행하여 시스템이 적어도 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서 세트의 상대 측위(relative positioning)를 결정하고; 및 EM 센서 세트의 결정된 상대 측위 값을 기초하여 제1 및 제2 변위 크기 사이를 보간하며, 흡기와 호기 단계 사이의 EM 센서 세트의 위치 변위 산출은 상기 보간된 크기에 기초한다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 적어도 수술 전 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 산출된 변위 크기에 기초하여 추정하고; 추정된 움직임 벡터에 기초하여 전자기장의 좌표 프레임 안에서 수술전 모델을 이동시키고; 및 이동된 수술전 모델에 기초하여 조향가능한 기구의 원위 단부의 위치를 결정한다. 일부 구현에서, 상기 전자기장의 좌표 프레임 안에서 수술전 모델을 이동시키기 위해, 상기 한 개 이상의 프로세서는 상기 명령어를 실행하여 상기 시스템이 상기 제1 변위 크기에 기초하여 최소한 상기 모델의 제1 부분을 제1 새 좌표로 이동시키며; 및 상기 제2 변위 크기에 기초하여 모델의 제2 부분을 제2 새 좌표로 이동시키도록 구성된다.

일부 구현은 조향가능한 기구의 움직임을 일으키는 기구 드라이버가 구성된 로봇 시스템을 더 포함한다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 적어도 수술 전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 기초로 조향가능한 기구의 다음 움직임을 식별하고; 및 다음 움직임을 일으키도록 기구 드라이버의 작동을 지시하도록 한다. 일부 구현에서 디스플레이를 더 포함하고, 상기 한 개 이상의 프로세서가 명령어를 실행하여 시스템이 적어도 수술 전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 나타내는 그래픽을 생성하며; 및 생성된 그래픽 표현을 디스플레이에 렌더링(render)한다. 일부 구현에서, 상기 로봇 시스템은 입력장치의 사용자 조작을 토대로 상기 조향가능한 기구의 움직임을 제어하는 입력 장치를 포함한다.

일부 구현에서, 상기 수술전 모델은 상기 환자의 관강내 조직망의 3 차원 컴퓨터 단층 모델을 포함한다.

또 다른 측면은 환자의 관강내 조직망 항행을 결정하기 위해 구성된 장치에 관한 것이며, 상기 장치는 실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및 적어도 한 개의 컴퓨터 판독가능 메모리와 통신하고, 명령어를 실행해서 장치가 적어도 상기 관강내 조직망을 표현하는 모델에 접근하고; 상기 모델의 좌표프레임과 상기 관강내 조직망 주변에 생성된 전자기장의 좌표 프레임간의 매핑에 접근하고; 사용시 상기 관강내 조직망 안으로 삽입되는 조향가능한 기구의 원위 단부에 위치한 EM 센서로부터 데이터를 수신하고; 상기 EM 센서의 데이터를 기초로 전자기장 안에 상기 EM 센서의 위치를 산출하고; 상기 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 데이터를 수신하고; 상기 적어도 한 개의 추가 센서로부터의 데이터를 기초로 상기 관강내 조직망의 주기적인 움직임의 빈도를 산출하고; 및 상기 매핑, 상기 빈도, 및 상기 전자기장 안에 EM 센서의 위치를 기초로 상기 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 한 개 이상의 프로세서를 포함한다.

일부 구현에서, 상기 적어도 한 개의 추가 센서는 한 개 이상의 EM 센서를 포함한다.

일부 구현에서, 상기 적어도 한 개의 추가 센서는 가속도계를 포함한다.

일부 구현에서, 상기 적어도 한 개의 추가 센서는 음향 호흡 센서를 포함하고, 상기 음향 호흡 센서는 환자가 호흡을 하는 동안 주기적인 움직임을 감지한다.

일부 구현에서, 상기 관강내 조직망은 하 기도(respiratory airways)를 포함하고, 상기 한 개 이상의 프로세서는 명령어를 실행해 상기 장치가 상기 관강내 조직망 사이로 상기 조향가능한 기구를 안내하도록 구성된다.

일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 상기 적어도 한 개의 추가 센서의 한 개 이상의 데이터 신호를 한 개 이상의 데이터 신호를 표현하는 주파수 영역으로 변환하고; 및 상기 한 개 이상의 데이터 신호를 표현하는 주파수 영역으로부터 주기적인 움직임의 빈도를 식별하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 상기 EM 센서의 한 개 이상의 데이터 신호에 필터를 적용하도록 구성되고, 상기 필터는 상기 한 개 이상의 데이터 신호의 일부를 상기 식별된 빈도에 맞춰 감쇠하고; 및 필터링된 상기 EM 센서의 한 개 이상의 데이터 신호에 기초하여 상기 모델에 대한 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된다.

일부 구현에서, 상기 관강내 조직망은 하 기도를 포함하고, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 환자 호흡의 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 산출하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 위치를 적어도 결정하고; 상기 흡기와 호기 단계 사이에 상기 EM 센서의 위치 변위를 (i) 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 상기 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및 상기 흡기와 호기 단계 사이에 EM 센서의 산출된 위치 변위에 기초하여 상기 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 결정한다. 일부 구현에서, 적어도 한 개의 추가 센서는 사용시 신체 표면의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 신체 표면의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 흡기와 호기 단계 사이에 제1 추가 EM 센서의 제1 변위 크기가 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 제2 위치는 제1 위치로부터 떨어져 있다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 적어도 제1 및 제2 추가 EM 센서에 대한 EM 센서의 위치를 결정하고; 및 제1 및 제2 추가 EM 센서에 대한 EM 센서의 결정된 위치를 기초로 제1 및 제2 변위 크기 사이를 보간하도록 구성되며, 흡기와 호기 단계 사이의 EM 센서의 위치 변위 산출은 상기 보간된 크기에 기초한다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 적어도 상기 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 산출된 변위 크기에 기초하여 추정하고; 추정된 움직임 벡터에 기초하여 전자기장의 좌표 프레임 안에서 상기 모델을 이동시키고; 및 상기 이동된 모델에 기초하여 조향가능한 기구의 원위 단부의 위치를 결정한다. 일부 구현에서, 상기 전자기장의 좌표 프레임 안에서 상기 수술전 모델을 이동시키기 위해, 상기 한 개 이상의 프로세서는 상기 명령어를 실행하여 상기 시스템이 상기 제1 변위 크기에 기초하여 최소한 상기 모델의 제1 부분을 제1 새 좌표로 이동시키며; 및 상기 제2 변위 크기에 기초하여 모델의 제2 부분을 제2 새 좌표로 이동시키도록 구성된다.

또 다른 측면은 비일시적 컴퓨터 판독 가능한 기록 매체에 관한 것이고, 여기에 저장되는 명령어는 실행시, 적어도 한 개의 컴퓨터 장치는 사용될 때 환자의 조직 부위에 삽입되는 기구에 있는 전자기식(EM) 센서로부터 제1 데이터를 그리고 상기 조직 부위의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 적어도 수신하고; 상기 제1 데이터에 기초하여 조직 부위 주변에 배치된 전자기장 안에 상기 EM 센서의 위치를 산출하고; 제2 데이터에 기초하여 상기 조직 부위의 주기적인 움직임의 빈도를 산출하고; 및 (i) 상기 조직 부위의 주기적인 움직임의 빈도와 (ii) 상기 장 안에 상기 EM 센서의 위치를 기초하여 조직 부위에 대한 기구의 위치를 결정한다.

일부 구현에서, 상기 명령어는 실행시, 상기 적어도 한 개의 컴퓨터 장치가 상기 제2 데이터를 주파수 영역 표현으로 변환하고; 및 상기 주파수 영역 표현으로부터 주기적인 움직임의 빈도를 식별하게 한다. 일부 구현에서, 상기 명령어는 실행시, 상기 적어도 한 개의 컴퓨터 장치가 상기 제1 데이터에 필터를 적용하고, 상기 필터는 제1 데이터의 일부를 식별된 빈도에 맞춰 감쇠하도록 구성되며; 및 상기 필터 처리된 제1 데이터에 기초하여 상기 기구의 위치를 결정하게 한다.

일부 구현에서, 상기 조직 부위는 하 기도를 포함하고, 상기 명령어는 실행시, 상기 적어도 한 개의 컴퓨터 장치가 환자 호흡의 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하도록 한다. 일부 구현에서, 상기 명령어는 실행시, 상기 적어도 한 개의 컴퓨터 장치가 상기 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 위치를 결정하고; 상기 흡기와 호기 단계 사이에 상기 EM 센서의 위치 변위를 (i) 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및 상기 흡기와 호기 단계 사이에 EM 센서의 산출된 위치 변위에 기초하여 상기 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 결정한다. 일부 구현에서, 적어도 한 개의 추가 센서는 사용시 신체 표면의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 신체 표면의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 흡기와 호기 단계 사이에 제1 추가 EM 센서의 제1 변위 크기가 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 제2 위치는 제1 위치로부터 떨어져 있고, 상기 명령어가, 실행 되면, 상기 적어도 한 개의 컴퓨터 장치는 제1 및 제2 추가 EM 센서에 대한 EM 센서의 위치를 결정하고; 상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서의 결정된 위치를 기초로 제1 및 제2 변위 크기 사이를 보간하고, 상기 흡기와 호기 단계 사이에 상기 EM 센서의 위치 변위 산출은 보간된 크기에 기초한다.

일부 구현에서, 상기 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치가 조직 부위의 형태(topography)를 표현하는 모델을 나타내는 데이터; 및 상기 장과 모델의 좌표 프레임간의 매핑을 접근하고, 기구 위치를 결정하는 것은 상기 매핑, 상기 빈도 및 상기 장 내 EM 센서의 위치를 기초로 한다.

일부 구현에서, 상기 조직 부위는 하 기도를 포함하며, 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치는 환자 호흡의 흡기와 호기 단계 사이의 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하고; 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 산출된 변위 크기에 기초하여 추정하고; 추정된 움직임 벡터에 기초하여 좌표 프레임 안에서 상기 모델을 이동시키고; 및 이동된 모델에 기초하여 기구의 위치를 결정한다. 일부 구현에서, 모델을 좌표 프레임 안에서 이동시키기 위해, 명령어를 실행하여 적어도 한 개의 컴퓨터 장치가 모델의 제1 부분을 제1 변위 크기에 기초하여 제1 새 좌표로 이동시키고; 모델의 제2 부분을 제2 변위 크기에 기초하여 제2 새 좌표로 이동시킨다.

또 다른 측면은 사용시 환자의 조직 부위에 삽입되는 기구에 위치한 제1 센서로부터의 제1 데이터 및 조직 부위의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 수신하는 것; 상기 제1 데이터를 기초로 조직 부위 주변의 체적(volume) 안에 상기 제1 센서의 위치를 산출하는 것; 상기 제2 데이터를 기초로 상기 조직 부위의 주기적인 움직임의 빈도를 산출하는 것; 상기 체적 안에 제1 센서의 빈도와 위치를 기초로 상기 조직 부위에 대한 장치의 위치를 결정하는 것을 포함하는 방법에 관한 것이다.

일부 구현은 한 개 이상의 하드웨어 프로세서에 의해 실행될 수 있다.

일부 구현은 상기 제2 데이터를 주파수 영역 표현으로 변환하는 것; 및 상기 주파수 영역 표현으로부터 주기적인 움직임의 빈도를 식별하는 것을 더 포함한다.

일부 구현은 제1 데이터에 필터를 적용하고, 상기 필터는 제1 데이터의 일부를 식별된 빈도에 맞춰 감쇠하도록 구성되며; 및 필터 처리된 제1 데이터에 기초하여 기구의 위치를 결정하는 것을 더 포함한다.

일부 구현에서, 상기 조직 부위는 하 기도를 포함하고, 상기 방법은 환자 호흡의 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하는 것을 더 포함한다. 일부 구현은 상기 적어도 한 개의 추가 센서에 대한 상기 제1 센서의 위치를 결정하는 것; 상기 흡기와 호기 단계 사이에 상기 제1 센서의 위치 변위를 (i) 상기 적어도 한 개의 추가 센서에 대한 상기 제1 센서의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하는 것; 및 상기 흡기와 호기 단계 사이에 제1 센서의 산출된 위치 변위에 기초하여 상기 모델에 대한 기구의 위치를 결정하는 것을 더 포함한다. 일부 구현에서, 상기 적어도 한 개의 추가 센서는 사용시 환자의 제1위치에 위치되는 제1 추가 센서와 사용시 환자의 제2 위치에 위치되는 제2 추가 센서를 포함하고, 흡기와 호기 단계 사이에 제1 추가 센서의 제1 변위 크기가 제2 추가 센서의 제2 변위 크기보다 크도록 제2 위치는 제1 위치로부터 떨어져 있으며, 상기 방법은 상기 제1, 제2 추가 센서에 대한 제1 센서의 위치를 결정하는 것; 상기 제1, 제2 추가 센서에 대한 제1 센서의 결정된 위치를 기초로 상기 제1, 제2 변위 크기 사이를 보간하는 것을 더 포함하고, 상기 흡기와 호기 단계 사이에 제1 센서의 위치 변위 산출은 상기 보간된 크기에 기초한다. 일부 구현은 상기 조직 부위의 형태를 표현하는 모델 및 상기 장과 상기 모델의 좌표 프레임간의 매핑을 접근하는 것을 더 포함하고; 상기 기구의 위치를 결정하는 것은 상기 매핑, 상기 빈도 및 상기 장 안에 EM 센서의 위치를 토대로 한다. 일부 구현에서 조직 부위는 하 기도를 포함하고, 상기 방법은 환자 호흡의 흡기와 호기 단계 사이의 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하는 것; 상기 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 산출된 변위 크기에 기초하여 추정하는 것; 상기 추정된 움직임 벡터에 기초하여 좌표 프레임 안에서 상기 모델을 이동시키는 것; 및 상기 이동된 모델에 기초해서 상기 기구의 위치를 결정하는 것을 더 포함한다. 일부 구현은, 상기 모델을 좌표 프레임 안에서 이동시키는 것을 더 포함하는데, 이는 상기 모델의 제1 부분을 상기 제1 변위 크기에 기초하여 제1 새 좌표로 이동시키는 것; 및 상기 모델의 제2 부분을 제2 변위 크기에 기초하여 제2 새 좌표로 이동시키는 것을 기반으로 한다.

또 다른 측면은 환자의 관강내 조직망 항행을 위해 구성된 시스템에 관한 것이며, 상기 시스템은 전자기(EM)장을 발생시키기 위해 구성된 전자기장 발생기; 조향가능한 기구의 원위 단부에 포함된 한 개 이상의 EM 센서 세트; 적어도 한 개의 호흡 센서; 실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및 적어도 한 개의 컴퓨터 판독가능 메모리와 통신하며 명령어를 실행하도록 구성되어 시스템이 적어도 상기 관강내 조직망을 표현하는 수술 전 모델에 접근하고; 상기 수술 전 모델의 좌표프레임과 전자기장의 좌표 프레임간의 매핑에 접근하고; 상기 EM 센서 세트의 데이터 신호를 기초로 전자기장 안에 EM 센서 세트의 위치를 산출하고; 상기 매핑, 상기 전자기장 내 EM 센서 세트의 위치를 기초로 상기 수술 전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 결정하고; 상기 적어도 한 개의 호흡 센서의 데이터를 기초로 상기 EM 센서 세트로부터 데이터 신호를 취득하는 동안 환자의 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고; 및 상기 모델에 대한 조향가능한 기구의 원위 단부의 위치와 상기 호흡 단계를 기초로 조향가능한 기구의 다음 움직임을 위해 안전 모드를 활성화 시킬지 결정하도록 하는 한 개 이상의 프로세서를 포함한다.

일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 안전 모드를 활성화시키고, 안전 모드에서 다음 움직임과 호흡 단계의 동기화를 유도하기 위해 한 개 이상의 안전 기능을 구현하도록 구성된다.

일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 관강내 조직망을 통해 표적 조직 부위까지 도달하는 항행 경로에 관한 정보에 접근하고; 상기 항행 경로와 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 토대로 조향가능한 기구의 원위 단부가 사용시 관강내 조직망의 기 설정된 안전 구역 안에 위치하는지 확인하고; 및 조향가능한 기구의 원위 단부가 기 설정된 안전 구역 안에 위치하는지의 여부에 따라 안전 모드를 활성화시키도록 구성된다. 일부 구현에서, 상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분이다.

일부 구현에서, 상기 안전 모드일 때 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 호흡 단계를 나타내는 정보를 사용자에게 출력하도록 구성된다.

일부 구현은, 디스플레이를 갖춘 로봇 시스템; 사용자의 입력 장치 조작에 반응하는 조향가능한 기구의 움직임을 제어하는 신호를 생성하도록 구성된 입력 장치; 및 상기 입력 장치의 신호를 기반으로 조향가능한 기구의 움직임을 일으키도록 구성된 기구 드라이버를 더 포함한다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 안전 모드 활성화에 대한 반응으로, 환자 호흡의 호기 단계 중에는 기구 드라이버의 작동을 방지하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 사용자의 입력 장치 조작을 기반으로 한 기구 드라이버의 작동 시도를 무효화(override)시킴으로써 기구 드라이버의 작동을 방지하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 호흡의 흡기와 호기 단계의 그래픽 표현을 출력하도록 구성되며, 상기 그래픽 표현은 디스플레이에 나타낼 수 있다.

일부 구현에서, 상기 수술전 모델은 환자의 관강내 조직망의 3 차원 컴퓨터 단층 모델을 포함한다.

또 다른 측면은 환자의 관강내 조직망 항행을 안내하도록 구성된 장치에 관한 것이며, 상기 장치는 실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및 상기 적어도 한 개의 컴퓨터 판독가능 메모리와 통신하며 명령어를 실행하여 상기 장치가 적어도 관강내 조직망을 표현하는 모델에 대응하는 데이터, 상기 모델의 좌표프레임과 관강내 조직망 주변에 생성된 전자기장의 좌표 프레임간의 매핑, 사용시 관강내 조직망 안으로 삽입되는 조향가능한 기구의 원위 단부에 위치한 EM 센서로부터의 신호, 및 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서의 신호에 접근하고; 상기 EM 센서의 신호에 대응하는 데이터에 기초하여 상기 전자기장 내 EM 센서의 위치를 산출하고; 상기 모델에 대한 조향가능한 기구의 원위 단부의 위치를 기초로 조향가능한 기구의 다음 움직임을 산출하고; 적어도 한 개의 추가 센서로부터 수신한 신호에 대응하는 데이터를 기초로 제1 센서의 신호를 취득하는 동안 환자의 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고; 및 상기 호흡단계를 기초로 조향가능한 기구의 다음 움직임을 위해 안전 모드를 활성화 시킬지 여부를 결정하도록 구성된 한 개 이상의 프로세서를 포함한다.

일부 구현에서, 상기 적어도 한 개의 추가 센서는 환자가 호흡을 하는 동안 주기적인 움직임을 감지하도록 구성된 음향 호흡 센서를 포함한다.

일부 구현에서, 한 개 이상의 상기 프로세서는 명령어를 실행하여 시스템이 안전 모드를 활성화시키고, 안전 모드에서는 다음 움직임과 호흡 단계의 동기화를 안내하기 위한 한 개 이상의 안전 기능을 구현하도록 구성된다.

일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하고; 상기 항행 경로와 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 토대로 조향가능한 기구의 원위 단부가 사용시 관강내 조직망의 기 설정된 안전 구역 안에 위치하는지 확인하고; 및 조향가능한 기구의 원위 단부가 기 설정된 안전 구역 안에 위치하는지의 여부에 따라 안전 모드를 활성화시키도록 구성된다. 일부 구현에서, 상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분이다. 일부 구현에서, 상기 안전 모드일 때 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 호흡 단계를 나타내는 정보를 사용자에게 출력하도록 구성된다.

일부 구현은, 디스플레이를 갖춘 로봇 시스템; 사용자의 입력 장치 조작에 반응하는 조향가능한 기구의 움직임을 제어하는 신호를 생성하도록 구성된 입력 장치; 및 상기 입력 장치의 신호를 기반으로 조향가능한 기구의 움직임을 일으키도록 구성된 기구 드라이버를 더 포함한다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 안전 모드 활성화에 대한 반응으로, 환자 호흡의 한 개 이상의 호기 단계 중에는 기구 드라이버의 작동을 방지하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 사용자의 입력 장치 조작에 기초하여 기구 드라이버의 작동 시도를 무효화시킴으로써 기구 드라이버의 작동을 방지하도록 구성된다. 일부 구현에서, 상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 호흡의 흡기와 호기 단계의 그래픽 표현을 출력하도록 구성되며, 상기 그래픽 표현은 디스플레이에 나타낼 수 있다.

또 다른 측면은 비일시적인 컴퓨터 판독 가능한 기록 매체에 관한 것이고, 여기에 저장되는 명령어는 실행시, 장치의 프로세서가 적어도 사용시 환자의 관강내 조직망에 삽입되는 기구의 제1 센서로부터 제1 데이터와 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 수신하고; 상기 제1 데이터에 기초하여 상기 조직 부위 주변에 배치된 장 안에 제1 센서의 위치를 산출하고; 상기 제2 데이터에 기초하여 상기 제1 센서로부터 상기 제1 데이터를 취득하는 동안 상기 환자의 호흡단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고; 상기 장 안에서 제1 센서의 위치와 매핑을 기초로 기구의 위치를 결정하고; 및 상기 기구의 위치와 상기 호흡단계를 기초로 안전 모드를 활성화 시킬지 여부를 결정하게 한다.

일부 구현에서, 상기 명령어는 실행 시 프로세서가 적어도 최소 한 개의 추가 센서로부터 화상 데이터를 수신하고, 상기 화상 데이터에 기초하여, 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 여부를 결정하게 한다.

일부 구현에서, 상기 명령어는 실행 시 프로세서가 적어도 최소 한 개의 추가 센서로부터 가속도계 데이터를 수신하고, 상기 가속도계 데이터를 통해 나타난 움직임의 방향에 기초하여, 상기 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 여부를 결정하게 한다.

일부 구현에서, 상기 명령어는 실행 시 상기 프로세서가 적어도 (i) 상기 관강내 조직망의 형태를 표현하는 모델, 및 (ii) 상기 장과 상기 모델의 좌표 프레임간의 매핑 정보에 대응하는 데이터에 접근하게 만들며; 상기 기구의 위치를 결정하는 것은 상기 매핑과 상기 장 안에 제1 센서의 위치에 기초하여 상기 모델에 대한 기구의 위치를 결정하는 것을 포함한다.

일부 구현에서, 상기 명령어는 실행 시 프로세서가 적어도 안전 모드를 활성화시키고, 안전 모드에서 다음 움직임과 호흡 단계의 동기화를 유도하기 위한 한 개 이상의 안전 기능을 구현하도록 한다.

일부 구현에서, 명령어는 실행 시 프로세서가 적어도 표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하고; 상기 항행 경로와 기구의 위치에 기초하여, 기구가 사용시 관강내 조직망의 기 설정된 안전구역 안에 위치하는지 확인하고; 및 기구가 기 설정된 안전 구역 안에 위치한다는 결정에 따라 안전 모드를 활성화시키도록 한다. 일부 구현에서, 상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분이다.

일부 구현에서, 상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분이다.

일부 구현에서, 명령어가 실행되면, 프로세서는 적어도 안전 모드의 활성화 결정에 대한 반응으로 환자 호흡의 호기 단계 중에는 로봇 기구 드라이버의 작동을 방지하고, 상기 로봇 기구 드라이버는 기구가 관강내 조직망을 통과하는 움직임에 영향을 주도록 구성된다.

또 다른 측면은 사용시 환자의 관강내 조직망에 삽입되는 기구의 제1 센서로부터 제1 데이터와 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 수신하는 것; 상기 제1 데이터에 기초하여 상기 조직 부위 주변에 배치된 전자기장 내 제1 센서의 위치를 산출하는 것; 상기 제2 데이터에 기초하여 상기 제1 센서로부터 제1 데이터를 취득하는 동안 환자의 호흡단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하는 것; 상기 장 내 제1 센서의 위치를 기초로 기구의 위치를 결정하는 것; 상기 위치를 기초로 기구의 다음 움직임을 결정 하는 것; 및 상기 호흡단계를 기초로 다음 움직임을 위해 안전 모드를 활성화 시킬지 여부를 결정하는 것을 포함하는 방법에 관한 것이다.

일부 구현은 한 개 이상의 하드웨어 프로세서에 의해 수행될 수 있다.

일부 구현은 안전 모드의 활성화시키는 것; 및 안전 모드에서 다음 움직임과 호흡 단계의 동기화를 유도하기 위해 한 개 이상의 안전 기능을 구현하는 것을 더 포함한다.

일부 구현은 (i) 관강내 조직망의 형태를 표현하는 모델, 및 (ii) 상기 장과 상기 모델의 좌표 프레임간의 매핑 정보에 대응하는 데이터에 접근하는 것을 더 포함하고; 상기 기구의 위치를 결정하는 것은 상기 매핑과 장 안에 제1 센서의 위치에 기초하여 모델에 대한 기구의 위치를 결정하는 것을 포함한다.

일부 구현은 표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하고; 상기 항행 경로와 기구의 위치에 기초하여, 기구가 사용시 관강내 조직망의 기 설정된 안전구역 안에 위치하는지 확인하고; 및 기구가 기 설정된 안전 구역 안에 위치한다는 결정에 따라 안전 모드를 활성화시키는 것을 더 포함한다.

일부 구현은 안전 모드의 활성화 결정에 대한 반응으로 호흡 단계를 나타내는 정보를 사용자에게 출력 하는 것을 더 포함한다.

일부 구현은 안전 모드의 활성화 결정에 대한 반응으로 환자 호흡의 호기 단계 중에는 로봇 기구 드라이버의 작동을 방지하고, 상기 로봇 기구 드라이버는 기구가 관강내 조직망을 통과하는 움직임에 영향을 주도록 구성된다. 일부 구현에서, 로봇 기구 드라이버의 작동을 방지하는 것은 상기 호기 단계 또는 이후의 호기 단계 중에 다음 움직임을 취하려는 사용자의 입력을 무효화 시키는 것을 포함한다.

본 개시내용의 측면은 이후에, 개시된 측면을 제한하려는 것이 아닌 도시를 위해 제공되는 첨부 도면 및 부록과 함께 설명되며, 동일한 명칭은 동일한 요소를 나타낸다.
도 1A는 개시된 항행 시스템 및 기술을 적용한 수술 환경의 예를 도시한다.
도 1B는 도 1A의 환경에서 항행하는 관강내 조직망의 예를 도시한다.
도 1C는 도 1B의 관강내 조직망 안을 통과하는 기구의 움직임을 안내하기 위한 로봇 암의 예를 도시한다.
도 2는 일 실시예에 따른 예시적인 수술 로봇 시스템을 위한 명령 콘솔의 예를 도시한다.
도 3은 본 명세서에 기술된 영상 및 전자기 감지 성능을 갖춘 내시경의 예를 도시한다.
도 4는 본 명세서에 기술된 항행 시스템의 개략 블록도(schematic block diagram)를 도시한다.
도 5는 본 명세서에 기술된 바와 같이 관강내 조직망의 움직임으로 인한 노이즈를 기구 위치 추정에서 필터링하기 위한 예시적인 과정의 흐름도를 도시한다.
도 6A 내지 도 6C는 도 5의 조정 블록에 사용될 수 있는 다양한 예시적인 프로세스의 흐름도를 도시한다.
도 7는 본 명세서에 기술된 관강내 조직망 항행 중에 안전 모드를 활성화시키는 예시적인 프로세스의 흐름도를 도시한다.
도 8A 내지 도 8B는 본 명세서에 기술된 안전 모드로 관강내 조직망 항행 중에 사용자에게 보여질 수 있는 사용자 인터페이스의 예시를 도시한다.

서론

본 개시내용의 실시예는 폐 기도 같은 관강내 조직망을 통과하는 항행을 용이하게 하기 위해 복수의 항행 관련 데이터 소스를 분석해서 관강내 조직망 안에 의료 기구의 위치와 방향을 보다 정확하게 추정하고, 기구 위치 데이터를 필터링해서 관강내 조직망의 주기적인 움직임으로 발생한 노이즈를 제거하고, 및/또는 주기적인 움직임을 기초로 항행 제어를 조정하는 호흡 동조 및 다른 종류의 안전 기능을 활성화시키는 시스템 및 기술에 관한 것이다.

기관지 내시경은 의사가 환자의 기관과 기도를 검사를 할 수 있도록 광원과 소형 카메라를 포함할 수 있다. 만약 환자 기도 안에 기관지 내시경의 정확한 위치가 확인되지 않는 다면 환자에게 외상이 발생할 수도 있다. 기관지 내시경의 위치를 알아내기 위해, 화상 기반의 기관지 내시경 안내 시스템은 기관지 내시경 카메라의 데이터를 이용해서 환자 기도의 분기에서 로컬 정합(예를 들어, 관강내 조직망 안에 특정 위치에서 하는 정합)을 수행할 수 있고, 따라서 환자의 호흡 동작으로 인한 위치 오차에 덜 민감해 질 수 있다는 이점이 있다. 하지만 화상 기반의 안내 방법은 기관지 내시경 영상에 의존하기 때문에, 환자의 기침 또는 점액 폐쇄 때문에 형성된 기관지 내시경 영상의 허상(artifact)에 영향을 받을 수도 있다.

전자기 유도 네비게이션 기관지경술 (전자기 유도 기관지 내시경술)은 기관지경 시술의 종류로 전자기(EM) 기술을 적용하여 내시경 장치 또는 카테터를 폐의 기관지 경로를 통해 국부화하고 유도한다. 전자기 유도 기관지 내시경 시스템은 저강도 가변 전자기장을 방출하고 환자의 관강내 조직망 주변에 추적 영역(tracking volume)의 위치를 확보하는 전자기장 필드 생성기를 사용할 수 있다. 전자기장은 하전 물체(electrically charged objects)에 의해 생성되는 물리장(physical field)으로 장 주변의 하전 물체의 움직임에 영향을 준다. 생성된 장 안에 위치한 물체들에 부착된 EM 센서는 해당 물체들의 전자기장 내 위치와 방향을 추적하기 위해 사용될 수 있다. 소전류는 가변 전자기장에 의해 EM센서에서 유도된다. 상기 전기 신호의 특성은 센서와 전자기장 발생기 사이의 거리와 각도에 따라 달라진다. 따라서, 전자기 유도 기관지 내시경 시스템은 전자기장 발생기, 원위 선단 또는 그 근처에 EM 센서를 포함하는 조향가능한 채널 및 유도 컴퓨터 시스템을 포함할 수 있다. 전자기장 발생기는 예를 들어 기도, 위장관, 또는 순환계 경로와 같은 항행할 환자의 관강내 조직망 주변에 전자기장을 생성한다. 조향가능한 채널은 기관지 내시경의 작업 채널을 통해 삽입되고 EM 센서를 통해 전자기장 내에서 추적된다.

전자기 유도 기관지 내시경 시술 시작 전에, 환자의 특정 기도 구조에 대한 가상의 3차원(3D) 기관지 지도가 가령, 수술 전 흉부 전산화 단층촬영(CT)을 통해 취득될 수 있다. 상기 지도와 전자기 유도 기관지 내시경 시스템을 이용해서 의사는 폐 안에 원하는 위치로 항행하여 병변을 생검하거나 림프절 병기를 판정하거나 방사선 치료 유도를 위한 표지자(marker)를 삽입하거나 브라키테라피 카테터(brachytherapy catheter)를 유도할 수 있다. 예를 들어, 시술을 시작할 때 정합을 수행해서 전자기장의 좌표 시스템과 모델의 좌표시스템 간의 매핑을 생성할 수 있다. 따라서, 기관지 내시경술 동안 조향가능한 채널이 추적될 때, 모델 좌표 시스템 상에서 조향가능한 채널의 위치는 EM 센서의 위치 데이터를 기초하여 명목적으로 드러난다. 하지만, 환자의 호흡으로 인해 흉부가 움직이면서 조향가능한 기구 및/또는 모델을 전자기장의 좌표 프레임과 상호 연관시키는데 있어서 오차를 발생시킬 수 있다. 이러한 오차는 말초 기도(peripheral airways)안에서 확대될 수 있는데, 기도 분지(airway branches)가 더 작아지고 환자의 호흡으로 인한 움직임도 더 크게 경험하기 때문에다.

본 명세서에서 사용될 때, 좌표 프레임이란 특정 감지 방법(sensing modality)의 참조 프레임이다. 예를 들어, EM 데이터의 경우, EM 좌표 프레임은 (상기 장 발생기와 같은) 전자기장 소스에 의해 정의되는 참조 프레임이다. CT 화상 및 3D 분할 모델의 경우, 참조 프레임은 스캐너에 의해 정의된 프레임을 기반으로 한다. 현 항행 시스템은 이러한 (고유한 참조 프레임에 존재하는) 다른 데이터 소스들을 (가령, 상기 CT 프레임과 같은) 3D 모델로 표현(정합)한 것에 대한 항행의 문제를 다룬다.

따라서, 더 상세하게 후술되듯이, 개시된 관강내 조직망 탐색 시스템 및 기술은 항행 문제를 완화하고 더욱 효과적인 내시경 시술을 위해, 화상 기반 항행 시스템, 로봇 시스템 및 EM 항행 시스템의 입력 뿐만 아니라 그 밖의 환자 센서들의 입력을 함께 결합할 수 있다. 예를 들어, 항행 융합 프레임워크(navigation fusion framework)는 기구 카메라부터 수신한 화상 정보와 기구 선단의 EM센서로부터 수신한 위치 정보 및 기구의 움직임을 유도하는 로봇 시스템으로부터 수신한 로봇 위치 정보를 분석할 수 있다. 상기 분석에 기초하여, 상기 항행 융합 프레임워크는 한 개 이상의 상기 항행 데이터 종류를 토대로 기구의 위치 추정 및/또는 항행 결정을 내릴 수 있다. 항행 융합 프레임워크의 일부 구현은 더 나아가 관강내 조직망의 3D모델에 대한 기구 위치를 결정할 수 있다. 일부 실시예에서, EM 센서로부터의 기구 위치 정보는 관강내 조직망의 주기적인 움직임, 예를 들어, 기도 항행 시 발생하는 호흡 또는 순환시스템 항행 시 발생하는 박동 혈류(pulsatile blood flow)에 따른 신호 노이즈를 제거하기 위해 필터링 될 수 있다. 상기 주기적 움직임의 빈도는 한 개 이상의 추가 센서의 데이터를 통해 취득될 수 있다. 예를 들어, 흡기 및 호기 주기는 환자의 신체에 위치한 추가 EM 센서(들), 가속도계(들) 및/또는 음향 호흡 센서(들) 및/또는 환자의 움직임을 관찰할 수 있는 시야에 위치한 광학 센서들의 데이터를 기초로 결정될 수 있다. 일부 실시예에서, 기구 위치와 관강내 조직망의 주기적 움직임 중 하나 또는 둘 다를 기반으로 항행 안전 기능을 구현할 수 있다. 예를 들어, 기관지 내시경술의 구현에서, 안전 기능으로 호흡 주기 정보 디스플레이 및/또는 호기 중 기구 삽입 제한을 포함할 수 있다.

개시된 시스템 및 기술은 기관지 내시경술 유도 시스템 및 관강내 조직망 항행을 위한 내시경 시술을 포함하여 그 밖의 어플리케이션(application)에 이점을 제공할 수 있다. 해부학적으로, "내강(lumen)"은 기도, 혈관 또는 장과 같은 관모양의 기관 안쪽의 비어있는 공간 또는 공동을 지칭한다. 본 명세서에서 사용될 때, "관강내 조직망"은 표적 조직 부위까지 이어지는 적어도 한 개의 내강을 포함하는, 가령, 폐의 기도, 순환시스템 및 위장관계와 같은 해부학적 구조를 지칭한다. 따라서, 본 발명이 기관지 내시경과 관련된 항행 시스템을 예로써 제공 하지만, 개시된 안전 및 데이터 필터링 측면들은 환자의 역동적인 관강내 조직망을 항행하는 다른 의료 시스템에도 적용 가능하다는 것을 이해할 것이다.

다양한 실시예가 도면들과 함께 예시를 목적으로 후술된다. 개시된 개념의 여러 다른 구현이 가능하며 개시된 구현에 따라 다양한 이점을 얻을 수 있다는 것을 이해할 것이다. 본 명세서에는 참조를 위해 또한 여러 섹션의 위치파악에 도움을 주기 위해 항목들이 포함되어 있다. 이 항목들은 이에 대해 설명된 개념들의 범위를 한정 지으려는 의도가 아니다. 이러한 개념은 명세서 전반에 걸쳐 적용될 수 있다.

항행 시스템 예시의 개요

도 1A는 개시된 항행 시스템 및 기술의 한 개 이상의 측면을 적용한 수술 환경(100)의 예를 도시한다. 수술 환경(100)은 환자(101), 환자(101)를 지탱하는 플랫폼(102), 내시경(115)의 움직임을 유도하는 수술 로봇 시스템(110), 수술 로봇 시스템(110)의 작동을 제어하기 위한 중앙 센터(command center)(105), EM 제어기(135), 전자기장 발생기(120) 및 EM 센서(125)(130)를 포함한다. 도 1A는 또한 환자(101) 내부의 관강내 조직망(140) 부위의 윤곽을 도시하며 이는 도 1B에서 더 자세히 도시된다.

수술 로봇 시스템(110)은 환자(101)의 관강내 조직망(140)을 통해 내시경(115)을 위치시키고 움직임을 안내하기 위한 한 개 이상의 로봇 암을 포함할 수 있다. 중앙 센터(105)는 수술 로봇 시스템(110)과 통신적으로(communicatively) 연결되어 사용자로부터 위치 데이터를 수신하고 및/또는 제어 신호를 제공할 수 있다. 본 명세서에서 사용될 때, "통신적으로 연결"은 (한 개 이상의 셀룰러망(cellular networks)과 같은) 무선 광역 통신망(WWAN), (IEEE 802.11 (Wi-Fi)와 같은 한 개 이상의 표준으로 구성된) 근거리 무선 통신망(WLAN), 블루투스, 데이터 전송 케이블 등을 포함하지만 이에 한정되지 않는 모든 유선 및/또는 무선 데이터 전송 매체를 지칭한다. 수술 로봇 시스템(110)은 도 1C와 관련해서 더 자세히 설명되며 중앙 센터(105)는 도 2와 관련해서 더 자세히 설명된다.

내시경(115)은 (인체 조직과 같은) 해부구조의 영상을 촬영하고, 표적 조직 부위까지 다른 의료 기구의 삽입을 위한 작업 채널을 제공하기 위해 환자의 해부구조 안으로 삽입되는 관모양의 연성 수술 기구일 수 있다. 일부 실시예에서, 내시경(115)은 기관지 내시경일 수 있다. 내시경(115)은 한 개 이상의 (카메라 또는 다른 종류의 광학 센서와 같은) 촬상 기기를 원위 단부에 포함할 수 있다. 촬상 기기는 광섬유(optical fiber), 광섬유 배열(fiber array), 감광성 기질(photosensitive substrate) 및/또는 렌즈(들)과 같은 한 개 이상의 광학 소자를 포함할 수 있다. 광학 소자는 내시경(115) 선단을 따라 이동하기 때문에 내시경(115) 선단의 움직임의 결과로 촬상 기기에 의해 캡쳐되는 화상의 시야도 그에 대응하여 바뀐다. 내시경(115)의 원위 단부에 한 개 이상의 EM 센서(125)가 제공되어 관강내 조직망(140) 주변 생성된 전자기장 내 원위 단부의 위치를 추적할 수 있다. 내시경(115)의 원위 단부는 도3과 관련하여 더 후술된다.

EM 제어기(135)는 전자기장 발생기(120)를 제어해서 가변 전자기장을 형성할 수 있다. 상기 전자기장은 실시예에 따라 기간 가변 및/또는 공간 가변적일 수 있다. 전자기장 발생기(120)는 일부 실시예에서 전자기장을 발생시키는 보드일 수 있다. 개시된 환자 항행 시스템의 일부 실시예는 환자와 환자를 지탱하는 플랫폼(102) 사이에 전자기장 생성기 보드를 위치시켜 사용할 수 있으며, 전자기장 생성기 보드는 얇은 막을 포함하여 그 아래쪽에서 도전 또는 자성 재료로 인해 발생할 수 있는 모든 트래킹 의율(tracking distortion)을 최소화할 수 있다. 다른 실시예에서 전자기장 생성기 보드는, 수술 로봇 시스템(110)에 도시된 것과 같은 로봇 암 위에 탑재될 수 있고, 이는 환자 주변에 설치할 때 옵션이 유연해질 수 있다.

EM 공간 측정 시스템은 중앙 센터(105), 수술 로봇 시스템(110) 및/또는 EM 제어기(135)에 통합되어, EM 센서(125), (130)와 같은 EM 센서 코일이 내장되어 있거나 제공된 물체의 전자기장 안에서의 위치를 결정할 수 있다. 본 명세서에 설명되는 제어된 가변 전자기장 안에 EM 센서가 위치되면, 센서 코일에서 전압이 유도된다. EM 공간 측정 시스템이 상기 유도된 전압을 사용해서 EM 센서 및 요컨대 EM 센서를 포함하고 있는 물체의 위치와 방향을 산출할 수 있다. 상기 자기장은 저자장(low field strength)이며 사람의 조직을 안전하게 통과 할 수 있기 때문에, 광 공간 측정 시스템의 가시선 제한(line-of-sight constraint) 없이 물체의 위치 측정이 가능하다.

EM 센서(125)는 전자기장 안에서 스스로의 위치를 추적하기 위해 내시경(115)의 원위 단부와 결합될 수 있다. 상기 전자기장은 상기 전자기장 발생기에 대해 고정적이고, 관강내 조직망의 3D 모델의 좌표 프레임이 상기 전자기장의 좌표프레임과 매핑될 수 있다. 하지만, 환자의 호흡 주기로 인해 환자의 기도, 즉, 기도 내 위치한 내시경(115)의 원위 단부는 전자기장 발생기(120)에 대해 움직임을 보일 수 있고, 이는 내시경(115) 원위 단부의 모델에 대한 위치를 결정하는 데 있어서 잠재적인 오차로 이어질 수 있다.

따라서, 호흡으로 인한 변위를 추적하기 위해 환자의 신체 표면 (예를 들어, 관강내 조직망(140) 부위)에 여러 개의 EM 센서(130)가 추가적으로 제공될 수 있다. 여러 개의 서로 다른 EM 센서(130)는 각각의 위치에서 다른 변위를 추적하기 위해 신체 표면에 서로 떨어져 있을 수 있다. 예를 들어, 호흡으로 인한 움직임은 중심 기도(central airway)보다 폐의 말초부분에서 더 크게 나타날 수 있고, 도시된 것과 같이 여러 개의 EM 센서(130)들를 제공함으로써 움직임의 영향을 더 정확하게 분석 할 수 있다. 도시하기 위해, 내시경(115)의 원위 단부는 관강내 조직망(140)의 여러 부위 사이로 이동하고, 따라서 이러한 여러 부위를 통과해 이동할 때 환자의 호흡으로 인한 다양한 수준의 변위를 경험한다. 개시된 위치 필터링 기술은 상기 내시경(115)의 원위 단부 위치의 근사값과 한 개 이상의 상기 추가 EM 센서(130)를 상호 연관시킬 수 있으며, 상기 해당 추가 EM 센서들의 식별된 변위 크기를 사용해서 기도의 움직임 때문에 발생한 상기 내시경 위치 신호의 노이즈 또는 허상을, 예를 들어, 상기 내시경 위치 신호에서 호흡 동작 허상 요소(들)을 필터링/제거함으로써 보정 할 수 있다.

다른 실시예에서, 환자의 관강내 조직망의 움직임을 감지하는 다른 종류의 센서들이 추가 EM 센서(130)를 대신해서, 또는 그것들과 더불어 사용될 수 있다. 예를 들어, (가속도계(들), 자이로스코프(들), 등과 같은) 한 개 이상의 관성센서가 호흡 중 흉부 표면의 변위를 추정하는 것을 돕기 위해 환자의 신체 표면에 위치될 수 있다. 또 다른 예시에서, 음향 호흡 센서는 신체 표면의 (관강내 조직망 부위(140)와 같은) 기도 부위에 위치되어 호흡 주기의 흡기 및 호기를 측정하는데 사용될 수 있다. 또 다른 예시에서, (촬상 기기와 같은) 광학 센서 가 환자의 신체의 연속적인 화상을 캡쳐할 수 있고, 이 화상들은 호흡 단계 및/또는 변위를 식별하기 위해 분석될 수 있다. 일부 구현에서, 환자(101)는 시술 중에 인공호흡기의 도움으로 호흡할 수 있으며, 상기 인공호흡기 (및/또는 인공호흡기와 통신적으로 연결된 장치)는 호흡 주기의 흡기와 호기 단계를 나타내는 데이터를 제공할 수 있다.

도 1B는 도 1A의 수술 환경(100)에서 항행할 수 있는 관강내 조직망(140)의 예시를 도시한다. 관강내 조직망(140)은 분지형 구조(branched structure)인 환자의 기도(150)와 진단 및/또는 치료를 위해 본 명세서에 설명되는 방식으로 접근될 수 있는 병변(155)을 포함한다. 도시된 바와 같이, 병변(155)은 말초 기도(150)에 위치한다. 내시경(115)은 제1 지름을 가지며 따라서 내시경의 원위 단부는 병변(155) 주변의 더 작은 지름의 기도를 통과해 위치될 수 없다. 따라서, 조향가능한 카테터(145)가 내시경(115)의 작업 채널로부터 병변(155)까지 남은 거리만큼 연장된다. 조향가능한 카테터(145)는 내강을 포함하여 생검 바늘(biopsy needle), 생검 브러쉬(cytology brush) 및/또는 조직 샘플링 집게(tissue sampling forceps)와 같은 기구가 병변(155)의 표적 조직 부위까지 통과할 수 있다. 전술한 구현에서, 내시경(115)의 원위 단부와 조향가능한 카테터(145)의 원위 단부에 모두 EM 센서가 제공되어 기도(150) 안에서 자신들의 위치를 추적할 수 있다. 다른 실시예에서, 내시경(115)의 전반적인 지름은 조향가능한 카테터(155)없이 상기 말초부위까지 도달할 수 있을 만큼 작거나, 말초부위 근처 (가령, 2.5-3 cm 이내로) 근접 할 수 있을 만큼 작아서 비조향 카테터를 통해 의료 기구를 배치할 수도 있다. 내시경(115)을 통해 배치되는 의료 기구는 EM 센서가 갖춰져 있을 수 있고, 이러한 의료 기구에는 아래 설명되는 위치 필터링 및 안전 모드 항행 기술이 적용되어 있을 수 있다.

일부 실시예에서, 본 명세서에 기술된 3D 관강내 조직망 모델의 2D 디스플레이 또는 3D 모델의 단면도는 도 1B와 유사할 수 있다. 항행 안전 구역 및/또는 항행 경로 정보가 상기 그림 위에 중첩되어(overlay)보여질 수 있다.

도 1C는 도 1B의 관강내 조직망(140) 안을 통과하는 기구의 움직임을 안내하는 수술 로봇 시스템(110)의 로봇 암(175)의 예를 도시한다. 수술 로봇 시스템(110)은 로봇 암(175)과 같은 한 개 이상의 로봇 암과 결합된 베이스(180)를 포함한다. 로봇 암(175)은 조인트(165)로 연결된 복수의 암 단편(arm segment)(170)을 포함하며, 이는 로봇 암(175)에게 복수의 자유도를 제공한다. 예를 들어, 로봇 암(175)의 일 구현은 7개의 암 단편에 대응하는 7 자유도를 가질 수 있다. 일부 실시예에서, 로봇 암(175)은 로봇 암(175)의 위치를 그대로 유지하기 위해 브레이크 및 카운터-밸런스(counter-balance)의 조합을 사용하는 셋업 조인트(set up joint)를 포함한다. 카운터-밸런스는 가스 스프링 또는 코일 스프링으로 구성될 수 있다. 페일-세이프(fail safe) 브레이크와 같은 브레이크는 기계적 및/또는 전기적 부품으로 구성될 수 있다. 또한, 로봇 암(175)은 중력 보조식 수동 지원(gravity-assisted passive support) 타입의 로봇 암일 수 있다.

각 로봇 암(175)은 메커니즘 교환기 인터페이스(Mechanism Changer Interface, MCI)(160)를 사용하여 기구 장치 조작기(Instrument Device Manipulator, IDM)(190)에 결합될 수 있다. IDM(190)은 예컨대, 내시경을 조작하는 제1 종류의 IDM이나 이와 달리 복강경을 조작하는 제2 종류의 IDM과 같이 다른 종류의 IDM으로 제거 및 교체 될 수 있다. MCI(160)는 공기압, 전력, 전기 신호 및 광학적 신호를 로봇 암(175)에서 IDM(190)으로 전송하기 위한 커넥터를 포함한다. MCI(160)는 세트 스크류(set screw)나 베이스 플레이트 커넥터(base plate connector) 일 수 있다. IDM(190)은 다이렉트 드라이브(direct drive), 하모닉 드라이브(harmonic drive), 기어 드라이브(gear drive), 벨트 및 도르래, 자기 드라이브(magnetic drive) 등과 같은 기술을 사용해 내시경(115)과 같은 수술 기구를 조작한다. MCI(160)는 IDM(190)의 종류에 따라 교체될 수 있으며 특정 종류의 수술 절차에 맞춤화될 수 있다. 로봇 암(175)은 원위 단부에 조인트 레벨 토크 감지부와 손목을 포함할 수 있다.

수술 로봇 시스템(110)의 로봇 암(175)은 세장형 이동 부재를 사용하여 내시경(115)을 조작한다. 세장형 이동 부재는 풀 또는 푸쉬 와어어라고도 불리는 풀-와이어(pull-wires), 케이블, 섬유조직, 또는 유연한 샤프트를 포함할 수 있다. 예를 들어, 로봇 암(175)은 내시경(115)에 결합된 복수의 풀-와이어를 작동시켜 내시경(115)의 선단의 방향을 바꾼다. 풀-와이어는 가령, 스테인리스강, 케블라(Kevelar), 텅스텐(tungsten), 탄소섬유 등과 같은 금속과 비금속 모두를 포함할 수 있다. 세장형 이동 부재에 의해 힘이 가해지면 내시경(115)은 비선형 행태를 보인다. 비선형 행태는 내시경(115)의 강성과 압축성뿐만 아니라 다른 세장형 이동 부재들 간의 느슨함 또는 강성에서의 가변성(variability)에 기인할 것이다.

베이스(180)는 로봇 암(175)이 환자에게 수술 절차를 수행 또는 지원하기 위해 접근할 수 있고 이와 동시에 의사와 같은 사용자가 명령 콘솔을 사용해 수술 로봇 시스템(110)을 편리하게 제어할 수 있도록 위치될 수 있다. 일부 실시예에서, 베이스(180)는 환자를 지탱할 수 있는 수술대 또는 침대와 결합될 수 있다. 베이스(180)는 도 1A에 도시된 명령 콘솔(105)과 통신적으로 연결될 수 있다.

베이스(180)는 전력 공급원(182), 공기압 (186), 중앙처리장치(CPU), 데이터 버스, 제어전자회로, 메모리와 같은 구성요소를 포함하는 제어 및 센서 전자기기(184) 및 로봇 암(175)을 움직이는 모터와 같은 관련 액추에이터(actuator)를 포함할 수 있다. 전자기기(184)는 본 명세서에서 설명된 항행 제어 기술, 안전 모드 및/또는 데이터 필터링 기술을 구현 할 수 있다. 베이스(180)에 있는 전자기기(184)는 명령 콘솔로부터 통신한 제어 시그널을 처리, 전송할 수 있다. 일부 실시예에서, 베이스(180)는 수술 로봇 시스템(110)을 이동하기 위한 바퀴(188) 그리고 바퀴를 위한 바퀴 락(lock)/브레이크(brake)(미도시)를 포함한다. 수술 로봇 시스템(110)의 이동성은 공간의 제약이 있는 수술실 환경에 적합할 뿐만 아니라 수술용 장치가 적절한 곳에 위치하고 이동 되도록 돕는다. 또한, 이동성을 통해 로봇 암(175)이 환자, 의사, 마취과 의사 또는 그 외 어떤 장치와도 방해되지 않도록 로봇 암(175)을 구성할 수 있다. 시술 동안에 사용자는 명령 콘솔과 같은 제어 기기를 사용해서 로봇 암(175)을 제어 할 수 있다.

도 2는 가령, 예시적인 수술 환경(100)의 명령 콘솔(105)과 같이 사용될 수 있는 명령 콘솔(200)의 예를 도시한다. 명령 콘솔(200)은 콘솔 베이스(201), 모니터와 같은 디스플레이 모듈(202) 및 키보드(203)와 조이스틱(204)과 같은 제어 모듈을 포함한다. 일부 실시예에서, 한 개 이상의 명령 콘솔(200) 기능은 수술 로봇 시스템(110)의 베이스(180) 또는 수술 로봇 시스템(110)과 통신적으로 연결된 다른 시스템과 통합될 수 있다. 의사와 같은 사용자(205)는 인체공학적인 자세로 명령 콘솔(200)을 사용해서 수술 로봇 시스템(110)을 원격 제어한다.

콘솔 베이스(201)는, 예를 들어, 도 1A 내지 도 1C에 도시된 내시경(115)으로부터 수신된 카메라 영상 데이터 및 트랙킹 센서 데이터와 같은 신호를 분석하고 처리하는 것을 담당하는 중앙 처리 장치, 메모리 장치, 데이터 버스, 관련 데이터 통신 포트를 포함할 수 있다. 일부 실시예에서, 부하 분산(load-balancing)을 위해 콘솔 베이스(201)와 베이스(180) 모두 신호 처리를 수행한다. 콘솔 베이스(201)는 또한 제어 모듈(203, 204)을 통해 사용자(205)로부터 제공된 명령과 지시를 처리할 수 있다. 제어 모듈은 도 2에 도시된 키보드(203)와 조이스틱(204) 이외에도 예를 들어, 컴퓨터 마우스, 트랙 패드, 트랙 볼, 제어 패드, 소형 원격 제어기와 같은 제어기, 및 손짓과 손가락 움직임을 캡쳐하는 (가령, 동작 센서나 카메라와 같은) 센서 등 다른 기기를 포함할 수 있다. 제어기는 (가령, 연접(articulation), 운전, 물 세척 등과 같은)기구의 작동과 매핑된 (버튼, 조이스틱, 십자 패드(directional pad)와 같은) 사용자 입력 세트를 포함할 수 있다.

사용자(205)는 속도 모드 또는 위치 제어 모드로 설정된 명령 콘솔(200)을 사용해서 내시경(115)과 같은 수술 기구를 제어할 수 있다. 속도 모드에서, 사용자(205)는 제어 모듈을 사용해 직접 수동 제어 방식으로 내시경(115)의 원위 단부의 피치(pitch), 요(yaw) 움직임을 직접 제어한다. 예를 들어, 조이스틱(204)의 움직임은 내시경(115)의 원위 단부의 요, 피치 움직임과 매핑될 수 있다. 조이스틱(204)은 사용자(205)에게 햅틱 피드백(haptic feedback)을 전달한다. 예를 들어, 내시경(115)이 특정 방향으로 더 이상 이동 또는 회전할 수 없을 때 이를 나타내기 위해 조이스틱(204)에서 진동이 발생한다. 명령 콘솔(200)은 또한 내시경(115)이 이동 또는 회전의 최대치에 도달 했을 때 (팝업메시지와 같은) 시각 피드백 및/또는 (삐 소리와 같은) 오디오 피드백을 제공할 수 있다. 햅틱 및/또는 시각 피드백은 또한 이하 더 자세히 설명되듯이 시스템이 안전 모드에서 환자의 호기 중에 작동할 경우 제공될 수 있다. 위치 제어 모드에서, 명령 콘솔(200)은 내시경(115)과 같은 수술 기구를 제어하기 위해 본 명세서에 기술된 환자의 관강내 조직망의 3차원(3D) 지도와 항행 센서로부터의 입력을 사용 한다. 명령 콘솔(200)은 내시경(115)을 표적 위치까지 조작하기 위해 수술 로봇 시스템(110)의 로봇 암(175)으로 제어 시그널을 보낸다. 위치 제어 모드는 3차원 지도에 의존하고 있기 때문에 환자의 정확한 해부학적 매핑 정보를 필요로 한다.

일부 실시예에서 사용자(205)는 명령 콘솔(200)을 사용하지 않고 수술 로봇 시스템(110)의 로봇 암(175)을 수동적으로 조작할 수 있다. 수술실을 세팅하는 동안 사용자(205)는 로봇 암(175), 내시경(115) (또는 내시경들) 및 다른 수술 장비들이 환자에 접근할 수 있도록 이동 시킬 수 있다. 수술 로봇 시스템(110)은 사용자(205)의 힘 피드백과 관성제어에 의존해서 로봇 암(175)과 장비를 적절하게 구성할 수 있다.

디스플레이(202)는 (가령, LCD 디스플레이, LED 디스플레이, 터치 감지 디스플레이와 같은) 전자 모니터, 고글, 안경과 같은 가상 현실 관찰 장치 및/또는 다른 디스플레이 기기 수단을 포함할 수 있다. 일부 실시예에서 상기 디스플레이 모듈(202)은 예를 들어, 터치스크린이 있는 테블릿 기기와 같은 제어 모듈과 통합된다. 일부 실시예에서, 디스플레이(202)중에 하나는 환자의 관강내 조직망의 3D 모델과 (가령, EM 센서 위치를 토대로 상기 모델 상의 내시경 선단의 가상 표현과 같은) 가상의 항행 정보를 보여줄 수 있고 디스플레이(202)의 다른 부분은 내시경(115)의 단부에 있는 카메라 또는 다른 감지 기기로부터 수신한 화상 정보를 보여준다. 일부 실시예에서, 사용자(205)는 상기 통합된 디스플레이(202)와 상기 제어 모듈을 이용해서 데이터를 볼 수 있을 뿐만 아니라 수술 로봇 시스템(110)으로 명령을 입력 할 수 있다. 디스플레이(202)는 3D 이미지를 2D로 렌더링(rendering)한 이미지 및/또는 3차원 이미지를 바이저(visor) 또는 고글과 같은 입체 장치를 사용해서 보여 줄 수 있다. 3차원 이미지는 환자의 해부학의 컴퓨터 3D 모델인 "엔도뷰(endo view)", 즉 내시경적 시야를 제공한다. "엔도뷰”는 환자의 몸 안의 가상 환경 및 환자 내부에서 내시경(115)의 예상 위치를 제공한다. 사용자(205)는 "엔도뷰” 모델을 실제 카메라로 캡쳐된 이미지와 비교함으로써 환경에 대해 적응하고 내시경(115)이 환자 내부에서 정확한 위치 또는 거의 정확한 위치에 있는지 여부를 확인할 수 있다. "엔도뷰”는 내시경(115)의 원위 단부 주변의 환자의 기도, 순환 혈관 또는 창자 또는 결장의 모양과 같은 해부학 구조에 대한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(115)의 원위 단부 주변의 해부학적 구조에 대해 3D 모델과 컴퓨터 단층 촬영(CT)을 동시에 보여줄 수 있다. 뿐만 아니라 디스플레이 모듈(202)은 내시경(115)의 기 결정된 항행 경로를 3D 모델과 CT 스캔에 중첩시켜 보여줄 수 있다.

일부 실시예에서, 내시경(115)의 모델은 수술 절차의 상태를 나타내는 것을 돕는 3D모델과 함께 보여진다. 예를 들어 CT스캔은 해부학 구조에서 생검(biopsy)이 필요할 수 있는 병변(lesion)을 확인해 준다. 수술이 진행되는 동안 디스플레이 모듈(202)은 내시경(115)의 현 위치와 대응하는 내시경(115)의 캡쳐 이미지를 참고로서 보여줄 수 있다. 디스플레이 모듈(202)은 사용자 설정과 특정 수술 절차에 따라 자동으로 내시경(115) 모델의 다른 시야를 보여줄 수 있다. 예를 들어 내시경(115)이 환자의 수술 부위로 근접해 가는 항행 절차 중에 디스플레이 모듈(202)은 내시경(115)의 오버 헤드 형광투시 뷰(overhead fluoroscopic view)를 보여준다.

도 3은 본 명세서에 기술된 촬상과 EM 감지 기능을 갖춘 도 1A 내지 1C의 내시경(115)과 같은 내시경 예시의 원위 단부(300)를 도시한다. 도 3에서, 내시경의 원위 단부(300)는 촬상 기기(315), 광원(310) 및 EM 센서 코일(305)의 선단을 포함한다. 상기 원위 단부(300)는 작업 채널(320)의 개구부(opening)를 더 포함하고, 이를 통해 생검 바늘, 생검 브러쉬, 및 집게와 같은 수술 기구가 내시경 샤프트를 따라 삽입될 수 있어서 내시경 선단 주변 부위에 접근성을 제공해준다.

광원(310)은 해부학적 공간의 부분을 밝힐 수 있는 광을 제공한다. 상기 광원은 각각 설정된 파장 또는 파장 대역의 광을 방출하도록 구성된 한 개 이상의 발광 장치일 수 있다. 상기 파장은 적합한 임의의 파장일 수 있고, 몇 가지 예로 가시 광선, 적외선, (가령, 형광투시를 위한) 엑스레이를 들 수 있다. 일부 실시예에서, 광원(310)은 원위 단부(300)에 위치한 발광 다이오드(LED)를 포함할 수 있다. 일부 실시예에서, 광원(310)은 내시경의 길이를 통해 연장되어 가령, 엑스레이 발전기와 같은 원격 광원으로부터 원위 단부(300)를 통해 광을 전송하는 한 개 이상의 광섬유 섬유를 포함 할 수 있다. 원위 단부(300)가 복수의 광원(310)을 포함하는 경우 이들은 서로 동일한 또는 다른 파장의 광을 방출하도록 각각 구성될 수 있다.

상기 촬상 장치(315)는 예를 들어, 전하 결합 소자(charge-coupled device, CCD) 또는 상보성 금속산화물 반도체(complementary metal-oxide semiconductor, CMOS) 영상 센서와 같이 수신한 광 에너지를 전기 신호로 변환 시키도록 구성된 임의의 감광성 기질 또는 구조를 포함할 수 있다. 촬상 장치(315)의 일부 예들은 화상을 내시경의 원위 단부(300)에서 내시경 근위 단부의 접안렌즈 및/또는 영상 센서로 전송하도록 구성된 가령, 섬유 광학 다발과 같은 한 개 이상의 광학 섬유를 포함할 수 있다. 촬상 장치(315)는 다양한 광학 설계에 따라 요구되는 한 개 이상의 렌즈 및/또는 파장 통과(pass) 또는 차단(cutoff) 필터를 추가적으로 포함할 수 있다. 광원(310)으로부터 방출된 광을 통해 촬상 장치(315)는 환자의 관강내 조직망 내부의 화상을 캡쳐할 수 있다. 이 화상들은 그 다음 개별적인 프레임 또는 (가령, 비디오와 같은) 일련의 연속적인 프레임으로 명령 콘솔(200)과 같은 컴퓨터 시스템으로 전송되어 본 명세서에서 설명된 바와 같이 처리된다.

상기 원위 단부(300)에 위치한 전자기 코일(305)은 전자기추적 시스템과 함께 사용되어 내시경이 해부학적 시스템 안에 배치되어 있는 동안 상기 원위 단부(300)의 위치와 방향을 감지할 수 있다. 일부 실시예에서, 코일(305)은 전자기장의 감도를 제공하기 위해 다른 축을 따라 기울여질 수 있고, 이를 통해, 개시된 항행 시스템은 완전한 자유도 6, 즉,위치 자유도3, 각도 자유도3을 측정할 수 있다. 다른 실시예에서, 단일 코일만 내시경의 내시경 샤프트를 따라 축이 배향된 원위 단부(300)에 또는 그 안에 배치 될 수 있다. 전술한 시스템의 회전대칭(rotational symmetry) 때문에 축을 따라 롤 하는 것에 둔감하므로 이러한 구현의 경우 5개의 자유도 만이 감지될 수 있다.

도 4는 본 명세서에 기술된 항행 융합 시스템(400) 예시의 개략 블록도를 도시한다. 더 상세하게 후술되듯이, 프레임워크(400)를 사용해서, 여러 개의 다른 소스의 데이터는 수술 절차 중에 결합되고 반복적으로 분석되어 수술 기구 (예를 들어, 내시경)의 환자의 관강내 조직망 안에 실시간 움직임 정보 추정값 및 위치/방향 정보를 제공해서 항행 결정을 내릴 수 있도록 한다. 상기 시스템(400)은 호흡 센서 데이터 저장소(405), 내시경 EM 센서 데이터 저장소(415), 정합 데이터 저장소(475), 모델 데이터 저장소(425), 내시경 촬상 데이터 저장소(480), 항행 경로 데이터 저장소(445), 안전 구역 데이터 저장소(455), 및 로봇 위치 데이터 저장소(470)을 포함해 여러 개의 데이터 저장소를 포함한다. 아래 설명의 명확성을 위해 도 4에서는 데이터 저장소가 따로따로 도시되었으나 일부 또는 모든 저장소는 단일 메모리 또는 메모리 세트에 함께 저장될 수 있다는 것을 이해할 수 있을 것이다. 상기 시스템(400)은 또한 호흡 빈도 및/또는 단계 식별기(410), 내시경 위치 추정기(420), 정합 산출기(465), 위치 산출기(430), 화상 분석기(435), 상태 추정기(440), 안전 모드 제어기(450), 및 항행 제어기(460)를 포함해 여러 개의 처리모듈을 포함한다. 각 모듈은 메모리에 저장된 컴퓨터 판독 가능한 명령어 세트와 아래 설명된 기능을 함께 수행하는 명령어로 구성된 한 개 이상의 프로세서를 나타낼 수 있다. 상기 항행 융합 시스템(400)은 한 개 이상의 데이터 저장 장치와 한 개 이상의 하드웨어 프로세서로, 예를 들어, 제어 및 센서 전자기기(184) 및/또는 상술된 콘솔 베이스(201)에서 구현될 수 있다.

호흡 센서 데이터 저장소(405)는 호흡 센서로부터 얻은 데이터를 저장하는 데이터 저장 장치이다. 상술한 바와 같이, 호흡 센서는 EM 센서(들)(130), 음향 호흡 센서, 관강내 조직망의 화상 캡쳐를 위한 시야를 확보한 영상 센서 및 인공호흡기의 팽창/이완 정보를 포함할 수 있다. 일부 실시예에서, 상기 호흡 센서는 여러 개의 EM 센서(130)로 구성될 수 있으며, 호흡 센서 데이터 저장소(405)의 데이터는 각 센서마다 시간의 흐름에 따라 전자기장 안에 센서의 위치를 나타내는 시간 종속적 위치 데이터를 포함할 수 있다. 예를 들어, 각 센서의 데이터는 (x, y, z, t_n) 형태의 튜플(tuple)로 저장될 수 있고, 여기서 x, y, z는 시간 t_n에 대한 센서의 전자기장 내 좌표를 표현한다. 호흡 센서 데이터 저장소(405)는 여러 다른 시간에 대응하는 각 센서의 이러한 다수의 튜플을 저장할 수 있다.

호흡 빈도 및/또는 단계 식별기(410)는 호흡 센서 데이터 저장소(405)로부터 데이터를 수신하고 해당 데이터를 분석해서 호흡의 빈도 및/또는 단계를 산출하도록 구성된 모듈이다. 빈도는 예를 들어, 연속적인 흡기와 호기 주기와 같은 연속적인 단계 사이의 시간 간격을 지칭한다. 단계란 호흡 주기가 (가령, 환자가 숨을 들이마시는 동안의) 흡기 단계에 있는지 또는 (가령, 환자가 숨을 내쉬는 동안의) 호기 단계에 있는지를 지칭한다. 일부 실시예는 푸리에 변환(Fourier transform)을 사용해서 호흡 센서 데이터로부터 다양한 실시예들에서 한 개 또는 모든 센서의 데이터를 사용해 호흡의 빈도를 추출할 수 있다.

내시경 EM 센서 데이터 저장소(415)는 내시경의 원위 단부의 EM 센서로부터 얻은 데이터를 저장하는 데이터 저장 장치이다. 상술된 바와 같이, 이러한 센서는 EM 센서(125)와 EM 센서 코일(305)을 포함할 수 있고, 결과 데이터는 전자기장 내 센서의 위치와 방향을 식별하는데 사용될 수 있다. EM 호흡 센서의 데이터와 유사하게, 내시경 EM 센서의 데이터는 (x, y, z, t_n) 형태의 튜플로 저장될 수 있고, 여기서 x, y, z는 시간 t_n에 대한 센서의 전자기장 내 좌표를 표현한다. 일부 실시예는 EM 센서 튜플에 기구의 롤, 피치, 요를 더 포함할 수 있다. 내시경 EM 센서 데이터 저장소(415)는 여러 다른 시간에 대응되는 각 내시경 기반 센서의 이러한 다수의 튜플을 저장할 수 있다.

내시경 위치 추정기(420)는 내시경 EM 센서 데이터 저장소(415) 및 일부 실시예의 경우 호흡 빈도 및/또는 단계 식별기(410)로부터 추가적으로 데이터를 수신하는 모듈이며, 해당 데이터를 사용해서 내시경 EM 센서로부터 수신된 신호에서 환자의 관광내 조직망의 주기적인 움직임으로 인한 "노이즈"를 감소시킨다. 예를 들어, 일 실시예에서 내시경 위치 추정기(420)는 결정된 호흡 빈도를 기초해서 필터를 생성하고 내시경 EM 센서의 데이터에 상기 필터를 적용시킬 수 있다. 또 다른 실시예에서, 내시경 위치 추정기(420)는 호흡 동안에 한 개 이상의 호흡 센서의 변위 크기를 식별할 수 있고 상기 변위 값을 내시경 EM 센서 데이터가 나타내는 위치에 편향(bias)으로 적용할 수 있다. 이는 동적으로, 예를 들어, 시간 t_n에 대한 호흡 센서 변위를 식별하고 그 값을 시간 t_n에 대한 내시경 위치에 편향으로 적용, 시간 t_n+1에 대한 다음 호흡 센서 변위를 식별하고 그 값을 시간 t_n+1 에 대한 내시경 위치에 편향으로 적용하는 등과 같이 수행될 수 있다.

모델 데이터 저장소(425)는 환자의 관강내 조직망 모델을 표현하는 데이터를 저장하는 데이터 저장 장치이다. 예로써, 환자의 폐 CT 스캔을 촬영하는 수술전 절차가 수행될 수 있고 컴퓨터 시스템은 환자의 폐의 3D 모델을 만들기 위해 이 스캔 데이터를 활용할 수 있다. 이러한 모델은 일부 예의 경우, 환자 기도의 지형 및/또는 지름과 같은 관강내 조직망의 구조 및 연결성 대한 3D 정보 제공할 수 있다. 일부 CT 스캔은 환자의 기도가 최대의 지름으로 확장된 상태가 될 수 있도록 호흡을 멈춘 상태에서 촬영된다.

정합 산출기(465)는 (모델 생성을 위해 사용된 CT 스캔의 좌표 프레임과 같은) 3D 모델 좌표 프레임과 (전자기장 발생기(120)와 같은) 전자기장 좌표 프레임간의 정합 또는 매핑을 식별할 수 있는 모듈이다. 환자의 해부학 구조를 통과하는 센서를 추적하기 위해, 항행 융합 시스템(400)은 "정합"으로 알려진 과정이 필요할 수 있고, 이 과정을 통해 정합 산출기(465)는 서로 다른 좌표 시스템 사이에 단일 객체를 정렬하기 위한 좌표 변환을 산출한다. 예를 들어, 환자의 특정 해부학 부위는 3D 모델 좌표 그리고 또한 EM 센서 좌표로 표현될 수 있다. 초기 정합을 산출하기 위해, 정합 산출기(465)의 일 실시예는 2016년 9월 17일에 "관강형 조직망의 항행(Navigation of Tubular Networks)"이라는 제목으로 출원된 미국 특허 출원 제 15/268,238호에서 설명된 정합을 수행할 수 있으며, 상기 발명은 본 명세서에서 참조로서 병합된다. 실행 가능한 정합 기술의 하나의 예로, 정합 산출기(465)는 환자의 기도안으로 내시경이 삽입될 때 여러 다른 지점에서, 예를 들어, 내시경이 다양한 분기에 도달할 때 내시경 촬상 데이터 저장소(480)와 내시경 EM 센서 데이터 저장소(415)로부터 데이터를 수신한다. 상기 화상 데이터는 예를 들어, 자동 특징 분석(automated feature analysis)을 통해, 내시경의 원위 단부가 분기에 언제 도달했는지 식별하는데 사용될 수 있다. 상기 정합 산출기(465)는 내시경 EM 센서 데이터 저장소(415)로부터 데이터를 수신해서 내시경이 분기에 위치할 때 내시경의 원위 단부에 있는 EM 센서의 위치를 식별할 수 있다. 일부 예시들은 분기뿐만 아니라 환자 기도의 다른 지점들을 사용할 수 있으며, 이러한 지점들을 기도의 "줄기" 모델에 대응점으로 매핑시킬 수 있다. 정합 산출기(465)는 상기 전자기장과 모델간의 좌표 변환을 식별하기 위해 적어도 3개의 EM 위치를 상기 모델의 지점으로 연결하는 데이터를 사용할 수 있다. 또 다른 실시예는, 예를 들어, 환자 기도의 제1 분기, 그리고 왼쪽과 오른쪽 폐에 분기 두 개로부터 적어도 3개를 사용하는 수동적인 정합을 포함할 수 있으며, 상기 대응점들을 사용해서 정합을 산출할 수 있다. 좌표 변환을 수행하기 위한 상기 데이터는 (또한 정합 데이터로 지칭됨) 정합 데이터 저장소(475)에 정합 데이터로서 저장될 수 있다.

초기 정합이 결정된 후, 정합 산출기(465)는 변환 정확도를 높이고 가령, 환자의 움직임에 따른 항행 시스템에 변화를 보상하기 위해 수신한 데이터를 기초로 정합 변환의 추정을 갱신할 수 있다. 일부 측면에서, 정합 산출기(465)는 정해진 간격으로 및/또는 관강내 조직망 안에서의 내시경 (또는 그것의 구성요소(들))의 위치에 따라 지속적으로 정합 변환의 추정을 갱신할 수 있다.

정합 데이터 저장소(475)는 앞서 설명한 바와 같이, 전자기장의 좌표 프레임에서 모델의 좌표 프레임으로 좌표 변환을 수행하는데 사용되는 정합 데이터를 저장하는 데이터 저장 장치이다. 또한 앞서 설명된 바와 같이, 정합 데이터는 정합 산출기(465)에 의해 생성될 수 있으며 일부 실행에서는, 지속적으로 또는 주기적으로 갱신 될 수 있다.

위치 산출기(430)는 모델 데이터 저장소(425), 정합 데이터 저장소(475), 내시경 위치 추정기(420)로부터 데이터를 수신해서 EM 센서 좌표를 3D 모델 좌표로 변환시키는 모듈이다. 내시경 위치 추정기(420)는 앞서 설명한 바와 같이, 전자기장 발생기의 위치에 대한EM 센서의 최초 위치를 산출한다. 상기 위치는 또한 3D 모델 상의 위치와 대응된다. EM 센서의 초기 위치를 EM 좌표 프레임에서 모델 좌표 프레임으로 변환하기 위해 위치 산출기(430)는 정합 데이터 저장소(475)에 저장된 EM 좌표 프레임과 (가령, 정합 데이터와 같은) 모델 좌표 프레임 간의 매핑에 접근할 수 있다. 내시경의 위치를 3D 모델 좌표 프레임으로 변환하기 위해, 위치 산출기(430)는 입력으로, 3D 모델의 지형을 표현하는 데이터를 모델 데이터 저장소(425)로부터, 전자기장과 3D 모델의 좌표 프레임간의 정합을 표현하는 데이터를 정합 데이터 저장소(475)로부터, 및 전자기장내 내시경의 위치를 내시경 위치 추정기(420) 로부터 수신한다. 일부 실시예는 또한 이전 상태 추정 데이터를 상태 추정기(440)로부터 수신할 수 있다. 상기 수신 데이터를 기초로, 위치 산출기(430)는 가령, 온-더-플라이(on-the-fly)방식으로 EM 센서 위치 데이터를 3D 모델 상의 위치로 변환 할 수 있다. 이는 상기 내시경의 원위 단부의 3D 모델 지형 내 위치에 대한 예비 추정을 나타내며 하나의 입력값으로서 상태 추정기(440)로 제공되어 상기 내시경 위치의 최종 추정을 생성하는데 사용될 수 있고, 이는 아래에서 더 자세히 설명된다.

내시경 촬상 데이터 저장소(480)는 예를 들어, 촬상 장치(315)와 같은 내시경의 카메라로부터 수신한 화상 데이터를 저장하는 데이터 저장 장치이다. 상기 화상 데이터는 다양한 실시예에서 이산적인(discrete) 화상 또는 연속적인 화상 프레임으로 구성된 비디오 시퀀스일 수 있다.

화상 분석기(435)는 내시경 촬상 데이터 저장소(480)와 모델 데이터 저장소(425)로부터 데이터를 수신하고 이 데이터를 비교해서 내시경의 측위(positioning)를 결정하는 모듈이다. 예를 들어, 화상 분석기(435)는 용적 재구성(volume-rendered) 또는 표면 재구성(surface-rendered)된 기도 트리(airway tree)의 내강 화상을 상기 모델 스캔으로부터 접근 할 수 있으며 상기 재구성된 화상을 촬상 장치(315)가 촬영한 실시간 화상 또는 비디오 프레임과 비교할 수 있다. 예를 들어, 화상은 (가령, 파웰 최적화(Powell's optimization), 단체법(simplex methods) 또는 구배법(gradient methods), 정규화된 상호상관계(normalized cross correlation) 또는 상호정보(mutual information)를 비용으로 하는 경사하강법 알고리즘("gradient descent algorithms")을 사용해서) 정합될 수 있고, 그런 다음, 제곱차의 가중치를 더한 정규화 합 (weighted normalized sum of square difference) 오차와 정규화된 상호 정보(normalized mutual information)를 사용해 상기 두 개의 출처로부터 취득한 정합된 화상을 비교할 수 있다. 스캔의 2D 화상과 내시경을 통해 수신한 2D 화상간의 유사성은 내시경이 스캔 화상의 위치에 가까이 배치해있다는 것을 나타낸다. 이러한 화상-기반 항행은 환자의 기도 분기에서 로컬 정합을 수행할 수 있어서 환자의 호흡 동작으로 인한 노이즈에 EM 추적 시스템보다 덜 민감할 수 있다. 하지만 화상 분석기(435) 내시경 영상에 의존하기 때문에, 분석은 환자의 기침 또는 점액 폐쇄 때문에 화상에 형성된 허상에 영향을 받을 수도 있다.

화상 분석기(435)는 일부 실시예에서, 객체 물체 인식 기술(object recognition techniques)을 구현할 수 있으며, 이를 통해 화상 분석기(435)는 분지 개구부, 병변, 또는 입자와 같은 화상 데이터의 시야에 존재하는 물체를 감지 할 수 있다. 물체 인식을 사용해서, 화상 분석기는 식별된 물체가 무엇인지 뿐만 아니라, 물체의 위치, 방향 및/또는 크기에 대한 정보를 나타내는 물체 데이터를 확률로 출력할 수 있다. 하나의 예로써, 물체 인식은 관강내 조직망 내 분지점을 나타내는 물체를 감지하는데 사용될 수 있고 그 다음 그 물체들의 위치, 크기 및/또는 방향을 결정할 수 있다. 일 실시예에서, 관강내 조직망 내부의 특정 화상에서 각각의 분지는 일반적으로 어둡고 대략 타원의 영역으로 나타나며, 이 영역은 최대 안정 극단 영역(maximally stable extremal regions, MSER)과 같은 영역 검출 알고리즘을 사용해서 프로세서에 의해 자동적으로 물체로 감지될 수 있다. 화상 분석기(435)는 기도를 식별하기 위해 광반사 강도(light reflective intensity)와 다른 기술을 결합해서 사용 할 수 있다. 추가로, 화상 분석기(435)는 연속적인 화상 프레임 세트에 걸쳐 감지된 물체를 추적할 수 있어서 관강내 조직망의 여러 가능 분지 세트 중 어느 분지로 진입했는지 감지할 수 있다.

로봇 위치 데이터 저장소(470)는 데이터 저장 장치로 수술 로봇 시스템(110)으로부터 수신한 로봇 위치 데이터, 예를 들어, 관강내 조직망 안에서 수술 로봇 시스템(110)에 의한 의료 기구 또는 (의료기구 선단 또는 원위 단부와 같은) 의료 기구 일부의 물리적인 움직임과 관련된 데이터를 저장한다. 로봇 위치 데이터의 예는 가령, 관강내 조직망 안에서 기구 선단이 특정 해부 부위까지 도달하거나 및/또는 (내시경 기구의 리더와 쉬스 중 하나 또는 둘 다의 구체적인 피치, 롤, 요, 삽입 및 수축 정보로) 방향을 바꾸도록 지시하는 명령 데이터, (기구 선단 또는 쉬스와 같은) 의료 기구 일부의 삽입 움직임을 나타내는 삽입 데이터, IDM 데이터 및, 예를 들어, 관강내 조직망 안에서 내시경의 실제 움직임을 구동하는 한 개 이상의 내시경의 풀-와이어, 텐던(tendon) 또는 샤프트의 동작과 같은 의료 기구의 세장형 부재의 기계적인 움직임을 나타내는 기계 데이터를 포함한다.

항행 경로 데이터 저장소(445)는 표적 조직 부위까지 관강내 조직망을 통과하는 기 계획된 항행 경로를 표현하는 데이터를 저장하는 데이터 저장 장치이다. 환자 신체의 관강내 조직망 내 특정 지점까지 항행하려면 수술 전 특정 절차를 수행해서 관강형 조직망의 3D 모델을 생성하고 그 모델 내 항행 경로를 결정하기 위해 필요한 정보를 생성하는 것이 요구될 수 있다. 상술한 바와 같이, 3D 모델은 환자 기도의 특정 부분의 지형과 구조에 대해 생성될 수 있다. 표적은, 예를 들어, 생검할 병변이나 수술적인 치료가 필요한 기관 조직의 일부가 선택될 수 있다. 일 실시예에서, 사용자는 3D 모델이 보여지는 컴퓨터 디스플레이 상에서 마우스 클릭 또는 터치스크린을 건드리는 것 같은 인터페이스를 통해 표적 위치를 선택할 수 있다. 일부 실시예에서, 항행 경로는 프로그램적으로 상기 모델과 식별된 병변 부위를 분석해서 병변까지의 최단 탐색 경로를 도출할 수 있다. 일부 실시예에서, 경로는 의사에 의해 확인되거나 또는 의사가 자동으로 식별된 경로를 수정할 수도 있다. 항행 경로는 확인된 표적에 도달하기까지 거쳐 가야 하는 관강내 조직망 내 분지의 순서를 식별할 수 있다.

상태 추정기(440)는 입력을 수신하고 분석해서 의료 기구의 상태를 결정하는 모듈이다. 예를 들어, 상태 추정기(440)는, 입력으로, 호흡 빈도 및/또는 단계 식별기(410), 내시경 위치 추정기(420), 위치 산출기(430), 화상 분석기(435), 항행 경로 데이터 저장소(445), 및 로봇 위치 데이터 저장소(470)로부터 데이터를 수신할 수 있다. 상태 추정기(440)는 상기 제공된 입력값에 대해 확률론적 해석(probabilistic analysis)을 구현해서 관강내 조직망 안에 의료 기구의 상태와 그에 대응되는 확률을 결정한다. 추정 상태는 (1) 관강내 조직망 모델의 좌표 프레임에 대한 기구의 x,y,z 위치, (2) 기구가 모델의 특정 부위, 예를 들어, 특정 기도의 분지 또는 미리 식별된 안전 구역 안에 위치하는지 여부 (3) 기구의 피치, 롤, 요, 삽입 및/또는 수축, 및 (4) 표적까지의 거리 중 한 개 또는 이상을 나타낸다. 상태 추정기(440)는 기구 (또는 기구의 원위 단부)의 추정 상태를 시간 함수로 제공할 수 있다.

일부 실시예에서, 상태 추정기(440)는 베이지안 프레임워크(Bayesian framework)을 구현해서 상태와 그에 대응되는 확률을 결정한다. 베이지안 확률 분석(probabilistic Bayesian analysis) 은 사전 확률(prior)이라고 불리는 신뢰(belief)로 시작하고, 그 다음 관찰 데이터를 이용해 그 신뢰를 갱신한다. 사전 확률은 베이지안 모델 모수(parameter)가 어떠한 값을 가질지 추정한 것을 나타내며 모수의 분포로 표현될 수 있다. 관찰데이터는 모수의 실제 값에 대한 증거를 얻기 위해 수집될 수 있다. 베이지안 분석의 결과는 사후확률이라 불리며 어떤 사건을 신뢰의 정도로 표현하는 확률적인 분포를 나타낸다. 만약 추가 데이터가 수집된다면, 사후 확률은 사전확률로 취급되고 새로운 데이터를 이용해 갱신될 수 있다. 이 과정은 조건부 확률, 예를 들어, 사건 B가 일어난 것을 전제로 사건 A가 일어날 확률을 찾아주는 베이즈 정리(Bayes rule)를 적용한다.

개시된 항행 융합 시스템(400)과 관련해서, 상태 추정기(440)는 이전 추정 상태 데이터를 사전확률로 사용할 수 있고, 호흡 빈도 및/또는 단계 식별기(410), 내시경 위치 추정기(420), 위치 산출기(430), 화상 분석기(435) , 항행 경로 데이터 저장소(445) 및/또는 로봇 위치 데이터 저장소(470)로부터의 입력을 관찰데이터로 사용할 수 있다. 시술 시작 시, 시각 기반 초기화 기술(vision-based initialization technique)을 사용해 기관 내 최초 깊이와 롤을 추정할 수 있으며, 이 추정값은 사전 확률로 사용될 수 있다. 상태 추정기(440)는 사전 확률과 관찰 데이터에 베이지안 확률 분석을 적용해 여러 가능 상태 각각의 확률 및 신뢰값을 나타내는 사후 분포(posterior distribution)를 산출할 수 있다.

"확률 분포"의 "확률"은 본 명세서에서 사용될 때, 의료 기구의 가능 위치 및/또는 방향 추정이 정확할지에 대한 가능성을 지칭한다. 예를 들어, 관강내 조직망 내 다른 여러 가능 분지들 중 한 곳에 의료 기구가 있을 상대적 가능성을 나타내는 여러 다른 확률들이 하나의 알고리즘 모듈에 의해 산출될 수 있다. 일 실시예에서, (이산형 분포(discrete distribution) 또는 연속적 분포(continuous distribution)와 같은) 확률 분포의 종류는 (추정 상태의 종류, 예를 들어, 연속적 위치 정보 대 이산적 분지 선택과 같은) 추정 상태의 특성에 맞춰 선택된다. 일 예로, 의료 기구가 삼분기 중 어느 분절에 있는지를 식별하기 위한 추정 상태는 이산확률분포로 나타낼 수 있고, 알고리즘 모듈 중 하나에 의해 결정되어 3개의 분지 중 각 위치에 있을 가능성을 나타내는3개의 이산 값, 20%, 30%, 50%을 포함할 수 있다. 또 다른 예로, 추정 상태는 의료 기구의 롤 각도 40 ± 5도와 분지 안에 기구 선단의 분절 깊이 4 ± 1 mm를 포함할 수 있고, 이는 각각 연속확률분포의 종류인 가우시안 분포(Gaussian distribution)로 표현될 수 있다.

반면, "신뢰 값"은 본 명세서에서 사용될 때, 한 개 이상의 요소를 기반으로 도 4의 모듈 중 하나에 의해 제공된 상태 추정값에 대한 신뢰도를 반영한다. EM 기반 모듈의 경우, 전자기장 왜곡, 전자기 정합의 부정확성, 환자의 이동이나 움직임, 및 환자의 호흡과 같은 요소들이 상태 추정값의 신뢰도에 영향을 미칠 수 있다. 특히, EM 기반 모듈에 의해 제공되는 상태 추정의 신뢰 값은 환자의 특정 호흡 주기, 환자 또는 전자기장 발생기의 움직임, 및 기구 선단이 위치한 해부학적 위치에 따라 달라질 수 있다. 화상 분석기(435)의 경우, 상태 추정의 신뢰 값에 영향을 줄 수 있는 요소들로는, 예를 들어, 해부학 내부의 화상이 캡쳐되는 위치의 조도 상태, 화상을 캡쳐하는 광학 센서에 대향하는 또는 앞쪽에 위치한 유체, 조직, 또는 그 외 장애물들, 환자의 호흡, 관형 조직망 내 전반적인 유체의 상태와 관형 조직망의 폐색과 같이 환자의 (폐와 같은) 관형 조직망 자체의 상태, 및 예를 들어, 항행 또는 촬상에 사용된 특정 작동 기법이 포함된다.

예를 들어, 한 요소는 특정 알고리즘의 경우 환자의 폐 내부에서 깊이의 차이에 따라 정확성의 정도가 달라질 수 있고, 가령, 기도 입구에 비교적 가까울 때, 특정 알고리즘은 의료기구의 위치 및 방향 추정에 높은 신뢰 값을 갖는 반면 의료기구가 폐 아래쪽으로 더 깊이 이동할수록 신뢰 값은 낮아질 수 있다. 일반적으로, 신뢰 값은 결과를 결정하는 과정과 관련된 한 개 이상의 체계적 요인(systemic factor)을 기반으로 하는 반면 확률은 기초 데이터를 기반으로 단일 알고리즘으로 나온 복수의 확률 중에서 정확한 결과를 결정하려는 시도를 통해 발생하는 상대적인 측정값이다.

일 예로, 추정 상태 결과를 이산확률분포로 (가령, 연관된 3개의 추정 상태 값으로 삼분기의 분지/분절 식별 값을) 나타내는 계산 수학식은 다음과 같다:

;

.

상기 수학식의 예에서,

는 세개의 가능 분지가 식별되었거나 3D 모델에 나타난 경우 가능한 추정 상태의 값의 예를 나타내며,

,

은 EM 기반 알고리즘, 화상 기반 알고리즘, 로봇 기반 알고리즘에 해당되는 신뢰 값을 각각 나타내며,

,

은 분지 i의 확률을 나타낸다. 이러한 융합 알고리즘의 확률적 특성 때문에 호흡은 지연 및 특이치 교란을 극복하기 위해 시간에 걸쳐 추적되고 심지어 예측 될 수 있다.

일부 실시예에서, 내시경 위치 추정기(420), 정합 산출기(465) 및 화상 분석기(435)의 데이터에 대한 신뢰 값은 호흡 빈도 및/또는 단계 식별기(410)에서 확인된 호흡 단계를 기반으로 순응적으로 결정될 수 있다. 예를 들어, 로봇 위치 데이터와 화상 데이터가 호흡에 따른 움직임으로부터 받는 영향은 EM 센서 데이터와는 다를 수 있다. 일부 실시예에서, 내시경 촬상 데이터 저장소(480)로부터 취득한 시각 데이터는 관강내 조직망 외부에 위치된 센서를 통해서는 감지될 수 없는 특정 종류의 호흡 동작, 예를 들어, 시각 처리를 통해 포착될 수 있는 기도의 두미(cranial-caudal)(뒤-앞) 방향 움직임을 탐지하기 위해 사용될 수 있다.

안전 구역 데이터 저장소(455)는 기구 삽입 중 특별한 경고가 발해져야 하는 영역 및/또는 상태를 나타내는 데이터를 저장하는 데이터 저장 장치이다. 예를 들어, 상술한 바와 같이 3D 모델은 기도 지름과 관련된 정보를 포함할 수 있다. 관강내 조직망의 분지의 지름이 내시경의 지름보다 작거나 같은 또는 기 설정된 내시경 지름의 임계치 (가령, 1-2 mm, 약 4 mm, 또는 다른 임의의 임계 거리) 이내이면 안전 구역으로 지정될 수 있다. 이러한 설정은 일부 실시예의 경우, 프로세서에 의해 지름의 비교를 통해 프로그램적으로 이뤄질 수 있다. 또 다른 예로, 환자 호흡의 호기 단계 또는 호기부터 시작해서 흡기의 중간까지의 전환 단계(transition phase)와 같이 환자의 기도가 수축될 것으로 예상되는 환자 호흡 주기의 특정 단계가 안전 "구역"으로 지정될 수 있다. 일부 실시예에서, 상기 임계치는 기구의 크기, 제어된 움직임의 제어 공차(control tolerances), 사용자 환경 설정, 등을 포함한 요소를 기반으로 설정될 수 있다. 안전 구역 데이터 저장소(455)는 일부 실시예에서 다양한 안전 구역에서 로봇 시스템의 작동 및/또는 제한과 관련된 명령어를 저장할 수 있다.

안전 모드 제어기(450)는 여러 개의 입력을 수신해서 안전 모드의 활성화 여부를 결정하는 모듈이다. 예를 들어, 안전 모드 제어기(450)는 안전 구역 데이터 저장소(455)의 데이터, 호흡 빈도 및/또는 단계 식별기(410)의 호흡 단계 데이터, 및 상태 추정기(440)의 추정 상태 출력을 입력으로 수신할 수 있다. 안전 모드 제어기(450)는 호흡 단계와 추정 상태를 안전 구역 저장소의 데이터와 비교해서 안전 모드를 활성화 시킬지 결정할 수 있다.

항행 제어기(460)는 안전 모드 제어기(450)로부터 데이터를 수신하고 이 데이터를 사용해서 수술 로봇 시스템(110)의 추가적인 작동을 유도하는 모듈이다. 예를 들어, 안전 모드가 활성화되면, 항행 제어기(460)는 안전 모드 제어기(450)로부터 구체적인 디스플레이 명령어 및/또는 IDM 작동 명령어에 관한 데이터를 수신할 수 있다. 안전 모드가 비활성화되면, 항행 제어기(460)는 안전 모드 제어기(450)로부터 추정 상태와 항행 경로 데이터에서 식별된 모든 다음 움직임에 대한 데이터를 수신할 수 있다.

항행 기술 사례의 개요

본 발명의 하나 이상의 측면과 부합하여, 도 5는 본 명세서에 기술된 바와 같이 관강내 조직망의 움직임으로 인한 노이즈를 기구 위치 추정에서 걸러내는 프로세스(500) 사례의 흐름도를 도시한다. 프로세스(500)는 도 4의 항행 융합 시스템(400), 도 1의 제어 및 센서 전자기기(184) 및/또는 도 2의 콘솔 베이스(201), 또는 이것들의 구성요소(들)에서 구현될 수 있다.

블록(505)에서, 위치 산출기(430)는 예를 들어, 모델 데이터 저장소(425)로부터 환자의 관강내 조직망의 모델에 접근할 수 있다. 예를 들어, 상기 모델은 일부 구현의 경우, CT 스캔을 통해 생성된 환자 기도의 분할된 지도일 수 있다. 상기 모델은 환자의 실제 관강내 조직망 (또는 관강내 조직망의 부분)의 2차원 또는 3차원 표현 중에 하나일 수 있다.

블록(510)에서, 내시경 위치 추정기(420)는 데이터를 기구 센서(들), 예를 들어, 내시경 EM 센서 데이터 저장소(415)로부터 수신할 수 있고, 호흡 빈도 및/또는 단계 식별기(410)는 데이터를 호흡 센서(들), 예를 들어, 호흡 센서 데이터 저장소(405)로부터 수신할 수 있다. 앞서 설명한 바와 같이, 상기 내시경 센서 데이터는 내시경에 있는 EM 센서로부터 얻어질 수 있으며 관강내 조직망 주변에 생성된 전자기장 안에 내시경 원위 단부의 위치 및/또는 방향을 제공할 수 있고, 호흡 센서 데이터는 관강내 조직망의 움직임을 감지하기 위해 위치된 센서에 의해 생성될 수 있다.

블록(515)에서, 위치 산출기(430)는 모델에 대한 기구의 위치를 추정할 수 있다. 예를 들어, 의료 시술을 시작할 때, 정합의 과정에서 모델의 좌표 프레임은 전자기장의 좌표 프레임으로 매핑될 수 있다 (상기 정합 산출기(465)와 정합 데이터 저장소(475)관련 설명 확인). 위치 산출기(430)는 (정합 데이터를 통한) 상기 매핑과 장 안에 센서 위치의 좌표를 함께 사용해서 모델 안에 기구 센서 위치의 초기 추정치를 생성할 수 있다. 하지만, 상술한 바와 같이, 호흡 중에 발생하는 환자 기도의 움직임 때문에 모델의 전자기장 좌표 프레임에 대한 초기 정합은 전자기장 안에 환자 기도의 역동적인 실제 위치를 정확하게 반영하지 못할 수 있다. 기구는 역동적으로 움직이는 기도 중 하나에 위치하기 때문에, 전자기장 내에서의 기도의 위치가 모델에 매핑된 해당 기도의 위치와 달라질 경우, 블록(515)에서 추정된 위치는 가령, 기구의 추정 위치의 호흡 동작 허상/요소로 인해 정확하지 않을 수 있다.

블록(520)에서, 호흡 빈도 및/또는 단계 식별기(410)는 호흡 센서(들)의 데이터로부터 호흡의 빈도를 추출할 수 있고, 예를 들어, 푸리에 변환을 사용해서 호흡 빈도를 추출할 수 있다. 푸리에 변환은 복수의 호흡 센서를 포함하는 실시예에서 한 개 이상의 센서 데이터에 적용될 수 있다.

블록(525)에서, 관강내 조직망의 주기적 움직임을 보상하기 위해 위치 산출기(430) 및/또는 내시경 위치 추정기(420)는 필터링 단계(535)를 구현해서 식별된 호흡 빈도에 기초해 기구와 모델 중 한 개 또는 둘 다의 위치를 조정할 수 있다. 필터링 단계(535)의 다양한 구현이 도 6A 내지 6C와 관련하여 더 자세히 설명된다.

블록(530)에서, 상태 추정기(440)는 기구 위치의 표시를 출력할 수 있다. 출력값은 수술 로봇 시스템(110)과 같은 항행 시스템이나 디스플레이(202)와 같은 사용자 인터페이스로 또는 둘 다로 제공될 수 있다. 일부 실시예에서, 상기 표시는 기구의 추정 상태를 결정하는데 사용되기 위해 상태 추정기(440)로 출력될 수 있다.

도 6A 내지 6C는 도 5의 필터링 단계(535) 에 사용될 수 있는 다양한 프로세스 예의 흐름도를 도시한다. 도 6A 내지 도 6C의 프로세스는 도 4의 항행 융합 시스템(400), 도 1의 제어 및 센서 전자기기(184) 및/또는 도 2의 콘솔 베이스(201), 또는 이것들의 구성요소(들)에서 구현될 수 있다.

도 6A를 보면, 필터링 단계(535)에서 사용될 수 있는 한 예시 프로세스(600A)가 도시된다. 블록(605)에서, 내시경 위치 추정기(420)는 식별된 호흡 빈도를 기초로 필터를 설계할 수 있다. 상술한 바와 같이, 일부 실시예에서 환자 기도의 모델은 숨을 멈춘 상태에서 생성될 수 있다. 이와 같이, 숨을 멈춘 상태에서 상기 모델이 생성된 것에 대응하여, 필터는 최대 흡기 상태 동안에 기구 EM 센서의 데이터를 선택하도록 설계된 대역 통과(band-pass) 또는 대역 소거(band-stop) 필터일 수 있다.

블록(610)에서, 내시경 위치 추정기(420)는 기구 EM 센서의 데이터에 블록 (605)에서 설계된 필터를 적용해 데이터의 일부를 필터링할 수 있다. 이렇게 함으로써, 프로세스(600A)는 일반적으로 "노이즈"로 간주되며 3D모델과의 부정확한 정합을 초래할 수 있는 EM 센서 신호의 일부를 필터링할 수 있다. EM 센서의 위치가 정적인 3D 모델에 정합되기 때문에, 모델이 생성될 때의 호흡 상태와 다른 호흡 상태에서 발생한 신호의 일부를 필터링함으로써 정합의 정확도를 높일 수 있다.

도 6B를 보면, 필터링 단계(535)에서 사용될 수 있는 또 다른 예시 프로세스 (600B)가 도시된다. 블록(615)에서, 호흡 빈도 및/또는 단계 식별기(410)는 각 호흡 센서의 변위 크기를 식별할 수 있다. 상기 변위 크기는 각 센서의 "기준" 위치에 대하여 측정될 수 있다. 상기 기준은 모델 좌표를 전자기장 좌표로 보정(calibrating)할 때 상기 보정 시간에 각 센서의 위치를 기록함으로써 설정될 수 있다. 복수의 EM 센서가 환자의 흉부에 위치해 있는 실시예에서, 흉골에 가깝게 부착된 센서는 폐의 하한에 가깝게 부착된 센서보다 낮은 변위크기를 나타낼 것이다.

블록(620)에서, 내시경 위치 추정기(420)는 호흡 센서에 대한 기구 센서의 상대적인 위치를 식별할 수 있다. 예를 들어, (전자기장 상에서 세로(length)와 가로(width) 위치를 나타내는) x와 y좌표를 비교해서 가장 가까운 호흡 센서를 확인하고 및/또는 상기 기구 센서와 각각의 호흡 센서 사이의 상대적인 거리를 결정할 수 있다.

블록(625)에서, 내시경 위치 추정기(420)는 호흡 센서의 변위와 기구 센서 및 호흡 센서의 상대 측위에 기초하여 기구 센서의 변위를 보간할 수 있다.

블록(630)에서, 내시경 위치 추정기(420)는 상기 보간된 변위를 이용해서 블록(515)에서 산출한 기구 위치 추정을 조정할 수 있다. 이와 같이, 상기 조정된 위치는 모델 좌표 프레임에 대한 기도의 변위를 보상함으로써 모델 안에서 기구의 위치를 더욱 정확하게 표현한다.

도 6C를 보면, 필터링 단계(535)에서 사용될 수 있는 또 다른 예시 프로세스 (600C)가 도시된다. 블록(630)에서, 호흡 빈도 및/또는 단계 식별기(410)는 각각의 호흡 센서의 변위 크기를 식별할 수 있다. 이는 앞서 설명한 프로세스(600B)의 블록(615)와 유사하게 수행될 수 있다.

블록(635)에서, 위치 산출기(430)는 3D 모델과 호흡 센서 위치의 매핑 정보에 접근할 수 있다. 예를 들어, 각각의 호흡 센서는 모델 안에 x와 y 좌표로 매핑될 수 있다.

블록(640)에서, 위치 산출기(430)는 상기 매핑과 변위 크기를 기초로 모델을 전자기장 좌표 프레임 안에 새로운 좌표로 이동시킬 수 있다. 예를 들어, 센서가 매핑되는 각각의 (x,y) 좌표에서, 프로세스(600C)는 매핑된 센서의 변위 크기를 기초로 모델 좌표 (x,y,z)의 z값을 조정할 수 있다. 매핑된 센서간의 (x,y) 좌표에 대해 z-값은 인접한 센서로 부터의 상기 크기와 거리를 기반으로 보간된 크기를 기초로 조정될 수 있다. 이와 같이, 전자기장 좌표 프레임 안에 모델의 위치는 환자의 기도의 움직임을 반영하기 위해 역동적으로 조정될 수 있다.

블록(645)에서, 위치 산출기(430)는 기구 위치를 이동된 모델에 정합시킬 수 있다. 예를 들어, 위치 산출기(430)는 전자기장 안에 기구 센서의 (x,y,z) 좌표 데이터에 접근하고 이에 대응하는 이동된 모델 안에서의 위치를 식별할 수 있다.

프로세스(500)의 일부 실시예는 필터링 단계(535)에서 프로세스(600A), (600B), (600C) 중 한 개 이상의 프로세스를 사용해서 모델에 대한 기구 위치를 산출할 수 있다.

본 발명의 하나 이상의 측면과 부합하여, 도 7는 본 명세서에 기술된 관강내 조직망의 항행 동안 안전 모드를 활성화 시키는 프로세스(700)의 예시에 대한 흐름도를 도시한다. 프로세스(700)는 도 4의 항행 융합 시스템(400), 도 1의 제어 및 센서 전자기기(184) 및/또는 도 2의 콘솔 베이스(201), 또는 이것들의 구성요소(들)에 의해 구현될 수 있다.

블록(705)에서, 상태 추정기(440)는 예를 들어, 모델 데이터 저장소(425)로부터 환자의 관강내 조직망의 3D모델에 접근할 수 있다.

블록(710)에서, 상태 추정기(440)는 예를 들어, 호흡 센서 데이터 저장소(405)와 내시경 EM 센서 데이터 저장소(415)와 같은 기구 센서(들)과 호흡 센서(들)중 하나 또는 둘 다로부터 데이터를 수신하거나, 또는 해당 데이터들의 분석을 모듈(410), (420) 및/또는 (430)으로부터 수신할 수 있다. 앞서 설명한 바와 같이, 내시경 센서 데이터는 관강내 조직망 주변에 생성된 전자기장 안에서 내시경 원위 단부의 위치 및/또는 방향을 제공하고, 호흡 센서 데이터는 관강내 조직망의 움직임을 감지하기 위해 위치한 센서에 의해 생성될 수 있다. 블록(710)에서, 프로세스(700)는 2개의 하위 프로세스(sub-process)로 나뉠 수 있고, 안전 모드 활성화 여부를 결정하기 위해 개별적 또는 함께 실행될 수 있다. 하위 프로세스는, 함께 실행되는 경우, 병렬 또는 직렬로 실행될 수 있다.

만약 상태 추정기(440)가 블록(710)에서 기구 센서 위치 데이터를 수신한다면, 프로세스(700)은 블록(715)로 이동할 수 있다. 블록(715)에서, 상태 추정기(440)는 모델에 대한 기구의 위치를 추정할 수 있다. 추정은 일부 실시예에서 주기적인 움직임을 보상하기 위해 앞서 기술된 프로세스(600A) 내지 (600C)중 하나에 의해 실행될 수 있다.

결정 블록(720)에서, 안전 모드 제어기(450)는 기구의 위치가 3D모델의 기 설정된 안전 구역의 범위에 들어가는지 결정한다. 앞서 설명한 바와 같이, 안전 구역은 기도 및 기구 지름의 비교를 기초해서 미리 설정될 수 있다. 만약 기구의 위치가 안전 구역 안에 포함되지 않는다면, 프로세스(700)는 센서로부터 새로운 데이터를 수신하기 위해 블록(710)으로 다시 반복해서 돌아간다. 다른 실시예에서, 프로세스(700)는 블록(725)로 이동할 수도 있다.

만약 기구의 위치가 안전 구역 안에 포함된다면, 프로세스(700)는 블록(735)로 이동하고 안전 모드 제어기(450)는 (기구의 다음 움직임 또는 기구의 이후 움직임(들)과 같은) 추가 항행을 위해 안전 모드를 활성화 시킨다. 블록(725)에서, 만약 프로세스(700)가 블록(710)에서 호흡 센서 위치 데이터를 수신하면, 프로세스(700)은 블록(725)로 이동할 수 있다. 블록(725)에서 호흡 빈도 및/또는 단계 식별기(410)는 호흡 단계가 흡기인지 호기인지 식별할 수 있다.

결정 블록(730)에서, 안전 모드 제어기(450)는 호흡 단계가 기 설정된 안전 상태에 부합하는지 결정한다. 일부 실시예에서, 모든 호기 단계는 안전 환경으로 식별될 수 있다. 일부 실시예에서는, 기도의 특정 분지에서 발생하는 호기가 안전 환경에 부합 할 수 있다. 일부 실시예에서, 안전 모드 제어기(450)는 과거 호흡 빈도 데이터를 분석해서 기구의 다음 움직임이 안전 환경에 부합하는 호흡 단계에 포함되는지 예측할 수 있다. 만약 상기 호흡 단계 (또는 예측 단계)가 기 설정된 안전 환경에 부합하지 않는 다면, 프로세스(700)는 센서로부터 새로운 데이터를 수신하기 위해 블록(710)으로 다시 반복해서 돌아간다. 다른 실시예에서, 프로세스(700)는 블록(715)로 이동할 수도 있다.

만약 상기 호흡 단계 (또는 예측 단계)가 기 설정된 안전 환경에 부합한다면, 프로세스(700)는 블록(735)로 이동하고 안전 모드 제어기(450)는 (기구의 다음 움직임 또는 기구의 이후 움직임과 같은) 추가 항행을 위해 안전 모드를 활성화 시킨다.

만약 기구의 위치가 안전 구역으로 진입해서 프로세스(700)가 블록(735)로 이동하면, 기도는 폐 말초부쪽으로 갈수록 지름이 감소하고, 항행 경로는 중심 기도에서 바깥 말초부를 향해 나아가는 경향이 있기 때문에 일부 실시예에서는 모든 추가 삽입 발생시 안전 모드가 활성화될 수 있다. 만약 (호기와 같은) 호흡의 단계로 인해 프로세스가 안전 모드를 활성화시키고 프로세스(700)가 블록(735)로 이동하면, 안전 모드는 예측된 호기 주기 동안 또는 다음 흡기 주기가 감지될 때까지 활성화 될 수 있다.

안전 모드에서, 프로세스(700)의 일부 실시예의 경우 기구의 움직임을 제한하기 위해 항행 제어기(460)를 구현할 수 있다. 예를 들어, 항행 제어기(460)는 안전 모드에서 수술 로봇 시스템(110)이 기구 드라이버를 작동시키는 것을 방지할 수 있다. 이러한 실시예에서, 항행 제어기(460)는 안전 모드가 활성화되어 있는 동안, 예를 들어, 환자의 호기 동안 기구의 삽입을 유도하기 위한 로봇 시스템에 제공되는 사용자 입력을 무효화 시킬 수 있다.

일부 실시예에서, 안전 모드 제어기(450)는 산출한 기구 위치로부터 항행 경로 아래쪽에 위치한 기도의 기도 지름이 기구의 지름보다 작은지 결정할 수 있다. 따라서, 안전 모드에서 항행 제어기(460)는 추가 삽입을 방지할 수 있으며 추가 항행을 위해 사용자가 내시경의 작업 채널을 통해 더 작은 조향가능한 채널을 삽입하도록 유도할 수 있다.

안전 모드에서, 프로세스(700)의 일부 실시예는 기구 움직임을 제한하지 않는 대신 사용자에게 기구 움직임에 주의를 기울여야 한다는 것을 알리는 출력을 제공할 수 있다. 이러한 출력은 (가령, 디스플레이를 통한) 시각, 청각, (입력 장치(204)를 통한 햅틱 피드백과 같은) 촉각 경고를 포함한다.

항행 사용자 인터페이스 예시의 개요

도 8A 내지 도 8B는 본 명세서에 기술된 안전 모드에서 관강내 조직망을 항행하는 동안 사용자에게 보여줄 수 있는 사용자 인터페이스(800A), (800B)의 예시를 도시한다. 예를 들어, 사용자 인터페이스(800A), (800B)는 일부 실시예에서 도 2의 디스플레이(202)와 같이 보여질 수 있다.

도 8A는 환자 호흡의 호기 단계 동안 사용자에게 보여줄 수 있는 사용자 인터페이스(800A)의 예시를 도시한다. 예시적인 사용자 인터페이스(800)은 경고(805), 가상 항행 부분(810), 및 호흡 추적 부분(820)을 포함한다.

가상 항행 부분(810)은 환자 기도(812)의 시각화와 기도를 통과하는 항행 경로(814)의 시각화를 포함한다. 상술된 바와 같이, 전술된 부분은 일부 실시예에서 3D 모델을 기반으로 할 수 있다. 일부 실시예에서 가상 항행 부분(810)을 대신해서 또는 이에 추가적으로 내시경 카메라에서 수신한 화상을 보여줄 수 있다.

호흡 추적 부분(820)은 환자 호흡의 파형(waveform)(822)과 호흡 주기에서 현재 시점을 나타내는 표식(824)을 포함한다. 파형(822)에서, 파형의 양의 기울기(positive slope)로 된 부분은 흡기를 나타낼 수 있으며 음의 기울기(negative slope)를 가지고 있는 부분은 호기를 나타낼 수 있다. 일부 실시예는 추가적으로 미래 호흡의 예측 파형을 가령, 이전 호흡 주기 및/또는 인공호흡기 주기 데이터의 빈도 분석을 기반으로 보여줄 수 있다. 도시된 바와 같이 호흡주기의 현재 점은 호기 단계와 대응한다.

경고(805)는 시스템 작동자에게 호기 중에는 항행을 중단하도록 경고한다. 일부 실시예에서, 경고(805)는 가상 항행 부분(810)에 중첩되어 나타나는 추가 경고(816)와 동반될 수 있다. 다른 실시예에서 디스플레이의 색이 바뀌거나 알람이 울리거나 입력 조이스틱이 진동하거나 또는 다른 시각, 청각 또는 촉각 알림을 발생시켜서 사용자에게 안전모드에서 기기가 작동하고 있다는 것을 경고한다. 일부 실시예에서 환자 기도의 외상을 완화시키기 위해 사용자의 로봇 시스템(110)에 대한 제어는 무효화될 수 있다.

도 8B를 보면, 도시된 것은 앞서 설명한 것과 같이 기 설정된 안전 구역을 통과하는 항행 동안에 사용자에게 보여지는 사용자 인터페이스(800B)의 또 다른 예시이다. 사용자 인터페이스(800B)는 경고(805), 가상 항행 부분(810), 및 모델 디스플레이 부분(830)을 포함한다.

상술한 바와 같이, 가상 항행 부분(810)은 환자 기도(812)의 시각화와 기도를 통과하는 항행 경로(814)의 시각화를 포함한다.

모델 디스플레이 부분(830)은 현 위치 표식(832)와 안전 구역 표식(834)가 표시된 3D 모델의 그래픽 표현을 포함한다. 도시된 대로, 현 위치(832)는 안전 구역(834) 안에 위치한다. 이와 같이, 경고(805)는 시스템의 작동자에게 주의 구역을 거쳐 항행 중이라는 것을 경고한다. 추가 경고가 제공되어 호기 중에는 사용자가 안전 구역 안에서 항행을 멈추도록 지원할 수 있다.

대안적인 필터 기술

앞서 언급한대로, 일부 실시예가 활용할 수 있는 접근방식은: (a) 원시 센서 데이터를 특정 기간 동안 수신하고, (b) (푸리에 변환과 같은) 함수를 원시 센서 데이터에 적용해서 특정 기간 동안 호흡수를 결정하고, 및 (c) 상기 원시 센서 데이터에 필터를 적용해서 상기 결정된 호흡수에 기인하는 원시 센서 데이터 부분을 제거한다. 하지만, 이런 접근방법은 (a) - (c) 에서 원하지 않은 지연을 야기시킬 수 있다. (a) - (c)에서 지연을 줄이기 위해, 일부 실시예는 미래 기간의 호흡수를 예측하는 예측 기술을 활용할 수도 있다. 예측 접근방법은 (확장 칼만필터(EKF), 무향 칼만 필터(UKF) 또는 비선형 함수에 칼만 필터를 적용하는 다른 적합한 접근방법 같은) 비선형의 칼만 필터(Kalman filter)의 사용을 수반해 호흡 동작을 준(near) 또는 실질상(substantially) 실시간으로 예측할 수 있다. 본 명세서에서 사용될 때, "실시간"은 센서 데이터가 취득된 직 후에 적용되는 처리를 지칭하며, 예를 들어 처리된 데이터가 기구 항행에 사용될 수 있을 만큼의 짧은 시간의 구간 안에 센서 데이터 처리를 완료하는 것이다. EKF 또는 복수의 EKF는 (패치를 위한 것 하나, 내시경을 위한 것 하나) 실시간으로 호흡의 진폭, 방향 및 단계를 확인할 수 있다. 실시예는 EKF 또는 복수의 EKF에의해 감지된 호흡 동작을 EM 센서들 또는 임의의 다른 위치 센서에 의해 생성된 원시 EM 센서 데이터로부터 제거할 수 있다. EKF는 과거 원시 센서 데이터를 처리해서 현재 기간의 호흡 동작을 예측할 수 있다. 예측된 호흡 동작은 그 다음, 원시 센서 데이터에서 호흡 부분을 필터링하는데 사용될 수 있다. EKF 또는 복수의 EKF는 (패치를 위한 것 하나, 내시경을 위한 것 하나) 실시간으로 호흡의 진폭, 방향 및 단계를 확인할 수 있다. 다른 실시예는 알파-베타 필터링(alpha-beta filtering), 베이지안 필터링, 파티클 필터링(particle filtering) 또는 그밖에 유사한 다른 예측 기술을 사용 할 수 있다.

로봇 명령에 대한 보상

일부 실시예에서, 기구의 움직임은 호흡과 유사한 동작을 보일 수 있다. 이러한 동작을 보상하기 위해, 호흡수 (또는 다른 임의의 생리적으로 유발된 동작)을 감지하고 보상하는 실시예에서 기구를 (삽입, 수축, 연접(articulate)과 같은) 제어를 하는데 사용되는 움직임 명령 데이터를 통해 상기 동작을 호흡수로 감지하는 것을 피할 수 있다. 예를 들어, 만약 기구의 움직임이 (명령 데이터로 결정할 수 있는) 특정 호흡수에 발생할 때, 상기 설명된 실시예는 센서 데이터에 필터를 적용해서 해당 움직임으로 인해 발생한 데이터를 제거 할 수 있다.

대안적인 센서 종류

앞서 설명한 것과 같이, EM 센서를 사용하는 것 외에도 기구의 위치를 결정하기 위해 다른 실시예들은 다른 적합한 센서 종류를 사용할 수 있다. 이러한 위치 센서는 형상 감지 섬유(shape sensing fibers), 가속도계, 시각 검출 알고리즘(vision detection algorithm), 자이로스코프, 또는 동작의 특징을 감지할 수 있는 다른 적합한 센서를 포함할 수 있다.

다른 생리적 노이즈에 대한 보상

본 명세서에 기술된 대부분의 실시예들은 환자의 호흡수에서 발생하는 노이즈를 감지하고 보상하도록 되어있지만, 다른 실시예들은 심박동수 또는 다른 임의의 탐지 가능한 환자의 다른 생리학적 특성에 의해 발생하는 노이즈를 감지하고 보상할 수 있다. 심박동수로 인해서 EM 데이터에 노이즈가 발생하는 그러한 경우에는, 상기 실시예들은 심박동수의 빈도를 탐지할 수 있으며 앞서 설명된 기술을 사용해서 심박동수로 인해 발생한 노이즈를 제거할 수 있다. 환자의 주기적인 진전(tremor) 또는 신체적인 움직임이 있을 때 발생할 수 있는 다른 노이즈 허상들 또한 감지될 수 있다.

시스템 구현 및 용어

본 명세서에 개시된 구현은 관강내 조직망의 향상된 항행을 위한 시스템, 방법, 장치를 제공한다.

본 명세서에서 사용될 때 용어 "결합," "결합하는," "결합된" 또는 단어 결합의 다른 변이는 간접적인 연결 또는 직접적인 연결 중 하나를 나타낸다. 예를 들어, 만약 제1 구성요소가 제2 구성요소에 "결합"되어 있다면, 제1 구성요소는 또 다른 구성요소를 통해 제2 구성요소에 간접적으로 연결되어 있거나 제2 구성요소에 직접적으로 연결되어 있을 수 있다.

본 명세서에서 설명된 로봇 동작 작동 함수는 프로세서 판독 가능 또는 컴퓨터 판독 가능 매체 상에 하나 이상의 명령어로 저장될 수 있다. 용어 "컴퓨터 판독 가능 매체"는 컴퓨터나 프로세서에 의해 접근될 수 있는 임의의 이용 가능한 매체를 지칭한다. 예시적인 것이며 한정적인 것이 아닌 것으로서, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스 또는 컴퓨터에 의해 접근가능한 명령이나 데이터 구조(data structure) 형태로 원하는 프로그램 코드를 저장하기 위해 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 주목해야 하는 것은 컴퓨터 판독 가능 매체는 유형이며 비일시적일 수 있다. 본 명세서에서 사용될 때, 용어 "코드"는 컴퓨터 장치나 프로세서에 의해 실행가능한 소프트웨어, 명령, 코드 또는 데이터를 지칭할 수 있다.

본 명세서에서 개시된 방법은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법 단계 및/또는 동작들은 청구항의 범위를 벗어나지 않고 서로 대체될 수 있다. 즉, 기술된 방법의 올바른 실행에 요구되는 단계 또는 동작의 특정순서가 명시되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용은 청구항의 범위를 벗어나지 않고 변경될 수 있다.

본 명세서에서 사용될 때 용어 "복수"는 두 개 이상을 의미한다. 예를 들어, 복수의 구성요소는 두 개 이상의 구성요소를 나타낸다. 용어 "결정"은 광범위한 동작을 포함하며, 따라서, "결정"은 산출, 컴퓨팅, 처리, 도출, 조사, (표, 데이터베이스 또는 다른 데이터 구조의 검색과 같은) 검색, 확인 등을 포함할 수 있다. 또한 "결정"은 (정보를 수신하는 것과 같은) 수신, (메모리 안의 데이터에 접근하는 것과 같은) 접근 등을 포함할 수 있다. 또한 "결정"은 해결, 설정, 선택, 확보 등을 포함할 수 있다.

"기초하여(based on)"라는 구는 달리 언급하지 않는 한 "이에 한하여 기초하여(based only on)"를 의미하지 않는다. 즉, 구 "기초하여"는 "이에 한하여 기초하여" 및 "적어도 이에 기초하여(based at least on)"를 모두 설명한다.

개시된 구현의 이전 설명은 당해 분야에서 통상의 지식을 가진 자가 본 발명을 만들고 사용할 수 있도록 제공된다. 당해 분야에서 통상의 지식을 가진 자라면 상기 구현의 다양한 변경이 가능하다는 것을 손쉽게 이해할 것이며, 본 명세서에서 정의된 일반적인 사상은 본 발명의 범위를 벗어나지 않고 다른 구현에 적용될 수 있다. 예를 들어, 당해 분야에 통상의 지식을 가진 자는 여러 개의 상응하는 대안적 또는 동일한 구조적 세부사항, 가령 도구 구성요소를 고정, 탑재, 결합, 또는 정합하는 동일한 방식, 특정 작동 움직임을 일으키는 동일한 메커니즘, 및 전기 에너지를 전달하기 위한 동일한 메커니즘을 적용할 수 있다는 것을 이해할 것이다. 따라서 본 발명은 본 명세서에 설명된 구현에만 한정 지으려는 의도가 아니며 본 명세서에 개시된 원리 및 새로운 기술과 일관된 폭넓은 범위에 부합하기 위한 것이다

Claims

환자의 관강내 조직망을 항행하도록 구성된 시스템에 있어서:
전자기(EM)장을 생성하도록 구성된 장 발생기;
조향가능한 기구의 원위 단부에 위치한 한 개 이상의 EM 센서 세트;
한 개 이상의 호흡 센서 세트;
실행가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독 가능한 메모리; 및
적어도 하나의 컴퓨터 판독가능한 메모리와 통신하는 한 개 이상의 프로세서를 포함하고, 상기 프로세서는 명령어를 실행해서 시스템이 적어도
상기 관강내 조직망의 수술 전 모델 표현에 접근하고;
상기 전자기장의 좌표 프레임과 수술전 모델의 좌표프레임간의 매핑에 접근하고;
상기 EM 센서 세트의 데이터 신호를 기초로 전자기장 상의 EM 센서 세트의 적어도 하나의 위치를 산출하고;
상기 호흡 센서 세트의 데이터 신호를 기초로 환자의 호흡 빈도를 산출하고; 및
상기 정합 매핑, 상기 호흡의 빈도 및 상기 전자기장 상의 EM 센서 세트의 적어도 한 개의 위치를 기초로 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 시스템.
제1항에 있어서,
EM 센서 세트의 각각의 EM 센서는 상기 EM 센서와 상기 장 발생기 사이의 거리와 각도를 나타내는 신호를 생성하도록 구성되며, 상기 전기 신호는 전자기장 안에 EM 센서의 위치와 방향 중 하나 또는 둘 다 결정하는데 사용 가능한 시스템.
제1항에 있어서,
상기 한 개 이상의 프로세서는 상기 명령어를 실행하도록 구성되어 상기 시스템이 적어도:
상기 호흡 센서 세트의 한 개 이상의 데이터 신호를 상기 한 개 이상의 데이터 신호의 빈도 범위 표현으로 변형하고; 및
상기 한 개 이상의 데이터 신호의 빈도 범위 표현으로부터 호흡의 빈도를 식별하는 시스템.
제3항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행해서 상기 시스템이 적어도:
상기 EM 센서 세트의 한 개 이상의 데이터 신호에 예측 필터를 적용하고 - 상기 예측 필터는 호흡으로 인해 발생하는 호흡 동작을 예측하도록 구성됨 -; 및
예측된 호흡 동작에 기인하는 상기 한 개 이상의 데이터 신호의 일부를 제거해서 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 시스템.
제1항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 상기 환자의 호흡의 흡기와 호기 단계 사이에 상기 호흡 센서 세트의 적어도 한 개의 변위 크기를 산출하도록 구성된 시스템.
제5항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 적어도:
상기 호흡 센서 세트에 대한 상기 EM 센서 세트의 적어도 하나의 위치를 결정하고;
상기 흡기와 호기 단계 사이에 상기 EM 센서 세트의 적어도 한 개의 위치 변위를 (i) 상기 호흡 센서 세트에 대한 상기 EM 센서 세트의 적어도 한 개의 결정된 위치 및 (ii) 상기 흡기와 호기 단계 사이에 상기 호흡 센서 세트의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및
상기 흡기와 호기 단계 사이에 상기 EM 센서 세트의 산출된 적어도 한 개의 위치 변위에 기초하여 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하는 시스템.
제6항에 있어서,
상기 호흡 센서 세트는 사용시 신체 표면의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 신체 표면의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 상기 흡기와 호기 단계 사이에 제1 추가 EM 센서의 제1 변위 크기가 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 제2 위치는 제1 위치로부터 떨어져 있는 시스템.
제7항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서 세트의 상대 측위를 결정하고; 및
상기 결정된 EM 센서 세트의 상대 측위 값을 기초하여 상기 제1 및 제2 변위 크기 사이를 보간하며, 상기 흡기와 호기 단계 사이에 상기 EM 센서 세트의 위치 변위 산출은 상기 보간된 크기에 기초하는 시스템.
제7항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 산출된 적어도 한 개의 변위 크기에 기초하여 상기 수술 전 모델의 적어도 일부에 대한 움직임 벡터를 추정하고;
추정된 상기 움직임 벡터에 기초하여 상기 전자기장의 좌표 프레임 안에서 상기 수술전 모델을 이동시키고; 및
이동한 상기 수술전 모델에 기초하여 상기 조향가능한 기구의 원위 단부의 위치를 결정하는 시스템.
제9항에 있어서,
상기 전자기장의 좌표 프레임 안에서 상기 수술전 모델을 이동시키기 위해, 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 제1 변위 크기에 기초하여 상기 모델의 제1 부분을 제1 새 좌표로 이동시키고; 및
상기 제2 변위 크기에 기초하여 상기 모델의 제2 부분을 제2 새 좌표로 이동시키도록 구성된 시스템.
제1항에 있어서,
조향가능한 기구의 움직임을 일으키도록 구성된 기구 드라이버를 갖춘 로봇 시스템을 더 포함하는 시스템.
제11항에 있어서,
한 개 이상의 프로세서는 명령어를 실행하여 시스템이 적어도:
수술 전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 기초로 조향가능한 기구의 다음 움직임을 식별하고; 및
다음 움직임을 일으키도록 기구 드라이버의 작동을 지시하는 시스템.
제11항에 있어서,
디스플레이를 더 포함하여 한 개 이상의 상기 프로세서가 명령어를 실행하여 상기 시스템이 적어도:
상기 수술 전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 나타내는 그래픽 표현을 생성하고; 및
생성된 상기 그래픽 표현을 상기 디스플레이에 렌더링하는 시스템.
제11항에 있어서,
상기 로봇 시스템은 입력장치의 사용자 조작을 토대로 상기 조향가능한 기구의 움직임을 제어하는 입력 장치를 포함하는 시스템.
제1항에 있어서,
상기 수술전 모델은 환자의 관강내 조직망의 3 차원 컴퓨터 단층 모델을 포함하는 시스템.
환자의 관강내 조직망 항행을 결정하도록 구성된 장치에 있어서, 상기 장치는:
실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및
적어도 한 개의 컴퓨터 판독가능 메모리와 통신하는 한 개 이상의 프로세서를 포함하며 이는 명령어를 실행하여 상기 장치가 적어도:
상기 관강내 조직망을 표현하는 모델을 접근하고;
상기 모델의 좌표프레임과 상기 관강내 조직망 주변에 생성된 전자기장의 좌표 프레임간의 매핑에 접근하고;
사용시, 상기 관강내 조직망 안으로 삽입되는 조향가능한 기구의 원위 단부에 위치한 EM 센서로부터 데이터를 수신하고;
상기 EM 센서의 데이터를 기초로 상기 전자기장 안의 상기 EM 센서의 위치를 산출하고;
상기 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 데이터를 수신하고;
적어도 한 개의 추가 센서로부터의 데이터를 기초로 상기 관강내 조직망의 주기적인 움직임의 빈도를 산출하고; 및
상기 매핑, 상기 빈도 및 상기 전자기장 내 EM 센서의 위치를 기초로 상기 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성되는 장치.
제16항에 있어서,
상기 적어도 한 개의 추가 센서는 한 개 이상의 EM 센서를 포함하는 장치.
제16항에 있어서,
상기 적어도 한 개의 추가 센서는 가속도계를 포함하는 장치.
제16항에 있어서,
상기 적어도 한 개의 추가 센서는 음향 호흡 센서를 포함하고, 상기 음향 호흡 센서는 환자가 호흡을 하는 동안 주기적인 움직임을 감지하는 장치.
제16항에 있어서,
상기 관강내 조직망은 하 기도를 포함하고, 상기 한 개 이상의 프로세서는 명령어를 실행해 장치가 관강내 조직망 사이로 조향가능한 기구를 안내하도록 구성된 장치.
제16항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
최소 한 개의 추가 센서로부터의 한 개 이상의 데이터 신호를 상기 한 개 이상의 데이터 신호를 나타내는 주파수 영역으로 변환하고; 및
상기 한 개 이상의 데이터 신호를 나타내는 주파수 영역으로부터 주기적인 움직임의 빈도를 식별하도록 구성되는 장치.
제21항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 EM 센서 세트의 한 개 이상의 데이터 신호에 필터를 적용하고 - 상기 필터는 상기 한 개 이상의 데이터 신호의 일부를 상기 식별된 빈도에 맞춰 감쇠함 -; 및
상기 EM 센서의 한 개 이상의 필터 처리된 데이터 신호에 기초하여 상기 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 장치.
제16항에 있어서,
상기 관강내 조직망은 하 기도를 포함하고, 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도 상기 환자 호흡의 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하도록 구성된 장치.
제23항에 있어서,
한 개 이상의 프로세서는 명령어를 실행하여 적어도:
상기 최소 한 개의 추가 센서에 대한 상기 EM 센서의 위치를 결정하고;
상기 흡기와 호기 단계 사이의 상기 EM 센서의 위치 변위를 (i) 상기 결정된 적어도 한 개의 추가 센서에 대한 EM 센서의 위치 및 (ii) 상기 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및
상기 흡기와 호기 단계 사이에 상기 산출된 EM 센서의 위치 변위에 기초하여 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 장치.
제24항에 있어서,
적어도 한 개의 추가 센서는 사용시 신체 표면의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 신체 표면의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 상기 흡기와 호기 단계 사이에 상기 제1 추가 EM 센서의 제1 변위 크기가 상기 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 상기 제2 위치는 상기 제1 위치로부터 떨어져 있는 장치.
제25항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서의 위치를 결정하고; 및
상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서의 결정된 위치를 기반으로 제1 및 제2 변위 크기 사이를 보간하며, 상기 흡기와 호기 단계 사이의 상기 EM 센서의 위치 변위 산출은 상기 보간된 크기에 기초하도록 구성된 장치.
제25항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 적어도:
상기 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 상기 산출된 변위 크기에 기초하여 추정하고;
상기 추정된 움직임 벡터에 기초하여 좌표 프레임 안에서 상기 모델을 이동시키고; 및
상기 이동된 모델에 기초하여 상기 조향가능한 기구의 원위 단부의 위치를 결정하도록 구성된 장치.
제27항에 있어서,
상기 전자기장의 좌표 프레임 안에서 수술전 모델을 이동시키기 위해, 한 개 이상의 상기 프로세서는 명령어를 실행하여 시스템 적어도:
상기 제1 변위 크기에 기초하여 상기 모델의 제1 부분을 제1 새 좌표로 이동시키고; 및
상기 제2 변위 크기에 기초하여 상기 모델의 제2 부분을 제2 새 좌표로 이동시키도록 구성된 장치.
비일시적인 컴퓨터 판독 가능한 기록 매체에 있어서, 해당 매체에 저장되는 명령어는 실행시, 적어도 한 개의 컴퓨터 장치가 적어도:
사용시 환자의 조직 부위 안에 삽입되는 기구에 있는 전자기식(EM) 센서로부터 제1 데이터와 상기 조직 부위의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제 2 데이터를 수신하고;
상기 제1 데이터에 기초하여 상기 조직 부위 주변에 배치된 전자기장 안에 상기 EM센서의 위치를 산출하고;
제2 데이터에 기초하여 조직 부위의 주기적인 움직임의 빈도를 산출 하고; 및
(i) 상기 조직 부위의 주기적인 움직임의 빈도와 (ii) 상기 장 안에 상기 EM 센서의 위치를 기초하여 상기 조직 부위에 대한 상기 기구의 위치를 결정하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제29항에 있어서,
상기 명령어가 실행될 때, 상기 적어도 한 개의 컴퓨터 장치는:
상기 제2 데이터를 주파수 영역 표현으로 변환하고; 및
상기 주파수 영역 표현으로부터 상기 주기적인 움직임의 빈도를 식별하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제30항에 있어서,
상기 명령어가 실행될 때, 상기 적어도 한 개의 컴퓨터 장치는:
상기 제1 데이터에 필터를 적용하고 - 상기 필터는 상기 제1 데이터의 일부를 상기 식별된 빈도에 맞춰 감쇠하도록 구성됨 -; 및
상기 필터된 제1 데이터에 기초하여 상기 기구의 위치를 결정하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제29항에 있어서,
상기 조직 부위는 하 기도를 포함하고, 명령어는 실행시, 적어도 한 개의 컴퓨터 장치가 상기 환자 호흡의 흡기와 호기 단계 사이에 상기 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제32항에 있어서,
상기 명령어는 실행시, 상기 적어도 한 개의 컴퓨터 장치는:
상기 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 위치를 결정하고;
상기 흡기와 호기 단계 사이에 상기 EM 센서의 위치 변위를 (i) 상기 적어도 한 개의 추가 센서에 대한 상기 EM 센서의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 상기 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하고; 및
상기 흡기와 호기 단계 사이에 EM 센서의 상기 산출된 위치 변위에 기초하여 상기 수술전 모델에 대한 상기 조향가능한 기구의 원위 단부의 위치를 결정하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제32항에 있어서,
상기 적어도 한 개의 추가 센서는 사용시 상기 환자의 제1위치에 위치되는 제1 추가 EM 센서와 사용시 상기 환자의 제2 위치에 위치되는 제2 추가 EM 센서를 포함하고, 상기 흡기와 호기 단계 사이에 상기 제1 추가 EM 센서의 제1 변위 크기가 상기 제2 추가 EM 센서의 제2 변위 크기보다 클 수 있도록 상기 제2 위치는 상기 제1 위치로부터 떨어져 있으며, 상기 명령어는, 실행시, 적어도 한 개의 컴퓨터 장치는:
상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서의 위치를 결정하고; 및
상기 제1 및 제2 추가 EM 센서에 대한 상기 EM 센서의 결정된 위치를 기초로 상기 제1 및 제2 변위 크기 사이를 보간하고, 상기 흡기와 호기 단계 사이에 상기 EM 센서의 위치 변위 산출은 상기 보간된 크기에 기초하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제29항에 있어서,
상기 명령어는 실행시, 적어도 한 개의 컴퓨터 장치가:
상기 조직 부위의 형태를 표현하는 모델; 및
상기 장과 모델의 좌표 프레임간의 매핑, -상기 기구 위치의 결정은 상기 매핑, 상기 빈도 및 상기 장 안에 EM 센서의 위치를 기초로 함-
을 표현하는 데이터에 접근하도록 하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제35항에 있어서,
상기 조직 부위는 하 기도를 포함하며, 상기 명령어는 실행시, 적어도 한 개의 컴퓨터 장치가:
상기 환자 호흡의 흡기와 호기 단계 사이에 상기 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하고;
상기 산출된 적어도 한 개의 변위 크기에 기초하여 상기 모델의 적어도 일부의 움직임 벡터를 추정하고;
상기 추정된 움직임 벡터에 기초하여 좌표 프레임 안에 상기 모델을 이동시키고; 및
상기 이동된 모델에 기초하여 상기 기구의 위치를 결정하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제36항에 있어서,
상기 좌표 프레임 안에서 모델을 이동시키기 위해서 상기 명령어는 실행시, 적어도 한 개의 컴퓨터 장치가:
상기 제1 변위 크기에 기초하여 상기 모델의 제1 부분을 제1 새 좌표로 이동시키고; 및
상기 제2 변위 크기에 기초하여 상기 모델의 제2 부분을 제2 새 좌표로 이동시키는 비일시적인 컴퓨터 판독 가능한 기록 매체.
방법에 있어서,
제1 데이터는 사용 중 일 때, 환자의 조직 부위에 삽입되는 기구의 제1 센서로부터 그리고 제2 데이터는 상기 조직 부위의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 수신하는 단계;
상기 제1 데이터를 기초로 상기 조직 부위 주변 체적 안에 제1 센서의 위치를 산출하는 단계;
상기 제2 데이터를 기초로 상기 조직 부위의 주기적인 움직임의 빈도를 산출하는 단계; 및
상기 빈도와 체적 안에 제1 센서의 위치를 기초로 상기 조직 부위에 대한 상기 기구의 위치를 결정하는 단계를 포함하는 방법.
제38항에 있어서,
한 개 이상의 하드웨어 프로세서에 의해 실행되는 방법.
제38항에 있어서,
상기 제2 데이터를 주파수 영역 표현으로 변환하는 단계; 및
상기 주파수 영역 표현으로부터 주기적인 움직임의 빈도를 식별하는 단계를 더 포함하는 방법.
제38항에 있어서,
상기 제1 데이터에 필터를 적용하는 단계 -상기 필터는 제1 데이터의 일부를 식별된 빈도에 맞춰 감쇠하도록 구성됨 -; 및
상기 필터 처리된 제1 데이터에 기초하여 기구의 위치를 결정하는 단계를 더 포함하는 방법.
제38항에 있어서,
상기 조직 부위는 하 기도를 포함하고, 상기 방법은 환자 호흡의 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하는 단계를 더 포함하는 방법.
제42항에 있어서,
상기 적어도 한 개의 추가 센서에 대한 상기 제1 센서의 위치를 결정하는 단계;
상기 흡기와 호기 단계 사이에 상기 제1 센서의 위치 변위를 (i) 상기 적어도 한 개의 추가 센서에 대한 상기 제1 센서의 결정된 위치 및 (ii) 흡기와 호기 단계 사이에 적어도 한 개의 추가 센서의 적어도 한 개의 변위 크기를 기초하여 산출하는 단계; 및
상기 흡기와 호기 단계 사이에 제1 센서의 산출된 위치 변위에 기초하여 상기 모델에 대한 기구의 위치를 결정하는 단계를 더 포함하는 방법.
제42항에 있어서,
상기 적어도 한 개의 추가 센서는 사용시 환자의 제1위치에 위치되는 제1 추가 센서와 사용시 환자의 제2 위치에 위치되는 제2 추가 센서를 포함하고, 흡기와 호기 단계 사이에 제1 추가 센서의 제1 변위 크기가 제2 추가 센서의 제2 변위 크기보다 크도록 제2 위치는 제1 위치로부터 떨어져 있으며, 상기 방법은
상기 제1, 제2 추가 센서에 대한 제1 센서의 위치를 결정하는 것;
상기 제1, 제2 추가 센서에 대한 제1 센서의 결정된 위치를 기초로 상기 제1, 제2 변위 크기 사이를 보간하는 것을 더 포함하고, 상기 흡기와 호기 단계 사이에 제1 센서의 위치 변위 산출은 상기 보간된 크기에 기초하는 방법.
제42항에 있어서,
데이터를 접근하는 것을 더 포함하고, - 상기 데이터는
상기 조직 부위의 형태를 표현하는 모델, 및
상기 장과 상기 모델의 좌표 프레임간의 매핑을 나타냄 -;
상기 기구의 위치를 결정하는 것은 상기 매핑, 상기 빈도 및 상기 장 안에 EM 센서의 위치를 토대로 하는 방법.
제45항에 있어서,
상기 조직 부위는 하 기도를 포함하고,
상기 방법은:
환자 호흡의 흡기와 호기 단계 사이의 적어도 한 개의 추가 센서의 적어도 한 개의 변위의 크기를 산출하는 것;
상기 모델의 적어도 일부의 움직임 벡터를 적어도 한 개의 산출된 변위 크기에 기초하여 추정하는 것;
상기 추정된 움직임 벡터에 기초하여 좌표 프레임 안에서 상기 모델을 이동시키는 것; 및
상기 이동된 모델에 기초해서 상기 기구의 위치를 결정하는 것을 더 포함하는 방법.
제46항에 있어서,
상기 모델을 좌표 프레임 안에서 이동시키는 것을 더 포함하고, 이는:
상기 모델의 제1 부분을 상기 제1 변위 크기에 기초하여 제1 새 좌표로 이동시키는 것; 및
상기 모델의 제2 부분을 제2 변위 크기에 기초하여 제2 새 좌표로 이동시키는 것을 기반으로 하는 방법.
환자의 관강내 조직망 항행을 위해 구성된 시스템에 있어서,
전자기(EM)장을 발생시키기 위해 구성된 전자기장 발생기;
조향가능한 기구의 원위 단부에 포함된 한 개 이상의 EM 센서 세트;
적어도 한 개의 호흡 센서;
실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및
적어도 한 개의 컴퓨터 판독가능 메모리와 통신하는 적어도 한 개 이상의 프로세서를 포함하고,
상기 프로세서는 명령어를 실행하도록 구성되어 시스템이 적어도:
상기 관강내 조직망을 표현하는 수술 전 모델에 접근하고;
상기 수술 전 모델의 좌표프레임과 전자기장의 좌표 프레임간의 매핑에 접근하고;
상기 EM 센서 세트의 데이터 신호를 기초로 전자기장 안에 EM 센서 세트의 위치를 산출하고;
상기 매핑, 상기 전자기장 내 EM 센서 세트의 위치를 기초로 상기 수술 전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 결정하고;
상기 적어도 한 개의 호흡 센서의 데이터를 기초로 상기 EM 센서 세트로부터 데이터 신호를 취득하는 동안 환자의 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고; 및
상기 모델에 대한 조향가능한 기구의 원위 단부의 위치와 상기 호흡 단계를 기초로 조향가능한 기구의 다음 움직임을 위해 안전 모드를 활성화 시킬지 결정하도록 하는 시스템.
제48항에 있어서,
한 개 이상의 상기 프로세서는 명령어를 실행하여 시스템이 안전 모드를 활성화시키고, 안전 모드에서는 다음 움직임과 호흡 단계의 동기화를 안내하기 위한 한 개 이상의 안전 기능을 구현하는 시스템.
제48항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이:
표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하고;
상기 항행 경로와 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 토대로 조향가능한 기구의 원위 단부가 사용시 관강내 조직망의 기 설정된 안전 구역 안에 위치하는지 확인하고; 및
조향가능한 기구의 원위 단부가 기 설정된 안전 구역 안에 위치하는지의 여부에 따라 안전 모드를 활성화시키는 시스템.
제50항에 있어서,
상기 항행 경로는 복수의 구역을 포함하고, 상기 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분인 시스템.
제48항에 있어서,
상기 안전 모드일 때 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 호흡 단계를 나타내는 정보를 사용자에게 출력하도록 구성된 시스템.
제48항에 있어서,
로봇 시스템을 더 포함하고, 상기 로봇 시스템은:
디스플레이;
사용자의 입력 장치 조작에 반응하는 조향가능한 기구의 움직임을 제어하는 신호를 생성하도록 구성된 입력 장치; 및
상기 입력 장치의 신호를 기반으로 조향가능한 기구의 움직임을 일으키도록 구성된 기구 드라이버를 더 포함하는 시스템.
제53항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 안전 모드 활성화에 대한 반응으로, 환자 호흡의 한 개 이상의 호기 단계 중에는 기구 드라이버의 작동을 방지하도록 구성된 시스템.
제54항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 사용자의 입력 장치 조작에 기초하여 기구 드라이버의 작동 시도를 무효화시킴으로써 기구 드라이버의 작동을 방지하도록 구성된 시스템.
제53항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 호흡의 흡기와 호기 단계의 그래픽 표현을 출력하도록 구성되며, 상기 그래픽 표현은 디스플레이에 나타낼 수 있는 시스템.
제48항에 있어서,
상기 수술전 모델은 상기 환자의 관강내 조직망의 3 차원 컴퓨터 단층 모델을 포함하는 시스템.
환자의 관강내 조직망 항행을 결정하기 위해 구성된 장치에 있어서,
실행 가능한 명령어가 저장된 적어도 한 개의 컴퓨터 판독가능 메모리; 및
적어도 한 개의 컴퓨터 판독가능 메모리와 통신하는 한 개 이상의 프로세서를 포함하고,
상기 프로세서는 명령어를 실행해서 장치가 적어도:
데이터에 접근하고 - 상기 데이터는
상기 관강내 조직망을 표현하는 모델,
상기 모델의 좌표프레임과 상기 관강내 조직망 주변에 생성된 전자기장의 좌표 프레임간의 매핑,
사용시 상기 관강내 조직망 안으로 삽입되는 조향가능한 기구의 원위 단부에 위치한 EM 센서의 신호;
관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서의 신호에 대응됨 -;
상기 EM 센서의 신호에 대응되는 데이터를 기초로 전자기장 안에 상기 EM 센서의 위치를 산출하고;
상기 모델에 대한 조향가능한 기구의 원위 단부의 위치를 기초로 조향가능한 기구의 다음 움직임을 산출하고;
상기 적어도 한 개의 추가 센서로부터 수신한 신호에 대응하는 데이터를 기초로 제1 센서의 신호를 취득하는 동안 환자의 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고; 및
상기 호흡단계를 기초로 상기 조향가능한 기구의 다음 움직임을 위해 안전 모드를 활성화 시킬지 여부를 결정하도록 구성된 장치.
제58항에 있어서,
상기 적어도 한 개의 추가 센서는 한 개 이상의 EM 센서를 포함하는 장치.
제58항에 있어서,
상기 적어도 한 개의 추가 센서는 가속도계를 포함하는 장치.
제58항에 있어서,
상기 적어도 한 개의 추가 센서는 환자가 호흡을 하는 동안 주기적인 움직임을 감지하도록 구성된 음향 호흡 센서를 포함하는 장치.
제58항에 있어서,
한 개 이상의 상기 프로세서는 명령어를 실행하여 시스템이 안전 모드를 활성화시키고, 안전 모드에서는 다음 움직임과 호흡 단계의 동기화를 안내하기 위한 한 개 이상의 안전 기능을 구현하도록 구성된 장치.
제58항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이:
표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하고;
상기 항행 경로와 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 토대로 조향가능한 기구의 원위 단부가 사용시 관강내 조직망의 기 설정된 안전 구역 안에 위치하는지 확인하고; 및
조향가능한 기구의 원위 단부가 기 설정된 안전 구역 안에 위치하는지의 여부에 따라 안전 모드를 활성화시키도록 구성된 장치.
제63항에 있어서,
상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분인 장치.
제63항에 있어서,
상기 안전 모드일 때 상기 한 개 이상의 프로세서는 명령어를 실행하여 상기 시스템이 호흡 단계를 나타내는 정보를 사용자에게 출력하는 장치.
제58항에 있어서, 로봇 시스템은,
디스플레이;
사용자의 입력 장치 조작에 반응하는 조향가능한 기구의 움직임을 제어하는 신호를 생성하도록 구성된 입력 장치; 및
상기 입력 장치의 신호를 기반으로 조향가능한 기구의 움직임을 일으키도록 구성된 기구 드라이버를 더 포함하는 장치.
제66항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 안전 모드 활성화에 대한 반응으로, 환자 호흡의 한 개 이상의 호기 단계 중에는 기구 드라이버의 작동을 방지하도록 구성된 장치.
제67항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 사용자의 입력 장치 조작에 기초하여 기구 드라이버의 작동 시도를 무효화시킴으로써 기구 드라이버의 작동을 방지하도록 구성된 장치.
제66항에 있어서,
상기 한 개 이상의 프로세서는 명령어를 실행하여 시스템이 호흡의 흡기와 호기 단계의 그래픽 표현을 출력하도록 구성되며, 상기 그래픽 표현은 디스플레이에 나타낼 수 있는 장치.
실행가능한 명령어를 저장하는 비일시적인 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 명령어는 실행시, 장치의 프로세서는 적어도:
사용시 환자의 관강내 조직망에 삽입되는 기구의 제1 센서로부터 제1 데이터와 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 수신하고;
상기 제1 데이터에 기초하여 상기 조직 부위 주변에 배치된 장 안에 제1 센서의 위치를 산출하고;
상기 제2 데이터에 기초하여 상기 제1 센서로부터 상기 제1 데이터를 취득하는 동안 상기 환자의 호흡단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하고;
상기 장 안에서 제1 센서의 위치와 매핑을 기초로 기구의 위치를 결정하고; 및
상기 기구의 위치와 상기 호흡단계를 기초로 안전 모드를 활성화 시킬지 여부를 결정하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제70항에 있어서,
상기 명령어는 실행 시 프로세서가 적어도 최소 한 개의 추가 센서로부터 화상 데이터를 수신하고, 상기 화상 데이터에 기초하여, 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 여부를 결정하게 하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제70항에 있어서,
상기 명령어는 실행 시 프로세서가 적어도 최소 한 개의 추가 센서로부터 가속도계 데이터를 수신하고, 상기 가속도계 데이터를 통해 나타난 움직임의 방향에 기초하여, 상기 호흡 단계가 흡기 단계 또는 호기 단계에 대응하는지 여부를 결정하게 하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제70항에 있어서,
상기 명령어는 실행 시 상기 프로세서가 적어도 (i) 상기 관강내 조직망의 형태를 표현하는 모델, 및 (ii) 상기 장과 상기 모델의 좌표 프레임간의 매핑 정보에 대응하는 데이터에 접근하게 만들며; 상기 기구의 위치를 결정하는 것은 상기 매핑과 상기 장 안에 제1 센서의 위치에 기초하여 상기 모델에 대한 기구의 위치를 결정하는 것을 포함하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제70항에 있어서,
상기 명령어는 실행 시, 프로세서가 적어도 안전 모드를 활성화시키고, 안전 모드에서 다음 움직임과 호흡 단계의 동기화를 유도하기 위한 한 개 이상의 안전 기능을 구현하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제70항에 있어서,
상기 명령어가 실행되면, 상기 프로세서는 적어도:
관강내 조직망을 통해 표적 조직 부위까지 도달하는 항행 경로에 관한 정보에 접근하고;
상기 항행 경로와 수술전 모델에 대한 조향가능한 기구의 원위 단부의 위치를 토대로 조향가능한 기구의 원위 단부가 사용시 관강내 조직망의 기 설정된 안전 구역 안에 위치하는지 확인하고; 및
조향가능한 기구의 원위 단부가 기 설정된 안전 구역 안에 위치하는지의 여부에 따라 안전 모드를 활성화시키도록 구성된 비일시적인 컴퓨터 판독 가능한 기록 매체.
제 75항에 있어서,
상기 항행 경로는 복수의 구역을 포함하고, 안전 구역은 관강내 조직망에서 호흡 기도 지름과 조향가능한 기구의 원위 단부의 지름의 차이가 기 설정된 값보다 낮은 부분인 비일시적인 컴퓨터 판독 가능한 기록 매체.
제 70항에 있어서,
상기 명령어가 실행되면, 프로세서는 적어도 안전 모드의 활성화 결정에 대한 반응으로 호흡 단계를 나타내는 정보를 사용자에게 출력 하는 비일시적인 컴퓨터 판독 가능한 기록 매체.
제 70항에 있어서,
상기 명령어가 실행되면, 프로세서는 적어도 안전 모드의 활성화 결정에 대한 반응으로 환자 호흡의 호기 단계 중에는 로봇 기구 드라이버의 작동을 방지하고, 상기 로봇 기구 드라이버는 기구가 관강내 조직망을 통과하는 움직임에 영향을 주도록 구성된 비일시적인 컴퓨터 판독 가능한 기록 매체.
방법에 있어서:
사용시 환자의 관강내 조직망에 삽입되는 기구의 제1 센서로부터 제1 데이터와 관강내 조직망의 움직임을 감지하도록 구성된 적어도 한 개의 추가 센서로부터 제2 데이터를 수신하는 것;
상기 제1 데이터에 기초하여 상기 조직 부위 주변에 배치된 전자기장 내 제1 센서의 위치를 산출하는 것;
상기 제2 데이터에 기초하여 상기 제1 센서로부터 제1 데이터를 취득하는 동안 환자의 호흡단계가 흡기 단계 또는 호기 단계에 대응하는지 결정하는 것;
상기 장 내 제1 센서의 위치를 기초로 기구의 위치를 결정하는 것;
상기 위치를 기초로 기구의 다음 움직임을 결정 하는 것; 및
상기 호흡단계를 기초로 다음 움직임을 위해 안전 모드를 활성화 시킬지 여부를 결정하는 것을 포함하는 방법.
제79항에 있어서,
한 개 이상의 하드웨어 프로세서에 의해 수행되는 방법.
제79항에 있어서,
안전 모드의 활성화시키는 것; 및
안전 모드에서 다음 움직임과 호흡 단계의 동기화를 유도하기 위해 한 개 이상의 안전 기능을 구현하는 것을 더 포함하는 방법.
제79항에 있어서,
(i) 관강내 조직망의 형태를 표현하는 모델, 및 (ii) 상기 장과 상기 모델의 좌표 프레임간의 매핑 정보에 대응하는 데이터에 접근하는 것을 더 포함하고; 상기 기구의 위치를 결정하는 것은 상기 매핑과 장 안에 제1 센서의 위치에 기초하여 모델에 대한 기구의 위치를 결정하는 것을 포함하는 방법.
제79항에 있어서,
표적 조직 부위까지 관강내 조직망을 통과하는 항행 경로에 관한 정보에 접근하는 것;
상기 항행 경로와 기구의 위치에 기초하여, 기구가 사용시 관강내 조직망의 기 설정된 안전구역 안에 위치하는지 확인하는 것; 및
기구가 기 설정된 안전 구역 안에 위치한다는 결정에 따라 안전 모드를 활성화시키는 것을 더 포함하는 방법.
제79항에 있어서,
안전 모드의 활성화 결정에 대한 반응으로 호흡 단계를 나타내는 정보를 사용자에게 출력 하는 것을 더 포함하는 방법.
제79항에 있어서,
안전 모드의 활성화 결정에 대한 반응으로 환자 호흡의 호기 단계 중에는 로봇 기구 드라이버의 작동을 방지하고, 상기 로봇 기구 드라이버는 기구가 관강내 조직망을 통과하는 움직임에 영향을 주도록 구성된 방법.
제85항에 있어서,
로봇 기구 드라이버의 작동을 방지하는 것은 상기 호기 단계 또는 이후의 호기 단계 중에 다음 움직임을 취하려는 사용자의 입력을 무효화 시키는 것을 포함하는 방법.