KR102334904B1

KR102334904B1 - 외부 촬상과의 로봇 의료 시스템 통합을 위한 시스템 및 방법

Info

Publication number: KR102334904B1
Application number: KR1020157035487A
Authority: KR
Inventors: 도린 팬에스큐; 조나단 엠 조르거; 프라샨트 초프라; 타오 자오
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2013-05-16
Filing date: 2014-05-16
Publication date: 2021-12-06
Also published as: EP2996622B1; EP2996622A4; US10842575B2; CN108095777A; JP6529962B2; US9592095B2; CN105208960B; KR102510797B1; CN108095777B; JP2019136550A; WO2014186715A1; JP6909258B2; CN105208960A; US11666397B2; KR20160010539A; EP2996622A1; US20210030494A1; KR20210151241A; US20170151026A1; EP3735933A1

Abstract

의료용 로봇 시스템 및 이를 작동시키는 방법은 환자의 해부학적 구조물의 수술중 외부 영상 데이터를 취하는 단계, 및 의료용 로봇 시스템의 제어 시스템에 대한 모델링 조정(예컨대, 해부학적 모델 갱신 및/또는 기기 정합 정교화)을 발생시키기 위해 그리고/또는 시술 제어 태양(예컨대, 물질 치료제 전달 조절, 표적화 개선, 및/또는 수행 추적)을 조정하기 위해 그러한 영상 데이터를 사용하는 단계를 포함한다.

Description

외부 촬상과의 로봇 의료 시스템 통합을 위한 시스템 및 방법 {SYSTEMS AND METHODS FOR ROBOTIC MEDICAL SYSTEM INTEGRATION WITH EXTERNAL IMAGING}

관련 출원에 대한 상호 참조

본 출원은 본원에서 전체적으로 참조로 통합된, 2013년 5월 16일자로 출원된 미국 가특허 출원 제61/824,298호에 기초하여 우선권을 주장한다. 본 특허 문헌은 또한 모두 2011년 10월 14일자로 출원된, 다음의 공동 소유, 공동 계류 중인 특허 출원에 관련되며 이들을 참조로 통합한다: 발명의 명칭이 "제거 가능한 관측 프로브를 구비한 카테터(Catheter with Removable Vision Probe)"인 미국 특허 출원 제13/274,208호; 발명의 명칭이 "교환 가능한 프로브를 위한 제어 모드를 갖는 카테터(Catheters with Control Modes for Interchangeable Probes)"인 미국 특허 출원 제13/274,198호; 발명의 명칭이 "관측 프로브 및 카테터 시스템(Vision Probe and Catheter Systems)"인 미국 특허 출원 제13/274,229호; 및 발명의 명칭이 "카테터 센서 시스템(Catheter Sensor Systems)"인 미국 특허 출원 제13/274,237호.

기술 분야

본 개시내용은 의료 시술 중에 환자의 해부학적 구조물 내에서 의료 장치를 추적하기 위한 시스템 및 방법에 관한 것이고, 특히 외부 촬상을 로봇 수술 시스템과 효율적으로 통합하기 위한 시스템 및 방법에 관한 것이다.

최소 침습적 의료 기술은 진단 시술 또는 외과적 시술 중에 손상되는 조직의 양을 감소시켜서, 환자 회복 시간, 불편함, 및 해로운 부작용을 감소시키도록 의도된다. 그러한 최소 침습적 기술은 환자의 해부학적 구조물 내의 자연 개구를 통해 또는 하나 이상의 외과적 절개부를 통해 수행될 수 있다. 이러한 자연 개구 또는 절개부를 통해, 의료진은 외과용 기기를 표적 조직 위치에 도달하도록 삽입할 수 있다. 표적 조직 위치에 도달하기 위해, 최소 침습적 외과용 기기는 폐, 대장, 소장, 신장, 심장, 순환계 등과 같은 해부학적 계통 내의 자연 통로 또는 외과적으로 생성된 통로를 운행할 수 있다. 운행 보조 시스템은 의료진이 외과용 기기를 안내하고 해부학적 구조물에 대한 손상을 회피하는 것을 돕는다. 이러한 시스템은 실제 공간 내에서 또는 시술전 영상 또는 동시 영상에 대해 외과용 기기의 형상, 자세, 및 위치를 더 정확하게 설명하기 위한 형상 센서의 사용을 포함할 수 있다. 동적 해부학적 계통 내에서 그리고/또는 많은 해부학적 통로로 밀집된 해부학적 영역 내에서, 해부학적 계통에 대해 최소 침습적 기기를 정확하게 정합시키는 것은 시간이 걸리고 처리 집약적인 작업이다. 해부학적 계통에 대해 최소 침습적 기기를 정합시키는 시스템 및 방법의 정확성 및 효율을 증가시키기 위한 개선된 시스템 및 방법이 필요하다.

미국 특허공보 제8,010,177호(2011.8.30)

외부 촬상 시스템으로부터의 촬상 데이터를 수술중 수술 시스템 데이터와 연관시킴으로써, 실제 환자의 해부학적 구조물에 대한 수술 시스템의 더 정확한 정합 및/또는 제어가 달성될 수 있다.

의료 시스템은 기기(들) 및/또는 해부학적 구조물의 자세에 대한 수술중 정보를 제공하기 위한 센서 시스템(예컨대, 위치 센서, 형상 센서 등)을 포함하는 로봇 제어식 의료 기기(들)을 포함할 수 있다. 본원에서 사용되는 바와 같이, "자세"라는 용어는 적어도 하나의 병진 이동 자유도 내에서의 대상 또는 대상의 일 부분의 위치, 및 적어도 하나의 회전 자유도 내에서의 그러한 대상 또는 대상의 일부의 배향을 지칭한다 (6개까지의 총 자유도). 본원에서 사용되는 바와 같이, "형상"이라는 용어는 대상을 따라 측정되는 자세, 위치, 또는 배향의 세트를 지칭한다.

환자 내에서의 의료 기기(들)의 위치 설정과 동시에, 외부 촬상 시스템(예컨대, 무엇보다도, 컴퓨터 단층 촬영(CT) 스캐너, 양전자 방출 단층 촬영(PET) 스캐너, 형광투시 스캐너(예컨대, C-아암, O-아암), 자기 공명 영상(MRI) 스캐너, 원추-빔 CT 스캐너, 및/또는 초음파 시스템)이 외과용 기기(들)이 위치된 해부학적 구조물의 수술중 영상을 제공한다. 몇몇 실시예에서, 외부 촬상 시스템은 또한 촬상 배향의 더 큰 범위를 제공하기 위해 굴절식 (예컨대, 로봇 제어식) 지지 구조물 상에 장착될 수 있다.

의료용 로봇 시스템 및 시스템을 작동시키기 위한 방법은 환자의 해부학적 구조물의 적어도 일 부분에 대한 수술중 외부 영상 데이터를 수신하는 단계, 및 (원위 팁 또는 도구 섹션과 같은 의료용 로봇 시스템 기기의 처치 표적 위치 또는 관련 부분 주위의 미리 결정된 영역으로부터 선택적으로 취해지는) 수술중 외부 영상 데이터에 기초하여 의료용 로봇 시스템을 적어도 반자동으로 (즉, 적어도 부분적으로 수동 사용자 개입이 없이) 제어하는 단계를 포함할 수 있다.

시스템 제어부는 외부 영상 데이터로부터 추출된 데이터를 사용하여, 그 다음 표적 위치로 물질(예컨대, 무엇보다도, 치료제, 진통제, 임플란트, 또는 표지자)의 전달을 적어도 반자동으로 조절하는 단계, 표적 위치로 처치 양태(예컨대, 무엇보다도, 어블레이션, 방사선, 초음파, 또는 전기 영동)를 적용하는 단계, 표적 위치에서 기기 자세를 조정하는 단계, 중점 치료 파라미터(예컨대, 무엇보다도, 방사산 빔 초점 또는 단면)를 조정하는 단계, 및/또는 표적 위치에서 기기의 조직과의 상호 작용을 추적하는 단계를 포함할 수 있다.

의료용 로봇 시스템 및 시스템을 위한 방법은 환자의 해부학적 구조물의 적어도 일 부분에 대한 수술중 외부 영상 데이터를 수신하는 단계, 및 (원위 팁 또는 도구 섹션과 같은 의료용 로봇 시스템 기기의 처치 표적 위치 또는 관련 부분 주위의 미리 결정된 영역으로부터 선택적으로 취해지는) 수술중 외부 영상 데이터에 기초하여 의료용 로봇 시스템을 위한 제어 시스템에 모델링 조정을 적어도 반자동으로 적용하는 단계를 포함할 수 있다.

모델링 조정은 외부 영상 데이터로부터 추출된 데이터를 사용하여, (예컨대, 영상 처리 기술을 사용하여 수술중 외부 영상 데이터로부터 해부학적 특징부 및/또는 기기 자세 데이터를 추출함으로써) 수술중 외부 영상 데이터에 기초하여 수술중 운행을 위해 사용되는 환자의 해부학적 구조물의 해부학적 모델을 자동 또는 반자동으로 갱신하는 단계, 및/또는 (예컨대, 환자, 기기, 및/또는 해부학적 모델에 대한 공통 기준 프레임을 적절하게 확립하기 위해 수술중 외부 영상 데이터로부터 인공 표지 또는 공지된 해부학적 지표/구조물과 같은 표식 요소에 대응하는 데이터를 추출함으로써) 환자, 기기, 및/또는 해부학적 모델 사이의 정합을 정교화하는 단계를 포함할 수 있다.

본 개시내용의 태양은 첨부된 도면과 함께 읽힐 때 다음의 상세한 설명으로부터 가장 잘 이해된다. 업계의 표준 관례에 따르면, 다양한 특징부들이 축척에 맞게 도시되지 않았음이 강조된다. 사실, 다양한 특징부들의 치수는 설명을 명확하게 하기 위해 임의로 증가 또는 감소될 수 있다. 또한, 본 개시내용은 다양한 예에서 참조 번호 및/또는 문자를 반복할 수 있다. 이러한 반복은 간단 명료함을 목적으로 하며, 자체가 설명되는 다양한 실시예들 및/또는 구성들 사이의 관계를 지시하지는 않는다.

도 1a는 본 개시내용의 실시예에 따른 로봇 의료 시스템이다.
도 1b는 본 개시내용의 태양을 이용하는 의료 기기 시스템을 도시한다.
도 2a는 외부 촬상 시스템과 함께 도 1a 및 도 1b의 로봇 의료 시스템을 도시한다.
도 2b - 도 2f는 도 2a의 로봇 의료 시스템의 다양한 작동 및 제어 태양을 도시한다.
도 3a - 도 3d는 도 2a - 도 2f에 도시된 바와 같은, 외부 촬상과 함께 로봇 의료 시스템의 사용을 포함하는 다양한 시술 접근법에 대한 흐름도를 도시한다.

본 발명의 실시예의 다음의 상세한 설명에서, 많은 구체적인 세부가 개시되는 실시예의 완전한 이해를 제공하기 위해 설명된다. 그러나, 본 개시내용의 실시예는 이러한 구체적인 세부가 없이 실시될 수 있음이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 공지된 방법, 절차, 구성요소, 및 회로는 본 발명의 실시예의 태양을 불필요하게 모호하게 하지 않기 위해 상세하게 설명되지 않았다.

아래의 실시예는 다양한 기기 및 기기의 부분들을 3차원 공간 내에서의 그의 상태의 측면에서 설명할 것이다. 본원에서 사용되는 바와 같이, "위치"라는 용어는 3차원 공간(예컨대, 직교 X, Y, Z 좌표를 따른 3개의 병진 이동 자유도) 내에서의 대상 또는 대상의 일 부분의 위치를 지칭한다. 본원에서 사용되는 바와 같이, "배향"이라는 용어는 대상 또는 대상의 일 부분의 회전 배치를 지칭한다 (3개의 회전 자유도 - 예컨대, 롤링, 피칭, 및 요잉). 본원에서 사용되는 바와 같이, "자세"라는 용어는 적어도 하나의 병진 이동 자유도 내에서의 대상 또는 대상의 일 부분의 위치, 및 적어도 하나의 회전 자유도 내에서의 그러한 대상 또는 대상의 일부의 배향을 지칭한다 (6개까지의 총 자유도). 본원에서 사용되는 바와 같이, "형상"이라는 용어는 대상을 따라 측정되는 자세, 위치, 또는 배향의 세트를 지칭한다.

도면 중 도 1a를 참조하면, 로봇 수술 시스템은 전체적으로 도면 부호 100에 의해 표시되어 있다. 본원에서 사용되는 바와 같이, "외과적"은 수술 시술(예컨대, 조직 추출 또는 조작), 치료 시술(예컨대, 약제 전달), 및 진단 시술(예컨대, 조직 검사 또는 생검)을 제한적이지 않게 포함하는, 환자에 대해 수행되는 임의의 의료 시술을 지칭할 수 있음을 알아야 한다. 도 1a에 도시된 바와 같이, 로봇 시스템(100)은 대체로 환자(P)에 대해 다양한 시술을 수행하는 데 있어서 외과용 기기(104)를 작동시키기 위한 외과용 구동기 조립체(102)를 포함한다. 조립체(102)는 수술대(O)에 또는 그 부근에 장착된다. 마스터 조립체(106)는 의료진(S)(예컨대, 외과의 또는 중재술 전문의)이 수술 부위를 관찰하고 구동기 조립체(102)를 제어하도록 허용한다.

대안적인 실시예에서, 로봇 시스템은 1개를 초과하는 구동기 조립체를 포함할 수 있다. 구동기 조립체의 정확한 개수 및 구성은 다른 인자들 중에서도 외과적 시술 및 수술실 내의 공간 구속에 의존할 것이다.

마스터 조립체(106)는 수술대(O)와 동일한 방 안에 보통 위치되는 의료진의 콘솔(C)에 위치될 수 있다. 그러나, 의료진(S)은 환자(P)와 다른 방 내에 또는 완전히 다른 건물 내에 위치될 수 있음을 이해하여야 한다. 마스터 조립체(106)는 대체로 선택적인 지지부(108), 및 구동기 조립체(102)를 제어하기 위한 하나 이상의 제어 장치(112)(들)을 포함한다. 제어 장치(112)(들)은 조이스틱, 트랙볼, 글러브, 트리거 건, 수작동 제어기, 음성 인식 장치 등과 같은 임의의 개수의 다양한 입력 장치를 포함할 수 있다. 몇몇 실시예에서, 제어 장치(112)(들)은 원격 현장감, 또는 의료진이 기기(104)를 직접 제어하는 강한 느낌을 갖도록 제어 장치(112)(들)이 기기(104)와 일체라는 인지를 의료진에게 제공하기 위해 관련된 외과용 기기(104)와 동일한 자유도를 구비할 것이지만, (다른 실시예에서, 제어 장치(112)(들)은 관련된 외과용 기기(104)보다 더 많거나 더 적은 자유도를 가질 수 있다). 몇몇 실시예에서, 제어 장치(112)는 6개의 자유도로 이동하며, (예를 들어, 파지 조오(jaw)를 폐쇄하고, 전극에 전위를 인가하고, 약물 처치를 전달하는 등을 위해) 기기를 가동시키기 위한 가동식 손잡이를 또한 포함할 수 있는 수동 입력 장치이다.

시각화 시스템(110)은 수술 부위의 동시 또는 실시간 체내 영상(즉, 수술 부위에서 취해지는 영상)이 의료진 콘솔(C)로 제공되도록 (아래에서 더 상세하게 설명되는) 관찰경 조립체를 포함할 수 있다. 동시 영상은, 예를 들어, 수술 부위 내에 위치된 내시경 또는 유사한 촬상 요소에 의해 포착되는 2차원 또는 3차원 영상일 수 있다. 이러한 실시예에서, 시각화 시스템(100)은 외과용 기기(104)에 일체로 또는 제거 가능하게 결합될 수 있는 내시경 구성요소를 포함할 수 있다. 그러나, 대안적인 실시예에서, 분리된 구동기 조립체에 부착된 분리된 내시경이 수술 부위를 촬상하기 위해 외과용 기기와 함께 사용될 수 있다. 시각화 시스템(110)은 (아래에서 설명되는) 제어 시스템(116)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다.

디스플레이 시스템(111)이 시각화 시스템(110)에 의해 포착되는 수술 부위 및 외과용 기기의 영상을 디스플레이할 수 있다. 디스플레이 시스템(111) 및 마스터 제어 장치(112)는 스코프 조립체 내의 촬상 장치와 외과용 기기의 상대 위치가 의료진의 눈과 손의 상대 위치와 유사하여, 작업자가 외과용 기기(104) 및 손 제어부를 사실상 실제로 존재하는 작업 공간을 관찰하는 것처럼 조작할 수 있도록 배향될 수 있다. 실제 존재는 영상의 제시가 외과용 기기(104)를 물리적으로 조작하고 있는 작업자의 관점을 모의하는 실제 시야 영상임을 의미한다.

대안적으로 또는 추가적으로, 디스플레이 시스템(111)은, 무엇보다도 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 양전자 방출 단층 촬영(PET), 형광투시법, 서모그래피, 초음파, 광 간섭 단층 촬영(OCT), 열 촬상, 임피던스 촬상, 레이저 촬상, 또는 나노튜브 X-선 촬상과 같은 촬상 기술을 사용할 수 있는 외부 촬상 시스템(160)에 의해 수술전 및/또는 수술중에 기록 및/또는 모델링되는 수술 부위의 영상을 제시할 수 있다. 제시되는 영상은 2차원, 3차원, 또는 4차원 영상을 포함할 수 있다. 본원에서 사용되는 바와 같이, "외부 촬상" 또는 "외부 영상"은 구체적인 촬상 양태에 관계없이 (예컨대, 초음파가 외부 촬상 및/또는 체내 촬상을 위해 사용될 수 있음), 환자 내로부터 취해지는 "체내" 영상과 대조적으로, 환자 외부로부터 취해지는 표적 해부학적 구조물의 영상을 지칭함을 알아야 한다.

몇몇 실시예에서, 디스플레이 시스템(111)은 대안적으로 또는 추가적으로 외과용 기기의 실제 위치가 외과용 기기의 팁의 위치에서 내부 수술 부위의 가상 영상을 의료진(S)에게 제시하기 위해 수술전 또는 수술중 영상과 정합(즉, 동적 참조)되는 가상 운행 영상을 디스플레이할 수 있다. 외과용 기기의 팁의 영상 또는 다른 도식 또는 영숫자 표시가 의료진이 외과용 기기를 제어하는 것을 보조하기 위해 가상 영상 상에 중첩될 수 있다. 대안적으로, 외과용 기기는 가상 영상 내에서 보이지 않을 수 있다.

다른 실시예에서, 디스플레이 시스템(111)은 대안적으로 또는 추가적으로 외과용 기기의 실제 위치가 외부 관점으로부터 수술 부위 내의 외과용 기기의 가상 영상을 의료진(S)에게 제시하기 위해 수술전 또는 동시 수술중 영상과 정합되는 가상 운행 영상을 디스플레이할 수 있다. 외과용 기기의 일 부분의 영상 또는 다른 도식 또는 영숫자 표시가 의료진이 외과용 기기를 제어하는 것을 보조하기 위해 가상 영상 상에 중첩될 수 있다.

도 1a에 도시된 바와 같이, 제어 시스템(116)은 적어도 하나의 프로세서(116P), 및 전형적으로 외과용 구동기 조립체(102), 마스터 조립체(106), 및 영상 및 디스플레이 시스템(110) 사이에서 제어를 달성하기 위한 복수의 프로세서를 포함한다. 제어 시스템(116)은 본원에서 설명되는 방법들 중 일부 또는 전부를 구현하기 위한 소프트웨어 프로그래밍 지시를 또한 포함한다. 다양한 실시예에서, 그러한 소프트웨어 프로그래밍 지시는 광학 디스크(들), 자기-광학 또는 고체 상태 하드 드라이브(들), 플래시 메모리, 또는 임의의 다른 매체 유형(들)과 같은 비일과성 컴퓨터 판독 가능 매체(116C) 상에 저장될 수 있다. 다양한 실시예에서, 제어 시스템(116)은, 무엇보다도 모델 데이터, 센서 데이터, 영상 데이터와 같은 입력 데이터를 수신 및/또는 저장하기 위한 하나 이상의 컴퓨터 메모리(116M)를 포함할 수 있다.

제어 시스템(116)이 도 1a의 단순화된 개략도에서 단일 블록으로서 도시되어 있지만, 시스템은 (예컨대, 외과용 구동기 조립체(102) 및/또는 마스터 조립체(106) 상의) 다수의 데이터 처리 회로를 포함할 수 있고, 처리의 적어도 일 부분은 선택적으로 입력 장치에 인접하여 수행되고, 일 부분은 구동기 조립체에 인접하여 수행되는 등이다. 매우 다양한 집중식 또는 분산식 데이터 처리 아키텍처들 중 임의의 하나가 채용될 수 있다. 유사하게, 프로그래밍 코드는 다수의 분리된 프로그램 또는 서브루틴으로서 구현될 수 있거나, 본원에서 설명되는 로봇 시스템의 다수의 다른 태양 내로 통합될 수 있다. 일 실시예에서, 제어 시스템(116)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 텔레메트리(Wireless Telemetry)와 같은 무선 통신 프로토콜을 지원할 수 있다.

몇몇 실시예에서, 제어 시스템(116)은 힘 및 토크 피드백을 외과용 기기(104)로부터 수작동 제어 장치(112)로 제공하기 위한 서보 제어기를 포함할 수 있다. 임의의 적합한 보편적인 서보 제어기 또는 특수화된 서보 제어기가 사용될 수 있다. 서보 제어기는 구동기 조립체(102)로부터 분리되거나 그와 일체일 수 있다. 몇몇 실시예에서, 서보 제어기 및 구동기 조립체는 환자의 신체에 인접하여 위치되는 로봇 아암 카트의 일부로서 제공된다. 서보 제어기는 신체 내의 개방부를 거쳐 환자 신체 내의 내부 수술 부위 내로 연장하는 기기를 이동시키도록 구동기 조립체에 지시하는 신호를 송신한다.

외과용 기기(104)를 지지하는 각각의 구동기 조립체(102)는 설치 조인트로 일반적으로 지칭되는, 하나 이상의 굴절식 (전형적으로, 반드시 필수적이지는 않지만, 수동으로 굴절 가능한) 위치 설정/지지 링키지를 포함할 수 있다. 구동기 조립체(102)는 일련의 액추에이터(예컨대, 모터)를 포함할 수 있다. 외과용 기기(104)와 일체이거나 그에 제거 가능하게 결합될 수 있는 이러한 액추에이터는 제어 시스템(116)으로부터의 명령에 응답하여 외과용 기기(104)를 능동적으로 이동시킨다. 특히, 액추에이터는 외과용 기기(104)를 자연적으로 또는 외과적으로 생성된 해부학적 개구 내로 전진시킬 수 있고 그리고/또는 3개의 선형 운동도(예컨대, X, Y, Z 선형 운동) 및 3개의 회전 운동도(예컨대, 롤링, 피칭, 요잉)를 포함할 수 있는 복수의 자유도로 외과용 기기(104)의 원위 단부를 이동시킬 수 있다. 추가적으로 또는 대안적으로, 액추에이터는 (예컨대, 생검 장치 등의 조오 내에 조직을 파지하기 위해) 기기(104)의 굴절식 또는 전개식 엔드 이펙터를 가동시키기 위해 사용될 수 있다.

도 1b는 외과용 기기 시스템(104) 및 그의 접속 시스템의 일 실시예를 도시한다. 외과용 기기 시스템(104)은 접속부(122)에 의해 구동기 조립체(102) 및 시각화 시스템(110)에 결합되는 가요성 기기(120)를 포함한다. 기기(120)는 가요성 본체(124), 그의 원위 단부(128)에서의 팁(126), 및 그의 근위 단부(130)에서의 접속부(122)를 갖는다.

몇몇 실시예에서, 본체(124)는, 다양한 실시예에서, 그의 길이에 걸쳐 다양한 상이한 구성을 보일 수 있는 가요성 튜브(예컨대, 폴리테트라플루오로에틸렌(PTFE)과 같은 가요성 또는 저마찰 재료의 내층 또는 외층을 구비한 직조된 와이어 튜브와 같은 브레이딩 구조물, 폴리에텔 블록 아미드(피박스(Pebax))와 같은 재료의 브레이딩 재킷 및 재유동된 (즉, 용융에 의해 융합된) 재킷에 의해 함께 유지되는 루멘 또는 튜브의 다발, 피박스와 같은 중합체 재료의 압출물, 금속 코일, 일련의 연결 요소들, 절결부를 구비한 금속 튜브, 및/또는 임의의 다른 세장형 가요성 구조물)로부터 형성될 수 있다. 다양한 다른 실시예에서, 가요성 본체는, 예를 들어, 구부러진 팁(126)의 점선 버전에 의해 도시된 바와 같이 팁을 제어 가능하게 구부리거나 회전시키기 위해, 그리고 몇몇 실시예에서, 선택적인 엔드 이펙터(132)를 제어하기 위해, 접속부(122)와 팁(126) 사이에서 적어도 부분적으로 연장하는 케이블, 링키지, 또는 다른 조향 제어부(도시되지 않음)를 추가로 수용하거나 그와 통합될 수 있다.

가요성 기기는 이전에 설명된 조향 제어부를 포함하여, 조향 가능할 수 있거나, 기기 굽힘의 작업자 제어를 위한 통합된 메커니즘이 없이 조향 불가능할 수 있다. 예시적인 목적으로 조오의 세트로서 도시되어 있지만, 선택적인 엔드 이펙터(132)는 의료 기능을 위해, 예컨대, 표적 조직에 대해 미리 결정된 용도를 달성하기 위해 작동 가능한 임의의 작동식 원위 부품일 수 있다. 예를 들어, 몇몇 엔드 이펙터는 메스, 블레이드, 니들, 또는 전극과 같은 단일 작동 부재를 갖는다. 도 1b의 실시예에 도시된 바와 같은 다른 엔드 이펙터는, 예를 들어, 겸자, 파지기, 가위, 스태플러, 혈관 밀봉기, 생검 도구, 봉합 도구, 또는 클립 어플라이어와 같은 한 쌍의 또는 복수의 작동 부재를 갖는다. 전기적으로 활성화되거나 사용 가능화되는 엔드 이펙터의 예는 전기 수술 전극, 어블레이션 요소, 트랜스듀서, 센서, 카메라, 프로브 등을 포함한다. 엔드 이펙터는, 예를 들어, 흡인, 흡입, 관류, 유체 전달을 요구하는 처치, 부속구 도입, 생검 추출 등을 수행하기 위해 유체, 기체, 또는 고체를 이송하기 위한 도관을 또한 포함할 수 있다.

다른 실시예에서, 가요성 본체(124)는 하나 이상의 작동 루멘(120A)을 형성할 수 있고, 이를 통해 (선택적인 엔드 이펙터(132)와 같은) 외과용 기기가 (예컨대, 선택적인 보조 입력 포트(120B)를 거쳐) 전개되어 표적 수술 위치에서 사용될 수 있다. 다양한 실시예에서, 그러한 작동 루멘(120A)은 선택적인 엔드 이펙터(132) 및/또는 다른 기능 요소와 함께 기기(120) 내로 통합될 수 있다.

기기(120)는 디스플레이 시스템(111)에 의해 디스플레이되도록 시각화 시스템(110)으로 송신되어 그에 의해 처리되는 체내 영상을 포착하기 위해 원위 단부(128)에 배치된 입체 또는 단안 카메라를 포함할 수 있는 영상 포착 요소(134)를 또한 포함할 수 있다. 대안적으로, 영상 포착 요소(134)는 섬유경과 같은 기기(120)의 근위 단부 상의 촬상 및 처리 시스템에 결합하는 간섭성 광섬유 다발일 수 있다. 영상 포착 요소(134)는 가시 또는 적외/자외 스펙트럼 내의 영상 데이터를 포착하기 위한 단일 또는 다중 스펙트럼형일 수 있다. 다양한 다른 실시예에서, 영상 포착 요소(134)는, 무엇보다도 공초점 현미경, OCT 시스템, 및 초음파 프로브와 같은 임의의 유형의 촬상 시스템을 포함할 수 있다.

몇몇 실시예에서, 기기(120)는 하나 이상의 의료용 프로브 또는 도구와 교환 가능한 관측 프로브를 수용하는 작동 루멘(120A)을 갖는 카테터 또는 안내 튜브로서 기능할 수 있다. 예를 들어, 몇몇 실시예에서, 영상 포착 요소(134)는 관측 프로브가 제거되어 의료 시술에서 사용되는 의료용 프로브로 교체될 수 있도록, 작동 루멘(120A) 내에 끼워지도록 크기 설정된 관측 프로브로서 구현될 수 있다. 관측 프로브와 의료용 프로브의 교환은 기기(120)가 더 작은 직경을 가져서, 관측 시스템 및 의료 시스템 모두를 동시에 수용하는 유사한 시스템보다 더 작은 통로를 운행하도록 허용할 수 있다. 대안적으로, 프로브들을 교환하는 것은 관측 시스템 및 의료 시스템 모두를 동시에 수용해야 하는 카테터가 가질 수 있는 것보다 더 큰 기능성을 갖는 관측 및 의료 시스템을 위한 더 많은 공간을 허용할 수 있다.

추적 시스템(135)은 원위 단부(128) 및 선택적으로 기기(120)를 따른 하나 이상의 세그먼트(137)(영역)의 위치, 배향, 속력, 자세, 및/또는 형상을 결정하기 위한 센서 시스템인, 위치 센서 시스템(136)(예컨대, 전자기(EM) 센서 시스템) 및/또는 형상 센서 시스템(138)을 포함할 수 있다. 세그먼트(137)들의 예시적인 세트만이 도 1b에 도시되어 있지만, 원위 단부(128)와 근위 단부(130) 사이에서의 팁(126)을 포함한 기기(120)의 전체 길이는 세그먼트들로 효과적으로 분할될 수 있다. 추적 시스템(135)은 제어 시스템(116)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다.

몇몇 실시예에서, 위치 센서 시스템(136)은 외부 발생 전자기장을 받을 수 있는 하나 이상의 전도성 코일을 포함하는 EM 센서 시스템일 수 있다. 각각의 코일은 그 다음 외부 발생 전자기장에 대한 코일의 위치 및 배향에 의존하는 특징을 갖는 유도 전기 신호를 생성한다. 일 실시예에서, EM 센서 시스템은 기본 점의 6개의 자유도, 예컨대, 3개의 위치 좌표(X, Y, Z) 및 피칭, 요잉, 및 롤링을 포함한 3개의 배향각을 측정하도록 구성 및 위치될 수 있다. 예시적인 EM 센서 시스템의 추가의 설명은 본원에서 전체적으로 참조로 통합된, 발명의 명칭이 "추적되는 대상에 대한 수동 트랜스폰더를 갖는 6-자유도 추적 시스템(Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked)"인 1999년 8월 11일자로 출원된 미국 특허 제6,380,732호에 제공되어 있다.

몇몇 실시예에서, 형상 센서 시스템(138)은 (예컨대, 내부 채널(도시되지 않음) 내에 제공되거나 외부에 장착된) 가요성 본체(124)와 정렬된 광섬유(140)를 포함한다. 추적 시스템(135)은 광섬유(140)의 근위 단부에 결합된다. 이러한 실시예에서, 섬유(140)는 대략 200㎛의 직경을 갖는다. 다른 실시예에서, 치수는 더 크거나 더 작을 수 있다.

광섬유(140)는 기기(120)의 형상을 결정하기 위한 광섬유 굽힘 센서를 형성한다. 하나의 대안예에서, 광섬유 브래그 격자(FBG)를 포함하는 광섬유가 하나 이상의 치수에서 구조물 내의 스트레인 측정을 제공하기 위해 사용된다. 3개의 치수에서의 광섬유의 형상 및 상대 위치를 모니터링하기 위한 다양한 시스템 및 방법이 발명의 명칭이 "광섬유 위치 및 형상 감지 장치 및 그에 관련된 방법(Fiber optic position and shape sensing device and method relating thereto)"인 2005년 7월 13일자로 출원된 미국 특허 출원 제11/180,389호; 발명의 명칭이 "광섬유 형상 및 상대 위치 감지(Fiber-optic shape and relative position sensing)"인 2004년 7월 16일자로 출원된 미국 가특허 출원 제60/588,336호; 및 발명의 명칭이 "광섬유 굽힘 센서(Optical Fibre Bend Sensor)"인 1998년 6월 17일자로 출원된 미국 특허 제6,389,187호에 설명되어 있고, 이들은 본원에서 전체적으로 참조로 통합되었다. 다른 대안예에서, 레일리(Rayleigh) 산란, 라만(Raman) 산란, 브릴루앙(Brillouin) 산란, 및 형광 산란과 같은 다른 스트레인 감지 기술을 채용하는 센서가 적합할 수 있다. 다른 대안적인 실시예에서, 기기(120)의 형상은 다른 기술을 사용하여 결정될 수 있다. 예를 들어, 기기의 팁의 자세의 이력이 운행 디스플레이를 리프레싱하기 위한 기간보다 더 짧은 시간 간격 동안 또는 교대하는 움직임(예컨대, 흡기 및 호기) 동안 저장되면, 자세 이력은 시간 간격에 걸쳐 장치의 형상을 재구성하기 위해 사용될 수 있다. 다른 예로서, 이력 자세, 위치, 또는 배향 데이터가 호흡과 같은 교대하는 움직임의 사이클을 따른 기기의 공지된 지점에 대해 저장될 수 있다. 이러한 저장된 데이터는 기기에 대한 형상 정보를 발현하기 위해 사용될 수 있다. 대안적으로, 기기를 따라 위치된, EM 센서와 같은 일련의 위치 센서가 형상 감지를 위해 사용될 수 있다. 대안적으로, 시술 중의 기기 상의 EM 센서와 같은 위치 센서로부터의 데이터의 이력은, 특히 해부학적 통로가 대체로 정적이면, 기기의 형상을 나타내도록 사용될 수 있다. 대안적으로, 외부 자기장에 의해 제어되는 위치 또는 배향을 갖는 무선 장치가 형상 감지를 위해 사용될 수 있다. 그의 위치의 이력은 운행되는 통로에 대한 형상을 결정하기 위해 사용될 수 있다.

이러한 실시예에서, 광섬유(140)는 단일 클래딩(146) 내의 다중 코어를 포함할 수 있다. 각각의 코어는 각각의 코어 내의 광이 다른 코어 내에서 운반되는 광과 상당히 상호 작용하지 않도록 코어들을 분리하는 충분한 거리 및 클래딩을 구비한 단일 모드일 수 있다. 다른 실시예에서, 코어의 개수는 변할 수 있거나, 각각의 코어가 분리된 광섬유 내에 포함될 수 있다.

몇몇 실시예에서, FBG의 어레이가 각각의 코어 내에 제공된다. 각각의 FBG는 굴절 지수의 공간적 주기성을 발생시키기 위해 코어의 굴절 지수의 일련의 변조를 포함한다. 간격은 각각의 지수 변화로부터의 부분적인 반사가 좁은 대역의 파장에 간섭성으로 추가되고, 그러므로 훨씬 더 넓은 대역을 통과하면서 이러한 좁은 대역의 파장만을 반사시키도록 선택될 수 있다. FBG의 제조 중에, 변조는 공지된 거리만큼 이격되고, 이에 의해 공지된 대역의 파장의 반사를 일으킨다. 그러나, 스트레인이 섬유 코어 상에서 유도될 때, 변조의 간격은 코어 내의 스트레인의 양에 의존하여, 변화할 것이다. 대안적으로, 후방 산란 또는 광섬유의 굽힘에 따라 변하는 다른 광학 현상이 각각의 코어 내의 스트레인을 결정하기 위해 사용될 수 있다.

따라서, 스트레인을 측정하기 위해, 광이 섬유를 따라 보내지고, 복귀 광의 특징이 측정된다. 예를 들어, FBG는 섬유 상의 스트레인 및 그의 온도의 함수인 반사 파장을 생성한다. 이러한 FBG 기술은 영국 브랙넬 소재의 스마트 파이버스 엘티디.(Smart Fibres Ltd.)와 같은 다양한 공급처로부터 상업적으로 구입 가능하다. 로봇 수술을 위한 위치 센서 내에서의 FBG 기술의 사용은 본원에서 전체적으로 참조로 통합된, 발명의 명칭이 "광섬유 브래그 격자를 사용하는 위치 센서를 포함하는 로봇 수술 시스템(Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings)"인 2006년 7월 20일자로 출원된 미국 특허 제7,930,065호에 설명되어 있다.

다중 코어 섬유에 적용될 때, 광섬유의 굽힘은 각각의 코어 내의 파장 변이를 모니터링함으로써 측정될 수 있는 코어 상의 스트레인을 유도한다. 섬유 내에서 축 이탈되어 배치된 2개 이상의 코어를 가짐으로써, 섬유의 굽힘은 각각의 코어 상에서 상이한 스트레인을 유도한다. 이러한 스트레인은 섬유의 굽힘의 국소적인 정도의 함수이다. 예를 들어, FBG를 포함하는 코어의 영역은, 섬유가 구부러지는 지점에 위치되면, 그러한 지점에서의 굽힘의 양을 결정하기 위해 사용될 수 있다. 이러한 데이터는 FBG 영역들의 공지된 간격과 조합하여, 섬유의 형상을 재구성하기 위해 사용될 수 있다. 그러한 시스템은 미국 버지니아주 블랙스버그 소재의 루나 이노베이션즈, 인크.(Luna Innovations, Inc.)에 의해 설명되어 있다.

설명된 바와 같이, 광섬유(140)는 기기(120)의 적어도 일 부분의 형상을 모니터링하기 위해 사용된다. 더 구체적으로, 광섬유(140)를 통과하는 광은 외과용 기기(120)의 형상을 검출하기 위해 그리고 그러한 정보를 외과적 시술을 보조하는 데 이용하기 위해 추적 시스템(135)에 의해 처리된다. 추적 시스템(135)은 기기(120)의 형상을 결정하기 위해 사용되는 광을 발생시켜서 검출하기 위한 검출 시스템을 포함할 수 있다. 이러한 정보는 결국 외과용 기기의 부품들의 속도 및 가속도와 같은 다른 관련 변수를 결정하기 위해 사용될 수 있다. 실시간으로 이러한 변수들 중 하나 이상의 정확한 측정을 획득함으로써, 제어기는 로봇 수술 시스템의 정확성을 개선하고, 구성요소 부품들을 구동할 때 도입되는 오류를 보상할 수 있다. 감지는 로봇 시스템에 의해 가동되는 자유도로만 제한될 수 있거나, 수동(예컨대, 조인트들 사이의 강성 부재들의 비가동 굽힘) 자유도 및 능동(예컨대, 기기의 가동 움직임) 자유도에 적용될 수 있다.

추적 시스템(135)으로부터의 정보는 운행 시스템(142)으로 보내질 수 있고, 여기서 이는 기기(120)의 제어 시에 사용하기 위해 디스플레이 시스템(111) 상에서 실시간 위치 정보를 의료진 또는 다른 작업자에게 제공하기 위해 시각화 시스템(110)으로부터의 정보 및/또는 수술전에 취해진 영상 및/또는 수술중에 취해지는 영상과 조합된다. 제어 시스템(116)은 기기(120)를 위치 설정하기 위한 피드백으로서 위치 정보를 이용할 수 있다. 외과용 기기를 수술 영상과 정합시켜서 디스플레이하기 위해 광섬유 센서를 사용하기 위한 다양한 시스템이 본원에서 전체적으로 참조로 통합된, 발명의 명칭이 "영상 안내식 수술을 위해 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery)"인 2011년 5월 13일자로 출원된 미국 특허 출원 제13/107,562호에 제공되어 있다.

도 1b의 실시예에서, 기기(104)는 로봇 수술 시스템(100) 내에서 원격 작동될 수 있다. 대안적인 실시예에서, 구동기 조립체 및 관련 제어 시스템/마스터 조립체는 직접 작업자 제어에 의해 대체될 수 있다. 직접 작업자 대안예에서, 다양한 손잡이 및 작업자 인터페이스가 기기의 휴대 작동을 위해 포함될 수 있다.

제어 시스템(116)은 원위 팁(126)을 조향하기 위해 (예컨대, 구동 인터페이스(122), 구동기 조립체(102), 제어 시스템(116), 및/또는 마스터 조립체(106) 내에 포함된) 액추에이터를 제어한다. 대체로, 제어 로직이 사용자(예컨대, 의료진 또는 시스템(100)을 사용하는 다른 의료 인력)로부터의 명령에 응답하여 그리고 선택적으로 (예컨대, EM 센서(136)(들) 및/또는 형상 센서 시스템(138)으로부터의) 센서 신호에 응답하여 작동한다. 그러나, 위에서 기술된 바와 같이, 몇몇 실시예에서, 제어 시스템(116)은, 예를 들어 이전에 식별된 작업 구성을 유지하거나 획득하기 위해, 센서 신호에 응답하여 작동할 수 있다.

도 2a는 외부 촬상 시스템(150)이 환자(P)에 대한 외과적 시술의 수행을 향상시키기 위해 사용되는 수술 시스템(100)의 일 실시예를 도시한다. 구동기 조립체(102) 및 기기(104)가 본원에서 예시적인 목적으로 가요성 기기를 구비한 "단일 아암" 시스템으로서 도시되고 설명되지만, 다양한 다른 실시예는 무엇보다도, 더 강성인 기기 시스템(예컨대, 마코 리오(Mako RIO)^® 시스템) 및/또는 다중 아암 로봇 시스템(예컨대, 인튜이티브 서지컬 다 빈치(Intuitive Surgical da Vinci)^® 수술 시스템)을 포함할 수 있음을 알아야 한다. 다양한 다른 실시예에서, 구동기 조립체(102) 및 기기(104)는 중점 치료 시스템(예컨대, 무엇보다도, 침입형 레이저 치료 시스템, 중점 냉동 절제 시스템, 집속 초음파(HIFU) 시스템, 전기 천공 시스템, 광역동 치료 시스템, 및/또는 외부 빔 방사선 치료 시스템)과 같은 대안적인 최소 침습적 또는 비침습적 치료 또는 진단 시스템일 수도 있다.

도 2a에 도시된 바와 같이, 구동기 조립체(102)는 환자(P)의 표적 해부학적 구조물(A)(여기서, 예시적인 목적으로 폐로서 도시됨) 내로 기기(104)를 안내한다. 구동기 조립체(102) 및 기기(104)의 거동은 제어 시스템(116)에 의해 제어되고, 기기(104) (및 선택적으로 구동기 조립체(102))로부터의 센서 데이터(예컨대, 위치 데이터, 형상 데이터, 동역학 데이터 등)가 (예컨대, 추적 시스템(135)에 의해) 수집되어 제어 시스템(116)으로 제공된다. 유사하게, 기기(104)에 의해 취해지는 (예컨대, 기기(104) 내로 통합되거나 기기(104) 상에/내에 위치된 하나 이상의 카메라에 의해 취해지는) 영상이 시각화부(110)에 의해 처리되어 제어 시스템(116)으로 제공될 수 있다. 이러한 영상 데이터는 디스플레이 시스템(111)(예컨대, 컴퓨터 또는 비디오 모니터) 상에서 라이브 현장 영상(예컨대, 영상(A))으로서 제시될 수 있다. 다양한 실시예에서, 가상 현장 영상(예컨대, 영상(B))이 추가적으로 또는 대안적으로 추적 시스템(135)에 의해 제공되는 센서 데이터 및 해부학적 구조물(A)의 컴퓨터 모델에 기초하여, 디스플레이 시스템(111) 상에서 보여질 수 있다. 다양한 다른 실시예에서, 디스플레이 시스템(111)은 환자(P) 내에서의 기기(104)의 미리 계획된 및/또는 실제 궤적을 표시하는, 해부학적 구조물(A)의 운행 개요(예컨대, 영상(C))와 같은, 임의의 다른 관련 정보를 보여줄 수 있다.

흔히, 상이한 공급원으로부터 취해지는 기기 및 해부학적 구조물 정보를 조합한 영상(C)과 같은 복합 영상(예컨대, 수술전 또는 수술중에 발생된 해부학적 모델과 조합된 센서 기반 기기 자세 정보)이 최소 침습적 외과적 시술의 중요한 요소이다. 그러한 도시는 그러한 장비가 제공하는 상대적으로 짧은 범위의 국소화된 촬상으로 인해 기기 기반 촬상 장비(예컨대, 내시경 카메라, 방사상 초음파 프로브 등)에 의해 대체로 제공될 수 없는 시술의 전반적인 진행의 시각적 표시를 의료진에게 제공한다. 그러한 국소화된 촬상에 비교하여, 복합 영상(C)은 전반적인 해부학적 구조물에 대한 (또는 적어도 해부학적 구조물의 훨씬 더 큰 부분에 대한) 기기의 훨씬 더 전체적인 시야를 보여줄 수 있다. 예를 들어, 영상(C)에서 표시된 바와 같이, 폐의 기도 가지와 같은 분지형 해부학적 구조물 내에서, 복합 영상(C)은 표적 노드에 대한 기기(104)의 원위 단부 영역의 자세뿐만 아니라, 기기(104)에 의해 횡단되는 특정 기도 분지부를 포함한, 기기(104)에 의해 취해지는 경로를 또한 표시할 수 있다. 영상(C)이 예시적인 목적으로 정면도(즉, 해부학적 구조물(A)의 관상 평면)로서 도시되어 있지만, 다양한 다른 실시예에서, 영상(C)은 시상도, 3D 도면, 또는 기기/해부학적 구조물 관계의 원하는 표현을 제공하는 임의의 다른 도면일 수 있음을 알아야 한다.

당연히, 복합 영상(C)의 정확성은 기기와 환자의 해부학적 구조물 사이의 정확한 정합 및/또는 기기와 해부학적 모델 사이의 정확한 정합에 의존한다. 전형적으로, 이러한 정합은 기기 센서 데이터(예컨대, 환자의 해부학적 구조물에 부착되고 해부학적 모델 내의 기준 위치/표식에 관련된 공지된 관계 기준 위치/표식을 갖는 EM 또는 형상 센서)에 기초한다. 그러나, 환자의 해부학적 구조물의 순응성 및 변형성으로 인해, 그리고 또한 고유한 센서 공차로 인해, 이러한 센서 기반 정합은 환자의 해부학적 구조물에 대한 기기의 실제 자세로부터 상당히 벗어날 수 있다. 감지된 정합과 실제 정합 사이의 그러한 불일치를 완화시키기 위해, 본원에서 참조로 통합된, 공동 소유, 공동 계류 중인 미국 특허 출원 제13/892,924호, 제13/893,040호, 제13/892,871호, 및 제13/893,008호에 설명되어 있는 바와 같은, 다양한 알고리즘 및/또는 데이터 분석 접근이 사용될 수 있다. 그러한 접근은 많은 경우에 정확한 정합을 제공하지만, 해부학적/센서 변동으로 인한 부정확성을 여전히 받을 수 있다.

따라서, 환자 내에서의 외과용 기기(들)의 작동(예컨대, 위치 설정 및/또는 가동)과 관련하여, 외부 촬상 시스템(150)(예컨대, 무엇보다도, 컴퓨터 단층 촬영CT) 스캐너, 양전자 방출 단층 촬영(PET) 스캐너, 형광투시 스캐너(예컨대, C-아암, O-아암), 자기 공명 영상(MRI) 스캐너, 원추-빔 CT 스캐너, 및/또는 초음파 시스템)은 해부학적 구조물(A) 및/또는 기기(104)의 수술중 영상(예컨대, 2D, 3D, 정지 화면, 라이브 화면, 360° 화면, 쐐기 화면, 또는 임의의 다른 유형의 화면)을 제공하기 위해 사용될 수 있다. 몇몇 실시예에서, 외부 촬상 시스템은 또한 촬상 배향의 더 큰 범위를 제공하기 위해 굴절식 (예컨대, 로봇 제어식) 지지 구조물 상에 장착될 수 있다.

촬상 시스템(150)은 외부 영상 데이터를 포착하고 발생시키기 위한 외부 촬상기(160)(예컨대, x-선 공급원 및 수용기를 구비한 갠트리), 및 그러한 데이터를 사용 가능한 영상 데이터(예컨대, 스캐닝된 부위의 단층 재구성)로 처리하기 위한 외부 촬상기 제어기(170)를 포함한다. 몇몇 실시예에서, 외부 촬상기(160)는 촬상 배향의 더 큰 범위를 제공하기 위해 굴절식 (예컨대, 로봇 제어식) 지지 구조물 상에 장착될 수 있다. 제어 시스템(116)은 그 다음 환자(P)에 대해 수행되는 시술을 향상시키기 위해 외부 영상 제어기(170)로부터의 이러한 영상 데이터를 사용할 수 있다.

몇몇 실시예에서, 촬상 시스템(150)은 촬상 영역을 정교화하고 국소화하기 위해, 예를 들어 주어진 노출 시간 동안 촬상 해상도를 증가시키거나 방사선 노출 시간을 감소시키기 위해, 기기(104) 및/또는 구동기 조립체(102)와 함께 작동할 수 있다. 예를 들어, 몇몇 실시예에서, 기기(104)의 원위 팁 영역(126)과 관련된 자세 데이터(예컨대, 기기(104)의 원위 단부의 또는 그 부근의 표식, 추적기, 비컨, 또는 다른 표시기로부터의 직접적인 신호, 또는 원위 팁 영역(126)에 대한 EM 센서, 형상 센서, 광학 센서 데이터와 같은 센서 데이터)가 촬상 시스템(150)의 작동을 안내할 수 있다.

예를 들어, 도 2b에 도시된 바와 같이, 스캔 영역(SR)이 팁(126) 둘레에 형성될 수 있다 (예컨대, 팁(126) 둘레의 미리 결정되거나, 선택 가능하거나, 사용자 지정된 영역). 외부 촬상기(160)가 그 다음 도 2c에 도시된 바와 같이, 관련 외부 영상 데이터를 발생시키기 위해 스캔 영역(SR) 내부만을 스캔할 수 있다 (예컨대, 스캔 영역(SR) 내에서만 CT 슬라이스 또는 쐐기를 취함). 스캔 영역(SR)이 예시적인 목적으로 원형 또는 구형 영역으로서 도시되어 있지만, 다양한 다른 실시예에서, 스캔 영역(SR)은 임의의 크기 또는 형상을 취할 수 있고, 팁(126) 둘레에서 중심 설정될 필요가 없음을 알아야 한다 (예컨대, 몇몇 실시예에서, 스캔 영역(SR)은 기기(104)의 작동 영역이 외부 촬상기(160)에 의해 촬상되도록 보장하기 위해 원위 팁(126)을 넘어 일정 거리로 연장할 수 있다). 다른 실시예에서, 스캔 영역(SR)은 결절, 종양, 기도 분기부, 장기, 또는 해부학적 구조물(A) 내의 사용자 식별 위치와 같은, 해부학적 구조물(A) 내의 표적 위치 또는 특징부(T1)에 대해 형성될 수 있다.

국소화된 외부 영상 데이터 또는 전체적인 외부 영상 데이터가 촬상 시스템(150)에 의해 제공되는 것에 관계없이, 그러한 데이터는 그 다음 환자(P)에 대한 시술의 수행을 향상시키기 위해 제어 시스템(116)에 의해 사용될 수 있다. 예를 들어, 몇몇 실시예에서, 촬상 시스템(150)으로부터의 수술중 외부 영상 데이터는 즉각적인 수술중 환경의 더 정확한 표현을 제공하기 위해 해부학적 구조물(A)의 기존의 모델(예컨대, 수술전에 발생된 CT 모델, 선택적으로 수술중에 변형됨)과 함께 사용될 수 있다.

예를 들어, 도 2d는 비교의 목적으로 해부학적 구조물(A)의 기존의 모델(M) 상으로 중첩된 해부학적 구조물(A)의 적어도 일 부분에 대해 촬상 시스템(150)에 의해 (예컨대, 도 2c에 대해 설명된 스캐닝 작업에 의해) 발생된 외부 영상 데이터(E)를 도시한다. 기존의 모델(M)은 해부학적 구조물(A)의 원래의 (수술전) 모델, 또는 수술중에 발생되는 변형/갱신된 모델일 수 있음을 알아야 한다. 아울러, 외부 영상 데이터(E)가 해부학적 구조물(A)의 모델(M)의 일 부분 또는 하위 세트로서 본원에서 도시되고 설명되지만, 다양한 다른 실시예에서, 외부 영상 데이터(E)는 완전한 해부학적 구조물(A)일 수 있고, 위에서 기술된 바와 같이, 해부학적 구조물(A)의 국소화된 부분만을 스캐닝하는 것이 유익한 효과(예컨대, 무엇보다도, 감소된 방사선 노출, 증가된 스캔 속도, 및/또는 향상된 스캔 정밀도)를 제공할 수 있음을 알아야 한다. 또한, 외부 영상 데이터(E)가 예시 및 설명의 목적으로 모델(M) 상으로 중첩되어 도시되어 있지만, 다양한 다른 실시예에서, 외부 영상 데이터(E)만이 또는 (즉, 외부 영상 데이터(E)에 기초한) 모델(M)의 변형된 버전만이 디스플레이될 수 있다.

도 2d에 표시된 바와 같이, 외부 영상 데이터(E)는 실제 기기 자세(P)와 센서 기반 기기 자세(S)(즉, 센서 데이터로부터 도출된 기기의 자세) 사이의 차이를 추가로 표시한다. 해부학적 구조물-모델 상태 불일치 및 기기-센서 자세 불일치가 예시의 목적으로 도 2d에 도시되어 있지만, 다양한 실시예에서, 하나 또는 양 유형의 불일치가 외부 영상 데이터 내에서 존재하거나 (상당할) 수 있음을 알아야 한다.

임의의 경우에, 다양한 실시예에서, 외부 영상 데이터와 측정/모델링된 상태 사이의 임의의 차이가 수술중 모델링을 갱신하기 위해 그리고 유익하게는 시술 정확성을 향상시키기 위해 (예컨대, 해부학적 모델과 환자의 해부학적 구조물, 기기, 및/또는 기기 카메라 화면 사이의 정합을 정교화하고, 기기의 자세를 조정/유지하고, 그리고/또는 기기에 대한 궤적을 확립하기 위해) 사용될 수 있다. 이는 해부학적 구조물(A)이 (예컨대, 폐의 기도 가지 내에서 또는 동맥 그물 내에서) 기기(104)의 존재 및/또는 이동에 의해 변형되기 쉬울 때 그리고/또는 기기(104)의 자세가 센서 또는 동역학 데이터로부터 정확하게 확립하기 어려울 때 (예컨대, 가요성 기기), 특히 유익할 수 있다.

예를 들어, 이러한 기기 유발 변형에 응답한 모델링 및 정합 갱신은 공동 소유, 공동 계류 중인 미국 특허 출원 제13/893,008호에 설명되어 있는 바와 같이, 기기 센서 데이터에 기초하여 구현될 수 있다. 그러나, 많은 경우에, 그러한 센서 기반 갱신은 실제 해부학적 상태 및/또는 상대 기기 위치를 정밀하게 나타내지 않을 수 있다. 그러한 상황에서, 외부 영상 데이터(E)가 수술중 해부학적 모델(M)을 정교화하고, 기기(104)와 해부학적 구조물(A) 사이의 정합을 개선하고, 그리고/또는 기기(104)의 원위 단부와 수술 표적(T2) 사이의 관계를 더 정확하게 특징짓기 위해 사용될 수 있다. 예를 들어, (도 2d에 도시된 바와 같이) 외부 영상 데이터(E)에 의해 표시되는 모델링 또는 정합 불일치에 응답하여, 모델(M), 모델(M) 자체, 기기(104)의 자세, 및/또는 기기(104)와 모델(M) 사이의 정합이 외부 영상 데이터(E)와 더 밀접하게 합치되도록 갱신될 수 있다.

몇몇 실시예에서, 모델(M)의 품질 및/또는 정확성은 외부 영상 데이터(E)에 기초하여 향상될 수 있다. 예를 들어, 기초 수준에서, (예컨대, 수술전 CT 스캔 세그먼트화에 의한) 원래의 모델 발생은 관심 해부학적 구조물을 완전히 포착하지 않을 수 있다. 그러한 경우에, 원래의 모델(M)로부터의 외부의 해부학적 구조물 및/또는 소실된 해부학적 구조물이 외부 영상 데이터(E)로부터 추출된 해부학적 데이터에 기초하여, 각각 제거되고 그리고/또는 추가될 수 있다. 예를 들어, 폐의 기도 가지와 같은 분지형 해부학적 구조물의 수술전 촬상 및 세그먼트화는 그러한 해부학적 구조물의 더 작은 요소(분지부)를 완전히 모델링하지 않을 수 있어서, 소실된 요소를 생성한다. 수술중 외부 촬상은 그러한 경우에, 예를 들어, 소실된 루멘을 식별하여 이를 분지형 해부학적 구조물에 추가함으로써, 해부학적 모델을 더 완전히 완성하도록 사용될 수 있다.

많은 경우에, 형상 센서로부터의 형상 데이터는 본원에서 모두 참조로 통합된, 미국 특허 제7,720,322호, 미국 특허 출원 제12/839,642호, 및 미국 특허 출원 제13/107,562호에 설명되어 있는 바와 같이, 기기 자세 및 해부학적 상태의 표시를 제공한다. 다른 예에서, (예컨대, 세그먼트화, 특징부 추출, 또는 임의의 다른 처리 기술에 의해) 수술중에 발생되는 외부 영상 데이터(E)로부터 추출되는 해부학적 형상 데이터 및/또는 기기 형상 데이터는 (예컨대, 평균화, 필터링, 또는 임의의 다른 알고리즘에 의해) 해부학적 구조물(A) 및/또는 기기(104)의 정확한 3D 모델 또는 표현을 발생시키기 위해 기기(104)로부터의 형상 센서 데이터와 함께 사용될 수 있다.

다양한 다른 실시예에서, 모델(M) 내에서 모델링되는 해부학적 구조물들 중 일부 또는 전부는 (예컨대, 에지 검출, 코너 검출, 형상 합치, 곡선 전개, 또는 임의의 다른 방법과 같은 특징부 추출 기술을 사용하여) 외부 영상 데이터(E) 내에서 식별되고, 그 다음 (예컨대, 모델(M)을 추출된 영상 데이터와 더 밀접하게 합치되게 함으로써) 모델(M) 내에서 대응하는 구조물을 갱신하기 위해 사용될 수 있다. 다른 실시예에서, 환자의 해부학적 구조물 및/또는 기기 내의, 상의, 또는 둘레의 식별 가능한 표식 요소가 모델 및 외부 영상 데이터에 대한 공통 정합 기준을 제공하기 위해 외부 영상 데이터(E)로부터 추출될 수 있다.

다양한 다른 실시예에서, 외부 영상 데이터(E)는 선택적으로 모델(M) 및/또는 센서 기반 자세(S)에 대한 갱신과 함께, 기기(104)와 해부학적 구조물(A) 사이의 현재의 수술중 관계를 식별 또는 확인하기 위해 사용될 수 있다. 예를 들어, 분지형 해부학적 구조물을 통한 가요성 기기(예컨대, 기도 가지를 통한 기관지경 또는 동맥 그물을 통한 카테터)의 진행을 추적할 때, 센서 정밀도의 고유한 제한이 자세 데이터에서 도약 또는 지터를 일으킬 수 있다. 그러한 시스템에 대해 더 명확하고 더 안정된 그래픽 사용자 인터페이스(GUI)를 제공하기 위해, "촬영" 알고리즘이 기기 센서 데이터 및 해부학적 구조물의 모델에 기초하여, 최근접 해부학적 통로 내에서 기기의 가상 화상을 디스플레이하기 위해 사용될 수 있다. 그러나, 전술한 센서 정밀도 한계, 해부학적 모델링 부정확성, 및/또는 정합 오류로 인해, 이러한 종류의 촬영된 디스플레이는 기기를 잘못된 해부학적 통로 내에 위치시킬 수 있다.

그러므로, 몇몇 실시예에서, 수술중 외부 영상 데이터(E)는 해부학적 구조물 내에서의 기기의 측정되고 모델링된 배치의 조정을 가능케 하도록 해부학적 모델 및/또는 기기 자세를 정교화하기 위해 추출된 해부학적 영상 데이터 및/또는 기기 영상 데이터를 사용함으로써, 또는 외부 영상 데이터로부터 해부학적 구조물 내에서의 기기 배치 데이터를 추출함으로써, 촬영 알고리즘의 신뢰성을 증가시켜서, 해부학적 구조물 내에서의 기기의 실제 배치의 사진을 제공하기 위해 사용될 수 있다.

외부 영상 데이터(E)의 이러한 처리는 제어 시스템(116), 외부 영상 제어기(170), 및/또는 임의의 다른 처리 유닛에 의해 수행될 수 있다. 다른 실시예에서, 기기(104)의 자세 및/또는 해부학적 구조물(A)의 상태는 그러한 특징부 추출 기술을 사용하여 외부 영상 데이터(E)로부터 추출될 수 있고, 그러한 추출된 정보는 모델(M), 기기(104)의 자세, 및/또는 모델(M)에 대한 기기(104)의 정합을 갱신하기 위해 제어 시스템(116)에 의해 사용될 수 있다.

다양한 다른 실시예에서, 외부 영상 데이터는 단순히 향상된 직접적인 시술 모니터링 및/또는 수행 제어를 제공하기 위해 사용될 수 있다. 몇몇 실시예에서, 외부 영상 데이터는 방사선 불투과성 (또는 외부 촬상기(160)에 의해 시각화 가능한) 진단 또는 치료 도구, 또는 기기(104) 내로 통합되거나 기기에 의해 전달되는 물질(예컨대, 치료제, 이식 가능한 장치, 또는 표식)의 수술중 진행 및/또는 활동을 보여줄 수 있다.

예를 들어, 도 2e에서, 외부 영상 데이터(E)는 치료 표적(T2)을 통한 예시적인 도구(132)(예컨대, 생검, 흡인, 또는 피하 니들)의 궤적을 도시한다. 기기 자세는 외부 영상 데이터(E)로부터 추출된 특징부 데이터에 기초하여 시술 수행을 최적화하도록 조정될 수 있다 (예컨대, 기기(104) (및/또는 원위 단부 영역(126) 및/또는 도구(132)), 해부학적 구조물(A), 및 표적(T2)에 대한 상대 위치 정보가 외부 영상 데이터(E)로부터 추출되고, 그 다음 표적(T2)에 대해 도구(132)를 적절하게 정렬시키고 위치시키기 위해 기기(104)의 자세를 조정하도록 사용될 수 있다). 이러한 방식으로, 외부 영상 데이터(E)의 수술중 전달은 도구(132)가 표적(T2)과 오정렬될 기회를 최소화할 수 있다.

다른 실시예에서, 외부 촬상 데이터는 표적(T2)이 도구(132)에 의해 실제로 영향을 받고 있다는 확인을 제공할 수 있어서, 적절한 시술 완료(예컨대, 표적(T2)으로부터의 조직 채취 또는 표적으로의 물질 전달의 확인)를 보장한다. 확인은 순수하게 시각적일 수 있거나 (예컨대, 도구(132) 및 표적(T2)의 동시 디스플레이), 적어도 반자동화된 확인일 수 있다 (예컨대, 도구(132) 및 표적(T2) 중 적어도 하나에 관련된 영상 데이터가 이들 사이의 접촉을 표시하는 중첩을 결정하기 위해 외부 영상 데이터(E)의 특징부 추출 또는 다른 분석에 의해 식별된다).

다양한 다른 실시예에서, 시술의 진행 및 활동이 모니터링될 수 있다. 예를 들어, 도 2f에 도시된 바와 같이, 기기(104)의 작동에 의해 생성된 영향을 받는 영역(AR)은 (예컨대, 온도, 재료 분포/조성, 세포 변형, 및/또는 밀도의 변화에 의해) 외부 촬상기(160)에 의해 검출 가능하고, 외부 영상 데이터(E) 내에서 표시된다.

몇몇 실시예에서, 영향을 받는 영역(AR)은 치료제(예컨대, 약제 또는 사이토톡신), 진단제, 마취제, 생물학적 제제, 영상 제제(예컨대, 인도시아닌 그린(ICG), 조영제, 또는 방사선 추적제), 처치제(예컨대, 방사성 시드 임플란트 또는 방사선 활성화 나노 입자), 임플란트(예컨대, 구조적 지지물, 기능성 메커니즘, 또는 지연 방출형 캡슐), 표식, 또는 기기(104)에 의해 전달되는 임의의 다른 물질의 양, 활성, 분산, 구성, 및/또는 다른 거동을 표시할 수 있다. 영향을 받는 영역(AR)의 크기, 형상, 위치, 강도, 배향, 또는 임의의 다른 특징은 그 다음 물질 전달 용도의 파라미터를 조정하기 위한 기초가 될 수 있다 (예컨대, 전달을 계속함, 전달 속도를 증가/감소시킴, 전달을 정지시킴, 위치/배향을 조정함, 또는 물질의 내용물을 변화시킴).

예를 들어, 표적(T2)으로의 사이토톡신의 전달에 의해 발생되는 영향을 받는 영역(AR)을 모니터링함으로써, 총 사이토톡신 투여량은 외부 영상 데이터(E) 내의 영향을 받는 영역(AR)이 표적(T2)을 넘어 확장하기 시작할 때, 전달을 정지시킴으로써 최소화될 수 있다. 이러한 전달 종결은 영향을 받는 영역(AR)의 모니터링에 응답하여 사용자 지시될 수 있거나 (예컨대, 의료진이 영향을 받는 영역(AR)의 관찰 상태에 응답하여 전달을 수동으로 종결함), 적어도 반자동화될 수 있다 (예컨대, 특징부 추출 또는 다른 알고리즘이 영역(AR)이 미리 결정된 양만큼 표적(T2)의 경계를 (부분적으로 또는 완전히) 초과함을 결정할 때, 통보가 제공되거나 전달이 종결됨).

다양한 다른 실시예에서, 영향을 받는 영역(AR)은 온도 증가, 방사선 선량, 밀도 변화, 또는 적용되는 처치 양태의 임의의 다른 효과로 인해 표적 영역 내에서의 조직 변화를 표시할 수 있다. 위에서 설명된 물질 전달 모니터링 접근과 유사하게, 영향을 받는 영역(AR)의 크기, 위치, 강도, 또는 임의의 다른 특징은 처치 양태의 파라미터를 조정하기 위한 기초가 될 수 있다 (예컨대, 전달 속도, 전력/강도, 작동 모드를 조정하거나, 단순히 치료를 계속하거나 정지시킴).

예를 들어, 어블레이션 시술 중에 온도를 증가시킴으로써 발생되는 영향을 받는 영역(AR)을 모니터링함으로써, 표적(T2)의 충분한 부분이 원하는 온도에 도달할 때 어블레이션을 종결함으로써, 측부 조직 손상이 최소화될 수 있다. 상기와 유사하게, 치료의 이러한 종결은 영향을 받는 영역(AR)의 모니터링에 응답하여 사용자 지시될 수 있거나 (예컨대, 의료진이 영향을 받는 영역(AR)의 관찰 상태에 응답하여 치료를 수동으로 종결함), 적어도 반자동화될 수 있다 (예컨대, 특징부 추출 또는 다른 알고리즘이 영역(AR)이 최대 크기, 강도, 및/또는 분포 패턴에 도달함을 결정할 때, 통보가 제공되거나 치료가 종결됨).

도 3a는 외과용 로봇 시술 시의 외부 촬상의 사용에 대한 예시적인 흐름도를 도시한다. 선택적인 시스템 데이터 발생 단계(300)에서, 환자의 해부학적 구조물 및 사용 중인 외과용 기기의 수술중 모델이 위에서 도 2a에 대해 설명된 바와 같이, 수술전 모델링 데이터 또는 수술중 모델링 데이터에 기초하여 제공된다. 외부 촬상 시스템이 그 다음 위에서 도 2c에 대해 설명된 바와 같이, 외부 촬상 단계(310)에서 환자의 해부학적 구조물의 적어도 일 부분에 대한 영상 데이터를 수술중에 발생시키기 위해 사용된다. 몇몇 실시예에서, 단계(310)의 촬상은 단계(300)에서 제공된 초기 모델을 발생시키기 위해 사용된 완전한 해부학적 영역에 대해 수행된다. 다양한 다른 실시예에서, 단계(310)의 촬상은 원래 모델링된 해부학적 영역의 부분에 대해서만 수행된다.

예를 들어, 도 3b의 예시적인 실시예에서 표시된 바와 같이, 단계(310)는 도 2b 및 도 2c에 대해 위에서 설명된 바와 같이, 원래 모델링된 해부학적 구조물의 일 부분만이 촬상될 수 있는 국소화 촬상 단계(312)를 포함할 수 있다. 국소화된 촬상은 몇몇 경우에, 방사선 노출 또는 스캔 시간을 유익하게 감소시킬 수 있고, 그리고/또는 원하는 영역의 더 상세한 촬상을 가능케 할 수 있다. 몇몇 실시예에서, 선택적인 기기 국소화 단계(311)에서, 외과용 기기의 자세(예컨대, 위치 및/또는 배향)는 도 2b에 대해 위에서 설명된 바와 같이, 단계(312)에서 촬상되는 해부학적 구조물의 부분을 한정하기 위한 기준으로서 사용된다. 다른 실시예에서, 실제 환자의 해부학적 구조물(예컨대, 해부학적 특징부 또는 원하는 시술 표적)은 단계(312)에서 촬상되는 영역을 한정하기 위한 기준으로서 사용될 수 있다.

도 3a로 돌아가면, 단계(310)에서 발생된 외부 영상 데이터는 그 다음 시술 제어 단계(320)에서 수행되는 외과적 시술을 수술중에 지시하도록 사용될 수 있다. 이러한 시술 제어는 단계(310)에서 발생된 수술중 외부 영상 데이터로부터 유익을 얻을 수 있는 주어진 시술의 임의의 태양을 포함할 수 있다. 예를 들어, 몇몇 실시예에서, 단계(320)는 물질(예컨대, 처치제, 진단제, 또는 영상 제제, 임플란트, 표식, 또는 다른 요소)이 표적 위치로 전달되는 선택적인 물질 전달 단계(320A)를 포함할 수 있다. 도 2f에 대해 위에서 설명된 바와 같이, 단계(310)로부터의 영상 데이터는 그 다음 단계(320A)에서 수행되는 물질 전달을 모니터링 및/또는 조절하기 위해 사용될 수 있다.

다양한 다른 실시예에서, 단계(320)는 처치(예컨대, 어블레이션, 방사선, 전기 천공 등)가 표적 위치에 적용되는 선택적인 처치 전달 단계(320B)를 포함할 수 있다. 도 2f에 대해 위에서 설명된 바와 같이, 단계(310)로부터의 영상 데이터는 그 다음 단계(320B)에서 처치 양태의 적용을 모니터링 및/또는 조절하기 위해 사용될 수 있다.

다양한 다른 실시예에서, 단계(320)는 기기(예컨대, 기기(104) 또는 임의의 다른 진단, 수술, 또는 치료 기기)가 환자의 해부학적 구조물 및/또는 표적 수술 위치에 대해 위치/배향되는 선택적인 기기 표적화 단계(320C)를 포함할 수 있다. 도 2e에 대해 위에서 설명된 바와 같이, 환자의 해부학적 구조물(예컨대, 전체 해부학적 구조물 또는 특정 표적 위치)에 대한 기기의 자세는 시술 결과를 향상시키기 위해 수술중 외부 영상 데이터에 기초하여 조정될 수 있다.

다양한 다른 실시예에서, 단계(320)는 기기(예컨대, 기기(104) 또는 임의의 다른 진단, 수술, 또는 치료 기기)가 가동되고 (예컨대, 무엇보다도, 조직 채취, 절제, 해부, 밀봉, 또는 봉합), 외부 영상 데이터가 성공적인 수행을 확인하기 위해 이러한 기기 가동 중에 취해지는, 선택적인 기기 가동 단계(320D)를 포함할 수 있다. 도 2e에 대해 위에서 설명된 바와 같이, 기기와 표적 해부학적 구조물 사이의 상호 작용은 시술 결과를 확인하기 위해 검출될 수 있다. 선택적인 단계(320A - 320D)들이 개별적으로 또는 임의의 조합으로 사용될 수 있음을 알아야 한다. 아울러, 위에서 설명된 제어 효과 중 임의의 하나/전부의 그래픽 디스플레이를 포함한, 단계(320)에 대한 다양한 다른 선택적인 제어 작동이 매우 명백할 것이다.

몇몇 실시예에서, 외부 영상 데이터는 의료용 로봇 시스템의 작동 및 제어 시에 사용되는 모델(들)을 향상 및/또는 정교화하기 위해 사용될 수 있다. 예를 들어, 도 3c는 외과용 로봇 시술 시에 외부 촬상의 사용을 위한 다른 예시적인 흐름도를 도시한다. 선택적인 시스템 데이터 발생 단계(300)에서, 환자의 해부학적 구조물 및 사용 중인 외과용 기기의 수술중 모델이 위에서 도 2a에 대해 설명된 바와 같이, 수술전 모델링 데이터 또는 수술중 모델링 데이터에 기초하여 제공된다. 외부 촬상 시스템이 그 다음 위에서 도 2c에 대해 설명된 바와 같이, 외부 촬상 단계(310)에서 환자의 해부학적 구조물의 적어도 일 부분에 대한 영상 데이터를 수술중에 발생시키기 위해 사용된다. 몇몇 실시예에서, 단계(310)의 촬상은 단계(300)에서 제공된 초기 모델을 발생시키기 위해 사용된 완전한 해부학적 영역에 대해 수행된다. 다양한 다른 실시예에서, 단계(310)의 촬상은 (예컨대, 도 3b에 대해 설명된 바와 같이) 원래 모델링된 해부학적 영역의 부분에 대해서만 수행된다.

그 다음, 모델링 조정 단계(330)에서, 모델링된 해부학적 구조물/시스템에 대한 갱신이 발생 및/또는 적용된다. 단계(330)의 모델링 조정은 수행되는 시술 중에 사용되는 모델링 환경에 대한 임의의 안내 또는 그에 대한 변형일 수 있다. 예를 들어, 몇몇 실시예에서, 도 3d에 도시된 바와 같이, 단계(330)는 단순히 시술에 대한 관심 특징부(예컨대, 해부학적 구조물, 수술 표적, 기기, 표식 등)가 외부 영상 데이터 내에서 식별되는 선택적인 특징부 추출 단계(330A)일 수 있다. 위에서 기술된 바와 같이, 단계(330A)의 이러한 식별은, 무엇보다도 에지 검출, 코너 검출, 형상 합치, 및/또는 곡선 전개와 같은 임의의 수의 특징부 추출 기술을 사용하여 수행될 수 있다.

이러한 추출된 특징부 데이터는 그 다음, 예를 들어, 도 2d에 대해 위에서 설명된 바와 같이, 단계(300)에서 제공된 모델을 갱신/정교화하기 위해 사용될 수 있다. 예를 들어, 외부 영상 데이터로부터 추출된 해부학적 특징부 데이터는 해부학적 구조물의 수술중 상태를 더 정확하게 나타내도록 해부학적 모델을 갱신하기 위해 그리고/또는 기기의 수술중 자세를 더 정확하게 나타내도록 기기 구성의 센서 기반 모델을 갱신하기 위해 사용될 수 있다.

그러나, 다양한 다른 실시예에서, 외부 영상 데이터로부터 추출된 특징부 데이터는 시술 환경의 다양한 모델링 요소를 더 정확하게 정합시키기 위해 사용될 수 있다. 바꾸어 말하면, 수술중 외부 영상 데이터는 의료용 로봇 시스템, 환자의 해부학적 구조물, 및/또는 환자의 해부학적 구조물의 모델 사이의 관계(들)을 정교화/확립하기 위해 사용될 수 있다.

몇몇 실시예에서, 단계(330)는 환자의 해부학적 구조물의 해부학적 모델이 실제 환자의 해부학적 구조물에 더 근접하게 정합되는 선택적인 모델-환자 정합 단계(330B)를 포함할 수 있다. 예를 들어, 환자의 해부학적 구조물에 대한 공지된 위치 및/또는 배향을 갖는 표식 요소(예컨대, 패드, 코일, 표지, 해부학적 구조물, 또는 외부 촬상기(160)에 의해 보일 수 있는 임의의 다른 요소)에 대응하는 표식 데이터가 위에서 설명된 바와 같이 외부 영상 데이터로부터 추출될 수 있다. 영상 표식 데이터는 그 다음 관심 있는 환자의 해부학적 구조물에 대응하는 영상 데이터에 대한 기준 프레임을 제공할 수 있고, 이에 의해 환자의 해부학적 구조물의 모델이 실제 환자의 해부학적 구조물에 적절하게 정합되도록 허용한다. 예를 들어, 내부 환자 해부학적 구조물(예컨대, 기도 가지)의 해부학적 모델을 외부 기준 표식(들)과 정합시킴으로써, 안내가 제공될 수 있거나, (예컨대, 기기 크기 설정, 시술 경로 계획 최적화, 또는 환자의 내부 해부학적 상태에 의해 영향을 받을 수 있는 시술의 임의의 다른 태양에 관한 안내를 제공하기 위해) 기기 크기 설정, 시술 경로, 또는 환자의 내부 해부학적 상태에 의해 영향을 받을 수 있는 임의의 다른 태양에 관한 잠재적인 문제가 식별될 수 있다.

다른 실시예에서, 단계(330)는 의료용 로봇 시스템 및/또는 그러한 시스템의 기기(들)이 실제 환자의 해부학적 구조물에 더 근접하게 정합되는 선택적인 시스템-환자 정합 단계(330C)를 포함할 수 있다. 예를 들어, 환자의 해부학적 구조물 및 의료용 로봇 시스템/기기(들)에 대한 공지된 위치 및/또는 배향을 갖는 표식 요소에 대응하는 표식 데이터가 위에서 설명된 바와 같이 외부 영상 데이터로부터 추출될 수 있다. 영상 표식 데이터는 그 다음 시스템/기기(들) 및 관심 있는 환자의 해부학적 구조물에 대한 공통 기준 프레임을 확립하거나 정교화할 수 있고, 이에 의해 시스템이 환자의 해부학적 구조물에 대해 더 정밀하게 작동하도록 허용한다. 예를 들어, 환자의 해부학적 구조물에 대해 기기를 정합시킴으로써, (예컨대, 로봇 기기를 위한 캐뉼라의 삽입을 위해) 전형적으로 수동으로 수행되는 환자 내로의 초기 절개가 수동 중재술이 감소된 채로 또는 수동 중재술이 없이, 의료용 로봇 시스템에 의해 수행될 수 있다.

다른 실시예에서, 단계(330)는 의료용 로봇 시스템 및/또는 그러한 시스템의 기기(들)이 환자의 해부학적 구조물의 모델에 대해 더 근접하게 정합되는 선택적인 시스템-모델 정합 단계(330D)를 포함할 수 있다. 예를 들어, 환자의 해부학적 구조물 및 의료용 로봇 시스템/기기(들)에 대한 공지된 위치 및/또는 배향을 갖는 표식 요소에 대응하는 표식 데이터가 위에서 설명된 바와 같이 외부 영상 데이터로부터 추출될 수 있다. 영상 표식 데이터는 그 다음 시스템/기기(들) 및 해부학적 모델에 대한 공통 기준 프레임을 확립하거나 정교화하기 위해 사용될 수 있고, 이에 의해 직접 또는 외부 시각화가 이용 가능하지 않을 때 시스템이 더 효과적으로 작동되도록 허용한다. 예를 들어, 해부학적 모델에 대해 기기를 정확하게 정합시킴으로써, 환자의 해부학적 구조물 내에서의 그러한 기기의 이동은 단순히 기기와 관련된 센서(예컨대, 형상 센서, EM 센서 등)에 의해, 정확하게 특징지어 지고, 제어되고, 그리고/또는 모니터링될 수 있다.

선택적인 단계(330A - 330D)들은 개별적으로 또는 임의의 조합으로 사용될 수 있음을 알아야 한다. 아울러, 단계(320)에 대한 다양한 다른 선택적인 모델링 조정이 매우 명백할 것이다. 또한, 다양한 다른 실시예에서, 단계(320)의 모델링 조정(들)은 도 3c에서 표시된 바와 같이, 단계(320)의 시술 제어 작동들 중 임의의 하나/전부와 함께 사용될 수 있고, 다양한 피드백 및 조정 루프가 파선에 의해 표시된 바와 같이, 단계(300 - 330)들 사이에서 가능하다.

본 개시내용의 시스템 및 방법이 폐의 연결된 기관 통로 내에서의 사용에 대해 예시되었지만, 이는 또한 대장, 소장, 신장, 뇌, 심장, 순환계 등을 포함한, 다양한 해부학적 계통 중 임의의 하나에서, 자연 또는 외과적으로 생성된 연결된 통로를 거쳐, 다른 조직의 운행 및 처치에 대해 적합하다. 본 개시내용의 방법 및 실시예는 또한 비외과적 용도에 대해 적합하다.

본 발명의 실시예의 하나 이상의 요소들은 제어 시스템(116)과 같은 컴퓨터 시스템의 프로세서 상에서 실행되는 소프트웨어 내에서 구현될 수 있다. 소프트웨어 내에서 구현될 때, 본 발명의 실시예의 요소들은 본질적으로 필수적인 작업을 수행하기 위한 코드 세그먼트이다. 송신 매체 또는 통신 링크를 거쳐 반송파 내에서 실시되는 컴퓨터 데이터 신호에 의해 다운로드되었을 수 있는 프로그램 또는 코드 세그먼트는 프로세서 판독 가능 저장 매체 또는 장치 내에 저장될 수 있다. 프로세서 판독 가능 저장 장치는 광학 매체, 반도체 매체, 및 자성 매체를 포함한 정보를 저장할 수 있는 임의의 매체를 포함할 수 있다. 프로세서 판독 가능 저장 장치 예는 전자 회로; 반도체 장치, 반도체 메모리 장치, 읽기 전용 메모리(ROM), 플래시 메모리, 소거 가능한 프로그램 가능 읽기 전용 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크, 또는 다른 저장 장치를 포함한다. 코드 세그먼트는 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크를 거쳐 다운로드될 수 있다.

제시된 공정 및 디스플레이는 임의의 특정 컴퓨터 또는 다른 장치에 본질적으로 관련되지 않을 수 있음을 알아야 한다. 다양한 범용 시스템이 본원의 교시에 따른 프로그램과 함께 사용될 수 있거나, 설명된 작동을 수행하기 위해 더 특수화된 장치를 구성하는 것이 간편한 것으로 입증될 수 있다. 다양한 이러한 시스템에 대해 요구되는 구조는 청구범위 내에서 요소로서 나타날 것이다. 또한, 본 발명의 실시예는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어가 본원에서 설명되는 바와 같은 본 발명의 교시를 구현하기 위해 사용될 수 있음이 이해될 것이다.

본 발명의 소정의 예시적인 실시예가 설명되고 첨부된 도면에 도시되어 있지만, 그러한 실시예는 단지 예시적이며 광범위한 본 발명에 대해 제한적이지 않고, 본 발명의 실시예는 다양한 다른 변형이 본 기술 분야의 통상의 기술자에게 명백할 수 있으므로, 도시되고 설명된 특정 구성 및 배열로 제한되지 않음을 이해하여야 한다.

Claims

의료 시스템이며,
의료 기기;
환자의 해부학적 구조물의 적어도 일 부분에 대한 수술중 외부 영상 데이터 및 적어도 의료 기기의 길이에 대한 수술중 자세 데이터를 저장하기 위한 메모리; 및
수술중 외부 영상 데이터에 기초하여 기존의 모델을 조정함으로써 환자의 해부학적 구조물의 갱신된 모델을 수술중에 발생시킴으로써 수술중 모델링 조정을 적용하도록 구성된 프로세서
를 포함하는, 의료 시스템.
제1항에 있어서,
기존의 모델은 환자의 해부학적 구조물 내의 하나 이상의 특징부에 대한 모델 데이터를 포함하고,
프로세서는,
수술중 외부 영상 데이터로부터 하나 이상의 특징부에 대한 특징부 영상 데이터를 추출하고,
특징부 영상 데이터에 기초하여 모델 데이터를 조정하도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
의료 기기는 환자의 해부학적 구조물 내에 적어도 부분적으로 위치하고, 프로세서는 수술중 자세 데이터에 기초하여 기존의 모델을 조정하도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
프로세서는,
수술중 외부 영상 데이터 내에서 환자의 해부학적 구조물과 관련된 하나 이상의 기준 요소에 대응하는 기준 요소 영상 데이터를 식별하고,
기준 요소 영상 데이터에 기초하여, 하나 이상의 기준 요소에 대한 공지된 관계를 가지는 의료 기기를 환자의 해부학적 구조물에 대해 정합시키도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
프로세서는,
수술중 외부 영상 데이터 내에서 환자의 해부학적 구조물과 관련된 하나 이상의 기준 요소에 대응하는 기준 요소 영상 데이터를 식별하고,
수술중 외부 영상 데이터 및 의료 기기에 대한 수술중 자세 데이터 중 적어도 하나에 기초하여 기존의 모델로부터 환자의 해부학적 구조물의 갱신된 모델을 발생시키고,
기준 요소 영상 데이터에 기초하여, 하나 이상의 기준 요소에 대한 공지된 관계를 가지는 의료 기기를 갱신된 모델에 대해 정합시키도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
갱신된 모델을 발생시키는 것은 기존의 모델의 일 부분만을 조정하는 것을 포함하는, 의료 시스템.
제1항에 있어서,
프로세서는,
수술중 외부 영상 데이터 내에서 환자의 해부학적 구조물과 관련된 하나 이상의 기준 요소에 대응하는 기준 요소 영상 데이터를 식별하고,
기준 요소 영상 데이터를 기존의 모델 내의 기준 요소 모델 데이터와 연관시켜 기존의 모델을 환자의 해부학적 구조물에 정합시키도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
프로세서는,
수술중 외부 영상 데이터 내에서 환자의 해부학적 구조물과 관련된 하나 이상의 기준 요소에 대응하는 기준 요소 영상 데이터를 식별하고,
기준 요소 영상 데이터에 기초하여, 하나 이상의 기준 요소에 대한 공지된 관계를 가지는 의료 기기를 기존의 모델에 대해 정합시키도록 추가로 구성되는, 의료 시스템.
의료 시스템이며,
의료 기기;
환자의 해부학적 구조물의 적어도 일 부분에 대한 수술중 외부 영상 데이터 및 의료 기기에 대한 수술중 자세 데이터를 저장하기 위한 메모리; 및
수술중 외부 영상 데이터에 기초하여 기존의 모델을 조정함으로써 환자의 해부학적 구조물의 갱신된 모델을 수술중에 발생시킴으로써 수술중 모델링 조정을 적용하도록 구성된 프로세서를 포함하고,
갱신된 모델은 기존의 모델에 존재하지 않는 해부학적 구조를 포함하는, 의료 시스템.
제9항에 있어서,
수술중 모델링 조정을 적용하는 것은 기존의 모델에 해부학적 구조를 추가하여 갱신된 모델을 발생시키는 것을 포함하는, 의료 시스템.
제9항에 있어서,
수술중 모델링 조정을 적용하는 것은 기존의 모델로부터 제2 해부학적 구조를 제거하여 갱신된 모델을 발생시키는 것을 포함하는, 의료 시스템.
제9항에 있어서,
프로세서는 수술중 외부 영상 데이터 내에서 해부학적 구조를 식별하도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
의료 기기 내에서 연장되는 형상 센서를 추가로 포함하는, 의료 시스템.
제1항에 있어서,
프로세서는 수술중 외부 영상 데이터에 기초하여 의료 기기의 자세를 조정하도록 추가로 구성되는, 의료 시스템.
제1항에 있어서,
의료 기기는 수술 기기를 포함하고, 프로세서는 수술중 외부 영상 데이터를 디스플레잉하여 수술 기기의 적어도 하나의 활성화 상태를 나타내도록 추가로 구성되는, 의료 시스템.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제