KR20220144360A - 로봇 기관지경 검사 탐색용의 시스템 및 방법 - Google Patents

Abstract

로봇 내시경 장치용의 자동 레지스트레이션을 위한 방법이 제공된다. 방법은, (a) 위치 센서를 사용하여 수집된 제 1 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 배향과 위치 센서의 배향 사이의 제 1 변환을 생성하는 단계; (b) 제 1 변환 및 제 2 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 좌표틀과 해부학적 관강 망을 나타내는 모델의 좌표틀 사이의 제 2 변환을 생성하는 단계; 및 (c) 제 3 세트의 센서 데이터에 적어도 부분적으로 기초하여 업데이트 알고리즘을 사용하여 제 2 변환을 업데이트하는 단계를 포함한다.

Description

로봇 기관지경 검사 탐색용의 시스템 및 방법

참조

본 출원은 2019 년 12 월 19 일에 출원된 미국 특허 가출원 제 62/950,740 호 및 2020 년 10 월 13 일에 출원된 미국 특허 가출원 제 63/091,283 호의 우선권을 주장하며, 해당 가출원 각각의 전체 내용이 본원에 참조로서 인용된다.

폐암은 조기 진단이 중요하다. 폐암의 5년 생존율은 약 18%로, 유방(90%), 결장직장(65%), 전립선(99%)의 세 가지 가장 널리 퍼진 암보다 현저히 낮다. 2018 년 총 142,000명이 폐암으로 사망한 것으로 기록되었다.

일반적으로, 전형적인 폐암 진단 및 수술 치료 프로세스는 의료 서비스 제공자가 사용하는 기술, 임상 프로토콜, 및 임상 부위에 따라 크게 달라질 수 있다. 일관되지 않은 프로세스는 암 진단을 지연시킬 수 있을 뿐만 아니라 환자와 의료 서비스 시스템에 부과되는 비용을 상승시킬 수 있다.

내시경 검사(예를 들어, 기관지경 검사)와 같은 이러한 의료 절차는 진단 및/또는 치료 목적으로 환자의 내강(예를 들어, 기도) 내부에 접근하여 내부를 시각화하는 단계를 포함할 수도 있다. 절차 동안, 예를 들어, 내시경과 같은 가요성의 관형 도구가 환자의 신체 내로 삽입될 수도 있으며, 기기가 진단 및/또는 치료를 위해 식별되는 조직 부위로 내시경을 통과할 수 있다.

내시경은 의학적 상태(예를 들어, 조기 폐암 진단 및 치료)와 같은 다양한 상태의 진단 및 치료의 방대한 용례를 포함한다. 내시경 검사 탐색 시스템은, 예를 들어, 적응적으로 조정된 확률을 통해 모델링된 상이한 감지 양식(예를 들어, 카메라 영상화 데이터, 전자기(EM) 위치 데이터, 로봇 위치 데이터 등)을 사용할 수도 있다. 탐색 접근 방식은 내시경의 선단 추적을 시작하기 위해 내시경의 선단이 기도에 대해 어디에 있는지에 대한 초기 추정값에 따라 달라질 수도 있다. 일부 내시경 기술에는 환자의 해부학적 구조의 3-차원(3D) 모델 및 EM 필드 및 위치 센서를 사용한 안내 탐색이 포함될 수도 있다. 절차 전에는, 3D 모델의 가상 공간과 3D 모델과 EM 필드가 나타내는 환자의 해부학적 구조의 물리적 공간 사이의 정확한 정렬(예를 들어, 레지스트레이션(registration))을 모를 수도 있다. 따라서, 레지스트레이션 정보를 생성하기 전에는, 환자의 해부학적 구조 내부의 내시경 위치가 3D 모델 내부의 대응하는 위치에 정확하게 매핑될 수 없다.

부정확한 레지스트레이션 정보로 인해 기관지경의 탐색이 어려울 수 있다. 특히, 현재의 레지스트레이션 절차는 시간이 많이 걸리고 복잡하거나, 사람의 입력에 의해 영향을 받는 일관되지 않은 결과를 생성할 수 있다. 현재의 레지스트레이션 절차는 초기 추정 레지스트레이션 정보를 생성한 다음, 절차 중에 초기 레지스트레이션 정보를 수정하거나 업데이트하는 단계를 포함할 수도 있다. 예를 들어, 현재의 레지스트레이션 방법은 실시간 센서 데이터로부터의 샘플링에 의해 탐색 시스템의 변경을 보상할 수도 있다. 그러나, 장치가 긴 작동 시간에 걸쳐 구동됨에 따라 그리고 시스템에 의해 더 많은 수신 데이터가 수집됨에 따라, 계산 시간이 급격히 증가한다. 또한, 현재의 레지스트레이션 절차는 만족스러운 온라인 업데이트 능력을 갖추고 있지 않아 레지스트레이션 정확도가 손상될 수도 있다. 예를 들어, 현재의 레지스트레이션 절차는 국소적인 변경에 적응할 수 없을 수도 있으며, 이로 인해 부정확한 레지스트레이션 알고리즘을 초래할 수도 있다. 예를 들어, 샘플링된 데이터세트는 일반적으로, 레지스트레이션 알고리즘(예를 들어, 변환)을 전반적으로 업데이트하는 데 사용되며, 이것은 국소적인 변경(예를 들어, 국소적인 작은 기계적 편향으로 인한)을 정확하게 반영하지 않는다. 다른 예에서는, 현재의 레지스트레이션 알고리즘으로는 내시경이 소정의 경로(예를 들어, 기도 등의 중심선을 절단하여 취한)를 따라 이동하지 않은 때에는 변환 정확도가 떨어질 수도 있다.

본원은 개선된 신뢰성 및 비용 효율성으로 수술 절차 또는 진단적 수술을 수행하는 것을 허용하는 최소 침습 시스템에 대한 필요성을 인지하고 있다. 본원은 레지스트레이션 시간을 줄이면서 레지스트레이션 정확도를 높일 수 있는 개선된 레지스트레이션 알고리즘에 대한 또 다른 필요성을 인지하고 있다. 본 개시는 감소된 비용으로 표준화된 조기 폐암 진단 및 치료를 허용하는 시스템 및 방법을 제공한다. 본 개시는 암의 조기 진단 및 치료를 위한 접근이 쉽고, 보다 비용 효율적인 방법 및 시스템을 제공한다. 본 발명의 일부 실시예에서, 로봇 기관지경 검사 시스템의 적어도 일부가 일회용이다. 예를 들어, 카테터 부분이 수술 수행 능력 및 기능성을 보존하면서 저렴한 비용으로 폐기 가능하도록 설계될 수도 있다. 더욱이, 제공되는 로봇 기관지경 검사 시스템은 추가 비용을 도입하지 않고 기관지, 폐와 같이 도달하기 어려운 조직에 접근하는 능력을 갖추도록 설계된다.

적응형 탐색 알고리즘은 즉시(on-the-fly) 업데이트 능력으로 3D 모델의 좌표틀(예를 들어, 모델을 생성하는 데 사용되는 CT 스캐너의 좌표틀)과 EM 필드(예를 들어, EM 필드 생성기)의 좌표틀 사이의 레지스트레이션 또는 매핑을 식별할 수 있을 수도 있다.

일 양태에서, 로봇 내시경 장치의 탐색을 위한 방법이 제공된다. 방법은, (a) 위치 센서를 사용하여 수집된 제 1 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 배향과 위치 센서의 배향 사이의 제 1 변환을 생성하는 단계; (b) 제 1 변환 및 제 2 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 좌표틀과 해부학적 관강 망을 나타내는 모델의 좌표틀 사이의 제 2 변환을 생성하는 단계; 및 (c) 제 3 세트의 센서 데이터에 적어도 부분적으로 기초해서 업데이트 알고리즘을 사용하여 제 2 변환을 업데이트하는 단계를 포함한다.

일부 실시예에서, 업데이트 알고리즘은 빠른 간격 재계산 작업 및 느린 간격 재계산 작업을 포함한다. 경우에 따라, 빠른 간격 재계산 작업은, (ⅰ) 제 3 세트의 센서 데이터로부터 샘플링된 하위 세트의 데이터를 사용하여 제 1 세트의 연관성(association)을 계산하는 단계, 및 (ⅱ) 제 1 세트의 연관성을 (b)의 제 2 변환을 생성하기 위해 계산된 제 2 세트의 연관성과 조합하는 단계를 포함한다. 예를 들어, 방법은 조합된 제 1 세트의 연관성과 제 2 세트의 연관성을 사용하여 포인트 클라우드(point cloud)를 계산하는 단계를 추가로 포함한다. 경우에 따라, 느린 간격 재계산 작업이 최근접 이웃 알고리즘을 포함한다. 경우에 따라, 느린 간격 재계산 작업이 제 3 세트의 센서 데이터만을 사용하여 제 2 변환을 업데이트하는 단계를 포함한다.

일부 실시예에서, 위치 센서가 전자기 센서이다. 일부 실시예에서, 해부학적 관강 망을 나타내는 모델의 좌표틀이 수술전 영상화 시스템을 사용하여 생성된다.

일부 실시예에서, 로봇 내시경 장치가 일회용 카테터 조립체를 포함한다. 일부 실시예에서, 위치 센서가 상기 로봇 내시경 장치의 원위 선단에 위치된다.

다른 양태에서, 로봇 내시경 장치의 탐색을 위한 시스템이 제공된다. 시스템은 로봇 내시경 장치의 윈위 단부에 위치한 위치 센서; 및 상기 로봇 내시경 장치 및 위치 센서와 통신하며, 시스템이, (a) 위치 센서를 사용하여 수집된 제 1 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 배향과 위치 센서의 배향 사이의 제 1 변환을 생성하며; (b) 제 1 변환 및 제 2 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 좌표틀과 해부학적 관강 망을 나타내는 모델의 좌표틀 사이의 제 2 변환을 생성하며; 및 (c) 제 3 세트의 센서 데이터에 적어도 부분적으로 기초해서 업데이트 알고리즘을 사용하여 제 2 변환을 업데이트하게 하기 위한 한 세트의 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함한다.

일부 실시예에서, 업데이트 알고리즘은 빠른 간격 재계산 작업 및 느린 간격 재계산 작업을 포함한다. 경우에 따라, 빠른 간격 재계산 작업은, (ⅰ) 제 3 세트의 센서 데이터로부터 샘플링된 하위 세트의 데이터를 사용하여 제 1 세트의 연관성을 계산하는 단계, 및 (ⅱ) 제 1 세트의 연관성을 (b)의 제 2 변환을 생성하기 위해 계산된 제 2 세트의 연관성과 조합하는 단계를 포함한다. 예를 들어, 빠른 간격 재계산 작업은 조합된 제 1 세트의 연관성과 제 2 세트의 연관성을 사용하여 포인트 클라우드를 계산하는 단계를 추가로 포함한다. 경우에 따라, 느린 간격 재계산 작업이 최근접 이웃 알고리즘을 포함한다. 경우에 따라, 느린 간격 재계산 작업이 제 3 세트의 센서 데이터만을 사용하여 제 2 변환을 업데이트하는 단계를 포함한다.

일부 실시예에서, 위치 센서가 전자기 센서이다. 일부 실시예에서, 해부학적 관강 망을 나타내는 모델의 좌표틀이 수술전 영상화 시스템을 사용하여 생성된다. 일부 실시예에서, 로봇 내시경 장치가 일회용 카테터 조립체를 포함한다.

본 개시의 일부 양태에 따르면, 로봇 내시경 장치가 제공된다. 상기 장치는 근위 단부 및 원위 단부를 포함하는 일회용 세장형 부재를 포함할 수도 있으며, 근위 단부가 로봇 암에 제거 가능하게 부착된다. 원위 단부는 복수의 잡아당김 와이어를 포함하며, 잡아당김 와이어는 세장형 부재의 벽과 일체형이다. 세장형 부재는 또한, 명세서 전체에 걸쳐 상호 호환 가능하게 사용될 수 있는 기관지경, 카테터로 지칭될 수도 있다.

본 개시의 다른 양태에서, 개선된 레지스트레이션 알고리즘 또는 탐색 방법이 제공된다. 레지스트레이션 알고리즘은 최소의 사용자 상호 작용에 의한 자동 레지스트레이션을 허용하며, 유리하게는 레지스트레이션 정확도를 증가시키는 온라인 레지스트레이션 업데이트를 허용할 수도 있다. 제공되는 로봇 시스템 및/또는 레지스트레이션 알고리즘이 심장, 방광, 및 폐 조직 기타 등등을 비롯한 다양한 유형의 조직을 포함하는 다양한 최소 침습 수술 절차에 사용될 수 있다는 점에 유의하여야 한다.

본 개시의 추가 양태 및 이점이 본 개시의 예시적인 실시예만이 도시 및 설명되는 이하의 상세한 설명으로부터 당업자에게는 쉽게 명백해질 것이다. 실현될 바와 같이, 본 개시의 기타 그리고 상이한 실시예가 가능하며, 그 몇몇 세부 사항의 변형예가 다양한 명백한 관점에서 가능하며, 이들 모두 본 개시를 벗어나지 않는다. 따라서, 도면 및 설명은 제한적인 것이 아니라 사실상 예시적인 것으로서 간주되어야 한다.

참조 인용

본 명세서에 언급된 모든 공보, 특허, 및 특허 출원은 각각의 개별 공보, 특허, 또는 특허 출원이 구체적으로 및 개별적으로 표시되어 참조로서 인용되었던 것과 동일한 정도로 본원에 참조로서 인용된다. 참조로서 인용된 공보 및 특허 또는 특허 출원이 본 명세서에 포함된 개시 내용과 모순되는 범위 내에서, 명세서는 이러한 임의의 모순되는 자료를 대체하며 및/또는 우선하도록 의도된다.

본 발명의 신규 특징이 첨부된 청구범위에 구체적으로 명시된다. 본 발명의 원리가 활용되는 예시적인 실시예를 명시하는 이하의 상세한 설명 및 첨부 도면(본원에서 "도면(Figure)" 및 "도면(FIG.)"으로도 기재됨)을 참조하여 본 발명의 특징 및 이점이 더 잘 이해될 것이다.
도 1은 본원에 설명된 로봇 기관지경 검사 시스템에 의해 가능한 표준화된 폐암 진단의 예시적인 작업 흐름을 보여준다.
도 2a는 본 발명의 일부 실시예에 따른, 로봇 기관지경 검사 시스템의 예를 보여준다.
도 2b는 본 발명의 일부 실시예에 따른, 예시적인 로봇 기관지경 검사 시스템의 상이한 장면들을 보여준다.
도 3은 형광 투시(단층 합성) 영상화 시스템의 일 예를 보여준다.
도 4는 대상체의 영상을 촬영하는 동안 상이한 (회전) 자세들에 있는 C-암 형광 투시(단층 합성) 영상화 시스템을 보여준다.
도 5는 최적 경로, 카테터 선단의 위치, 및 병변 위치가 중첩된 가상 기도를 시각화하기 위한 사용자 인터페이스의 일 예를 보여준다.
도 6은 예시적인 휴대용 로봇 콘 빔 CT를 보여준다.
도 7은 본 발명의 일부 실시예에 따른, 자동 레지스트레이션 방법의 일 예를 개략적으로 보여준다.
도 8은 맞춤형 반복 최근접점(ICP) 알고리즘의 일 예를 보여준다.
도 9는 분류 결과의 일 예를 보여준다.
도 10은 데이터 구조(공간 데이터 구조)의 일 예를 보여준다. 전문화된 데이터 구조가 k-d 트리 또는 옥트리(octrees) 데이터 구조일 수도 있다.

본 발명의 바람직한 실시예가 본원에 도시 및 설명되었지만, 당업자에게는 이러한 실시예가 단지 예시로서 제공됨이 명백할 것이다. 본 발명을 벗어나지 않고 당업자에 의해 다양한 변형, 변경, 및 대체가 이루어질 수도 있다. 본원에 설명된 본 발명의 실시예에 대한 다양한 대안이 채용될 수도 있음을 이해하여야 한다.

예시적인 실시예가 주로 기관지경에 관한 것일 것이지만, 당업자라면 이것이 제한하려는 의도가 있는 것은 아니며, 본원에 설명된 장치가 다른 치료 또는 진단 절차 및 식도, 간, 위, 결장, 요로를 포함하지만 이것으로 제한되지 않는 소화계, 또는 기관지, 폐를 포함하지만 이것으로 제한되지 않는 호흡계, 및 다양한 기타 등등과 같은 환자 신체의 해부학적 영역에 사용될 수도 있다는 것을 이해할 것이다.본원의 레지스트레이션 방법/알고리즘은 장치 또는 수행될 작동의 유형에 관계없이 의료 장치의 좌표틀을 3D 모델의 좌표틀(예를 들어, CT 스캐너에 의해 생성된 기도 모델 또는 환자의 좌표틀)과 정렬하는 데 사용될 수 있다.

본원에 개시된 실시예는 개선된 진단 및 치료를 환자에게 제공하기 위해 많은 방식 중 하나 이상으로 조합될 수 있다. 개시된 실시예가 기존의 방법 및 장치와 조합되어, 예를 들어, 알려진 폐 진단, 수술, 및 다른 조직 및 기관의 수술 방법과의 조합과 같은 개선된 치료를 제공할 수 있다. 본원에 설명된 바와 같은 구조 및 단계 중 임의의 하나 이상이 본원에 설명된 바와 같은 방법 및 장치의 임의의 하나 이상의 추가의 구조 및 단계와 조합될 수 있으며, 도면 및 지원되고 있는 주석이 실시예에 따른 설명을 제공함을 이해하여야 한다.

본원에 설명된 바와 같은 진단 또는 수술 절차의 치료 계획 및 정의가 폐 진단 또는 수술의 맥락에서 제시되긴 하지만, 본원에 설명된 바와 같은 방법 및 장치가, 뇌, 심장, 폐, 창자, 눈, 피부, 신장, 간, 췌장, 위, 자궁, 난소, 고환, 방광, 귀, 코, 입, 골수와 같은 연조직, 지방 조직, 근육, 선상 및 점막 조직, 척추 및 신경 조직, 연골, 치아, 뼈 등과 같은 경질의 생물학적 조직 뿐만 아니라 부비동, 요관, 결장, 식도, 폐 통로, 혈관 및 인후와 같은 신체 내강 및 통로와 같은, 신체의 임의의 조직 및 신체의 임의의 기관과 혈관을 치료하는 데 사용될 수 있다.

"적어도", "~보다 큰", 또는 "~보다 크거나 같은"이라는 용어가 2 개 이상의 일련의 수치 값에 있는 첫 번째 수치 값의 앞에 올 때는 언제든지, "적어도", "~보다 큰", 또는 "~보다 크거나 같은"이라는 용어가 상기 일련의 수치 값에 있는 각각의 수치 값에 적용된다. 예를 들어, 1, 2 또는 3보다 크거나 같다는 것은 1보다 크거나 같거나, 2보다 크거나 같거나, 3보다 크거나 같다는 것과 동등하다.

"~보다 크지 않은", "~보다 작은" 또는 "~보다 작거나 같은"이라는 용어가 2 개 이상의 일련의 수치 값에 있는 첫 번째 수치 값의 앞에 올 때는 언제든지, “~보다 크지 않은", “~보다 작은", 또는 "~보다 작거나 같은"이라는 용어가 상기 일련의 수치 값에 있는 각각의 수치 값에 적용된다. 예를 들어, 3, 2, 또는 1보다 작거나 같다는 것은 3보다 작거나 같거나, 2보다 작거나 같거나, 1보다 작거나 같다는 것과 동등하다.

본원에서 사용되는 바와 같이, 프로세서는 하나 이상의 프로세서, 예를 들어, 단일 프로세서, 또는, 예를 들어, 분산 처리 시스템의 복수의 프로세서를 포함한다. 본원에 설명된 바와 같은 제어부 또는 프로세서는 일반적으로, 프로세스의 단계를 구현하기 위한 명령을 저장하는 유형(有形) 매체를 포함하며, 프로세서는, 예를 들어, 중앙 처리 장치, 프로그래밍 가능 어레이 로직, 게이트 어레이 로직, 또는 필드 프로그래밍 가능 게이트 어레이 중 하나 이상을 포함할 수도 있다. 경우에 따라, 하나 이상의 프로세서가 프로그래밍 가능 프로세서(예를 들어, 중앙 처리 장치(CPU) 또는 마이크로제어부), 디지털 신호 프로세서(DSP), 필드 프로그래밍 가능 게이트 어레이(FPGA) 및/또는 하나 이상의 고급 RISC 기계(ARM) 프로세서일 수도 있다. 경우에 따라, 하나 이상의 프로세서가 비일시적 컴퓨터 판독 가능 매체에 작동 가능하게 결합될 수도 있다. 비일시적 컴퓨터 판독 가능 매체는 하나 이상의 단계를 수행하기 위해 하나 이상의 프로세서 유닛에 의해 실행 가능한 로직, 코드, 및/또는 프로그램 명령을 저장할 수 있다. 비일시적 컴퓨터 판독 가능 매체는 하나 이상의 메모리 유닛(예를 들어, SD 카드 또는 랜덤 액세스 메모리(RAM)와 같은 이동식 매체 또는 외부 저장소)을 포함할 수 있다. 본원에 개시된 하나 이상의 방법 또는 작동이, 예를 들어, ASIC, 특수 목적 컴퓨터, 또는 범용 컴퓨터와 같은 하드웨어 구성 요소 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.

본원에 사용된 바와 같이, 원위(distal) 및 근위(proximal)라는 용어는 일반적으로 장치로부터 참조되는 위치를 지칭할 수도 있으며, 해부학적 참조와 반대일 수 있다. 예를 들어, 기관지경 또는 카테터의 원위 위치가 환자의 세장형 부재의 근위 위치에 대응할 수도 있으며, 기관지경 또는 카테터의 근위 위치가 환자의 세장형 부재의 원위 위치에 대응할 수도 있다.

본원에 설명된 바와 같은 시스템은 카테터와 같은 세장형 부분 또는 세장형 부재를 포함한다. "세장형 부재", "카테터", "기관지경"이라는 용어는 문맥이 달리 제시하지 않는 한 명세서 전체에 걸쳐 상호 호환적으로 사용된다. 세장형 부재가 체강 또는 신체 공동에 직접 배치될 수 있다. 일부 실시예에서, 시스템은 세장형 부재의 이동 및/또는 작동을 구동, 지원, 위치 지정 또는 제어하기 위한 로봇 조작기(예를 들어, 로봇 암)와 같은 지원 장치를 추가로 포함할 수도 있다. 대안으로서 또는 추가적으로, 지원 장치가 로봇 시스템을 포함하거나 포함하지 않을 수도 있는 핸드헬드(hand-held) 장치 또는 기타 제어 장치일 수도 있다. 일부 실시예에서, 시스템은 대상체의 신체에 있는 표적 부위로의 세장형 부재의 탐색을 지원 및/또는 용이하게 하는 영상화 시스템과 같은 주변 장치 및 하위 시스템을 추가로 포함할 수도 있다. 이러한 탐색은 본원에서 이후에 설명될 레지스트레이션 프로세스를 필요로 할 수도 있다.

본 개시의 일부 실시예에서, 로봇 기관지경 검사 시스템은 저비용으로 개선된 성능으로 외과 수술 또는 진단을 수행하기 위해 제공된다. 예를 들어, 로봇 기관지경 검사 시스템은 완전히 일회용일 수 있는 조종 가능한 카테터를 포함할 수도 있다. 이것은 비용이 많이 들거나 작동이 어려울 수 있는 멸균 요구 사항을 유리하게 감소시킬 수도 있지만, 멸균 또는 위생 처리가 효과적이지 않을 수도 있다. 더욱이, 기관지경의 한 가지 문제는 기도를 탐색하면서 폐의 상엽에 도달하는 것이다. 경우에 따라, 제공되는 로봇 기관지경 검사 시스템은 자율적 또는 반자율적 방식으로 작은 휨 곡률을 갖는 기도를 통해 탐색하는 능력을 갖추도록 설계될 수도 있다. 자율적 또는 반자율적 탐색이 본원에서 이후에 설명되는 바와 같은 레지스트레이션 프로세스를 필요로 할 수도 있다. 대안으로서, 로봇 기관지경 검사 시스템은 시각적 안내 기능이 있는 제어 시스템을 통해 조작자에 의해 탐색될 수도 있다.

전형적인 폐암 진단 및 외과적 치료 프로세스는 의료 서비스 제공자가 사용하는 기술, 임상 프로토콜, 및 임상 부위에 따라 크게 달라질 수 있다. 일관되지 않은 프로세스는 폐암의 조기 진단의 지연, 의료 서비스 시스템과 환자가 폐암을 진단하고 치료하는 데 드는 높은 비용, 및 높은 임상적 및 시술적 합병증의 위험을 야기할 수도 있다. 제공되는 로봇 기관지경 검사 시스템은 표준화된 조기 폐암 진단 및 치료를 허용할 수도 있다. 도 1은 본원에 설명된 로봇 기관지경 검사 시스템에 의해 가능한 표준화된 폐암 진단의 예시적인 작업 흐름(100)을 보여준다.

도 1에 예시된 바와 같이, 병변을 식별하기 위해 수술전 영상화가 수행될 수도 있다. 자기 공명(MR), 양전자 방출 단층 촬영(PET), X-선, 컴퓨터 단층 촬영(CT) 및 초음파와 같은 임의의 적절한 영상화 기법이 병변 또는 관심 영역을 식별하기 위해 사용될 수도 있다. 예를 들어, 폐암이 의심되는 환자가 수술전 CT 스캔을 받을 수도 있으며, CT 영상에서 의심되는 폐 결절이 식별될 수도 있다. 수술전 영상화 프로세스는 기관지경 검사 전에 수행될 수 있다.

다음으로, CT 영상이 분석되어 기관지경 검사 시에 로봇 기관지경의 탐색을 안내하는 지도를 생성할 수도 있다. 예를 들어, 병변 또는 관심 영역(ROI)이 영상에서 분할될 수도 있다. 폐의 영상화가 수행되는 때, 탐색 경로를 계획하기 위해 병변까지의 통로 또는 경로가 재구성 영상에 강조 표시될 수도 있다. 재구성 영상이 표적 조직 또는 표적 부위로 로봇 기관지경의 탐색을 안내할 수도 있다. 경우에 따라, 3D 영상 데이터를 이용하여 탐색 경로가 사전 계획될 수도 있다. 예를 들어, 카테터가 로봇 기관지경 시스템의 로봇 제어 하에 표적 부위를 향해 전진될 수도 있다. 카테터가 수동 방식, 자율적 방식 또는 반자율적 방식으로 표적 부위를 향해 조종되거나 전진될 수도 있다. 일 예에서, 삽입 및/또는 조종 방향이 자동으로 제어될 수도 있도록 카테터의 이동이 영상 안내될 수도 있다.

경우에 따라, 환자의 움직임이나 신체 일탈로 인해 수술전 영상화에서의 병변 위치가 정확하지 않을 수도 있다. 이러한 경우, 수술 절차(예를 들어, 생체 검사 또는 치료) 전에 병변 위치가 검증될 수도 있다. 병변의 정확한 위치가 로봇 기관지경 검사 시스템의 도움으로 검증되거나 업데이트될 수도 있다. 예를 들어, 기관지경 검사 시스템이 병변의 위치를 찾기 위해 표적 부위 및 주변 영역의 생체내 실시간 영상화를 제공하기 위해 형광 투시와 같은 영상화 방식에 대한 인터페이스를 제공할 수도 있다. 일 예에서, C 암 또는 O 암 형광 투시 영상화 시스템이 사용되어 병변의 위치를 검증하거나 업데이트하기 위한 단층 합성 영상을 생성할 수도 있다. 생체 검사와 같은 수술 절차를 진행함에 있어서, 생체 검사 도구, 브러시, 집게와 같은 다양한 수술 도구가 수동으로 또는 자동으로 생체 검사나 기타 수술 절차를 수행하기 위해 카테터의 작업 채널 내로 삽입될 수도 있다.

다음으로, 병변 또는 임의의 다른 표적 조직의 샘플이 카테터의 작업 채널을 통해 삽입된 도구에 의해 획득될 수도 있다. 이 시스템을 사용하면 작업 채널을 통해 도구를 삽입하는 동안을 포함한 절차 전반에 걸쳐 카메라 시각화가 유지되도록 할 수 있다. 경우에 따라, 조직 샘플링 반복이 필요한지 여부를 결정하거나 추가 조치를 결정하기 위해 신속한 현장 평가 프로세스에 의해 조직 샘플링 현장에서 신속하게 평가될 수도 있다. 경우에 따라, 신속한 현장 평가 프로세스가 또한, 조직 샘플에 대한 빠른 분석을 제공하여 이후의 외과적 치료를 결정할 수도 있다. 예를 들어, 신속한 현장 평가 프로세서의 결과로서 조직 샘플이 악성으로 판정되면, 로봇 기관지경의 작업 채널을 통해 수동 치료 기기 또는 로봇 치료 기기가 삽입되어 폐암에 대한 기관지삽관 치료를 수행할 수도 있다. 이것은 진단 및 치료가 하나의 세션에서 수행될 수 있도록 하여 이에 따라 초기 폐암의 표적화된 통증이 없는 신속한 치료를 제공하는 이점이 있다.

도 2a 및 도 2b는 본 발명의 일부 실시예에 따른 로봇 기관지경 검사 시스템(200, 230)의 예를 보여준다. 도 2a에 도시된 바와 같이, 로봇 기관지경 검사 시스템(200)은 조종 가능한 카테터 조립체(220) 및 조종 가능한 카테터 조립체를 지지하거나 운반하기 위한 로봇 지지 시스템(210)을 포함할 수도 있다. 조종 가능한 카테터 조립체가 기관지경일 수 있다. 일부 실시예에서, 조종 가능한 카테터 조립체가 일회용 로봇 기관지경일 수도 있다. 일부 실시예에서, 로봇 기관지경 검사 시스템(200)은 로봇 지지 시스템의 암에 부착된 기기 구동 기구(213)를 포함할 수도 있다. 기기 구동 기구가 로봇 시스템을 포함하거나 포함하지 않을 수도 있는 임의의 적절한 제어부 장치(예를 들어, 핸드헬드 제어부)에 의해 제공될 수도 있다. 기기 구동 기구가 조종 가능한 카테터 조립체(220)에 기계적 및 전기적 인터페이스를 제공할 수도 있다. 기계적 인터페이스는 조종 가능한 카테터 조립체(220)가 기기 구동 기구에 해제 가능하게 결합되도록 할 수 있다. 예를 들어, 조종 가능한 카테터 조립체의 손잡이 부분이 자석, 스프링 장전 수준기 등과 같은 신속한 설치/해제 수단을 통해 기기 구동 기구에 부착될 수 있다. 경우에 따라, 조종 가능한 카테터 조립체가 도구를 사용하지 않고 수동으로 기기 구동 기구에 결합되거나 해제될 수도 있다.

조종 가능한 카테터 조립체(220)가 영상 데이터를 처리하거나, 전력을 제공하거나, 다른 외부 장치와의 통신을 설정하도록 구성된 구성 요소를 포함할 수도 있는 손잡이 부분(223)을 포함할 수도 있다. 예를 들어, 손잡이 부분(223)이 조종 가능한 카테터 조립체(220)와 기기 구동 기구(213) 사이의 전기적 통신을 가능하게 하는 회로 및 통신 요소, 및 임의의 다른 외부 시스템 또는 장치를 포함할 수도 있다. 다른 예에서는, 손잡이 부분(223)이 내시경의 전자 장치(예를 들어, 카메라 및 LED 조명)에 전력을 제공하기 위한 전력 공급원과 같은 회로 요소를 포함할 수도 있다. 경우에 따라, 영상/비디오 데이터 및/또는 센서 데이터가 기기 구동 기구의 통신 모듈에 의해 수신될 수 있으며 다른 외부 장치/시스템으로 전송될 수도 있도록 손잡이 부분이 전기적 인터페이스(예를 들어, 인쇄 회로 기판)를 통해 기기 구동 기구(213)와 전기적으로 통신할 수도 있다. 대안으로서 또는 추가적으로, 기기 구동 기구(213)가 기계적 인터페이스만을 제공할 수도 있다. 손잡이 부분이 센서 데이터를 전송하며 및/또는 제어 신호를 수신하기 위한 모듈식 무선 통신 장치 또는 임의의 다른 사용자 장치(예를 들어, 휴대용/핸드헬드 장치 또는 제어부)와 전기적으로 통신할 수도 있다. 손잡이 부분에 대한 세부 사항이 본원에서 이후에 설명된다.

조종 가능한 카테터 조립체(220)가 손잡이 부분에 결합된 가요성 세장형 부재(211)를 포함할 수도 있다. 일부 실시예에서, 가요성 세장형 부재가 샤프트, 조종 가능한 선단 및 조종 가능한 섹션을 포함할 수도 있다. 조종 가능한 카테터 조립체가 일회용 로봇 기관지경일 수도 있다. 경우에 따라, 세장형 부재만이 일회용일 수도 있다. 경우에 따라, 세장형 부재의 적어도 일부(예를 들어, 샤프트, 조종 가능한 선단 등)가 일회용일 수도 있다. 경우에 따라, 손잡이 부분 및 세장형 부재를 포함하는 전체 조종 가능한 카테터 조립체(220)가 일회용일 수 있다. 가요성 세장형 부재 및 손잡이 부분은 전체 조종 가능한 카테터 조립체가 저렴한 비용으로 폐기될 수 있도록 설계된다. 가요성 세장형 부재 및 조종 가능한 카테터 조립체에 대한 세부 사항이 본원에서 이후에 설명된다.

일부 실시예에서, 제공되는 기관지경 시스템은 또한, 사용자 인터페이스를 포함할 수도 있다. 예시적인 시스템(230)에 예시된 바와 같이, 기관지경 시스템은 치료 인터페이스 모듈(231)(사용자 콘솔측) 및/또는 치료 제어 모듈(233)(환자 및 로봇측)을 포함할 수도 있다. 치료 인터페이스 모듈은 조작자 또는 사용자가 수술 절차 동안 기관지경과 상호 작용하도록 할 수도 있다. 일부 실시예에서, 치료 제어 모듈(233)이 핸드헬드 제어부일 수도 있다. 경우에 따라, 치료 제어 모듈이 전용 사용자 입력 장치 및 사용자 입력 경험을 개선하기 위해 기존의 사용자 장치에 제거 가능하게 결합된 하나 이상의 추가 요소를 포함할 수도 있다. 예를 들어, 물리적 트랙볼 또는 롤러가 대체 대상인 그래픽 요소와 유사한 기능을 제공함으로써 그래픽 사용자 인터페이스(GUI)에 표시되는 가상 그래픽 요소(예를 들어, 터치패드에 표시되는 탐색 화살표) 중 적어도 하나의 기능을 대체하거나 보완할 수 있다. 사용자 장치의 예에는 모바일 장치, 스마트폰/휴대폰, 태블릿, 개인 정보 단말기(PDA), 랩탑 또는 노트북 컴퓨터, 데스크탑 컴퓨터, 미디어 콘텐츠 플레이어 등이 포함될 수도 있지만 이것으로 제한되는 것은 아니다. 사용자 인터페이스 장치 및 사용자 콘솔에 대한 세부 사항은 본원에서 이후에 설명된다.

도 2b는 기관지경 시스템의 상이한 장면들을 보여준다. 사용자 콘솔(231)이 로봇 지지 시스템(210)에 장착될 수도 있다. 대안으로서 또는 추가적으로, 사용자 콘솔 또는 사용자 콘솔의 일부(예를 들어, 치료 인터페이스 모듈)가 별도의 이동식 카트에 장착될 수도 있다.

로봇 관내 플랫폼

일 양태에서, 로봇 관내 플랫폼이 제공된다. 경우에 따라, 로봇 관내 플랫폼이 기관지경 플랫폼일 수도 있다. 플랫폼은 도 1에 설명된 방법과 일치하는 하나 이상의 작동을 수행하도록 구성될 수도 있다. 도 3 내지 도 7은 본 발명의 일부 실시예에 따른, 로봇 관내 플랫폼 및 그 구성 요소 또는 하위 시스템의 다양한 예를 보여준다. 일부 실시예에서, 플랫폼이 로봇 기관지경 검사 시스템 및 본 개시의 로봇 기관지경 검사 시스템과 조합하여 사용될 수 있는 하나 이상의 하위 시스템을 포함할 수도 있다.

일부 실시예에서, 하나 이상의 하위 시스템이 표적 부위(예를 들어, 병변을 포함)의 실시간 영상화를 제공하기 위한 형광 투시(단층 합성) 영상화 시스템과 같은 영상화 시스템을 포함할 수도 있다. 도 3은 형광 투시(단층 합성) 영상화 시스템(300)의 일 예를 보여준다. 예를 들어, 형광 투시(단층 합성) 영상화 시스템이 도 1에 설명된 바와 같은 수술 절차 이전이나 그 도중에 정확한 병변 위치 추적 또는 검증을 수행할 수도 있다. 경우에 따라, 형광 투시(단층 합성) 영상화 시스템/스테이션(예를 들어, C 암)에 대한 위치 데이터 및 형광 투시(단층 합성) 영상화 시스템에 의해 촬영된 영상 데이터에 기초하여 병변 위치가 추적될 수도 있다. 병변 위치가 로봇 기관지경 검사 시스템의 좌표틀을 이용하여 레지스트레이션될 수도 있다. 형광 투시(단층 합성) 영상화 시스템의 위치 또는 움직임이 관성 측정 유닛(IMU), 하나 이상의 자이로스코프, 속도 센서, 가속도계, 자력계, 위치 센서(예를 들어, 위성 위치 확인 시스템(GPS) 센서), 시야 센서(예를 들어, 카메라와 같은, 가시광선, 적외선 또는 자외선을 검출할 수 있는 영상화 장치), 근접 또는 범위 센서(예를 들어, 초음파 센서, 라이더, 비과시간 또는 깊이 카메라), 고도 센서, 자세 센서(예를 들어, 나침반) 및/또는 필드 센서(예를 들어, 자력계, 전자기 센서, 무선(radio) 센서). 등과 같은 임의의 적절한 움직임/위치 센서(310)를 사용하여 측정될 수도 있다. 형광 투시(단층 합성) 영상화 스테이션의 움직임 및 위치를 추적하기 위한 하나 이상의 센서가 영상화 스테이션에 배치되거나, 벽걸이형 카메라(320)와 같은 영상화 스테이션으로부터 원거리에 위치할 수도 있다. 도 4는 대상체의 영상을 촬영하는 동안 상이한 (회전) 자세에 있는 C-암 형광 투시(단층 합성) 영상화 시스템을 보여준다. 다양한 자세가 전술한 바와 같이 하나 이상의 센서에 의해 포착될 수도 있다.

일부 실시예에서, 병변의 위치가 신호 처리 유닛(330)의 도움으로 형광 투시(단층 합성) 영상화 시스템에 의해 촬영된 영상 데이터에서 분할될 수도 있다. 신호 처리 유닛의 하나 이상의 프로세서가 실시간 형광 투시 영상/비디오에 치료 위치(예를 들어, 병변)를 추가로 중첩시키도록 구성될 수도 있다. 예를 들어, 처리 유닛은 치료 위치 또는 표적 부위의 위치와 같은 증강 정보를 포함하는 증강 층을 생성하도록 구성될 수도 있다. 경우에 따라, 증강 층이 이 표적 부위로의 경로를 나타내는 그래픽 표식을 포함할 수도 있다. 증강 층이 하나 이상의 그래픽 요소(예를 들어, 상자, 화살표 등)를 포함하는 실질적으로 투명한 영상 층일 수도 있다. 증강 층은 형광 투시(단층 합성) 영상화 시스템에 의해 촬영된 광학 영상 또는 비디오 스트림의 광학 뷰 상에 중첩될 수도 있으며 및/또는 디스플레이 장치 상에 표시될 수도 있다. 증강 층이 투명함으로 인해 사용자가 광학 영상을 그 상측에 중첩된 그래픽 요소와 함께 볼 수 있게 된다. 경우에 따라, 분할된 병변 영상과 병변에 도달하기 위한 세장형 부재의 탐색을 위한 최적의 경로가 실시간 단층 합성 영상에 중첩될 수도 있다. 이를 통해 조작자 또는 사용자가 병변의 정확한 위치 뿐만 아니라 계획된 기관지경 이동 경로를 시각적으로 확인할 수 있다. 경우에 따라, 본원에 설명된 시스템의 작동 전에 제공된 분할 및 재구성된 영상(예를 들어, 다른 곳에서 설명된 CT 영상)이 실시간 영상에 중첩될 수도 있다.

일부 실시예에서, 플랫폼의 하나 이상의 하위 시스템이 탐색 및 위치 파악 하위 시스템을 포함할 수도 있다. 탐색 및 위치 파악 하위 시스템이 수술전 영상(예를 들어, 수술전 CT 영상 또는 단층 영상 합성법)에 기초하여 가상의 기도 모델을 구성하도록 구성될 수도 있다. 탐색 및 위치 파악 하위 시스템이 3D 렌더링된 기도 모델에서 분할된 병변 위치를 식별하도록 구성될 수도 있으며, 병변의 위치에 기초하여, 탐색 및 위치 파악 하위 시스템이 수술 절차(예를 들어, 생체 검사)를 수행하기 위해 병변을 향한 권장 접근 각도로 주 기관지로부터 병변까지의 최적의 경로를 생성할 수도 있다.

기관지경을 표적 부위로 구동시키기 전에 레지스트레이션 단계에서, 시스템이 기도의 렌더링된 가상 뷰를 환자 기도에 정렬할 수도 있다. 영상 레지스트레이션이 단일 레지스트레이션 단계 또는 단일 레지스트레이션 단계와 레지스트레이션 정보에 대한 실시간 감지 업데이트의 조합으로 구성될 수도 있다. 레지스트레이션 프로세스에는 서로 다른 좌표계(예를 들어, 수술전 CT 영상화에 기초한 EM 센서 좌표 및 환자 3D 모델 좌표) 사이에서 대상체(예를 들어, 기도 모델, 해부학적 부위)를 정렬하는 변환을 찾는 단계가 포함될 수도 있다. 레지스트레이션에 대한 세부 사항이 본원에서 이후에 설명된다.

일단 레지스트레이션되면, 모든 기도가 수술전 렌더링된 기도에 정렬될 수도 있다. 로봇 기관지경이 표적 부위를 향해 구동하는 동안, 기도 내부의 기관지경의 위치가 추적 및 표시될 수도 있다. 경우에 따라, 위치 지정 센서를 사용하여 기도에 대한 기관지경의 위치가 추적될 수도 있다. 다른 유형의 센서(예를 들어, 카메라)가 또한, 센서 융합 기술을 사용하여 위치 지정 센서 대신 또는 이와 함께 사용될 수 있다. 전자기(EM) 센서와 같은 위치 지정 센서가 카테터의 원위 선단에 매립될 수도 있으며, EM 필드 생성기가 절차 동안 환자 몸통 옆에 위치할 수도 있다. EM 필드 생성기는 3D 공간에서의 EM 센서 위치를 지정할 수도 있으며, 또는 5D 또는 6D 공간에서의 EM 센서 위치 및 배향을 지정할 수도 있다. 이것은 기관지경을 표적 부위를 향해 구동시킬 때 조작자에게 시각적인 안내를 제공할 수도 있다.

실시간 EM 추적에서는, 의료 기기(예를 들어, 내시경 도구의 선단)에 하나 이상의 위치 및 배향으로 매립된 하나 이상의 센서 코일을 포함하는 EM 센서가 환자와 가까운 위치에 위치한 하나 이상의 정적 EM 필드 생성기에 의해 생성된 EM 필드의 변화를 측정한다. EM 센서에 의해 검출된 위치 정보가 EM 데이터로서 저장된다. EM 필드 생성기(또는 송신기)가 환자 가까이에 배치될 수도 있으며, 매립된 센서가 검출할 수도 있는 저강도 자기장을 생성한다. 자기장은 EM 센서의 센서 코일에 작은 전류를 유도하며, 이 전류가 EM 센서와 EM 필드 생성기 사이의 거리와 각도를 결정하기 위해 분석될 수도 있다. 이러한 거리 및 배향은, 환자의 해부학적 구조의 수술전 모델의 위치와 좌표계의 단일 위치를 정렬하는 레지스트레이션 변환을 결정하기 위해, 환자의 해부학적 구조(예를 들어, 3D 모델)에 수술 중에 레지스트레이션될 수도 있다.

도 5는 최적 경로(503), 카테터 선단의 위치(501), 및 병변 위치(505)가 중첩된 가상 기도(509)를 시각화하기 위한 사용자 인터페이스의 일 예를 보여준다. 이 예에서는, 카테터 선단의 위치가 가상 기도 모델(509)에 대해 실시간으로 표시되어, 이에 따라 시각적 안내를 제공한다. 도 5의 예에 도시된 바와 같이, 로봇 기관지경의 구동 동안, 최적의 경로(503)가 가상 기도 모델 상에 표시 및 중첩될 수도 있다. 전술한 바와 같이, 가상 기도 모델은 실시간 형광 투시 영상/비디오(및 영상화 시스템의 위치 데이터)에 기초하여 구성될 수도 있다. 경우에 따라, 실시간 형광 투시 영상/비디오 뷰(507)는 또한, 그래픽 사용자 인터페이스 상에 표시될 수도 있다. 경우에 따라, 사용자가 또한, 기관지경에 의해 실시간으로 촬영된 카메라 뷰 또는 영상/비디오(511)에 접근하도록 허용될 수도 있다.

일부 실시예에서, 플랫폼의 하나 이상의 하위 시스템이 수동 기기 또는 로봇 기기(예를 들어, 생체 검사 바늘, 생체 검사 겸자, 생체 검사 브러시) 및/또는 수동 치료 기기 또는 로봇 치료 기기(예를 들어, RF 절제 기기, 극저온 기기, 마이크로웨이브 기기 등)와 같은 하나 이상의 하위 치료 시스템을 포함할 수도 있다.

종래의 콘 빔 CT 기계는 C 형상 또는 O 형상의 동일한 기계적 구조 상에 송신기와 수신기 패널을 구비할 수도 있다. 송신기와 수신기 패널 사이의 연결에 의해 콘 빔 CT의 크기가 커질 수 있다. 이 특대형 설계는 사용 사례를 제한하며, 다소 협소한 수술실에서는 많은 공간을 차지한다.

본원에는 송신기와 수신기 패널 사이의 기계적 연결을 분리하는 설계가 설명된다. 도 6은 휴대용 로봇 콘 빔 CT의 일 예를 보여준다. 송신기와 수신기 패널이 도 6의 예에 도시된 바와 같이 2 개의 개별 로봇 암에 별도로 장착될 수 있다. 사용 중일 때 2 개의 로봇이 동일한 좌표계에서 이동할 수 있다. 제어 알고리즘이 2 개의 로봇이 동기화된 움직임으로 이동하는 것을 보장할 수도 있다.

또한, 환자의 게이팅 움직임, 즉, 호흡을 위해, 추가 외부 센서(즉, IMU, EM 또는 영상 센서)가 환자의 운동을 추적하기 위해 추가될 수 있다. IMU, EM 또는 영상 센서와 같은 센서를 사용하여 환자의 위치 변화가 추적될 수 있다. 감각 신호를 사용하여 2 개의 로봇 암에 명령을 내릴 수 있다. 경우에 따라, 로봇 암 중 하나 또는 둘 모두가 환자의 움직임을 추적하기 위해 이동할 수 있으며, 이것은 본질적으로 추적 시에 송신기와 수신기가 관심 영역(ROI)에 대한 환자의 움직임에 고정되도록 한다. ROI는 시스템에 의해 자동으로 또는 의사가 수동으로 결정할 수 있는 표적 부위 또는 표적 위치를 포함할 수도 있다. 추적이 또한, 외부 카메라 및 환자 신체 상의 하나 또는 복수의 추적기와 같은, 그러나 이것으로 제한되지 않는, 다른 기구를 사용하여 수행될 수 있다.

당업자라면 콘 빔(CT)이 비제한적인 예라는 것이 이해될 것이다. 본원에 설명된 설계가 형광 투시 기계, 고전적인 CT 기계 및 MRI 기계와 같은 다른 영상화 양식에 사용될 수도 있다.

자동 레지스트레이션 알고리즘

본 개시는 레지스트레이션 시간을 줄이면서 레지스트레이션 정확도를 높일 수 있는 개선된 자동 레지스트레이션 알고리즘을 제공한다. 제공된 자동 레지스트레이션 알고리즘은 유리하게는, 사용자 상호 작용을 최소화하며 기존의 방법보다 개선된 변환 또는 레지스트레이션을 설정할 수 있다. 추가적으로, 제공되는 자동 레지스트레이션 알고리즘은 장치가 대상체 신체 내부에서 구동됨에 따라 레지스트레이션 정확도를 증가시키는 실시간 조건(예를 들어, 실시간 검출 레지스트레이션 오차에 기초한 자동 레지스트레이션 업데이트)에 적응하기 위해 알고리즘이 즉시 업데이트되는 것을 허용할 수도 있다.

일부 실시예에서, 자동 레지스트레이션 알고리즘이 3단계를 포함할 수도 있으며, 또는 3단계로 구현될 수 있다. 도 7은 본 발명의 일부 실시예에 따른, 자동 레지스트레이션 방법(700)의 일 예를 개략적으로 보여준다. 자동 레지스트레이션 방법은 사용자 입력 없이 실시간으로 레지스트레이션 정보를 업데이트하기 위한 하나 이상의 알고리즘을 포함할 수도 있다. 자동 레지스트레이션 알고리즘은 또한, 최적의 레지스트레이션/변환 행렬을 식별하며 시간 정보를 활용함으로써 레지스트레이션 정확도를 증가시키기 위한 하나 이상의 알고리즘을 포함할 수도 있다.

전술한 바와 같이, EM 센서가 EM 필드 내부에서의 위치를 추적하기 위해 내시경의 원위 단부에 결합될 수도 있다. EM 필드는 EM 필드 생성기에 대해 고정적이며, 관강 망(예를 들어, CT 공간)의 3D 모델의 좌표틀이 EM 필드의 좌표틀에 매핑될 수 있다. 도 7에 도시된 바와 같이, 자동 레지스트레이션 방법(700)은 초기 데이터 수집 국면(701)일 수도 있는 제 1 단계를 포함할 수도 있다. 초기 데이터 수집 국면은 카테터의 윈위 단부를 재구성하며 초기 이동 변환(translation transformation)을 수행하는 단계를 포함할 수도 있다.

초기 데이터 수집 국면(701)은 EM 센서 배향을 원위 선단 배향으로 레지스트레이션할 수도 있다. 이에 의해 로봇 내시경 장치 공간과 위치 센서 공간 사이의 연관성이 설정될 수도 있다. 예를 들어, 원위 단부 상에 위치한 전자기 코일이 전자기 추적 시스템과 함께 사용되어, 카테터의 원위 선단이 해부학적 시스템(예를 들어, 해부학적 관강 망) 내부에 배치되어 있는 동안 카테터의 원위 선단의 위치와 배향을 검출할 수도 있다. 일부 실시예에서, 코일이 상이한 축선을 따른 전자기장의 감도를 제공하도록 각을 이루며 배치되어, 개시된 탐색 시스템에 전체 6의 자유도(3의 위치 자유도 및 3의 각도 자유도)를 측정할 수 있는 능력을 제공할 수도 있다. EM 필드 생성기의 배향/위치를 모를 수도 있으며, 초기 데이터 수집 국면을 통해 수집된 센서 데이터를 사용하여 EM 센서 배향(예를 들어, EM 좌표틀의 Z-축선)이 원위 선단 배향(예를 들어, 카테터 선단 Z-축선)에 레지스트레이션될 수도 있다.

제 1 국면 동안, 센서 데이터(예를 들어, EM 센서 데이터)가 수집되어 자기장 발생기의 z-축선을 카테터 선단의 z-축선에 레지스트레이션할 수도 있다. 이것은 위치와 배향을 미리 알 필요 없이 자기장 발생기를 배치하는 데 있어 유연성을 허용할 수도 있다. 센서 데이터가 카테터가 알고 있는 방향으로 구동될 때 수집되는 스트림 데이터를 포함할 수도 있다. 스트림 데이터는 EM 센서에 의해 생성되는 시공간점 측정과 같은 시계열 데이터를 포함하지만 이것으로 제한되지 않는 다양한 유형의 데이터를 포함할 수도 있다. 경우에 따라, 시계열 데이터는 카테터가 환자 신체 내부에 있거나 없을 수도 있는 알고 있는 방향으로 구동될 때 수집될 수도 있다. 예를 들어, 원위 선단이 기관지 또는 기도와 같은 대상체의 내부에 배치되어 알고 있는 방향을 따라 이동할 때 EM 센서 데이터점이 수집될 수도 있다. 경우에 따라, 조립 또는 제조 중에 카테터 선단의 z-축선과 EM 배향이 보정될 수도 있다. 경우에 따라, 카테터 선단을 알고 있는 방향으로 구동시킬 때 또는 CT 영상화 또는 기타 실시간 영상화 기술의 도움으로 카테터 선단의 z-축선이 로봇 데이터로부터 획득될 수도 있다. 카테터 선단과 EM 필드 사이의 초기 이동 변환이 획득될 수도 있다. 이러한 이동 및 회전 변환은 더 많은 유입 센서 데이터가 수집됨에 따라 제 1 국면 동안 지속적으로 개선 및 수정될 수도 있다. 경우에 따라, 임계값이 충족될 때까지 제 1 국면의 이동 동종 변환이 업데이트 및 개선될 수도 있다. 임계값은 정확도가 충족되었음을 나타내는 정확도 임계값일 수도 있다. 대안으로서 또는 추가적으로, 업데이트가 지속적으로 수행될 수도 있으며(예를 들어, 시간 간격마다 오차가 계산될 수도 있으며), 단층 영상 합성법 표적화가 진행 중일 때 업데이트가 중지될 수도 있다.

경우에 따라, 수집된 센서 데이터가 또한, CT 공간(예를 들어, 조직)과 EM 공간(예를 들어, 카테터) 상의 이동 변환 면에서의 레지스트레이션을 제공할 수도 있다. 예를 들어, EM 필드와 환자 모델(예를 들어, 관강 망 모델의 좌표틀) 사이의 레지스트레이션 변환이 식별될 수도 있다. 제 2 국면에서의 이러한 이동 변환은 본원에서 이후에 설명되는 바와 같이 최종 국면에서 이후에 개선될 수도 있는 초기 이동 변환 행렬을 포함할 수도 있다.

레지스트레이션 방법의 제 2 국면(703)은 EM 공간과 모델(예를 들어, CT) 공간 사이의 연관성을 생성하는 단계를 포함할 수도 있다. 제 2 국면 동안, 실시간 센서 데이터 및 제 1 국면에서 생성된 이동 정보에 적어도 부분적으로 기초하여 EM 공간과 CT 공간 사이의 초기 변환 행렬이 생성될 수도 있다. 경우에 따라, 카테터가 미리 정의된 탐색 경로를 따라 기관 및/또는 자식 가지(child branch) 내부를 탐색하고 있을 때 제 2 국면에서 활용되는 데이터점(예를 들어, EM 데이터)이 수집될 수도 있다. 미리 정의된 탐색 경로는 CT 공간에 정의될 수도 있다. 본원의 다른 곳에서 설명되는 바와 같이, EM 데이터는 배향, 위치 및 오차 데이터에 대한 정보를 포함할 수도 있다. CT 공간 또는 해부학적 모델의 좌표틀은 수술전 절차에서 또는 외과 수술 중에 생성될 수도 있다. 이러한 센서 데이터점은 공간에서 평면을 설정하며, EM 공간과 CT 공간 각각에서 이동한 방향성 거리(예를 들어, 배향 및 길이 모두) 세트에 기초하여 EM 공간과 CT 공간 사이의 한 세트의 연관성을 설정하는 데 사용될 수도 있다. 연관성 세트는 EM 센서에 의해 생성된 시계열 데이터점과 같은 시계열 데이터에 적어도 부분적으로 기초하여 생성될 수도 있다.

경우에 따라, 연관성 세트가 최적의 변환 행렬을 식별하기 위해 처리될 수도 있다. 예를 들어, 최적의 변환 행렬을 식별하기 위해 3D 공간에서 설정된 CT 곡선(예를 들어, CT 공간의 포인트 클라우드)에 대한 EM 곡선(예를 들어, EM 공간의 포인트 클라우드)의 최상의 맞춤이 결정될 수도 있다. 예를 들어, 제공되는 자동 레지스트레이션 방법은 특이값 분해 및 최근접 이웃을 이용한 반복 최근접점(ICP) 알고리즘의 수정된 버전을 채용하여 최적의 해법에 도달할 때까지 계산을 반복할 수도 있다. 최적의 맞춤을 식별하는 데 적합한 다른 알고리즘 또는 변형예가 채택될 수도 있다는 점에 유의하여야 한다.

도 8은 2 개의 데이터 포인트 클라우드(예를 들어, EM 도메인 포인트 클라우드 및 CT 도메인 포인트 클라우드) 사이의 초기 변환을 생성하기 위한 맞춤형 반복 최근접점(ICP) 알고리즘의 일 예를 보여준다. ICP는 현재의 변환 추정치에 기초하여 하나의 형상의 모든 지점의 최근접 이웃(NN)을 결정하는 단계와 NN에 기초한 추정치를 업데이트하는 단계를 번갈아 수행하는 반복 알고리즘이다. 연관성 해결 프로그램(solver)이 CT 공간과 EM 공간(예를 들어, Cn, Xn)의 2 개의 세트의 데이터 포인트 클라우드 사이의 컴퓨터 계산된 연관성 세트를 수신할 수도 있으며, 연관성 세트와 가장 잘 일치하는 변환을 획득하기 위해 실행된다. 일 예로서, 연관성 세트가 k-최근접 이웃(k-NN) 알고리즘을 사용하여 계산될 수도 있다. 최상의 맞춤 변형이 오차 최소화 단계 동안 특이값 분해를 사용하여 계산될 수도 있다. 가정(예를 들어, 근접 가정)이 이동 및 회전 변환을 양호한 초기 값으로 부드럽게 잠금하도록 수정될 수도 있다.

분류 결과의 일 예가 도 9에 도시되어 있다. 제공되는 방법은 전문화된 데이터 구조를 활용함으로써 계산 시간을 줄이기 위해 k-NN 알고리즘 성능을 더욱 향상시킬 수도 있다. 도 10은 데이터 구조(공간 데이터 구조)의 일 예를 보여준다. 전문화된 데이터 구조가 k-d 트리 또는 옥트리 데이터 구조일 수도 있다. k-d 트리 또는 옥트리 데이터 구조는 검색 공간의 규칙적인 분할과 높은 분기 인수로 인해 NNS의 효율적인 구현을 허용할 수 있으며, 좌표 쿼리(coordinate query)가 빠르다. 형상 레지스트레이션 및 저장 효율성에 적합한 다른 데이터 구조가 또한 사용될 수 있다.

도 8을 다시 참조하면, 오차 최소화 작업이 특이값 분해를 사용하여 최상의 맞춤 변형을 계산하는 단계를 포함할 수도 있다. 예를 들어, 특이값 분해가 연관성 세트에 적용되어 최상의 변환을 계산할 수도 있다. 특이값 분해 방법은 전체 최소 자승 최소화 문제에 대한 해답을 계산하는 데 사용될 수도 있다.

위에서 언급한 알고리즘이 다른 알고리즘으로 수정되거나 대체될 수 있다는 점에 유의하여야 한다. 예를 들어, 일관성 있는 점 변동(cohereint point drift) 알고리즘이 채용되어 단단한 점 위치보다는 확률에 기초한 최상의 맞춤 변환을 식별할 수도 있다. 알고리즘은 포인트 클라우드를 확장하며 (및/또는 확률 수렴을 사용하여 포인트 클라우드를 변형)하면서, 계산된 특징, 일반적으로 중심이 다른 포인트 클라우드와 정렬될 때까지 확률 최적화 표면을 횡단하도록 포인트 클라우드를 회전시킬 수도 있다. 일관성 있는 점 변동 알고리즘 또는 기타 확률 기반 알고리즘이 데이터세트의 잡음 영향을 줄일 수도 있다.

다시 도 7을 참조하면, 자동 레지스트레이션 알고리즘의 제 3 국면(705)은 제 2 국면에서 생성된 초기 레지스트레이션/변환을 업데이트하는 단계를 포함할 수도 있다. 일부 실시예에서, 업데이트 방법은 초기 변환에 대한 약한 실시간 업데이트와 강한 실시간 업데이트를 포함할 수도 있다. 명세서 전반에 걸쳐 호환 가능하게 사용되는 바와 같이, 약한 실시간 업데이트가 또한, 빠른 간격 업데이트로서 지칭될 수도 있으며, 강한 실시간 업데이트가 또한, 느린 간격 업데이트로서 지칭될 수도 있다. 업데이트가 사용자 개입 없이 실시간 데이터를 사용하여 수행될 수도 있다. 경우에 따라, 업데이트가 대규모 포인트 클라우드로부터 수집된 실시간 EM 센서 데이터를 활용할 수도 있다. 경우에 따라, 오차를 계산하며 오차에 기초하여 업데이트가 필요한지 여부를 결정하기 위해 대규모 포인트 클라우드로부터의 하위 세트의 데이터점이 선택/샘플링될 수도 있다.

경우에 따라, 업데이트 방법이 초기 변환에 대한 약한 실시간 업데이트와 강한 실시간 업데이트를 포함할 수도 있다. 예를 들어, 업데이트 방법이 빠른 간격 개선 단계와 느린 간격 재계산 단계를 포함할 수도 있다. 경우에 따라, 각각의 업데이트 후, 오차가 재계산될 수도 있으며, 오차가 감소하면 변환 행렬이 업데이트될 수도 있다.

빠른 간격 개선 작업(예를 들어, 빠른 간격 업데이트)이 대규모 포인트 클라우드(예를 들어, 제 3 국면에서 수집된 데이터점)로부터 하위 세트의 데이터점을 무작위로 샘플링하는 단계를 포함할 수도 있다. 다음으로, 현재의 변환 및 최근접 이웃 알고리즘이 샘플링된 세트에 적용되어 한 세트의 연관성을 생성할 수도 있다. 이 연관성 세트가 제 2 국면에서 계산된 연관성 세트와 조합되어 최종 포인트 클라우드를 생성할 수도 있다. 최종 포인트 클라우드 데이터는 제 2 국면에서 설명된 바와 같이 수정된 ICP 알고리즘에 공급되어 업데이트된 변환을 생성하여 이에 따라 현재 변환을 개선할 수도 있다.

느린 간격 재계산 작업은 초기 변환 정보 또는 제 2 국면에서 생성된 연관성 세트를 활용하지 않고 최근접 이웃 알고리즘만을 사용하면서 전술한 바와 유사한 업데이트 작업을 포함할 수도 있다. 예를 들어, 최근접 이웃 알고리즘을 제 3 국면에서 수집된 센서 데이터에 적용함으로써 한 세트의 연관성이 계산될 수도 있으며, 변환 행렬이 제 2 국면으로부터의 정보없이 연관성 세트만을 사용하여 업데이트될 수도 있다. 경우에 따라, 하위 세트의 데이터가 대규모 데이터세트로부터 무작위로 샘플링될 수도 있다. 대안으로서 또는 추가적으로, 하위 세트의 데이터가 거리에 기초하여 선택될 수도 있다. 예를 들어, 거리 기반 시간 필터가 시간 경로를 따라 균일하게 분포된 점을 샘플링하며 업데이트 계산을 위해 이러한 점을 선택하는 데 사용될 수도 있다. 필터링에 사용되는 거리는 CT 스캔 및/또는 환자의 해부학적 구조에 기초할 수도 있다.

이러한 느린 간격 재계산 작업(즉, 강한 업데이트)은 더 큰 시간/점 간격으로 수행될 수도 있는데, 그 이유는 이러한 작업이 다음 국소 최소값으로의 "점프(jump)"를 초래할 수도 있기 때문이다. 경우에 따라, 느린 재계산이 고정 간격(예를 들어, 시간 간격, 소정의 데이터점 개수 등)으로 수행될 수도 있다. 경우에 따라, 업데이트 오차 값이 수렴을 시작할 때 느린 재계산이 촉발될 수도 있으며, 국소적이거나 전반적인 최소값에 도달되는 것을 신호화할 수도 있다. 약한 업데이트(즉, 빠른 간격 재계산)에 의해 초기 변환이 지속적으로 개선됨에 따라 그리고 ICP 알고리즘의 반복에 의해, 원하는 단계 또는 올바른 방향으로의 "점프"가 보장될 수 있다. 약한 업데이트(예를 들어, 빠른 간격 개선)와 강한 업데이트를 조합하는 것 뿐만 아니라 강한 업데이트보다 약한 업데이트를 더 빈번하게 수행하면 유리하게는, 개선 단계가 거리를 올바르지 않은 국소적인 최소값까지 증가시키면서 거리를 전반적인 최소값으로 감소시킴에 따라, 올바른 방향으로의 "점프"를 보장할 수도 있다.

업데이트 국면에서의 데이터점의 무작위 샘플링(예를 들어, 빠른 간격 업데이트)이 또한 유리하게는, 과적합(overfitting)을 방지할 수도 있다. 과적합은 잡음 데이터로 인해 그리고 데이터 실린더를 단일 라인으로 맞춤으로 인해 발생할 수도 있다. 무작위 샘플링은, 하나의 국소적 최소값으로부터 다른 국소적 최소값으로 점프하는 대신, 일반적인 해답을 찾아 개선하는 능력을 제공하여, 이에 따라 오차 표면을 원활하게 횡단하는 것을 허용하며 레지스트레이션 정확도와 안정성을 향상시킬 수도 있다. 데이터점의 무작위 샘플링은 또한, 초기 연관성을 추정된 연관성(빠른 간격 재계산에서 계산됨)으로 간접적으로 가중치를 부여할 수도 있다. 제 2 국면에서 정확도가 높은 데이터가 계산되며, 구조가 복잡하고 주변 기도 사이의 간극이 작기 때문에 최근접 이웃 계산보다 이 계산에 가중치를 부여하는 것이 바람직하다. 업데이트 단계에서의 무작위 데이터 샘플링은 전체 레지스트레이션 진행을 중단시킬 수 있는 국소적 최소값에 갇히는 것을 더욱 방지할 수도 있다. 국소적 최소값에 도달하는 것이 불가피할 수도 있는데, 그 이유는 주로, 반복 x에서 전반적인 해답이 발견되더라도, 반복 x+1이 데이터를 추가하여, 이전 변환이 국소적 최소값이 되도록 할 수도 있기 때문이다. 무작위 샘플링이 유리하게는, 반복 및 오차 계산을 원활하게 만들 수도 있다.

일부 실시예에서, 자동 레지스트레이션 알고리즘이 또한, 수집된 센서 데이터를 전처리하여 성능을 개선하기 위한 전처리 알고리즘을 채용할 수도 있다. 경우에 따라, 램퍼-더글라스-페커(Ramer-Douglas-Peucker) 알고리즘이 2 개의 위치점 사이의 시계열 데이터의 대규모 데이터세트를 전처리하는 데 사용될 수도 있다. 알고리즘은 경로를 단순화하면서 전체 데이터세트 형상을 보전하는 점을 회귀적으로 찾는다. 경우에 따라, 지수 평활화와 같은 알고리즘이 곡선의 작은 변동을 보존하면서 데이터세트로부터 잡음을 제거하는 데 사용될 수도 있다. 다른 예에서는, 알파-베타 필터링과 같은 필터가 데이터세트로부터 잡음을 제거하는 데 활용될 수도 있다. 경우에 따라, 거리 기반 시간 필터가 전술한 바와 같이 하위 세트의 데이터를 선택하는 데 사용될 수도 있다.

본 발명의 바람직한 실시예가 본원에 도시 및 설명되었지만, 당업자에게는 이러한 실시예가 단지 예시로서 제공됨이 명백할 것이다. 이제 본 발명을 벗어나지 않고 다양한 변형, 변경, 및 대체가 당업자에 의해 발생할 것이다. 본원에 설명된 본 발명의 실시예에 대한 다양한 대안이 본 발명을 실시하는 데 채용될 수도 있음을 이해하여야 한다. 아래의 청구범위는 본 발명의 범위를 정의하며, 이러한 청구범위 이내의 방법과 구조 및 그 등가물이 청구범위에 포함되도록 의도된다.

Claims (19)

1. 로봇 내시경 장치의 탐색을 위한 방법으로서,
   (a) 위치 센서를 사용하여 수집된 제 1 세트의 센서 데이터에 적어도 부분적으로 기초하여 로봇 내시경 장치의 배향과 상기 위치 센서의 배향 사이의 제 1 변환을 생성하는 단계;
   (b) 상기 제 1 변환 및 제 2 세트의 센서 데이터에 적어도 부분적으로 기초하여 상기 로봇 내시경 장치의 좌표틀과 해부학적 관강 망을 나타내는 모델의 좌표틀 사이의 제 2 변환을 생성하는 단계;
   (c) 제 3 세트의 센서 데이터에 적어도 부분적으로 기초해서 업데이트 알고리즘을 사용하여 상기 제 2 변환을 업데이트하는 단계
   를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 업데이트 알고리즘은 빠른 간격 재계산 작업(fast interval recalculation operation) 및 느린 간격 재계산 작업(slow interval recalculation operation)을 포함하는 것인, 방법.
3. 제 2 항에 있어서,
   상기 빠른 간격 재계산 작업은,
   (ⅰ) 상기 제 3 세트의 센서 데이터로부터 샘플링된 하위 세트의 데이터를 사용하여 제 1 세트의 연관성(association)을 계산하는 단계;
   (ⅱ) 상기 제 1 세트의 연관성을, (b)의 상기 제 2 변환을 생성하기 위해 계산된 제 2 세트의 연관성과 조합하는 단계
   를 포함하는 것인, 방법.
4. 제 3 항에 있어서,
   상기 조합된 제 1 세트의 연관성과 제 2 세트의 연관성을 사용하여 포인트 클라우드(point cloud)를 계산하는 단계
   를 추가로 포함하는 방법.
5. 제 2 항에 있어서,
   상기 느린 간격 재계산 작업은 최근접 이웃 알고리즘(nearest neighbor algorithm)을 포함하는 것인, 방법.
6. 제 2 항에 있어서,
   상기 느린 간격 재계산 작업은 상기 제 3 세트의 센서 데이터만을 사용하여 상기 제 2 변환을 업데이트하는 단계를 포함하는 것인, 방법.
7. 제 1 항에 있어서,
   상기 위치 센서는 전자기 센서인 것인, 방법.
8. 제 1 항에 있어서,
   해부학적 관강 망을 나타내는 상기 모델의 좌표틀은 수술전 영상화 시스템을 사용하여 생성되는 것인, 방법.
9. 제 1 항에 있어서,
   상기 로봇 내시경 장치는 일회용 카테터 조립체를 포함하는 것인, 방법.
10. 제 1 항에 있어서,
    상기 위치 센서는 상기 로봇 내시경 장치의 원위 선단에 위치되는 것인, 방법.
11. 로봇 내시경 장치의 탐색을 위한 시스템으로서,
    상기 로봇 내시경 장치의 원위 단부에 위치한 위치 센서;
    하나 이상의 프로세서
    를 포함하며,
    상기 하나 이상의 프로세서는 상기 위치 센서 및 상기 로봇 내시경 장치와 통신하며, 명령 세트를 실행하도록 구성되어, 시스템이,
    (a) 상기 위치 센서를 사용하여 수집된 제 1 세트의 센서 데이터에 적어도 부분적으로 기초하여 상기 로봇 내시경 장치의 배향과 상기 위치 센서의 배향 사이의 제 1 변환을 생성하도록 하고;
    (b) 상기 제 1 변환 및 제 2 세트의 센서 데이터에 적어도 부분적으로 기초하여 상기 로봇 내시경 장치의 좌표틀과 해부학적 관강 망을 나타내는 모델의 좌표틀 사이의 제 2 변환을 생성하도록 하며;
    (c) 제 3 세트의 센서 데이터에 적어도 부분적으로 기초해서 업데이트 알고리즘을 사용하여 상기 제 2 변환을 업데이트하게 하도록 하는 것인 시스템.
12. 제 11 항에 있어서,
    상기 업데이트 알고리즘은 빠른 간격 재계산 작업 및 느린 간격 재계산 작업을 포함하는 것인, 시스템.
13. 제 12 항에 있어서,
    상기 빠른 간격 재계산 작업은,
    (ⅰ) 상기 제 3 세트의 센서 데이터로부터 샘플링된 하위 세트의 데이터를 사용하여 제 1 세트의 연관성을 계산하는 단계;
    (ⅱ) 상기 제 1 세트의 연관성을, (b)의 상기 제 2 변환을 생성하기 위해 계산된 제 2 세트의 연관성과 조합하는 단계
    를 포함하는 것인, 시스템.
14. 제 13 항에 있어서,
    상기 빠른 간격 재계산 작업은, 상기 조합된 제 1 세트의 연관성과 제 2 세트의 연관성을 사용하여 포인트 클라우드를 계산하는 단계를 추가로 포함하는 것인, 시스템.
15. 제 12 항에 있어서,
    상기 느린 간격 재계산 작업은 최근접 이웃 알고리즘을 포함하는 것인, 시스템.
16. 제 12 항에 있어서,
    상기 느린 간격 재계산 작업은 상기 제 3 세트의 센서 데이터만을 사용하여 상기 제 2 변환을 업데이트하는 단계를 포함하는 것인, 시스템.
17. 제 11 항에 있어서,
    상기 위치 센서는 전자기 센서인 것인, 시스템.
18. 제 11 항에 있어서,
    상기 해부학적 관강 망을 나타내는 상기 모델의 좌표틀은 수술전 영상화 시스템을 사용하여 생성되는 것인, 시스템.
19. 제 11 항에 있어서,
    상기 로봇 내시경 장치는 일회용 카테터 조립체를 포함하는 것인, 시스템.

Images