KR20170094231A - 파대역-선택적 이미징을 사용하는 요관 검출 - Google Patents

Abstract

요관들 및 요관들 주위의 조직에 의한 광의 선택적 반사가 요관들을 안전하고 효율적으로 이미징하기 위해 사용된다. 일 양태에서, 복수의 수술 부위 장면들이 캡처된다. 복수의 수술 부위 장면들 각각은 상이한 광 스펙트럼을 갖는 반사광으로부터 캡처된다. 복수의 캡처된 수술 부위 장면들은 캡처된 수술 부위 장면들에서 요관 조직을 식별하기 위해 분석된다. 수술 부위 장면은 디스플레이 디바이스상에 디스플레이된다. 디스플레이된 수술 부위 장면은 인공적으로 하이라이트된 요관 조직을 갖는다.

Description

파대역-선택적 이미징을 사용하는 요관 검출{URETER DETECTION USING WAVEBAND-SELECTIVE IMAGING}

본 특허 출원은 전체적으로 본원에 참조로 통합되는 2014년 12월 16일에 출원된 "URETER DETECTION USING WAVEBAND-SELECTIVE IMAGING"이란 명칭의 미국 특허 가출원 제62/092,651호에 대한 우선권 및 출원일의 이익을 주장한다.

본 발명은 일반적으로 수술 절차들에서 사용된 이미징 기술들에 관한 것으로, 더욱 구체적으로는, 수술 절차들 동안 요관(ureter) 검출 및 이미징에 관한 것이다.

요관은 신장으로부터 방광으로 소변을 전달하는 좁은 튜브이다. 요관 벽들에서의 근육들은 지속적으로 조이고 풀어져, 소변을 신장에서 떨어져 아래로 향하게 한다. 약 10 내지 15초마다, 소량의 소변이 요관들로부터 방광으로 비워진다.

요관들에 대한 손상은 골반 또는 직장 영역을 수반하는 수술과 연관된 부작용이다. 수술 동안 요관들에 대한 손상을 방지하기 위해, 요관들을 위치확인하는데 있어서 외과의사를 돕기 위해 여러 상이한 기술들이 시도되었다. 예를 들어, 외과의사는 카메라를 갖는 소형 스코프를 요도에 통과시켜 2개의 요관들 각각에 와이어를 배치하기 위해 비뇨기과의사를 호출할 수 있다. 대안으로, 밝은 스텐트들이 요도를 통해 그리고 방광을 통해 삽입되어 요관들에 접근할 수 있다. 그러나, 이들 접근방식들 모두는 대부분의 양성의 수술 절차들에서의 임상 워크플로우에 지장을 주고, 비뇨기과의사가 일부 경우들에서 이용할 수 없을 수 있다.

요관들의 위치를 결정하는 다른 기술에서, 소량의 방사성의 화학적 염료(TC99-DTPA)가 환자의 팔의 정맥을 통해 주입된다. 방사성 화학적 염료는 신체를 통과하며 소변을 통해 배설되고, 따라서, 방사성 화학적 염료는 요관들을 통과한다. 요관들은 방사성을 감지하는 핸드 헬드 프로브에 의해 검출된다.

요관들을 위치확인하기 위한 또 다른 기술에서, Ⅳ 주입, 또는 근적외선(NIR) 형광단의 도뇨관-기반 역행 주입이 적외선 조명을 사용하여 요관들을 이미징하기 위해 사용된다. 요관들은 주변 조직에 내장되어 있어도 시각화될 수 있으며, 손상이 비가시 광선을 사용하여 실시간으로 평가될 수 있다는 것이 보고되었다. Eiichi Tanaka 등의 "Real-Time Intraoperative Ureteral Guidance Using Near-Infrared Fluorescence," J. Urol. 178(5), pgs. 2197-2201 (2007)는 인도시아닌 그린(ICG) 및 CW800-CA를 사용하여, NIR 형광단들로서 LI-COR(Lincoln, NE)으로부터의 IRDye™ 800CW NIR 염료의 카르복실 산 형태를 설명한다. Aya Matsui, M.D. 등의 "Real-Time Near-Infrared Fluorescence-Guided Identification of the Ureters using Methylene Blue," Surgery, 148(1) pgs. 78-86 (2010)는 NIR 형광단으로서 메틸렌 블루를 사용한다.

요관들을 위치확인하는 다른 접근방식은 적외선 서모그래피를 사용하였다. 전체 수술실이 일시적으로 냉각되도록 실온 식염수가 수술실의 세척액으로서 사용되었다. 수술실이 차별적으로 재가온(rewarm)됨에 따라, 혈관들과 같은 구조들이 빠르게 재가온되고 적외선 이미지에서 어두운 배경에 대해 화이트 라인들로서 나타난다. 이러한 동일한 개념의 제2 애플리케이션은 상위 비뇨기계를 실온 식염수로 채우는 것을 수반한다. 골반 및 요관은 적외선 이미지에서 화이트로 나타나는 더 따뜻한 배경에 대해 블랙으로 나타난다. Jeffrey A. Cadeddu, M.D., 등의 "Laparoscopic Infrared Imaging," Journal of Endourology, Vol. 15, No. 1, pgs. 111-116 (2001)을 참조한다.

형광단의 도입, 온도차의 생성, 오브젝트의 요관들로의 도입, 또는 방사성 염료의 도입을 요구하는 요관들을 위치확인하기 위해 사용된 공지된 기술들과 다르게, 요관들 및 요관들 주위의 조직에 의한 광의 선택적 반사가 요관들을 안전하고 효율적으로 이미징하기 위해 사용된다. 따라서, 내인성 콘트라스트가 도뇨관들을 조명하거나 예를 들어, 외인성 형광단들 또는 방사성 염료들을 투여할 필요없이 요관들을 시각화하기 위해 사용된다.

일 양태에서, 복수의 수술 부위 장면들이 캡처된다. 복수의 수술 부위 장면들 각각은 상이한 광 스펙트럼을 갖는 반사광으로부터 캡처된다. 일 양태에서, 복수의 수술 부위 장면들은 거의 동시에, 즉, 동시에 장면들을 캡처하는 것과 연관된 타이밍 및 광학 허용오차들내에서 캡처되고, 다른 양태에서, 복수의 수술 부위 장면들이 순차적으로 캡처된다.

복수의 캡처된 수술 부위 장면들은 캡처된 수술 부위 장면들에서 요관 조직을 식별하기 위해 분석된다. 수술 부위 장면은 캡처된 수술 부위 장면들에 기초하여 디스플레이 디바이스상에 디스플레이된다. 디스플레이된 수술 부위 장면은 요관 조직이 외과의사에 의해 용이하게 판별되도록 하이라이트된 요관 조직을 갖는다.

일 양태에서, 수술 부위는 복수의 상이한 광 스펙트럼들로 조명된다. 예를 들어, 수술 부위는 복수의 상이한 광 스펙트럼들 중 적어도 2개로 순차적으로 조명된다. 일 양태에서, 복수의 광 스펙트럼들은 450nm 내지 580nm의 범위의 파장들의 광 스펙트럼, 640nm 내지 750nm의 범위의 파장들의 광 스펙트럼, 및 900nm 내지 1080nm의 범위의 파장들의 광 스펙트럼을 포함한다.

일 양태에서, 요관 조직을 식별하기 위한 복수의 캡처된 수술 부위 장면의 분석은 복수의 캡처된 수술 부위 장면들 각각에서 수술 부위 장면의 위치를 요관 신호로 먼저 변환한다. 다음으로, 분석은 요관 신호가 위치에서 요관 조직을 나타내는지를 결정한다. 예를 들어, 요관 신호는 임계치와 비교된다. 대안으로, 요관 신호와 비요관 신호의 비율이 임계치와 비교된다.

또 다른 양태에서, 요관 조직은 수술 부위 장면들의 캡처 이전에 염료로 취급된다. 염료는 형광단 및 방사성 염료와는 상이하고, 예를 들어, 염료는 펜자피리딘(Phenzaopyridine)이다.

이들 방법들을 수행하기 위해, 수술 시스템은 이미지 캡처 시스템을 포함한다. 이미지 캡처 시스템은 복수의 수술 부위 장면들을 캡처하도록 구성된다. 복수의 수술 부위 장면들에서 각각의 수술 부위는 복수의 파대역들에서 상이한 파대역의 반사광으로부터 캡처된다. 수술 시스템은 이미지 캡처 시스템에 결합된 요관 분석 모듈을 또한 포함한다. 요관 분석 모듈은 캡처된 수술 부위 장면들에서 요관 조직을 식별하도록 구성된다. 일 양태에서, 수술 시스템은 조명기를 또한 포함한다. 조명기는 복수의 파대역들 각각으로 수술 부위를 조명하도록 구성된다. 수술 시스템의 디스플레이 디바이스는 수술 부위 장면 및 그 장면에서 요관 조직을 식별하는 정보를 수신하기 위해 요관 분석 모듈에 결합된다. 디스플레이 디바이스는 하이라이트된 요관을 갖는 수술 부위 장면을 디스플레이하도록 구성된다.

도 1은 요관 분석 모듈을 포함하는 수술 시스템의 하이 레벨 도면이다.
도 2는 요관 조직 및 비요관 조직에 의해 상이하게 반사되는 복수의 광 파대역들을 예시하는 그래프이다.
도 3은 도 1의 수술 시스템의 부분들의 더욱 상세한 블록도이다.
도 4는 요관과 비요관 신호들 사이를 구별하기 위한 일 방식을 도시하는 그래프이다.
도면들에서, 참조 부호의 첫 번째 숫자는 그 참조 부호를 갖는 엘리먼트가 처음 나타나는 도면을 나타낸다.

형광단의 도입, 온도차의 생성, 오브젝트의 요관들로의 도입, 또는 방사성 염료의 도입을 요구하는 요관들을 위치확인하기 위해 사용된 공지된 기술들과 달리, 요관 분석 모듈(135)은 요관들에 의해 반사된 광을 사용하여 요관들을 위치확인한다. 요관들 및 요관들 주위의 조직에 의한 광의 선택적 반사가 요관들을 안전하고 효율적으로 이미징하기 위해 사용된다. 따라서, 내인성 콘트라스트가 도뇨관들을 조명하거나 예를 들어, 외인성 형광단들 또는 방사성 염료들을 투여할 필요없이 요관들을 시각화하기 위해 사용된다.

도 1은 요관 분석 모듈(135)을 포함하는 수술 시스템(100), 예를 들어, da Vinci® 수술 시스템의 하이-레벨 도면이다(da Vinci^®은 캘리포니아 서니베일 소재의 Intuitive Surgical, Inc.의 등록 상표이다). 이러한 예에서, 외관의사의 콘솔(114)에서 마스터 제어를 사용하는 외과의사는 카트(110)상에 차례로 장착되는 로봇 조작기 팔(113)에 장착된 내시경(112)을 원격으로 조작한다. 외과의사는 카트(110)에 결합된 하나 이상의 수술 도구들을 또한 원격으로 조작한다. da Vinci^® 수술 시스템과 연관된 다른 부품들, 케이블들 등이 존재하지만, 이들은 본 개시내용을 벗어나는 것을 회피하기 위해 도 1에 예시되지 않는다.

최소 침습 수술 시스템들에 관한 추가의 정보가 예를 들어, 미국 특허 출원 제11/762,165호(2007년 6월 23일 출원됨; 최소 침습 수술 시스템을 개시함), 미국 특허 제6,837,883 B2호(2001년 10월 5일 출원됨; 텔레로봇 수술 시스템용 암 카트를 개시함), 및 미국 특허 제6,331,181호(2001년 12월 28일 출원됨; 수술 로봇 도구들, 데이터 아키텍처, 및 사용을 개시함)에서 발견될 수 있고, 이들 모두는 참조로 본원에 통합된다. 원격조정 최소 침습 수술 시스템의 사용은 단지 예시적이며, 이러한 특정 시스템에 본 발명을 제한하려 의도되지 않는다. 본 개시내용의 관점에서, 본원에 설명된 양태들은 본원에 설명된 양태들을 구현하기 위해 필요한 엘리먼트들을 포함하는 로봇 수술 시스템 또는 다른 수술 시스템에 통합될 수 있다.

일 양태에서, 내시경(112)은 입체 내시경이며, 따라서, 환자(111)내의 수술 부위(103)로부터의 광, 예를 들어, 반사광 및/또는 형광을 이미지 캡처 시스템(120)으로 패스하는 2개의 광학 채널들을 포함한다. 수술 부위(103)는 요관들 및 요관들 주위에서 일반적으로 발견되는 조직을 포함한다.

요관에 의해 반사된 광을 포함하는 수술 부위(103)에서 조직에 의해 반사된 광은 수술 부위 장면으로서 캡처된다. 각각의 캡처된 수술 부위 장면은 요관 조직의 이미지 및 비요관 조직의 이미지를 포함한다. 각각의 캡처된 수술 부위 장면은 데이터의 프레임(121)에 포함된다. 일 양태에서, 복수의 프레임들이 캡처되고, 복수의 파대역들 각각에 대한 하나의 프레임이 수술 부위(103)를 조명한다.

입체 내시경에 대해, 수술 부위 장면은 2개의 장면들: 좌측 장면 및 우측 장면을 포함한다. 데이터 프레임들의 2개의 세트들, 즉, 좌측 세트 및 우측 세트는 이미지 캡처 시스템(120)에 의해 캡처된다. 2개의 세트들은 요관 분석 모듈(135)의 요관 검출 모듈(136)에 의해 프로세싱되어 외과의사의 제어 콘솔(114)에서의 입체 디스플레이 유닛에 전송되는 좌측 요관 강화 이미지 및 우측 요관 강화 이미지를 생성한다. 좌측 요관 강화 이미지 및 우측 요관 강화 이미지는 요관 강화 이미지(140)에 포함된다.

좌측 요관 강화 이미지 및 우측 요관 강화 이미지는 때때로 외과의사의 콘솔(114) 또는 간단히 콘솔(114)로 칭하는 외과의사의 제어 콘솔(114)에서의 입체 디스플레이 유닛상에 제시되어, 하이라이트된 요관들을 갖는 수술 부위(103)의 3차원 장면을 생성한다. 상기 언급한 바와 같이, 요관들의 식별은 요관들 주변의 조직의 반사율과 요관들의 반사율 사이의 차이를 활용하여 행해진다. 특수한 형광단들, 방사성 염료들, 온도차들, 또는 요관들에 삽입된 오브젝트들이 필요하지 않다. 오히려, 요관 분석 모듈(135)은 수술 부위(103)에서 요관들의 위치들을 식별하고 디스플레이하기 위해 요관들의 스펙트럼 반사율과 요관들 주변의 조직(비요관 조직)의 스펙트럼 반사율 사이의 차이를 사용하도록 구성된다.

도 2는 요관의 스펙트럼 반사율(201)(실선), 즉, 요관 스펙트럼 시그니처(201) 뿐만 아니라 요관 조직에 매우 근접한 비요관 조직의 스펙트럼 반사율(202)(점선), 즉, 비요관 스펙트럼 시그니처(202)를 도시한다. 인간이 요관 스펙트럼 시그니처(201)와 비요관 스펙트럼 시그니처(202) 사이의 컬러 차이를 검출하는 것이 시각적으로 매우 어렵지만, 차이들은 도 2에 예시되어 있는 바와 같이 존재한다.

3개의 개별 파대역들, 예를 들어, 3개의 개별 광 스펙트럼들은 요관 조직과 비요관 조직 사이의 별개의 반사율 차이들을 갖는다. 3개의 개별 파대역들은 450 내지 580 나노미터(nm)(낮은 파대역), 640 내지 750nm(중간 파대역), 및 900 내지 1080nm(높은 파대역)이다. 때때로, 이들 파대역들을 스펙트럼들이라 지칭한다.

낮은 파대역(450 내지 580nm)이 가시 광 스펙트럼에 있고 중간 파대역(640 내지 750nm)이 가시 광 스펙트럼에 부분적으로 있지만(가시 광 스펙트럼은 400nm와 700nm 사이인 것으로 취해짐), 이들 파대역들에서의 반사된 가시 광선은 외과의사의 콘솔(114)상에 디스플레이된 장면들에서 외과의사에 의해 인식가능한 컬러 차이를 발생시키지 않는다. 반사율 차이들과 연관된 컬러 차이는 더욱 작은 강도 차이로서 보이며, 작은 강도 차이들은 복잡한 조명 및 3차원 장면 구조들에서 인간의 눈에 의해 검출하는 것이 어렵고, 이는 외과의사의 콘솔(114)상에 디스플레이된 수술 부위 장면들에서 통상적이다.

중간 파대역(640 내지 750nm) 및 높은 파대역(900 내지 1080nm)의 다른 부분(700 내지 750nm)은 전자기 스펙트럼의 근적외선(NIR) 부분에 있다. 근적외광은 인간에 의해 검출가능하지 않다. 그러나, 요관 검출 모듈(136)은 이들 파대역들 3개 모두에서 스펙트럼 반사율에서의 차이들을 검출하고 따라서, 요관 조직에 대응하는 이미지 캡처 시스템(120)에 의해 캡처된 장면에서의 픽셀들 및 비요관 조직에 대응하는 장면에서의 픽셀들을 식별할 수 있다.

일 양태에서, 요관 조직에 대응하는 장면에서의 픽셀들은 수술 부위 장면에서 통상적으로 보이지 않는 컬러를 갖도록 하이라이트되고, 예를 들어, 인조-컬러화(false-colored)되어, 결과적인 장면이 외과의사 콘솔(114) 상에 디스플레이된다. 하이라이트된 요관들은 외과의사가 수술 절차 동안 요관들의 위치들을 용이하게 인식하게 한다.

일 양태에서, 요관 분석 모듈(135)은 적어도 2개의 상이한 광 스펙트럼들로 요관들을 포함하는 조직을 조명하기 위해 조명 시스템(125)을 구성한다. 선택된 광 스펙트럼들은 요관 조직과 비요관 조직 사이의 반사율에서의 차이들에 기초한다. 각각의 스펙트럼은 도 2에 예시된 바와 같이 요관들 주변의 조직 및 요관들에 의해 상이하게 반사된다. 다른 양태에서, 필터들이 요관 조직과 비요관 조직 사이의 반사율에서의 차이들을 갖는 상이한 광 스펙트럼들에 대응하는 프레임들을 캡처하기 위해 이미지 캡처 시스템(120)에서 사용된다.

입체 내시경 및 입체 디스플레이의 사용은 단지 예시적이며 제한하는 것으로 의도되지 않는다. 본원에 설명된 양태들은 모노스코픽 내시경들 및/또는 정상 디스플레이 유닛들과 같은 입체 특징들을 포함하지 않는 시스템들에 적용될 수 있다.

도 3은 도 1의 수술 시스템(100)의 하나의 예의 양태들의 더욱 상세한 예시이다. 수술 시스템(300)의 실시예에서, 조명기(310)가 입체 내시경(301)에 결합된다. 조명기(310)는 적어도 백색 광 소스를 포함하고, 옵션으로, 하나 이상의 적외선 조명 소스들을 포함할 수 있다.

조명기(310)는 수술 부위(303)를 조명하기 위해 입체 내시경(301)에서 적어도 하나의 조명 채널과 협력하여 사용된다. 대안으로 그리고 보편성을 잃지 않고, 조명기(310)는 내시경(301)의 원단 팁에서, 또는 원단 팁 근처에서 조명 소스에 의해 대체될 수 있다. 이러한 원단 팁 조명은 발광 다이오드들(LED들), 예를 들어, 다른 조명 소스들에 의해 제공될 수 있다.

일례에서, 조명기(310)는 수술 부위(303)를 조명하는 백색 광 조명을 제공한다. 일부 구현들에서, 조명기(310)는 다른 타입의 조명, 예를 들어, 비가시 광선 뿐만 아니라 백색 광을 구성하는 가시 컬러 성분들의 서브세트를 또한 제공할 수 있다.

조명기(310)로부터의 광은 조명기(310)를 내시경(301)에서의 조명 채널에 결합하는 조명 채널(316)상으로 향한다. 입체 내시경(301)에서의 조명 채널은 광을 수술 부위(303)로 향하게 한다. 조명 채널들은 예를 들어, 광섬유 번들, 단일 스티프 또는 플렉시블 로드, 또는 광섬유로 구현될 수 있다.

일 양태에서, 이미지 캡처 유닛들(320R, 320L) 각각은 수술 부위(303)로부터 반사된 광을 캡처하는 이미지 캡처 센서(321L, 321R)를 포함한다. 이미지 캡처 센서들(321L, 321R) 각각은 예를 들어, 상이한 가시 컬러 성분을 각각 캡처하는 다중 CCD들; 특정한 가시 컬러 성분을 캡처하는 CCD의 상이한 영역들을 갖는 단일 CCD 등; 3-칩 CCD 센서; 컬러 필터 어레이를 갖는 단일 CMOS 이미지 센서; 또는 3-CMOS 컬러 이미지 센서 어셈블리일 수 있다.

이미지 캡처 센서들(321L, 321R) 각각의 구현에 관계없이, 이미지 캡처 유닛들(320R, 320L) 각각 및 그에 따라 이미지 캡처 센서들(321R, 321L) 각각은 복수의 데이터의 프레임들(322L, 322R)을 캡처한다. 일 양태에서, 복수의 데이터의 프레임들은 수술 부위를 조명하는 복수의 파대역들 각각에 대한 프레임을 포함한다. 복수의 파대역들의 각각의 파대역에 대해 캡처되는 데이터의 프레임은 요관 조직 및 비요관 조직을 차례로 포함하는 수술 부위 장면을 포함한다.

이미지 캡처 유닛(320L)은 좌측 카메라 제어 유닛(CCU)(330L)을 통해 외과의사의 콘솔(350)에서 입체 디스플레이 유닛(351)에 결합된다. 이미지 캡처 유닛(320R)은 우측 카메라 제어 유닛(CCU)(330R)을 통해 외과의사의 콘솔(350)에서 입체 디스플레이 유닛(351)에 결합된다. 카메라 제어 유닛들(330L, 330R)은 이득들을 제어하고, 이미지들의 캡처를 제어하고, 요관 검출 모듈(136)로 그리고 요관 검출 모듈(136)로부터의 프레임들의 전송을 제어하는 시스템 프로세스 모듈(362)로부터 신호들을 수신한다. 시스템 프로세스 모듈(362)은 시스템(300)에서 비전 시스템 제어기들을 포함하는 다양한 제어기들을 나타낸다. 카메라 제어 유닛들(330L, 330R)은 개별 유닛들일 수 있거나, 단일 듀얼 제어기 유닛에서 조합될 수 있다. 또한, 요관 검출 모듈(136)은 카메라 제어 유닛들(330L, 330R)에서 구현될 수 있다.

디스플레이 모드 선택 스위치(352)가 선택된 디스플레이 모드를 시스템 프로세스 모듈(362)에 차례로 전달하는 사용자 인터페이스(361)에 신호를 제공한다. 시스템 프로세스 모듈(362)내의 다양한 비전 시스템 제어기들은 원하는 조명을 생성하도록 조명기(310)를 구성하고, 원하는 데이터를 취득하도록 좌우 카메라 제어 유닛들(330L 및 330R)을 구성하며, 외과의사가 요청된 이미지들을 입체 디스플레이 유닛(351)에 제시하도록 취득된 프레임들을 프로세싱하기 위해 필요한 임의의 다른 엘리먼트들을 구성한다. 이 양태에서, 외과의사의 콘솔 상에 디스플레이된 장면들이 논의되지만, 장면들은 또한 수술실 또는 다른 곳에 위치된 다른 모니터들 상에 디스플레이될 수 있다.

도 3에 도시되어 있는 바와 같이, 사용자 인터페이스(361), 시스템 프로세스 모듈(362), 및 요관 분석 모듈(135)은 설명 목적을 위해 중앙 제어기(360)로서 그룹화된다. 중앙 제어기(360)는 장면들의 컬러를 시스템 프로세스 모듈(362)에 의해 결정되는 바와 같은 새로운 원하는 컬러 밸런스로 변환하는 컬러 정정 모듈들을 또한 통상적으로 포함한다. 임의의 이미지 프로세싱 모듈(340)이 중앙 제어기(360)로부터 신호들을 수신하고 외과의사의 콘솔(350)에서의 입체 디스플레이 유닛(351)에 디스플레이하기 이전에 컬러 정정 모듈들로부터의 장면들을 프로세싱한다. 컬러 정정 모듈들 및 임의의 이미지 프로세싱 모듈(340)은 공지된 수술 시스템들에서의 모듈들과 동들하고, 따라서, 더 상세히 고려되지 않는다.

이하, 단일 채널에서 단일 비디오 스트림과 연관된 프로세싱이 설명된다. 그러나, 이러한 프로세싱은 외과의사의 콘솔(350)에서의 입체 디스플레이 유닛(351)에 제공되는 좌우 채널들 양자에서의 비디오 스트림들에 적용된다. 또한, 종래 기술의 입체 프로세싱과 동등한 입체 프로세싱이 프로세싱된 장면들에 관하여 행해지고 요관 분석 모듈(135)에 의해 생성된다. 입체 프로세싱이 공지되어 있기 때문에, 더 상세히 고려되지 않는다.

정상 동작에서, 즉, 수술 부위의 컬러 이미지가 입체 디스플레이 유닛(351)에 제시되는 경우에, 이미지 캡처 센서(321R)는 수술 시스템(300)에서 각각의 컬러 채널에 대해 하나인 복수의 장면들을 캡처한다. 요관 분석 모드에 대한 다른 양태에서, 적절한 대역 통과 필터들이 상술한 낮은, 중간, 및 높은 파대역들 각각에 대해 하나인 복수의 장면들이 캡처되도록 이미지 캡처 센서(321R)에서 사용된다. 복수의 대역 통과 필터들 각각은 요관 조직 및 비요관 조직에 의해 상이하게 반사되는 복수의 파대역들 중 하나를 통과시킨다. 요관 분석 모드의 이러한 양태에서, 조명기(310)는 적어도 백색광 소스 및 적외선 조명 소스를 포함한다.

요관 분석 모드의 다른 양태에서, 수술 부위(303)는 복수의 조명 소스들(312)에 의해 동시에 조명되고, 여기서, 복수의 조명 소스들 각각은 상이한 광 스펙트럼을 제공한다. 상이한 광 스펙트럼들 각각은 요관 조직 및 비요관 조직에 의해 상이하게 반사된다. 이러한 양태에서, 이미지 캡처 센서는 각각의 상이한 광 스펙트럼에 대한 장면을 캡처하고, 즉, 복수의 장면들은 거의 동시에, 즉, 동시에 이미지를 캡처하는 것에 관하여 수술 시스템과 연관된 타이밍 및 광학 경로 허용오차들내에서 캡처된다.

이러한 예에서, 복수의 조명 소스들(312)이 사용되지만, 이것은 단지 예시적이며 제한하는 것으로 의도되지 않는다. 대안으로, 복수의 필터들(318)이 수술 부위(303)에 광의 상이한 파대역들 각각을 제공하기 위해 광원(311)으로부터의 광을 필터링하기 위해 사용될 수 있다.

아래의 구성들 각각은 요관 조직의 위치를 분석하는 프레임들을 제공하는 것에 관하여 동등하다: (1) 낮은, 중간, 및 높은 파대역들을 통과시키도록 설계된 3개의 컬러 필터들 및 모든 3개의 파대역들에 걸쳐 에너지를 방출하는 광대역 광을 갖는 카메라, (2) 모든 3개의 파대역들에 민감한 하나의 센서 및 순차적으로 턴온되고 카메라에 의해 하나씩 검출되는 이들 3개의 파대역들 각각에서 에너지를 방출하는 3개의 개별 협대역 광들만을 갖는 카메라, 및 (3) (1) & (2)의 일부 조합.

따라서, 이러한 예에서, 사용된 기술에 관계없이, 3개의 프레임들, 즉, 복수의 프레임들이 캡처된다. 요관 조직 및 비요관 조직으로부터 상이하게 반사되는 상이한 파대역들 각각에 대한 하나의 프레임이 캡처된다. 3개의 캡처된 프레임들 중 하나만이 프레임에서 요관 조직을 식별하기 위해 분석될 수 있다. 그러나, 일부 상황들에서, 비요관 조직으로부터의 경면 반사들 또는 조직에서 수술 도구들 및/또는 깊이 변동들이 요관 조직 문제의 단일 프레임 식별을 만들 수 있다. 따라서, 일 양태에서, 적어도 2개의 프레임들이 캡처된 수술 부위 장면들에서 요관 조직을 식별하기 위해 사용된다.

프레임들 각각 또는 프레임들의 조합에서 캡처된 수술 부위 장면에서 동일한 위치에서의 픽셀들은 그 위치에서의 픽셀들이 요관 조직을 나타내는지를 결정하기 위해 분석된다. 상이한 프레임들에서 동일한 위치에서의 픽셀들이 요관 조직을 나타내는 경우에, 수술 부위 장면에서의 위치는 요관 조직인 것으로 식별되고, 그렇지 않으면 요관 조직 이외의 것으로 식별된다. 캡처된 프레임에서의 모든 픽셀들이 분석될 때, 수술 부위 장면에서 요관 조직의 위치들은 공지된다.

일 양태에서, 3개의 프레임들에서 캡처된 장면들은 조합되며 그레이 스케일 이미지로서 디스플레이되고, 요관 조직의 위치들은 인조 컬러화되고, 예를 들어, 그린 컬러가 주어지며, 입체 디스플레이(351)상에 디스플레이를 위해 그레이 스케일 이미지과 중첩된다.

복수의 파대역들 각각으로부터 반사된 광의 복수의 프레임들이 어떻게 획득되는지에 관계없이, 일 양태에서, 복수의 프레임들에서의 정보를 프레임들에서의 각각의 위치에서 요관 신호 및 비요관 신호로 변환하는 것이 필요하다. 아래의 설명에서, 복수의 캡처된 프레임들 각각에서의 위치가 복수의 프레임들에서의 그 위치에서의 픽셀들이 요관 신호 또는 비요관 신호를 나타내는지를 결정하기 위해 분석된다. 이것은 단지 예시 목적이며 제한하는 것으로 의도되지 않는다. 실제로, 프레임 또는 심지어 전체 프레임에서의 위치들의 그룹은 하나의 변환에서 프로세싱되고 요관 신호 또는 비요관 신호 결정은 그룹 또는 프레임에서의 각각의 위치에 대해 이루어진다.

또한, 위치들은 캡처된 프레임들에서의 절대 위치들에 반대되는 것으로서 수술 부위 장면에서의 위치들로서 지칭된다. 예를 들어, 수술 부위 장면에서의 위치(x, y)는 제1 및 제2 파대역들에 대한 캡처된 프레임들에서 위치(x, y) 및 제3 파대역에 대한 캡처된 프레임에서 위치(x+1, y-1)에 있을 수 있다. 이것은 3개의 파대역들에 대한 캡처된 프레임들이 서로에 대해 자동으로 공간적으로 등록되는지에 의존한다. 프레임들이 서로에 공간적으로 등록되도록 3개의 프레임들이 캡처되면, 3개의 상이한 프레임들에서의 위치들 사이의 관계가 고정되고 공지된다. 캡처된 프레임들이 서로에 공간적으로 등록되는 이미지 캡처 유닛의 예가, 본원에 참조로 통합되는 미국 특허 제8,672,838 B2호(2014년 3월 18일 등록되고, "Image Capture Unit in A Surgical Instrument"를 개시함)에 제시된다.

프레임들이 서로에 공간적으로 등록되도록 프레임들이 캡처되지 않으면, 3개의 캡처된 프레임들은 수술 부위 장면에서의 동일한 위치가 프레임들 각각으로부터 프로세싱되도록 서로에 공간적으로 등록된다. 공간적 등록은 공지되어 있어서, 더 상세히 고려되지 않는다. 예를 들어, 본원에 참조로 통합되는 Maintz and Viergever 의 "An Overview of Medical Image Registration Methods" In Symposium of Medical Image Registration Methods, (1996)를 참조한다. 또한, 본원에 참조로 통합되는 Sotira 등의 "Deformable Medical Image Registration: A Survey" IEEE Trans Med Imaging, 32(7), pp. 1153-1190, (2013년 7월)을 참조한다.

요관 검출 모듈(136)의 일 양태에서, 파대역 - 요관 신호 변환 (C)이 수술 부위 장면에서의 각각의 위치에서 요관-기반 신호들(D)을 획득하기 위해 파대역 신호들(B)에 적용된다. 예를 들어,

여기서,

Band1, Band2, 및 Band3은 낮은, 중간, 및 높은 파대역들 각각에 대한 캡처된 수술 부위 장면들을 나타내는 파대역 신호들이고;

UB1, UB2, UB3은 복수의 파대역 신호들(Band1, Band2, 및 Band3)을 요관 신호(ureter)로 변환하는 제1 복수의 가중치이며;

NB1, NB2, NB3은 복수의 파대역 신호들(Band1, Band2, 및 Band3)을 비요관 신호(non-ureter)로 변환하는 제2 복수의 가중치이다.

파대역 신호들(Band1, Band2, 및 Band3)이 요관 신호(ureter) 및 비요관 신호(non-ureter)로 변환된 이후에, 요관 및 비요관 신호들은 카메라가 각각의 위치에서 요관 조직 또는 비요관 조직을 보고 있을 가능성이 더 있는지를 결정하기 위해 분석된다.

일 양태에서, 카메라가 요관 조직 또는 비요관 조직을 보고 있는지를 결정하기 위해 임계화(thresholding)가 수행된다. 예를 들어, 요관 신호(ureter)가 임계치에 대한 미리 결정된 관계를 가질 때, 요관 신호(ureter)는 요관 조직으로부터인 것으로 취해지도록 경험적 임계치가 결정된다. 경험적 임계치는 예를 들어, 여러 상이한 소스로부터 요관 조직을 조명하고, 상술한 바와 같이 요관 조직의 이미지들을 캡처하며, 상이한 요관 소스들 각각에 대한 요관 신호(ureter)를 결정하기 위해 방금 설명한 변환을 수행함으로써 결정된다. 일 양태에서, 최소의 요관 신호(ureter_small)가 임계치로서 취해진다.

다른 양태에서, 임계화는 프레임에서의 각각의 위치에서 요관 신호(ureter)를 비요관 신호(non-ureter)로 나누고, 즉, 2개의 신호들의 비율을 형성하고, 그 비율을 경험적 임계치와 비교하고, 예를 들어, 요관 신호(ureter)가 일부 일정하거나 비요관 신호(non-ureter)보다 배수로 큰지를 결정한다. 다시, 임계치는 샘플들에 대한 요관 신호(ureter) 및 비요관 신호(non-ureter)를 획득하기 위해 상술한 프로세스에서 요관 조직 및 비요관 조직을 포함하는 여러 샘플들을 사용함으로써 결정된다. 이들 신호들은 임계치를 결정하기 위해 사용된다.

임계화는 요관 신호(ureter)로부터 잡음 및 허위 양성들(false positives)을 제거한다. 잡음으로 인해, 요관 신호(ureter)는 요관이 존재하지 않더라도 매우 빈번하게 제로보다 약간 높다. 임계치를 사용하는 것은 허위 양성들을 제거하기 위해 이러한 잡음을 제거하는 것을 허용한다. 임계화는 또한, 외과의사에게 요관 조직을 나타낼 때 프레임에서 위치를 디스플레이하기 이전에 요관 검출에 관한 신뢰를 결정하게 한다. 고레벨의 신뢰가 소망되는 경우에, 높은 임계치가 사용된다. 허위 양성들을 디스플레이하는 것이 수용가능하면, 임계치는 낮게 설정된다. 임계치의 크기는 요관 조직인 것으로 프레임에서의 위치를 라벨링하기 위해 요구된 요관 신호(ureter)의 레벨을 결정하고, 따라서, 임계치는 실제로, 요관이 프레임에서의 그 위치에 실제로 있다는 시스템이 갖는 신뢰의 레벨이다.

다른 양태에서, 요관 신호(ureter) 대 비요관 신호(non-ureter)가 2차원 공간에 매핑되며, 카메라가 요관 조직을 보고 있는 가능성이 높은 이러한 공간의 영역이 검출된다. 도 4는 2차원 공간이 2개의 파대역들에 대해 어떻게 결정되는지의 예이다. 도 4에서, 중간 파대역 신호들은 x-축을 따라 플롯되며 높은 파대역 신호들은 y-축을 따라 플롯된다. 단지 예의 목적을 위해, 중간 파대역이 700nm의 파장을 갖는 것으로 취해지며, 높은 파대역은 약 960nm의 파장을 갖는 것으로 취해진다. 중간 파대역에 대해 도 2를 사용하여, 비요관 신호(non-ureter)가 점선 수직 라인(401) 주위에서 산란되고, 요관 신호(ureter)가 실선 수직 라인(402) 주위에서 산란된다. 높은 파대역에 대해, 비요관 신호(non-ureter)가 점선 수평 라인(403) 주위에서 산란되고, 요관 신호(ureter)가 실선 수평 라인(404) 주위에서 산란된다.

따라서, 영역(411)내에 있는 신호들은 비요관 신호들(non-ureter)이며, 영역(410)내에 있는 신호들은 요관 신호들(ureter)이다. 실제로, 다수의 상이한 샘플들의 이미지들이 2개의 실제 파대역들을 사용하여 캡처되며, 상술한 변환을 사용하여 획득된 비요관 신호들(non-ureter) 및 요관 신호들(ureter)이 플롯된다. 영역들(410 및 411)이 정의되며, 요관 신호들(ureter)의 영역을 한정하는 라인들이 결정된다. 그 후, 임상적 설정에서, 주어진 위치에서의 요관 신호들(ureter)이 영역(410)내에 있으면, 위치는 요관 조직을 갖는 것으로서 마킹되며, 그렇지 않으면, 위치는 비요관 조직을 갖는 것으로 고려된다.

프레임이 프로세싱되고 카메라의 뷰가 요관이라는 결정이 이루어진 이후에, 프레임은 장면의 나머지로부터 차별화되는 영역으로 외과의사에게 디스플레이된다. 다시, 요관이 수술 부위 장면의 나머지로부터 차별화되도록 이러한 정보를 디스플레이하는 다중의 방식들이 존재한다. 하나의 방식은, 요관이 그곳에 있다는 것을 외과의사에게 경고하기 위해 요관 조직 위에 컬러 오버레이를 포함하는 것이다. 다른 방식은 외과의사가 요관 조직을 주변 조직과 상이한 것으로 보도록 디스플레이들에서 요관 조직들의 컬러를 현저하게 변경하는 것 - 상술한 인조 컬러링이다. 또 다른 방식은 요관의 존재를 외과의사에게 시그널링하기 위해 요관 조직의 상부에 경고 사인들을 디스플레이하는 것이다. 이들 경우들 모두에서, 일 양태에서, 이러한 오버레이 또는 컬러 변경들은 외과의사에 의해 제어될 수 있고, 즉, 외과의사는 요관들의 하이라이트를 턴 온 또는 오프할 수 있거나 요관들을 시각화하기 위해 적용되는 컬러 시프트들을 증가시키거나 감소시킬 수 있다.

일부 양태에서, 상술한 바와 같은 변환(C)은 사용되지 않으며, 임계화가 위치가 요관 조직인지를 결정하기 위해 파대역 신호들을 사용하여 파대역 공간에서 직접 적용된다. 다른 양태에서, 변환(C)을 적용하는 것으로부터 오는 요관 신호는 요관의 존재 또는 부재를 디스플레이하기 위해 직접 사용된다.

요관 신호 변환(C)에 대한 파대역에서의 제1 복수의 가중치들(UB1, UB2, UB3) 및 제2 복수의 가중치들(NB1, NB2, NB3)은 다중의 방식들로 결정될 수 있다. 예를 들어, 제1 및 제2 복수의 가중치들은 요관 및 비요관 조직에 의해 직접 반사된 파대역 신호들을 먼저 경험적으로 측정함으로써; 카메라/조명 시스템 및 요관 및 비요관 조직의 반사율을 모델링함으로써; 또는 경험적 측정과 모델링의 일부 조합에 의해 결정될 수 있다. 이들 접근방식들 각각은 요관 조직에 상관하는 파대역 신호들의 세트 및 비요관 조직에 상관하는 파대역 신호들의 세트를 생성한다.

제1 및 제2 복수의 가중치들은 요관 조직에 상관하는 파대역 신호들의 세트와 비요관 조직에 상관하는 파대역 신호들의 세트를 조합하고, 에러를 최소화하는 매트릭스를 해결하여 결정된다. 예를 들어,

여기서,

DU는 요관 신호들을 선택하기 위한 매트릭스이고;

BU는 N개의 요관 샘플들에 대한 3개의 파대역들 각각에 대해 캡처된 프레임들의 매트릭스이고;

DN은 비요관 신호들을 선택하기 위한 매트릭스이고;

BN은 M개의 비요관 샘플들에 대한 3개의 파대역들 각각에 대해 캡처된 프레임들의 매트릭스이고;

pinv는 의사 인버스이다.

매트릭스의 의사 인버스는 본 기술분야의 통상의 기술자에게 공지되어 있다. 여기에 사용하는데 적합한 의사 인버스는 무어 펜로즈(Moore-Penrose) 의사 인버스로서 지칭된다. 무어-펜로즈 의사 인버스의 일반적인 용도는 고유 솔루션이 부족한 선형 방정식들의 시스템에 대한 '베스트 피트(best fit)' 최소 제곱 솔루션을 계산하는 것이다. 무어-펜로즈 의사 인버스의 다른 용도는 선형 방정식들의 시스템들에 대한 최소(유클리드) 놈 솔루션을 찾는 것이다. 일 양태에서, 베스트 피트 최소 제곱 솔루션이 사용된다.

상기 예에서, 복수의 상이한 광 스펙트럼들이 수술 부위를 조명하고 수술 부위 장면을 포함하는 프레임이 상이한 광 스펙트럼들 각각에 대해 캡처되었고, 이는 복수의 프레임들이 캡처되는 것을 발생시킨다. 복수의 프레임들은 요관 조직인 수술 부위 장면에서의 위치들을 분류하기 위해 분석되었다. 다른 양태에서, 동일한 방법이 사용되지만, 환자는 수술 이전에 염료를 취하였다. 염료는 형광단 및 방사성 염료 양자와 상이하다. 형광단은 여기 파장 스펙트럼을 갖는 광을 흡수하며 방사 파장 스펙트럼을 갖는 광을 방출한다. 프로세스는 형광단에 의한 입사광의 흡수 및 입사광의 반사와 대조적으로 형광단에 의한 새로운 광의 방사이다. 방사성 염료가 어떠한 입사광도 요구하지 않고 측정되는 방사선을 방출한다. 이러한 양태에서 사용된 염료들은 새로운 광 또는 방사선을 방출하지 않지만, 대신에 염료들은 입사광의 반사에 영향을 미친다.

이러한 염료의 일례가 페나조피리딘 하이드로클로라이드(Phenazopyridine Hydrochloride)의 형태로 때때로 사용되는 페나조피리딘이다. 페나조피리딘은 비뇨계 진통제로서 작용하는 염료이다. 페나조피리딘은 통상적으로 환자에게 입으로 투여되고 신장에 의해 소변으로 직접 빠르게 배설된다. 따라서, 소변 및 요관들의 벽들 모두는 페나조피리딘에 의해 염색되고, 이는 요관들의 광 흡수 특성들을 변경시키고, 따라서, 요관들에 의해 반사된 광의 적어도 일부를 변경시킨다. 따라서, 일 양태에서, 페나조피리딘이 투여되고 페나조피리딘으로 처치된 요관 조직에 의해 반사된 파대역들이 결정된다. 이들 파대역들이 상기 분석에서 사용된다.

본원에 설명한 다양한 모듈들은 프로세서(131)상에서 실행하는 소프트웨어, 하드웨어, 펌웨어, 또는 3개의 조합에 의해 구현될 수 있다. 모듈들이 프로세서상에서 실행하는 소프트웨어로서 구현될 때, 소프트웨어는 컴퓨터 판독가능 명령어들로서 메모리(132)에 저장되고 컴퓨터 판독가능 명령어들은 프로세서(131)상에서 실행된다. 메모리의 모두 또는 일부는 프로세서가 메모리에 결합될 수 있는 한은 프로세서와 상이한 물리적 위치에 있을 수 있다. 메모리는 휘발성 메모리, 비휘발성 메모리, 또는 2개의 임의의 조합을 지칭한다.

또한, 본원에 설명한 바와 같은, 다양한 모듈들의 기능들은 하나의 유닛에 의해 수행될 수 있거나 상이한 컴포넌트들로 분할될 수 있고, 이들 각각은 하드웨어, 프로세서상에서 실행되는 소프트웨어, 및 펌웨어의 임의의 조합에 의해 차례로 구현될 수 있다. 상이한 컴포넌트들로 분할될 때, 컴포넌트들은 하나의 위치에 집중되거나 또는 분산 프로세싱 목적을 위해 분산 시스템(300)에 걸쳐 분산될 수 있다. 다양한 모듈들의 실행은 다양한 모듈들 및 제어기(360)에 대해 상술한 프로세스들을 수행하는 방법들을 발생시킨다.

따라서, 프로세서는 프로세서에 의해 실행된 명령어들을 포함하는 메모리에 결합된다. 이것은 컴퓨터 시스템내에서, 또는 대안으로는 모뎀들 및 아날로그 라인들, 또는 디지털 인터페이스들 및 디지털 캐리어 라인을 통해 다른 컴퓨터에 대한 접속을 통해 수행될 수 있다.

본원에서, 컴퓨터 프로그램 제품은 본원에 설명한 프로세스들 중 임의의 부분 또는 모두에 대해 필요한 컴퓨터 판독가능 코드를 저장하도록 구성된 컴퓨터 판독가능 매체를 포함하거나, 여기서, 이들 프로세스들 중 임의의 부분 또는 모두에 대한 컴퓨터 판독가능 코드가 저장된다. 컴퓨터 프로그램 제품들의 일부 예들은 CD-ROM 디스크들, DVD 디스크들, 플래시 메모리, ROM 카드들, 플로피 디스크들, 자기 테이프들, 컴퓨터 하드 드라이브들, 네트워크상의 서버들 및 컴퓨터 판독가능 프로그램 코드를 나타내는 네트워크를 통해 송신된 신호들이다. 비일시적 유형의 컴퓨터 프로그램 제품은 프로세스들 중 임의의 부분 또는 모두에 대한 컴퓨터 판독가능 명령어들을 저장하도록 구성된 유형의 컴퓨터 판독가능 매체를 포함하거나, 여기서, 이들 프로세스들 중 임의의 부분 또는 모두에 대한 컴퓨터 판독가능 명령어들이 저장된다. 비일시적 유형의 컴퓨터 프로그램 제품들은 CD-ROM 디스크들, DVD 디스크들, 플래시 메모리, ROM 카드들, 플로피 디스크들, 자기 테이프들, 컴퓨터 하드 드라이브들 및 다른 물리적 저장 매체들이다.

본 개시내용의 관점에서, 본원에 설명한 프로세스들 중 임의의 부분 또는 모두에서 사용된 명령어들은 사용자에게 관심이 있는 운영 시스템 및 컴퓨터 프로그래밍 언어를 사용하여 매우 다양한 컴퓨터 시스템 구성들로 구현될 수 있다.

본 발명의 양태들 및 실시예들을 예시하는 상기 설명 및 수반하는 도면들은 제한하는 것으로서 취해져서는 안 되고 - 청구항들은 보호된 발명들을 정의한다. 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변경들이 이러한 설명 및 청구항들의 사상 및 범위를 벗어나지 않고 이루어질 수 있다. 일부 경우들에서, 널리 공지된 회로들, 구조들, 및 기술들은 본 발명을 모호하게 하는 것을 회피하기 위해 상세히 도시되거나 설명되지 않았다.

추가로, 이러한 설명의 용어는 본 발명을 제한하는 것으로 의도되지 않는다. 예를 들어, "아래에", "밑에", "하부", "위에", "상부", "근단", "원단" 등과 같은 공간적으로 상대적인 용어들이 도면들에 예시되어 있는 바와 같이 다른 엘리먼트 또는 특징에 대한 하나의 엘리먼트 또는 특징의 관계를 설명하기 위해 사용될 수 있다. 이들 공간적으로 상대적인 용어들은 도면에 도시된 포지션 및 배향 이외에 사용 또는 동작중인 디바이스의 상이한 포지션들(즉, 위치들) 및 배향들(즉, 회전 배치들)을 포함하도록 의도된다.

예를 들어, 도면들에서의 디바이스가 턴 오버되는 경우에, 다른 엘리먼트들 또는 특징들 "아래에" 또는 "밑에" 있는 것으로서 설명된 엘리먼트들은 다른 엘리먼트들 또는 특징들 "위에" 또는 "상부에" 있다. 따라서, 예시적인 용어 "밑에"는 위 및 아래의 포지션들 및 배향들 양자를 포함할 수 있다. 그렇지 않으면, 디바이스는 배향될 수 있고(90도 또는 다른 배향들로 회전될 수 있고) 본원에 사용된 공간적으로 상대적 서술자들이 그에 따라 해석된다.

유사하게, 다양한 축들에 따르고 다양한 축들 주위의 이동의 설명들은 다양한 특수한 디바이스 포지션들 및 배향들을 포함한다. 단수 형태들("a", "an" 및 "the")은, 문맥이 다르게 나타내지 않으면, 복수 형태들을 또한 포함하도록 의도된다. 용어들 "구비한다", "구비하는", "포함한다" 등은 언급한 특징들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그룹들의 존재 또는 추가를 배제하지 않는다.

결합되는 것으로서 설명되는 컴포넌트들은 전기적으로 또는 기계적으로 직접 결합될 수 있거나, 이들은 하나 이상의 중간 컴포넌트들을 통해 간접적으로 결합될 수 있다. 본 개시내용의 관점에서, 증강 디스플레이 시스템에 관하여 설명한 동작들 중 어느 하나 또는 임의의 조합에서 사용된 명령어들이 사용자에게 관심이 있는 운영 시스템 및 컴퓨터 프로그래밍 언어를 사용하여 매우 다양한 컴퓨터 시스템 구성들로 구현될 수 있다.

모든 예들 및 예시적인 참조들은 비제한적이며 본원에 설명한 특정한 구현들 및 실시예들 및 그들의 등가물들에 청구항들을 제한하기 위해 사용되어서는 안 된다. 제목들은 단지 포맷하기 위한 것이며, 하나의 제목 아래의 텍스트가 하나 이상의 제목들 아래의 텍스트를 참조하거나 텍스트에 적용될 수 있기 때문에 임의의 방식으로 주제를 제한하기 위해 사용되어서는 안 된다. 마지막으로, 본 개시내용의 관점에서, 하나의 양태 또는 실시예에 관련하여 설명한 특정한 특징들이 도면들에 구체적으로 도시되지 않거나 텍스트에 설명되지 않더라도, 본 발명의 다른 개시된 양태들 또는 실시예들에 적용될 수 있다.

Claims (20)

1. 방법으로서,
   복수의 수술 부위 장면들을 캡처하는 단계 - 상기 복수의 수술 부위 장면들 각각은 상이한 광 스펙트럼을 갖는 반사광으로부터 캡처됨 -; 및
   상기 캡처된 수술 부위 장면들에서 요관 조직(ureter tissue)을 식별하기 위해 상기 복수의 캡처된 수술 부위 장면들을 분석하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   디스플레이 디바이스상에 수술 부위 장면을 디스플레이하는 단계를 더 포함하고,
   상기 수술 부위 장면은 인공적으로 하이라이트된 상기 요관 조직을 갖는, 방법.
3. 제1항에 있어서,
   복수의 상이한 광 스펙트럼들로 수술 부위를 조명하는 단계를 더 포함하는, 방법.
4. 제3항에 있어서,
   상기 수술 부위를 조명하는 단계는 상기 복수의 상이한 광 스펙트럼들 중 적어도 2개의 광 스펙트럼들로 상기 수술 부위를 순차적으로 조명하는 단계를 포함하는, 방법.
5. 제3항에 있어서,
   상기 수술 부위를 조명하는 단계는
   450nm부터 580nm까지의 범위의 파장들의 제1 광 스펙트럼으로 상기 수술 부위를 조명하는 단계;
   640nm부터 750nm까지의 범위의 파장들의 제2 광 스펙트럼으로 상기 수술 부위를 조명하는 단계; 및
   900nm부터 1080nm까지의 범위의 파장들의 제3 광 스펙트럼으로 상기 수술 부위를 조명하는 단계를 포함하는, 방법.
6. 제3항에 있어서,
   상기 수술 부위를 조명하는 단계는
   450nm부터 580nm까지의 범위의 파장들의 제1 광 스펙트럼으로 상기 수술 부위를 조명하는 단계; 및
   640nm부터 750nm까지의 범위의 파장들의 광 스펙트럼으로 상기 수술 부위를 조명하는 파장들의 제2 광 스펙트럼으로 상기 수술 부위를 조명하는 단계를 포함하는, 방법.
7. 제1항에 있어서,
   상기 분석하는 단계는
   상기 복수의 캡처된 수술 부위 장면들 각각에서 상기 수술 부위 장면에서의 위치를 요관 신호로 변환하는 단계; 및
   상기 요관 신호가 상기 위치에서 요관 조직을 나타내는지를 결정하는 단계를 더 포함하는, 방법.
8. 제7항에 있어서,
   상기 결정하는 단계는 상기 요관 신호를 임계치와 비교하는 단계를 포함하는, 방법.
9. 제7항에 있어서, 상기 결정하는 단계는 상기 요관 신호와 비요관(non-ureter) 신호의 비율을 임계치와 비교하는 단계를 포함하는, 방법.
10. 제1항에 있어서, 상기 분석하는 단계는 요관 신호를 임계치와 비교하는 단계를 포함하는, 방법.
11. 제1항에 있어서, 상기 분석하는 단계는 요관 신호와 비요관 신호의 비율을 임계치와 비교하는 단계를 포함하는, 방법.
12. 제1항에 있어서,
    상기 요관 조직은 염료로 처치되고, 상기 염료는 형광단(fluorophore) 및 방사성 염료와는 상이한, 방법.
13. 제12항에 있어서,
    상기 염료는 페나조피리딘인, 방법.
14. 수술 시스템으로서,
    복수의 수술 부위 장면들을 캡처하도록 구성된 이미지 캡처 시스템 - 상기 복수의 수술 부위 장면들에서의 각각의 수술 부위 장면은 복수의 파대역들 중 상이한 파대역의 반사광으로부터 캡처됨 -; 및
    상기 이미지 캡처 시스템에 결합되고, 상기 캡처된 수술 부위 장면들에서 요관 조직을 식별하도록 구성된 요관 분석 모듈
    을 포함하는, 수술 시스템.
15. 제14항에 있어서,
    상기 복수의 상이한 파대역들 각각으로 수술 부위를 조명하도록 구성된 조명기를 더 포함하는, 수술 시스템.
16. 제14항에 있어서,
    상기 요관 분석 모듈에 결합되고, 하이라이트된 요관을 가진 수술 부위 장면을 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는, 수술 시스템.
17. 수술 시스템으로서,
    복수의 수술 부위 장면들을 캡처하는 수단 - 상기 복수의 수술 부위 장면들 각각은 상이한 광 스펙트럼을 갖는 반사광으로부터 캡처됨 -; 및
    상기 캡처된 수술 부위 장면들에서 요관 조직을 식별하기 위해 상기 복수의 캡처된 수술 부위 장면들을 분석하는 수단
    을 포함하는, 수술 시스템.
18. 제17항에 있어서,
    디스플레이 디바이스상에 수술 부위 장면을 디스플레이하는 수단을 더 포함하고,
    상기 수술 부위 장면은 인공적으로 하이라이트된 상기 요관 조직을 갖는, 수술 시스템.
19. 제17항에 있어서,
    복수의 상이한 광 스펙트럼들로 수술 부위를 조명하는 수단을 더 포함하는, 수술 시스템.
20. 제17항에 있어서,
    상기 분석하는 수단은
    상기 복수의 캡처된 수술 부위 장면들 각각에서 상기 수술 부위 장면에서의 위치를 요관 신호로 변환하는 수단; 및
    상기 요관 신호가 상기 위치에서 요관 조직을 나타내는지를 결정하는 수단을 더 포함하는, 수술 시스템.

Images