KR101763833B1

KR101763833B1 - 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치

Info

Publication number: KR101763833B1
Application number: KR1020127007466A
Authority: KR
Inventors: 캐서린 제이. 모르; 이안 엠. 맥도월; 폴 더블유. 모르
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2009-10-07
Filing date: 2010-09-30
Publication date: 2017-08-01
Also published as: CN102576457B; US8706184B2; KR101965753B1; KR102069258B1; EP3965057B1; EP3109822A1; EP2486540A1; EP3109822B1; JP2013507182A; JP2018202266A; JP2020072873A; KR101876795B1; CN102576457A; KR102172702B1; WO2011043982A1; JP2015006442A; JP2017213451A; JP5662457B2; EP3731176A1; EP3731176B1

Abstract

본 발명의 한 구체예에서, 장치는 디스플레이 장치를 포함한다. 디스플레이 장치는 체강으로부터 가시 전자기(EM) 스펙트럼 내에서 캡처된 조직의 저채도 영상; 및 저채도 영상과 조합된 제 1의 색 강화된 영상을 표시한다. 제 1의 색 강화된 영상은 가시 전자기 스펙트럼 밖의 체강으로부터 캡처된 제 1의 데이터를 표시한다. 저채도 영상과 제 1의 색 강화된 영상 사이의 상대적 밝기는 가시 전자기 스펙트럼 내에서 캡처된 조직에 비해서 제 1의 데이터를 강조하도록 설정되며, 이로써 개선된 정보 내용을 제공할 수 있다.

Description

임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치{METHODS AND APPARATUS FOR DISPLAYING ENHANCED IMAGING DATA ON A CLINICAL IMAGE}

본 발명의 구체예들은 일반적으로 의학적 영상의 표시에 관한 것이다.

최소 침습 의료기법은 진단이나 수술 과정 동안 손상되는 무관한 조직의 양을 감소시킴으로써 환자의 회복 시간, 불편함, 및 해로운 부작용들을 줄이는 것을 목표로 한다. 또한, 최소 침습 수술기법을 사용하면 평균 입원 기간이 표준 수술의 경우보다 상당히 단축될 수 있다. 따라서, 최소 침습 기법의 증가된 채택은 수백만 일의 입원일, 및 수백만 달러의 연간 입원 비용을 줄일 수 있다. 환자 회복 시간, 환자 불편함, 수술 부작용, 및 휴직 기간 또한 최소 침습 수술에 의해 감소될 수 있다.

수술 부위를 보기 위해서 조명 수단이 달린 내시경 카메라를 환자의 체내에 삽입하여 수술 부위의 컬러 영상을 캡처할 수 있다. 수술 부위의 컬러 영상은 모니터 또는 디스플레이 상에서 의사에게 보일 수 있다.

픽처 인 픽처(PIP) 디스플레이의 사용에 의해서 수술 부위에 대한 추가 영상 정보가 동시에 의사에게 표시될 수 있다. 추가 영상 정보는 수술 결과를 개선하는데 있어서 의사에게 유용하게 사용될 수 있다. 그러나, PIP 디스플레이의 작은 그림은 바람직한 수준의 상세한 정보를 나타내기에는 너무 작을 수 있다. 또한, 별도의 영상 프레임이 사용되므로 의사는 2개의 분리된 영상 또는 영상화 방식을 머릿속에서 함께 병합해야 하는데, 이것은 피로를 유발할 수 있다. 또는 달리, 디스플레이 장치 상에 표시되는 컬러 영상과 다른 추가 영상을 앞뒤로 전환해서 나타냄으로써 추가 영상 정보가 풀 스크린에 보일 수 있다. 그러나, 영상의 앞뒤 전환에는 시간이 걸리기 때문에 결과적으로는 수술을 덜 효과적으로 만든다. 또한, 의사는 백색광 영상으로 다시 전환하는데 실패함으로써, 다른 영상화 모드에 있는 동안 필요한 것보다 더 많이 절단하거나, 중요한 조직에 의도치 않게 손상을 입힐 수 있다.

더 효과적이고 안전한 최소 침습 수술을 제공하는 것이 바람직하다.

본 발명의 구체예들은 이후의 청구항에 의해서 요약된다.

본 특허 또는 출원 제출서는 적어도 하나의 컬러 도면을 함유한다. 컬러 도면(들)이 첨부된 본 특허 또는 특허출원 공보의 사본은 요청시 필요한 비용을 지불하면 사무국에 의해 제공될 것이다.
도 1은 최소 침습 수술을 위한 영상화 시스템의 블록 다이어그램이다.
도 2는 본 발명의 구체예들의 양태들에 대한 그림으로 표현된 다이어그램이다.
도 3은 본 발명의 구체예들에 있어서 영상화 방법의 요소들을 예시하는 순서도이다.
도 4a는 수술 부위의 가시 범위의 백색광 컬러 영상을 캡처한 것을 예시하는 컬러 다이어그램이다.
도 4b는 도 4a의 가시 범위의 백색광 컬러 영상을 흑백 또는 회색 스케일의 저채도 영상으로 채도를 낮춘 것을 예시하는 비-컬러 다이어그램이다.
도 5a는 비-가시 스펙트럼 내의 데이터를 캡처하여 수술 부위 내의 특징적인 조직의 영상을 형성한 것을 예시하는 흑백 다이어그램이다.
도 5b는 도 5a의 특징적인 조직 특징부에 색을 입혀서 색 강화된 영상을 형성한 것을 예시하는 다이어그램이다.
도 6은 임상 영상과 조합된(예를 들어, 위에 오버레이된) 도 5b의 색 강화된 영상과 혼성된 영상을 표시한 다이어그램이다.
도 7은 구성 영상들의 밝기 또는 혼성된 영상 내의 구성 영상들 간의 상대적 밝기를 조정하기 위한 사용자 인터페이스를 예시하는 다이어그램이다.
도 8은 채도를 낮춘 영상으로 수술 부위의 컬러 영상의 저채도 수준을 조정하기 위해 사용될 수 있는 사용자 인터페이스를 예시하는 다이어그램이다.
상이한 도면들에 사용된 유사한 참조번호들은 상이한 구성형태를 가질 수 있는 동일하거나 유사한 요소와 관련된다.

이 상세한 설명은 본 발명을 예시하는 예시적인 실시형태를 설명하며, 따라서 제한이 아닌 설명을 위한 것이다. 본 발명은 특허청구된 청구항들에 의해서만 제한된다. 도면에서 일부 요소들은 본 발명의 구체예들을 더 명확히 나타내기 위해서 생략되었다.

서론

본 발명의 구체예들은 반사된 백색광 조직 영상, 및 동일 수술 부위에서 별도로 또는 동시에 취득된 강화된 조직 영상을 동시에 표시하는 것의 임상 활용성의 개선을 목표로 한다. 강화된 조직 영상은, 제한은 아니지만 근적외선(NIR) 형광, 가시광선 형광, 멀티스펙트럼 영상화, 형광 수명주기 영상화, 또는 공간 변동을 가진 임상 정보를 함유하는 비-가시광 특징을 가진 래스터 스캔과 같은 기법들에 의해서 캡처될 수 있다. 이에 더하여, 강화된 영상은 조직 임피던스, 암의 점 검출, 또는 임상 백색광 영상 상의 특정 세포 타입과 같은 상이한 타입의 측정가능한 조직 변수들의 점 측정들을 오버레이함으로써 구축된 영상일 수 있다.

일반적으로, 본 발명의 한 구체예에서, 가시적 영상, 백색광 영상, 또는 컬러 임상 영상을 색이 반영된 백색광 영상 대신에 회색 스케일 영상 또는 흑백 영상으로 채도를 낮춰서 의사 또는 임상의에게 표시해 주는 표시 방법이 개시된다. 저채도화는 적색, 녹색 및 청색 색조를 회색으로 접근시켜 영상으로부터 색을 제거한다. 임상 영상과 관련된 강화된 정보가 하나 이상의 강화된 영상화 기법을 사용하여 캡처되고, 채도를 낮춘 백색광 영상과 나란히 하나 이상의 색으로 가시 스펙트럼 내에 표시된다. 강화된 정보, 전형적으로는 보조기를 착용하지 않은 눈에는 보이지 않는 정보가 가시 스펙트럼 내에서 표시된 때, 그것은 거짓 색을 가진다. 강화된 영상을 채색하는 거짓 색(강화된 색이라고도 한다)의 예들은, 제한은 아니지만 녹색, 청색 및 자주색이며, 이들은 강화된 영상에서 강화된 영상화 기법에 의해 검출되는 비-가시 전자기 스펙트럼 내의 하나 이상의 신호 타입을 표시하기 위해서 사용될 수 있다. 강화된 영상의 컬러 버전이 저채도 백색광 임상 영상과 나란히 놓여, 저채도 임상 영상과 혼성되거나, 영상 맨 위에 중첩되거나, 또는 오버레이된다(다르게는 조합된다고도 한다). 혼성된 영상으로 이들 두 영상의 조합이 의사에게 표시되며, 임상적으로 관련 있는 정보량이 증가할 수 있고, 수술 동안 수술 부위의 색 강화된 영상에서 낮은 신호 수준의 검출력이 개선될 수 있다.

임상 영상의 채도를 낮춤에 따라, 영상의 색 정보는 제거되지만, 세부사항은 거의 손실되지 않는다. 저채도 임상 영상은 해부구조, 조직 표지, 및 수술 기구를 확인하기에 충분하며, 따라서 수술 기구의 안전한 조작이 가능하다. 또한, 저채도 임상 영상에서는 백색광 임상 영상의 색 표시에 의한 간섭으로 인한 강화된 영상의 콘트라스트에 손실이 없다. 저채도 임상 영상 위에 오버레이된 색 강화된 영상은 수술 부위에 관한 개선된 정보 내용을 제공하며, 환자에 대한 손상 위험을 줄일 수 있고, 수술 효율을 개선할 수 있다.

색 강화된 영상은 미리 설정된 상대적 밝기로 저채도 임상 영상 위에 오버레이될 수 있으며, 조직의 가시적 영상에 비해서 조직의 비-가시적 정보로부터의 강화된 정보를 강조할 수 있다. 또는 달리, 슬라이드-타입 제어와 같은 사용자 인터페이스 장치가 제공될 수 있으며, 이로써 두 영상의 혼성이 가능해져서 두 영상의 상대적 밝기가 연속하여 변경될 수 있다. 이러한 혼성 방식을 통한 상대적 밝기의 조정은 사용자로 하여금 강화된 영상 정보를 가지고 수행하고자 하는 일의 임상 요건과 일치되도록 오버레이 밝기를 재단할 수 있도록 한다. 예를 들어, 얇고 희미한 라인을 찾을 때, 사용자는 상대적 밝기를 강화된 영상 쪽으로 더 강하게 가중할 수 있다. 강화된 영상 내에서 밝게 빛나는 커다란 덩어리를 절제할 경우에는, 예를 들어 영상의 상대적 밝기가 저채도 백색광 영상 쪽으로 더 강하게 가중될 수 있다.

영상화 시스템

이제, 도 1과 관련하여, 최소 침습 수술을 위한 영상화 시스템(100)의 블록 다이어그램이 예시된다. 영상화 시스템(100)은 내시경 카메라(101), 비전 컨트롤 카트(102), 및 의사 콘솔(104)를 포함하며, 이들은 함께 결합되어 도시된다.

내시경 카메라(101)는 환자측 조작기의 로봇 암(111)에 탈착식 결합할 수 있는 기계적 인터페이스를 포함하며, 이로써 환자의 수술 부위 내에서 주변을 이동할 수 있다. 내시경 카메라(101)는 환자의 체강 내의 수술 부위(210) 전반에서 로봇 암(111)에 의해 지지되며, 거기서 디지털 영상을 캡처한다.

비전 컨트롤 카트(102)는 조명장치(112), 영상 프로세서(114), 코어 프로세서(116), 및 모니터(118)를 포함한다. 내시경 카메라(101)가 조명장치(112)에 결합되며, 가시광(VL)을 수용하여 그것을 카메라 끝으로부터 수술 부위로 보내서 조직을 가시성 있게 조명하여 컬러 또는 분광 카메라로 조직을 캡처한다. 또한, 내시경 카메라(101)는 조명장치(112)에 결합되어 비-가시 전자기선(NVE)을 수용할 수 있으며, 그것을 카메라 끝으로부터 수술 부위로 보내서 재료를 여기시켜 조직에 형광을 부가하여 센서 또는 분광 카메라로 조직을 캡처한다. 내시경 카메라(101)는 가시광(VL)에 응답하여 수술 부위 내의 조직의 컬러 가시 영상(VI)의 하나 이상의 프레임을 캡처하고, 이들은 영상 프로세서(114)에서 결합된다. 또한, 내시경 카메라(101)는 비-가시 전자기선(NVE)에 응답하여 수술 부위 내에서 조직으로부터 비-가시 범위의 공간적으로 암호화된 데이터의 하나 이상의 프레임을 캡처하고, 이 데이터를 영상 프로세서(114)에서 결합할 수 있다. 입체 영상화의 경우에는, 내시경 카메라(101)는 수술 부위의 좌우 영상을 동시에 캡처하는 입체 카메라이다. 내시경 카메라(101)와 그것의 센서를 사용하여 광학적인 비-가시 영상(예를 들어, 근적외선, 자외선)을 캡처할 수 있지만, 다른 영상화 장치 및 기법을 사용해서도 다른 비-가시 스펙트럼 데이터를 캡처할 수 있으며, 제한은 아니지만 분광 데이터, 라만 산란값, 임피던스 데이터, 2-광자 형광, 초음파, 감마선 및/또는 X-선 영상을 예로 들 수 있으며, 이들의 데이터는 가시 스펙트럼 범위의 영상으로서 표시되고, 저채도 영상과 조합될 수 있다. 추가로, 전체 영상의 일부 또는 전부를 커버하는 빛을 캡처해서 분석하여 임상적으로 관련 있는 2-차원(2D) 영상을 만들 수 있다. 이러한 2D 영상은 편광, 산란, 및 빛과 조직의 상호작용과 관련된 다른 유사한 특징들과 같은 빛의 특성들로부터 추출된 특징부를 캡처할 수 있으며, 이 경우 조직은 다양한 임상적으로 관련 있는 마커들로 보강될 수 있다. 강화된 영상은 일련의 가시 영상들에 대해 컴퓨터 작업된 영상일 수 있다. 예를 들어, 일련의 영상들을 사용하여 혈류를 컴퓨터 계산할 수 있고, 이것이 2D 영상으로 표시될 수 있다.

조명장치(112)는 코어 프로세서(116)로부터 수신될 수 있는 제어 신호(126)에 응답하여 가시광(VL), 가시성 전자기선 스펙트럼에서 발생되는 빛, 및 비-가시 전자기선(NVE)을 생성할 수 있다. 조명장치(112)는 가시광(VL)과 비-가시 전자기선(NVE)을 생성하여, 제어 신호에 응답해서 비-가시 스펙트럼 데이터를 캡처하고, 강화된 영상의 프레임을 형성하는 것과 동기적으로, 컬러 가시 영상(VI)의 프레임을 동시에 캡처할 수 있다. 또는 달리, 조명장치(112)는 가시광(VL)과 비-가시 전자기선(NVE)을 교대로 생성할 수 있으며, 이로써 제어 신호에 응답하여 비-가시 스펙트럼 데이터를 캡처하고, 강화된 영상의 프레임을 형성하는 것과 비동기적으로, 컬러 가시 영상(VI)의 프레임을 캡처할 수 있다.

가시광(VL)과 비-가시 전자기선(NVE)은 내시경 카메라(101)에서 하나 이상의 광섬유 또는 광섬유 다발에 의해 결합될 수 있다. 유사하게, 가시 조직의 풀 컬러 가시 영상(VI)들이 수술 부위 내에서 캡처되어 광섬유를 통해 영상 프로세서(114)에서 결합되거나, 또는 센서에 의해 캡처되어 와이어 케이블에 의해서 영상 프로세서에서 결합될 수 있다. 또한, 수술 부위 내의 조직의 비-가시 스펙트럼 데이터가 광섬유를 통해 영상 프로세서(114)에서 결합될 수 있거나, 또는 센서에 의해 캡처되어 와이어 케이블에 의해서 영상 프로세서에서 결합될 수 있다. 하나 이상의 센서에 의해 캡처된 전자기선은 가시 범위의 적색, 녹색, 청색 EM 스펙트럼과 비-가시 범위의 EM 스펙트럼(예를 들어, 근적외선)으로 보관될 수 있다.

영상 프로세서(114)는 캡처된 영상을 처리하기 위한 하나 이상의 프로세서 P(120)와 영상 데이터의 하나 이상의 프레임을 저장하기 위한 하나 이상의 저장 장치(예를 들어, 메모리) M(122)를 포함한다. 입체 영상화의 경우에는, 영상 프로세서(114)는 캡처된 좌우 영상을 처리하기 위한 한 쌍의 프로세서 P(120)와 좌우 영상 프레임을 저장하기 위한 한 쌍의 저장 장치(예를 들어, 메모리) M(122)를 포함할 수 있다.

강화된 표시 방식에서, 영상 프로세서(114)의 하나 이상의 프로세서 P(120)는 디지털 영상 데이터의 각 프레임의 픽셀 조작을 수행할 수 있으며, 이로써 여기 개시된 영상 프로세싱 및 표시 방법을 수행할 수 있다. 영상 프로세서(114)는 코어 프로세서(116)로부터 명령(125)을 받아서, 영상(124)들을 코어 프로세서(116)에서 결합하여 컨트롤 카트(102)의 의사 콘솔(104) 및/또는 모니터(118)의 디스플레이(140) 상에 표시한다. 또는 달리, 코어 프로세서(116)는 디지털 영상을 수신해서 디지털 영상 데이터의 각 프레임의 픽셀 조작을 수행할 수 있으며, 이로써 여기 개시된 영상 프로세싱 및 표시 방법을 수행할 수 있다.

의사 콘솔(104)은 디지털 제어 및 영상 정보의 고속 통신을 위한 광섬유 케이블(129)을 통해서 코어 프로세서(116)에 결합될 수 있다. 의사 콘솔(104)은 좌우 입체 영상을 의사에게 표시해 줄 수 있는 입체 디스플레이 장치(140)를 포함할 수 있다. 입체 디스플레이 장치(140)는 여기 개시된 표시 방법에 따라서 좌우 혼성된 영상을 표시할 수 있다.

최소 침습 수술 시스템에 관한 추가의 정보는, 예를 들어 2007년 6월 13일자로 David Q. Larkin 등에 의해서 제출된 미국 특허출원 제11/762,165호, 발명의 명칭 "최소 침습 수술 시스템"; 및 2001년 12월 18일자로 Tierney 등의 이름으로 발행된 미국특허 제6,331,181호, 발명의 명칭 "수술용 로봇 도구, 데이터 구조 및 사용"에서 찾을 수 있으며, 이들은 모두 본원에 참고자료로 포함된다.

비-가시 범위의 특징적인 조직 특징부의 조명

이제, 도 2와 관련하여, 본 발명의 구체예들의 양태들에 대한 그림으로 표현된 다이어그램이 예시된다. 내시경(101)은 가시광(VL) 및 비-가시 전자기선(NVE)을 방출하여 수술 부위(210)로 보내기 위한 하나 이상의 광섬유(201A-201B)를 포함할 수 있다. 내시경(101)은 카메라와 같은, 가시 스펙트럼 내의 전자기선을 캡처하기 위한 센서(202A)를 포함할 수 있다. 센서(202A)는 가시 범위의 입체 컬러 영상을 캡처하기 위한 입체 컬러 카메라일 수 있다. 내시경(101)은 비-가시 스펙트럼 내의 전자기선 또는 정상적으로는 육안으로 보이지 않는 다른 종류의 정보(예를 들어, 초음파)를 캡처하기 위한 또 다른 센서(202B)를 더 포함할 수 있다. 예를 들어, 센서(202B)는 수술 부위의 NIR 강화된 영상을 캡처하기 위한 근적외선(NIR) 검출기일 수 있다. 또는 달리, 내시경(101)은 가시광 및 비-가시 스펙트럼 데이터를 환자의 몸 밖의 외부 센서/카메라로 다시 보내기 위한 도관일 수 있다.

수술 부위(210)는 가시광에 의해 조명되었을 때 백색광 또는 컬러 영상을 반사할 수 있는 조직(212)을 포함한다. 또한, 수술 부위(210)는 가시 범위의 전자기 스펙트럼 내의 빛에 의해 조명되었을 때 보조기를 착용하지 않은 눈에는 보이지 않는 특징적인 조직 특징부(213, 214)를 가진다.

다양한 비-가시 범위의 특징적인 조직 특징부(213, 214)가 형광, 발광, 추적 또는 반사 재료(총괄하여 바이오마커라고 한다)를 동반하거나 동반하지 않고 비-가시 전자기선(NVE)으로 조명될 수 있다. 일부 경우, 비-가시 범위의 특징적인 조직 특징부에는 형광, 발광, 추적 또는 반사 재료 또는 화합물(총괄하여 바이오마커라고 한다)로 생화학적으로 택이 붙을 수 있으며, 이들은 가시광 또는 전자기선(VL) 또는 비-가시 전자기선(NVE)에 의해 여기되어 가시광 카메라나 센서에 의해 캡처될 수 있다. 다른 경우, 일부 비-가시 범위의 특징적인 조직 특징부에는 형광, 발광, 추적, 마크 또는 반사 재료/화합물(총괄하여 바이오마커라고 한다)로 생화학적으로 택이 붙을 수 있으며, 이들은 비-가시 전자기선(NVE)에 의해 여기되어 비-가시 전자기선(NVE)의 파장에서 발광하여 해당 파장에 감응하는 센서에 의해 캡처된다.

반사된 백색광을 내는 보이지 않는 조직은 다양한 방식으로 영상화될 수 있다. 예를 들어, 반사된 백색광을 내는 보이지 않는 조직은 유체를 주사하거나, 또는 환자의 조직에 형광, 발광, 추적 재료, 염료 또는 화합물(총괄하여 바이오마커라고 한다)로 택을 붙이고, 그것에 전자기 선을 조명하거나, 그것을 전자기선에 노출함으로써 영상화될 수 있다. 바이오마커의 형광단이 분자에 꼬리처럼 붙고, 그것이 대략 여기 파장에서 EM 선을 흡수한 다음, 대략 방출 파장에서 EM 선을 재방출한다. 형광 재료 또는 화합물(바이오마커)의 한 예는 인도시아닌 그린(ICG)으로서, 이것은 근적외선(NIR) 전자기선에 의해 여기되었을 때 광자 또는 비-가시 파장의 전자기선을 방출하면서 형광을 발한다. 바람직한 여기 파장에서 여기하고 바람직한 방출 파장에서 발광하는, 관심의 조직에 택으로 사용될 수 있는 다양한 형광 화합물이 있다. 사용될 수 있는 예시적인 형광단, 발광단, 추적자, 마커 등(총괄하여 바이오마커라고 한다)이 본 명세서의 끝 부분의 표에 기재된다.

또한, 반사된 백색광을 내는 보이지 않는 조직은 특정 조직 타입에 결합하여 양전자 방출 단층촬영(PET)에서 사용되는 방사성의약 또는 방사성추적자와 같은 자발적으로 EM 선을 방출하는 재료, 염료, 또는 화합물(총괄하여 바이오마커라고 한다)을 주사함으로써 영상화될 수 있다.

가시 EM 스펙트럼 밖의 다른 영상화 출처(211)(예를 들어, x-선, 초음파)를 사용해서 일부 비-가시 범위의 특징적인 조직 특징부(214)(예를 들어, 골 조직)를 조명하고, 바이오마커를 사용하거나 사용하지 않고 강화된 영상을 캡처할 수 있으며, 이로써 가시 조직의 임상 영상과 조합된다. 예를 들어, 골 조직은 바이오마커 없이 수술 동안 수술 부위 내에서 X-선에 의해 캡처될 수 있다. 다른 예로서, 수술 부위 내의 표면밑 조직은 부가된 형광, 발광, 추적, 마크 또는 반사 재료/화합물(총괄하여 바이오마커라고 한다) 없이 초음파로 수술 동안 캡처될 수 있다.

가시 조직(212)은 사람의 눈으로 인식할 수 있는 전자기선 스펙트럼(VL) 내의 가시 부분에서 가시광, 전자기선에 의해 조명된다. 조명은 백색광으로 이루어질 수 있으며, 백색광은 넓은 스펙트럼이거나, 또는 몇 가지 분리된 좁은 스펙트럼 컬러들의 혼합일 수 있으며, 적색(R), 녹색(G) 및 청색(B)의 주요 컬러들 중 하나 이상을 포함한다. 전자기선 스펙트럼의 가시 부분은 파장 약 400 나노미터(nm)에서 700nm까지의 범위이다. 가시광에 의해서 여기될 수 있는 형광, 발광, 추적, 마크 또는 반사 재료 또는 화합물(총괄하여 바이오마커라고 한다)로 택을 붙인 특징적인 조직 특징부는 그것이 가지 전자기선 스펙트럼 내에서 형광을 발하거나 발광할 경우 카메라 또는 가시광 센서로 캡처될 수 있다.

또한, 반사된 백색광을 내는 보이지 않는 특징적인 조직 특징부(213, 214)에는 택이 붙을 수 있고, 보조기를 착용하지 않은 사람의 눈은 인식할 수 없는 전자기선 스펙트럼(NVE)의 하부 또는 상부 비-가시 부분 내의 가시 EM 스펙트럼 범위를 벗어난 전자기선에 의해 조명될 수 있다. 전자기선 스펙트럼의 하부 및 상부 비-가시 부분은 전자기선 스펙트럼의 가시 부분 밖에 체류한다. 전자기선 스펙트럼의 상부 비-가시 부분은 감마선, x-선, 및 자외선 전자기선을 포함하는 파장에서 대략 400 나노미터(nm)에서 옹스트롬(A)의 1/10까지의 범위이다. 전자기선 스펙트럼의 하부 비-가시 부분은 적외선(근적외선, 열적외선, 원적외선), 마이크로파, 및 라디오파를 포함하는 파장에서 대략 600 나노미터(nm)에서 10 미터(m)까지의 범위이다. 약 600nm 내지 1200nm의 범위의 파장을 가진 근적외선 EM 선이 일부 경우 바람직할 수 있으며, 마찬가지로 많은 생물학적 조직은 가시 스펙트럼에서보다 이들 파장에서 더 투명하고, 따라서 바이오마커로 택을 붙인 표면 아래의 조직 특징부 또는 구조가 더 쉽게 영상화될 수 있다.

비-가시 전자기선에 의해 여기된 형광 또는 반사 재료 또는 화합물을 사용하여, 반사된 백색광 영상에서 보이지 않는 조직은 형광을 발하여 비-가시 전자기 스펙트럼 내의 EM 선을 방출할 수 있다. 비-가시 전자기선에 감응하는 센서가 비-가시 전자기 스펙트럼 내의 EM 선을 캡처할 수 있으며, 이로써 강화된 영상이 구축되어 가시 스펙트럼 내에 표시될 수 있다. 또는 달리, 비-가시 전자기선에 의해 여기된 형광 또는 반사 재료 또는 화합물이 가시 전자기 스펙트럼 내에서 일부 EM 선을 방출할 수 있는 경우, 그것은 가시광 스펙트럼에서 감응하는 카메라 또는 센서에 의해 캡처될 수 있다. 무관하게, 비-가시 스펙트럼 내의 수술 부위로부터 비-가시 범위의 정보가 캡처되어 디지털 영상 내의 가시 스펙트럼에 표시된다.

본 발명의 구체예들은 일반적으로 전자기 스펙트럼의 가시 부분에서 캡처된 조직의 영상의 채도를 낮추고, 전자기 스펙트럼의 비-가시 부분에서 캡처된 조직의 영상을 채색을 통해서 전자기 스펙트럼의 가시 부분으로 이동시키고, 채색된 영상을 채도를 낮춘 영상 위에 조합하거나 오버레이하여 혼성화된 영상을 형성해서 디스플레이 장치 상에 표시한다.

예를 들어, 가시 전자기 스펙트럼 내의 빛으로 조명되고 컬러 카메라로 캡처된 가시 조직(212)의 영상은 회색 스케일, 흑/백, 또는 단색 영상(212')으로 채도가 낮춰진다(그것의 색이 감소된다). 가시 조직 영상(212)의 각 픽셀의 적색, 녹색, 청색 컬러 데이터는 회색 스케일 또는 흑/백으로 동등하게 감소될 수 있다.

가시 스펙트럼 영상에서는 보이지 않는 비-가시 범위의 특징적인 조직 특징부(213)는 비-가시 전자기 조명에 의해 조명되어 센서로 캡처될 수 있다. 캡처된 데이터는 강화된 영상을 형성한 다음, 그것을 제 1의 가시 컬러로 채색하여 제 1의 채색된 강화된 영상을 형성함으로써 강화될 수 있다. 예를 들어, 가시 스펙트럼에서 보이지 않는 특징적인 조직 특징부(213)는 그것을 녹색으로 채색하여 녹색 채색된 강화된 영상(213')을 형성함으로써 가시 범위의 전자기 스펙트럼으로 이동될 수 있다. 가시 스펙트럼에서 보이지 않는 비-가시 범위의 특징적인 조직 특징부(214)는 비-가시 전자기 조명에 의해 조명되어 센서로 캡처될 수 있다. 다음에, 캡처된 데이터는 강화된 영상을 형성한 다음, 그것을 제 2의 가시 컬러와 같은 제 2의 가시 컬러로 채색하여 제 2의 채색된 강화된 영상을 형성함으로써 강화될 수 있다. 예를 들어, 비-가시 범위의 특징적인 조직 특징부(214)는 그것을 청색 컬러로 채색하여 청색 착색된 강화된 영상(214')을 형성함으로써 가시 전자기 스펙트럼으로 이동될 수 있다. 녹색 채색된 강화된 영상(213')과 청색 착색된 강화된 영상(214')은 회색 스케일 또는 흑백 영상(212') 위에 오버레이되어 수술 부위(210)의 혼성된 영상(250)을 형성할 수 있다.

가시 범위의 조직(212)은 표면 조직일 수 있으며, 다양한 비-가시 범위의 조직(213, 214)은 표면 조직의 아래에서 발견되는 표면밑 조직일 수 있다. 결과적으로, 표면밑 조직의 영상은 캡처되었을 때 희미하며 번진 상태일 수 있다. 상대적 밝기 또는 저채도화 수준을 조정하여 희미한 영상을 보상할 수 있다.

표시 방법

이제, 도 3과 관련하여, 순서도는 강화된 표시 방식에서의 영상화 방법의 요소들을 예시한다. 상이한 타입의 강화된 영상들을 캡처하는 경우, 도 3에 도시된 요소들 중 하나 이상이 영상화 방법을 수행하는데 있어서의 선택사항이다. 이 과정은 과정 블록 (300)에서 시작하여 과정 블록 (302)로 진행된다.

과정 블록 (302)에서는, 상부 또는 하부 비-가시 전자기 스펙트럼 내의 전자기(EM) 선에 의해 여기될 수 있는 여기가능한 물질이 환자의 몸에 도입될 수 있다. 또는 달리, 도입된 물질은 외부 여기 없이 감마선과 같은 EM 선을 자발적으로 방출할 수 있다. 다음에, 이 과정은 과정 블록 (304)로 진행될 수 있다.

과정 블록 (304)에서는, 환자의 몸 안의 수술 부위가 백색광과 같은 가시 전자기 스펙트럼 내의 가시광 또는 전자기선으로 조명된다. 다음에, 이 과정은 과정 블록 (306)으로 진행된다.

과정 블록 (306)에서는, 수술 부위의 컬러 임상 영상이 가시 전자기선에 응답하여 컬러 CMOS(상보성 금속산화물 반도체) 카메라와 같은 센서로 환자의 몸 안에서 캡처된다. 도 4a는 컬러 CMOS 카메라에 의해 캡처된 컬러 임상 영상(400A)을 예시한다. 컬러 임상 영상(400)은 컬러 가시 조직(402) 내에 한 쌍의 가시적 로봇 수술 도구(404A-404B), 및 가시적 바늘과 봉합사(406)를 포함하며, 이들은 가시 전자기 스펙트럼 내의 빛을 반사한다. 이 과정은 과정 블록 (308)으로 진행된다.

과정 블록 (308)에서는, 환자 몸 안의 수술 부위가 상부 및 하부 비-가시 전자기 스펙트럼 내의 비-가시 전자기선으로 조명되거나 그에 노출될 수 있다. 또는 달리 또는 동시에, 환자의 몸은 전자기 스펙트럼에 걸친 가시선과 비-가시 전자기선의 둘 다에 의해 조명되거나 그에 노출될 수 있다. 다음에, 이 과정은 과정 블록 (310)으로 진행될 수 있다.

과정 블록 (310)에서는, 환자 몸의 수술 부위의 강화된 영상을 형성하기 위한 데이터가 비-가시 전자기선에 응답하여 센서로 캡처될 수 있다. 캡처된 데이터는 비-가시 스펙트럼 데이터라고 할 수 있다. 또는 달리 또는 동시에, 수술 부위의 가시 영상 및 비-가시 스펙트럼 데이터가 캡처될 수 있다. 또는 달리, 예를 들어, 강화된 영상의 형성을 위한 가시 영상 및 데이터의 프레임들이 수술 부위에서 캡처될 수 있다. 다음에, 이 과정은 과정 블록 (311)로 진행된다.

과정 블록 (311)에서, 비-가시 스펙트럼 데이터에 응답하여 수술 부위의 강화된 영상이 형성된다. 도 5a는 환자의 체내 데이터의 캡처로부터 생성된 수술 부위의 강화된 영상(500A)을 예시한다. 강화된 영상(500A)은 채색되어야 하는 상태이다. 강화된 영상(500A)은 조직 표면 밑의 혈관이나, 또는 다른 마크된, 여기된, 또는 자발적으로 발광하는 조직과 같은, 특징적인 조직 특징부(502)를 포함한다. 다음에, 이 과정은 과정 블록 (312)로 진행할 수 있다.

과정 블록 (312)에서, 컬러 임상 영상(400A)이 정해진 저채도화 수준으로 저채도 영상으로 채도가 낮춰진다(흑백 컬러로 감소된다). 저채도화 수준(색 감소)은 변화될 수 있다. 도 4b는 도 4a의 컬러 임상 영상(400A)의 색보다 감소된 색을 가진 채도가 낮춰진 임상 영상(400B)을 예시한다. 가시 조직(402'), 가시적 도구(404A'-404B'), 및 가시적 바늘과 봉합사(406')가 흑백 또는 회색 스케일로 색이 감소된다. 다음에, 이 과정은 과정 블록 (314)으로 진행된다.

과정 블록 (314)에서는, 이미 형성된 강화된 영상이 색으로 채색되어 색 강화된 영상이 형성된다. 도 5b는 색 강화된 영상(500B)을 예시한다. 색 강화된 영상(500B) 내의 특징적인 조직 특징부(502)는 녹색 컬러로 채색된다. 다음에, 이 과정은 과정 블록 (316)으로 진행된다.

과정 블록 (316)에서는, 저채도 영상(400B)과 색 강화된 영상(500B)의 밝기가 제 1 수준의 상대적 밝기로 설정된다. 저채도 영상의 밝기와 색 강화된 영상의 밝기는 독립적으로 설정됨으로써 제 1 수준의 상대적 밝기를 제공할 수 있다. 다음에, 이 과정은 과정 블록 (318)로 진행된다.

과정 블록(318)에서는, 색 강화된 영상이 채도를 낮춘 영상과 조합되어(예를 들어, 위에 오버레이되어) 혼성된 영상을 형성한다. 혼성 영상에는 컬러 임상 영상만에 비하여 정보 내용이 추가된다. 컬러는 혼성된 영상 내의 색 강화된 영상의 정보를 강조한다.

도 6은 혼성된 영상(600)을 예시한다. 혼성된 영상(600)은 채도를 낮춘 영상(400B)의 저채도 조직 특징부(402'), 도구(404A'-404B') 및 바늘과 봉합사(406')와 조합된 색 강화된 영상(500B)의 채색된 특징적인 조직 특징부(502')를 포함한다.

색 강화된 영상(500B)이 저채도 영상(400B)과 나란히 놓일 수 있으며, 이로써 이들은 혼성된 영상(600)으로 함께 조합될 수 있다. 공간상의 정합을 수행하여 색 강화된 영상(500B)과 저채도 영상(400B)을 함께 조합할 수 있다. 공간상의 정합을 제공하기 위해서 영상들이 상이한 프레임 크기나 배향을 가질 경우 상이한 데이터 출처들 사이의 좌표 변형 작업을 컴퓨터로 수행할 수 있다. 또한, 색 강화된 영상(500B)과 저채도 영상(400B)이 동기적이 아니라면 시간적 정합을 수행하여 이들을 함께 조합할 수 있다. 시간에 대해서 동기성을 벗어난 영상들의 프레임들을 함께 동기화해서 색 강화된 영상(500B)과 저채도 영상(400B)의 프레임들을 시간에 대해서 함께 적절히 조합할 수 있다. 영상 정보를 함께 조합한 후, 이 과정은 과정 블록 (320)으로 진행될 수 있다.

과정 블록 (320)에서, 혼성된 영상(600)이 의사 콘솔(104)의 입체 뷰어(140)와 같은 디스플레이 장치 및/또는 상이한 모니터 또는 디스플레이 장치(예를 들어, 모니터(181)) 상에 표시된다. 다음에, 이 과정은 과정 블록 (322)으로 진행될 수 있다.

과정 블록 (322)에서는, 저채도 영상(400B)과 색 강화된 영상(500B)의 밝기가 각각 상대적 밝기의 수준까지 혼성된 영상(600)들에서 조정될 수 있으며, 이로써 디스플레이 장치 상에 표시된 혼성된 영상의 정보 내용이 변경될 수 있다. 소프트웨어 및/또는 물리적 사용자 인터페이스를 사용하여 저채도 영상(400B) 및 색 강화된 영상(500B)의 각각의 밝기 또는 이들의 상대적 밝기를 조정할 수 있다.

수술이 끝나거나, 또는 색 강화된 영상(500B)이 더 이상 필요하지 않을 때까지 과정들 중 하나 이상이 각 프레임에서 중복해서 반복하여 디스플레이 장치 상에 혼성된 영상(600)들을 연속하여 표시할 수 있다. 이 경우, 영상화 시스템의 표시 방식이 정상 방식으로 다시 전환될 수 있으며, 이로써 강화된 영상 없이 수술 부위의 컬러 임상 영상(400A)을 표시할 수 있다. 다음에, 이 강화된 표시 방식 과정은 과정 블록 (399)로 진행될 수 있다.

과정 블록 (399)에서는, 수술이 종료되거나, 또는 과정이 더 이상 반복되지 않는다면 해당 과정을 끝낼 수 있다.

대안적인 표시 방법이 형광 영상과 관련하여 더 구체적으로 설명될 수 있다. 대안적인 표시 방법은 가시광에 의해서 조명된 수술 부위의 가시 컬러 영상을 얻는 단계; 수술 부위의 가시 컬러 영상을 가시 회색 영상으로 채도를 낮추는 단계; 수술 부위에서 형광 조직의 형광 영상을 얻는 단계로서, 형광 조직은 가시 컬러를 나타내는 단계; 및 가시 형광 영상과 가시 회색 영상의 조합을 포함하는 표시가능한 영상을 생성하는 단계를 포함할 수 있다.

사용자 인터페이스

이미 언급된 대로, 소프트웨어 및/또는 물리적 사용자 인터페이스를 사용하여 저채도 영상과 색 강화된 영상을 함께 조합하여 표시하기 위한 강화된 표시 방식을 지원할 수 있다.

제어 신호를 생성하는 사용자 인터페이스 스위치의 미리 정해진 순서의 선택에 의해서, 예를 들어 의사 콘솔(104)의 좌우 마스터 그립 및/또는 풋 페달에서 스위치의 선택에 의해서 의사 콘솔에서 강화된 표시 방식에 선택적으로 진입할 수 있다. 또는 달리, 강화된 표시 방식에 선택적으로 진입하기 위한 제어 신호를 발생하는데 사용될 수 있는 마우스형 마스터 방식의 마스터 그립에 의해서 메뉴 리스트의 메뉴 항목이 선택될 수 있다. 예를 들어, 본원에 참고자료로 포함되는 2009년 3월 9일자로 Paul Mohr 등에 의해서 제출된 미국출원 제12/400,738호, 발명의 명칭 "로봇 수술 시스템의 전기수술 도구를 위한 사용자 인터페이스"에 설명된 마스터 그립 스위치를 사용하여 영상화 시스템의 강화된 표시 방식을 활성화할 수 있다. 두 번째에 해당하는 사용자 인터페이스 스위치의 미리 정해진 순서의 선택을 입력하여 수술 부위의 컬러 영상의 정상 표시 방식으로 복귀시키는 제어 신호를 생성함으로써 강화된 표시 방식에서 선택적으로 빠져나올 수 있다.

강화된 표시 방식에서, 이들의 특징을 선택적으로 제어하기 위한 사용자 인터페이스가 제공될 수 있다. 강화된 표시 방식의 제어가능한 특징들의 일부는 채색된 강화된 영상과 저채도 영상의 상대적 밝기, 및/또는 저채도 영상의 저채도화의 수준을 포함한다.

이제, 도 7과 관련하여, 강화된 표시 방식을 위한 사용자 인터페이스(701)를 포함하는 디스플레이(700)가 도시된다. 사용자 인터페이스(701)는 영상화 시스템이 어떤 표시 방식(정상 또는 강화된)에 있는지를 사용자에게 지시해 주기 위한 강화된 디스플레이 아이콘(702)을 포함할 수 있다. 사용자 인터페이스는 저채도 영상과 색 강화된 영상 사이의 상대적 밝기를 조정하기 위한 혼성형 슬라이더 스위치(704)를 더 포함할 수 있다. 도 7에서, 슬라이더 스위치(704)는 백색광이 적게 나타나도록 조정되며, 이로써 채색된 강화된 영상이 디스플레이(700)의 저채도 영상에 비해 강조된다. 또는 달리, 채색된 강화된 영상의 밝기와 저채도 영상의 밝기를 따로 조정하여 이들 사이에 원하는 상대적 밝기를 달성할 수 있는 한 쌍의 슬라이더 스위치(706-707)가 사용자 인터페이스에 제공될 수 있다. 밝기 조정 장치는 흑/백 또는 회색 스케일 영상에 백색광이 어느 정도 형성되는지에 관해서 저채도 영상을 처리하는 것을 제어하기 위한 제어 신호를 생성할 수 있다. 또는 달리, 밝기 조정 장치는 조명장치(112)를 제어하기 위한 제어 신호를 생성할 수 있으며, 이로써 영상 캡처 동안 수술 부위를 조명하기 위해서 생성된 백색광의 밝기 수준을 조정할 수 있다.

이제, 도 8과 관련하여, 아이콘(702) 및 상대적 밝기 선택장치(704)를 포함하는, 사용자 인터페이스(701)와 유사한, 사용자 인터페이스(801)를 포함하는 디스플레이(800)가 도시된다. 사용자 인터페이스(801)는 도 7과 관련하여 설명된 상대적 밝기의 조정(예를 들어, 슬라이더(704))에 더하여 컬러 영상의 저채도화의 사용자 인터페이스 조정을 포함한다.

사용자 인터페이스(801)는 저채도 영상(402')의 저채도화의 수준을 조정하기 위한 슬라이더 스위치(804A)를 포함할 수 있다. 저채도화 조정 장치는 저채도 영상을 형성하기 위해서 각 픽셀에서 적색, 녹색, 청색(RGB) 정보를 감소시킴으로써 가시 컬러 영상으로부터 어느 정도의 색이 제거되는지에 관해서 가시 컬러 영상을 저채도 영상으로 처리하는 것을 제어하기 위한 제어 신호를 생성할 수 있다. 슬라이더 스위치(804A)는 도 8의 디스플레이(800)가 완전한 컬러보다는 적지만 일부 색을 가진 저채도 영상(402')을 나타내도록 설정된다. 슬라이더 스위치(804A) 대신에, 업다운 푸시 버튼 스위치(804B)를 사용하여 저채도 영상(402')에서 저채도화의 수준을 조정할 수 있다. 또는 달리, 회전식 원형 손잡이(804C)를 사용하여 저채도 영상(402')에서 저채도화의 수준을 조정할 수 있다.

어떤 경우, 체강으로부터 가시 전자기(EM) 스펙트럼에서 캡처된 조직의 저채도 영상, 및 저채도 영상과 조합된 제 1의 색 강화된 영상을 표시할 수 있는 디스플레이 장치가 개시된다. 제 1의 색 강화된 영상은 가시 전자기 스펙트럼 밖의 체강으로부터 캡처된 데이터를 표시한다. 저채도 영상과 제 1의 색 강화된 영상 사이의 상대적 밝기는 가시 전자기(EM) 스펙트럼에서 캡처된 조직에 비해 캡처된 데이터를 강조하도록 설정될 수 있으며, 이로써 사용자에게 개선된 정보 내용을 제공할 수 있다.

결론

개시된 방법은 백색광 영상의 충분한 임상적 세부사항을 제공함으로써 사용자로 하여금 수술 기구가 조직에 부주의하게 부딪히는 것을 피할 수 있도록 하고, 의사가 해부구조에서 헤매지 않도록 충분한 표지들을 제공하는 동시에, 백색광 영상의 세부사항으로부터 강화된 영상화 정보를 쉽게 구별할 수 있는 방식으로 강화된 영상에서 이용할 수 있는 정보의 세부사항을 제공할 수 있다.

본 발명의 구체예들의 하나 이상의 요소는 소프트웨어에서 실행될 수 있고, 이로써 하나 이상의 작업이 프로세서와 같은 기계에서 자동으로 수행될 수 있다. 소프트웨어에서 실행될 때, 본 발명의 구체예들의 요소들은 필수적으로 여기 개시된 방법들의 하나 이상의 작업을 수행하기 위한 프로그램 명령 또는 코드 세그먼트이다. 예를 들어, 기계 판독가능한 매체에 명령이 저장될 수 있으며, 기계에 의해서 실행되었을 때, 기계는 환자 안의 가시 전자기(EM) 스펙트럼 내의 수술 부위 조직의 캡처된 컬러 영상에서 색을 감소시킴으로써 저채도 영상을 형성하는 단계; 수술 부위에서 캡처된 비-가시 범위의 특징적인 조직을 색 강화된 영상에서 볼 수 있도록 하는 단계; 및 색 강화된 영상과 저채도 영상을 함께 조합해서 적어도 하나의 디스플레이 장치 상에 표시되는 조합된 영상을 형성하는 단계를 포함하는 작업들을 자동으로 수행할 수 있다.

프로그램 명령 또는 코드 세그먼트는 도 1에 도시된 프로세서(120) 또는 코어 프로세서(116)와 같은 프로세서에 의한 실행을 위해 프로세서 판독가능한 매체에 저장될 수 있다. 프로세서 판독가능한 매체는, 예를 들어 도 1에 예시된 메모리(122)와 같은 정보를 저장할 수 있는 어떤 매체를 포함할 수 있다. 프로세서 판독가능한 매체의 예는 전기 회로, 반도체 메모리 장치, ROM, 플래시 메모리, 지울 수 있는 ROM(EROM), 플로피 디스켓, CD-ROM, 광 디스크, 하드 디스크 등을 포함한다. 프로그램 명령 또는 코드 세그먼트는 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크를 통해서 다운로드될 수 있다.

본 명세서는 많은 구체적인 내용을 포함하지만, 이들은 개시된 내용이나 청구된 내용의 범위에 대해 제한으로서 해석되어서는 안 되며, 개시된 내용의 특정한 실시에 따른 구체적인 특징들에 대한 설명으로서 해석되어야 한다. 개별적인 실시의 측면에서 본 명세서에 설명된 특정 특징들은 또한 하나의 실시로서 조합해서 실시될 수도 있다. 반면에, 단일 실시의 측면에서 설명된 다양한 특징들은 또한 개별적으로 또는 하위 조합으로 여러 번 실시되는 형태로도 실시될 수 있다. 또한, 특정 조합으로 작용하는 것으로서 특징들은 상기 설명되고, 심지어 이와 같이 처음에는 청구될 수 있지만, 청구된 조합의 하나 이상의 특징들은 일부 경우에는 그 조합에서 제외될 수 있으며, 청구된 조합은 하위 조합이나 하위 조합의 변형과 관련될 수 있다. 청구된 발명은 이후의 특허청구된 청구항들에 의해서만 제한된다.

Claims

수술 시스템의 프로세서에 의하여 조직의 가시 컬러 영상을 저채도 영상으로 채도를 낮추는 단계로서, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상이며, 상기 가시 전자기 스펙트럼 광은 환자의 수술 부위로부터 반사된 것인 단계;
상기 프로세서에 의하여 가시 범위의 색으로 상기 수술 부위로부터 캡처된 데이터를 표시하는 강화된 영상을 채색하여 색 강화된 영상을 형성하는 단계로서, 상기 데이터는 가시 전자기 스펙트럼 밖의 광으로부터 캡처된 것인 단계; 및
상기 프로세서에 의하여 상기 색 강화된 영상과 상기 저채도 영상을 함께 중첩하여 디스플레이 장치 상에 표시되는 상기 수술 부위의 혼성된 영상을 형성하는 단계를 포함하는 방법.
제 1 항에 있어서,
상기 환자의 수술 부위를 상기 가시 전자기 스펙트럼 내의 가시광으로 조명하는 단계;
상기 환자의 수술 부위의 상기 가시 컬러 영상을 캡처하는 단계; 및
상기 수술 부위의 바이오마커로부터의 광으로부터 상기 데이터를 캡처하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 2 항에 있어서, 상기 데이터를 캡처하기 전에, 상기 환자의 수술 부위를 가시 전자기 스펙트럼 밖의 전자기선에 노출하여 상기 바이오마커를 여기시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서, 상기 바이오마커는 인도시아닌 그린을 포함하고, 상기 가시 전자기 스펙트럼 밖의 전자기선은 근적외선인 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 중첩 전에, 상기 색 강화된 영상의 밝기와 상기 저채도 영상의 밝기 사이의 상대적 밝기를 설정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 5 항에 있어서, 상기 상대적 밝기는 미리 정해진 밝기 수준이고, 상기 가시 컬러 영상의 저채도화는 미리 정해진 저채도화 수준에서 이루어지는 것을 특징으로 하는 방법.
제 5 항에 있어서, 사용자 인터페이스로부터, 상기 색 강화된 영상과 상기 저채도 영상 사이의 상대적 밝기를 다른 상대적 밝기로 변경하는 것을 나타내는 입력을 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 5 항에 있어서, 사용자 인터페이스로부터 상기 수술 부위의 상기 가시 컬러 영상의 채도를 낮추는 저채도화의 수준을 변경하는 것을 나타내는 입력을 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 8 항에 있어서, 상기 입력은 상기 수술 부위의 상기 가시 컬러 영상의 채도를 완전히 낮추는 것을 나타내어, 상기 저채도 영상은 흑백 영상인 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 강화된 영상은 공간적 변동을 가진 임상 정보를 포함하는 상기 수술 부위의 분광학적 특징들에 대한 근적외선 형광 영상, 가시광 형광 영상, 또는 래스터 스캔 중 하나인 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 중첩 전에, 상기 색 강화된 영상과 상기 저채도 영상의 시간적 정합 단계 또는 공간적 정합 단계를 더 포함하는 것을 특징으로 하는 방법.
영상 프로세서와 디스플레이 장치를 포함하는 장치에 있어서,
상기 영상 프로세서는 캡처된 가시 컬러 영상을 저채도 영상으로 채도를 낮추기 위하여 구성되고, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상이며, 상기 가시 전자기 스펙트럼 광은 환자의 수술 부위로부터 반사된 것이며, 상기 영상 프로세서는 제 1 캡처된 데이터를 나타내는 제 1 강화된 영상을 제 1 가시 컬러로 채색하여 제 1의 색 강화된 영상을 형성하도록 구성되고, 상기 제1 캡처된 데이터는 상기 수술 부위로부터 가시 전자기 스펙트럼 밖의 제1 광에서 캡처된 것이고,
상기 디스플레이 장치는 상기 영상 프로세서에 연결되어, 상기 저채도 영상과 상기 색 강화된 영상을 함께 중첩하여 표시하여 상기 수술 부위의 혼성된 영상을 형성하도록 구성된 장치.
제 12 항에 있어서,
상기 영상 프로세서는 제 2 캡처된 데이터를 나타내는 제 2 강화된 영상을 제 2 가시 컬러로 채색하여 제 2 색 강화된 영상을 더 형성하도록 구성되고, 상기 제 2 캡처된 데이터는 상기 수술 부위로부터 가시 전자기 스펙트럼 밖의 제2 광으에서 캡처된 것이고, 상기 제 1 광과 상기 제 2 광은 서로 다르고, 상기 제 1 컬러는 상기 제 2 컬러와 다르고,
상기 디스플레이 장치는 상기 저채도 영상, 상기 제 1의 색 강화된 영상 및 상기 제 2의 색 강화된 영상을 함께 중첩하여 표시하여 상기 수술 부위의 혼성된 영상을 형성하도록 구성되는 것을 특징으로 하는 장치.
제 12 항에 있어서, 상기 디스플레이 장치 상에 혼성된 영상으로 표시되는 상기 저채도 영상과 상기 제 1의 색 강화된 영상 사이의 상대적 밝기를 조정하기 위한 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 장치.
제 13 항에 있어서, 상기 디스플레이 장치 상에 표시되는 상기 저채도 영상의 밝기를 조정하기 위한 제 1의 사용자 선택가능한 장치 및 상기 디스플레이 장치 상에 표시되는 상기 제 2의 색 강화된 영상의 밝기를 조정하기 위한 제 2의 사용자 선택가능한 장치를 포함하는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 장치.
제 12 항에 있어서,
상기 영상 프로세서에 연결된 카메라 유닛은
상기 가시 전자기 스펙트럼 내의 파장 범위에 감응하는 제 1 센서와, 상기 가시 전자기 스펙트럼 밖의 파장 범위에 감응하는 제 2 센서를 포함하는 것을 특징으로 하는 장치.
제 12 항에 있어서, 상기 저채도 영상의 일부는 수술 도구의 저채도 영상을 포함하는 것을 특징으로 하는 장치.
제 12 항에 있어서, 상기 수술 부위의 바이오마커를 여기시키는 조명을 제공하도록 구성된 조명 수단을 더 포함하고,
상기 제 1 캡처된 데이터는 상기 여기된 바이오마커로부터의 광으로부터 캡처되는 것을 특징으로 하는 장치.
제 18 항에 있어서, 상기 바이오마커는 인도시아닌 그린을 포함하는 것을 특징으로 하는 장치.
제 12 항에 있어서, 상기 제1 캡처된 데이터는 표면 조직 밑의 골 조직의 X-선으로부터 캡처된 데이터인 것을 특징으로 하는 장치.
기계에 의해 실행되었을 때, 기계로 하여금
환자의 수술 부위의 조직의 컬러 영상이며, 가시 전자기 스펙트럼 내의 반사된 백색광으로부터 캡처된 컬러 영상의 색을 감소시켜 저채도 영상을 형성하는 단계;
조직 특징 영상을 색 강화된 영상으로 만드는 단계, - 상기 조직 특징 영상은 수술 부위 내에 있는 조직 특징부의 영상이며 상기 가시 전자기 스펙트럼 밖의 광으로부터 캡처된 것임-; 및
상기 색 강화된 영상과 상기 저채도 영상을 함께 중첩하여 적어도 하나의 디스플레이 장치 상에 표시되는 혼성된 영상을 형성하는 단계를 포함하는 작업을 수행하도록 하는 명령이 저장된 기계 판독가능한 매체.
제 21 항에 있어서, 상기 조직 특징 영상에 캡처된 상기 수술 부위의 상기 조직 특징부는 강화된 색에 의해 저채도 영상에서 캡처된 조직에 비해서 잘 보일 수 있게 되는 것을 특징으로 하는 기계 판독가능한 매체.
가시광에 의해서 조명된 수술 부위의 가시 컬러 영상을 캡처하는 단계로서, 상기 가시 컬러 영상은 가시 전자기 스펙트럼 광으로부터 캡처된 반사된 백색광 영상인 단계;
상기 수술 부위의 상기 가시 컬러 영상을 가시 회색 영상으로 채도를 낮추는 단계;
상기 수술 부위에서 형광 조직의 형광 영상을 캡처하는 단계로서, 상기 형광 조직은 가시 컬러로 보이는 단계; 및
상기 수술 부위의 혼성된 영상을 형성하기 위하여 가시 형광 영상과 상기 가시 회색 영상을 함께 중첩하는 것을 포함하는 표시가능한 영상을 생성하는 단계를 포함하는 방법.
제 23 항에 있어서, 저채도화는 상기 가시 컬러 영상으로부터 모든 색을 제거하여 상기 가시 회색 영상을 형성하는 것을 포함하는 것을 특징으로 하는 방법.
제 23 항에 있어서, 상기 형광 영상을 얻는 단계는 상기 수술 부위를 가시 전자기 스펙트럼 밖의 전자기선에 노출하는 것을 포함하는 것을 특징으로 하는 방법.
제 23 항에 있어서, 상기 형광 영상 안의 상기 형광 조직을 상기 가시 컬러로 채색하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 23 항에 있어서, 디스플레이 장치 상에 상기 표시가능한 영상을 표시하는 단계; 및
상기 가시 회색 영상과 상기 형광 영상 중 하나 또는 둘 다의 밝기 수준을 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 23 항에 있어서, 디스플레이 장치 상에 상기 표시가능한 영상을 표시하는 단계; 및
상기 가시 컬러 영상의 저채도화의 수준을 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
삭제
삭제
삭제