KR102401057B1

KR102401057B1 - 정반사 검출 및 저감을 위한 시스템 및 방법

Info

Publication number: KR102401057B1
Application number: KR1020167026226A
Authority: KR
Inventors: 마흐디 아지잔; 조나단 조르게르
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2014-02-27
Filing date: 2015-02-27
Publication date: 2022-05-24
Also published as: CN106455986B; EP3110314A1; JP2017512308A; US11937899B2; JP2022000662A; CN111643054A; EP3110314A4; EP3795068A1; JP7267373B2; EP3110314B1; WO2015131026A1; US20190387974A1; JP6735675B2; CN106455986A; US20170014029A1; JP2020183965A; KR20160127765A; JP6957689B2; KR102579730B1; KR20220070563A

Abstract

정반사 검출 및 저감의 시스템 및 방법은 하나 이상의 프로세서들을 포함하는 처리 유닛 및 상기 처리 유닛에 결합된 이미징 유닛을 포함한다. 상기 이미징 유닛은 관심 영역의 조명을 제공하기 위한 하나 이상의 제1 조명기들, 상기 조명의 반사들을 검출하기 위한 하나 이상의 제1 검출기들, 상기 관심 영역 내의 하나 이상의 형광 물질들의 형광을 트리거하기 위한 하나 이상의 제2 조명기들, 및 상기 형광 물질들의 상기 형광을 검출하기 위한 하나 이상의 제2 검출기들을 포함한다. 상기 처리 유닛은 상기 제1 검출기들로부터 제1 이미지를 수신하고, 상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들을 결정하고, 상기 제1 이미지에서 상기 높은 정반사의 영역들을 마스킹하고, 상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하도록 구성된다. 상기 제1 이미지는 상기 검출된 반사들을 포함한다.

Description

정반사 검출 및 저감을 위한 시스템 및 방법{SYSTEM AND METHOD FOR SPECULAR REFLECTION DETECTION AND REDUCTION}

본 개시내용은 일반적으로 이미징 디바이스들 및 형광 이미징을 지원하는 이미징 디바이스들에 관한 것이고 특히 정반사 검출 및 저감에 관한 것이다.

형광-기반 이미징에서는, 이미징 디바이스의 시계(field of view)에 존재하는 형광 물질이 하나의 파장의 광에 의해 여기되고 상이한 파장의 광을 방출한다. 이것은 관찰자에게 특정한 관심을 끄는 시계의 부분들을 하이라이트하기 위한 유용한 메커니즘을 제공할 수 있다. 예를 들어, 형광 이미지-유도 수술의 경우에, 인도시아닌 그린(ICG)과 같은 형광 염료를 환자의 해부의 부분들에 도입하여 환자의 해부의 해당 부분들을 하이라이트할 수 있다. ICG가 근적외선 광(대략 750-800nm)에 의해 여기되는 경우, 그것은 약간 더 높은 파장(약 845nm)으로 형광을 발한다. ICG를 환자의 해부의 선택된 부분들에 도입함으로써, 외과 의사 또는 다른 의료진은, 적합한 뷰어 또는 카메라의 도움으로, 그들이 선택된 해부를 식별하고/하거나 피하는 것을 돕는 시각적 단서들 및/또는 하이라이트들을 수신할 수 있다. 예를 들어, ICG 또는 다른 염료들은 감시림프절(sentinel lymph nodes), 상대적 관류(perfusion)의 영역들, 종양 마진(tumor margins), 및/또는 다른 유사한 것을 하이라이트하는 데 이용될 수 있다. 환자 해부를 하이라이트하는 데 적합한 다른 유용한 형광 염료들은 메틸렌 블루, 플로오레세인, 및 네브래스카 주, 링컨 시의 LI-COR, Inc.로부터의 IRDye®를 포함한다. 일부 경우에, 형광은 가시 대역에 있을 수 있고, 추가의 뷰어 또는 카메라를 요구할 수 있다. 형광-기반 이미징이 이용되고 있는 동안, 외과 의사 및/또는 다른 의료진이 다른 해부학적 구조들을 보고 시각화할 수 있도록 관심 영역 또는 형광에 관해 환자의 해부의 다른 영역들을 조명하기 위해 가시광을 이용하는 것도 흔한 일이다.

유감스럽게도, 형광-기반 이미징은 다른 이미징 애플리케이션들과 동일한 많은 문제들에 민감하다. 환자의 해부의 많은 부분들은, 예를 들어, 조직 및/또는 장기 구조들과 같은, 해부학적 구조들의 표면상의 수분의 존재로 인해 광의 반사율이 극히 높다. 이러한 높은 반사율 때문에, 환자의 해부를 일반적으로 조명하기 위해 이용되는 가시광은 하나 이상의 높은 정반사의 영역들을 생성할 수 있다. 이러한 높은 정반사의 영역들은 환자의 해부의 이미지들에 밝은 반점들을 생성하고/하거나 이미지들을 검출하기 위해 이용되는 센서들을 포화시킬 수 있다. 그 결과, 높은 정반사의 영역들은 형광 영역들로 오인되고/되거나 형광의 영역들을 마스킹하거나 모호하게 함으로써, 선택된 해부를 검출함에 있어 형광의 유용성을 제한할 수 있다.

따라서, 더 유용한 형광 이미지가 획득될 수 있도록 높은 정반사의 영역들을 검출, 저감, 및/또는 보상하기 위한 개선된 방법들 및 시스템들을 제공하는 것이 바람직하다.

미국 특허출원 공개공보 US 2008/0170764 A1 미국 특허출원 공개공보 US 2007/0181692 A1 유럽 특허출원 공개공보 EP 2 339 534 A1 미국 특허출원 공개공보 US 2007/0081168 A1 미국 특허출원 공개공보 US 2013/0092838 A1

일부 실시예들에 따르면, 이미징 시스템은 하나 이상의 프로세서들을 포함하는 처리 유닛 및 상기 처리 유닛에 결합된 이미징 유닛을 포함한다. 상기 이미징 유닛은 관심 영역의 조명을 제공하기 위한 하나 이상의 제1 조명기들, 상기 조명의 반사들을 검출하기 위한 하나 이상의 제1 검출기들, 상기 관심 영역 내의 하나 이상의 형광 물질들의 형광을 트리거하기 위한 하나 이상의 제2 조명기들, 및 상기 형광 물질들의 상기 형광을 검출하기 위한 하나 이상의 제2 검출기들을 포함한다. 상기 처리 유닛은 상기 제1 검출기들로부터 제1 이미지를 수신하고, 상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들을 결정하고, 상기 제1 이미지에서 상기 높은 정반사의 영역들을 마스킹하고(mask out), 및 상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하도록 구성된다. 상기 제1 이미지는 상기 검출된 반사들을 포함한다.

일부 실시예들에 따르면, 이미징의 방법은 이미징 유닛을 이용하여 관심 영역에 일반 조명을 방출하는 단계, 상기 이미징 유닛을 이용하여 상기 일반 조명의 제1 반사들을 검출하는 단계, 상기 검출된 제1 반사들에 기초하여 제1 이미지를 형성하는 단계, 상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들을 결정하는 단계, 상기 제1 이미지에서 상기 높은 정반사의 영역들을 마스킹하는 단계, 상기 이미징 유닛을 이용하여 상기 관심 영역에 형광 트리거링 조명을 방출하는 단계, 상기 이미징 유닛을 이용하여 상기 관심 영역에서 하나 이상의 형광 물질들의 형광을 검출하는 단계, 및 상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하는 단계를 포함한다.

일부 실시예들에 따르면, 이미징 시스템은 하나 이상의 프로세서들을 포함하는 처리 유닛 및 상기 처리 유닛에 결합된 이미징 유닛을 포함한다. 상기 이미징 유닛은 관심 영역의 조명을 제공하는 하나 이상의 제1 조명기들 및 상기 조명의 반사들을 검출하기 위한 하나 이상의 제1 검출기들을 포함한다. 상기 처리 유닛은 상기 제1 검출기들로부터 제1 이미지를 수신하고, 상기 제1 검출기들로부터 제2 이미지를 수신하고, 상기 제1 이미지 및 상기 제2 이미지에서 제1의 높은 정반사의 영역을 결정하고, 상기 제1 이미지와 상기 제2 이미지 간의 차이들에 기초하여 상기 제1의 높은 정반사의 영역에서 제1 표면 법선을 추정하고, 및 상기 추정된 제1 표면 법선에 기초하여 하나 이상의 이동 힌트들(move away hints)을 제공하도록 구성된다. 상기 제1 이미지는 상기 검출된 반사들을 포함하고 제1 이미징 기하 구조(imaging geometry)에 기초한다. 상기 제2 이미지는 상기 검출된 반사들을 포함하고 상기 제1 이미징 기하 구조와 상이한 제2 이미징 기하 구조에 기초한다.

일부 실시예들에 따르면, 이미징 시스템은 처리 유닛, 상기 처리 유닛에 결합된 조명 시스템, 및 상기 처리 유닛에 결합된 검출기 시스템을 포함한다. 상기 처리 유닛은 하나 이상의 프로세서들을 포함한다. 상기 조명 시스템은 관심 영역을 조명하기 위한 조명을 방출하고 상기 관심 영역들에서 하나 이상의 형광 물질들의 형광을 트리거한다. 상기 검출기 시스템은 상기 방출된 조명의 반사들을 검출하고 상기 관심 영역에서 상기 하나 이상의 형광 물질들의 상기 형광을 검출한다. 상기 처리 유닛은 상기 검출기 시스템으로부터 상기 검출된 반사들을 포함하는 제1 이미지를 수신하고, 상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들을 결정하고, 상기 제1 이미지에서 상기 높은 정반사의 영역들을 마스킹하고,상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하도록 구성된다.

일부 실시예들에 따르면, 방법은 관심 영역의 마스킹된 이미지에 액세스하는 단계, 상기 관심 영역의 형광 이미지에 액세스하는 단계, 및 상기 마스킹된 이미지 및 상기 형광 이미지에 기초하여 합성 이미지를 생성하는 단계를 포함한다. 상기 마스킹된 이미지는 마스킹된 높은 정반사의 영역들을 갖는 제1 반사된 이미지를 포함한다.

도 1은 일부 실시예들에 따른 형광 이미징 시스템의 간략화 도면이다.
도 2는 일부 실시예들에 따른 높은 정반사 검출 및 저감의 방법의 간략화 도면이다.
도 3은 일부 실시예들에 따른 또 다른 형광 이미징 시스템의 간략화 도면이다.
도 4는 일부 실시예들에 따른 높은 정반사 검출 및 저감의 또 다른 방법의 간략화 도면이다.
도면들에서, 동일한 명칭들을 갖는 요소들은 동일한 또는 유사한 기능들을 갖는다.

이하의 설명에서는, 본 개시내용에 따른 일부 실시예들을 설명하는 구체적인 세부 사항들이 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 일부 실시예들이 이러한 구체적인 세부 사항들의 일부 또는 전부가 없이 실시될 수 있다는 것이 명백할 것이다. 본 명세서에 개시된 구체적인 실시예들은 제한적인 것이 아니라 예시적인 것으로 의도된다. 본 기술분야의 통상의 기술자는, 비록 여기에 구체적으로 설명되어 있지는 않지만, 이 개시내용의 범위 및 정신 내에 있는 다른 요소들을 인식할 것이다. 또한, 불필요한 반복을 피하기 위해, 일 실시예와 관련하여 도시되고 설명된 하나 이상의 특징들이, 구체적으로 다르게 설명되지 않는 한 또는 그 하나 이상의 특징들이 실시예를 비기능적으로 만든다면 다른 실시예들에 통합될 수 있다.

도 1은 일부 실시예들에 따른 형광 이미징 시스템(100)의 간략화 도면이다. 도 1에 도시된 바와 같이, 환자의 해부의 일부와 같은, 관심 영역(110)이 이미징 유닛(120)을 이용하여 조명되는 것으로 도시되어 있다. 이미징 유닛(120)은 관심 영역(110)을 조명하고 관심 영역에서 반사된 조명과 형광 양쪽 모두에 기초하여 관심 영역(110)의 하나 이상의 이미지들을 수집하기 위한 몇 개의 이미징 방출기들 및 검출기들을 포함한다. 비록 도 1에 도시되어 있지는 않지만, 이미징 유닛(120)은 내시경 도구의 일부, 캘리포니아주, 서니베일의 Intuitive Surgical, Inc.에 의해 상용화된 da Vinci® 수술 시스템에 대응하는 컴퓨터-보조 수술 디바이스 상의 엔드 이펙터(end effector)의 일부, 및/또는 컴퓨터-보조 이미징 디바이스의 일부일 수 있다. 형광 이미징을 지원하기 위해, 이미징 유닛(120)은 적어도 2개의 타입의 이미징 방출기들 및 검출기들을 포함할 수 있다.

일반 조명기(132)는 입사 지점(115)에서의 관심 영역(110)에 도달하는, 예시적인 광선(142)에 의해 도시된 바와 같이 관심 영역(110)에 빛을 비추기 위해 사용된다. 광선(142)이 관심 영역(110)에 도달할 때, 그것은 입사 지점(115)에서의 관심 영역(110)의 확산, 반사, 정반사, 및/또는 다른 이미징 특성들에 따라 관심 영역(110)에서 반사될 수 있다. 반사된 광은 이미징 유닛(120)을 향하여 반사되는 예시적인 광선(144)으로서 모델링되고 이미징 유닛에서 그것은 일반 조명 검출기(134)에 의해 검출된다. 입사 지점(115)은 이미징 동안에 특히 중요할 수 있는데 그 이유는 이미징 유닛(120), 및 특히 일반 조명기(132) 및 일반 조명 검출기(134)가 대략 입사 지점(115)에서의 표면 법선 근처에 또는 그 위에 위치하기 때문이다. 예를 들어 입사 지점(115)에서의 수분으로 인해, 입사 지점(115)이 높은 정반사율을 갖는 경우, 일반 조명 검출기(134)는 높은 레벨의 광을 검출할 수 있고/있거나 포화될 수 있다. 그 결과, 입사 지점(115)은 이미징 유닛(120)에 의해 촬상되는 관심 영역(110)의 이미지들 상에 밝은 반점으로서 나타날 수 있다. 이 이미지들을 모니터하고 높은 강도 및/또는 포화의 영역들을 찾는 것에 의해, 이미징 유닛(120) 및/또는 처리 유닛(150)과 같은 시스템은 관심 영역(110) 내에서 가능성 있는 높은 정반사의 영역들을 검출할 수 있다.

이미징 유닛(120)은 형광 이미징 요소들을 더 포함한다. 형광 트리거링 조명기(136)는 입사 지점(115)에서의 관심 영역(110)에 도달하는 것으로 도시되어 있는 예시적인 광선(146)에 의해 도시된 것과 같은, 하나 이상의 파장들의 광을 방출할 수 있다. 광선(146)이 입사 지점(115)에 도달할 때, 형광 물질이 존재한다면, 그 형광 물질은 광을 흡수하고 이미징 유닛(120)으로 되돌아가는 대표적인 광선(148)에 의해 도시된 것과 같은 또 다른 파장의 형광에 의해 응답하며, 그 광은 이미징 유닛에서 형광 검출기(138)에 의해 검출된다. 예를 들어, 형광 물질이 ICG인 경우, 광선(146)의 입사 광 및 광선(148)의 형광 광은 근적외선 스펙트럼에 있지만, 상이한 파장들에 있을 수 있다.

일부 실시예들에 따르면, 일반 조명기(132) 및/또는 형광 트리거링 조명기(136)는 적절한 주파수들/파장들 및/또는 주파수 대역들에서 광을 방출할 수 있는 임의의 종류의 광 및/또는 전자기 방출기일 수 있다. 일부 예들에서, 조명기들 각각은 하나 이상의 발광 다이오드들, 레이저 다이오드들, 할로겐 광원들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 실시예들에 따르면, 일반 조명 검출기(134) 및/또는 형광 검출기(138)는 적절한 주파수들/파장들 및/또는 주파수 대역들에서 광 또는 전자기 신호들을 검출할 수 있는 임의의 종류의 검출기일 수 있다. 일부 예들에서, 검출기들 각각은 하나 이상의 포토 트랜지스터들, 전하 결합 디바이스들, LCTF(liquid crystal tunable filter) 및/또는 AOTF(acousto-optic tunable filter)와 같은 능동 및/또는 수동 필터들, 및/또는 다른 유사한 것을 포함할 수 있다.

형광 이미징 시스템(100)은 처리 유닛(150)을 더 포함할 수 있다. 처리 유닛(150)은 사용자 컨트롤들로부터 입력들을 수신하고, 그 입력들을 처리하고, 그 입력들에 기초하여 하나 이상의 제어 알고리즘들을 구현하고, 표시를 위한 형광 이미지들을 제공하고, 및/또는 다른 유사한 것을 수행할 수 있는 더 큰 컴퓨팅 디바이스 및/또는 전자 시스템(도시하지 않음)의 일부일 수 있다. 처리 유닛(150)은 메모리(170)에 결합된 프로세서(160)를 포함한다. 처리 유닛(150)의 동작들은 프로세서(160)에 의해 제어된다. 그리고 비록 처리 유닛(150)은 하나의 프로세서(160)만을 갖는 것으로 도시되어 있지만, 프로세서(160)는 처리 유닛(150) 내의 하나 이상의 중앙 처리 유닛들, 멀티-코어 프로세서들, 마이크로프로세서들, 마이크로컨트롤러들, 디지털 신호 프로세서들, FPGA(field programmable gate array)들, ASIC(application specific integrated circuit)들, 및/또는 다른 유사한 것을 대표할 수 있다고 생각된다. 처리 유닛(150)은 컴퓨팅 디바이스에 추가된 독립형 서브시스템 및/또는 보드로서 또는 가상 머신으로서 구현될 수 있다. 일부 실시예들에서, 처리 유닛(150)은 운영자 워크스테이션의 일부로서 포함될 수 있고/있거나 운영자 워크스테이션으로부터 떨어져서, 그러나 운영자 워크스테이션과 협력하여 작동될 수 있다.

메모리(170)는 처리 유닛(150)에 의해 실행되는 소프트웨어 및/또는 처리 유닛(150)의 동작 동안에 사용되는 하나 이상의 데이터 구조들을 저장하는 데 이용될 수 있다. 메모리(170)는 하나 이상의 타입의 머신 판독가능 매체를 포함할 수 있다. 머신 판독가능 매체의 일부 흔한 형태들은 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드, 종이 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 및/또는 그로부터 프로세서 또는 컴퓨터가 판독하도록 구성되는 임의의 다른 매체를 포함할 수 있다.

도시된 바와 같이, 메모리(170)는 관심 영역(110)에서의 형광의 이미지들을 포함하는, 관심 영역(110)의 이미지들의 생성 및/또는 사용을 지원하기 위해 이용될 수 있는 이미징 애플리케이션(180)을 포함한다. 이미징 애플리케이션(180)은 이미징 유닛(120)으로부터의 이미지들에 대한 하나 이상의 명령들 및/또는 요청들을 발행하는 단계뿐만 아니라 이미징 유닛(120)으로부터의 이미지들을 수신하는 단계를 포함할 수 있는 이미징 방법들을 구현하기 위한 하나 이상의 API(application programming interface)들을 포함할 수 있다. 그리고 비록 이미징 애플리케이션(180)은 소프트웨어 애플리케이션으로서 묘사되어 있지만, 이미징 애플리케이션(180)은 하드웨어, 소프트웨어, 및/또는 하드웨어 및 소프트웨어의 조합을 이용하여 구현될 수 있다.

이미징 애플리케이션(180)을 지원하기 위해, 처리 유닛(150)은 하나 이상의 I/O 포트들과의 인터페이스(190)를 추가로 포함한다. 인터페이스(190)는 전용 I/O 라인들, 이더넷과 같은 네트워크 연결들, I²C(inter-integrated circuit) 버스들, SPI(serial peripheral interface) 버스들, 병렬 포트들, 아날로그 I/O 라인들, 및/또는 다른 유사한 것과 같은 임의의 적합한 타입일 수 있다. 인터페이스(190)는 처리 유닛(150)을 이미징 유닛(120)에 결합하기 위한 하나 이상의 라인들 및/또는 버스들을 포함할 수 있다. 일부 예들에서, 인터페이스(190)와 관련된 인터페이스 회로는 하나 이상의 버스 컨트롤러들, I/O 컨트롤러들, 아날로그-디지털 컨버터들, 디지털-아날로그 컨버터들, 데이터 취득 시스템들, 이미지 취득 시스템들, 라우터들, 스위치들, 네트워크 스위칭 디바이스들, 및/또는 다른 유사한 것을 포함할 수 있다.

위에 논의되고 여기서 더 강조되는 바와 같이, 도 1은 청구항들의 범위를 과도하게 제한해서는 안 되는 예에 불과하다. 본 기술분야의 통상의 기술자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다.

통상의 기술자라면 인식하는 바와 같이, 도 1의 기하 구조들은 반드시 일정한 비율로 그려진 것은 아니고, 형광 이미징 시스템(100) 및 이미징 유닛(120)의 중요한 특징들을 강조하도록 그려졌다. 예를 들어, 일반 조명기(132), 일반 조명 검출기(134), 형광 트리거링 조명기(136), 및 형광 검출기(138)의 상대적인 크기 및/또는 포지셔닝은 광선들(142-148)의 실제 경로들의 더 정확한 묘사를 희생하면서 이 특징들을 보여주도록 과장될 수 있다.

일부 실시예들에 따르면, 이미징 유닛(120)과 처리 유닛(150) 간의 상이한 배열들이 가능할 수 있다. 일부 예들에서, 처리 유닛(150)은 이미징 유닛(120)의 일부일 수 있다. 일부 예들에서, 이미징 유닛(120)은 처리 유닛(150)의 일부일 수 있다. 일부 예들에서, 처리 유닛(150)은 둘 이상의 이미징 유닛(120)에 결합될 수 있다. 일부 예들에서, 이미징 유닛(120)은 둘 이상의 처리 유닛과 이미징 데이터를 공유할 수 있다.

일부 실시예들에 따르면, 일반 조명기(132), 일반 조명 검출기(134), 형광 트리거링 조명기(136), 및 형광 검출기(138)의 상이한 배열들 및 구성들이 가능하다. 일부 예들에서, 더 많은 그리고/또는 더 적은 조명기들 및/또는 검출기들이 이용될 수 있다. 일부 예들에서, 조명기들 및/또는 검출기들 사이의 상대적인 포지셔닝이 변경될 수 있다. 일부 예들에서, 일반 조명 검출기(134) 및 형광 검출기(138)는 정반사 및/또는 형광 검출 양쪽 모두를 위해 이용될 수 있는 단일의 검출기로 결합될 수 있다. 일부 예들에서, 결합된 검출기는 일반 이미지들을 형광 이미지들과 분리하기 위해 시분할 및/또는 주파수 분할 다중화를 이용할 수 있다. 일부 예들에서, 일반 조명기(132) 및 형광 트리거링 조명기(136)는 일반 및/또는 형광 트리거링 조명 양쪽 모두를 생성하기 위해 이용될 수 있는 단일의 조명기 또는 방출기로 결합될 수 있다. 일부 예들에서, 결합된 조명기는 원하는 조명들을 생성하기 위해 하나 이상의 능동 또는 수동 필터들의 도움으로 시분할 및/또는 주파수 분할 다중화를 이용할 수 있다. 일부 예들에서, 일반 조명기(132) 및 일반 조명 검출기(134)는 또한 관심 영역(110)에 대한 일반 조명 및 이미징 시스템의 일부일 수 있다.

일부 실시예들에 따르면, 일반 조명기들 및 일반 조명 검출기들의 다수의 조합들이 이용될 수 있다. 일부 예들에서, 다수의 일반 조명기들 및/또는 단일의 일반 조명기는 다수의 주파수들/파장들 및/또는 주파수 대역들에서 일반 광선들을 생성할 수 있다. 대응하는 다수의 일반 조명 검출기들 및/또는 단일의 일반 조명 검출기는 다수의 주파수들/파장들 및/또는 주파수 대역들 각각을 검출하고 다수의 주파수들/파장들 및/또는 주파수 대역들 각각에 대한 이미지들을 생성할 수 있다. 일부 예들에서, 이미지들 각각에서의 동일한 위치들에서 높은 강도 및/또는 포화가 검출될 때 높은 정반사의 영역들이 검출될 수 있다.

이미지들에서 높은 정반사의 영역들의 존재는 일반적으로 바람직하지 않을 수 있다. 높은 정반사들에 의해 야기되는 높은 강도 및/또는 포화의 영역들은 그것들을 포함하는 이미지들의 품질 및/또는 유용성을 저감할 수 있다. 일부 예들에서, 높은 정반사의 영역들은 그것들을 포함하는 이미지들을 보는 사람이 이미지들 내의 다른 중요한 영역들에 집중하는 것을 방해할 수 있다. 일부 예들에서, 높은 정반사의 영역들은 형광 영역들로 오인되고/되거나, 높은 정반사들의 존재가 없다면 보일 수 있는, 형광과 같은, 관심 영역에서의 특징들을 마스킹하고/하거나 은폐할 수 있다.

이미지들에서 높은 정반사의 영역들을 검출, 저감, 및/또는 보상하기 위한 많은 기법들이 개발되었다. 하나의 그러한 접근법은 높은 정반사와 관련되는 높은 가능성을 갖는 높은 강도의 영역들을 검출하고 이미지의 그 부분들을 마스킹하는(masking off) 것이다. 일부 예들에서, 이것은 이미지 내의 픽셀들의 강도를 포화의 설정 퍼센티지와 같은 임계치와 비교하고, 임계치보다 높은 강도를 갖는 임의의 픽셀들을 블랙과 같은 대체 컬러 또는 컬러 지정 마스킹으로 대체하는 것을 포함할 수 있다. 이 접근법은 또한 마스킹되는 영역들의 경계들을 식별 및/또는 하이라이트하는 것을 포함할 수 있다. 이 접근법들은 높은 정반사의 영역들이 야기하는 집중을 방해하는 것들을 제거할 수 있지만, 그것은 높은 정반사에 의해 야기되지 않은 높은 강도를 갖는 영역들을 부적절하게 마스킹할 뿐만 아니라 이미지로부터 다른 중요한 특징들을 제거할 수도 있는데, 그 이유는 마스킹된 영역들은 일반적으로 근본적인 이미지 디테일을 포함하지 않기 때문이다.

또 다른 접근법은 이미지 센서들의 2개의 세트를 이용한다. 이미지들 중 하나에서 높은 정반사에 의해 야기되는 것들과 같은 높은 강도의 영역들이 검출될 때, 다른 이미지로부터의 대응하는 영역으로 대체된다. 이 접근법은 원하는 이미지 디테일을 마스킹하는 가능성을 저감하지만, 양쪽 이미지들의 동일한 영역에서 높은 정반사가 발생하지 않도록 이미지 센서들의 2개의 세트가 충분히 이격될 것을 요구할 수 있다.

다른 접근법들은 높은 정반사의 영역들이 이미지 검출기들에 의해 캡처될 수 있는 가능성을 저감하기 위해 조명기들/방출기들 및 이미지 검출기들 주위에 창조적인 차폐물(shielding) 및/또는 배플들(baffles)을 이용할 수 있다. 이 접근법은 일반적으로 조명기들/방출기들 및 검출기들의 상대적인 포지셔닝에 대한 엄격한 제어를 요구할 수 있고 이미징 유닛 및 관심 영역의 각각의 가능한 기하 구조에 잘 일반화되지 않을 수 있다.

형광 이미징과 함께 이용되는 흔한 접근법은 일반 조명기들에 의해 제공되는 일반 조명을 저감하고 일반 조명 및 형광 양쪽 모두를 위해 결합된 시각적 검출기를 이용하는 것이다. 일반 조명을 저감함으로써, 일반 조명 및/또는 생성될 수 있는 높은 정반사의 영역들은 형광 물질의 형광 트리거링 조명으로 인해 획득되는 이미지 정보를 은폐할 가능성이 적다. 그러나, 이 접근법은 관심 영역에서 관심 특징들을 관찰하는 것을 어렵게 할 수 있는 낮은 레벨의 주변광을 갖는 이미지들을 생성하는 경향이 있다.

따라서, 높은 정반사의 영역들의 검출, 저감, 및/또는 보상을 위한 대부분의 접근법들은 시각적 디테일 및 형광 디테일 양쪽 모두를 보여주는 이미지들을 원하는 경우에 훌륭한 해결책들을 제공하지 않는다. 그 이유는 중요한 시각적 디테일이 희생되고, 형광 디테일이 마스킹될 수 있고/있거나, 해결책은 내시경 및/또는 유사 장비와 함께 사용하기에 실용적이지 않은 기하 구조들을 갖는 장비를 포함할 수 있기 때문이다. 일반 조명 이미지들과 형광 이미지들의 분리된 수집을 허용하는, 형광 이미징 시스템(100)과 같은, 이미징 시스템의 이용을 통하여 개선된 해결책이 획득될 수 있다. 이렇게 하여, 높은 정반사의 영역들의 검출, 저감, 및/또는 보상은 중요한 형광 정보를 마스킹하고/하거나 은폐할 가능성이 상당히 적을 수 있다.

도 2는 일부 실시예들에 따른 높은 정반사 검출 및 저감의 방법(200)의 간략화 도면이다. 방법(200)의 프로세스들(210-280) 중 하나 이상은, 적어도 부분적으로, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들(예를 들어, 프로세서(160))로 하여금 프로세스들(210-280) 중 하나 이상을 수행하게 할 수 있는 비일시적, 유형의, 머신 판독가능 매체에 저장된 실행가능 코드의 형태로 구현될 수 있다. 일부 실시예들에서, 높은 정반사 검출 및 저감은 이미징 애플리케이션(180)과 같은 이미징 애플리케이션에 의해 수행될 수 있다.

프로세스 210에서, 일반 조명이 방출된다. 일반 조명기(132)와 같은, 하나 이상의 일반 조명기들 또는 방출기들을 이용하여, 일반 조명이 관심 영역에 비추어진다. 일부 예들에서, 일반 조명은 가시 스펙트럼의 하나 이상의 대역 내의 가시광을 포함할 수 있다. 일부 예들에서, 일반 조명기들 적합한 구동기 및/또는 변조 회로들을 이용하여 켜질 수 있다. 일부 예들에서, 일반 조명기들은 각각 하나 이상의 발광 다이오드들, 레이저 다이오드들, 할로겐 광원들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 일반 조명이 다수의 주파수 대역들로부터의 신호들을 포함하는 경우, 다수의 주파수 대역들은 동시에 및/또는 시분할 다중화를 통해 방출될 수 있다.

프로세스 220에서, 일반 조명의 반사들이 검출된다. 일반 조명 검출기(134)와 같은 하나 이상의 일반 조명 검출기들을 이용하여, 프로세스 210 동안에 방출된 일반 조명의 반사들이 검출된다. 일부 예들에서, 일반 조명은 하나 이상의 구조들, 물체들, 환자 해부의 부분들, 및/또는 다른 유사한 것에서 반사될 수 있다. 일부 예들에서, 하나 이상의 일반 조명 검출기들은 일반 조명기들 및/또는 그의 서브세트에 의해 방출된 주파수 대역들 각각에서 일반 조명을 검출할 수 있다. 일부 예들에서, 일반 조명 검출기들 각각은 하나 이상의 포토 트랜지스터들, 전하 결합 디바이스들, LCTF 및/또는 AOTF와 같은 능동 및/또는 수동 필터들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 일반 조명 검출기들은 하나 이상의 일반 조명기들과 동기화하여 시간 다중화될 수 있다. 일부 예들에서, 검출된 일반 조명은 관심 영역의 단일의 이미지 및/또는 다수의 이미지들로서 검출될 수 있고 여기서 다수의 이미지들 각각은 그 대응하는 이미지에 대하여 방출 및/또는 검출되는 주파수 대역들에 대응한다. 일부 예들에서, 단일의 이미지 및/또는 다수의 이미지들은 전처리될 수 있다. 일부 예들에서, 전처리는 히스토그램 평활화(histogram equalization) 및/또는 대비 조정(contrast adjustment)을 포함할 수 있다.

프로세스 230에서, 하나 이상의 높은 정반사의 영역들이 검출된다. 프로세스 220 동안에 검출된 이미지들 각각을 분석하여 하나 이상의 잠재적인 높은 정반사의 영역들을 결정할 수 있다. 일부 예들에서, 하나 이상의 잠재적인 높은 정반사의 영역들은 이미지들에서 높은 강도 및/또는 포화를 갖는 하나 이상의 영역들을 식별하는 것에 의해 결정될 수 있다. 일부 예들에서, 높은 강도는 임계치보다 높은 강도를 갖는 임의의 픽셀에 대해 결정될 수 있다. 일부 예들에서, 임계치는 운영자에 의해 및/또는 이미징 시스템의 다른 특성들에 응답하여 설정될 수 있다. 일부 예들에서, 임계치는 절대 강도 임계치 값으로서 또는 가능한 최대 강도 값의 퍼센티지로서 설정될 수 있다. 일부 실시예들에서, 프로세스 220 동안에 단일의 이미지가 검출되는 경우, 잠재적인 높은 정반사의 영역들은 하나 이상의 높은 정반사의 영역들일 수 있다. 일부 실시예들에서, 프로세스 220 동안에 다수의 이미지들이 검출되는 경우, 다수의 이미지들 각각이 하나 이상의 높은 잠재적인 정반사의 영역들 중에 해당 영역을 포함하는 영역에서 높은 정반사가 검출될 수 있다. 일부 예들에서, 높은 정반사는 일반적으로 파장과는 무관하기 때문에, 다수의 이미지들의 이용은 다수의 주파수들에서 또는 다수의 주파수 대역들에서 높은 정반사에 대해 테스트하는 것에 의해 한 영역이 높은 정반사의 영역으로서 잘못 분류될 수 있는 가능성을 저감할 수 있다.

프로세스 240에서, 형광 트리거링 조명이 방출된다. 형광 트리거링 조명기(136)와 같은, 하나 이상의 형광 트리거링 조명기들 또는 방출기들을 이용하여, 형광 트리거링 조명이 관심 영역에 비추어진다. 일부 예들에서, 형광 트리거링 조명은 근적외선 대역 내의 주파수들을 포함할 수 있다. 일부 예들에서, 형광 트리거링 조명기들은 적합한 구동기 및/또는 변조 회로들을 이용하여 켜질 수 있다. 일부 예들에서, 형광 트리거링 조명기들은 각각 하나 이상의 발광 다이오드들, 레이저 다이오드들, 할로겐 광원들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 형광 트리거링 조명기들은 일반 조명기들과 동일할 수 있지만, 변조들 및/또는 구동 회로들은 일반 조명보다는 형광 트리거링 조명을 생성하기에 적합하다. 일부 예들에서, 구동 회로들은 LCTF 및/또는 AOTF와 같은, 하나 이상의 능동 또는 수동 필터들을 포함할 수 있다.

프로세스 250에서, 하나 이상의 형광의 영역들이 검출된다. 형광 검출기(138)와 같은, 하나 이상의 형광 검출기들을 이용하여, 관심 영역 내의 형광 물질의 형광이 검출된다. 일부 예들에서, 프로세스 250 동안에 형광 조명으로부터의 높은 정반사가 검출되지 않을 수 있는데 그 이유는 형광 검출기들은 일반적으로 형광 트리거링 조명기들에 의해 방출되는 주파수들에 민감하지 않기 때문이다. 일부 예들에서, 형광 검출기들 중 하나 이상은 하나 이상의 일반 조명 검출기들과 동일한 검출기들일 수 있다. 일부 예들에서, 형광 검출기들 각각은 하나 이상의 포토 트랜지스터들, 전하 결합 디바이스들, LCTF 및/또는 AOTF와 같은 능동 및/또는 수동 필터들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 검출된 형광은 형광 이미지로서 검출될 수 있다. 일부 예들에서, 형광 이미지는 또한 일반 조명 이미지에 대응할 수 있다.

프로세스 260에서, 하나 이상의 높은 정반사의 영역들이 마스킹된다(masked out). 일부 예들에서, 관심 영역의 촬상된 하나 이상의 일반 조명 이미지들에서 프로세스 230 동안에 검출된 하나 이상의 높은 정반사의 영역들이 마스킹될 수 있다. 일부 예들에서, 마스킹은 하나 이상의 영역들 내의 픽셀들을 배경 또는 블랙과 같은 기본 컬러의 픽셀들로 대체하는 것을 포함할 수 있다. 일부 예들에서, 일반 조명 이미지들이 형광 정보도 포함하는 경우, 높은 정반사의 영역들 내의 형광 정보도 마스킹될 수 있다. 일부 실시예들에서, 일반 조명 이미지들이 프로세스 250 동안에 검출된 형광 이미지로부터 분리되는 경우, 형광 이미지 정보는 알파 블렌딩 및/또는 다른 유사한 것과 같은 이미지 결합 알고리즘을 이용하여 일반 조명 이미지들과 결합될 수 있다. 이 하나 이상의 합성 이미지들은 그 후 방법(200)의 나머지 프로세스들을 위해 이용될 수 있다.

프로세스 270에서, 높은 정반사의 영역들에 시각적 힌트들이 추가될 수 있다. 프로세스 260의 마스킹은 하나 이상의 높은 정반사의 영역들의 존재를 모호하게 할 수 있기 때문에, 하나 이상의 높은 정반사의 영역들 내의 열악한 품질 및/또는 불완전한 이미지 정보의 가능성에 대해 운영자의 주의를 환기시키기 위해, 마스킹된 하나 이상의 일반 조명 이미지들 및/또는 하나 이상의 합성 이미지들에 하나 이상의 시각적 힌트들이 추가될 수 있다. 일부 예들에서, 시각적 힌트들은 하나 이상의 높은 정반사의 영역들 주위에 윤곽들을 추가하는 것, 거짓 컬러(false color)를 추가하는 것, 패터닝을 추가하는 것, 신틸레이션(scintillation)을 추가하는 것, 화살표들 및/또는 다른 표시들(markings)을 추가하는 것, 및/또는 다른 유사한 것을 포함할 수 있다.

프로세스 280에서, 하나 이상의 기하 구조 조정 힌트들이 제공된다. 프로세스 260 동안에 하나 이상의 높은 정반사의 영역들의 마스킹은 하나 이상의 일반 조명 이미지들 및/또는 합성 이미지들에서의 정보를 제거하고/하거나 열화시킬 수 있기 때문에, 이미징 유닛에 대한 운영자 및/또는 모션 플래닝 시스템에 기하 구조 조정 힌트들이 제공될 수 있다. 이미징 유닛의 기하 구조를 조정함으로써, 관심 영역에서의 표면 법선들에 대하여 이미징의 배향이 변할 수 있기 때문에 하나 이상의 일반 조명 이미지들 및/또는 합성 이미지들에서의 하나 이상의 높은 정반사의 영역들의 크기를 저감하고/하거나 하나 이상의 높은 정반사의 영역들을 제거하는 것이 가능할 수 있다. 일부 예들에서, 기하 구조 조정 힌트들은 오디오 힌트들, 하나 이상의 일반 조명 이미지들 및/또는 합성 이미지들 내의, 화살표들과 같은, 시각적 단서들, 운영자 입력 컨트롤들에 적용되는 피드백, 모션 플래닝 알고리즘들에 적용되는 피드백, 및/또는 다른 유사한 것을 포함할 수 있다.

방법(200)은 다수의 이미지들에서 높은 정반사의 영역들을 제거하고/하거나 관심 영역의 비디오 이미지를 생성하기 위해 프로세스들(210-280)을 반복하는 단계를 포함할 수 있다.

위에 논의되고 여기서 더 강조되는 바와 같이, 도 2는 청구항들의 범위를 과도하게 제한해서는 안 되는 예에 불과하다. 본 기술분야의 통상의 기술자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다. 일부 실시예들에서, 방법(200)은 모션 플래닝 알고리즘들을 이용하여 관심 영역에 대하여 이미징 유닛을 이동시키는 능력을 이용하도록 수정될 수 있다. 일부 예들에서, 운영자 또는 다른 시스템은 이미징 애플리케이션을 이용하여 관심 영역 내의 또는 관심 영역 근처의 다른 디바이스들, 물체들, 및/또는 환자 해부를 방해하지 않고 이미징 유닛이 이동될 수 있는 용적(volume)을 특정할 수 있다. 그 후 이미징 애플리케이션은 이미징 유닛을 용적의 여기저기 이동시키면서 일반 조명, 및/또는 형광 이미지들의 시퀀스를 수집할 수 있다. 이미지들 중 일부에서 높은 정반사의 영역들은 정반사가 저감된 또는 정반사가 없는 다른 이미지들로부터의 동일한 영역들의 이미지들로 대체될 수 있다. 일부 예들에서, 하나 이상의 이미지 스티칭(stitching) 알고리즘들을 이용하여 정반사가 저감 및/또는 제거된 합성 이미지를 생성할 수 있다. 일부 예들에서, 이미징 유닛을 용적을 통하여 이동시키는 이미징 유닛 및 디바이스의 하나 이상의 운동학적 모델들을 이용하여 상이한 이미지들로부터의 영역들을 상호 비교할 수 있다. 일부 예들에서, 관심 영역이 움직이는 물체들 및/또는 움직이는 환자 해부(예를 들어, 박동하는 심장)를 포함하는 경우, 이미지 수집은 이미지들의 시퀀스가 관심 영역 내의 물체들 및/또는 환자 해부의 대략 동일한 위치들, 위상들, 및/또는 배향들에 대응하도록 타이밍이 맞추어질 수 있다.

도 3은 일부 실시예들에 따른 또 다른 형광 이미징 시스템(300)의 간략화 도면이다. 도 3에 도시된 바와 같이, 환자의 해부의 일부와 같은, 관심 영역(310)이 이미징 유닛(320)을 이용하여 조명되는 것으로 도시되어 있다. 이미징 유닛(320)은 관심 영역(310)을 조명하고 관심 영역에서의 반사된 조명 및 형광 양쪽 모두에 기초하여 관심 영역(310)의 하나 이상의 이미지들을 수집하기 위한 몇 개의 이미징 방출기들 및 검출기들을 포함한다. 도 3에 도시되어 있지는 않지만, 이미징 유닛(320)은 내시경 도구의 일부, 컴퓨터-보조 수술 디바이스 상의 엔드 이펙터의 일부, 및/또는 컴퓨터-보조 이미징 디바이스의 일부일 수 있다. 형광 이미징을 지원하기 위해, 이미징 유닛(320)은 몇 개의 세트 및 타입의 이미징 방출기들 및 검출기들을 포함할 수 있다.

이미징 유닛(320)은 알려진 거리를 두고 이격된 적어도 2개의 일반 조명기들(332 및 334)을 포함한다. 일부 예들에서, 일반 조명기들(332 및 334) 각각은 일반 조명기(132)와 유사할 수 있다. 일반 조명기들(332 및 334) 각각은 일반 조명기들(332 및 334)로부터 관심 영역 내의 표면으로의 각각의 예시적인 광선 화살표들에 의해 도시된 바와 같이 관심 영역(310)에 일반 조명을 비추도록 구성된다. 일반 조명은 관심 영역(310)의 표면에 일반 조명이 입사되는 대응하는 지점들 근처의 표면 법선(315)에 의해 근사화된 바와 같이 표면의 기하 구조에 기초하여 관심 영역 내의 표면에서 반사된다. 반사된 일반 조명은 이미징 유닛(320)으로 되돌아가고 거기서 그것은 일반 조명 검출기(336)에 의해 별개의 입체 이미지들에 캡처될 수 있다. 일부 예들에서, 일반 조명 검출기(336)는 일반 조명 검출기(134)와 유사할 수 있다. 일부 예들에서, 별개의 입체 이미지들이 한 번에 일반 조명기들(332 및 334) 중 하나로부터의 조명을 이용하여 캡처될 수 있도록 일반 조명기들(332 및 334)은 관심 영역(310) 상에 조명을 제공하는 것을 번갈아 할 수 있다. 별개의 입체 이미지들 및 일반 조명기들(332 및 334) 및 일반 조명 검출기(336)의 알려진 기하 구조들을 이용하여, 이미징 유닛(320) 및/또는 처리 유닛(150)과 같은 이미징 유닛(320)에 결합된 처리 유닛은 표면 법선(315)뿐만 아니라 관심 영역(310) 내의 다른 위치들에 위치할 수 있는 다른 표면 법선들의 대강의 위치 및/또는 배향을 결정할 수 있다. 일부 예들에서, 별개의 입체 이미지들은 관심 영역(310) 내의 하나 이상의 높은 정반사의 영역들을 검출하는 데에도 이용될 수 있다.

이미징 유닛(120)과 유사하게, 이미징 유닛(320)도 형광 트리거링 조명기들(342 및 344)뿐만 아니라 형광 검출기(346)를 포함할 수 있다. 일부 예들에서, 형광 트리거링 조명기들(342 및 344) 각각은 형광 트리거링 조명기(136)와 유사할 수 있고 형광 검출기(346)는 형광 검출기(138)와 유사할 수 있다. 형광 트리거 조명기들(342 및 344) 중 어느 하나 또는 양쪽 모두는 관심 영역(310) 내의 형광 물질의 형광을 트리거하는 데 이용될 수 있다. 형광 검출기(346)는 형광 트리거링 조명기들(342 및 344)에 의해 트리거된 형광을 검출할 수 있다.

표면 법선(315)과 같은 표면 법선들을 근사화함으로써, 이미징 유닛(320)은 프로세스 280에 관하여 설명된 바와 같이 기하 구조 조정 힌트들을 더 양호하게 제공할 수 있다. 표면 법선의 위치 및 배향은 이미징 유닛(320)에 대한 더 양호한 이동 힌트들을 제공하는 데 이용될 수 있는데 그 이유는 가장 높은 정반사를 갖는 배향은 전형적으로 일반 조명기들 및 일반 조명 검출기 양쪽 모두가 표면 법선 위에 배치되고 표면 법선을 향하여 배향되는 경우에 발생하기 때문이다. 따라서, 이미징 유닛(320)이 표면 법선(315)과 같은 표면 법선과 바로 또는 거의 정렬하는 배향들을 피하는 것은 그 표면 법선들에서의 표면에 의해 야기되는 높은 정반사를 저감 및/또는 제거할 수 있다.

위에 논의되고 여기서 더 강조되는 바와 같이, 도 3은 청구항들의 범위를 과도하게 제한해서는 안 되는 예에 불과하다. 본 기술분야의 통상의 기술자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다.

통상의 기술자라면 인식하는 바와 같이, 도 3의 기하 구조들은 반드시 일정한 비율로 그려진 것은 아니고, 형광 이미징 시스템(300) 및 이미징 유닛(320)의 중요한 특징들을 강조하도록 그려졌다. 예를 들어, 조명기들 및 검출기들의 상대적인 크기 및/또는 포지셔닝은 도 3에서 대응하는 광선들의 실제 경로들의 더 정확한 묘사를 희생하면서 이 특징들을 보여주도록 과장될 수 있다.

일부 실시예들에 따르면, 이미징 유닛(320)과 처리 유닛(150) 간의 상이한 배열들이 가능할 수 있다. 일부 예들에서, 처리 유닛(150)은 이미징 유닛(320)의 일부일 수 있다. 일부 예들에서, 이미징 유닛(320)은 처리 유닛(150)의 일부일 수 있다. 일부 예들에서, 처리 유닛(150)은 둘 이상의 이미징 유닛(320)에 결합될 수 있다. 일부 예들에서, 이미징 유닛(320)은 둘 이상의 처리 유닛과 이미징 데이터를 공유할 수 있다.

일부 실시예들에 따르면, 조명기들 및 검출기들의 상이한 배열들 및 구성들도 원하는 입체 이미지들, 높은 정반사의 영역들의 검출, 및 형광 이미지들의 검출을 제공할 수 있다. 일부 예들에서, 더 많은 그리고/또는 더 적은 조명기들 및/또는 검출기들이 가능하다. 일부 예들에서, 2개의 일반 조명기들(332 및 334) 및 일반 조명 검출기(336)는 알려진 간격을 갖는 2개의 일반 조명 검출기들 및 하나의 일반 조명기로 대체될 수 있다. 일부 예들에서, 형광 트리거링 조명기들(342 및/또는 344) 중 하나 또는 다른 하나가 생략될 수 있다. 일부 예들에서, 나머지 형광 트리거링 조명기는 형광 검출기(346)과 더 근접한 곳으로 이동될 수 있다. 일부 예들에서, 시분할 및/또는 주파수 분할 다중화를 이용하여 일반 조명기들 및 형광 트리거링 조명기들(예를 들어, 일반 조명기(332) 및 형광 트리거링 조명기(342))을 결합할 수 있다. 일부 예들에서, 시분할 및/또는 주파수 분할 다중화를 이용하여 일반 조명 검출기(336) 및 형광 검출기(346)를 결합할 수 있다.

도 4는 일부 실시예들에 따른 높은 정반사 검출 및 저감의 또 다른 방법(400)의 간략화 도면이다. 방법(400)의 프로세스들(410-450) 중 하나 이상은, 적어도 부분적으로, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들(예를 들어, 프로세서(160))로 하여금 프로세스들(410-450) 중 하나 이상을 수행하게 할 수 있는 비일시적, 유형의, 머신 판독가능 매체에 저장된 실행가능 코드의 형태로 구현될 수 있다. 일부 실시예들에서, 높은 정반사 검출 및 저감은 이미징 애플리케이션(180)과 같은 이미징 애플리케이션에 의해 수행될 수 있다. 일부 실시예들에서, 하나 이상의 높은 정반사의 영역들의 마스킹을 제공하기 위해 그리고 또한 이미징 시스템에 캡처되는 높은 정반사의 양을 저감하기 위한 이동 힌트들을 제공하기 위해 방법(400)을 방법(200)과 공동으로 수행할 수 있다.

프로세스 410에서, 일반 조명이 방출된다. 일반 조명기들(332 및/또는 334)과 같은, 하나 이상의 일반 조명기들 또는 방출기들을 이용하여, 일반 조명 및/또는 일반 조명이 관심 영역에 비추어진다. 일부 예들에서, 일반 조명은 가시 스펙트럼의 하나 이상의 대역 내의 가시광을 포함할 수 있다. 일부 예들에서, 일반 조명기들은 적합한 구동기 및/또는 변조 회로들을 이용하여 켜질 수 있다. 일부 예들에서, 일반 조명기들은 각각 하나 이상의 발광 다이오드들, 레이저 다이오드들, 할로겐 광원들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 일반 조명이 다수의 주파수 대역들로부터의 신호들을 포함하는 경우에, 다수의 주파수 대역들은 동시에 및/또는 시분할 다중화를 통해 방출될 수 있다.

프로세스 420에서, 입체 반사들이 검출된다. 하나 이상의 일반 조명기들과 공동으로, 일반 조명 검출기(336)와 같은, 하나 이상의 일반 조명 검출기들을 이용하여, 반사된 일반 조명의 2개 이상의 입체 이미지들이 획득된다. 일부 예들에서, 일반 조명은 하나 이상의 구조들, 물체들, 환자 해부의 부분들, 및/또는 다른 유사한 것에서 반사될 수 있다. 일부 예들에서, 하나 이상의 일반 조명 검출기들은 하나 이상의 일반 조명기들 및/또는 그의 서브세트에 의해 방출된 주파수 대역들 각각에서 일반 조명을 검출할 수 있다. 일부 예들에서, 일반 조명 검출기들 각각은 하나 이상의 포토 트랜지스터들, 전하 결합 디바이스들, LCTF 및/또는 AOTF와 같은 능동 및/또는 수동 필터들, 및/또는 다른 유사한 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 일반 조명 검출기들은 하나 이상의 일반 조명기들과 동기화하여 시간 다중화될 수 있다.

프로세스 430에서, 표면 법선들이 추정된다. 프로세스 420 동안에 검출된 입체 이미지들은 입체 이미지들에서 보이는 하나 이상의 표면들에 대한 표면 법선들을 추정하는 데 이용될 수 있다. 일부 예들에서, 2개의 입체 이미지들 간의 이미징 기하 구조의 알려진 차이들은 입체 이미지들의 차이들에 기초하여 표면 법선들을 추정하는 데 이용될 수 있다. 일부 예들에서, 입체 카메라 캘리브레이션 데이터를 이용하여 표면 법선들을 추정할 수 있다. 일부 예들에서, 표면 법선들은 하나 이상의 표면들에 대해 해당 표면들 상의 다수의 위치들에서 추정될 수 있다. 일부 예들에서, 프로세스 230과 유사한 프로세스를 이용하여 높은 또는 잠재적으로 높은 정반사의 영역들을 검출할 수 있고 그 검출된 영역들 내에서 표면 법선들이 추정된다.

프로세스 440에서, 추정된 표면 법선들을 이용하여 이동 힌트들을 제공한다. 하나 이상의 추정된 표면 법선들은 검출 및/또는 캡처된 이미지들에서 높은 정반사의 양을 저감 및/또는 제거하기 위해 이미징 유닛이 접근을 피해야 하는 관심 영역 내의 하나 이상의 표면들 위의 위치들을 지시한다. 하나 이상의 표면 법선들 위에 이미징 유닛의 포지셔닝을 단념시키기 위해 그리고/또는 하나 이상의 표면 법선들과의 정렬로부터 멀리 이미징 유닛의 이동을 조장하기 위해, 이미징 유닛에 대한 운영자 및/또는 모션 플래닝 시스템에 이동 힌트들이 제공될 수 있다. 일부 예들에서, 이동 힌트들은 이미징 유닛이 탑재되는 디바이스 아암(device arm)의 하나 이상의 운동학적 모델들에 기초하여 제공될 수 있다.

일부 실시예들에서, 하나 이상의 이동 힌트들은 운영자들에 표시되는 이미지들에서 이동의 방향 및/또는 이미징 유닛에 대한 배향의 변화를 제안하는 화살표들과 같은 시각적 힌트들을 추가하는 것을 포함할 수 있다. 일부 예들에서, 이동의 방향은 하나 이상의 표면 법선들에 의해 지시되는 위치들로부터 멀어지는 방향일 수 있다. 일부 예들에서, 이미징 유닛이 표면 법선들 중 하나에 의해 지시되는 위치들 중 하나의 근처에 배치되는 경우, 이동 힌트는 표면 법선으로부터 멀어지는 방향들의 제한된 세트를 포함할 수 있다. 일부 예들에서, 이미징 유닛이 표면 법선과 정렬되는 경우, 이동 힌트는 표면 법선으로부터 멀어지는 임의의 방향을 제안할 수 있다. 일부 예들에서, 위치 및/또는 배향의 변화에 의해 표면 법선을 피할 수 있는 경우, 이동 힌트는 표면 법선으로부터 멀리 이미징 유닛의 적절한 회전을 제안할 수 있다. 일부 예들에서, 그 회전은 이미징 유닛이 탑재되는 디바이스 아암의 하나 이상의 운동학적 모델들에 기초하여 결정될 수 있다.

일부 실시예들에서, 하나 이상의 이동 힌트들은 오디오 힌트들을 포함할 수 있다. 일부 예들에서, 오디오 힌트들은 왼쪽, 오른쪽, 위, 아래, 멀리, 회전, 및/또는 다른 유사한 것과 같은 방향들을 포함할 수 있다. 일부 예들에서, 다방향성(multi-directional) 소리가 이용 가능한 경우, 이동 힌트들은 소리를 향하여 또는 소리로부터 멀리 이동하도록 운영자에게 신호를 줄 수 있는 소리들을 제공할 수 있다. 일부 예들에서, 소리 강도는 오디오 힌트들을 성공적으로 따름에 따라 증가 또는 감소할 수 있다.

일부 실시예들에서, 하나 이상의 이동 힌트들은 모션 플래닝 기하 구조에서 하나 이상의 이동 포인트들 및/또는 라인들(move away points and/or lines)을 추가하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 이동 포인트들 및/또는 라인들은 반발 장들(repulsing fields) 및/또는 반발 전하들(repulsing charges)을 갖는 하나 이상의 포인트들 또는 영역들을 이용하여 구현될 수 있다. 일부 예들에서, 하나 이상의 이동 포인트들 및/또는 라인들은 하나 이상의 가상 충돌 물체들 및/또는 가상 피드백 메커니즘들을 이용하여 구현될 수 있다. 일부 예들에서, 하나 이상의 이동 포인트들은 각각의 표면 법선에 의해 지시되고 이미징 유닛의 작동 거리(working distance)에 기초하여 각각의 표면 법선 위의 소정 높이에 위치할 수 있다. 일부 예들에서, 하나 이상의 이동 포인트들은 각각의 표면 법선에 의해 지시되고 이미징 유닛의 현재 위치 근처에 위치할 수 있다. 일부 예들에서, 하나 이상의 이동 라인들은 표면 법선과 동일 선상에 있고 표면으로부터 적어도 이미징 유닛의 높이를 통하여 연장될 수 있다.

프로세스 450에서, 피드백이 제공된다. 일부 실시예들에서, 하나 이상의 이동 포인트들 및/또는 라인들은 이미징 유닛에 대한 모션 플랜을 변경하는 데 이용될 수 있다. 일부 예들에서, 하나 이상의 이동 포인트들 및/또는 라인들은 이미징 유닛의 조인트들에 피드백 힘들 및/또는 토크들을 유도할 수 있는 반발 힘들 및/또는 토크들을 생성할 수 있다. 일부 예들에서, 유도된 피드백 힘들 또는 토크들은 다른 모션 플래닝 및/또는 운영자에 의해 명령된 움직임들로부터 결정된 이미징 유닛에 대한 대응하는 조인트들에 대한 힘들 또는 토크들을 수정할 수 있다. 일부 예들에서, 자코비안 전치행렬(Jacobian transpose) 또는 유사한 방법을 이용하여 반발 힘들 및/또는 토크들을 유도된 피드백 힘들 및/또는 토크들에 매핑할 수 있다. 일부 예들에서, 피드백 힘들 및/또는 토크들은 하나 이상의 햅틱 제어 디바이스들을 통하여 운영자에게 피드백될 수도 있다.

방법(400)은 주기적으로 표면 법선들을 추정하고 이동 힌트들 및 피드백을 운영자들 및/또는 모션 플래닝 시스템들에 제공하기 위해 프로세스들(410-450)을 반복하는 단계를 더 포함할 수 있다.

위에 논의되고 여기서 더 강조되는 바와 같이, 도 4는 청구항들의 범위를 과도하게 제한해서는 안 되는 예에 불과하다. 본 기술분야의 통상의 기술자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다.

일부 실시예들에서, 방법(400)은 모션 플래닝 알고리즘들을 이용하여 관심 영역에 대하여 이미징 유닛을 이동시키는 능력을 이용하도록 수정될 수 있다. 일부 예들에서, 운영자 또는 다른 시스템은 이미징 애플리케이션을 이용하여 관심 영역 내의 또는 관심 영역 근처의 다른 디바이스들, 물체들, 및/또는 환자 해부를 방해하지 않고 이미징 유닛이 이동될 수 있는 용적을 특정할 수 있다. 그 후 이미징 애플리케이션은 이미징 유닛을 용적의 여기저기 이동시키면서 입체 이미지들의 시퀀스를 수집할 수 있다. 일부 예들에서, 관심 영역에서의 각각의 표면 법선들과의 이미징 유닛의 포지셔닝 및/또는 정렬을 가장 저감하는 이미징 유닛에 대한 하나 이상의 포즈를 결정하기 위해 입체 이미지들의 수집을 분석할 수 있다. 일부 예들에서, 관심 영역 내의 선택된 영역들에 대한 높은 정반사를 피하기 위해 이미징 유닛에 대한 바람직한 포즈들을 예측하기 위해 그리고/또는 정반사가 저감 및/또는 제거된 합성 이미지를 함께 스티칭하기 위해 방법(200)에 의해 이용되는 바람직한 포즈들의 그룹을 결정하기 위해 입체 이미지들의 수집을 분석할 수 있다. 일부 예들에서, 관심 영역이 움직이는 물체들 및/또는 움직이는 환자 해부(예를 들어, 박동하는 심장)를 포함하는 경우, 이미지 수집은 입체 이미지들의 시퀀스가 관심 영역 내의 물체들 및/또는 환자 해부의 대략 동일한 위치들, 위상들, 및/또는 배향들에 대응하도록 타이밍이 맞추어질 수 있다.

처리 유닛(150)과 같은, 처리 유닛들의 일부 예들은 하나 이상의 프로세서들(예를 들어, 프로세서(160))에 의해 실행될 때 하나 이상의 프로세서들로 하여금 방법들(200 및/또는 400)의 프로세스들을 수행하게 할 수 있는 실행가능 코드를 포함하는 비일시적, 유형의, 머신 판독가능 매체를 포함할 수 있다. 방법들(200 및/또는 400)의 프로세스들을 포함할 수 있는 머신 판독가능 매체의 일부 흔한 형태들로는, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드, 종이 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 및/또는 그로부터 프로세서 또는 컴퓨터가 판독하도록 구성되는 임의의 다른 매체가 있다.

예시적인 실시예들이 도시되고 설명되었지만, 상기 개시내용에서 광범위한 수정, 변경 및 대체가 고려되고, 일부 경우에, 실시예들의 일부 특징들은 대응하는 다른 특징들의 사용 없이 이용될 수 있다. 본 기술분야의 통상의 기술자라면 많은 변형들, 대안들 및 수정들을 인식할 것이다. 따라서, 본 발명의 범위는 이하의 청구항들에 의해서만 제한되어야 하며, 청구항들은 광범위하게 그리고 본 명세서에 개시된 실시예들의 범위와 일치하는 방식으로 해석된다는 것을 이해해야 한다.

Claims

이미징 시스템으로서,
하나 이상의 프로세서들을 포함하는 처리 유닛; 및
상기 처리 유닛에 결합된 이미징 유닛을 포함하고,
상기 이미징 유닛은:
관심 영역의 조명을 제공하기 위한 하나 이상의 제1 조명기들;
상기 조명의 반사들을 검출하기 위한 하나 이상의 제1 검출기들;
상기 관심 영역 내의 하나 이상의 형광 물질들의 형광을 트리거하기 위한 하나 이상의 제2 조명기들; 및
상기 형광 물질들의 상기 형광을 검출하기 위한 하나 이상의 제2 검출기들을 포함하고;
상기 처리 유닛은:
상기 하나 이상의 제1 검출기들로부터 제1 이미지를 수신하고 - 상기 제1 이미지는 상기 검출된 반사들을 포함함 -;
상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들(regions of high specular reflection)을 결정하고;
상기 제1 이미지에서 상기 하나 이상의 높은 정반사의 영역들을 마스킹하고(mask out);
상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하고;
상기 하나 이상의 제1 검출기들로부터 제2 이미지를 수신하고 - 상기 제2 이미지는 상기 제1 이미지의 이미징 기하 구조(imaging geometry)와 상이한 이미징 기하 구조에 기초함 -;
상기 제1 이미지와 상기 제2 이미지 간의 차이들에 기초하여 상기 관심 영역에서 표면 법선을 추정하고;
상기 하나 이상의 높은 정반사의 영역들 및 상기 추정된 표면 법선에 기초하여 이미징 유닛에 대한 모션 플래닝 시스템 또는 운영자에 하나 이상의 기하 구조 조정 힌트들(geometry adjustment hints)을 제공하도록 구성되는, 이미징 시스템.
제1항에 있어서,
상기 처리 유닛은:
상기 하나 이상의 제2 검출기들로부터 제2 이미지를 수신하고 - 상기 제2 이미지는 상기 검출된 형광을 포함함 -;
상기 제1 이미지 및 상기 제2 이미지를 블렌딩하는 것에 의해 상기 합성 이미지를 생성하도록 더 구성되는, 이미징 시스템.
제2항에 있어서,
상기 블렌딩은 알파 블렌딩을 포함하는, 이미징 시스템.
제1항에 있어서,
각각의 상기 하나 이상의 기하 구조 조정 힌트들은 오디오 힌트들, 시각적 단서들, 화살표들, 운영자 입력 컨트롤들에 적용되는 피드백, 및 모션 플래닝 알고리즘들에 적용되는 피드백으로 구성되는 그룹으로부터 선택되는, 이미징 시스템.
제1항에 있어서,
상기 하나 이상의 제1 조명기들은 복수의 파장들에서 조명을 생성하고;
상기 하나 이상의 높은 정반사의 영역들 각각은 상기 복수의 파장들 각각에서 높은 정반사를 포함하는, 이미징 시스템.
제1항에 있어서,
상기 하나 이상의 제1 조명기들 및 상기 하나 이상의 제2 조명기들은 하나 이상의 동일한 조명기들인, 이미징 시스템.
제1항에 있어서,
상기 하나 이상의 제1 검출기들 및 상기 하나 이상의 제2 검출기들은 하나 이상의 동일한 검출기들인, 이미징 시스템.
삭제
제1항에 있어서,
각각의 상기 하나 이상의 기하 구조 조정 힌트들은 이동 포인트(move away point)를 모션 플래닝 시스템에 제공하는 것을 포함하고, 상기 이동 포인트는 상기 표면 법선에 의해 지시되고 상기 이동 포인트는 상기 이미징 유닛의 작동 거리(working distance)에 기초하여 상기 표면 법선 위의 높이에 위치하는, 이미징 시스템.
제1항에 있어서,
각각의 상기 하나 이상의 기하 구조 조정 힌트들은 이동 라인(move away line)을 모션 플래닝 시스템에 제공하는 것을 포함하고, 상기 이동 라인은 상기 표면 법선과 동일 선상에 있는, 이미징 시스템.
이미징의 방법으로서, 상기 방법은:
하나 이상의 제1 조명기들을 이용하여, 관심 영역을 조명하는 단계;
하나 이상의 제1 검출기들을 이용하여, 상기 하나 이상의 제1 조명기들로부터의 조명의 제1 반사들을 검출하는 단계;
하나 이상의 제2 조명기들을 이용하여, 상기 관심 영역을 조명하는 단계 - 상기 하나 이상의 제2 조명기들로부터의 조명은 상기 관심 영역 내의 하나 이상의 형광 물질들의 형광을 트리거함 -;
하나 이상의 제2 검출기들을 이용하여, 상기 하나 이상의 형광 물질들의 상기 형광을 검출하는 단계;
상기 제1 반사들에 기초하여 제1 이미지를 형성하는 단계;
상기 제1 이미지에서 하나 이상의 높은 정반사의 영역들을 결정하는 단계;
상기 제1 이미지에서 상기 하나 이상의 높은 정반사의 영역들을 마스킹하는 단계;
상기 마스킹된 제1 이미지 및 상기 검출된 형광에 기초하여 합성 이미지를 생성하는 단계;
상기 하나 이상의 제1 검출기들을 이용하여, 상기 하나 이상의 제1 조명기들로부터의 조명의 제2 반사들을 검출하는 단계 - 상기 제2 반사들은 상기 제1 반사들과 상이한 이미징 기하 구조를 이용하여 검출됨 -;
상기 제2 반사들에 기초하여 제2 이미지를 형성하는 단계;
상기 제1 이미지와 상기 제2 이미지 간의 차이들에 기초하여 상기 관심 영역에서 표면 법선을 추정하는 단계; 및
상기 하나 이상의 높은 정반사의 영역들 및 상기 추정된 표면 법선에 기초하여 하나 이상의 이동 힌트들(move away hints)을 제공하는 단계를 포함하는, 방법.
제11항에 있어서,
상기 검출된 형광에 기초하여 제2 이미지를 형성하는 단계; 및
상기 합성 이미지를 형성하기 위해 상기 제1 이미지 및 상기 제2 이미지를 블렌딩하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 높은 정반사의 영역들에 기초하여 하나 이상의 기하 구조 조정 힌트들을 제공하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 하나 이상의 제1 조명기들을 이용하여, 상기 관심 영역을 조명하는 단계는, 상기 하나 이상의 제1 조명기들을 이용하여, 복수의 파장들에서 광을 방출하는 단계를 포함하고;
상기 하나 이상의 높은 정반사의 영역들을 결정하는 단계는 상기 하나 이상의 높은 정반사의 영역들의 상기 복수의 파장들 각각에서 높은 정반사를 검출하는 단계를 포함하는, 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제