KR102438482B1

KR102438482B1 - 비백색광 일반 조명기를 포함하는 수술 시스템

Info

Publication number: KR102438482B1
Application number: KR1020227007259A
Authority: KR
Inventors: 제프리 디카를로; 타오 자오; 스티븐 제이 블루멘크란츠; 브라이언 디 호프먼; 제프 리치몬드
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2014-03-17
Filing date: 2015-03-17
Publication date: 2022-09-02
Also published as: US20230371783A1; US11759093B2; CN111281311A; EP3119321A4; WO2015142800A1; US10506914B2; US10932649B2; KR102521043B1; CN106456272A; EP3119321A1; JP2023089220A; KR20220036986A; US20200077870A1; US20210145249A1; KR20160133520A; JP2022009679A; KR102372763B1; JP2017511176A; CN111281311B; EP4282370A3

Abstract

원격작동형 수술 시스템(200)의 내시경(201)으로부터의 비백색광은 수술 부위(203)를 조명하는데 이용된다. 카메라(220L)는 수술 부위의 이미지를 캡처하고, 이미지는 모니터(251) 상에 디스플레이된다. 비백색광 조명은, 백색광 조명을 이용하여 캡처되고 모니터 상에 디스플레이되는 이미지에 비해, 모니터 상에 프리젠팅된 수술 부위의 이미지들에서 노이즈를 최소화한다.

Description

비백색광 일반 조명기를 포함하는 수술 시스템{SURGICAL SYSTEM INCLUDING A NON-WHITE LIGHT GENERAL ILLUMINATOR}

관련 출원

본 출원은,

미국 특허 출원 제61/954,512호(Jeffrey DiCarlo 등에 의해 2014년 3월 17일 출원된 발명의 명칭이 "Surgical System Including a Non-White Light General Illuminator")의 우선권 및 이익을 주장하며, 이것은 참조에 의해 본 명세서에 포함된다.

발명의 분야

본 발명의 양태들은 내시경 촬영(endoscopic imaging)에 관한 것으로 더 구체적으로는, 원격작동형 수술 시스템에서 일반 조명에 이용되는 비백색광에 관한 것이다.

California주, Sunnyvale시의 Intuitive Surgical, Inc.에 의해 상용화된 da Vinci^® 수술 시스템은, 신체에 대한 감소된 외상, 빠른 회복 및 더 짧은 입원기간 등의 많은 혜택을 환자에게 제공하는 최소한도로 침습적인 원격작동형 수술 시스템이다. da Vinci^® 수술 시스템의 한 피쳐는, 가시 이미지들의 2채널(즉, 좌측 및 우측) 비디오 캡처 및 디스플레이를 제공하여 외과 의사에게 입체시(stereoscopic viewing)를 제공하는 능력이다.

이러한 전자적 입체 촬영 시스템은 고선명 비디오 이미지를 외과 의사에게 출력할 수 있고, 줌(zoom) 등의 피쳐를 허용하여 외과 의사가 특정한 조직 유형 및 특성을 식별할 뿐만 아니라 더 높은 정확도로 작업하는 것을 허용하는 "확대된" 뷰를 제공할 수 있다. 그러나, 전형적인 수술 분야에서, 전자 입체 촬영 시스템 내의 카메라에 의해 캡처된 이미지의 품질은 카메라의 신호-대-잡음비에 의해 제한된다.

카메라가 광을 수집할 때, 캡처된 광은 전자들로 변환되어 이미지 센서의 웰(well)에 저장된다. 픽셀당 하나의 웰이 존재한다. 도 1은, 적색 픽셀 R에 대한 웰(101), 녹색 픽셀 G에 대한 웰(102), 및 청색 픽셀 B에 대한 웰(103)의 개략적 예시이다. 카메라가 그 웰들 내에 더 많은 전자를 수집함에 따라, 노이즈는 비교적 일정하면서 신호는 성장하므로, 신호-대-잡음비는 증가하며, 즉, 웰 내에 캡처된 신호는 노이즈에 관하여 증가한다.

카메라에 의해 캡처된 광의 물리적 속성은, 카메라 픽셀이 더 많은 광을 캡처할수록, 카메라는 광이 캡처된 레이트(rate)를 더 양호하게 추정할 수 있다는 것이다. 그러나, 카메라 픽셀이 너무 많은 광을 수집하고 웰을 과도하게 채우면, 그 픽셀에 대한 신호는 소실되고 더 이상 유효하지 않다. 따라서, 카메라의 노출 시간은 어떠한 한 웰도 과도하게 채우지 않고 가능한한 높게 그 전자 웰들(101, 102, 103) 모두를 채우기 위해 시도하고 수집하도록 설정된다.

일반 관찰용의 백색광에 의해 조명되는 전형적인 수술 부위 장면에서, 적색은 카메라에 의해 캡처된 장면 내의 우세한 색상이다. 이것은, 반사된 광의 대부분이 청색 및 녹색 스펙트럼에 비해 적색 스펙트럼에 있기 때문이다.

통상적으로, 원격작동형 수술 시스템에서 이용되는 컬러 비디오 카메라는 컬러 필터 어레이를 포함한다. 컬러 필터 어레이는 상이한 색상의 필터들의 모자이크이다. 이상적으로, 각각의 상이한 컬러 필터는 특정한 컬러의 스펙트럼에 대응하는 가시 전자기 스펙트럼의 일부만을 통과시키는데, 예를 들어, 컬러 필터 어레이 내의 제1 세트의 필터들은 주로 적색광을 통과시키고, 제2 세트의 필터들은 주로 녹색광을 통과시키며, 제3 세트의 필터들은 주로 청색광을 통과시킨다.

카메라는, 컬러 필터 어레이를 통과하는 광을 캡처하는 픽셀들을 포함하는 이미지 센서를 포함한다. 각각의 픽셀은 광이 캡처될 때 전자들로 채워지는 웰이다. 제1 세트의 필터들을 통과하는 광을 캡처하는 카메라 내의 픽셀 세트(set of pixels)는 카메라의 제1 컬러 채널에 포함된다. 제2 세트의 필터들을 통과하는 광을 캡처하는 카메라 내의 픽셀 세트는 카메라의 제2 컬러 채널에 포함된다. 제3 세트의 필터들을 통과하는 광을 캡처하는 카메라 내의 픽셀 세트는 카메라의 제3 컬러 채널에 포함된다.

본 기술분야의 통상의 기술자에게 공지된 바와 같이, 한 예에서, 백색광 조명은, 정상적인 색상 인지력을 갖춘 인간의 눈에는 백색으로 보이는, 적색 스펙트럼 광, 녹색 스펙트럼 광, 및 청색 스펙트럼 광의 조합으로 구성된다. 그러나, 수술 부위에 의한 적색 스펙트럼 광의 우세한 반사로 인해, 적색 픽셀 웰(101)(도 1)은 통상적으로 녹색 픽셀 웰(102), 또는 청색 픽셀 웰(103)보다 훨씬 더 빠르게 채워진다. 적색 픽셀 웰(101)이 오버플로하는 것을 방지하기 위해, 카메라의 노출은 적색 픽셀 웰(101)이 오버플로하지 않게끔 수집된 광을 제한하도록 설정된다.

대부분의 광을 수신하는 컬러 채널의 웰들이 오버플로하려고 할 때 광의 수집을 중단하는 결과는, 다른 컬러 채널들의 웰들이 도 1에 나타낸 바와 같이 채워지지 않을 수도 있다는 것이다. 도 1의 예에서, 녹색 웰(102)과 청색 웰(103)은 광의 수집이 중단될 때 50 퍼센트 미만으로 채워진다. 이들 덜 채워진 컬러 채널들의 신호-대-잡음비는 오버플로 직전의 컬러 채널 또는 채널들의 신호-대-잡음비보다 상당히 작다. 다시 한번, 도 1의 예의 경우, 적색 채널의 신호-대-잡음비는 약 6인 반면, 녹색 채널 및 청색 채널 각각의 신호-대-잡음비는 약 3이다.

카메라 컬러 채널들의 웰들(101,　102,　103) 모두가 채워지는 것은 아닐 때 카메라는 더 불량한 신호-대-잡음비 성능을 가진다. 덜 채워진 웰들(102 및 103)로부터의 신호들은, 디스플레이용 이미지를 생성하기 위해 수술 시스템의 이미지 처리에 있어서 백색 밸런스 스테이지의 일부로서 신호들에 이득을 적용해야 한다. 백색 밸런싱은, 카메라가 백색 표면의 이미지를 캡처할 때, 백색 표면이 디스플레이 모니터 상에서 백색으로 나타나도록 보장하기 위해 필요하다. 백색 밸런싱은, 덜 채워진 컬러 채널들(도 1의 청색 및 녹색 컬러 채널들)을 증폭하는 것, 예를 들어, 디지털 이득을 적용하여, 카메라가 백색 표면의 이미지를 캡처할 때 모든 컬러 채널들이 동등한 값을 갖게 하는 것으로 구성된다. 이들 덜 채워진 웰 신호의 증폭은 다른 컬러 신호에 비해 이들 컬러 신호의 노이즈를 증가시키고, 이것은 또한 최종 이미지에서 노이즈를 증가시킨다.

한 양태에서, 원격작동형 수술 시스템의 내시경으로부터의 비백색광이 수술 부위를 조명하는데 이용된다. 카메라는 수술 부위의 이미지를 캡처하고, 이미지는 모니터 상에 디스플레이된다. 비백색광 조명은, 백색광 조명을 이용하여 캡처되고 모니터 상에 디스플레이되는 이미지에 비해, 모니터 상에 프리젠팅된 수술 부위의 이미지에서 노이즈를 최소화한다.

수술 부위를 조명하는데 이용되는 광의 컬러가 비백색광, 예를 들어, 보라색 색조(tint)를 갖는 광일 때, 모니터 상에 디스플레이되는 이미지는 이 색조를 포함하지 않는다. 관찰자에게, 수술 부위를 조명하는 광은, 모니터에서 볼 때, 백색으로 보인다. 내시경이 환자로부터 제거되고, 내시경으로부터 방출되는 광을 직접 볼 경우에만, 혹자는 비백색광을 볼 수 있다. 비백색광은 일반 조명을 위해 이용되고 예를 들어, 특정한 해부학적 구조물을 강조하는데 이용되는 2개의 협대역 스펙트럼 광원들만의 조합과는 상이하다.

한 양태에서, 장치는 카메라와 조명기를 포함한다. 카메라는 카메라에 입사하는 광을 픽셀 세트들로 분리하도록 구성된다. 픽셀 세트들의 각각의 세트는 카메라의 상이한 컬러 채널에 있다. 한 양태에서, 카메라는 컬러 필터 어레이를 포함한다. 컬러 필터 어레이는, 카메라에 입사하는 광을 픽셀 세트들로 분리하도록 구성된다.

조명기는, 조명기가 비백색광을 출력하여 각각의 카메라 컬러 채널이 순수 반사성 표면으로부터 반사된 비백색광에 대해 대략 동일한 응답을 갖도록 구성된다. 여기서 사용될 때, 순수 반사성 표면이란, 전체의 조명 스펙트럼에 걸쳐 스펙트럼적으로 균일하고 감쇠가 동등한 조명 스펙트럼에 대한 응답을 갖는 표면을 말한다. 여기서 사용될 때, "대략 동일한" 또는 "실질적으로 동일한"이란, 반사 표면의 반사 특성차(반사 표면은 표면 상의 모든 곳에서 동일한 범위로 정확히 순수히 반사성이 아닐 수도 있다)로 인해, 및 이미지 센서의 전자 웰의 응답에서의 통상적 차이로 인해, 응답이 정확히 동일하지는 않을 수도 있지만, 응답은 이미지 센서와 표면의 결합된 허용공차 내에서 동일하다는 것을 의미한다.

한 양태에서, 조명기는 복수의 컬러 컴포넌트 조명 소스들을 포함한다. 복수의 컬러 컴포넌트 조명 소스들을 조명기가 비백색광을 출력하도록 구성된다.

또 다른 양태에서, 장치는 또한, 복수의 컬러 컴포넌트 조명 소스들에 결합된 제어기를 포함한다. 제어기는, 복수의 컬러 컴포넌트 조명 소스들 각각의 출력에 가중치부여하여 복수의 컬러 컴포넌트 조명 소스들의 출력들의 조합이 비백색광이 되도록 구성된다.

역시 또 다른 양태에서, 장치는, 카메라, 조명기, 및 제어기를 포함한다. 카메라는 카메라에 입사하는 광을 컬러 컴포넌트들로 분리하도록 구성된다. 컬러 컴포넌트들은 카메라에 의해 픽셀 세트들로서 캡처된다. 픽셀 세트들의 각각의 세트는 상이한 카메라 컬러 채널에 있다. 한 양태에서, 카메라는 컬러 필터 어레이를 포함한다. 컬러 필터 어레이는, 카메라에 입사하는 광을 픽셀 세트들로 분리하도록 구성된다.

제어기는 조명기에 결합된다. 제어기는, 조명기에 의해 출력된 광의 특성을 조절하여 카메라에 의해 캡처된 컬러 이미지에 대한 하나의 카메라 컬러 채널의 픽셀들의 신호-대-잡음비를 증가시키도록 구성된다.

한 양태에서, 조명기는 복수의 컬러 컴포넌트 조명 소스들을 포함한다. 제어기는 복수의 컬러 컴포넌트 조명 소스들에 결합된다. 제어기는, 복수의 컬러 컴포넌트 조명 소스들 중 적어도 하나의 특성을 조절하여 하나의 카메라 컬러 채널의 픽셀들의 신호-대-잡음비를 증가시키도록 구성된다.

한 양태에서, 복수의 컬러 컴포넌트 조명 소스들은 복수의 발광 다이오드들이다. 또 다른 양태에서, 복수의 컬러 컴포넌트 조명 소스들은 복수의 레이저 다이오드들이다.

한 양태에서, 제어기는, 조명기의 복수의 컬러 컴포넌트 조명 소스들의 출력을 제어하여 조명기가 비백색광을 출력해 각각의 카메라 컬러 채널이 순수 반사성 표면으로부터 반사된 비백색광에 대해 대략 동일한 응답을 갖게 하도록 구성된다. 또 다른 양태에서, 제어기는, 조명기의 복수의 컬러 컴포넌트 조명 소스들 중 적어도 하나의 조명 레벨을 변화시켜 조명기가 비백색광을 출력하게 하도록 구성된다. 또 다른 양태에서, 조명기의 복수의 컬러 컴포넌트 조명 소스들 중 적어도 하나의 조명 레벨을 변화시켜 조명기가 비백색광을 출력하게 하기 위해 고정된 필터가 이용된다. 역시 또 다른 양태에서, 비백색광을 생성하는 조명 레벨에서의 변화는, 복수의 컬러 컴포넌트 조명 소스들의 수명의 불평등 에이징 유도된 파워 소실(unequal aging induced power loss)을 조절하도록 제어된다.

또 다른 양태에서, 장치는 카메라에 의해 캡처된 단일의 컬러 이미지로부터 높은 동적 범위의 이미지를 생성하도록 구성된 이미지 처리 파이프라인을 포함한다. 이 양태에서, 제어기는, 조명기의 복수의 컬러 컴포넌트 조명 소스들 중 적어도 하나의 조명 레벨을 변화시키도록 구성된다. 조명 레벨의 변화는, 예를 들어, 스피닝 휠(spinning wheel) 또는 액정 디바이스로 구현될 수 있다.

스피닝 휠은 복수의 섹션들을 가진다. 복수의 섹션들 각각은 복수의 컬러 조명 컴포넌트들 중 하나의 컬러를 가지며, 복수의 섹션들 각각은 상이한 광 감쇠 레벨을 가진다.

한 양태에서, 액정 디바이스는, 카메라 이미지 프레임 캡처당 하나 이상의 온/오프 사이클들을 포함하는 온 및 오프 시간의 가변적 비율을 갖는 온/오프 펄스폭 변조 셔터 모드로 구성된다. 또 다른 양태에서, 액정 디바이스는 조절가능한 감쇠기로서 구성된다. 역시 또 다른 양태에서, 액정 디바이스는 파장 튜닝가능한 필터로서 구성된다.

방법은 장면을 비백색광으로 조명하는 단계를 포함한다. 비백색광은, 카메라의 각각의 카메라 컬러 채널이 순수 반사성 표면으로부터 반사된 비백색광에 대해 대략 동일한 응답을 갖도록 구성된다. 이 방법은 또한, 장면의 이미지를 카메라로 캡처하는 단계, 및 캡처된 이미지의 백색 밸런싱없이 캡처된 이미지에 기초하여 디스플레이를 위한 이미지를 출력하는 단계를 포함한다.

또 다른 방법은 컬러 이미지를 캡처하는 단계를 포함한다. 캡처된 컬러 이미지는 픽셀 세트들을 포함한다. 픽셀 세트들의 각각의 세트는 카메라의 상이한 컬러 채널에 있다. 이 방법은 또한, 픽셀 세트들로부터 높은 동적 범위의 이미지를 구성하는 단계를 포함한다.

역시 또 다른 방법은 부위를 비백색광으로 조명하는 단계를 포함한다. 비백색광은, 카메라의 각각의 카메라 컬러 채널이 부위로부터 반사된 비백색광에 대해 대략 동일한 응답을 갖도록 구성된다. 이 방법은 또한, 부위의 이미지를 카메라로 캡처하는 단계, 및 캡처된 이미지에 기초하여 디스플레이를 위한 이미지를 출력하는 단계를 포함한다.

도 1은 백색광에 의해 조명된 장면의 캡처된 이미지의 컬러 컴포넌트들에 대한 이미지 센서의 전자 웰의 종래 기술의 채움의 예시이다.
도 2는 비백색광을 출력하는 조명기를 포함하는 원격작동형 수술 시스템의 일부의 블록도이다.
도 3은 도 2의 카메라의 응답성 함수들의 예들의 예시이다.
도 4는 도 2의 조명기의 한 양태에서 각각의 발광 다이오드의 파워 스펙트럼의 그래프이다.
도 5는 도 2의 조명기로부터의 비백색광과 백색광의 비교의 그래프이다.
도 6a는 동적 컬러 채널 조명 제어 인자들을 생성하기 위한 타임라인의 개략도이다.
도 6b 내지 도 6d는 비백색광에 의해 조명된 장면의 캡처된 이미지의 컬러 컴포넌트들에 대한 이미지 센서의 전자 웰의 채움의 예시이다.
도 7은, 도 2의 조명기로부터의 다양한 컬러 컴포넌트 조명 소스들의 출력들의 기간에 대한 상대적 온 및 오프 시간들을 변화시킴으로써 비백색광을 생성하는 방법을 예시하는 도면이다.
도면들에서, 참조번호의 첫 번째 자릿수는 그 참조번호를 갖는 요소가 처음 등장하는 도면을 나타낸다.

여기서 사용될 때, 전자 입체 촬영은, 2개의 촬영 채널(즉, 좌측 및 우측 이미지를 위한 채널들)의 이용을 포함한다.

여기서 사용될 때, 입체 광학 경로는, 조직으로부터의 광을 수송하기 위한 내시경 내의 2개의 채널(예를 들어, 좌측 및 우측 이미지를 위한 채널들)을 포함한다. 각각의 채널에서 수송된 광은 조직의 상이한 뷰를 나타낸다. 광은 하나 이상의 이미지들을 형성할 수 있다. 일반성 또는 응용성을 잃지 않고, 이하에서 더 상세히 설명되는 양태들은 또한, 필드 순차 스테레오 취득 시스템 및/또는 필드 순차 디스플레이 시스템의 정황에서 이용될 수 있다.

여기서 사용될 때, 조명 경로는 조직에 조명을 제공하는 내시경 내의 경로를 포함한다.

여기서 사용될 때, 백색광은 3개의(또는 그 이상의) 가시 컬러 컴포넌트들, 예를 들어, 적색 가시 컬러 컴포넌트, 녹색 가시 컬러 컴포넌트, 및 청색 가시 컬러 컴포넌트로 구성된 가시 백색광이다. 백색광이란 또한, 예를 들어, 혹자가 가열된 텅스텐 필라멘트로부터 볼 수 있는 바와 같은 가시 스펙트럼 내의 더욱 연속적 스펙트럼을 말할 수 있다.

여기서 사용될 때, 비백색광은, 3개의(또는 그 이상의) 가시 컬러 컴포넌트들, 예를 들어, 적색 가시 컬러 컴포넌트, 녹색 가시 컬러 컴포넌트, 및 청색 가시 컬러 컴포넌트가, 백색광을 형성하는데 이용되는 조합과는 상이한 조합으로 구성된 가시 광이다. 비백색광이란 또한, 가시 전자기 스펙트럼에서 더 연속적인 스펙트럼, 예를 들어, 인간 관찰자에게 백색광으로 보이지 않고 복수의 컬러의 가시 스펙트럼들을 포함하는 가시 전자기 스펙트럼 내의 넓은 스펙트럼의 파장들을 말할 수 있다. 비백색광은, 2개의 상이한 협대역 스펙트럼 청색 광원들의 조합, 또는 특정한 조직을 구분하는데 이용되는 협대역 스펙트럼 청색 광원과 협대역 스펙트럼 녹색 광원의 조합 등의, 단 2개의 협대역 스펙트럼 광원들의 조합을 포함하지 않는다.

여기서 사용될 때, 컬러 컴포넌트는 가시 전자기 스펙트럼 내의 파장들의 스펙트럼을 가진다.

여기서 사용될 때, 가시 전자기 스펙트럼은 파장이 대략 400 나노미터(nm) 내지 700 nm의 범위이다.

여기서 사용될 때, 컬러 이미지는, 컬러 모델의 컬러 컴포넌트들의 서브셋의 조합만을 포함하는 컬러 이미지 또는 모노크롬 컬러 이미지와는 대조적으로, 컬러 모델의 컬러 컴포넌트들 모두의 조합을 포함한다. 예를 들어, 적색, 녹색, 및 청색 컬러 컴포넌트를 포함하는 컬로 모델의 경우, 컬러 이미지는, 적색, 녹색, 및 청색 컬러 컴포넌트의 조합을 포함한다. 적색 이미지, 녹색 이미지, 청색 이미지, 청색 및 녹색 이미지 등은, 이러한 이미지들은 컬러 모델의 컬러 컴포넌트들 모두의 조합을 포함하지 않기 때문에, 컬러 이미지의 정의에 포함되지 않는다.

한 양태에서, 원격작동형 수술 시스템(200)의 일부의 내시경(201)으로부터의 광은 수술 부위(203)를 조명하는데 이용된다. 조명은 비백색광이며, 예를 들어, 광은 인간이 직접 볼 때 자주빛으로 보인다. 비백색광 조명의 이용은, 때때로 외과 의사의 콘솔(250)의 디스플레이(251)이라고 하는, 입체 디스플레이(251) 상에 프리젠팅된 수술 부위(203)의 이미지에서 노이즈를 최소화한다. 외과 의사의 콘솔(250)은 때때로 콘솔(250)이라 불린다.

수술 부위(203)를 조명하는데 이용되는 광의 컬러가 비백색광, 예를 들어, 보라색 색조를 갖는 광일 때, 외과 의사의 콘솔(250)의 입체 디스플레이(251) 상에 디스플레이되는 이미지는 이 색조를 포함하지 않는다. 관찰자에게, 외과 의사의 콘솔(250)을 통해 볼 때 수술 부위(203)를 조명하는 광은 백색으로 보인다.

이하에서 더 완전하게 설명되는 바와 같이, 원격작동형 수술 시스템(200)의 카메라(220L, 220R)와 이미지 처리 파이프라인(240)은 캡처된 이미지들을 보정하여 입체 디스플레이(251) 상에 디스플레이된 수술 이미지들에서의 보라색 색조를 제거한다. 외과 의사의 외과 의사의 콘솔(250)을 종료하고, 환자로부터 내시경(201)을 끌어내고, 직접 볼 때에만, 내시경(201)으로부터 방출된 광이 외과 의사에게 비백색광으로 보인다.

본 발명의 양태들은 수술 부위(203)를 비백색광으로 조명하는 것을 가능케 하며, 원격작동형 수술 시스템(200) 내의 카메라(220L, 220R)(도 2)에 의해 수술 부위(203)의 백색광 조명을 이용하여 캡처된 이미지에 비해 개선된 신호-대-잡음비로 수술 부위(203)의 컬러 이미지를 취득하는 것을 가능케한다. 원격작동형 수술 시스템(200)의 한 예는, California주 Sunnyvale시의 Intuitive Surgical, Inc.사에 의해 상용화된 최소한도로 침습적인 원격작동형 수술 시스템 da Vinci®이다. 원격작동형 수술 시스템(200)은 단지 예시일 뿐이고, 이미지들의 신호-대-잡음비를 개선하는 비백색광 조명의 응용을 이 특정한 원격작동형 수술 시스템으로 제한하기 위한 것이 아니다. 본 개시내용에 비추어, 비백색광 조명은, 컬러 카메라에 의해 캡처된 컬러 이미지의 신호-대-잡음비를 개선하기 위해, 컬러 카메라들, 또는 컬러 카메라를 이용하는 임의의 수술 시스템에 이용될 수 있다.

이 예에서, 외과 의사의 콘솔(250)측의 외과 의사는 로봇 조작기 아암(미도시) 상에 탑재된 내시경(201)을 원격으로 조작한다. da Vinci® 수술 시스템과 연관된 다른 부품, 케이블 등이 존재하지만, 이들은 본 개시내용으로부터 산만해지는 것을 피하기 위해 도 2에 도시되지 않았다. 원격작동형 최소한도의 침습적인 수술 시스템에 관한 추가 정보는, 예를 들어, 참조에 의해 본 명세서에 포함되는, 미국 특허 출원 제11/762,165호(2007년 6월 13일 출원되고, Minimally Invasive Surgical System을 개시)와 미국 특허 번호 제6,331,181호(2001년 12월 18일 출원되고, Surgical Robotic Tools, Data Architecture, and Use을 개시)에 찾아볼 수 있다.

조명 시스템, 예를 들어, 조명기(210)는 내시경(201)에 결합된다. 한 양태에서, 조명기(210)는 광원(211) 및 조명 제어기(215)를 포함한다. 조명 제어기(215)는 광원(211)에 및 선택사항적인 가변 비백색광 장치(218)에 결합된다.

조명 제어기(215)는, 시스템 프로세스 모듈(262)과 광원(211) 사이에 접속된 비백색광 모듈(217)을 포함한다. 비백색광 모듈은 조명기(210)로부터의 출력 조명을 제어하여, 조명기(210)가, 한 양태에서, 수술 부위(203)의 일반 조명에 이용되는 비백색광을 출력하게 한다.

한 양태에서, 광원(211)은 복수의 컬러 컴포넌트 조명 소스들(212)을 포함한다. 도 2에 나타낸 양태에서, 복수의 컬러 컴포넌트 조명 소스들은 P개의 컬러 컴포넌트 조명 소스들을 포함하고, 여기서, P는 비제로 양의 정수이다. 한 양태에서, 개수 P는, 컬러 컴포넌트 조명 소스들의 조합이 종래의 넓은 스펙트럼 백색광을 제공하도록 선택된다. 또한, 비백색광을 생성하기 위해, 복수의 컬러 컴포넌트 조명 소스들(212) 중 적어도 하나의 출력 광 파워는, 종래의 넓은 스펙트럼 백색광을 생성하는데 이용되는 상태에 비해 변경되는데, 예를 들어, 증가되거나 감소된다.

한 양태에서, 복수의 컬러 컴포넌트 조명 소스들(212)은 복수의 발광 다이오드(LED)들을 포함한다. LED의 사용은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다. 복수의 컬러 컴포넌트 조명 소스들(212)은 또한, 예를 들어, LED들 대신에 복수의 레이저 소스들로 구현될 수 있다.

이 양태에서, 조명기(210)는 수술 부위(203)를 조명하기 위해 입체 내시경(201) 내의 적어도 하나의 조명 경로와 연계하여 이용된다. 조명기(210)로부터의 비백색광은 커넥터(216) 내로 향한다. 커넥터(216)는 비백색광을 입체 내시경(201) 내의 조명 경로에 제공하고, 입체 내시경은 차례로 그 광을 수술 부위(203)로 향하게 한다. 커넥터(216)와 입체 내시경(201)의 조명 경로 각각은, 예를 들어, 광 섬유 번들, 단일의 강성 또는 가요성 막대, 또는 광 섬유로 구현될 수 있다. 내시경(201)은 또한, 한 양태에서, 2개의 광학 채널, 즉, 수술 부위(203)로부터 반사된 광, 예를 들어, 반사된 비백색광을 전달하기 위한 입체 광학 경로를 포함한다. 그러나, 입체 내시경의 서용은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다. 본 개시내용에 비추어, 수술 부위(203)로부의 광을 전달하기 위한 단일의 광학 채널을 갖춘 내시경도 이용될 수 있다.

수술 부위(203)(도 2)로부터의 비백색광은 내시경(201) 내의 입체 광학 채널에 의해 카메라(220L, 220R)에 전달된다. 이하에서 더 완전히 설명되는 바와 같이, 한 양태에서, 좌측 카메라(220L)는 컬러 필터 어레이와 좌측 이미지 센서(221L)를 포함한다. 좌측 이미지 센서(221L)는 입체 내시경(201)의 좌측 채널로부터 수신된 광을 좌측 이미지(222L)로서 캡처한다. 유사하게, 이 양태에서 우측 카메라(220R)는 컬러 필터 어레이와 우측 이미지 센서(221R)를 포함한다. 우측 이미지 센서(221R)는 입체 내시경(201)의 우측 채널로부터 수신된 광을 우측 이미지(222R)로서 캡처한다. 따라서, 카메라(220L, 220R)는 컬러 필터 어레이를 이용하는 컬러 카메라이다. 그러나, 이것은 단지 예시일 뿐이고 제한적인 것을 의도하지는 않는다.

여기서, 카메라는, 카메라에 입사하는 광을 N개의 컬러 컴포넌트로 분리하도록 구성되고, 컬러 컴포넌트들은 카메라에 의해 N개 세트의 픽셀들로서 캡처되며, 픽셀 세트들의 각각의 세트는 상이한 카메라 컬러 채널에 있다. 따라서, 카메라들(220L,　220R) 각각은 복수의 컬러 채널들을 포함한다. 한 양태에서, 복수의 컬러 채널들은 N개의 컬러 컴포넌트 채널이고, 여기서, N은 양의 비제로 정수이다.

카메라(220L)는 좌측 카메라 제어 유닛(230L)과 이미지 처리 파이프라인(240)에 의해 외과 의사의 콘솔(250) 내의 입체 디스플레이(251)에 결합된다. 카메라(220R)는 우측 카메라 제어 유닛(230R)과 이미지 처리 파이프라인(240)에 의해 외과 의사의 콘솔(250) 내의 입체 디스플레이(251)에 결합된다. 카메라 제어 유닛(230L,　230R)은 시스템 프로세스(262)로부터 신호를 수신한다. 시스템 프로세스(262)는 시스템(200) 내의 다양한 제어기를 나타낸다.

디스플레이 모드 선택 스위치(252)는 신호를 사용자 인터페이스(261)에 제공하고, 사용자 인터페이스(261)는 차례로 선택된 디스플레이 모드를 시스템 프로세스(262)에 전달한다. 시스템 프로세스(262) 내의 다양한 제어기들은 조명 제어기(215) 내의 비백색광 모듈(217)을 구성하고, 원하는 이미지를 취득하도록 좌측 및 우측 카메라 제어 유닛(230L 및 230R)을 구성하며, 외과 의사가 디스플레이(250)에서 요청된 이미지를 프리젠팅받도록 취득된 이미지를 처리하는데 필요한 이미지 처리 파이프라인(240) 내의 기타 임의의 요소들을 구성한다. 이미지 처리 파이프라인(240)은, 여기서 제공된 상세사항을 제외하고, 공지된 이미지 처리 파이프라인과 동등하다.

여기서, 카메라(220L)에 의해 캡처된 이미지의 캡처, 처리, 및 디스플레이는, 카메라(220R)에 의해 캡처된 이미지의 캡처, 처리, 및 디스플레이와 동일하다. 따라서, 이하의 설명에서, 카메라(220L)와 연관된 이미지만이 이하에서 고려된다. 그 설명은 카메라(220R)와 연관된 이미지에 직접 적용가능하므로, 카메라(220R)에 대해서는 설명이 반복되지 않는다. 설명은 또한, 단일의 광학 채널을 갖는 내시경에서 단일의 카메라와 단일의 이미지 처리 파이프라인을 이용하는 시스템에 직접 적용가능하다.

앞서 언급된 바와 같이, 통상적으로, 3개의(또는 그 이상의) 가시 컬러 조명 컴포넌트들이 결합되어, 백색광, 즉, 제1 가시 컬러 컴포넌트, 제2 가시 컬러 컴포넌트 및 제3 가시 컬러 컴포넌트의 조합을 포함하는 백색광을 형성한다. 3개의 가시 컬러 컴포넌트들 각각은, 상이한 가시 컬러 컴포넌트, 예를 들어, 적색 컴포넌트, 녹색 컴포넌트, 및 청색 컴포넌트이다. 백색광을 생성하기 위해, 적색, 녹색, 및 청색 컴포넌트와 함께 청록색 컴포넌트 등의, 더 가시적인 컬러 조명 컴포넌트들이 역시 이용될 수 있다.

또한, 전술된 바와 같이, 광원(211)은, 한 양태에서, 복수의 컬러 컴포넌트 조명 소스들(212)을 포함한다. 비백색광 조명을 생성하기 위해, 한 양태에서, 비백색광 모듈(217)은, 백색광에 대해 요구되는 것에 관해, 복수의 컬러 컴포넌트 조명 소스들(212) 중 적어도 하나의 출력 광 파워를 변경한다. 비-조명기(210)의 조명 출력은 비백색광이다. 비백색광은 백색광에 비해 색조(tint)를 가진다.

도 2에서, 카메라들(220L,　220R) 및 광원(212)은 내시경(201)에 외부적인 것으로서 도시되어 있다. 그러나, 한 양태에서, 카메라들(220L,　220R) 및 광원(212)은 조직(203)에 인접한 내시경(201)의 원위 첨두에 포함된다.

조명기가 비백색광 조명을 출력하도록 조명기(210)를 구성하는 상이한 방식들이 존재한다. 한 방식은 백색 표면 캘리브레이션에 기초하고, 제2 방식은 수술 부위 이미지 캘리브레이션에 기초한다. 추가로, 복수의 컬러 컴포넌트 조명 소스들의 적어도 하나의 조명의 지속시간을 변화시키는 비백색광의 생성이 설명된다. 이들 프로세스들 각각이 차례로 고려된다.

비백색광의 백색 표면 캘리브레이션

이 양태에서, 비백색광 모드는, 카메라(220L)의 복수의 컬러 채널들 모두가 백색의 (완벽하게 반사성인) 표면을 볼 때 동일한 양의 반사된 광을 수신하게 하도록 광원(211) 내의 복수의 컬러 컴포넌트 조명 소스들(212)로부터의 조명 강도를 변화시키는 조명 제어기(215)에 의해 작동한다. 카메라(220L)가 백색 표면을 촬영할 때 컬러 채널들에 걸쳐 균등하게 광에 응답하게 하는 2개의 유익한 효과가 존재한다. 첫째, 모든 컬러 채널들은 그들의 웰 용량을 충분히 이용할 수 있는데, 즉, 어떠한 한 채널도, 또 다른 채널이 그 웰을 먼저 채우는 것으로 인해 그 웰 용량의 일부로 제약되지 않는다. 이것은 모든 픽셀들의 신호-대-잡음비를 증가시킨다. 둘째, 카메라는, 일부 컬러 채널들에 디지털 백색 밸런스 이득을 적용하여, 노이즈 증폭을 제거할 필요가 없다. 이들 효과들 양쪽 모두는 입체 디스플레이(251) 상에 디스플레이되는 최종 수술 이미지들을 향상시킨다.

여기서, 카메라(220L)의 노이즈 속성들은, 이미지 센서(221L)의 전자 웰들이 얼마나 많이 채워지는지에 완전히 의존하는 것으로 간주된다. 카메라(220L)가 광을 수집할 때, 캡처된 광은 전자들로 변환되어 이들 전자 웰(well)에 저장된다. 픽셀당 하나의 전자 웰이 존재한다. 이미지 센서(221L), 예를 들어, 카메라(220L)가 그 전자 웰들 내에 더 많은 전자를 수집함에 따라, 카메라의 신호-대-잡음비는 증가하는데, 즉, 노이즈에 대한 그 신호가 상승한다.

앞서 언급된 바와 같이, 카메라(220L)가 너무 많은 광을 수집하고 전자 웰을 과도하게 채우면, 그 전자 웰에 대한 신호는 소실되고 더 이상 유효하지 않다. 따라서, 카메라(220L)의 노출 시간은 어떠한 전자 웰도 과도하게 채우지 않고 가능한한 높게 그 전자 웰들 모두를 채우기 위해 시도하고 광을 수집하도록 설정된다. 대부분의 광을 수신하는 컬러 채널이 오버플로되려고 할 때 광의 수집을 중단하는 영향은, 다른 컬러 채널들의 전자 웰들이 가득 채워지지 않는다는 것이다. 다른 컬러 채널들의 전자 웰들은 단지 50 퍼센트만 채워질 수도 있다. 이들 덜 채워진 전자 웰들을 갖는 컬러 채널들의 신호-대-잡음비는 오버플로 직전의 전자 웰들을 갖는 컬러 채널들의 신호-대-잡음비보다 상당히 작다.

앞서 설명된 바와 같이, 보통의 백색광 조명의 경우, 카메라는, 카메라의 컬러 채널들 모두가 가득찬 또는 거의 가득찬 웰을 갖는 것은 아닐 때 더 불량한 신호-대-잡음비 성능을 가질 뿐만 아니라, 덜 가득찬 웰들로부터의 신호들은 종래 기술의 이미지 처리 스테이지에서의 백색 밸런스 스테이지의 일부로서 증폭된다.

보통의 백색광 조명과는 대조적으로, 비백색광 조명 모드의 한 양태는, 카메라(220L)의 복수의 컬러 채널들 모두가 백색의 (완벽하게 반사성인) 표면을 볼 때 동일한 양의 광을 수신하게 하도록 조명 제어기(215)에 의해 광원(211) 내의 복수의 컬러 컴포넌트 조명 소스들(212)로부터의 조명 강도를 변화시킴으로써 동작한다. 카메라(220L)의 복수의 컬러 채널들 각각은 대략 동일한 양의 광을 수신하므로, 카메라의 컬러 채널들은 모두, 어떠한 컬러 채널도 그 웰 용량에 먼저 도달하지 않기 때문에 비백색 조명 모드에서 충분히 이용될 수 없다. 대신에, 복수의 컬러 채널에 대한 웰들은 대략 동일한 시간에 그들의 웰 용량에 도달한다. 백색 표면을 촬영할 때 어떠한 컬러 채널도 그 웰 용량의 50 퍼센트에 있지 않을 것이다.

또한, 조명기(210)로부터의 비백색 조명은, 백색 표면을 볼 때 3개 모두의 카메라 채널들이 균등하게 광에 응답하게 하도록 설계되기 때문에, 백색광 조명과 함께 이용되는 이미지 처리 파이프라인(240) 내의 백색 밸런스 스테이지는 복수의 컬러 채널들 중 임의의 채널의 신호를 증폭할 필요가 없다. 복수의 컬러 채널들에 대한 신호들은 이미 동등하다. 전체적 효과는, 가득찬-웰 이용으로 인해 캡처 동안에 노이즈가 더 적고 다른 컬러 채널들에 비한 어떤 컬러 채널의 증폭이 없기 때문에, 결과 이미지에서 노이즈가 상당히 적어진다는 것이다.

카메라(220L)가 백색 표면을 보고 있을 때 카메라(220L)의 컬러 채널들이 동등하게 응답하도록 복수의 컬러 컴포넌트 조명 소스들(212) 내의 상이한 컬러 컴포넌트 조명 소스들의 강도를 증가 또는 감소시키는 방법을 결정하기 위해, 카메라(220L)의 특성이 고려되고 광원(211)의 제어가 고려된다. 앞서 언급된 바와 같이, 카메라(220R)의 고려사항은 카메라(220L)의 경우와 동일하므로, 카메라(220R)에 대해서는 설명이 반복되지 않는다. 게다가, 이하의 논의는 또한, 단지 신호 채널과 단일의 카메라만을 이용하는 내시경 시스템에도 역시 적용된다.

또한, 이하의 논의에서, 적색, 녹색, 및 청색 컬러 컴포넌트들들 이용하는 컬러 공간이 고려된다. 통상적으로, 컬러 카메라는, Bayer 컬러 필터 어레이 등의, 컬러 필터 어레이를 포함한다. 컬러 카메라의 구성과 관계없이, 이하의 논의에서는, 카메라의 적색 컬러 채널과 연관된 이미지 캡처 센서(221L)에 의해 캡처되는 제1 세트의 픽셀들이 있다. 카메라의 녹색 컬러 채널과 연관된 이미지 캡처 센서(221L)에 의해 캡처된 제2 세트의 픽셀들이 있고, 카메라의 청색 컬러 채널과 연관된 이미지 캡처 센서(221L)에 의해 캡처된 제3 세트의 픽셀들이 있다. 카메라(220L)의 복수의 N개 컬러 채널들을 나타내는 3개의 컬러 채널들의 이용은 단지 예시일 뿐이고 제한을 의미하는 것은 아니다. 또한, 3개의 컬러 채널들로서 적색, 녹색, 및 청색 컬러 채널들의 이용은 단지 예시일 뿐이고 제한을 의미하는 것은 아니다. 본 개시내용에 비추어, 본 기술분야의 통상의 기술자라면, 관심대상의 컬러 공간과 관심대상의 컬러 필터 어레이에 기초하여, 카메라(220L)와 연관된 채널의 개수와 채널들의 개수와 연관된 특정한 컬러들 양쪽 모두를 정의할 수 있다.

집합적으로 카메라의 응답성 함수라 불리는, 카메라(220L)의 렌즈(optics), 카메라(220L)에 이용되는 컬러 필터 어레이, 및 카메라(220L)의 양자 효율은 카메라(220L)이 입사광의 상이한 파장들에 어떻게 응답하는지를, 즉, 수술 부위(203)로부터의 광에 어떻게 응답하는지를 결정한다. 도 3은 카메라(220L)의 응답성 함수의 예를 도시한다. 카메라(220L)의 복수의 N개 컬러 채널들 각각에 대한 응답성 함수가 있다.

따라서, 이 예에서, 3개의 응답성 함수들, 즉, 청색 컬러 채널에 대한 하나의 응답성 함수(301), 녹색 컬러 채널에 대한 하나의 응답성 함수(302), 및 적색 컬러 채널에 대한 하나의 응답성 함수(303)가 있다. 도 3에서, 응답성 함수(301 내지 303) 각각은 곡선으로 표시되어 있다.

특정한 응답성 함수의 더 높은 값은, 카메라(220L)의 컬러 채널이 그 특정한 응답성 함수에 대한 더 낮은 값을 갖는 광의 다른 파장들에 비해 광의 그 특정한 파장에 더 응답한다는 것을 나타낸다. 예를 들어, 적색 응답성 함수(303)는, 카메라(220L)의 적색 컬러 채널은 450 내지 500 나노미터 파장 범위에서보다 600 내지 650 나노미터 파장 범위에서 더 많은 광을 통과시킨다는 것을 보여준다.

특정한 응답성 함수의 더 낮은 값은, 카메라(220L)의 컬러 채널이 그 특정한 응답성 함수에 대한 더 높은 값을 갖는 광의 다른 파장들에 비해 광의 그 특정한 파장에 덜 응답한다는 것을 나타낸다. 예를 들어, 청색 응답성 함수(301)는, 카메라(220L)의 청색 컬러 채널은 440 내지 470 나노미터 파장 범위에서보다 600 내지 650 나노미터 파장 범위에서 더 적은 광을 통과시킨다는 것을 보여준다. 응답성 함수 상의 제로값은, 카메라(220L)의 컬러 채널은 광의 그 파장을 볼 수 없다는 것을 나타낸다.

한 양태에서, 카메라(220L)의 복수의 컬러 채널들에 대한 응답성 함수들은, 행렬 R을 구성하는 3개의 컬럼 벡터둘로서 행렬 표기로 변환된다. 행렬 R은 M x N 행렬이다. 구체적으로는, 한 양태에서, 한 세트의 M개의 균일하게-이격된 파장들, 예컨대, 1 nm씩 이격된 400 nm 내지 700 nm가 선택된 다음, 이들 선택된 파장들 각각에서 응답성 함수의 값이 판독된다. 이 예에서, 각각의 응답성 함수에 대해 301개의 값들이 생성된다. 따라서, 이 예의 경우, 적색, 녹색, 및 청색 응답성 함수에 대해, M은 301과 같고 N은 3과 같다. 400 nm 내지 700 nm 범위가 응답성 함수의 모든 중요한 비제로 부분들을 포괄하고, 간격이 충분히 작은(1 nm) 한, 벡터 형태는 완전한 곡선과 동등하다. 샘플링 범위와 간격은 대개 응용에 따라 변한다.

앞서 설명된 바와 같이, 일 양태에서, 광원(211)은 복수의 P개의 컬러 컴포넌트 조명 소스들(212)을 포함한다. 예로서, 광원(211)이 4개의 상이한 컬러 컴포넌트 조명 소스들, 예를 들어, 상이한 광 강도를 방출하도록 조절될 수 있는 4개의 개별 LED들을 포함하도록 P가 4인 구현을 고려해 보자. 4개의 개별 LED들을 포함하는 조명기의 예가, 참조로 본 명세서에 포함되는, 미국 특허 출원 공개 제US　2012/0004508 A1호(2010년 8월 13일 출원되고, "Surgical Illuminator With Dual Spectrum Fluorescence"를 개시함)에 도시되어 있다.

4개의 상이한 LED들 각각의 조명 스펙트럼의 예가 도 4에 도시되어 있다. 스펙트럼(401)은 청색 컬러 컴포넌트 조명이다. 스펙트럼(402)은 청록색(cyan) 컬러 컴포넌트 조명이다. 스펙트럼(403)은 녹색 컬러 컴포넌트 조명이고, 스펙트럼(404)은 적색 컬러 컴포넌트 조명이다. 이 양태에서, 복수의 컬러 컴포넌트 조명 소스들(212) 각각은 상이한 컬러 컴포넌트 조명 소스이다.

스펙트럼(401 내지 404)은 또한 행렬 표기로 표시될 수 있다. 각각의 스펙트럼은 행렬 E의 컬럼이다. 행렬 E는 M x P 행렬이다. 구체적으로는, 한 양태에서, 한 세트의 M개의 균일하게-이격된 파장들, 예컨대, 1 nm씩 이격된 400 nm 내지 700 nm가 선택된 다음, 이들 M개의 선택된 파장들 각각에서 LED 조명 스펙트럼의 값이 판독된다.

또한, 조명 제어기(215)는 광원(211) 내의 LED들 각각의 출력 강도를 제어하고 LED들의 조명 출력들이 광학적으로 함께 결합될 때 출력들은 선형적으로 혼합되기 때문에, 내시경(201)의 원단(distal end)으로부터 방출되는 광의 스펙트럼 e ^out 은 다음과 같이 표현된다:

e ^out =diag(t) * E * w,

여기서,

e ^out 은 M x　1 컬럼 벡터로서의 방출된 스펙트럼이고,

t는 M x　1 컬럼 벡터로서 표현된 내시경의 조명 채널의 스펙트럼 전송이고,

diag(x)는 행렬의 대각선 내에 벡터 x를 배치시키는 것을 나타내고, 이 때 다른 모든 요소들은 제로이며,

w는 P x 1 단일 컬럼 가중치 벡터이고 가중치 벡터 w의 각각의 요소는 복수의 P개 LED들 내의 대응하는 LED의 강도를 결정하기 위해 비백색광 모듈(217)에 의해 이용된다.

비백색광을 달성하기 위해, 가중치 벡터 w는, LED는 음의 광을 방출할 수 없기 때문에 가중치 벡터 w의 요소들이 반드시 양이어야 한다는 제약을 조건부로, 복수의 N개 카메라 컬러 채널들 각각으로부터의 응답이 동일하도록 결정된다. 이것은 다음과 같은 행렬 형태로 기재될 수 있다:

[1] = R ^T *diag(t)*E*w, w>=0의 조건부

여기서, 목적은, 가중치 벡터 w를 구하는 것이며, [1]은 1들의 N x　1 컬럼 벡터를 나타내고, R ^T 는 응답성 함수 행렬 R의 전치 행렬인 N x M 행렬을 나타낸다.

달리 말하면, 앞선 표현은, P개의 컬러 채널 조명 제어 인자들 CCIW(가중치 벡터 w 내의 요소들)를 결정하되, 비백생광 조명 모듈(217)이 P개의 컬러 채널 조명 제어 인자들 CCIW 중 상이한 것을 광원(211) 내의 P개의 컬러 컴포넌트 조명 소스들 각각에 적용할 때, 조명기(210)가 비백색광을 출력하고, 내시경(201)에 의해 방출된 비백색광이 순수 반사성 표면, 즉, 백색 표면 상에 입사할 때, 카메라(220L)의 전자 웰들 각각이 100 퍼센트 가득 찬 레벨까지 채워지도록 결정한다.

따라서, 문제는 양의 컴포넌트만을 포함하는 가중치 벡터 w를 구하는 것이다. 제어가능한 LED들의 개수 P가 카메라 컬러 채널들의 개수 N과 같을 때, 단순 해(simple solution)는, 간단히 행렬 R ^T *diag(t)*E가 정사각형 행렬일 때 그 역을 취하는 것이다. 이 경우:

w = (R ^T *diag(t)*E) ^-1 *[1]

가중치 벡터 w가 모든 양이거나 제로인(및 R ^T *diag(t)*E가 역을 갖는) 한, 해는 존재한다. 가중치 벡터 w가 음의 컴포넌트를 갖는다면, LED들은 카메라 컬러 채널들을 등화시키도록 제어될 수 없다. 그러나, 이 상황에서, 가중치 벡터 w의 음의 컴포넌트들은 제로로 클립핑되어 가장 가깝게 되는 해를 얻을 수 있다.

그러나, 제어가능한 LED들의 개수 P가 카메라 컬러 채널들의 개수 N과 같지 않을 때, 행렬 R ^T *diag(t)*E의 역이 존재하지 않기 때문에 단순 해는 가능하지 않다. 예의 경우, 4개의 제어가능한 LED들과 3개의 컬러 채널들만을 갖는 카메라(220L)에 의해, 단순 해는 이용가능하지 않다.

이 특정한 경우에(또는 제어가능한 컬러 컴포넌트 조명 소스들의 개수 P가 컬러 채널들의 개수 N보다 클 때마다), 가중치 벡터 w의 컴포넌트들에 대해 많은 해가 존재하며, 즉, 가중치 벡터 w에 대한 복수의 상이한 해들이 순수 반사성 표면 상에 입사하는 비백색광에 대한 카메라 컬러 채널들의 웰들의 채움을 등화시킬 것이다. 구체적으로는, w에 대한 해들의 세트는 다음과 같이 표현될 수 있다:

w = w ^a + V ⁿ *α, w>=0을 조건부로 α를 변화시킴으로써

여기서,

w ^a 는 의사 역행렬 해(pseudo inverse solution)이고,

V ⁿ 은, Nx(P-N) 행렬에서 (P-N)개의 널-공간 컬럼 벡터를 정의하며, 즉, 이들은 카메라의 응답을 변화시키지 않고 해 w를 변화시킬 수 있는 방향들이며,

α는 w에 대한 한 특정한 해를 (P-N) x 1 벡터로서 정의한다.

해를 하나의 가중치 벡터 w로 제한하기 위해, 해에 관해 또 다른 제약이 부과되어야 하는데, 즉, 우리는 단일의 알파값을 결정함으로써 널-공간 값을 명시해야 한다.

가능한 제약들로는, 방출된 파워를 최대화하는 것, 방출된 파워를 최소화하는 것, 구동 전류를 최대화하는 것, 구동 전류를 최소화하는 것, 또는 심지어 외과 의사의 콘솔 외부에서 볼 때 광의 컬러를 더욱 백색 모습으로 변경하는 것이 포함되지만 이것으로 제한되는 것은 아니다. LED 구동 전자회로의 제약으로 인해, 최소 LED 강도를 최대화한 제약이 구현되었다. 본질적으로, 희망사항은, 조명 제어기(215)는 낮은 강도에서 광을 신뢰성있게 제어할 수 없기 때문에 가중치 벡터 w 내의 최소 값이 가능한 한 높도록 하는 것이다.

이러한 제약들에 대해 해결하기 위한 minimax 최적화가 존재하지만, 해(P-N = 1)에서 단 하나의 여분 자유도만이 존재하고 녹색 및 청록색 LED로부터의 조명은 항상 카메라(220L)에 대해 가장 낮았고 이들은 널 공간 벡터 V ⁿ 에서 상반되는 부호를 가졌다는 것을 경험적으로 주목했기 때문에, 가중치 벡터 w에서의 값들은 녹색 및 청록색 채널들이 동등할 때까지 널 공간 컴포넌트 알파를 스위핑(sweep)함으로써 결정되었다.

표 1은, Matlab 컴파일러 상에 컴파일된 다음 프로세서 상에서 실행되어, 녹색 및 청록색 조명 채널들이 동등할 때까지 널 공간 컴포넌트 알파를 스위핑함으로써 가중치 벡터 w를 결정하는 Matlab 컴퓨터 코드의 예이다. (MatLab은, 미국 Massachusetts주 01760 Apple Hill Drive 3에 위치한 The Mathworks, Inc.의 미국 등록 상표이다)

[표　1]

% R ^T *diag(t)*E의 특이값 분해 구하기

[U, S, V] = svd(R ^T *diag(t)*E)

% pinv 해 구하기

V ^a = V(:,1:N)

s ^a = diag(S(1:N,1:N))

w ^a = V ^a *diag(1./sa)*U ^T *1

% 널-공간 컴포넌트 구하기

v ⁿ = V(:,4)

% 녹색 (인덱스=3) 및 청록색(인덱스=2)을 동일하게 하도록 풀기.

α = (w ^a (2)-w ^a (3))./(v ⁿ (3)-v ⁿ (2))

% 최종 w 해 구하기.

w = w ^a + v ^n* α

여기서

svd(X)는 X의 특이값 분해이고,

diag(x) is x의 대각 행렬이며,

2 &　3 인덱스들은 각각 녹색 및 청록색 LED들에 대응한다.

여기서, U,S,V는 특이값 분해(singular value decomposition; svd)의 출력들이다. 특이값 분해(svd)는 행렬을 3개의 별개의 행렬들: X=USV ^T 로 분할하는 일반적 방식이고, 여기서, U와 V는 정규직교(orthonormal) 행렬이고 S는 대각 행렬이다. U, S, V로의 X의 이러한 분해는 의사-역 및 널 공간 컴포넌트들의 발견을 허용한다.

도 5는, 상기 절차를 이용한 백색광 조명(502)과 비백색광 조명(501) 사이의 차이를 도시한다. 도면에서 명백한 바와 같이, 백색광 모드에 비해 비백색광 모드에서 청색 및 적색 LED들은 녹색 및 청록색 LED들보다 훨씬 많은 광을 출력하고 있다. 한 양태에서, 백색 표면으로부터 반사될 때의 백색광에 대한 카메라(220L)의 응답은 R:61%, G:100% 및 B:67%인 반면, 비백색광을 이용한 카메라 응답은 설계된 대로 R:100%, G:100% 및 B:100%이다.

비백색광 생성의 이러한 기술은, 내시경으로부터의 광의 컬러를 조절함으로써 디스플레이된 수술 장면 내의 노이즈 감소가 달성될 수 있다는 것을 예증한다. 구체적으로는, 각각의 픽셀의 신호-대-잡음비는, 디스플레이된 수술 장면에서, 그 장면을 캡처하고 있는 카메라 또는 카메라들의 모든 컬러 채널들이 백색 표면의 관찰시에 동등하게 응답할 때, 증가될 수 있다. 신호-대-잡음비가 증가되기 때문에, 최종 수술 이미지 내의 인지된 노이즈는 감소한다.

비백색광의 장면-기반의 캘리브레이션

앞선 예에서, 비백색광 모듈(217)은, 광원(211)을 구동하여 조명기(210)가 수술 부위(203)를 비백색광으로 조명하되 비백색광이 백색 표면으로부터 반사될 때 카메라(220L)에 의해 캡처된 컬러 이미지의 백색광 컬러 밸런싱이 불필요하게금 조명하도록 구성되었다. 이것은, 보통의 백색광 조명을 이용하여 캡처되고 디스플레이(251) 상에 디스플레이되는 이미지에 비해 디스플레이(251) 상에 디스플레이되는 이미지의 신호-대-잡음비를 개선시켰다.

그러나, 비백색광은 디스플레이(251) 상에 프리젠팅되는 이미지의 신호-대-잡음비를 개선시키는 다른 방식으로 생성될 수 있다. 예를 들어, 제어기(215)는, 복수의 컬러 컴포넌트 조명 소스들(212) 중 적어도 하나의 출력 조명 레벨, 예를 들어, 출력 광 파워를 변화시켜 조명기(210)가 비백색광을 출력하게 하도록 구성된다. 복수의 컬러 컴포넌트 조명 소스들(212) 중 적어도 하나의 출력 조명 레벨의 변화는, 카메라(220L)에 의해 캡처된 컬러 장면의 컬러 컴포넌트 특성에 기초한다. 이런 방식으로 생성된 비백색광은 또한, 보통의 백색광 조명을 이용하여 캡처되고 디스플레이(251) 상에 디스플레이되는 장면에 비해 디스플레이(251) 상에 디스플레이되는 장면의 신호-대-잡음비를 개선시킨다.

한 양태에서, 컬러 채널 조명 제어 인자들 CCIW는 상이한 방식으로 생성된다. 제1 캡처된 장면 내의 정보는, 조명 제어기(215)에 의해 이용되는 컬러 채널 조명 제어 인자들 CCIW(620)를 생성하는데 이용된다.

한 양태에서, 동적 접근법은 비백색광을 생성하는데 이용되는 컬러 채널 조명 제어 인자들 CCIW를 결정한다. 예를 들어, 프레임(610)(도 6a)이 캡처되고 제1 세트의 컬러 채널 조명 제어 인자들 CCIW를 생성하는데 이용된다. 제1 세트의 컬러 채널 조명 제어 인자들 CCIW(620)는, 캡처되는 다음 Z개의 연속된 프레임들에 대해 이용되고, 여기서, Z는 양의 비제로 정수이다. Z개의 연속된 프레임들이 캡처되고, 처리되고, 디스플레이될 때, 이 시퀀스에서 프레임들 중 하나(621)는 제2 세트의 컬러 채널 조명 제어 인자들 CCIW(621)을 생성하는데 이용된다. 제2 세트의 컬러 채널 조명 제어 인자들 CCIW(621)는, 캡처되는 다음 Z개의 연속된 프레임들에 대해 이용되고, 프로세스는 계속된다.

한 양태에서, 컬러 채널 조명 제어 인자들 CCIW(621)를 생성하기 위해 시간 가중치부여된 이동 평균이 이용된다. 이 양태에서, 프레임 채널 조명 제어 인자들 CCIW_frame이 각각의 프레임에 대해 생성되고, 전술된 바와 같이, 다음 고정된 개수의 프레임들에 대해 다른 가중치부여된 프레임 채널 조명 제어 인자들 CCIW_frame으로 감소 가중되어 합산되며, 평균화되어, 가장 최근의 프레임의 프레임 채널 조명 제어 인자들 CCIW_frame은 우세하지만, 이전 프레임들의 프레임 채널 조명 제어 인자들 CCIW_frame의 (예를 들어, 선형적으로) 감소하는 부분들(fractions)이 합산되어 예를 들어, 프레임 레이트로 업데이트되는 현재 적용되는 시간 가중치부여된 이동 평균 채널 조명 제어 인자들 CCIW(621)를 주도록 한다.

한 양태에서, 수치 Z는 시스템(200)의 안정성을 유지하기 위해 프레임들의 개수의 시간 평균으로서 경험적으로 결정된다. 또 다른 양태에서, 수치 Z는 상수가 아니다. 오히려, 컬러 채널들에서의 평균 밝기가 모니터링되고, 임의의 한 컬러 채널의 평균 밝기가 미리결정된 퍼센트, 예를 들어, 5 퍼센트보다 많이 변하면, 새로운 세트의 컬러 채널 조명 제어 인자들 CCIW가 생성된다. 이 접근법은, 수술 절차 동안 카메라의 컬러 채널 내의 웰들의 채움에서의 변화를 적응적으로 보상하고 전자 웰들이 카메라의 시야에서의 수술 부위의 특성이 변할 때 최적의 채움 근방에 머물도록 컬러 채널 조명 제어 인자들 CCIW를 조절한다.

또 다른 양태에서, 캡처된 장면에 대해, 카메라(220L)의 각각의 컬러 채널 내의 픽셀들의 밝기의 히스토그램이 생성된다. 카메라(220L)의 복수의 N개의 컬러 채널들 각각 내의 픽셀들의 밝기의 히스토그램이 생성된다. 본 기술분야의 통상의 기술자에게 공지된 바와 같이, 각각의 픽셀은 그 픽셀의 밝기를 나타내는 단일 수치의 픽셀 값을 가진다. 픽셀 값은 또한, 그 픽셀에 대한 픽셀 웰의 채움의 표시이다. 따라서, 카메라(220L)의 경우, N개의 밝기 히스토그램이 생성된다― 각각의 컬러 채널에 대해 하나.

N개의 밝기 히스토그램들 각각에서, 밝기 값은 x-축 상에 플롯팅된다. 밝기 값들 각각에 대한 막대의 높이는 그 밝기 값을 갖는 컬러 채널 내의 픽셀수를 나타낸다. 밝기 히스토그램은 전체의 캡처된 이미지, 또는 캡처된 이미지 내의 관심대상 영역에 기초할 수 있다. 예를 들어, 관심대상 영역은 원격작동형 수술 시스템(200)을 이용하는 사람의 황반 내에 있는 영역으로서 정의될 수 있다. 그 컬러 채널 내의 이미지 센서(221L)의 픽셀들의 웰들의 채움의 표시는, 각각의 컬러 채널에 대한 밝기 히스토그램으로부터 유도될 수 있다. 이 표시는, 평균 값, 또는 모든 값들의 90 백분위에 대응하는 값일 수 있다.

행렬 B는 조명 제어와 카메라 센서 컬러 채널 응답 사이의 결합으로서 정의된다. 이것은, 조명 제어들인, P개 요소 벡터를 카메라 센서 컬러 채널 응답들인, N개 요소 벡터로 변환한다. 행렬 B는, 기준 레벨에서 한 번에 하나씩 조명 채널들을 온시킴으로써 측정될 수 있다. 따라서,

컬러 채널 조명 제어 인자들 CCIW는 다음과 같이 정의된다:

WFull = B * CCW

B ^-1 *WFull = CCIW

여기서,

WFull은, 각각의 컴포넌트가 카메라(220L)의 컬러 채널 내의 픽셀 웰들의 원하는 채움을 나타내는 Nx1 컬럼 벡터이고,

CCIW는, 각각의 요소가 광원(211) 내의 컬러 컴포넌트 조명 소스들 중 하나에 대한 컬러 채널 조명 제어 인자를 나타내는 Px1 컬럼 벡터이다.

P가 N과 같고 B의 역이 존재한다면, 컬러 채널 조명 제어 인자들 CCIW의 결정은 직접적이다. P가 N보다 크다면, B의 의사 역행렬이 이용된다.

행렬의 의사 역행렬은 본 기술분야의 통상의 기술자에게 공지되어 있다. 여기서 이용하기에 적합한 의사 역행렬은 Moore-Penrose 의사 역행렬이라 불린다. Moore-Penrose 의사 역행렬의 일반적 이용은, 고유 해가 없는 연립 선형 방정식들에 대한 '최적합(best fit)' 최소 제곱 해(least squares solution)를 계산하는 것이다. Moore-Penrose 의사 역행렬의 또 다른 이용은, 연립 선형 방정식들에 대한 최소(Euclidean) 놈 해(norm solution)를 구하는 것이다. 한 양태에서, 최적합 최소 제곱 해가 이용된다.

이런 방식으로 생성된 컬러 채널 조명 제어 인자들 CCIW는, 원격작동형 수술 시스템(200)에서, 전술된 바와 같이, 정적 접근법 또는 동적 접근법에서 이용될 수 있다. 컬러 채널 조명 제어 인자들 CCIW를 생성하는데 이용된 기술과는 관계없는, 비백색광 조명의 이용은, 백색광 조명을 이용하여 캡처된 이미지로부터 생성된 디스플레이된 이미지에 비해 디스플레이된 이미지에 대한 노이즈의 기여를 줄임으로써 디스플레이드(251) 상에 디스플레이된 이미지의 품질을 개선시킨다.

예로서, 카메라(220L)가 적색, 녹색, 청색 컬러 채널들을 가지며, 예를 들어, N은 3이고, 원하는 웰 채움 WFull은 각각의 컬러 채널에 대해 75 퍼센트라고 가정해 보자. 백색광 조명에 의해, 적색 채널 R(603B)은 90% 채움이고(도 6b), 녹색 채널 G(602B)는 50%이며, 청색 채널 B(601B)는 37.5%이다. 비백색광 조명에 의해, 적색 채널 R(603C)은 약 75% 채움이고(도 6c), 녹색 채널 G(602C)는 75%이며, 청색 채널 B(601C)는 약 75% 채움이다. 백색 및 비백색 조명 양쪽 모두에 대한 노이즈 플로어(noise floor)는 15%로서 취해진다. 따라서, 청색 및 녹색 컬러 컴포넌트의 신호 대 잡음비는 비백색광에 대해 개선된다.

그러나, 광원(211) 내의 복수의 컬러 컴포넌트 조명 소스들(212) 각각으로부터의 조명은 수술 부위(203)에 의해 상이하게 흡수 및 반사되기 때문에, 전자 웰들은 정확히 75 퍼센트 채움이 되지 않을 가능성이 높다. 따라서, 이 양태에서, 비백색광에 대한 카메라 채널들의 응답이 대략 동일하다고 말할 수 있을 때, 이것은, 상이한 컬러 채널들 내의 카메라의 이미지 센서의 부분들의 응답들이, 수술 부위에 의한 비백색광의 흡수와 반사에서의 차이들이 고려사항 내에 취해질 때 동일하다는 것을 의미한다. 그럼에도 불구하고, 적어도 청색 및 녹색 픽셀들에 대해 신호-대-잡음비는 개선되었다.

수술 부위(203)의 컬러 이미지에서, 녹색 및 청색 컬러 조명 컴포넌트들은 적색 컬러 조명 컴포넌트보다 덜 산란되고 적게 침투하기 때문에, 녹색 및 청색 픽셀들은 대부분의 정교한 세부사항을 제공한다. 결과적으로, 청색 및 녹색 픽셀들의 신호-대-잡음비를 개선시키는 것은 디스플레이(251) 상에 제공되는 이미지의 품질을 개선시킨다.

도 6c에 나타낸 바와 같이 채워진 웰들을 갖는 픽셀들이 디스플레이(251) 상에서의 디스플레이를 위해 직접 처리된다면, 비백색광 조명과 연관된 컬러 채널들 내의 전자 웰들의 충만으로 인해 디스플레이된 이미지는 적절한 컬러 밸런스를 갖지 않을 것이다. 따라서, 각각의 컬러 채널 내의 픽셀들이 이미지 센서로부터 회수될 때, 컬러 채널 내의 픽셀들의 값들은 컬러 채널 조명 제어 인자들 CCIW를 보상하도록 보정된다. 중성 컬러 물체(예를 들어, 백색 밸런스 타겟)의 장면이 관찰될 때 조명 제어(L0)가 백색 이미지를 생성한다고 가정하면,

I0 = B * L0

여기서,

I0=[r0,g0,b0] ^T 는, RGB 컴포넌트들이 동일한 값들을 갖는 N x 1 픽셀 밝기 행렬이고,

L0=[L01,…,L0P] ^T 는 P x 1 광 파워 출력 행렬이다.

나중에 추가 이득 A=[ccw1,…,ccwP] ^T = CCW ^T 가 L0의 상부의 조명 제어에 인가되어 L을 초래하며, 여기서, L=[L1,…,LP] ^T =[ccw1*L01,…,ccwP*L0P] ^T 이다. 조명 L에서의 카메라로부터의 컬러 응답 I=[r,g,b] ^T 이다.

K=B*A = [kr,kg,kb]

조절된 픽셀 컬러 I' = [r/kr, g/kg, b/kb] ^T 가 디스플레이에 프리젠팅되어 정확한 컬러를 달성한다. 이것은 도 6d에 나타낸 전형적인 픽셀값을 야기한다. 적색 컬러 채널에 대한 노이즈가 조금 증가한 동안, 녹색 및 청색 컬러 채널에 대한 노이즈는 감소했다. 따라서, 녹색 및 청색 컬러 채널 내의 신호들이 이미지 처리 파이프라인(240)에서 백색 컬러 밸런스 프로세스에서 증폭될 때, 신호-대-잡음비는 백색광 조명을 이용할 때보다 양호하다.

비백색광에 의한 높은 동적 범위 이미지

비디오 카메라를 이용하여 높은 동적 범위 이미지를 생성하는 표준 방법은, 비디오 카메라가 상이한 노출 레벨들에서 연속된 이미지들을 찍도록 하는 것이다. 상이하게 노출된 이미지들은 단일의 고선명 이미지로 병합된다. 이 기술은, 비디오 카메라가 프레임별로 노출 설정을 전환하는 능력을 가질 것을 요구한다. 이것은, 각각의 캡처된 프레임으로부터 디스플레이 이미지를 생성하는 비디오 카메라에 비해 사실상 감소된 프레임 레이트를 야기한다. 또한, 장면 내에 움직임이 있다면, 시간에 걸쳐 캡처된 이미지들은 단일의 고선명 이미지로 병합될 때, 움직임 아티팩트가 관찰될 확률이 높다.

높은 동적 범위의 이미지를 생성하기 위해 사진에서 이용되는 또 다른 접근법은 단계화된 중성 밀도 필터(graduated neutral density filter)를 이용하여 이미지를 캡처하는 것이다. 중성 밀도 필터는 장면의 밝은 영역들이 장면의 어두운 영역보다 많이 필터에 의해 감쇠되도록 단계화된다. 이것은 상이한 밝기의 알려진 영역들을 갖는 장면, 예를 들어, 일몰 또는 일출을 포함하는 장면에 대해 잘 동작하지만, 원격작동형 수술 시스템 내의 단계화된 중성 밀도 필터의 이용은, 수술 부위의 장면의 동일한 부분이 항상 그 장면의 가장 밝은 영역은 아니기 때문에 실용적이지 않다.

컬러 이미지를 요구하지 않는 응용에서, 카메라(220L)와 수술 부위(203)의 비백색광 조명은 모노크롬 높은 동적 범위의 이미지를 생성하는데 이용될 수 있다. 예를 들어, 진단과는 달리, 컬러 이미지는 수술 도구 또는 도구들의 네비게이션 동안에, 예를 들어, 폐 안내 네비게이션 동안에 중요하지 않을 수도 있다.

모노크롬 이미지가 허용되는 응용의 경우, 상이한 노출 설정들 또는 중성 밀도 필터와 함께 이용되도록 형성되지 않은 카메라와 비백색광 조명을 이용하여 높은 동적 범위의 이미지를 생성하는 것이 가능하다. 비백색광 모듈(217)은, 복수의 컬러 컴포넌트 조명 소스들(212)이 백색광 조명을 생성하는데 이용되는 보통의 강도 이외의 강도를 갖게끔 복수의 컬러 컴포넌트 조명 소스들(212)을 구동하도록 구성된다.

따라서, 카메라(220L)는, N개의 이미지를, 컬러 컴포넌트 조명 소스(212)들 상에서 이용되는 상이한 가중치들로 인해 사실상 상이한 노출들을 갖는 카메라의 N개의 컬러 채널들 각각에서 하나씩 캡처한다. 이들 N개의 이미지는, 중성 밀도 필터를 갖춘 카메라에 대해 이용되는 것과 동등한 방식으로 높은 동적 범위의 이미지를 생성하는데 이용된다. 따라서, 높은 동적 범위의 이미지는, 가변적인 노출 설정을 갖는 카메라 또는 임의의 특별한 필터를 요구하지 않고 획득된다. 비백색광 조명의 이용은, 원격작동형 수술 시스템에서 이용되는 컬러 필터 어레이를 갖춘 종래의 카메라를 이용한 높은 동적 범위의 이미지의 생성을 허용한다.

예시의 목적을 위해, 복수의 컬러 컴포넌트 조명 소스들(212) 내의 컬러 컴포넌트 조명 소스들의 개수 P가 3이고, 3개의 컬러 컴포넌트 조명 소스들은, 적색광 소스, 녹색광 소스, 및 청색광 소스라고 가정하자. 또한, 보통의 백색광 조명의 경우, 비백색광 모듈(217)은 3개의 광원들 각각에 동등하게 가중치부여하며, 예를 들어, 적색, 녹색, 및 청색 가중치들(컬러 채널 조명 제어 인자들 CCIW)은 1:1:1이다. 한 양태에서, 가중치들(컬러 채널 조명 제어 인자들 CCIW)은, 조명기(210)가 비백색광을 제공하도록 변경되며, 예를 들어, 적색, 녹색 및 청색 광원의 경우, 가중치들은 0.5:1.0:2.0이다.

일반적으로 컬러 컴포넌트들의 가중치들은, 수술 장면으로부터 반사된 광의 동적 범위(장면 동적 범위)에 대한 카메라(220L)의 컬러 채널들에서의 픽셀들의 동적 범위(픽셀 동적 범위)의 비율을 고려함으로써 결정된다. 장면 동적 범위에 대한 픽셀 동적 범위의 비율은 1:DR이고, 여기서, DR은 양의 비제로 정수이다. 이 예의 경우, 제1 조명 컬러 컴포넌트에 대한 최대 가중치는 제N 조명 컬러 컴포넌트에 대한 가중치의 DR배이다. 제2 내지 제(N-1) 조명 컬러 컴포넌트들에 대한 가중치들은 최소 가중치와 2의 제곱수에 의한 최대치 사이에서 균일하게 이격되어 있다. 예를 들어 픽셀 동적 범위가 1:256이고 장면 동적 범위가 1:1024이면, 이들 둘의 비율은 1:4(2²)이다. 상기 예에서, 최소 가중치는 1이므로 최대 가중치는 4였다. 1과 4 사이의 2의 제곱은 2¹=2이므로 제3 가중치는 2이다.

또 다른 예는 1:16의 비율과 3개의 컬러 컴포넌트 조명 소스들을 고려한다. 최소 가중치는 1이고 최대 가중치는 16이다. 다른 가중치는 4이다. 비율이 1:16이고 4개의 컬러 컴포넌트 소스가 있다면, 가중치들은 1:2^(4/3):2^(8/3):16일 것이다.

장면이 카메라(220L)에서 반사된 비백색광으로부터 캡처될 때, N개의 컬러 채널들 각각은, 광원(212) 내의 P개의 컬러 컴포넌트 조명 소스들의 광 출력 파워에서의 차이로 인해 상이한 반사된 광 강도로 그레이-스케일 장면을 캡처한다. N개의 그레이-스케일 장면들은 처리되어 높은 동적 범위 그레이-스케일 이미지를 생성한다. 이 처리를 행하기 위한 한 기술은, 참조로 본 명세서에 포함되는, Nayar 및 Mitsunga의 "High Dynamic Range Imaging: Spatially Varying Pixel Exposures" IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 472-479 (2000)에 설명되어 있다.

상이한 카메라 노출 설정 또는 중성 밀도 필터로 얻어진 이미지를 이용하는 것이 아니라, 상이한 강도 컬러 조명 컴포넌트들의 조합을 포함하는 비백색광 조명이 이용되어 고정된 노출 카메라로 상이한 노출 이미지를 획득한다. N개의 상이한 노출 이미지들은 동시에 캡처되므로, 움직임 아티팩트가 없다.

이전의 예는 단일 프레임에서 상이하게 노출된 이미지들을 캡처하기 위해 비백색광의 상이한 강도 컬러 컴포넌트들을 이용했다. 프레임의 노출 시간 내에서 각각의 컬러 컴포넌트 조명 소스가 출력되는 시간의 길이를 변화시킴으로써 동일한 효과가 획득될 수 있다. 이 양태에서, 비백색광 모듈(217)에 의해 적용되는 가중치들은, 백색광에 대해 이용되는 것들과 동일하지만, 스위칭 요소 또는 요소들이 비백색광 모듈(217)에 추가된다.

적색, 녹색, 및 청색 컬러 컴포넌트들의 출력 광 파워의 비율이 0.5:1:2이고 노출 시간은 시간 t인, 동일한 예를 고려해보자. 이 예의 경우, 청색 광원은 시간 (2/3.5)*t 동안 출력된다. 녹색 광원은 시간 (1/3.5)*t 동안 출력되고, 적색 광원은 시간 (0.5/3.5)*t 동안 출력된다. 따라서, 컬러 컴포넌트 광원 각각은 노출 시간의 명시된 퍼센트 상에 있도록 펄스폭 변조된다.

도 7은, 조명기(210)로부터의 출력 광을 제어하기 위해 조명기(210) 내의 적색, 청색, 및 녹색 컬러 컴포넌트 조명 소스들로부터의 출력을 변화시키는 한 예의 도명이다. 각각의 컬러 컴포넌트 조명 소스를 온 및 오프시키는 특정한 순서는, 노출 시간의 58 퍼센트 동안 청색광 소스가 온이고, 노출 시간의 28 퍼센트 동안 녹색광 소스가 온이고, 노출 시간의 14 퍼센트 동안 적색광이 온인한, 중요하지 않다. 물론, 광원들의 온 및 오프를 전환하는 것 대신에, 광원은 온 상태로 유지되고, 광원의 출력이 도 7에서 오프로 도시된 노출 시간 동안에 조명기(210)의 출력에 도달하는 것으로부터 차단되거나 방향전환될 수 있다.

상기 예들에서 이용된 광 컴포넌트 소스들의 특정한 개수와 광 컴포넌트 소스들의 가중치부여는 단지 예시일 뿐이고 이 예에서 이용되는 광 컴포넌트 소스들의 특정한 개수 및 가중치부여로 제한되지 않는다.

또 다른 예에서, 컬러 컴포넌트 조명 소스들의 출력은 도 7에 도시된 바와 같이 변하지만, 각각의 컬러 컴포넌트 조명 소스에 대해 상이한 프레임이 캡처된다. 고정된 프레임 셔터가 이용된다면, 조명의 전환은 이미지 취득과 동기화된다. 롤링 셔터가 이용된다면, 조명의 전환은, 조명 전환이 캡처된 이미지 내에 깜박임을 도입하지 않도록 하는 빈도이어야 한다. 여기서 사용될 때, 롤링 셔터는, 전체 프레임을 한 번에 캡처하는 것 대신에, 프레임의 각 행으로부터 상부에서 하부로 차례로 정보가 판독된다는 것을 의미한다.

따라서, 이 예에서, 카메라의 노출 시간은 고정되지만, 조명은 상이하게 노출된 이미지들을 획득하도록 변화된다. 이 경우에, 높은 동적 범위의 이미지는, 상이한 노출들에서 취해진 이미지들에 대해 높은 동적 범위의 이미지를 획득하기 위한 공지된 기술과 동등한 방식으로 형성된다.

조명기(210)의 출력 능력을 변화시키는 것은 다수의 방식으로 구현될 수 있다. 복수의 컴포넌트 컬러 광원들의 출력은 전술된 바와 같이 직접 제어될 수 있다. 요소(218)는, 조명기(210)로부터 출력된 광의 경로 내에 놓일 수 있는 복수의 섹션들을 갖는 스피닝 휠일 수 있다. 복수의 섹션들 각각은 복수의 컬러 컴포넌트들 중 하나의 컬러를 가지며, 복수의 섹션들 각각은 상이한 광 감쇠 레벨을 가진다. 또 다른 양태에서, 요소(218)는 제어기에 결합된 음향-광학 광 변조기(acousto-optic light modulator)이다.

대안으로서, 요소(218)는 액정 디바이스일 수 있다. 한 양태에서, 액정 디바이스는, 카메라 이미지 프레임 캡처당 하나 이상의 온/오프 사이클들을 포함하는 온 및 오프 시간의 가변적 비율을 갖는 온/오프 펄스폭 변조 셔터 모드로 구성된다. 또 다른 양태에서, 액정 디바이스는, 조절가능한 감쇠기, 예를 들어, 입구 편광기, 보상된 액정 가변 지연기, 및 출구 편광기로서 구성되고, 여기서, 입구 및 출구 편광기들은 교차된 선형 편광기들이다. 역시 또 다른 양태에서, 액정 디바이스는 파장 튜닝가능한 필터로서 구성된다. 액정 파장 튜닝가능한 필터들의 이용과 동작은 분 기술분야의 통상의 기술자에게 공지되어 있다.

따라서, 일부 양태에서, 복수의 컬러 컴포넌트 조명 소스들 중 적어도 하나의 조명 레벨을 변화시켜 조명기가 비백색광을 출력하게끔 하기 위해 고정된 필터가 이용된다.

또한, 일부 양태에서, 비백색광을 생성하는 조명 레벨에서의 변화는, 복수의 컬러 컴포넌트 조명 소스들(212)의 수명에 걸쳐 불평등 에이징 유도된 파워 소실을 조절하게끔 제어된다. 따라서, 발광 다이오드 또는 레이저 다이오드의 광 출력 파워는 에이징 유도된 파워 소실로 인해 시간에 따라 감소하므로, 컬러 채널 조명 제어 인자들 CCIW는, 정적으로 또는 동적으로 조절되어, 복수의 컬러 컴포넌트 조명 소스들(212) 각각의 불평등한 에이징 유도된 파워 소실을 보상할 수 있다.

여기서 설명된 다양한 모듈들은 프로세서 상에서 실행되는 소프트웨어, 하드웨어, 펌웨어, 또는 이 셋의 임의 조합에 의해 구현될 수 있다. 모듈들이 프로세서 상에서 실행되는 소프트웨어에 의해 구현될 때, 소프트웨어는 컴퓨터 판독가능한 명령어로서 메모리에 저장되고 컴퓨터 판독가능한 명령어는 프로세서 상에서 실행된다. 메모리의 전부 또는 일부는, 프로세서가 메모리에 결합될 수 있는 한 프로세서와는 상이한 물리적 위치에 있을 수 있다. 메모리란, 휘발성 메모리, 비휘발성 메모리, 또는 이 둘의 임의 조합을 말한다.

또한, 여기서 설명된 다양한 모듈들의 기능은, 하나의 유닛에 의해 수행되거나, 상이한 컴포넌트들 또는 상이한 모듈들간에 분할되며, 이들 각각은 하드웨어, 프로세서 상에서 실행되는 소프트웨어, 펌웨어의 임의의 조합에 의해 구현될 수 있다. 상이한 컴포넌트들 또는 모듈들간에 분할될 때, 컴포넌트들 또는 모듈들은 하나의 장소에 집중되거나 분산 처리 목적을 위해 시스템(200)에 걸쳐 분산될 수도 있다. 다양한 모듈들의 실행은, 다양한 모듈들 및 제어기(260)에 대해 전술된 프로세스들을 수행하는 방법들을 야기한다.

따라서, 프로세서는 프로세서에 의해 실행되는 명령어들을 포함하는 메모리에 결합된다. 이것은 컴퓨터 시스템 내에서, 또는 모뎀 및 아날로그 라인을 통하거나 디지털 인터페이스 및 디지털 캐리어 라인을 통한 또 다른 컴퓨터로의 접속을 통해서 달성될 수 있다.

여기서, 컴퓨터 프로그램 제품은 여기서 설명된 프로세스들의 임의의 일부 또는 전부에 대해 필요한 컴퓨터 판독가능한 코드를 저장하도록 구성된, 또는 이들 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 코드가 저장되는 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 프로그램 제품의 일부 예는, CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크 상의 서버 및 컴퓨터 판독가능한 프로그램 코드를 나타내는 네트워크를 통해 전송되는 신호이다. 비일시적 유형의 컴퓨터 프로그램 제품은, 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 명령어를 저장하도록 구성된, 또는 프로세스들의 임의의 일부 또는 전부에 대한 컴퓨터 판독가능한 명령어가 저장되는 유형의 컴퓨터 판독가능한 매체를 포함한다. 비일시적 유형의 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 및 기타의 물리적 저장 매체이다.

본 개시내용에 비추어, 여기서 설명된 프로세스들의 임의의 일부 또는 전부에서 이용되는 명령어는 운영 체제 및 사용자에게 관심대상이 되는 컴퓨터 프로그래밍 언어를 이용한 광범위한 컴퓨터 시스템 구성에서 구현될 수 있다.

본 발명의 양태 및 실시예를 예시하는 상기 설명 및 첨부된 도면들은 제한적인 것으로서 취해져서는 안된다―청구항들이 보호된 본 발명의 정의한다. 본 설명과 청구항들의 사상과 범위로부터 벗어나지 않고, 다양한 기계적, 구성적, 구조적, 전기적, 및 동작적 변경이 이루어질 수 있다. 일부 예에서, 공지된 회로, 구조, 및 기술들은, 본 발명을 흐리게 하는 것을 피하기 위하여 상세히 도시되거나 설명되지 않았다.

또한, 본 설명의 용어는 본 발명을 제한하기 위한 것이 아니다. 예를 들어, "아래의(beneath)", "아래쪽의(below)", "하위의(lower)", "위의(above)", "상위의(upper)", "근접한", "먼" 등과 같은 공간적으로 상대적인 용어들이, 도면들에 나타낸 한 요소 또는 피쳐에 대한 또 다른 요소 또는 피쳐의 관계를 설명하는데 사용될 수 있다. 이들 공간적으로 상대적인 용어들은, 도면들에 도시된 위치 및 배향 외에도, 사용 중이거나 동작 중인 디바이스의 상이한 위치(즉, 장소) 및 배향(즉, 회전적 배치)을 포괄하도록 의도된 것이다.

예를 들어, 도면 내의 디바이스가 뒤집히면, 다른 요소나 피쳐의 "아래쪽의" 또는 "아래의"로서 설명된 요소는 그 다른 요소 또는 피쳐의 "위의" 또는 "위쪽의"일 것이다. 따라서, 예시적인 용어 "아래쪽의"는 "위의" 및 "아래쪽의" 위치와 배향 양쪽 모두를 포함할 수 있다. 디바이스는 다른 방식으로 배향될 수도 있고(90도 회전되거나 기타의 배향), 여기서 사용된 공간적으로 상대적인 기술자(descriptor)는 그에 따라 해석될 수 있다.

마찬가지로, 다양한 축을 따른 및 축 주변의 움직임의 설명은 다양한 특별한 디바이스 위치와 배향을 포함한다. 단수 형태, "한(a)", "하나의(an)", 그 하나의(the)"는, 문맥상 달리 표시하지 않는 한, 복수 형태도 역시 포함하는 것을 의도한다. 용어 "포함한다(comprises)", "포함하는(comprising)", "내포한다(include)" 등은, 진술된 피쳐, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 피쳐, 단계, 동작, 요소, 컴포넌트, 및/또는 그룹의 존재나 추가를 배제하지 않는다.

결합된 것으로 설명된 컴포넌트들은 전기적으로 또는 기계적으로 직접 결합되거나, 또는 이들은 하나 이상의 중간 컴포넌트를 통해 간접 결합될 수 있다. 본 개시내용에 비추어, 보강된 디스플레이 시스템에 관하여 여기서 설명된 동작들의 임의의 하나 또는 임의의 조합에서 이용되는 명령어는 운영 체제 및 사용자에게 관심대상이 되는 컴퓨터 프로그래밍 언어를 이용한 광범위한 컴퓨터 시스템 구성에서 구현될 수 있다.

모든 예들과 예시적 참조들은 비제한적이며 청구항들을 여기서 설명된 특정한 구현 및 실시예와 그 균등물로 제한하기 위해 이용되어서는 안된다. 표제들은 단지 서식화를 위한 것일 뿐이고, 한 표제하의 본문은 하나 이상의 표제하의 본문을 상호참조하거나 이에 적용될 수 있기 때문에, 어떠한 방식으로든 본 주제를 제한하기 위해 이용되어서는 안 된다. 마지막으로, 본 개시내용에 비추어, 하나의 양태 또는 실시예와 관련하여 설명된 특정한 피쳐는, 도면에 구체적으로 도시되거나 본문에서 설명되지 않더라도, 본 발명의 다른 개시된 양태 또는 실시예에 적용될 수 있다.

Claims

시스템이며,
하나 이상의 프로세서; 및
실행가능한 명령어를 저장하는 메모리를 포함하며, 상기 실행가능한 명령어는 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금,
비백색광으로 장면을 조명하기 위해 조명기를 구성하고;
카메라의 복수의 컬러 채널에서, 비백색광으로 조명된 장면의 프레임을 캡처하기 위해 카메라를 제어하고;
상기 비백색광에 기초하여 상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하게 하는, 시스템.
제1항에 있어서,
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 것은 상기 장면의 이전에 캡처된 프레임 내의 상기 카메라의 컬러 채널의 신호 레벨에 기초하는, 시스템.
제1항에 있어서,
상기 조명기는 복수의 컬러 컴포넌트 조명 소스를 포함하고;
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 것은 복수의 컬러 컴포넌트 조명 소스에 의한 광 출력의 조합이 비백색광이도록 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 것을 포함하고;
상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하는 것은 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 것에 기초하는, 시스템.
제1항에 있어서,
상기 조명기는 복수의 컬러 컴포넌트 조명 소스를 포함하고;
상기 카메라에 의해 캡처된 비디오 스트림은 장면의 복수의 프레임을 포함하고, 상기 복수의 프레임은 프레임의 제1 세트 및 상기 프레임의 제1 세트에 후속하여 캡처된 프레임의 제2 세트를 포함하고;
상기 프레임의 제2 세트는 장면의 프레임을 포함하고, 상기 프레임의 제1 세트는 장면의 이전에 캡처된 프레임을 포함하고;
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 것은,
프레임의 제1 세트 중 하나 이상의 프레임에서 카메라에 의해 캡처된 광의 컬러 컴포넌트 특성에 기초하여, 제1 세트의 컬러 채널 조명 제어 인자를 결정하는 것 - 상기 제1 세트의 컬러 채널 조명 제어 인자는 상기 복수의 컬러 컴포넌트 조명 소스의 각각의 컬러 컴포넌트 조명 소스에 대한 컬러 채널 조명 제어 인자를 포함함 -; 및
상기 프레임의 제2 세트에 포함된 각각의 프레임에 대해, 제1 세트의 컬러 채널 조명 제어 인자에 기초하여 복수의 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 것을 포함하는, 시스템.
제4항에 있어서,
상기 제1 세트의 컬러 채널 조명 제어 인자는, 상기 장면의 이전에 캡처된 프레임에 대한 복수의 컬러 채널의 신호 레벨 또는 프레임의 제1 세트의 각각의 프레임에 대한 컬러 채널 조명 제어 인자의 시간 가중치부여된 이동 평균에 기초하여 결정되는, 시스템.
제4항에 있어서,
상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금, 추가로
상기 카메라의 컬러 채널의 평균 밝기를 모니터링하고,
상기 컬러 채널의 평균 밝기의 미리결정된 변화의 검출에 응답하여 상기 제1 세트의 컬러 채널 조명 제어 인자를 결정하게 하는, 시스템.
제4항에 있어서,
상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하는 것은 제1 세트의 컬러 채널 조명 제어 인자에 기초하는, 시스템.
제1항에 있어서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 장치로 하여금, 상기 장면의 프레임에서 카메라의 컬러 채널을 조정하게 하여 상기 장면의 프레임 내에 카메라의 컬러 채널의 신호-대-잡음비를 증가시키게 하는, 시스템.
방법이며,
컴퓨팅 디바이스에 의해, 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 단계;
컴퓨팅 디바이스에 의해, 카메라의 복수의 컬러 채널에서, 비백색광으로 조명된 장면의 프레임을 캡처하기 위해 카메라를 제어하는 단계; 및
컴퓨팅 디바이스에 의해, 상기 비백색광에 기초하여 상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하는 단계를 포함하는, 방법.
제9항에 있어서,
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 단계는 상기 장면의 이전에 캡처된 프레임 내의 상기 카메라의 컬러 채널의 신호 레벨에 기초하는, 방법.
제9항에 있어서,
상기 조명기는 복수의 컬러 컴포넌트 조명 소스를 포함하고;
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 단계는 복수의 컬러 컴포넌트 조명 소스에 의한 광 출력의 조합이 비백색광이도록 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 단계를 포함하고;
상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하는 단계는 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 단계에 기초하는, 방법.
제9항에 있어서,
상기 조명기는 복수의 컬러 컴포넌트 조명 소스를 포함하고;
상기 카메라에 의해 캡처된 비디오 스트림은 장면의 복수의 프레임을 포함하고, 상기 복수의 프레임은 프레임의 제1 세트 및 상기 프레임의 제1 세트에 후속하여 캡처된 프레임의 제2 세트를 포함하고;
상기 프레임의 제2 세트는 장면의 프레임을 포함하고, 상기 프레임의 제1 세트는 장면의 이전에 캡처된 프레임을 포함하고;
상기 비백색광으로 장면을 조명하기 위해 조명기를 구성하는 단계는,
프레임의 제1 세트 중 하나 이상의 프레임에서 카메라에 의해 캡처된 광의 컬러 컴포넌트 특성에 기초하여, 제1 세트의 컬러 채널 조명 제어 인자를 결정하는 단계 - 상기 제1 세트의 컬러 채널 조명 제어 인자는 상기 복수의 컬러 컴포넌트 조명 소스의 각각의 컬러 컴포넌트 조명 소스에 대한 컬러 채널 조명 제어 인자를 포함함 -; 및
상기 프레임의 제2 세트에 포함된 각각의 프레임에 대해, 제1 세트의 컬러 채널 조명 제어 인자에 기초하여 복수의 컬러 컴포넌트 조명 소스의 출력 조명 레벨을 가중치부여하는 단계를 포함하는, 방법.
제12항에 있어서,
상기 제1 세트의 컬러 채널 조명 제어 인자는, 상기 장면의 이전에 캡처된 프레임에 대한 복수의 컬러 채널의 신호 레벨 또는 프레임의 제1 세트의 각각의 프레임에 대한 컬러 채널 조명 제어 인자의 시간 가중치부여된 이동 평균에 기초하여 결정되는, 방법.
제12항에 있어서,
컴퓨팅 디바이스에 의해, 상기 카메라의 컬러 채널의 평균 밝기를 모니터링하는 단계; 및
컴퓨팅 디바이스에 의해, 상기 컬러 채널의 평균 밝기의 미리결정된 변화의 검출에 응답하여 상기 제1 세트의 컬러 채널 조명 제어 인자를 결정하는 단계를 더 포함하는, 방법.
제12항에 있어서,
상기 장면의 프레임 내에 카메라의 컬러 채널을 조정하는 단계는 제1 세트의 컬러 채널 조명 제어 인자에 기초하는, 방법.