KR102127100B1

KR102127100B1 - 광 부족 환경에서 ycbcr 펄싱된 조명 수법

Info

Publication number: KR102127100B1
Application number: KR1020157002704A
Authority: KR
Inventors: 로랑 블랑카르; 존 리차드슨
Original assignee: 디퍼이 신테스 프로덕츠, 인코포레이티드
Priority date: 2012-07-26
Filing date: 2013-07-26
Publication date: 2020-06-29
Also published as: US20180014000A1; AU2013295568A1; IN2015MN00022A; EP2877080B1; US11070779B2; MX346174B; CN104619237A; US20210344885A1; US9516239B2; US9762879B2; KR20150037960A; IL236896A0; JP6284937B2; CN104619237B; EP2877080A1; US20190253685A1; AU2013295568B2; JP2015525642A; HK1207551A1; BR112015001293A2

Abstract

발명은 광 부족 환경에서 제어된 광원으로부터 방출되는 루미넌스 및 크로미넌스를 가진 이미지를 생성하기 위한 방법, 시스템, 및 컴퓨터 프로그램 제품에 확장한다.

Description

광 부족 환경에서 YCBCR 펄싱된 조명 수법{YCBCR PULSED ILLUMINATION SCHEME IN A LIGHT DEFICIENT ENVIRONMENT}

관련 출원에 대한 상호참조

이 출원은 다음 언급되는 출원의 임의의 부분이 이 출원과 일관되지 않는 경우에 이 출원은 다음 언급되는 출원을 대신하는 이러한 예외를 갖고 참조로 포함되는 것으로, 특정하게 이하 나타나는 부분 -이것으로 제한되는 것은 아니다- 을 포함하여, 전체를 참조로 본원에 포함시키는 2012년 7월 26일에 출원된 미국 가 특허 출원번호 61/676,289, 2013년 3월 15일에 출원된 미국 가 특허 출원번호 61/790,487, 2013년 3월 15일에 출원된 미국 가 특허 출원번호 61/790,719 및 2013년 3월 15일에 출원된 미국 가 특허 출원번호 61/791,473의 우선권을 주장한다.

기술에서 진보는 의료 용도를 위한 이미징 능력에서 진보를 제공하였다. 가장 이익이 되는 진보 중 일부를 향유하였던 한 영역은 내시경을 구성하는 성분들에서의 진보 때문에 내시경 수술 절차의 영역이다.

발명은 일반적으로 제어된 광원으로부터 크로미넌스 및 루미넌스 펄스를 갖는 비디오 스트림을 생성하는 것에 관련하여 전자기 감지 및 센서에 관한 것이다. 발명의 특징 및 잇점은 다음 설명에 개시될 것이며, 부분적으로 설명으로부터 명백할 것이며, 혹은 과도한 실험 없이 발명의 실시예에 의해 알게 될 수 있다. 발명의 특징 및 잇점은 특히 본원에 개시된 기기 및 조합에 의해 실현되고 얻어질 수 있다.

발명의 비제한적 및 비고갈적 구현예는 달리 특정되지 않는 한 여러 도면 전체에 걸쳐 동일 구성요소에 동일 참조부호를 사용한 다음 도면을 참조하여 기술된다. 발명의 잇점은 다음 설명 및 동반된 도면에 관련하여 더 잘 이해될 것이다.
도 1은 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 그래프도이다.
도 2는 발명의 원리 및 교시되는 바에 따라 복수의 프레임에 대한 화소 어레이의 그래프도이다.
도 3a는 발명의 원리 및 교시되는 바에 따라 크로미넌스 및 루미넌스 프레임의 동작 시퀀스의 실시예의 개요도이다.
도 3b는 발명의 원리 및 교시되는 바에 따라 크로미넌스 및 루미넌스 프레임의 동작 시퀀스의 실시예의 개요도이다.
도 3c는 발명의 원리 및 교시되는 바에 따라 크로미넌스 및 루미넌스 프레임의 동작 시퀀스의 실시예의 개요도이다.
도 4는 발명의 원리 및 교시되는 바에 따라 센서 및 방출기 변조의 실시예도이다.
도 5는 발명의 원리 및 교시되는 바에 따라 센서 및 방출기 패턴의 실시예도이다.
도 6a는 발명의 원리 및 교시되는 바에 따라 센서 및 방출기 패턴의 실시예도이다.
도 6b는 발명의 원리 및 교시되는 바에 따라 센서 및 방출기 패턴의 실시예도이다.
도 7은 발명의 원리 및 교시되는 바에 따라 서로 상이한 화소 감도들의 화소를 갖는 화소 어레이의 동작의 그래프도이다.
도 8은 발명의 원리 및 교시되는 바에 따라 서로 상이한 화소 감도들의 화소를 갖는 화소 어레이의 동작의 그래프도이다.
도 9는 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 흐름도이다.
도 10은 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 흐름도이다.
도 11은 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 흐름도이다.
도 12a는 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 흐름도이다.
도 12b는 발명의 원리 및 교시되는 바에 따라 화소 어레이의 동작의 그래프도이다.
도 13은 발명의 원리 및 교시되는 바에 따라 지원 하드웨어의 실시예도이다.
도 14a 및 도 14b는 발명의 교시된 바 및 원리에 따라 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 구현예를 도시한 것이다.
도 15a 및 도 15b는 복수의 기판 상에 형성된 이미지 센서의 구현예의 사시도 및 측면도를 각각 도시한 것으로, 화소 어레이를 형성하는 복수의 화소 컬럼은 제 1 기판 상에 위치되고, 복수의 회로 컬럼은 제 2 기판 상에 위치되고 연관된 혹은 대응하는 컬럼의 회로에 한 컬럼의 화소들 간에 전기적 연결 및 통신을 도시한다.
도 16a 및 도 16b는 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 이미지 센서의 구현예의 사시도 및 측면도이며, 복수의 화소 어레이 및 이미지 센서는 복수의 기판 상에 형성된다.

발명은 주로 의료 응용에 적합할 수 있는 디지털 이미징을 위한 방법, 시스템, 및 컴퓨터 기반 제품에 확장한다. 발명의 다음 설명에서, 이의 부분을 형성하고 예시로서 발명이 실시될 수 있는 구체적 구현예를 도시한 동반된 도면을 참조한다. 다른 구현이 이용될 수 있으며 발명의 범위 내에서 구조적 변경이 행해질 수 있음이 이해된다.

루미넌스-크로미넌스 기반의 컬러 공간은 컬러 이미지 전송이 이전의 단색 CRT과 호환될 것이 요구되었을 때, 컬러 텔레비전의 출현까지 거슬러 올라간다. 루미넌스 성분은 이미지 데이터의 (컬러-무관(agnostic)) 밝기 측면에 대응한다. 컬러 정보는 남은 두 채널로 운반된다. 루미넌스 성분과 크로미넌스 성분으로 이미지 데이터의 분리는 사람 시각 시스템에 밀접히 관계되기 때문에 최근의 디지털 이미징 시스템에서 여전히 중요한 프로세스이다.

사람 망막은 두 기본적인 시각세포 유형으로서 로드(rod) 및 원뿔의 어레이를 내포한다. 로드는 밝기 정보를 제공하고 원불보다 전체적으로 약 20-팩터 더 큰 공간 밀도를 갖는다. 원뿔은 훨씬 덜 감응적이며 3개의 서로 다른 파장에서 피크 응답을 갖는 3개의 기본적 유형들이 있다. 녹색 지역에서 피크가 되는 로드의 스펙트럼 응답은 루미넌스 컬러-공간 변환 계수를 계산하기 위한 토대이다. 로드는 더 큰 밀도를 갖기 때문에, 이미지 표현의 공간적 해상도는 크로미넌스 성분에 대한 것보다 루미넌스 성분에 대해 훨씬 더 중요하다. 카메라 설계자 및 이미지 처리 기술자는 이 사실을 예를 들면 노이즈를 감소시키기 위해 크로미넌스 채널을 공간적으로 필터링하고 더 큰 상대적 시스템 대역폭을 루미넌스 데이터에 제공함으로써 몇가지 방법으로 고려하려고 추가한다.

발명의 주 요지를 기술함에 있어, 이하 개시되는 정의들에 따라 다음의 용어가 사용될 것이다.

이 명세서에서 사용되는 바와 같이, 단수표현은 맥락이 명확히 달리 언급하지 않는한 복수의 지시 대상들을 포함하는 것에 유의해야 한다.

본원에서 사용되는 바와 같이, "포함하다", "내포하다", "을 특징으로 하다"라는 용어들은 추가되는, 인용되지 않은 구성요소들 또는 방법 단계들을 배제하지 않는 포괄적(inclusive) 또는 개방형(open-ended) 용어들이다.

본원에서 사용되는 바와 같이, "로 구성되다"라는 어구는 명시되지 않은 어떠한 구성요소 또는 단계이든 배제한다.

본원에서 사용되는 바와 같이, "필수로 ~로 구성되다"라는 어구는 명시된 물질들 또는 단계들 및 청구된 발명의 기본이 되는 신규한 특징 또는 특징들에 실질적으로 영향을 미치지 않는 것들로 청구항의 범위를 제한한다.

본원에서 사용되는 바와 같이, "근단"이라는 용어는 기점에서 가장 가까운 부분의 개념을 넓게 지칭할 것이다.

본원에서 사용되는 바와 같이, "원단"이라는 용어는 일반적으로, 근단의 반대, 따라서 맥락에 따라, 기점에서 더 먼 부분, 혹은 가장 먼 부분을 지칭할 것이다.

이제 도면을 참조하면, 도 1은 통상의 CMOS 센서에 의한 단일 프레임 캡처의 기본 타이밍을 도시한 것이다. CONTINUOUS VIDEO IN A LIGHT DEFICIENT ENVIRONMENT 명칭의 함께 계류중인 미국특허 출원번호 13/952,518은 본원에 전체가 개시된 것이 되게 이 발명에 참조로서 포함시킨다. x 방향은 시간에 대응하고 대각선은 한번에 한 라인으로 데이터의 각 프레임을 판독하는 내부 포인터의 활동을 나타내는 것을 알 것이다. 동일 포인터는 다음 노출 기간을 위해 각 행의 화소들을 리셋해야 한다. 각 행에 대한 순 통합 시간은 동등하나, 그러나 이들은 롤링 리셋 및 판독 프로세스에 기인하여 서로에 관하여 시간적으로 스태거된다. 그러므로, 인접 프레임들이 광의 서로 상이한 구성을 나타내기 위해 요구되는 임의의 시나리오에 있어서, 각 행이 일관되게 하기 위한 유일한 선택지는 판독 사이클들 사이에 광을 펄싱하는 것이다. 구체적으로, 최대 가용한 기간은 블랭킹 시간과 광학 흑색 또는 광학적으로 블라인드(OB) 행이 프레임의 시작 또는 끝에서 서비스되는 임의의 시간과의 합에 대응한다.

예시적 조명 시퀀스는 4 프레임(R-G-B-G)의 반독되는 패턴이다. 컬러 필터의 바이에르 패턴에 대해, 이것은 크로미넌스보다 더 큰 루미넌스 상세를 제공한다. 이 접근법은 카메라 시스템의 제어 하에, 고속으로 레이저 또는 발광 다이오드로 장면을 스트로브하고, 고속 판독을 갖게 특별하게 설계된 CMOS 센서에 의해 달성된다. 주요 이익은 센서가 통상의 바이에르 또는 3-센서 카메라와 비교하여 현저히 적은 화소로 동일한 공간적 해상도를 달성할 수 있다는 것이다. 그러므로, 화소 어레이에 의해 점유되는 물리적 공간은 감소될 수 있다. 실제 펄스 기간은 도 2에 도시된 바와 같이 반복 패턴 내에서 상이할 수 있다. 이것은 예를 들면 더 큰 광 에너지를 요구하는 성분 혹은 더 약한 소스를 갖는 것들에 더 많은 시간을 배분하는데 유용하다. 평균 캡처되는 프레임 레이트가 최종 필요 시스템 프레임 레이트의 정수배인 한, 데이터는 간단히 적합할 때 신호 처리 체인에 버퍼될 수 있다.

모든 이들 방법을 조합함으로써 허용되는 정도까지 CMOS 센서 칩-영역을 감소시키는 기능은 소 직경(~3-10mm) 엔도스코피에 특히 유리하다. 특히, 센서가 공간-제약된 원단 단부에 위치되는 내시경 설계를 가능하게 하고 그럼으로써 고 선명 비디오를 제공하면서도 광학부의 복잡성 및 비용을 크기 감소시킨다. 이 접근법의 결과는 각 최종의 풀 컬러 이미지를 재구축하기 위해 이 데이터가 시간적으로 3개의 개별적 스냅숏으로부터 융합될 것을 요구한다는 것이다. 내시경의 기준 광학 프레임에 관하여 장면 내 임의의 움직임은 일반적으로 대상의 에지들이 각 캡처된 성분 내에 약간 서로 다른 위치들에서 나타나기 때문에, 인지되는 해상도를 저하시킬 것이다. 이 발명에서, 공간적 해상도가 크로미넌스보다 루미넌스 정보에 대해 훨씬 더 중요하다는 사실을 활용하는, 이 문제를 감소시키는 수단이 기술된다.

접근법의 토대는 각 프레임 동안 단색의 광을 파이어하는 대신에, 3개 파장의 조합을 사용하여 단일 이미지 내 모든 루미넌스 정보를 제공한다는 것이다. 크로미넌스 정보는 예를 들면, Y-Cb-Y-Cr와 같은 반복 패턴을 갖는 개별적 프레임들로부터 도출된다. 펄스 비의 기민한 선택에 의해 순 루미넌스 데이터를 제공하는 것이 가능하지만, 이것은 크로미넌스에 대해선 그렇지 않다. 그러나, 이를 위한 회피방법이 이 발명에서 제공된다.

실시예에서, 도 3a에 도시된 바와 같이, 내시경 시스템(300a)은 균일한 화소를 갖는 화소 어레이(302a)를 포함할 수 있고, 시스템(300a)은 Y (루미넌스 펄스)(304a), Cb(크로마 청색)(306a) 및 Cr(크로마 적색)(308a) 펄스들을 수신하게 동작될 수 있다.

실시예에서, 도 3b에 도시된 바와 같이, 내시경 시스템(300b)은 균일한 화소를 갖는 화소 어레이(302b)를 포함할 수 있고, 시스템은 Y (루미넌스 펄스)(304b), λY+Cb(크로마 청색)(306b) 및 δY+Cr(크로마 적색)(308b) 펄스들을 수신하게 동작될 수 있다.

실시예에서, 도 3c에 도시된 바와 같이, 내시경 시스템(300c)은 체커 패턴된 (교번하는) 화소들을 갖는 화소 어레이(302c)를 포함할 수 있고, 시스템은 Y (루미넌스 펄스)(304c), λY+Cb(변조된 크로마 청색)(306c) 및 δY+Cr(변조된 크로마 적색)(308c) 펄스들을 수신하게 동작될 수 있다. 루미넌스 프레임 내에서, 두 노출 기간은 동적범위(긴 노출 및 짧은 노출에 대응하는, YL 및 YS)을 확장할 목적으로 적용된다.

도 4는 3 파장의 펄싱된 혼합과 단색 CMOS 센서의 판독 사이클 간에, 4-프레임 사이클 내에서 일반적인 타이밍 관계를 도시한 것이다.

근본적으로 카메라의 고속 제어 및 60Hz 이상의 높은 최종의 점진적인 비디오 레이트를 가능하게 하는 단색의 CMOS 이미지 센서의 특별한 설계 하에 3개의 단색의 펄싱된 광원들이 존재한다. 단색의 적색, 녹색 및 청색 프레임들의 주기적 시퀀스는 예를 들면 R-G-B-G 패턴으로 캡처되고, 이미지 신호 프로세서 체인(ISP)에서 sRGB 이미지로 조립된다. 광-펄스 및 센서 판독 타이밍 관계가 도 5에 도시되었다. 동일 프레임 내 순 루미넌스 정보를 제공하기 위해서, 모든 3개의 소스는 RGB 공간에서 YCbCr(ITU-R BT.709 HD 표준에 따라)로 변환하는 컬러 변환 계수에 따라 변조되는 광 에너지로 일제히 펄싱된다:

ITU-R BT.709 HD 표준, ITU-R BT.601 표준, 및 ITU-R BT.2020 표준을 포함하여 -그러나 이들로 제한되지 않는다-, 그외 다른 컬러 공간 변환 표준이 발명에 의해 구현될 수 있음을 알 것이다.

백색 밸런스가 조명 영역에서 수행되고 있다면 이 변조는 백색 밸런스 변조에 더하여 부과된다.

풀 컬러 이미지를 완성하는 것은 크로미넌스의 두 성분이 제공될 것을 요구한다. 그러나, 루미넌스를 위해 적용되었던 동일 알고리즘은 RGB 계수의 일부가 음이라는 사실에 반영되는 바와 같이 사인(sign)이 있기 때문에 크로미넌스 이미지에 직접 적용될 수 없다. 이에 대한 해결책은 모든 최종의 펄스 에너지가 포지티브가 되는 충분한 크기의 루미넌스 정도를 추가하는 것이다. ISP에서 컬러 융합 프로세스가 크로미넌스 프레임의 구성을 알고 있는 한, 이들은 적합한 량의 루미넌스를 이웃 프레임에서 감함으로써 디코딩될 수 있다. 펄스 에너지 부분은 다음에 의해 주어진다:

여기에서

일반적인 경우에 대한 타이밍이 도 6a에 도시되었다. λ 팩터가 0.552와 같다면 적색 및 녹색 성분 둘 다는 정확하게 상쇄되는 것으로 판명되며, 이 경우에 Cb 정보엔 순 청색 정보만이 제공될 수 있다. 유사하게, δ= 0.650로 설정하는 것은 Cr 에 대해 청색 및 녹색 성분들을 상쇄시켜 순 적색이 된다. 이 특별한 예는 1/2⁸의 정수배로서 λ 및 δ를 도시한 도 6b에 도시되었다. 이것은 디지털 프레임 재구축(나중 논의를 참조한다)에 대한 편리한 근사화이다.

이제 도 7을 참조하면, 이 프로세스에 대한 일반적인 타이밍도가 도시되었다. 화소의 두 플래버를 위한 노출 기간은 도면에서 TX1 및 TX2로서 도시된, 이미지 센서 내에 두 내부 신호에 의해 제어된다. 사실, 이를 루미넌스 프레임에 대한 동적범위를 확장함과 동시에 행하는 것이 가능하며, 이것은 두 통합 시간이 프레임별로 조절될 수 있기 때문에 가장 필요하다(도 3a 내지 도 3c 참조). 이익은 모든 데이터가 두 프레임 대 3으로부터 도출된다면 컬러 모션 아티팩트가 덜 문제가 될 것이라는 것이다. 물론 크로미넌스 데이터에 대한 공간적 해상도의 후속 손실이 존재하는데, 그러나 이것은 앞서 논의된 이유로 이미지 질에 덜 중요하다.

단색의 넓은 동적범위 어레이의 본연의 특성은 긴 통합 시간을 갖는 화소가 짧은 통합 시간 화소가 받는 광의 확대집합을 통합해야 한다는 것이다. WIDE 동적범위 USING 단색의 센서 명칭의 함께 계류중인 미국특허 출원번호 13/952,564은 전체가 본원에 개시된 것으로 하여 이 발명에 참조로 포함된다. 루미넌스 프레임에서 정규의 넓은 동적범위 동작에 있어서, 이것은 바람직하다. 크로미넌스 프레임들에 있어서, 예를 들면, 긴 노출의 시작부터 λY+Cb을 제공하고 짧은 노출 화소가 턴 온(두 화소 유형들은 이들의 전하가 동시에 전송되게 한다)되는 지점에서 δY+Cr으로 스위칭하기 위해 펄싱은 노출 기간과 함께 제어되어야 함을 의미한다. 컬러 융합 동안, 이것은 감안될 것이다. 도 8은 이 해결책을 위한 구체적 타이밍도이다.

전형적인 ISP은 먼저 임의의 필요한 센서 및 광학 정정(이를테면 결함 화소 제거, 렌즈 쉐이딩, 등)과, 이어 백색 밸런스, 디모자익(demosaic)/컬러 융합 및 컬러 정정을 처리하는 것을 수반한다.

데이터를 표준 sRGB 공간에 두기 위해 감마를 최종으로 적용하기 전에, 전형적으로 YCbCr 또는 HSL와 같은 대안적 컬러 공간에서 수행되는 일부 동작(예를 들면, 에지 향상) 및/또는 조절(예를 들면, 포화)가 있을 수도 있을 것이다. 도 9는 R-G-B-G 펄싱 수법에 대해 적합하게 될 기본 ISP 코어를 도시한 것이다. 이 예에서, 데이터는 루미넌스 평면에서 에지 향상을 적용하고 크로미넌스의 필터링을 수행하기 위해 YCbCr로 변환되고 이어 다시 선형 RGB로 다시 변환된다.

Y-Cb-Y-Cr 펄싱 수법의 경우에, 이미지 데이터는 컬러 융합에 후에 YCbCr 공간 이미 내에 있다. 그러므로, 이 경우에 컬러 정정 등을 수행하기 위해 선형 RBG로 다시 변환하기 전에, 루미넌스 및 크로미넌스 기반의 동작을 미리 수행하는 것이 합당하. 도 10을 참조한다.

컬러 융합 프로세스는 디모자익보다 더 수월하며, 이것은 공간적 보간이 없기 때문에 바이에르 패턴에 의해 필요로 된다. 그렇지만 이것은 도 11에 도시된 바와 같이, 각 화소에 대해 가용된 필요한 모든 정보를 갖기 위해서 프레임들의 버퍼링을 요구한다. 도 12a는 두 생 캡처된 이미지당 1 풀 컬러 이미지를 생성하는 Y-Cb-Y-Cr 패턴에 대한 데이터의 파이프라이닝의 일반적 상황을 도시한 것이다. 이것은 각 크로미넌스 샘플을 두 번 사용함으로써 달성된다. 도 12b에서 60Hz 최종 비디오를 제공하는 120Hz 프레임 캡처 레이트의 구체적 예가 도시되었다.

각 화소에 대한 선형 Y, Cb 및 Cr 성분들은 이와 같이 계산될 수 있다:

n='Cb' 프레임일 때

n='Cr' 프레임일 때

x_i,n이 프레임 m 내 화소 i에 대한 입력 데이터인 경우, m은 ISP의 파이프라인 비트-폭이고 K는 컬러 융합 블록에(적용가능하다면) 입력에서 ISP 흑색 오프셋 레벨이다. 크로미넌스는 사인(sign)이 있기 때문에, 통상적으로 디지털 동적범위(2^m-1)의 50%에 중심에 놓인다.

앞서 기술된 바와 같이 동일 프레임에서 두 크로미넌스 성분들을 제공하기 위해서 두 노출이 사용된다면, 화소의 두 플래버는 두 버퍼로 분리된다. 비어있는 화소는 예를 들면 선형 보간을 사용하여 채워진다. 이 시점에서, 한 버퍼는 δY+Cr 데이터의 풀 이미지를 내포할 것이고 다른 것은 δY+Cr+λY+Cb을 내포할 것이다. δY+Cr 버퍼는 제 2 버퍼로부터 감하여져 λY+Cb를 제공한다. 이어서 Y 프레임으로부터 루미넌스 데이터의 적합한 부분이 각각에 대해 감해질 것이다.

발명의 구현은 예를 들면, 이하 더 상세히 논의되는 바와 같이, 하나 이상의 프로세서 및 시스템 메모리와 같은, 컴퓨터 하드웨어를 포함하여, 전용 또는 범용 컴퓨터를 포함하거나 이용할 수 있다. 또한, 본 발명의 범위 내에서 구현들은 컴퓨터-실행가능 명령 및/또는 데이터 구조를 탑재 또는 저장하기 위한 물리적 및 그외 다른 컴퓨터-판독가능 매체를 포함할 수 있다. 이러한 컴퓨터-판독가능 매체는 범용 혹은 전용 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 컴퓨터-실행가능 명령을 저장하는 컴퓨터-판독가능 매체는 컴퓨터 저장 매체(장치)일 수 있다. 컴퓨터-실행가능 명령을 탑재하는 컴퓨터-판독가능 매체는 전송 매체일 수 있다. 이에 따라, 제한이 아니라, 예로서, 발명의 구현들은 적어도 2개의 서로 구별되는 상이한 종류의 컴퓨터-판독가능 매체로서 컴퓨터 저장 매체(장치) 및 전송 매체를 포함할 수 있다.

컴퓨터 저장 매체(장치)는 컴퓨터-실행가능 명령 또는 데이터 구조 형태로 요망되는 프로그램 코드 수단을 저장하기 위해 사용될 수 있고 범용 또는 전용 컴퓨터에 의해 액세스될 수 있는, RAM, ROM, EEPROM, CD-ROM, 고체상태 드라이브("SSD")(예를 들면, RAM 기반), 플래시 메모리, 상-변화 메모리("PCM"), 이외 다른 유형의 메모리, 이외 다른 광학 디스크 저장장치, 자기 디스크 저장장치 혹은 이외 다른 자기 저장 장치, 혹은 이외 어떤 다른 매체를 포함한다.

"네트워크"는 컴퓨터 시스템 및/또는 모듈 및/또는 이외 다른 전자 장치들 간에 전자 데이터를 수송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 구현예에서, 센서 및 카메라 제어 유닛은 서로, 및 다른 성분들 -이들이 연결된 네트워크를 통해 연결된- 과 통신하기 위해서 네트워크될 수 있다. 정보가 네트워크 또는 또 다른 통신 연결(하드와이어, 무선, 혹은 하드와이어되거나 무선의 조합)을 통해 컴퓨터에 전송 또는 제공될 때, 컴퓨터는 연결을 전송 매체로서 적합히 인지한다. 전송 매체는 네트워크 및/또는 데이터 링크를 포함할 수 있고, 이들은 요망되는 프로그램 코드 수단을 컴퓨터-실행가능 명령 또는 데이터 구조 형태로 탑재하기 위해 사용될 수 있고, 범용 또는 전용 컴퓨터에 의해 액세스될 수 있다. 위에 조합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함될 것이다.

또한, 도 13에서 알 수 있는 바와 같이, 다양한 컴퓨터 시스템 성분들, 전송 매체에서 컴퓨터 저장 매체(장치)로(혹은 그 반대로) 자동으로 전송될 수 있는 컴퓨터-실행가능 명령 또는 데이터 구조 형태의 프로그램 코드 수단. 예를 들면, 네트워크 또는 데이터 링크를 통해 수신된 컴퓨터-실행가능 명령 또는 데이터 구조는 네트워크 인터페이스 모듈(예를 들면, "NIC") 내에 RAM 내에 버퍼되고, 이어서 종국에 컴퓨터 시스템 RAM에 및/또는 컴퓨터 시스템에 비휘발성 컴퓨터 저장 매체(장치)에 전송될 수 있다. 또한, RAM은 고체상태 드라이브(SSD 또는 PCIx 기반의 실시간 메모리 결속된 저장장치, 이를테면 융합IO)을 포함할 수 있다. 이에 따라, 컴퓨터 저장 매체(장치)는 전송 매체를 이용하는(또는 심지어는 주로) 컴퓨터 시스템 성분 내 포함될 수 있다.

컴퓨터-실행가능 명령은 예를 들면, 프로세서에서 실행되었을 때, 범용 컴퓨터, 전용 컴퓨터, 또는 전용 처리 장치가 어떤 기능 또는 일 그룹의 기능들을 수행하게 하는 명령 및 데이터를 포함한다. 컴퓨터 실행가능 명령들은 예를 들면, 어셈블리 언어, 혹은 심지어 소스 코드와 같은 바이너리, 중간 포맷 명령일 수 있다. 요지가 구조적 특징들 및/또는 방법 단계들에 특정한 언어로 기술되었을지라도, 본원에 정의된 요지는 위에 기술된 특징 혹은 단계로 반드시 제한되는 것은 아님이 이해될 것이다. 그보다는, 기술된 특징 및 단계는 청구항을 구현하는 예시적 형태로서 개시된다.

당업자는 발명이 개인용 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 메시지 프로세서, 제어 유닛, 카메라 제어 유닛, 휴대 장치, 핸드 피스, 다중-프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 태블릿, 페이저, 라우터, 스위치, 각종 저장 장치, 등을 포함하여, 많은 유형의 컴퓨터 시스템 구성을 가진 네트워크 계산 환경에서 실시될 수 있음을 알 것이다. 위에 언급된 계산 장치 중 어느 것이든 브릭 및 모타르 위치 옆에 혹은 이 내에 제공될 수 있음에 유의한다. 또한, 발명은 네트워크를 통해 링크되는(하드와이어된 데이터 링크, 무선 데이터 링크에 의해, 혹은 하드와이어된 및 무선 데이터 링크들의 조합에 의해)되는 로컬 및 원격 컴퓨터 시스템들 둘 다 작업을 수행하는 분산 시스템 환경에서 실시될 수도 있다. 분산 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치들 둘 다에 위치될 수 있다.

또한, 적합한 경우, 본원에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 성분들, 또는 아날로그 성분들 중 하나 이상에서 수행될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC) 또는 필드 프로그램가능 게이트 어레이(FPGA)는 본원에 기술된 시스템 및 절차 중 하나 이상을 수행하게 프로그램될 수 있다. 어떤 용어들은 특정 시스템 성분들을 언급하기 위해 다음 설명 및 청구항 전체에 걸쳐 사용된다. 당업자가 알게 되는 바와 같이, 성분들은 상이한 명칭들에 의해 언급될 수도 있다. 이 문서는 명칭은 상이하나 기능은 상이하지 않은 성분들 간을 구별하지는 않는다.

도 13은 예시적 계산 장치(100)를 도시한 블록도이다. 계산 장치(100)는 본원에서 논의되는 것들과 같은, 다양한 절차를 수행하기 위해 사용될 수 있다. 계산 장치(100)는 서버, 클라이언트, 혹은 이외 어떤 다른 계산 실체로서 기능할 수 있다. 계산 장치는 본원에서 논의되는 다양한 모니터링 기능을 수행할 수 있고, 본원에 기술된 응용 프로그램과 같은 하나 이상의 응용 프로그램을 실행할 수 있다. 계산 장치(100)는 데스크탑 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 휴대 컴퓨터, 카메라 제어 유닛, 태블릿 컴퓨터, 등과 같은 매우 다양한 계산 장치 중 어느 것일 수 있다.

계산 장치(100)는 하나 이상의 프로세서(들)(102), 하나 이상의 메모리 장치(들)(104), 하나 이상의 인터페이스(들)(106), 하나 이상의 대량 저장 장치(들)(108), 하나 이상의 입력/출력(I/O) 장치(들)(110), 및 디스플레이 장치(130) -이들 모두는 버스(112)에 결합된다- 를 포함한다. 프로세서(들)(102)는 메모리 장치(들)(104) 및/또는 대량 저장 장치(들)(108)에 저장되는 명령들을 실행하는 하나 이상의 프로세서 또는 제어기를 포함한다. 프로세서(들)(102)은 또한 캐시 메모리와 같은 다양한 유형의 컴퓨터-판독가능 매체를 포함할 수 있다.

메모리 장치(들)(104)는 휘발성 메모리(예를 들면, 랜덤 액세스 메모리(RAM)(114)) 및/또는 비휘발성 메모리(예를 들면, 판독전용 메모리(ROM)(116))와 같은 다양한 컴퓨터-판독가능 매체를 포함한다. 메모리 장치(들)(104)는 또한 플래시 메모리와 같은 재기입가능 ROM을 포함할 수 있다.

대량 저장 장치(들)(108)은 자기 테이프, 자기 디스크, 광학 디스크, 고체상태 메모리(예를 들면, 플래시 메모리), 등과 같은 다양한 컴퓨터 판독가능 매체를 포함한다. 도 13에 도시된 바와 같이, 특정 대량 저장 장치는 하드 디스크 드라이브(124)이다. 여러 드라이브들 또한 여러 컴퓨터 판독가능 매체로부터 판독 및/또는 이에 기입할 수 있게 대량 저장 장치(들)(108) 내에 포함될 수 있다. 대량 저장 장치(들)(108)는 착탈가능 매체(126) 및/또는 비착탈가능 매체를 포함한다.

I/O 장치(들)(110)은 데이터 및/또는 다른 정보가 계산 장치(100)에 입력되거나 이로부터 인출될 수 있게 하는 다양한 장치를 포함한다. 예시적 I/O 장치(들)(110)는 디지털 이미징 장치, 전자기 센서 및 방출기, 커서 제어 장치, 키보드, 키패드, 마이크로폰, 모니터 또는 이외 다른 디스플레이 장치, 스피커, 프린터, 네트워크 인터페이스 카드, 모뎀, 렌즈, CCD 또는 다른 이미지 캡처 장치, 등을 포함한다.

디스플레이 장치(130)는 계산 장치(100)의 하나 이상의 사용자에게 정보를 디스플레이할 수 있는 임의의 유형의 장치를 포함한다. 디스플레이 장치(130)의 예는 모니터, 디스플레이 단말, 비디오 프로젝션 장치, 등을 포함한다.

인터페이스(들)(106)은 계산 장치(100)가 다른 시스템, 장치, 또는 계산 환경과 상호작용할 수 있게 하는 여러 인터페이스를 포함한다. 예시적 인터페이스(들)(106)은 이를테면 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 무선 네트워크, 및 인터넷에 대한 인터페이스와 같은, 임의의 수의 서로 다른 네트워크 인터페이스(120)를 포함할 수 있다. 이외 다른 인터페이스(들)은 사용자 인터페이스(118) 및 주변 장치 인터페이스(122)를 포함한다. 인터페이스(들)(106)는 또한 하나 이상의 사용자 인터페이스 요소(118)를 포함할 수 있다. 또한, 인터페이스(들)(106)는 프린터, 포인팅 장치(마우스, 트랙 패드, 등), 키보드, 등을 위한 인터페이스와 같은 하나 이상의 주변 인터페이스를 포함할 수 있다.

버스(112)는 프로세서(들)(102), 메모리 장치(들)(104), 인터페이스(들)(106), 대량 저장 장치(들)(108), 및 I/O 장치(들)(110)이 버스(112)에 결합된 다른 장치 또는 성분 뿐만 아니라, 서로 통신할 수 있게 한다. 버스(112)는 시스템 버스, PCI 버스, IEEE 1394 버스, USB 버스, 등과 같은 몇몇 유형들의 버스 구조 중 하나 이상을 나타낸다.

예시 목적을 위해, 프로그램 및 이외 다른 실행가능한 프로그램 성분은 이러한 프로그램 및 성분이 여러 시간들에서 계산 장치(100)의 서로 다른 저장 성분들 내 놓여지고 프로세서(들)(102)에 의해 실행되는 것으로 이해될지라도, 본원에 별개의 블록들로서 도시되었다. 대안적으로, 본원에 기술되는 시스템 및 절차는 하드웨어로, 혹은 하드웨어, 소프트웨어, 및/또는 펌웨어의 조합으로 구현될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC)는 본원에 기술된 시스템 및 절차 중 하나 이상을 수행하게 프로그램될 수 있다.

도 14a 및 도 14b는 발명의 교시된 바 및 원리에 따라 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 모노리식 센서(2900)의 구현의 사시도 및 측면도를 각각 도시한 것이다. 이러한 구현예는 3차원 이미지 캡처를 위해 바람직할 수 있는 것으로 두 화소 어레이(2902, 2904)는 사용 동안 오프셋될 수 있다. 또 다른 구현예에서, 제 1 화소 어레이(2902) 및 제 2 화소 어레이(2904)는 전자기 방사의 소정의 범위의 파장을 수신하는 것에 전용될 수 있고, 제 1 화소 어레이는 제 2 화소 어레이와는 상이한 범위의 파장에 전용된다.

도 15a 및 도 15b는 복수의 기판 상에 형성된 이미지 센서(3000)의 구현의 사시도 및 측면도를 각각 도시한 것이다. 도시된 바와 같이, 화소 어레이를 형성하는 복수의 화소 컬럼(3004)은 제 1 기판(3002) 상에 위치되고, 복수의 회로 컬럼(3008)은 제 2 기판(3006) 상에 위치된다.

또한 도면에는 이의 연관된 또는 대응하는 컬럼의 회로에 한 컬럼의 화소들 간에 전기적 연결 및 통신이 도시되었다. 일 구현예에서, 단일 모노리식 기판/칩 상에 자신의 화소 어레이 및 지원회로와 함께 제조되었을 이미지 센서는 모든 또는 대부분의 지원회로로부터 분리된 화소 어레이를 가질 수 있다. 발명은 3차원 적층 기술을 사용하여 함께 적층될 적어도 2개의 기판/칩을 사용할 수 있다.

두 기판/칩의 제 1(3002)은 이미지 CMOS 프로세스를 사용하여 처리될 수 있다. 제 1 기판/칩(3002)은 화소 어레이로만 혹은 제한된 회로에 의해 둘러싸인 화소 어레이로 구성될 수 있다. 제 2 또는 후속 기판/칩(3006)은 임의의 프로세스를 사용하여 처리될 수 있고, 이미지 CMOS 프로세스로부터 될 필요는 없다. 제 2 기판/칩(3006)은 기판/칩 상에 매우 제한된 공간 또는 영역 내에 다양한 다수의 기능을 통합하기 위해서 고밀도 디지털 프로세스, 혹은 예를 들면 정밀한 아날로그 기능을 통합하기 위해서 혼합-모드 또는 아날로그 프로세스, 혹은 무선 능력을 구현하기 위해서 RF 프로세스, 혹은 MEMS 장치를 통합하기 위해서 MEMS(마이크로-전기-기계 시스템)일 수 있는데, 그러나 이들로 제한되지 않는다.

이미지 CMOS 기판/칩(3002)은 임의의 3차원 기술을 사용하여 제 2 또는 후속 기판/칩(3006)과 적층될 수 있다. 제 2 기판/칩(3006)은 주변 회로로서 제 1 이미지 CMOS 칩(3002)(모노리식 기판/칩 상에 구현된다면) 내 구현되고 따라서 화소 어레이 크기를 일정하게 유지하고 가능한 최대 범위에 최적화되면서 전체 시스템 영역을 증가시켰을 수도 있었을 대부분, 혹은 대다수의 회로를 지원할 수 있다. 두 기판/칩 간에 전기적 연결은 와이어본딩, 범프 및/또는 TSV(Through Silcon Via)일 수 있는 상호연결(3003, 3005)을 통해 행해질 수 있다.

도 16a 및 도 16b는 3차원 이미지를 생성하기 위한 복수의 화소 어레이를 갖는 이미지 센서(3100)의 구현예의 사시도 및 측면도를 각각 도시한 것이다. 3차원 이미지 센서는 복수의 기판 상에 형성될 수 있고 복수의 화소 어레이 및 다른 연관된 회로를 포함할 수 있고, 제 1 화소 어레이를 형성하는 복수의 화소 컬럼(3104a) 및 제 2 화소 어레이를 형성하는 복수의 화소 컬럼(3104b)는 각각 각각의 기판(3102a, 3102b) 상에 위치되며 복수의 회로 컬럼(3108a, 3108b)는 별도의 기판(3106) 상에 위치된다. 또한, 회로의 연관된 혹은 대응하는 컬럼에 화소의 컬럼들 간에 전기적 연결 및 통신이 도시되었다.

발명의 교시된 바 및 원리는 발명의 범위 내에서 재사용가능 장치 플랫폼, 제한된 사용 장치 플랫폼, 재-포즈가능 사용 장치 플랫폼, 또는 단일-사용/처분가능 장치 플랫폼에서 사용될 수 있음을 알 것이다. 재사용가능 장치 플랫폼에서 최종-사용자는 장치의 세정 및 살균에 책임이 있음을 알 것이다. 제한된 사용 장치 플랫폼에서 장치는 동작불가해지기 전에 어떤 특정된 시간량 동안 사용될 수 있다. 전형적인 새로운 장치는 추가의 사용전에 추가의 사용이 최종-사용자가 세정 및 살균할 것을 요구함과 함께 살균하여 전달된다. 재-포즈가능 사용 장치 플랫폼에서, 제 3자는 새로운 유닛보다 낮은 비용으로 추가의 사용을 위해 단일-사용 장치로 장치를 재처리(예를 들면, 세정, 패키징 및 살균)할 수 있다. 단일-사용/처분가능 장치 플랫폼에서, 장치는 작업실에서 살균하여 제공되고 처분되기 전에 1회만 사용된다.

또한, 발명의 교시된 바 및 원리는 적외선(IR), 자외선(UV), 및 X-선과 같은 가시 및 비가시 스펙트럼을 포함한, 전자기 에너지의 임의의 및 모든 파장을 포함할 수 있다.

실시예에서, 주변 광 부족 환경들에서 내시경에 사용하기 위한 디지털 이미징 방법은 광 부족 환경 내에 조명을 야기하게 전자기 방사의 파장의 복수의 펄스를 방출하게 방출기를 작동시키는 단계; 펄스는 전자기 스펙트럼의 제 1 부분을 포함하는 제 1 파장 범위 내에 있는 제 1 펄스를 포함하고; 펄스는 전자기 스펙트럼의 제 2 부분을 포함하는 제 2 파장 범위 내에 있는 제 2 펄스를 포함하고; 펄스는 전자기 스펙트럼의 제 3 부분을 포함하는 제 3 파장 범위 내에 있는 제 3 펄스를 포함하고; 소정의 간격으로 상기 복수의 펄스들을 펄싱하는 단계; 상기 펄스로부터 반사된 전자기 방사를 화소 어레이로 감지하여 복수의 이미지 프레임을 생성하는 단계; 상기 화소 어레이는 상기 방출기의 상기 펄스 간격에 대응하는 감지 간격으로 판독되고; 비디오 스트림을 형성하기 위해 복수의 이미지 프레임을 조합함으로써 이미지들의 스트림을 생성하는 단계를 포함할 수 있다. 실시예에서, 상기 제 1 펄스는 크로미넌스 적색을 포함한다. 실시예에서, 상기 제 2 펄스는 크로미넌스 청색을 포함한다. 실시예에서, 상기 제 3 펄스는 루미넌스 펄스을 포함한다. 실시예에서, 상기 루미넌스 펄스는 적색 펄스 및 청색 펄스 및 녹색 펄스를 펄싱함으로써 생성된다. 이러한 실시예에서, 상기 적색 펄스는 적색 펄스가 양의 크로미넌스 값을 갖게 청색 및 녹색 펄스에 관하여 변조된다. 실시예에서, 상기 청색 펄스는 청색 펄스가 양의 크로미넌스 값을 갖게 적색 및 녹색 펄스에 관하여 변조된다. 실시예에서, 상기 녹색 펄스는 녹색 펄스가 양의 크로미넌스 값을 갖게 청색 및 적색 펄스에 관하여 변조된다. 실시예에서, 방법은 각 펄스의 크로미넌스 값이 양이 되게 하는 값에 의해 복수의 펄스들을 변조하는 단계를 더 포함한다. 실시예에서, 방법은 이미지 스트림 구축 동안으로부터 펄스 변조 값을 제거하는 단계를 더 포함한다. 이러한 실시예에서, 변조의 프로세스는 루미넌스 값을 복수의 펄스에 더하는 단계를 포함한다. 실시예에서, 변조를 위한 루미넌스 값은 (1/2)⁸의 배수인 정수이다. 실시예에서, 0.552의 변조를 위한 루미넌스 값은 적색 크로미넌스 및 녹색 크로미넌스를 상쇄시킨다. 실시예에서, 0.650의 변조를 위한 루미넌스 값은 청색 크로미넌스 및 녹색 크로미넌스를 상쇄시킨다. 실시예에서, 방법은 이미지 프레임의 스트림을 생성하면서 노이즈를 감소시키는 단계를 포함한다. 실시예에서, 방법은 이미지 프레임의 스트림을 생성하면서 백색 밸런스를 조절하는 단계를 더 포함한다. 실시예에서, 상기 제 3 펄스는 제 1 및 제 2 펄스만큼 종종 2번의 펄스들인 루미넌스 펄스이다. 실시예에서, 상기 루미넌스 펄스는 화소 어레이 내에 긴 노출 화소 및 짧은 노출 화소들에 의해 감지된다. 실시예에서, 방법은 복수의 화소 어레이에 의해 발생된 데이터를 감지하고 상기 데이터를 3차원 이미지 스트림으로 조합하는 단계를 더 포함한다.

본원에 개시된 여러 특징들은 이 기술에 유의한 잇점 및 진보를 제공함을 알 것이다. 다음 청구항은 이들 특징들의 일부의 전형이다.

발명의 전술한 상세한 설명에서, 발명의 여러 특징들은 발명을 간소화할 목적으로 단일 실시예에서 함께 그룹화된다. 발명의 이 방법은 청구된 발명이 각 청구항에 분명하게 인용된 것보다 더 많은 특징들을 요구하는 발명을 반영하는 것으로서 해석되지 않아야 한다. 그보다는, 발명의 측면들은 단일의 전술한 개시된 실시예의 모든 특징들 미만 이내에 놓여 있다.

위에 기술된 배열은 발명의 원리의 응용을 단지 예시하는 것임을 이해해야 한다. 발명의 정신 및 범위 내에서 당업자들에 의해 많은 수정들 및 대안적 배열들이 구상되며 청구된 청구항들은 이러한 수정들 및 배열들을 포함하게 의도된다.

이에 따라, 발명이 도면들에 도시되고 특징적으로 그리고 상세히 위에 기술되었지만 크기, 물질들, 형상, 형태, 기능 및 동작 방식, 조립 및 사용에 변화들을 포함하여 -이들로 제한되지 않는다- 수많은 수정들이 본원에 개시된 원리 및 개념 내에서 행해질 수 있음이 당업자들에게 명백할 것이다.

또한, 적합한 경우, 본원에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 성분, 또는 아날로그 성분 중 하나 이상으로 수행될 수 있다. 예를 들면, 하나 이상의 응용특정의 집적회로(ASIC)는 본원에 기술된 시스템들 및 절차들 중 하나 이상을 수행하게 프로그램될 수 있다. 어떤 용어들은 특정 시스템 성분들을 언급하기 위해 다음 설명 및 청구항들 전체에 걸쳐 사용된다. 당업자가 알게 되는 바와 같이, 성분들은 상이한 명칭들에 의해 언급될 수도 있다. 이 문서는 명칭은 상이하나 기능은 상이하지 않은 성분들 간을 구별하지는 않는다.

Claims

주변 광 부족 환경에서 디지털 이미징을 위한 시스템에 있어서,
전자기 방사를 감지하기 위한, 화소들의 어레이를 포함하는 이미지 센서;
전자기 방사의 복수의 펄스를 방출하게 구성된 방출기; 및
프로세서를 포함하되, 상기 이미지 센서 및 상기 방출기와 전기적으로 통신하는 제어기;
상기 제어기는,
복수의 이미지 기준 프레임들을 생성하기 위해, 상기 방출기로부터 방출된 상기 전자기 방사의 복수의 펄스 각각을, 상기 이미지 센서의 판독 사이클과 동기화하고;
상기 복수의 이미지 프레임은,
루미넌스 데이터를 포함하는 루미넌스 프레임 및 크로미넌스 데이터를 포함하는 크로미넌스 프레임을 포함하고, 컬러 이미지를 형성하기 위해 조합되는,
시스템.
제 1 항에 있어서,
상기 방출기는,
각각이 전자기 스펙트럼 일부의 펄스를 방출하는 복수의 소스를 포함하는, 시스템.
제 2 항에 있어서,
상기 복수의 소스는, 동시에 작동되게 구성되는, 시스템.
제 2 항에 있어서,
상기 복수의 소스는, 미리 설정된 간격의 펄스를 생성하게 구성되는, 시스템.
제 1 항에 있어서,
상기 전자기 방사의 복수의 펄스는, 루미넌스 정보를 제공하기 위해, 광 에너지를 적색, 녹색 및 청색 광 에너지 영역에서 루미넌스, 크로미넌스 청색 및 크로미넌스 적색 광 에너지 영역으로 변환하는 색 변환 계수에 따라 변조되는, 시스템.
제 1 항에 있어서,
상기 전자기 방사의 복수의 펄스는, 크로미넌스 정보를 제공하기 위해, 광학 에너지를 적색, 녹색 및 청색 광학 에너지 영역에서 루미넌스, 크로미넌스 청색 및 크로미넌스 적색 광학 에너지 영역으로 변환하는 색 변환 계수에 따라 변조되는, , 시스템.
제 6 항에 있어서, 상기 크로미넌스 정보는 청색인, 시스템.
제 6 항에 있어서, 상기 크로미넌스 정보는 적색인, 시스템.
제 1 항에 있어서,
상기 방출기는, 루미넌스 - 크로미넌스 청색 - 루미넌스 - 크로미넌스 적색의 펄싱 패턴을 생성하는, 시스템.
제 1 항에 있어서,
상기 방출기는,
루미넌스 - 크로미넌스 적색과 조합된 크로미넌스 청색 - 루미넌스 - 크로미넌스 적색과 조합된 크로미넌스 청색의 펄싱 패턴을 생성하는, 시스템.
제 1 항에 있어서,
상기 제어기는,
결과적인 프레임들을 재구축하기 위해 1회 이상 크로미넌스 프레임들을 사용하게 구성된, 시스템.
제 1 항에 있어서,
루미넌스 값은, 이미지 신호 프로세서에 의해, 크로미넌스 프레임에 더해지고,
상기 루미넌스 값은, (1/2)ⁿ의 배수인 정수인, 시스템.
제 1 항에 있어서,
상기 이미지 센서는, 개별적으로 판독되게 구성된, 균일한 단색 화소들을 포함하는, 시스템.
제 13 항에 있어서,
상기 균일한 단색 화소들은,
상기 전자기 방사의 복수의 펄스에 노출된 후에 판단되고,
상기 전자기 방사의 복수의 펄스는,
긴 노출 및 짧은 노출을 갖는, 시스템.
제 13 항에 있어서,
상기 이미지 센서는 단색 센서인, 시스템.
제 1 항에 있어서,
상기 이미지 센서는, 복수의 화소 감도들을 갖는 화소들을 포함하고,
상기 화소들은, 서로 다른 파장의 전자기 방사에 민감한,, 시스템.
제 16 항에 있어서,
상기 화소 감도들은 긴 노출 및 짧은 노출을 포함하는, 시스템.
제 17 항에 있어서,
상기 이미지 센서는,
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 루미넌스 프레임,
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 적색 크로미넌스 프레임, 및
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 청색 크로미넌스 프레임,
을 포함하는 프레임의 시퀀스를 생성하게 구성된, 시스템.
제 18 항에 있어서,
상기 전자기 방사의 복수의 펄스는, 루미넌스, 크로미넌스 적색 및 크로미넌스 청색을 포함하고,
상기 루미넌스 프레임은, 상기 적색 크로미넌스 프레임 및 상기 청색 크로미넌스 프레임 마다 2 번씩 나타나는,
시스템.
제 1 항에 있어서,
상기 방출기에 의해 방출되는 상기 전자기 방사의 복수의 펄스는 사람에게 보이지 않는 파장인, 시스템.
제 2 항에 있어서,
상기 전자기 방사의 복수의 펄스는,
사람에게 보이는 파장 및 사람에게 보이지 않는 파장을 포함하는, 시스템.
제 1 항에 있어서,
상기 전자기 방사의 복수의 펄스는, 서로 상이한 크기들로 방출되는, 시스템.
제 22 항에 있어서,
상기 서로 상이한 크기들은, 서로 상이한 파장들에 상기 이미지 센서의 감도에 대응하는, 시스템.
제 1 항에 있어서,
상기 주변 광 부족 환경에 액세스하기 위한 내시경을 더 포함하되,
상기 내시경은,
상기 내시경에 부착된 핸드 피스를 가지며, 상기 핸드 피스의 조작에 의해 조정되는, 시스템.
제 24 항에 있어서,
상기 이미지 센서는, 상기 핸드 피스에 대한 원단 부분에서
상기 내시경 내에 배치된, 시스템.
제 24 항에 있어서,
상기 이미지 센서는, 상기 핸드 피스 내에 배치된, 시스템.
제 24 항에 있어서,
전자기 방사의 상기 복수의 펄스는, 상기 방출기에서 상기 내시경의 선단으로 섬유 광학을 통해 전송되는, 시스템.
제 1 항에 있어서,
상기 방출기는, 발광 다이오드들을 포함하는, 시스템.
제 1 항에 있어서,
상기 화소들의 어레이는, 복수의 부-세트들의 화소들을 포함하고,
상기 복수의 부-세트들의 화소들 각각은, 서로 다른 감도들을 갖는, 시스템.
제 29 항에 있어서,
서로 상이한 부-세트들의 화소들에 대한 감도에 변화들은 개별적인 전역 노출 기간들에 의해 달성되는, 시스템.
제 1 항에 있어서,
상기 방출기는 레이저 방출기인, 시스템.
주변 광 부족 환경들에서 내시경에 사용하기 위한 디지털 이미징 방법에 있어서,
상기 광 부족 환경 내에 조명을 야기하기 위해, 전자기 방사의 복수의 펄스를 방출하도록, 방출기를 작동시키는 단계;
상기 복수의 펄스 각각은 전자기 스펙트럼 일부를 포함하는 파장 범위 내에 있고;
미리 설정된 간격으로 상기 방출기를 펄싱하는 단계;
상기 복수의 펄스로부터 반사된 전자기 방사를 화소 어레이로 감지하는 단계; 및
복수의 이미지 기준 프레임을 생성하기 위해, 제어기를 이용하여, 상기 방출기로부터 방출된 상기 전자기 방사의 복수의 펄스 각각을 상기 이미지 센서의 판독 사이클과 동기화하는 단계;
상기 화소 어레이는,
상기 방출기의 상기 펄스 간격에 대응하는 감지 간격으로 작동되고,
상기 복수의 이미지 기준 프레임은,
루미넌스 데이터를 포함하는 루미넌스 프레임 및 크로미넌스 데이터를 포함하는 크로민넌스 프레임을 포함하고,
상기 복수의 이미지 기준 프레임은, 컬러 이미지를 형성하기 위해 결합되는,
방법.
제 32 항에 있어서,
상기 방출기는 각각이 전자기 스펙트럼 일부의 펄스를 방출하는 복수의 소스들을 포함하는, 방법.
제 33 항에 있어서, 상기 복수의 소스들을 동시에 작동시키는 단계를 더 포함하는, 방법.
제 34 항에 있어서, 상기 복수의 소스들을 미리 설정된 간격으로 펄싱하는 단계를 더 포함하는, 방법.
제 32 항에 있어서,
루미넌스 정보를 제공하기 위해, 광 에너지를 적색, 녹색 및 청색 광 에너지 영역에서 루미넌스, 크로미넌스 청색 및 크로미넌스 적색 광 에너지 영역으로 전환하는 색 변환 계수에 따라, 상기 전자기 방사의 복수의 펄스를 변조하는 단계를 더 포함하는,
방법.
제 32 항에 있어서,
크로미넌스 정보를 제공하기 위해, 광 에너지를 적색, 녹색 및 청색 광 에너지 영역에서 루미넌스, 크로미넌스 청색 및 크로미넌스 적색 광 에너지 영역으로 전환하는 색 변환 계수에 따라, 상기 전지기 방사의 복수의 펄스를 변조하는 단계를 더 포함하는, 방법.
제 37 항에 있어서, 상기 크로미넌스 정보는 청색인, 방법.
제 37 항에 있어서, 상기 크로미넌스 정보는 적색인, 방법.
제 32 항에 있어서,
루미넌스 - 크로미넌스 청색 - 루미넌스 - 크로미넌스 적색의 펄싱 패턴을 생성하게 상기 방출기를 펄싱하는 단계;
를 더 포함하는, 방법.
제 32 항에 있어서,
루미넌스 - 크로미넌스 적색과 조합된 크로미넌스 청색 - 루미넌스 - 크로미넌스 적색과 조합된 크로미넌스 청색의 펄싱 패턴을 생성하게 상기 방출기를 펄싱하는 단계;
를 더 포함하는, 방법.
제 32 항에 있어서,
상기 제어기는, 결과적인 프레임들을 재구축하기 위해 1회 이상 크로미넌스 프레임들을 사용하게 구성된, 방법.
제 32 항에 있어서,
이미지 신호 프로세서에 의해 크로미넌스 프레임들에 루미넌스 값이 더해지고, 상기 루미넌스 값은 (1/2)ⁿ의 배수인 정수인, 방법.
제 32 항에 있어서, 상기 이미지 센서는 개별적으로 판독되게 구성된 균일한 단색 화소들을 포함하는, 방법.
제 44 항에 있어서,
복수의 프레임 구간들에서 상기 이미지 센서로부터 데이터를 판독하는 단계를 포함하고 상기 복수의 구간들은 긴 노출 및 짧은 노출을 생성하는, 방법.
제 45 항에 있어서,
상기 이미지 센서는,
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 루미넌스 프레임,
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 적색 크로미넌스 프레임, 및
긴 노출 화소 데이터 및 짧은 노출 화소 데이터의 청색 크로미넌스 프레임을 포함하는 프레임의 시퀀스를 생성하게 구성된,
방법.
제 46 항에 있어서,
루미넌스, 크로미넌스 적색 및 크로미넌스 청색을 포함하는 상기 전자기 방사의 복수의 펄스를 감지하는 단계를 더 포함하되,
상기 루미넌스는,
상기 크로미넌스 적색 및 크로미넌스 청색 마다 2 번씩 나타나는,
방법.
제 32 항에 있어서, 상기 방출기에 의해 방출되는 전자기 방사의 펄스는 사람에게 보이지 않는 파장인, 방법.
제 33 항에 있어서,
상기 전자기 방사의 복수의 펄스는, 사람에게 보이는 파장 및 사람에게 보이지 않는 파장을 포함하는, 방법.
제 32 항에 있어서,
상기 전자기 방사의 복수의 펄스는 서로 상이한 크기들로 방출되는, 방법.
제 50 항에 있어서,
상기 서로 상이한 크기들은 서로 상이한 파장들에 상기 이미지 센서의 감도에 대응하는, 방법.
제 32 항에 있어서,
상기 감지 간격에 대응하는 미리 설정된 블랭킹 간격으로 상기 화소 어레이를 블랭킹하는 단계를 더 포함하는, 방법