KR101361788B1 - 높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법 - Google Patents

높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법 Download PDF

Info

Publication number
KR101361788B1
KR101361788B1 KR1020107020812A KR20107020812A KR101361788B1 KR 101361788 B1 KR101361788 B1 KR 101361788B1 KR 1020107020812 A KR1020107020812 A KR 1020107020812A KR 20107020812 A KR20107020812 A KR 20107020812A KR 101361788 B1 KR101361788 B1 KR 101361788B1
Authority
KR
South Korea
Prior art keywords
image sensor
image
sensors
output
sensor array
Prior art date
Application number
KR1020107020812A
Other languages
English (en)
Other versions
KR20100129300A (ko
Inventor
소린 다비도비치
Original Assignee
알제이에스 테크놀로지, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알제이에스 테크놀로지, 인코포레이티드 filed Critical 알제이에스 테크놀로지, 인코포레이티드
Publication of KR20100129300A publication Critical patent/KR20100129300A/ko
Application granted granted Critical
Publication of KR101361788B1 publication Critical patent/KR101361788B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

서로 연결된 하나 이상의 이미지 센서 구조를 포함하는 이종 이미지 센서 어레이의 방법이 공개된다. 각 이미지 센서 구조 또는 픽셀에 대한 최종 이미지 센서 어레이 이미지 출력은 단일 이미지 센서 구조 출력 데이터 또는 하나 이상의 이미지 센서 구조들로부터의 출력 데이터를 이용하여 연산된다. 다른 이미지 센서 어레이 구조와 비교할 때, 이종 어레이는 복잡도, 단가, 전력 소모, 장치 수율 및 신뢰도를 보인다.

Description

높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법{SYSTEM AND METHOD FOR A HIGH DYNAMIC RANGE IMAGE SENSOR SENSITIVE ARRAY}
본 발명은 일반적으로 이미지 센서 분야에 관련되며, 상세하게는, 크게 확장된 전압-광 응답을 얻을 수 있는 하나 이상의 능동 및/또는 수동 센서 구조들을 포함하는 이미지 센서 어레이에 관한 것이다.
사진술은 빛의 활동에 의해 상을 생성하는 과정이다. 빛은 인간의 눈에 보이는 주파수 대역인 전자기 복사에너지를 지칭하는데 일반적으로 사용되는 용어이다. 물체로부터 반사된 또는 방사된 빛 패턴들은 일정 시간의 노출을 통하여 이미지 센서에 의해 기록된다. 이미지 센서들은 사진 필름과 같이 본질적으로 화학 제품일 수 있으며, 또는 디지털 스틸용 카메라 및 비디오 카메라에 사용되는 CCD 및 CMOS 이미지 센서와 같이 본질적으로 고체 상태일 수 있다.
디지털 카메라들은 한 장면의 이미지를 생성하기 위해 빛을 집중하는 일련의 렌즈들을 포함한다. 그러나 종래의 카메라와 같이 필름 위에 빛을 집중하는 대신에 일련의 렌즈들은 빛의 전자기 복사에너지를 전하로 변환하는 이미지 센서 위에 빛을 집중한다. 이미지 센서는 사진 요소 또는 픽셀로 불린다. 전하는 이미지 센서에 의해 인식된 전자기 복사에너지의 상대적인 세기를 나타내고, 일반적으로 광 세기 값은 픽셀과 관련되곤 한다.
도 1은 자연 장면을 캡처해서 전자 이미지를 생성하는 하나의 가능한 구현(10)에 포함될 수 있는 여러 컴포넌트를 나타낸다. 시스템(10)은 신호 소스(100)와 적분기(110), 아날로그 디지털 변환기(ADC)(120) 및 DSP(130)을 포함하는 신호 처리 체인을 포함한다.
적분기(110)의 출력 Vout은 ADC(120)에 입력된다. ADC(120)는 아날로그를 디지털로 변환하는 기능을 수행한다. 아날로그를 디지털로 변환하는 기능은 해당 기술분야에 잘 알려져 있다. ADC(120)의 입력에 있는 아날로그 신호 Vout은 ADC(120)의 출력에 있는 신호 VD로 변환된다. VD는 일반적으로는 볼트 단위로 측정되지만, 항상 그렇지만은 않은, 한 세트의 이산 레벨들의 하나를 가정할 수 있다. ADC(120)의 출력에 대한 측정 단위의 다른 예로는 암페어가 될 수 있다.
신호 소스(100)의 예는, 센서들이 일반적으로 노출 시간으로 불리는 특정 기간 동안 들어오는 광에 노출되는 디지털 카메라 애플리케이션과 같은, 타임드 어플리케이션(timed application)에 이용되는 광 세기 센서가 될 수 있다. 적분기(110)는 노출 시간 동안 수신되어 노출 시간의 종료시에 하나의 출력 값으로 독출되는 모든 광자들에 의해 야기된 센서(100)의 응답들을 적분하는 기능을 수행한다. 예를 들어, 적분기(100) 출력 값은 볼트 단위로 측정된 전압일 수 있다.
도 2는 가능한 이미지 센서 구조 블록 다이어그램의 단순화된 예시이다. 신호 소스(1000)는 일례로 포토다이오드일 수 있는 불리는 광센서이다. 컴포넌트(1040)는 일례로 커패시터일 수 있는 단순한 적분기이다. 적분기의 입력은 신호 소스(1000)의 출력이다. 적분기(1040)는 적분 처리를 시작하기 전에 닫힌 상태에 있는 스위치(1050)에 의해 리셋 된다. 적분기(1040)의 상태를 신속하게 리셋하는 능력은 이미지 센서 동작의 중요한 측면이다. 적분 처리의 시작 시, 스위치(1050)는 개방되고, 적분기(1040) 양단의 전압은 신호 소스(1000)에서 시작된 입력 신호에 응답하여 변하기 시작한다. 적분 처리의 종료 시, 스위치(1030)는 닫히며, 적분기 출력(1060) Vout가 샘플링된다. 도 2는 예시적인 도면이며, 동일한 기능을 갖는 다른 유사한 이미지 센서 구조들의 구현은 본 기술분야의 당업자에게 잘 알려져 있다.
도 2의 단순화된 이미지 센서 구조 블록 다이어그램의 대체적이고 균등한 동작 모드에서, 커패시터(1040)에 의해 예를 들어 구현된 적분기는 V- 또는 그라운드(GROUND) 대신에 고전압 V+ 또는 전원(POWER)으로 스위치(1050)에 의해 리셋 된다. 적분 처리의 시작시 스위치(1050)는 개방되고 적분기(1040) 양단에 걸린 전압은 신호 소스(1000)에서 시작된 입력 신호에 응답하여 변하기 시작한다. 적분 처리의 종료 시, 스위치(1030)는 닫히며, 적분기 출력(1060) Vout가 샘플링된다.
예로서 도 2에 도시된 이미지 센서 구조의 단순화된 블록 다이어그램은 일부 성능 제한들의 대상이 된다. 하나의 제한으로, 동적 범위는, 원인에 대한 이해를 제공하는 설명과 함께 예를 들어 여기서 설명된다. 적분기 출력(1060) VOUT은 이용 가능한 전원 전압에 의해 부과된 상한을 일반적으로는 초과할 수 없다. 전원 전압들은 엄격한 전력 소모 요구사항들 때문에 최신 장비에서 감소한다. 적분기 출력(1060)은 전력 전압을 초과하지 못하며, 전력 전압 레벨에 도달한 후 적분기 출력 신호가 커지려고 하면 포화된다.
출력 전압이 이용 가능한 전력 전압에 도달하고 입력 신호의 이후 변화들에 응답할 수 없을 때 포화가 발생한다. 신호 포화는 시스템 성능 저하를 초래한다. 도 3A 내지 3C는, 감광 소자 구조 및 더욱 상세하게는 적분기 구조의 동적 범위 한계로 인한 광 센서(100)와 적분기(110)로 구성된 픽셀 구조의 출력에서의 잠재적인 왜곡들을 설명한다. 도면들은 동적 범위 한계들로 인한 광 센서(1000)와 적분기 출력(1060)의 출력에서의 잠재적인 왜곡들을 또한 설명한다. 도 3(a)의 세그먼트 (a)는 다른 레벨의 일정한 입력 신호에 대응하는 적분기(110) 출력의 선형 증가를 나타낸다. 이미지 센서 구조는 세그먼트 (a)와 같은 선형 출력으로 증가하는 입력 광 세기들의 범위에서 잘 동작할 것이고, 이미지 센서 구조는 세그먼트 (b)와 같은 포화 상태의 출력으로 증가하는 입력 광 세기들의 범위에서 잘 동작하지 않을 것이다.
적분기 출력 응답은 제한된 동적 범위를 나타낸다. 도 3(a)에 도시된 것과 같이 이미지 센서의 실시예의 한 버전은 쉐도우 디테일은 잘 나타낼 것이나, 하이라이트 디테일을 나타내는 데는 실패할 것이다. 도 3(b) 및 도 3(c)에 나타난 것과 같이 응답을 이동시키는 것은 가능하다. 도 3(b) 및 도 3(c)에서 이미지 센서의 동적 범위는 동일하게 남아있으나, 응답 특성은 이동되었다. 도 3(b)의 응답 특성은 쉐도우 및 하이라이트 디테일은 잃어버리게 되나, 좋은 중간범위 반응은 유지한다. 도 3(c)의 응답 특성은 좋은 하이라이트 디테일을 유지하기 위해 쉐도우 디테일 및 부분적인 중간 범위 디테일은 잃어버리게 된다.
도 4A는 다수의 이미지에 노출된 이미지 센서들이 포화상태로 진입하는 과다 노출된 이미지 캡처의 픽셀 세기의 히스토그램을 나타낸다. 도 4A에 도시된 것과 같이 최대 이미지 센서 구조 출력 값은 '255'이고, 사용된 단위들은 이미지 센서 출력 전압과 일치하는 ADC(120) 출력이다. 광 세기는 많은 광 센서들(100)이 노출 기간 동안 노출이 진행된 적분기(110)를 포화시킨 값을 출력하도록 한다. 적분기(110) 출력의 최대(포화)값은 ADC가 8비트 ADC에서 최대 출력 코드인 출력 코드 '255'를 생성하도록 한다. 충분히 높은 출력 레벨을 달성하기 위해 높은 세기 광 입력의 대상이 되는 이미지 센서들의 불능으로 인해, 이미지 캡처는 최적의 질보다 낮아질 것이다.
도 4A의 히스토그램에서 설명된 왜곡은 개별 픽셀 왜곡에 대응한다. 낮은 노출 시간은, 높은 세기 광 입력들의 대상이 되는 이미지 센서들의 출력들이 255 보다 낮은 출력 레벨을 등록하도록 하고 높은 측 왜곡을 피하지만, 낮은 세기 광 입력들의 대상이 되는 이미지 센서들이 0의 출력 레벨 값에서 유지하도록 막고 쉐도우와 다른 낮은 광 이미지 세그먼트에 포함된 광 세기 디테일을 등록하지 못한다.
도 4B는 다수의 이미지 센서들이 0 이상의 최소 출력 값을 획득하기 위한 충분한 빛에 노출되지 않은 부족노출된 이미지 캡처의 픽셀 세기들의 히스토그램을 나타낸다. 도 14B에서 볼 수 있듯이, 최소 이미지 센서 구조 출력 값은 0이다. 단위들은 개별 이미지 센서 구조들에 일치하는 ADC(120) 출력 레벨들을 참조한다. 이미지 센서에 수신된 광 세기는, 많은 광 센서들(100)이 적분기(110)가 노출 기간 동안 진행된 노출로 0 이상의 최소 ADC 출력 코드를 야기할 정도로 충분히 높은 값을 출력하게 하지 못한 값을 출력하도록 한다. 이미지 캡처는, 낮은 세기 광 입력들의 대상인 충분히 높은 응답 레벨을 생성하는 이러한 이미지 센서들의 무능으로 인해 최적의 질보다 낮아질 것이다. 도 4B의 히스토그램에서 나타난 왜곡은 개별적인 픽셀 왜곡에 대응된다. 긴 노출은, 낮은 세기 입력들의 대상인 개별 이미지 센서들의 출력들이 0 이상 출력을 등록하도록 하고 낮은 측 왜곡을 피하지만, 높은 세기 광 입력들의 대상인 이미지 센서 구조들이 255 출력 값에서 또한 포화되도록 하며 하이라이트 및 다른 밝은 광 이미지 세그먼트들에 포함된 광 세기 디테일을 등록하지 못한다.
도 5A는 본 특허출원에 개시된 이종(heterogeneous) 이미지 센서를 구현하는데 이용되는 다른 둘 이상의 고체 이미지 센서 구조들의 응답을 나타낸다. 고체 이미지 센서 구조의 확장된 동적 범위는, 이미지 센서 구조에 충돌하는 전자기 복사 세기의 전체 범위에 대한 이미지 센서 응답을 생성하기에 충분하다. 이는 고체 이미지 센서 구조가 가장 어두운 부분에서도 충분한 전하를 캡처하는 반면 캡처될 이미지의 밝은 부분들에서 포화 영향들을 피할 수 있다. 순 효과는, 캡처될 장면의 가장 어두운 세그먼트로부터의 광 또는 가장 밝은 세그먼트로부터의 광이 이미지 센서에 충돌하던지 상관없이 캡처될 이미지의 충실한 복제이다. 도 5B는 모든 이미지 센서 출력들이 8비트 ADC의 동적 범위, 즉, 0~255 사이에 있는 경우 적절하게 노출된 이미지 캡처의 픽셀 강도들의 히스토그램을 나타낸다.
노출 기간의 종료 전의 적분기 포화는 이미지 센서 구조의 동적 범위에서 제한 요소이다. 적분기 포화 문제에 대한 해결책들은 공개되어왔다. 공개된 해결책이 공통으로 가지고 있는 특징은, 언제 적분기가 방전되고 이벤트가 기록되는 포화 조건의 시작을 탐지하기 위해 적분기 출력을 모니터링하는 것이다.
그러한 해결책의 예로, Mazzucco는 미국 특허 6,407,610에서 적분기 출력의 포화를 방지하는 방법을 공개한다. 방지 방법은 포화의 시작을 감지하고, 포화의 시작이 감지되면, 적분기를 리셋(방전)하거나 적분의 방향을 변경하는 단계를 포함한다. 외부 회로가 그러한 모든 이벤트들을 기록한다. 적분 기간의 종료시, 적분의 유효한 전체 범위는 기록된 리셋 이벤트들의 숫자와 최종 적분기 출력 전압으로부터 재구성된다. 유사한 시도가 Merill에 의해 미국 특허 6,130,713에 공개되었다.
그러한 모든 해결책들은 태생적인 이미지 센서 구조에 내재하는 동적 범위 한계를 보상할 필요를 공통으로 가진다. 발명의 개시에 묘사된 기능들을 수행하기 위해, 이 해결책들은 이미지 센서 구조에 추가적인 회로 요소들의 도입을 요구한다.
이 해결책들은, 다른 이미지 센서에 대해 각 이미지 센서의 독립적인 동작과 확장된 동적 범위 성능이 가능한 각 이미지 센서로 추가적인 회로 요소들을 결합시길 필요를 공통으로 가지고 있다. 추가적인 회로 요소들의 도입은 복잡도, 비용 및 전력 소모의 증가를 야기하는 반면 수율과 신뢰성을 감소시킨다.
본 발명은, 하나 이상의 능동 및/또는 수동 이미지 센서 구조들로 구성되어 크게 확장된 전압-광 응답이 각 단일 이미지 센서 구조들에 의해 획득될 수 있는 이미지 센서 어레이를 개시하는 것을 목표로 한다.
또한, 본 발명은, 동종(homogenous)이 아닌 이종이고 둘 이상의 구분 되고 구별된 능동 및/또는 수동 이미지 센서 구조들로 구성되어 하나의 단일 이미지 스캔시 크게 확장된 전압-광 응답이 이미지 센서 구조들로부터 그리고 이미지 센서 구조들에 의해 획득될 수 있는 이미지 센서 어레이를 개시하는 것을 목표로 한다.
또한, 본 발명은, 하나 이상의 추가적인 이미지 센서 구조들과 상호작용하여 하나의 단일 이미지 스캔시 크게 확장된 전압-광 응답이 이미지 센서 구조들로부터 그리고 이미지 센서 구조들에 의해 획득될 수 있는 능동 및/또는 수동 이미지 센서 구조들을 개시하는 것을 목표로 한다.
또한, 본 발명은, 하나의 단일 이미지 스캔시 크게 확장된 전압-광 응답이 이미지 센서 구조로부터 그리고 이미지 센서 구조에 의해 획득될 수 있는 둘 이상의 능동 및/또는 수동 이미지 센서 구조들을 개시하는 것을 목표로 한다.
또한, 본 발명은, 크게 확장된 전압-광 응답이 하나의 단일 이미지 스캔시 이미지 센서 구조들을 합한 이미지 센서로부터 획득되도록 하기 위해, 간혹 노출 기간으로 언급되기도 하지만 항상 그렇지만은 않은 능동 이미지 캡처 기간 동안 상호 작용하는 둘 이상의 이미지 센서 구조들의 이미지 센서 어레이로부터 전자 이미지 표현(representation)을 캡처하고 생성하는 방법을 개시하는 것을 목표로 한다.
따라서, 여기에서 설명된 둘 이상의 이미지 센서 구조들의 강화된 어레이의 목적들과 이점들뿐만 아니라, 본 발명의 몇몇 목적들과 이점들은 다음을 포함한다.
1. 전자 포맷으로 캡처될 이미지의 가장 어두운 부분들에 존재하는 디테일을 정확하게 캡처;
2. 전자 포맷으로 캡처될 이미지의 가장 밝은 부분들에 존재하는 디테일을 정확하게 캡처;
3. 전자 포맷으로 캡처될 원 이미지의 모든 부분들을 따라 존재하는 디테일을 정확하게 캡처;
4. 원 장면의 어느 점에서도 정확성을 잃지 않으며 상응하는 전자 신호 범위를 따라 현실적인 장면들의 이미지들을 전자적으로 캡처하기에 충분히 큰 동적 범위로 동작;
5. 고도로 정확하며, 원 자연 장면의 전자적인 표현을 포함하는 신호들의 범위를 따라 어느 점에서도 정확성을 잃지 않으면서 다른 임의의 전달 함수 응답 특성으로 매핑될 수 있는 전달 함수 응답 특성을 보임
6. 고도로 정확하며, 전자 이미지 표현으로 캡처되는 장면의 어느 부분에서도 정확성을 잃지 않으면서 다른 임의의 응답 특성으로 매핑될 수 있는 전달 함수 응답 특성을 보임
7. 하나 이상의 다른 디스플레이 장치들의 전달 함수 응답 특성에 일치될 현실적인 장면들의 이미지들을 충분하게 고도한 정확성으로 캡처할 수 있어서 모든 디스플레이 장치들에서 보여질 때 원 자연 장면들이 실제적이고 원 자연 장면들과 본질적으로 동일하게 보이도록 하는 전달 함수 응답 특성을 보임;
8. 고도로 정확하며, 향상된 특성들을 가질 다양한 미래의 디스플레이 장치들에 기록된 이미지를 일치시키는 이후 처리를 가능하게 하는 충분히 고도로 정확한 정보를 포함하는 보관된 기록들을 생성하는데 이용될 수 있어서 미래의 디스플레이 장치들에서 보여질 때 원 자연 장면들이 실제적이고 원 자연 장면들과 본질적으로 동일하게 보이도록 하는 전달 함수 응답 특성을 보임;
9. 충분히 정확하여 캡처된 이미지가 얼굴 인식 장치, 품질 검사 장치, 과학적 분석 장치 및 그 성능이 인간의 눈이 민감한 스펙트럼 범위 내에서 볼 수 있거나 인간의 눈이 민감하지 못해 인간에 눈에는 보이지 않는 다른 스펙트럼 범위 내에 있는 이미지들의 전자 이미지 캡처의 품질에 의존하는 다른 모든 장치와 같은 신호 처리 장치에서 효과적으로 이용되도록 하는 전달 함수 응답 특성을 보임;
본 발명의 다른 목적들과 이점들은 도면들과 다음의 설명들을 고려하면 분명해질 것이다.
도 1은 디지털 포맷의 전자 이미지를 캡처하고 처리하는 전형적인 시스템의 단순화된 블록 다이어그램을 나타낸다.
도 2는 제어 스위치들을 가진 간단한 적분기를 블록 다이어그램 포맷으로 나타낸다.
도 3(a), 3(b), 및 3(c)는 제한된 동적 범위가 간단한 전형적인 이미지 센서의 출력에 대해 갖는 효과들을 나타낸다.
도 4(a) 및 4(b)는 제한된 동적 범위가 전형적인 이미지 센서 어레이의 출력에 대해 갖는 효과들을 히스토그램 포맷으로 나타낸다.
도 5(a)는 동적 범위 제한들을 겪지 않는 이미지 센서의 출력을 나타낸다.
도 5(b)는 동적 범위 제한들을 겪지 않는 전형적인 이미지 센서 어레이의 출력을 히스토그램 포맷으로 나타낸다.
도 6은 이종 이미지 센서 구조들 및 이미지 센서 구조들간 상호연결들로 구성된 가상적인 이미지 센서 어레이를 나타낸다.
도 7은 시간의 함수로 이종 이미지 센서 어레이의 낮은 동적 범위 이미지 센서 구조의 잠재적인 출력을 나타낸다.
도 8은 작은 이종 이미지 센서 어레이 또는 함께 쓰이는 이미지 센서 구조들로 구성된 더 큰 이종 이미지 센서 어레이의 한 세그먼트를 나타낸다.
도 9는 이미지 캡처 기간의 종료시 이미지 센서 구조들의 잠재적 출력 상태를 나타낸다.
도 10은 샘플 이종 이미지 센서 어레이의 이미지 캡처 품질을 나타내는데 사용되는 공지의 테스트 그림을 나타낸다.
도 11(a)는 제1 샘플 처리에 의해 이종 이미지 센서 어레이의 출력으로부터 생성된 전자 이미지를 나타낸다.
도 11(b)는 원 이미지와 제1 처리에 의해 이종 이미지 센서 어레이의 출력으로부터 생성된 이미지 사이의 차이를 나타낸다.
도 11(c)는 제2 샘플 처리에 의해 이종 이미지 센서 어레이의 출력으로부터 생성된 전자 이미지를 나타낸다.
도 11(d)는 원 이미지와 제2 처리에 의해 이종 이미지 센서 어레이의 출력으로부터 생성된 이미지 사이의 차이를 나타낸다.
본 발명의 일 측면에 따르면, 일부 어플리케이션에서 중심 평면 어레이(Focal Plane Array; FPA)로도 불리는 이종 이미지 센서 어레이가 설명된다. 일부 애플리케이션에서 중심 평면 디텍터(Focal Plane Detector; FPD)로도 불리는 개별 이미지 센서 구조들을 포함한다.
이미지 센서 어레이를 포함하는 이미지 센서 구조들은 이종이며 복수의 이미지 센서 구조들로 구성된다. 이미지 센서 어레이 내의 이미지 센서 구조들의 수는 적어도 둘이다. 이미지 센서 구조들은 다양한 종류가 될 수 있다. 따라서, 이미지 센서들의 수만큼 다른 이미지 센서 구조들이 이미지 센서 어레이에 있을 수 있으며, 각 개별 이미지 센서 구조는 서로 다른 개별 이미지 센서 구조들 각각으로부터 다를 수 있다는 것을 의미한다. 이미지 센서 어레이 내의 이미지 센서 구조들의 수와 이미지 센서 구조들의 서로 다른 종류의 수는 다양할 수 있으며, 이미지 센서 어레이를 포함하는 장치의 전문화된 애플리케이션들의 요구 사항에 의해 결정될 것이다.
이미지 센서 어레이를 포함하는 둘 이상의 이미지 센서 구조들은 이미지 캡처 기간 동안 상호작용한다. 본 상세한 설명은 둘 이상의 이미지 센서 구조들로 구성된 이종 이미지 센서 어레이를 고려했는데, 이중 적어도 둘은 서로 다른 레벨의 복잡도를 가진다. 더 복잡한 이미지 센서 구조들은 덜 복잡한 이미지 센서 구조들보다 많은 회로 요소들을 가지지만, 덜 복잡한 이미지 센서 구조들이 더 복잡한 이미지 구조들로부터 제공된 정보의 공유를 통해 이득을 본다. 그러한 이종 이미지 센서 어레이의 이점은 낮아진 복잡성, 단가 및 전력 소모와 증가된 장치 수율 및 신뢰성이다. 일반적으로, 이종 이미지 센서 어레이를 포함하는 더 복잡한 이미지 센서 구조들은 이종 이미지 센서 어레이를 포함하는 덜 복잡한 이미지 센서 구조들에는 존재하지 않는 기능성을 가질 수 있으며, 따라서 덜 복잡한 구조들에게는 이용 가능하지 않은 정보를 획득할 수 있지만, 이는, 본 발명으로, 덜 복잡한 구조들과 공유될 수 있다.
일반적으로, 이종 이미지 센서 어레이를 포함하는 덜 복잡한 이미지 센서 구조들은 이종 이미지 센서 어레이를 포함하는 더 복잡한 이미지 센서 구조들의 기능성과 비교할 때 감소된 기능성을 가질 수 있다. 감소된 기능성은 이미지 센서 구조를 구현하기 위해 더 적은 회로 요소들을 요구한다. 더 적은 회로 요소들은, 여기서 개시된 이종 이미지 센서 어레이에 의해 누릴 수 있는 복잡성, 단가, 전력 소모, 장치 수율 및 신뢰성 이점들의 주요 원인이다.
이를 포함한 모든 이미지 센서 구조들이 그러한 높은 성능을 개별적으로 구현할 수 없더라도, 여기에서 개시된 이종 이미지 센서 어레이는 높은 동적 범위들을 가진 고품질 전자 이미지들을 생성할 수 있다. 이 능력은 이미지 캡처 단계 동안 개별 이미지 센서 구조들의 상호작용들로부터 기인한다.
이미지 센서 구조의 태생적인 또는 내재적인 동적 범위 성능은 제조 물질들, 디자인 구조 등과 같은 요소들에 의해 좌우된다. 이미지 센서 구조의 태생적인 동적 범위는 높은 동적 범위 성능을 위해 수정되지 않은 이미지 센서 구조들에서 일반적으로 이용 가능하지 않은 기능을 수행하기 위한 회로 요소들을 부가함으로써 증가될 수 있다. 그러한 추가적인 기능들의 예를 들면, Mazzucco는 미국 특허 6,407,610에서 포화의 시작을 감지하고, 포화의 시작이 감지되면 적분기를 리셋(방전)하거나 적분의 방향을 변경하는 단계를 개시한다. 유사한 기능들은 Merill에 의해 미국 특허 6,130,713에 개시되었다.
도 6은 이미지 센서 어레이를 형성하거나 그것의 일부가 되는 하나의 높은 동적 범위 이미지 센서 구조와 두 개의 낮은 동적 범위 이미지 센서 구조들을 나타낸다. 높은 동적 범위 이미지 센서 구조(1400)는 HDR로 표시된다. 낮은 동적 범위 이미지 센서 구조들(1410)은 LDR#1과 LDR#2로 표시된다. 상호연결(1430)은 HDR 이미지 센서 구조(1400)를 LDR 이미지 센서 구조들(1410, 1420)에 연결한다. 예를 들어, 상호연결(1430)은 LDR#1(1410)과 LDR#2(1420)에 공통으로 도달하는 하나 이상의 신호로 구성되거나, LDR#1(1410)과 LDR#2(1420)에 개별적으로 도달하며LDR#1(1410)과 LDR#2(1420)에 공통적이지 않은 하나 이상의 신호로 구성되거나, LDR#1(1410)과 LDR#2(1420)에 개별적으로 도달하고 LDR#1(1410)과 LDR#2(1420)에 공통적이지 않은 하나 이상의 신호와 LDR#1(1410)과 LDR#2(1420)에 공통으로 도달하는 하나 이상의 신호로 구성될 수도 있다. 이종 이미지 센서 어레이는 겨우 두 개의 이미지 센서들을 포함할 수 있으며, 각각은 서로 다른 이미지 센서 구조를 가지거나, 현존하는 제조 한계가 허용하는 임의 개수의 서로 다른 이미지 센서 구조들을 가진 많은 이미지 센서들을 포함할 수 있다.
이종 이미지 센서 어레이는 하나의 제조된 장치에 포함되도록 제한되지 않는다. 이종 이미지 센서 어레이에서, 둘 이상의 이미지 센서 구조들은 연결되며, 결합하여 동작하고, 독립적이지 않다. 따라서 이종 이미지 센서 어레이는 제조되어 서로 다른 장치들에 수용될 수 있지만 이미지 센서 구조 간의 상호연결들은 이미지 센서 구조들이 독립적으로 동작하도록 제한되지 않게 구현될 것이다. 이종 이미지 센서 어레이들에 대한 다른 잠재적인 구현 구조들이 가능하며, 당업자에게 알려져 있다.
HDR 이미지 센서 구조(1400)는 자체 내부 또는 출력 상태가 LDR 이미지 센서 구조(1410, 1420)의 포화 레벨의 정수 증가(integer increment)와 동일 또는 거의 동일할 때를 감지한다. 예를 들어, LDR 이미지 센서 구조(1410, 1420)의 포화 레벨이 VSAT이 되면, HDR 이미지 센서 구조(1400)는 자체 상태가 VSAT, 2 VSAT, 3 VSAT 등이 되면 지시를 생성한다.
LDR 이미지 센서 구조들(1410, 1420)의 출력 레벨 VSAT는 알려진 레벨이며, 포화 레벨일 필요는 없다. 포화 레벨의 의미는 당업자에게 자명하다. LDR 이미지 센서 구조들(1410, 1420)의 출력 레벨이 입력 자극에 반응하여 증가하면, 출력 레벨 VSAT은 LDR 이미지 센서 구조들(1410, 1420)의 출력들이 입력 자극의 변화에 반응하여 선형적인 방식으로는 더 이상 증가할 수 없는 레벨을 넘어서 정확히 될 필요는 없다. LDR 이미지 센서 구조들(1410, 1420)의 출력 레벨이 입력 자극에 반응하여 감소하면, 출력 레벨 VSAT은 LDR 이미지 센서 구조들(1410, 1420)의 출력들이 입력 자극의 변화에 반응하여 선형적인 방식으로는 더 이상 감소할 수 없는 레벨을 넘어서 정확히 될 필요는 없다.
VSAT는 이용 가능한 전력 전압, 특정 회로 디자인 특징들, 전력 소모 고려들, 요구된 이미지 센서 어레이 성능 등과 같은 많은 실제적인 디자인 및 동작 요소들을 고려하여 결정된 임의의 레벨이다. HDR 이미지 센서(1400)는 자체 내부 또는 출력 상태가 VSAT, 2 VSAT, 3 VSAT등과 동일할 때는 식별할 수 있다. 예를 들어, HDR 이미지 센서(1400)가 본질적으로 커패시터(1040)에 유사한 적분기를 포함하면, 표준 비교기를 이용하여 커패시터(1040) 양단에 걸린 전압이 VSAT, 2 VSAT, 3 VSAT등과 동일할 때를 식별할 수 있다. 비교기는 당업자에게 자명한 표준 회로이다.
다른 예를 들면, HDR 이미지 센서(1400)는 입력 신호가 발진기의 주파수를 변경하고 적분 처리가 적분기 출력에 의해 이동된 위상을 결정하는 단계를 포함하는 주파수 영역 적분기를 포함할 수 있다. VSAT, 2 VSAT, 3 VSAT등은 발진기 출력에 의해 이동된 위상이 미리 결정된 양만큼 증가하는 시간에 발생하도록 결정될 수 있다. 발진기는 당업자에게 자명한 표준 회로이다.
HDR 이미지 센서 구조(1400)의 내부 또는 출력 상태가, 예를 들어, 2 VSAT, 3 VSAT와 같이, VSAT의 증가와 동일한 회수는 표준 디지털 또는 아날로그 회로를 이용하여 기록될 수 있다.
예를 들어, 기록의 목적으로 이용될 수 있는 디지털 회로는 디지털 카운터이다. 디지털 카운터는 입력 신호에 응답하여 디자인 상태를 변경한다. 공통 디지털 카운터 출력은, 각각이 로직 LOW와 로직 HIGH를 표시하는 두 값들을 나타낼 수 있는 복수의 신호 라인들로 구성된다. M 라인들로 구성된 디지털 카운터 출력은 L = 2M조합들이 가능하며, 따라서 L = 2M까지의 이벤트를 카운트할 수 있다.
디지털 카운터는 구현하기에 상대적으로 큰 회로이며 구현에 실리콘이 필요하다는 점에서 비싸다. 이벤트를 지속적으로 카운트할 회로를 구현하기 위한 대체적이고 유익한 수단은 아날로그 저장 회로이다. 아날로그 저장 회로는 일정 기간의 시간 동안 값을 유지할 수 있는 회로이다. 예를 들어, 간단한 아날로그 저장 회로는 도 2의 커패시터(1040)로 도시된 아날로그 적분기이다. 커패시터(1040)는 신호 소스(1000)에 의해 증가되거나 감소된 전하를 저장한다. 그 출력은 스위치(1030)가 닫히고VOUT(1060)이 커패시터 양단에 걸린 전압과 동일할 때 독출된다. VOUT(1060)은 신호 소스(1000)의 출력의 적분된 값을 나타낸다.
여기서 커패시터(1040)로 예시된 적분기의 출력 전압은 변경들을 유발하도록 디자인된 입력 자극에 대한 응답으로 이산 증가 ΔV만큼 변경될 수 있다. 예를 들어, 그러한 입력 자극은 적분기로의 전류 흐름이 작은 듀티 주기를 가지고 발생하도록 하여 전류가 멈추지 않고 짧은 시간 동안 흐르도록 한다. 다른 그러한 신호들은 당업자에게 자명하다.
그러한 신호 소스로부터의 입력들의 대상인 적분기의 출력 전압은 독출시 모든 가능한 출력 값들의 서브 셋을 가정할 수 있다. 예를 들어, 신호 소스(1000)가 커패시터(1040) 양단에 걸치 이산 증가 ΔV만큼 변경을 유발하는 신호 소스라고 하자. 커패시터(1040)의 출력(1060)은 이후 신호 소스(1000)로부터의 자극에 응답하여 이산 증가 ΔV만큼 변경된다. 예를 들어, 커패시터(1040) 양단에 걸친 전압(1060)은 초기 값 VMIN 볼트에서 시작하여, 최대 값 VMAX볼트에 이를 때까지 ΔV의 이산 값에 의해 VMIN + ΔV, VMIN + 2 ΔV, VMIN + 3 ΔV 등으로 증가된다. 다른 예를 들어, 커패시터 양단의 전압(1060)은 초기 값 VMAX볼트에서 시작하여, 최소 값 VMIN볼트에 이를 때까지 ΔV의 이산 값에 의해VMAX - ΔV, VMAX - 2 ΔV, VMAX - 3 ΔV 등으로 감소된다. 초기 커패시터 전압과 후속하는 전압의 이산 변경에 영향을 미치는 회로와 수단은 새로운 것이 아니며, 당업자에게 자명하다.
임의의 시간에서 커패시터(1040) 양단에 걸린 전압의 상태 정보와 함께 초기 커패시터 전압VMIN 또는 VMAX 정보는 초기 전압의 적용 이후에 발생한 이산 증가되거나 감소된 전압 변경 ΔV의 수를 유도하는데 이용될 수 있다.
커패시터(1040)는 위에서 예를 든 아날로그 카운터 저장의 설명에서 이용되었다. 다른 아날로그 저장 요소와 기술들이 유사한 아날로그 저장 수단을 구현하는데 이용될 수 있다. 이 기술들과 수단들은 당업자에게 자명하다.
아날로그 저장 수단은 일부 환경에서 유용하다. 현재 제조 공정은 커패시터(1040)와 같은 아날로그 저장 수단이 트랜지스터와 같은 다른 회로 소자들과 함께 콜로케이션(collocation)으로 제조되는 장치들을 제조할 수 있다. 이 제조 기술은 이미지 센서 구조와 이에 따라서 이미지 센서 어레이를 구축하는데 필요한 실리콘 영역을 줄이므로 유용하다.
여기서 커패시터(1040)로 예를 든 아날로그 저장 장치의 콜로케이션은 집적 회로의 디자인과 제조에 이용되는 다층 기술에 의해 가능해진다. 이 기술들은 당업자에게 자명하다. 따라서, 여기서 커패시터(1040)로 예를 든 아날로그 저장 장치의 콜로케이션은 제조 공정 동안 여기서 트랜지스터로 예를 든 다른 회로 소자들 위에 아날로그 저장 장치를 위치함으로써 달성될 수 있다. 대신에, 여기서 커패시터(1040)로 예를 든 아날로그 저장 장치의 콜로케이션은 제조 공정 동안 여기서 트랜지스터로 예를 든 다른 회로 소자들 아래에 아날로그 저장 장치를 위치함으로써 달성될 수 있다.
도 6은 HDR 이미지 센서 구조(1400)와 LDR 이미지 센서 구조들(1410, 1420)간 상호연결(1430)을 도시한다. 상호연결(1430)은 하나 이상의 신호를 포함한다. 예를 들어, 상호연결(1430)에 존재하는 한 신호는 HDR 이미지 센서 구조(1400)의 내부 또는 출력 상태가 VSAT, 2VSAT, 3VSAT 등과 동일하다는 표시이다.
상호 연결된 이미지 센서 구조들(1400, 1420, 1420)의 동작은 상호연결 신호(1430)에 의해 영향을 받는다. 이미지 센서 구조들(1400, 1420, 1420)의 독립된 동작은 상호의존적이고 상호연결된 동작과 다르다. 예를 들어, 일 동작 모드에서 LDR 이미지 센서 구조(1410, 1420)의 출력이 도 7에 도시되어 있다. 시간 지점(1180)은 이미지 캡처 기간의 시작을 표시하며, LDR 이미지 센서 구조(1410, 1420)의 출력 레벨들은 거기에 충돌하는 광의 세기에 응답하여 증가한다. 시간 지점(1110, 1120, 1130)에서, HDR 이미지 센서 구조(1400)의 상태는 VSAT, 2 VSAT, 3 VSAT와 거의 동일하며, 이 이벤트들은 상호연결(1430)상의 신호들을 통해 소통된다. 이 이벤트들에 대한 응답으로, LDR 이미지 센서 구조(1410, 1420)는 그들의 출력 상태를 리셋한다. LDR 이미지 센서 구조(1410, 1420)의 출력 레벨은 리셋 동작 이전에 1100으로 표시된 레벨에 의해 즉시 지시된다. 예를 들어, 이전 예에서, 리셋 동작은 스위치(1050)의 닫힘에 의해 달성된다. 다른 이미지 센서 구조와 이미지 센서 출력 리셋 동작을 달성하는 다른 방법들은 당업자에게 자명하다.
시간 지점(1100, 1120, 1130)에서 LDR 이미지 센서 구조(1410, 1420)의 출력 상태는 서로 동일하거나 1100으로 표시된 출력 레벨과 동일할 필요가 없다. 1100으로 표시된 출력 레벨은 리셋 동작을 유발하는 HDR 이미지 센서 구조(1400)의 상태 VSAT보다 낮거나, 동일하거나 높을 수 있다.
리셋 동작에 따라 LDR 이미지 센서 구조(1410, 1420)의 출력 상태는 1170으로 표시된 레벨로 변경된다. 1170으로 표시된 레벨은 임의의 미리 지정된 레벨일 수 있으며, GROUND나 0 볼트일 필요는 없다.
시간 지점(1140)은 이미지 캡처 기간의 종료를 표시한다. 그 시간에LDR 이미지 센서 구조(1410, 1420)의 출력 상태는 예를 들어 1150으로 표시된 출력 레벨로 지시된다. 시간 지점(1140)에서 LDR 이미지 센서 구조(1410, 1420)의 출력 상태는 서로 동일할 필요가 없으며 1150으로 표시된 출력 레벨과 동일할 필요가 없다.
이미지 센서 어레이 내부의 일부 또는 모든 이미지 센서 구조의 출력 상태는 도 7에서 시간 지점(1140)으로 표시된 이미지 캡처 기간의 종료시 회수되며 캡처된 장면의 전자 이미지를 생성하기 위해 처리된다.
이미지 센서 구조의 출력 상태는 임의의 수의 정보 아이템으로 구성될 수 있다. 예를 들어, LDR 이미지 센서 구조(1410, 1420)로부터 회수된 정보 아이템은 시간 지점(1140)에서 그들의 개별적인 출력 레벨인 반면 HDR 이미지 센서 구조(1400)로부터 회수된 정보 아이템은 이미지 캡처 기간 동안 VSAT의 정수배에 도달한 출력 레벨의 회수뿐만이 아니라 시간 지점(1140)에서 개별 출력 레벨이다. 이미지 센서 구조의 출력 상태를 정의하는 정보는 여기에서 예를 든 것에 한정되지 않으며, 당업자에게 자명한 임의의 수의 정보 아이템으로 구성될 수 있다.
도 8은 13개의 나란히 배치된(collocated) 이미지 센서 구조들을 포함하는 이미지 센서 어레이 또는 이미지 센서 어레이 섹션을 예를 들어 나타낸다. HDR 이미지 센서 구조(1210)는 중앙에 위치하며, 12개의 LDR 이미지 센서들은, 이중 하나는 1200으로 표시되었으며, HDR 이미지 센서 구조를 둘러싼다. HDR 이미지 센서(1210)는 추가적인 기능적 능력들에 의해 요구되는 추가적인 회로 소자들 때문에 LDR 이미지 센서 구조보다 크다. 이 어레이 구성은 예를 들어 보시한 것이고 다른 구성이 가능하며, 이는 당업자에게 자명하다.
도 9는 이미지 캡처 기간(1140)의 종료로 표시된 시간 지점에서 이미지 센서 어레이 상태를 예를 들어 도시한다. LDR 이미지 센서 구조(1300)가 예인 각 LDR 이미지 센서 구조들의 시간 지점(1140)에서 최종 출력 상태를 나타낸다. 시간 지점(1140)에서 이미지 센서 구조(1300)의 출력 레벨은 11가 되는 것으로 도시되었다. 다른 LDR 이미지 센서 구조들은 시간 지점(1140)에서 서로 다른 출력 레벨에 도달하였으며 예를 들어 도 10에서는 십진수 1과 15 사이에서 변화하는 것으로 도시되었다.
HDR 이미지 센서 구조(1310)는 두 개의 정보 아이템, 즉, 시간 지점(1140)에서 출력 레벨 VFINAL HDR과 이미지 캡처 기단 동안 출력 레벨이 VSAT의 정수배에 도달한 회수 NSAT를 시간 지점(1140)에서 생성한다. 이 아이템들은 도 10에서 십진수 214와 3이 되는 것으로 도시되어 있다.
전자 이미지는 이 정보 아이템들로부터 생성된다. 이들 정보 아이템으로부터 전자 이미지를 생성하는데 이용되는 처리는 특별하지 않다. 예를 들어, PROCESS_1로 표시된 한 처리는 도 9의 이미지 센서 구조 블록에 대해 다음과 같이 설명된다.
1. 모든 이미지 센서 구조들에 연관된 아이템들을 회수
2. 각 LDR 이미지 센서 구조들에 대해VOUT _ LDR = NSAT * VSAT + VFINAL에 따라 출력 레벨을 연산
3. 각 HDR 이미지 센서 구조들에 대해, 출력 레벨이 VFINAL이고, 시간 지점(1140)에서 출력레벨 VOUT _ HDR = NSAT * VSAT + VFINAL
4. 필요하면, 이미지 센서 구조들의 출력으로 형성된 전자 이미지를 필터링
PROCESS_2로 표시된 다른 처리는 도 0의 이미지 센서 구조 블록에 대해 다음과 같이 설명된다.
1. 모든 이미지 센서 구조들에 연관된 아이템들을 회수
2. 각 LDR 이미지 센서 구조들에 대해VOUT _ LDR = NSAT * VSAT * VFINAL _ LDR/VFINAL _ HDR + VFINAL에 따라 출력 레벨을 연산
각 HDR 이미지 센서 구조들에 대해, 출력 레벨이 VFINAL이고, 시간 지점(1140)에서 출력레벨 VOUT = NSAT * VSAT + VFINAL
4. 필요하면, 이미지 센서 구조들의 출력으로 형성된 전자 이미지를 필터링
다른 처리들도 존재하며 당업자에게 자명하다.
도 10은 저명한 테스트 그림을 나타내며 도 11A와 11C는 이종 이미지 센서에 의해 캡처된 전자 이미지를 나타내고, 이미지 센서의 세그멘트는 도 8에서 설명되었으며 파라미터NSAT = 16이고 최종 필터링은 적용되지 않은 경우이다. 도 11A는 PROCESS_1에 의해 생성된 전자 이미지이다. 도 11B는 원본 이미지와 PROCESS_1에 의해 생성된 전자 이미지 사이의 차이이다. 도 11C는 PROCESS_2에 의해 생성된 전자 이미지이고 도 11D는 원본 이미지와 PROCESS_2에 의해 생성된 전자 이미지 사이의 차이이다. 본 발명은 CMOS 및 MOS 기반 이미지 센서 구조들을 포함하는 낮은 동적 범위 고체 이미지 센서 구조의 독출 신호(read-out signal)를 획득하는 방법에 관한 것으로, 이미지 센서 구조는 출력 노드를 가진 적어도 하나의 감광 소자, 출력 노드 신호를 리셋하는 수단 및 출력 노드 신호를 독출하는 수단을 가진다.
따라서 시스템과 방법들이 이종 이미지 센서 구조를 이용하여 전자 이미지의 생성에 대해 설명되었으며, 각 개별 이미지 센서 구조 내용은 하나의 단일 이미지 스캔 또는 노출 동안 둘 이상의 이미지 센서 구조에 의해 캡처된 정보의 기능으로 생성된다.
본 발명의 다양한 실시예들이 설명되었으므로, 비록 어떤 요소들과 처리 단계들이 설명되었지만, 설명은 예시적인 것이며, 다른 기능적 설계나 추가적인 단계 및 요소들은 당업자에 의해 추가될 수 있으므로, 본 발명은 개시된 특정한 실시예들에 한정돼서는 안 된다. 다양한 재현 요소들이 하드웨어, 컴퓨터에서 구동하는 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 설명된 실시예에 대한 수정과 변형은 여기에 개시된 발명적 사상의 범위 내에서 이루어질 수 있다. 따라서, 본 발명은 첨부된 청구항의 범위와 사상에 의한 것을 제외하고는 제한되는 것으로 보아서는 안 된다.

Claims (39)

  1. 상호 통신하는 적어도 두 개의 이종 이미지 센서를 포함하되, 상기 적어도 두 개의 이종 이미지 센서는 상이한 레벨의 복잡도를 가짐에 따라 상기 적어도 두 개의 이미지 센서중 덜 복잡한 이미지 센서가 상기 적어도 두 개의 이미지 센서중 더 복잡한 이미지 센서의 기능에 비해 감소된 기능을 갖고, 상기 적어도 두 개의 이종 이미지 센서는 신호 연결에 의해 상호연결되어 상기 덜 복잡한 이미지 센서가 상기 더 복잡한 이미지 센서에 의해 제공되는 정보를 포함하는 신호를 수신하며, 상기 정보는 상기 더 복잡한 이미지 센서의 내부 또는 출력 상태 표시를 포함함에 따라 상기 덜 복잡한 이미지 센서로 하여금 자신의 현재 출력 상태를 리셋하도록 야기하고, 상호 통신하는 상기 적어도 두 개의 이종 이미지 센서 각각은 전자기 복사 에너지에 민감하여 외부 장면으로부터의 전자기 복사에너지를 감지하고 상기 감지로부터 상기 외부 장면의 전자 이미지 표현을 생성하며,
    상기 정보는 상기 더 복잡한 이미지 센서의 내부 또는 출력상태가 상기 덜 복잡한 이미지 센서의 내부 또는 출력상태의 정수 증가(integer increment)와 동일하거나 거의 동일할 때를 나타내는 표시를 포함함으로써 이에 의해 상기 덜 복잡한 이미지 센서가 그의 현재 출력 상태를 리셋하도록 야기하는 이미지 센서 어레이.
  2. 제1항에 있어서, 상기 이미지 센서 어레이는 인간 눈의 전자기 복사에너지 주파수 범위, 인간 눈의 전자기 범위보다 낮은 전자기 주파수 및 인간의 눈의 전자기 범위보다 높은 전자기 주파수 중 적어도 하나에 민감한 이미지 센서 어레이.
  3. 제1항 또는 제2항에 있어서, 상기 이미지 센서 어레이는 입력 전자기 복사에너지 자극에 반응하여 상기 이미지 센서 어레이에 충돌하는 전자기 복사 세기의 전체 범위에 대해 응답을 생성할 수 있도록 높은 동적 범위의 출력을 생성할 수 있는 이미지 센서를 포함하는 이미지 센서 어레이.
  4. 제1항 또는 제2항에 있어서, 상기 이미지 센서 어레이는 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성할 수 없는 이미지 센서를 포함하는 이미지 센서 어레이.
  5. 제1항 또는 제2항에 있어서, 적어도 하나의 이종 이미지 센서는 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성할 수 있으며, 적어도 하나의 이종 이미지 센서는 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성할 수 없으며, 상기 상호 통신하는 이종 이미지 센서는 이미지 캡쳐 처리 동안 정보를 교환하는 이미지 센서 어레이.
  6. 제1항 또는 제2항에 있어서, 상기 이미지 센서 어레이는 둘 이상의 개별 이미지 센서들을 포함하는 이미지 센서 어레이.
  7. 제6항에 있어서, 각 이미지 센서는 전자기 복사에너지에 민감하여 외부 장면으로부터의 전자기 복사에너지를 감지하고 상기 감지로부터 상기 외부 장면의 전자 이미지 표현을 생성하는 이미지 센서 어레이.
  8. 제6항에 있어서, 상기 이미지 센서 어레이는 이미지 센서 서브어레이로 구조화되는 복수 종류의 개별 이미지 센서들을 포함하는 이미지 센서 어레이.
  9. 제8항에 있어서, 상기 이미지 센서 서브어레이는 둘 이상의 개별 이미지 센서를 포함하며, 그 중 적어도 하나의 상기 개별 이미지 센서는 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성할 수 있는 이미지 센서와 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성할 수 없는 이미지 센서 중의 하나인 이미지 센서 어레이.
  10. 제8항에 있어서, 상기 이미지 센서 서브 어레이는 둘 이상의 개별 이미지 센서를 포함하며, 적어도 두 개의 상기 개별 이미지 센서는 정보를 교환하는 이미지 센서 어레이.
  11. 제1항 또는 제2항에 있어서, 상기 이미지 센서 어레이는 상이한 기능 레벨을 갖는 복수 유형의 개별 이미지 센서를 포함하여 상기 상이한 기능 레벨을 갖는 상기 개별 이미지 센서의 적어도 하나의 서브셋이 이미지 캡쳐 처리 동안 동작 모드를 조정하는 이미지 센서 어레이.
  12. 제11항에 있어서, 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위의 출력을 생성하는 이미지 센서 전부 또는 서브셋은 이미지 센서의 외부로 연장되어 하나 이상의 이미지 센서를 연결하는 신호 버스를 포함하여, 상기 개별 이미지 센서의 적어도 하나의 서브셋이 상기 신호 버스상에 포함된 정보를 이용하여 이미지 캡쳐 처리 동안 동작 모드를 조정하도록 하는 이미지 센서 어레이.
  13. 제11항에 있어서, 입력 전자기 복사에너지 자극에 응답하여 높은 동적 범위 출력을 생성하지 못하는 이미지 센서 전부 또는 서브셋은 이미지 센서의 외부로 연장되어 하나 이상의 이미지 센서를 연결하는 신호 버스를 포함하여, 상기 개별 이미지 센서의 적어도 하나의 서브셋이 상기 신호 버스 내에 포함된 정보를 이용하여 이미지 캡쳐 처리 동안 동작 모드를 조정하도록 하는 이미지 센서 어레이.
  14. 제12항에 있어서, 상기 개별 이미지 센서의 적어도 하나의 서브셋이 하나의 신호를 포함하는 신호 버스 내에 포함된 정보를 이용하여 이미지 캡쳐 처리 동안 동작 모드를 조정하는 이미지 센서 어레이.
  15. 제12항에 있어서, 상기 개별 이미지 센서의 적어도 하나의 서브셋이 복수의 신호를 포함하는 신호 버스 내에 포함된 정보를 이용하여 이미지 캡쳐 처리 동안 동작 모드를 조정하는 이미지 센서 어레이.
  16. 삭제
  17. 입력 전자기 복사 에너지에 응답하여 높은 동적 범위의 출력을 생성할 수 있는 이미지 센서에 있어서, 상기 이미지 센서는 이미지 센서 서브그룹의 이미지 획득 처리를 조정하고, 상기 이미지 센서 및 상기 이미지 센서 서브그룹은 이종이어서 상기 이미지 센서 및 상기 이미지 센서 서브 그룹이 상이한 레벨의 복잡도를 가지며, 이에 의해 상기 이미지 센서 서브 그룹중 덜 복잡한 이미지 센서가 더 복잡한 이미지 센서의 기능에 비해 감소된 기능을 갖고, 상기 이미지 센서 및 상기 이미지 센서 서브그룹은 상호 연결되어 상기 덜 복잡한 이미지 센서가 상기 더 복잡한 이미지 센서에 의해 제공되는 정보를 운반하는 신호를 수신하고, 상기 정보는 상기 더 복잡한 이미지 센서의 내부 또는 출력상태가 상기 덜 복잡한 이미지 센서의 내부 또는 출력상태의 정수 증가(integer increment)와 동일하거나 거의 동일할 때를 나타내는 표시를 포함함으로써 이에 의해 상기 덜 복잡한 이미지 센서가 그의 현재 출력 상태를 리셋하도록 야기하는 이미지 센서.
  18. 제17항에 있어서, 상기 이미지 센서는 이미지 획득 처리를 조정하기 위해 이미지 센서 서브그룹에 신호 버스를 통해 정보를 전송하는 이미지 센서 어레이.
  19. 제17항 또는 제18항에 있어서, 상기 이미지 센서는 이미지 센서 서브그룹에 의한 이미지 획득 구성을 늘리는데(augment) 이용되는 이미지 획득 정보를 생성하는 이미지 센서 어레이.
  20. 입력 전자기 복사 에너지에 응답하여 높은 동적 범위의 출력을 생성할 수 없는 이미지 센서에 있어서, 상기 이미지 센서는 이미지 센서 서브그룹과 자신의 이미지 획득 처리를 조정하고, 상기 이미지 센서 및 상기 이미지 센서 서브그룹은 이종이어서 상기 이미지 센서 및 상기 이미지 센서 서브 그룹은 상이한 레벨의 복잡도를 가지며, 이에 의해 상기 이미지 센서 서브 그룹중 덜 복잡한 이미지 센서가 더 복잡한 이미지 센서의 기능에 비해 감소된 기능을 갖고, 상기 이미지 센서 및 상기 이미지 센서 서브그룹은 상호 연결되어 상기 덜 복잡한 이미지 센서가 상기 더 복잡한 이미지 센서에 의해 제공되는 정보를 운반하는 신호를 수신하고, 상기 정보는 상기 더 복잡한 이미지 센서의 내부 또는 출력상태가 상기 덜 복잡한 이미지 센서의 내부 또는 출력상태의 정수 증가(integer increment)와 동일하거나 거의 동일할 때를 나타내는 표시를 포함함으로써 이에 의해 상기 덜 복잡한 이미지 센서가 그의 현재 출력 상태를 리셋하도록 야기하는 이미지 센서 어레이.
  21. 제20항에 있어서, 상기 이미지 센서는 자신의 이미지 획득 처리를 조정하기 위해 신호 버스를 통해 이미지 센서 서브그룹으로부터 수신된 정보를 이용하는 이미지 센서 어레이.
  22. 제21항에 있어서, 상기 이미지 센서는 최종 이미지 획득 정보를 생성하기 위해 다른 이미지 센서의 서브그룹으로부터의 이미지 획득 정보와 함께 상기 이미지 센서에 의해 생성된 이미지 획득 정보를 이용하는 이미지 센서 어레이.
  23. 캡쳐한 외부 장면을 제1항의 이종 이미지 센서 어레이로 제공하는 단계;
    상기 제1항의 이종 이미지 센서 어레이를 이용하여 상기 외부 장면에 대응되는 전자 이미지 표현을 생성하는 단계를 포함함을 특징으로 하는 높은 정확도의 전자 이미지 표현을 생성하는 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
KR1020107020812A 2008-02-25 2008-02-25 높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법 KR101361788B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/054828 WO2009108182A1 (en) 2008-02-25 2008-02-25 System and method for a high dynamic range image sensor sensitive array

Publications (2)

Publication Number Publication Date
KR20100129300A KR20100129300A (ko) 2010-12-08
KR101361788B1 true KR101361788B1 (ko) 2014-02-21

Family

ID=41016375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107020812A KR101361788B1 (ko) 2008-02-25 2008-02-25 높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법

Country Status (6)

Country Link
US (1) US9167167B2 (ko)
EP (1) EP2248170A4 (ko)
JP (1) JP5107442B2 (ko)
KR (1) KR101361788B1 (ko)
CN (1) CN101981694B (ko)
WO (1) WO2009108182A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110121387A1 (en) * 2009-11-23 2011-05-26 Francois Hebert Integrated guarded schottky diode compatible with trench-gate dmos, structure and method
US20110156810A1 (en) * 2009-12-30 2011-06-30 Intersil Americas Inc. Integrated dmos and schottky
US20110156682A1 (en) * 2009-12-30 2011-06-30 Dev Alok Girdhar Voltage converter with integrated schottky device and systems including same
US8492225B2 (en) * 2009-12-30 2013-07-23 Intersil Americas Inc. Integrated trench guarded schottky diode compatible with powerdie, structure and method
FR2959320B1 (fr) * 2010-04-26 2013-01-04 Trixell Detecteur de rayonnement electromagnetique a selection de gamme de gain
GB2480621A (en) * 2010-05-25 2011-11-30 St Microelectronics Calibration of optical navigation devices in ambient light conditions
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9762794B2 (en) * 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
EP2612588B1 (en) * 2011-07-05 2015-03-18 Olympus Medical Systems Corp. Image pickup apparatus and endoscope system
US20150334317A1 (en) * 2012-01-20 2015-11-19 Rjs Technology, Inc. High dynamic range array of sensitive image sensor blocks using block processing
US9197834B2 (en) * 2012-02-29 2015-11-24 Sabanci Üniversitesi Self-reset asynchronous pulse frequency modulated DROIC with extended counting and having reduced quantization noise
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
CN108353133B (zh) * 2015-11-11 2021-06-15 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
US10007974B2 (en) * 2016-06-10 2018-06-26 Sensors Unlimited, Inc. Enhancing images
US10122943B1 (en) * 2017-05-05 2018-11-06 Motorola Mobility Llc High dynamic range sensor resolution using multiple image sensors
JP7373299B2 (ja) * 2019-04-26 2023-11-02 キヤノン株式会社 画像処理装置およびその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070204A1 (en) * 2005-09-29 2007-03-29 Mentzer Ray A Multi-camera system and method
KR20070106827A (ko) * 2006-05-01 2007-11-06 (주) 픽셀플러스 넓은 동작 범위를 가지는 이미지 센서 및 이미지 센서의픽셀 어레이

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3105158A (en) * 1960-06-29 1963-09-24 Daystrom Inc Step counter having storage capacitor discharge through tranistor driven to saturation with diode regenerative feedback
JPH09219824A (ja) * 1996-02-09 1997-08-19 Sony Corp 固体撮像装置
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
EP1176807A1 (en) * 2000-07-24 2002-01-30 Agilent Technologies, Inc. (a Delaware corporation) Skewed pixel pattern sub-sampling for image sensor
US7079178B2 (en) * 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US6927796B2 (en) * 2001-09-24 2005-08-09 The Board Of Trustees Of The Leland Stanford Junior University CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2004048561A (ja) * 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd 撮像装置及び測光装置
US7492400B2 (en) * 2004-06-01 2009-02-17 The Board Of Trustees Of The Leland Stanford Junior University Adaptive pixel for high dynamic range and disturbance detection and correction
JP2006157862A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Ｍｏｓ型撮像素子および撮像装置
EP1829364A2 (en) * 2004-12-07 2007-09-05 Bright Imaging Ltd. Method and apparatus for imaging of scenes having large intensity variance
US7633134B2 (en) * 2005-12-29 2009-12-15 Jaroslav Hynecek Stratified photodiode for high resolution CMOS image sensor implemented with STI technology
JP4487944B2 (ja) * 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
US20080007637A1 (en) * 2006-07-07 2008-01-10 Honeywell International, Inc. Image sensor that provides compressed data based on junction area
KR100834763B1 (ko) * 2006-11-14 2008-06-05 삼성전자주식회사 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070204A1 (en) * 2005-09-29 2007-03-29 Mentzer Ray A Multi-camera system and method
KR20070106827A (ko) * 2006-05-01 2007-11-06 (주) 픽셀플러스 넓은 동작 범위를 가지는 이미지 센서 및 이미지 센서의픽셀 어레이

Also Published As

Publication number Publication date
CN101981694B (zh) 2016-02-24
EP2248170A1 (en) 2010-11-10
US9167167B2 (en) 2015-10-20
CN101981694A (zh) 2011-02-23
JP2011515903A (ja) 2011-05-19
JP5107442B2 (ja) 2012-12-26
KR20100129300A (ko) 2010-12-08
WO2009108182A1 (en) 2009-09-03
US20100328512A1 (en) 2010-12-30
EP2248170A4 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
KR101361788B1 (ko) 높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법
KR100659443B1 (ko) Ｘ-ｙ 어드레스가능 ｍｏｓ 화상 형성 장치 사용 방법, 화상 감지용 제품 및 ｘ-ｙ 어드레스가능 ｍｏｓ 화상 형성 장치 시스템
US7800669B2 (en) System and method for image sensor element or array with photometric and realtime reporting capabilities
KR100657103B1 (ko) Ｘ－ｙ 어드레스지정가능 ｍｏｓ 이미저 센서 및 사용 방법, ｘ－ｙ 어드레스지정가능 ｍｏｓ 촬상 시스템
CN110753192B (zh) 一种集成电路图像传感器
US6642503B2 (en) Time domain sensing technique and system architecture for image sensor
US8456557B2 (en) Dynamic range extension for CMOS image sensors for mobile applications
US7605359B2 (en) Light source frequency detection circuit for image sensor
KR20120088605A (ko) 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장
Nayar et al. Towards self-powered cameras
Jo et al. Very wide dynamic range ROIC with pixel-level ADC for SWIR FPAs
US8279306B2 (en) Image sensor noise reduction
Gouveia et al. A reconfigurable cmos pixel for applying tone mapping on high dynamic range images
JP2001036822A (ja) 固体撮像装置
US9979907B2 (en) Multi-layered high-dynamic range sensor
JP2003163841A (ja) 固体撮像装置
US20150334317A1 (en) High dynamic range array of sensitive image sensor blocks using block processing
US10880500B2 (en) Pixel apparatus and CMOS image sensor using the same
US8174602B2 (en) Image sensing system and method utilizing a MOSFET
Mughal et al. On threshold comparing biomorphic image sensors
Oi et al. Wide dynamic range imaging by sensitivity adjustable CMOS image sensor
WO2024093240A1 (zh) 亮度变化检测装置及方法、电子设备
US20230078758A1 (en) Apparatus, image processing method to combine images based on flicker, and storage medium
Carmona-Galán et al. Pixel-wise parameter adaptation for single-exposure extension of the image dynamic range
CN117119328A (zh) 感光像素电路、图像传感器和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 4