KR101843667B1 - 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법 - Google Patents

다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법 Download PDF

Info

Publication number
KR101843667B1
KR101843667B1 KR1020167007318A KR20167007318A KR101843667B1 KR 101843667 B1 KR101843667 B1 KR 101843667B1 KR 1020167007318 A KR1020167007318 A KR 1020167007318A KR 20167007318 A KR20167007318 A KR 20167007318A KR 101843667 B1 KR101843667 B1 KR 101843667B1
Authority
KR
South Korea
Prior art keywords
pixel
sensing element
photo
integration time
image
Prior art date
Application number
KR1020167007318A
Other languages
English (en)
Other versions
KR20160045815A (ko
Inventor
지아푸 루오
펑 린
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160045815A publication Critical patent/KR20160045815A/ko
Application granted granted Critical
Publication of KR101843667B1 publication Critical patent/KR101843667B1/ko

Links

Images

Classifications

    • H04N5/35563—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H04N5/2258—
    • H04N5/35554—
    • H04N5/37457—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

동적 범위를 확장하기 위해 상이한 적분 시간들을 갖는 다수의 이미지 감지 엘리먼트들을 포함하는 CMOS 가시 이미지 센서들에 대한 방법들, 디바이스들, 및 컴퓨터 프로그램 제품들. 하나의 양태에서, 제 1 웰 용량을 갖는 적어도 하나의 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 적어도 하나의 제 2 광 감지 엘리먼트를 포함하는 CMOS 가시 이미지 센서를 사용하여 촬상하는 방법으로서, 제 2 웰 용량은 제 1 웰 용량보다 큰, 이미지 센서를 사용하여 촬상하는 방법이 개시된다. 방법은 적어도 하나의 제 1 광 감지 엘리먼트들 각각에 대해 제 1 적분 시간을 결정하는 단계를 포함한다. 방법은 상기 적어도 하나의 제 2 광 감지 엘리먼트들 각각에 대해 제 2 적분 시간을 결정하는 단계를 포함하며, 제 2 적분 시간은 상기 제 1 적분 시간과 상이하다.

Description

다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법{SYSTEM AND METHOD FOR CAPTURING IMAGES WITH MULTIPLE IMAGE SENSING ELEMENTS}
본 출원은 일반적으로 디지털 촬상에 관한 것으로서, 특히 동적 범위를 확장시키기 위해 다수의 이미지 감지 엘리먼트들을 포함하는 가시적 이미지 센서들을 위한 시스템들, 방법들, 및 디바이스들에 관한 것이다.
디지털 촬상에서, 상보형 금속 산화물 반도체 (CMOS) 센서의 동적 범위는 때때로 옥외 장면들을 정확하게 표현하는데 불충분할 수도 있다. 이것은 이동 전화상의 카메라에서와 같은 이동 디바이스에서 사용될 수도 있는 더욱 소형의 센서들에서 특히 사실일 수도 있다. 예를 들어, 이동 디바이스 카메라에 사용되는 통상적인 센서는 대략 60-70 dB 의 동적 범위를 가질 수도 있다. 그러나, 통상적인 자연의 옥외 장면은 광 영역들과 그림자들 사이의 100 dB 의 콘트라스트 영역을 쉽게 커버할 수 있다. 이러한 동적 범위는 이동 디바이스에서 사용되는 통상적인 센서의 동적 범위보다 크기 때문에, 이동 디바이스들에 의해 캡쳐된 이미지들에서의 상세가 손실될 수도 있다.
이미지 센서들의 동적 범위를 확장시키려는 이전의 시도들은 각각 그들 자신의 이점들과 그들 자신의 단점들을 갖는다. 예를 들어, 일부 이전의 접근법들은 2 개의 프레임들, 더 짧은 노출 시간을 갖는 프레임 및 더 긴 노출 시간을 갖는 프레임을 결합하는 것을 수반한다. 이러한 접근법에서, 더 긴 노출 시간을 갖는 프레임은 어두운 영역들에서 상세들을 보여주기 위해 사용될 수도 있는 반면, 더 짧은 노출 시간을 갖는 프레임은 밝은 영역들에서의 상세들을 보여주기 위해 사용될 수도 있다. 이러한 접근법은 정지되어 있는 오브젝트들에 대해 양호한 결과들을 산출할 수도 있고, 우수한 넓은 동적 범위 (WDR) 화상들을 생성할 수도 있다. 불행하게도, 이동하는 오브젝트들이 촬영되는 경우, 그러한 이미지를 생성하기 위해 사용되는 2 개의 상이한 프레임들 사이의 시간 차이가 모션 고스트 효과를 야기할 수도 있다. 이러한 접근법은 또한 그러한 디바이스에서 풀 (full) 프레임 메모리를 요구할 수도 있다.
그러한 모션 아티팩트를 감소시키기 위해, 다른 접근법은 긴 노출 프레임의 독출 직후에 짧은 노출 프레임의 적분을 시작하는 것이다. 이러한 스킴이 작동하는 법을 설명하기 위해, 짧은 노출 시간은 S 라인-시간이고 긴 노출 시간은 L 라인-시간이라고 가정하자. 통상적인 롤링 셔터 동작으로, 촬상기 (imager) 는 시간 0 에서 제 1 행의 적분을 시작하고, 그 후 1 라인-시간 후에 제 2 행의 적분을 시작하는 등일 것이다. 시간 L 라인-시간에서, 우리는 긴 노출 프레임에 대해 제 1 행을 독출하고 제 2 의 짧은 노출 프레임에 대해 적분을 즉시 시작할 것이고, 1 라인-시간 후에 제 2 행의 독출 및 리셋이 후속되는 등일 것이다. 따라서, 예를 들어, 시간 L+S 라인-시간에서, 행 1 의 짧은 노출 프레임의 독출이 발생할 것인 반면, 시간 L+S+1 에서는, 짧은 노출 프레임의 행 2 의 독출이 발생할 것이다. 이것은 양 프레임들이 완전히 독출될 때까지 계속된다. 모션 아티팩트가 이전이 접근법에 비해 감소될 수도 있지만, 이러한 접근법은 여전히 완전한 WDR 프레임을 재구성하기 위해 메모리 버퍼의 S 개의 라인들을 요구할 것이다.
듀얼-프레임 접근법들로부터의 모션 아티팩트들을 최소화하고 요구되는 라인 버퍼들의 양을 감소시키기 위해, 상이한 적분 시간들이 동일한 독출 프레임 내에서 구현되는 상이한 스킴이 사용될 수도 있다. 예를 들어, 하나의 가능한 스킴은 더 긴 적분 시간 (Tlong) 을 갖는 2 개의 행들, 및 더 짧은 적분 시간 (Tshort) 을 갖는 다른 2 개의 행들을 갖는 것이다. 이러한 스킴은 도 1 에 도시된 바와 같이, 하나의 대각선에 2 개의 녹색 화소들 및 다른 대각선에 적색 및 청색 화소를 갖는 2x2 서브 패턴을 갖는 기지의 베이어 패턴과 같은, 칼라 필터 서브 패턴이 보통 쌍들로 이루어지는 칼라 감지 촬상기들에 사용될 수도 있다.
다른 접근법들과 유사하게, Tlong 을 갖는 행들은 어두운 영역들에서 상세들을 보여주기 위해 사용되는 반면, Tshort 을 갖는 행들은 밝은 영역들에서 상세들을 보여주기 위해 사용된다. 그러한 접근법으로, 모션 아티팩트들은 최소화되고 라인 버퍼는 필요하지 않다. 그러나, 이러한 접근법은 수직 방향에서 해상도 손실을 야기할 것이다. 다른 개선된 접근법은 미국 특허 8,059,174 에서 제시되고, 여기서 길고 짧은 적분 시간은 타이트하게 인터리빙되며, 즉 행 내의 일부 화소들은 더 긴 적분 시간을 가질 것인 반면, 동일한 행 내의 다른 화소들은 더 짧은 적분 시간을 가져, 수직 방향에서 훨씬 양호한 해상도를 야기할 것이다. 그러나, 이것은 여전히 수직 및 수평 방향들에서 일부 해상도 손실을 야기한다. 유사한 스킴에서, 긴 적분 시간을 갖는 화소들의 하나의 행이 사용될 수도 있고, 화소들의 다음 행은 짧은 적분 시간을 가질 수도 있으며, 양 화소들이 동일한 칼라 필터를 가진다. 그러나, 이러한 접근법은 상이한 애스펙트비 및 수직 해상도 손실을 야기한다.
이러한 문제에 대한 또 다른 접근법은 대수적 (logarithmic) 화소들과 같은 비선형 응답 화소들을 사용하는 것일 수도 있다. 그러한 화소들은 매우 높은 고유의 동적 범위를 제공하는 반면, 이들 화소들을 사용하여 생성된 이미지들은 더 높은 고정 패턴 노이즈 (FPN) 와 같은 다른 문제들로부터 어려움을 겪는다.
상이한 적분 시간 이외에, 화소 내 (in-pixel) 조작과 같은 다른 기법들이 또한 WDR 을 달성하기 위해 구현될 수 있다. 예를 들어, 소위 측방향 오버플로우 적분형 커패시터 (LOFIC) 스킴에서, 소형 커패시터가 특정의 화소가 포화에 가까울 때 전하들을 축적하기 위해 각 화소에 추가된다. 이러한 스킴에서, 더 높은 동적 범위는 더 복잡한 레이아웃의 비용으로 달성될 수도 있다.
이들 스킴들 각각에서, 각 화소는 하나의 광 감지 엘리먼트를 가지고, 화소들은 보통 수평 및 수직 방향 양자 모두에서 동일한 증분을 갖는 정사각형 패턴으로 배열된다.
다른 가능한 스킴은 미국 특허 7,019,274 에 의해 예시되며, 그것은 소형 광 감지 엘리먼트 및 대형 광 감지 엘리먼트가 각각의 화소에 포함되는 스킴을 보여준다. 더 큰 엘리먼트에 대해 더 많은 노출을 그리고 더 작은 엘리먼트에 대해 더 적은 노출을 허용하기 위해 화소의 상부에 광 실드 (shield) 를 조정함으로써, 결합된 화상은 더 높은 동적 범위를 가질 수 있다. 그러한 접근법의 경우, 그러나, 동작 범위 확장은, 동적 범위 확장이 소형 및 대형 엘리먼트들의 비율 및 그들의 애퍼쳐 비율에만 의존하기 때문에, 일단 촬상기가 제조되면 고정된다. 그러나, 실제로, 상이한 장면들에 대해, 상이한 동적 범위들이 필요하다. 예를 들어, 낮은 광 상황들에서, 임의의 높은 동적 범위 이미지 정보를 사용하지 않는 것이 바람직할 수도 있고, 대신에 더 높은 신호대 잡음비 (SNR) 를 달성하기 위해 가능한 한 많은 광에 각 화소를 노출시키는 것이 바람직할 수도 있다. 그러나, US 특허 7,019,274 에서 사용된 스킴은 그러한 상이한 스킴들에대해 최적화되지 않을 수도 있다.
여기서 논의된 시스템들, 방법들, 디바이스들, 및 컴퓨터 프로그램 제품들 각각은 수개의 양태들을 가지며, 그들 중 단일의 하나가 그것의 바람직한 속성들에 유일하게 책임이 있지는 않다. 후속하는 청구범위에 의해 표현되는 본 발명의 범위를 제한하지 않고, 일부 특징들은 이하에서 간략하게 논의된다. 본 논의를 고려한 후, 그리고 특히 상세한 설명이라는 섹션을 읽은 후에, 본 발명의 이로운 특징들이 다수의 광 감지 엘리먼트들로 이미지들을 캡쳐하는 것을 포함하는 방법이 이해될 것이다.
일부 양태들에서, 제 1 웰 용량을 갖는 적어도 하나의 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 적어도 하나의 제 2 광 감지 엘리먼트를 포함하는 이미지 센서로 이미지를 캡쳐하는 방법으로서, 여기서 제 1 웰 용량은 제 2 웰 용량보다 큰 이미지를 캡쳐하는 방법이 개시된다. 방법은 적어도 하나의 제 1 광 감지 엘리먼트들 각각에 대해 제 1 적분 시간을 결정하는 단계; 및 적어도 하나의 제 2 광 감지 엘리먼트들 각각에 대해 제 2 적분 시간을 결정하는 단계를 포함하고, 여기서, 제 2 적분 시간은 제 1 적분 시간과 상이하다.
하나의 양태에서, 전자 디바이스가 개시된다. 디바이스는 제 1 웰 용량을 갖는 적어도 하나의 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 적어도 하나의 제 2 광 감지 엘리먼트를 포함하는 CMOS 가시 이미지 센서로서, 여기서 제 1 웰 용량은 제 2 웰 용량보다 큰, 상기 CMOS 가시 이미지 센서; 및 프로세서를 포함하고, 그 프로세서는 적어도 하나의 제 1 광 감지 엘리먼트들 각각에 대해 사용될 제 1 적분 시간을 결정하고; 적어도 하나의 제 2 광 감지 엘리먼트들 각각에 대해 사용될 제 2 적분 시간을 결정하도록 구성되며, 여기서, 제 2 적분 시간은 제 1 적분 시간과 상이하다.
하나의 양태에서, 전자 디바이스가 개시된다. 디바이스는 CMOS 가시 이미지 센서에 포함된 제 1 웰 용량을 갖는 적어도 하나의 제 1 광 감지 엘리먼트들 각각에 대해 제 1 적분 시간을 결정하는 수단; 및 CMOS 가시 이미지 센서에 포함된 제 2 웰 용량을 갖는 적어도 하나의 제 2 광 감지 엘리먼트들 각각에 대해 제 2 적분 시간을 결정하는 수단을 포함하고, 여기서, 제 2 적분 시간은 제 1 적분 시간과 상이하며, 제 1 웰 용량은 제 2 웰 용량보다 크다.
일 양태에서, 비일시적 컴퓨터 판독가능 매체로서, 실행될 때, 디바이스 내의 프로세서로 하여금, 제 1 웰 용량을 갖는 적어도 하나의 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 적어도 하나의 제 2 광 감지 엘리먼트를 포함하는 CMOS 가시 이미지 센서를 사용하여 촬상하는 방법을 수행하게 하는 명령들을 포함하고, 제 1 웰 용량이 제 2 웰 용량보다 큰, 비일시적 컴퓨터 판독가능 매체가 개시된다. 방법은 적어도 하나의 제 1 광 감지 엘리먼트들 각각에 대해 제 1 적분 시간을 결정하는 단계; 및 적어도 하나의 제 2 광 감지 엘리먼트들 각각에 대해 제 2 적분 시간을 결정하는 단계를 포함하고, 여기서, 제 2 적분 시간은 제 1 적분 시간과 상이하다.
도 1 은 베이어 칼라 필터 패턴의 예시이다.
도 2 는 2-다이오드 화소의 예시적인 개략도이다.
도 3 은 동적 범위 확장을 가능하게 하는 2-다이오드 화소의 예시적인 타이밍도이다.
도 4a 및 도 4b 는 동적 범위 확장의 원리의 예시이다.
도 5 는 2 개의 포토다이오드들로부터 독출 값들을 결합하는 함수를 예시하는 α(x, y) 의 그래프이다.
도 6 은 낮은 광 상황들에서 사용될 수도 있는 2-다이오드 화소의 예시적인 타이밍도이다.
도 7 은 공통 트랜지스터들의 세트를 갖는 디바이스의 고레벨 블록도를 도시한다.
도 8 은 포토다이오드들로부터의 독출 값들을 결합하는 컴포넌트들의 세트를 갖는 디바이스의 고레벨 블록도를 도시한다.
도 9 는 듀얼-다이오드 디바이스를 사용하는 방법의 예시이다.
실시형태들은 가시 이미지 센서들의 동적 범위를 확장하는 방법들 및 시스템들에 관련된다. 하나의 실시형태는 이미지 센서의 동적 범위를 확장하기 위해 상이한 적분 시간들을 갖는 듀얼 다이오드 화소들을 통합하는 CMOS 기반 가시 이미지 센서들을 포함한다. 가시 이미지 센서의 동적 범위를 확장하는 것은 통상의 이동 디바이스상에서 사용되는 센서가 옥외 이미지들의 풀 동적 범위를 캡쳐하기 위해 불충분한 동적 범위를 가질 수도 있기 때문에 중요할 수도 있다. 일부 실시형태들에서, CMOS 센서는 듀얼-다이오드 설계를 포함함으로써 증가된 동적 범위를 가질 수도 있다. 그러한 설계는 예를 들어 더 많은 광을 흡수하고 이미지의 더 어두운 영역들에서 더 많은 상세를 제공하기 위해 더 큰 웰 용량을 갖는 더 큰 포토다이오드, 및 이미지의 밝은 영역들에서 더 많은 상세를 제공하기 위해 더 작은 웰 용량을 갖는 더 작은 포토다이오드를 포함할 수도 있다.
포토다이오드와 같은 광 감지 엘리먼트가 유지할 수 있는 전하의 총량은 웰 용량으로 지칭되고, 전자 단위로 측정된다. 광 감지 엘리먼트의 웰 용량은 통상 데시벨 단위로 측정되는 해당 엘리먼트의 동적 범위에 관련된다. 동적 범위, 웰 용량과 노이즈 플로어 사이의 비율은 센서가 풀 웰 용량에 도달할 때까지 항상 낮은 광 강도들에서 정확한 신호를 얼마나 잘 측정할 수 있는지의 척도이다. 유사한 노이즈 플로오가 제공되는 경우, 감지 엘리먼트의 동적 범위는 그러한 광 감지 엘리먼트들의 사이즈에 통상 비례하는 그의 웰 용량에 비례한다.
단어 "예시적인" 은 "예, 예시, 또는 설명으로서 작용하는" 을 의미하기 위해 여기서 사용된다. "예시적인" 것으로서 여기에 기술된 임의의 실시형태는 다른 실시형태들에 비해 바람직하다거나 이로운 것으로서 반드시 해석되어야 하는 것은 아니다. 신규한 시스템들, 장치들, 및 방법들의 여러 양태들이 첨부하는 도면들을 참조하여 이하에 더 완전하게 기술된다. 본 개시는 그러나, 많은 상이한 형태들로 구현될 수도 있고, 본 개시 전체에 걸쳐 제시된 임의의 특정의 구조 또는 기능에 제한되는 것으로 해석되지 않아야 한다. 오히려, 이들 양태들은 본 개시가 철저하고 완전하며, 통상의 기술자에게 본 개시의 범위를 완전히 전달하도록 제공된다. 여기의 교시들에 기초하여, 통상의 기술자는 본 개시의 범위가 본 발명의 임의의 다른 양태와 독립적으로 또는 결합하여 구현되는지에 관계 없이 여기에 개시된 신규한 시스템들, 장치들 및 방법들의 임의의 양태를 커버하도록 의도된다는 것을 인정해야 한다. 예를 들어, 여기에 진술된 임의의 수의 양태들을 사용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본 발명의 범위는 여기에 진술된 발명의 여러 양태들에 더하거나 이외의 다른 구조, 기능성, 또는 구조 및 기능성을 사용하여 실시되는 장치 또는 방법을 커버하도록 의도된다. 여기에 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있다는 것이 이해되어야 한다.
특정의 양태들이 여기서 기술되지만, 이들 양태들의 많은 변형들 및 치환들은 본 개시의 범위 내에 있다. 바람직한 양태들의 일부 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정의 이익들, 사용들, 또는 목적들에 제한되는 것으로 의도되지 않는다. 오히려, 본 개시의 양태들은 상이한 무선 기술들, 시스템 구성들, 네트워크들 및 송신 프로토콜들에 널리 적용가능하도록 의도되고, 그들 일부가 바람직한 양태들의 이하의 설명 및 도면들에서 예로써 도시된다. 상세한 설명 및 도면들은 단지 제한이라기 보다는 본 개시를 예시할 뿐이고, 본 개시의 범위는 첨부된 청구범위 및 그의 등가물들에 의해 정의된다.
위에서 논의된 바와 같이, 밝은 영역들 및 어두운 영역들 양자 모두를 포함하는 장면들을 촬영하기 위해 이미지 센서들, 또는 촬상기들의 동적 범위를 확장하는 것이 소망될 수도 있다. 이것은 더 작은 화소들은 각 화소에 대한 작아진 풀 웰 용량 (FWC) 을 가질 수도 있기 때문에 작은 화소 사이즈들에 대해 특히 사실일 수도 있다. 예를 들어, 이동 전화 카메라에서 사용되는 통상의 이미지 센서는 60-70 dB 사이의 동적 범위를 가지는 반면, 통상의 자연의 장면은 100 dB 의 콘트라스트 범위를 쉽게 커버할 수 있다. 따라서, 캡쳐된 이미지의 동적 범위를 확장하는 방법들은 그러한 화상들의 콘트라스트 충실도를 유지하도록 요구된다.
이에 따라, 실시형태들은 하나 이상의 화소들이 상이한 웰 용량들의 광 감지 엘리먼트들로 이루어지는 이미지 센서들에 관련된다. 이들 이미지 센서들은 따라서 동일한 캡쳐된 이미지 프레임 내의 낮은 광, 및 높은 광 이미지 부분들을 정확히 캡쳐하기 위해 이하에 논의되는 바와 같이 상이한 감지 엘리먼트들의 조합을 사용함으로써 높은 동적 범위를 갖는 이미지들을 캡쳐할 수 있다. 위의 방법들의 단점들 중 일부를 피하면서 증가된 동적 범위를 제공하기 위해 사용될 수도 있는 하나의 방법은 가시 이미지 센서에 화소당 2 개의 광 감지 엘리먼트들, 하나의 소형 광 감지 엘리먼트 및 하나의 대형 광 감지 엘리먼트를 제공하는 것일 수도 있다. 도 2 는 2-다이오드 화소의 예시적인 개략도 (200) 이다. 이하에 논의되는 바와 같이, 비록 다른 광 감지 엘리먼트들이 또한 사용될 수도 있다는 것이 통상의 기술자에게 명백해야할 지라도, 그러한 광 감지 엘리먼트들에 대한 예로서 고정된 포토다이오드들이 사용될 수도 있다. 따라서, 각 화소는 대형 포토다이오드 및 소형 포토다이오드를 포함할 수도 있다. 화소 (200) 의 이러한 다이어그램에서, 대형 포토다이오드 (210) 는 Dlarge 로서 지칭될 수도 있는 반면, 소형 포토다이오드 (220) 는 Dsmall 로서 지칭될 수도 있다. 화소 (200) 는 개별적으로 어느 각 포토다이오드에 대해 작동할 수 있는 다른 독출 엘리먼트들을 더 포함할 수도 있고, 양 다이오드들은 일부 공통 독출 엘리먼트들을 공유할 수도 있다. 이것은 포토다이오드들의 증가된 필 (fill) 팩터를 야기할 수도 있다. 이들 화소들은 화소들의 하나의 행을 형성하기 위해 고정된 화소 피치로 수평 방향으로 반복적으로 인스턴스화될 수도 있다. 각 촬상기는 2차원 화소 어레이를 형성하기 위해 수평방향에서와 실질적으로 동일한 수직 방향에서의 화소 피치로 다수의 행들, 또는 그러한 화소들을 포함할 수도 있다.
화소 (200) 와 같은 상이한 감지 엘리먼트들을 갖는 화소들을 포함하는 가시 이미지 센서들은 다수의 방식들에서 이전의 센서들과 상이할 수도 있다. 예를 들어, 가시 이미지 센서의 대형 포토다이오드 (210) 및 소형 포토다이오드 (220) 는 상이한 적분 시간들을 가질 수도 있다. 예를 들어, 이들 적분 시간들은 대형 포토다이오드 (210) 의 적분 시간에 대해 TL 로서, 및 소형 포토다이오드 (220) 의 적분 시간에 대해 TS 로서 표현될 수도 있다. 대형 포토다이오드 (210) 는 소형 포토다이오드 (220) 보다 더 긴 적분 시간을 가질 수도 있다. 이것은 더 큰 포토다이오드 (210) 가 이미지들의 더 어두운 영역들에서 상세들을 보여주도록 허용하는 반면, 소형 포토다이오드 (220) 는 이미지의 더 밝은 영역들에서 상세들을 더 잘 보여줄 수 있을 수도 있다.
그러한 회로는 저노이즈 4-트랜지스터 (4T) 화소에 기초할 수도 있고, 각각 대형 및 소형 다이오드들, Dlarge (210) 및 Dsmall (220) 에 대해 별개의 트랜스퍼 게이트들, Mxl (204) 및 Mxs (208) 을 포함할 수도 있다. 대형 포토다이오드, Dlarge (210), 및 소형 포토다이오드, Dsmall (220) 에 대해 셰이딩된 영역들에 의해 도시된 바와 같이, 다이오드들은 Dlarge (210) 이 더 큰 사이즈를 갖는 상이한 사이즈들을 가질 수도 있다. 불규칙한 형상이 여기에서 Dlarge (210) 에 대해 도시되지만, 일부 양태들에서, 전하 트랜스퍼를 용이하게 하기 위해 라운딩된 직사각형 형상과 같이, 각 다이오드에 대해 더 잘 제어된 형상을 갖는 것이 바람직할 수도 있다. 화소를 지원하는 다른 회로들은 리셋 트랜지스터, Mrst (225), 및 소스 팔로워 트랜지스터, Msf (230), 및 행 선택 트랜지스터, Msel (235) 로 이루어지는 독출 브랜치를 포함할 수도 있다. 도 3 은 도 2 에 도시된 것과 같은 2-다이오드 화소의 예시적인 타이밍도 (300) 이다. 이러한 타입의 화소에서, 들어오는 광자들은 실리콘 기판에서 전자 및 홀 쌍들로 변환된다. 광-전자들은 그 후 2 개의 포토다이오들, Dlarge (210) 및 Dsmall (220) 에 의해 수집된다. 대형 포토다이오드, Dlarge (210) 에 대한 적분이 시간 (T0) 에서 시작된다. 이 시간에서, 양 RST 및 XRFL 은 소정 시간량 동안 하이일 수도 있어, 양 트랜지스터들 Mrst (225) 및 Mxl (204) 을 턴온한다. 이것은 Dlarge (210) 내의 모든 전자들을 비울 수도 있고, 미리 결정된 전압으로 Dlarge (210) 를 설정할 수도 있다. 일단 XRFL 이 저 전압으로 설정되면, Mxl (204) 이 턴오프되고, Dlarge (210) 는 광-전자들을 수집하기 시작하고, 그의 전압은 감소한다. 일반적으로, 그러한 광전자 축적의 레이트는 Dlarge (210) 상을 비추는 입사광의 양에 비례하고, 따라서 광 강도 및 포토다이오드 영역 양자의 함수이다.
이전에 언급된 바와 같이, Dlarge (210) 는 시간 (TL) 동안 광을 수집하도록 구성될 수도 있다. Dlarge (210) 가 전자들을 수집함과 동시에, Dsmall (220) 은 또한 전자들을 수집할 수도 있지만, 이들은 사용되지 않을 수도 있다. 시간 (T0 + TL -TS + 1/2) 라인 시간 (310) 에서, 소형 포토다이오드, Dsmall (220) 은 양 RST 및 XFLS 를 하이 값으로 설정함으로써 리셋될 수도 있다. 이러한 리셋은 Dsmall (220) 이 수집한 임의의 광전자들을 폐기하고, Dsmall (220) 이 광전자들을 다시 수집하기 시작하는 것을 허용할 수도 있다. Dsmall (220) 은 시간 (TS) 동안 광을 수집하도록 구성될 수도 있다.
적분 시간의 끝에서, 상관된 이중 샘플링 (CDS) 동작은 다이오드 상의 축적된 전하를 독출하기 위해 채용될 수도 있다. 이것을 행하기 위해, 먼저 Mrst (225) 가 RST 를 하이로 설정함으로써 턴온되고, 이것은 플로팅 (floating) 노드 (FN) 를 리셋 전압 (CELLHI 바이어스 - Mrst (225) 의 임계값) 으로 설정한다. 이후에, SEL 신호가 하이로 설정될 수도 있고, 이것은 화소 독출을 가능하게 하기 위해 Msel (235) 를 턴온할 수도 있다. BUS 가 전류원에 연결되면, Msf (230) 는 소스 팔로워로서 작용하여, FN 의 전압을 추종하는 BUS 전압을 야기한다. 일단 FN 의 리셋 전압이 독출되었으면, Mxl (204) 은 XRFL 을 하이로 설정함으로써 턴온되어, Dlarge (210) 내의 모든 수집된 광전자들을 FN 으로 덤핑하고, 따라서 FN 의 전압을 감소시킨다. 이 후에, BUS 전압은 FN 의 감소된 전압을 추종할 수도 있고, SEL 이 하이로 설정되면 제 2 독출이 소스 팔로워를 통해 수행될 수도 있다. 양 독출들 사이의 차이는 Dlarge (210) 에 의해 수집된 광전자들로 인해 노드 FN 상의 정확한 전압 변화를 결정하기 위해 사용될 수도 있다. 추가적인 열 (column) 회로들은 또한 그러한 정보를 저장하기 위해, 그리고 증폭, 디지털화, 및 다른 프로세싱과 같은 추가의 프로세싱을 가능하게 하기 위해 사용될 수도 있다. 일반적으로, CDS 동작은 존재할 수도 있는 트랜지스터 변동 및 소정의 일시적 노이즈들의 영향을 감소시킬 수도 있다. 일부 양태들에서, 2 개의 XRFL 펄스들, 리셋을 위한 하나 및 독출을 위한 하나사이의 시간 차이는 대형 포토다이오드의 적분 시간 (TL) 을 표현할 수도 있다. 일단 대형 다이오드, Dlarge (210) 이 독출되었으면, 약 1/2 라인 시간 후에, 다른 CDS 동작이 소형 포토다이오드, Dsmall (220) 을 독출하기 위해 수행될 수도 있다. 이러한 동작은 대형 포토다이오드 Dlarge (210) 에 대해 상술된 동작과 유사할 수도 있다. Dsmall (220) 을 독출하는 CDS 동작에서, Mxs (208) 는 소형 포토다이오드 Dsmall (220) 에 대해 XFRS 를 하이로 설정함으로써 턴온될 수도 있다. Dsmall (220) 에 대해 적분하는 것에 있어서, 2 개의 XFRS 펄스들 사이의 시간은 Dsmall (220) 의 적분 시간 (TS) 이다.
도 3 에 도시된 독출 스킴을 사용할 때, 약 1/2 라인 시간의 대형 포토다이오드 (210) 와 소형 포토다이오드 (220) 의 독출 사이의 시간 차이가 존재할 수도 있다. 따라서, 1 라인 버퍼가 대형 포토다이오드 (210) 로부터의 정보를 저장하기 위해 필요할 수도 있다. 일단 주어진 화소로부터의 소형 포토다이오드 (220) 가 독출되면, 그것은 최종 화소 출력 값을 형성하기 위해 연관된 대형 포토다이오드 (210) 로부터의 결과와 결합될 수도 있다. 따라서, 이러한 2-다이오드 구성으로부터의 추가적인 메모리 요건은 최소이다.
도 4a 및 도 4b 는 동적 범위 확장의 원리를 도시한다. 도4a 는 도 2 에 도시된 포토다이오드들로부터의 오리지날 독출 값의 플롯 (410) 을 도시한다. x-축은 화소에 비추는 광 강도이다. 대형 포토다이오드, Dlarge (210) 의 경우, 축적된 신호는 적분 시간 (TL) 및 광 수집 면적 (AREAL) 의 곱에 비례한다. 소형 포토다이오드 (220) 의 경우, 그것의 신호는 TS x AREAS 에 비례하며, AREAS 는 Dsmall (220) 의 그의 광 수집 면적이다. 각각의 포토다이오드가 각각 포화 레벨 (FWCL 및 FWCS) 을 갖기 때문에, 일단 광 강도가 각각 플롯 (420) 에서 L1 및 L2 로서 도시된 소정의 레벨 위에 있으면, 포토다이오드는 임의의 더 많은 전하들을 수지할 수 없을 것이고, 그것의 출력은 그 후 클립핑된다. 양 Dsmall (220) 및 Dlarge (210) 의 조합을 사용함으로써, 이러한 동적 범위는 확장될 수도 있다. 위의 파라미터들의 기지의 값들을 사용함으로써, 소형 포토다이오드 (220) 의 신호 값은 TL×AREAL/(TS×AREAS) 의 팩터에 의해 승산될 수도 있고, 이것은 도 4b 에 도시된 플롯 (420) 을 야기한다. 따라서, 2-다이오드 센서를 사용함으로써, 소형 포토다이오드의 포화는 FWCS×TL×AREAL/(TS×AREAS) 로 푸시될 수도 있고, 이것은 TL 대 TS 의 적절한 비율을 선택함으로써 화소 동적 범위의 확장을 야기할 수도 있다.
다수의 방법들은 양 포토다이오드들로부터의 독출 값들을 결합하기 위해 사용될 수도 있다. 예를 들어, 대형 포토다이오드 (210) (도 2) 의 출력이 포화 아래에 있으면, 이러한 값은 최종 화소 출력으로서 사용될 수도 있다. 그러나, 이러한 값이 그의 포화 레벨에 접근함에 따라, 화소의 값은 대신에 소형 포토다이오드의 출력이도록 조작될 수도 있다. 더 복잡한 알고리즘들이 또한 양 다이오드들의 출력을 이용하기 위해 사용될 수도 있다. 예를 들어, 2 개의 독출 이미지들을 선형 HDR 이미지로 결합하는 또 하나의 복잡한 알고리즘은 다음과 같이 기술된다.
T1 및 T2 가 각각 TL 및 TS 에 대응하는 그리고 대형 및 소형 포토다이오드들의 독출 이미지들을 표시하게 한다. R=(TL/TS)×(AREAL/AREAS) 로 둔다. MAD 는 다음과 같이 정의된 T1 과 RxT2 사이의 로컬 평균 절대 차이값로 표시한다:
Figure 112016026492431-pct00001
여기서, W(x, y) 는 화소 (x, y) 에 센터링된 mxn 윈도우이고; N 은 윈도우 W(x, y) 내의 화소들의 총 수이다. α(x, y) 는,
Figure 112016026492431-pct00002
로서 정의되며, 여기서 a 및 b 는 포토다이오드들 사이의 천이 폭을 제어하는 튜닝 파라미터들이다.
도 5 는 MAD, T1 과 RxT2 사이의 로컬 평균 절대 차이값의 함수로서의 함수 α 의 그래프이다. 함수 α(x, y) 를 사용하여, 결합된 T1 및 T2 이미지, Thdr 은 다음과 같이 표현될 수 있다:
Figure 112016026492431-pct00003
위의 함수는 T1 이 포화될 때 또는 모션이 제시될 때 T1 을 T2 로 부드럽게 스위칭할 것이다. 이것은 도 5 에서 α의 그래프로부터 관찰될 수 있다. T1 이 포화되면, MAD 값들은 커지고, 그 후 α는 1 에 근접할 것이며, 따라서, Thdr 은 T2 에 근접할 것이다. 유사하게, 모션이 제시되는 경우, MAD 는 클 것이고, α는 1 에 근접할 것이며, 따라서 Thdr 은 마찬가지로 T2 에 근접할 것이다.
N0 의 노이즈 플로어를 가정하면, 상기의 재조합 스킴으로, 화소의 동적 범위는 다음과 같이 표현될 수 있다:
Figure 112016026492431-pct00004
비교를 위해, 동일한 화소가 단일의 다이오드의 더 종래적인 접근법으로 구현된다면, 훨씬 더 큰 포토다이오드가 FWCS+FWCL 의 오더로 결합된 포화 레벨을 갖는 동일한 화소 피치에 대해 구현될 수도 있다는 것이 가정될 수 있다. 결과적으로, 그것의 동적 범위는,
Figure 112016026492431-pct00005
일 수도 있을 것이다.
이들 2 개의 접근법들로부터 상이한 동적 범위들을 비교하기 위해, 그러한 포토다이어드의 풀 웰 용량이 화소의 포토다이오드 면적에 다소 비례할 수도 있다는 것이 가정될 수도 있다. 따라서, 이러한 포토다이오드의 광 수집 면적이 다이오드 면적과 대략 동일하다는 것이 가정되면, 듀얼-다이오드의 화소의 동적 범위는 다음과 같을 것이다:
Figure 112016026492431-pct00006
TL/TS 가 1 + FWCS/FWCL 보다 클 수 있기 때문에, DRnew 는 DRodl 보다 높을 수도 있다. 따라서, 이러한 접근법은 광 감지 화소의 동적 범위를 향상시킬 수도 있다.
TL 및 TS 양자 모두가 동적으로 프로그래밍될 수 있기 때문에, 본 개시의 하나의 이점은 명백하게 될 것이다: 시스템의 최대 동적 범위는 더 큰 TL/TS 비를 프로그래밍함으로써 쉽게 증가될 수 있다. 그러나, L1 과 L2 사이의 광 강도 레벨들의 경우, TL 및 TS 가 고정되는 것을 가정하면, 그러한 화소의 SNR 은 포화된 대형 포토다이오드로부터의 정보가 더이상 사용되지 않을 수도 있기 때문에 더 낮을 수도 있다. 더 작은 포토다이오드만으로부터의 신호들이 사용되는 경우, 더 높은 노이즈 레벨이 존재할 수도 있다. 따라서, 동적 범위를 확장하면서 SNR 레벨들을 필요한 것으로만 유지하기 위해, TL 및 TS 를 개별적으로 조정하는 노출 제어를 구현하는 것은 이익이 될 수도 있다.
TL 및 TS 를 조정하는 하나의 방법은 다음과 같을 수도 있다. 먼저, TL 및 TS 가 동일한 값으로 설정될 수도 있다. 이로부터, 자동 노출 제어가 정규의 센서에서 사용될 수도 있는 것 처럼, 자동 노출 제어를 위한 TL 의 통계적 데이터가 사용될 수도 있다. 휘도 레벨이 목표 휘도 레벨에 도달하는 경우, TL 이미지는 클립핑 화소들을 위해 체크될 수도 있다. 클립핑 화소들의 미리정의된 임계값이 사용될 수도 있고, 이미지 내의 클립핑 화소들의 수는 이러한 임계값과 비교될 수도 있다. TL 이미지 내의 클립핑 화소들의 카운트가 미리정의된 임계값보다 작으면, TL 노출 길이는 충분할 수도 있고, TS 는 TL 과 동일하게 유지될 수도 있다. 이러한 경우에, TL 로부터의 값들이 대신 사용될 수도 있기 때문에, TS 화소들로부터의 값들은 사용되지 않을 수도 있다. 그러나, TL 이미지 내의 클립핑 화소들의 카운트가 미리정의된 임계값보다 크면, TS 노출 시간은 감소될 수도 있고, TS 이미지 내의 클립핑 화소들의 카운트가 또한 다시 시작될 수도 있다. 일부 양태들에서, TS 는 TS 이미지 내의 클립핑 화소들의 카운트가 제 2 의 미리정의된 임계값 아래에 있도록 하는 레벨로만 감소될 수도 있다. 즉, TS 화소들은 확장된 동적 범위가 장면 동적 범위만을 커버하도록하는 방식으로 사용될 수도 있다. 이러한 방식으로, SNR 은 상대적으로 더 높은 레벨로 유지될 것이다.
때때로 수백만 개의 화소들을 갖는 2-D 화소 어레이의 경우, 개개의 화소의 상기 언급된 이들 상이한 제어 신호들에 연결하는 것은 가능하지 않을 수도 있다. 통상의 설계에서, SEL, RST, XRFL, 및 XFRS 는 화소들의 하나의 행에 의해 공유된 수평 버스들일 수도 있는 반면, BUS 는 화소들의 하나의 행에 의해 공유된 수직 버스이다. 여기의 예에서, CELLHI 그 자체는 2-D 어레이 내의 모든 화소들에 대해 동일하고, 따라서 수평 또는 수직 버스들일 수 있다. 그러한 구현의 결과로서, 화소의 하나의 행은 각각 대형 또는 소형 포토다이오드들에 대해 동일한 TL 및 TS 적분 시간들을 가질 것이다.
RST, SEL, 및 상이한 XFR 신호들의 생성은 통상 수직 타이밍 생성기에 의해 제어된다. 시프트 레지스터 기반 또는 디코더 기반 설계가 그러한 목적을 위해 사용될 수 있다. 시프트 레지스터 기반 접근법이 사용되는 경우, 추가적인 포인터 신호 및 시프트 레지스터들의 하나의 세트는 소형 포토다이오드를 제어하기 위해 지연된 XFRS 신호를 생성하기 위해 필요할 것이다. 디코더 기반 접근법의 경우, 추가적인 카운터들 또는 유사한 로직이 그러한 신호들을 생성하기 위해 필요할 수도 있다. 그러나, 그러한 태스크를 위한 추가적인 실리콘 면적은 각 행에 대해 매우 작다.
잘 조명된 장면들에서 촬상하기 위해 높은 동적 범위가 요구되지만, 낮은 광 상황들 하에서, 그러한 확장된 동적 범위는 필요하지 않을 수도 있다. 대신에, 더 높은 SNR 이 상이한 모드 하에서 상술된 듀얼-다이오드 화소를 동작시킴으로써 달성될 수도 있고, 여기서 동일한 적분 시간이 양 TS 및 TL 에 대해 사용된다. 동일한 플로팅 노드 (FN) 로의 화소 내 비닝 (in-pixel binning), 즉 양 포토다이오드들, Dlarge 및 Dsmall 로부터의 전하들의 덤핑이 사용되고, 하나의 CDS 독출이 후속할 수도 있다. 그러한 구성을 위한 타이밍도가 도 6 에 도시된다.
도 6 에 도시된 동작 모드 하에서, 양 다이오드들은 RST, XFRL, 및 XFRS 를 모드 하이로 설정함으로써 시간 (T0) 에서 동시에 리셋될 수도 있다. 그 후에, 양 다이오드들은 광전자들을 축적하기를 시작한다. TL 적분 시간 후에, 그리고 TL 과 동일하도록 설정된 TS 로, CDS 동작은 시작될 수도 있다: 먼저 FN 이 RST 를 하이로 설정함으로써 리셋된다. 이것에 후속하여, SEL 은 FN 의 리셋 레벨을 독출하기 위해 턴온될 수도 있다. 이 후에, 양 XFRL 및 XFRS 가 하이로 설정될 수도 있고, 양 포토다이오드들로부터의 축적된 전하들이 FN 으로 전송될 수도 있고, 감소된 FN 레벨의 또 다른 독출이 후속된다. 이러한 동작은 단 하나의 독출의 사용을 허용하며, 이것은 독출 프로세스로부터의 노이즈 기여들을 최소화하는 반면, 양 포토다이오드들로부터의 전하들이 신호 레벨을 부스팅하기 위해 더해진다. 따라서, 이러한 프로세서는 높은 신호대 잡음비를 야기할 수도 있다.
일반적으로, 여기에 기술된 듀얼-다이오드 화소의 경우, 낮은 광 레벨 하에서, 양 TL 및 TS 를 동일하게 설정하고 신호 레벨을 증가시키기 위해 풀 프레임 적분 시간을 사용함으로써 비닝 모드 하에서 그것을 동작시키는 것이 보통 이익이 된다. 추가의 아날로그 및/또느느 디지털 이득이 또한 적용될 수 있다. 광 레벨이 증가함에 따라, 포토다이오드들 중 하나로부터의 신호 레벨은 포화될 수도 있고, 여기에 기술된 화소는 동작 모드를 상이한 TL 및 TS 시간들을 갖는 WDR 모드로 스위칭하도록 구성될 수도 있다. 일반적으로, TS 는 상술된 바와 같이, 화소 동적 범위를 부스팅하기 위해 TL 보다 더 짧을 수도 있다.
이전에 기술된 화소들이 동일한 리셋 및 독출 트랜지스터들을 공유한 소형 포토다이오드 및 대형 포토다이오드를 포함한 반면, 이들 화소들의 일부는 또한 레이아웃의 필 팩터를 더욱 향상시키기 위해 그러한 공통 엘리먼트들을 공유할 수도 있다. 예를 들어, 총 4 개의 포토다이오드들, Dsmall1 (709), Dlarge1 (710), Dsmall2 (714) 및 Dlarge2 (715) 을 갖는, 동일한 행 또는 동일한 열에서의 2 개의 이웃 화소들 (704 및 705) 은 도 7 에 도시된 바와 같이 공통 트랜지스터들 (720) 의 하나의 세트를 공유할 수 있다. 공유하는 아키텍쳐에 의존하여, 동작 타이밍이 이에 따라 조정될 수 있다. 예를 들어, 수평 공유가 구현되는 경우, 각 라인 시간에서 4 개의 독출 CDS 동작들이 존재할 수도 있다: 각각 Dlarge1 (710), Dsmall1 (709), Dlarge2 (715), 및 마지막으로 Dsmall2 (714) 를 독출하기 위해 하나씩.
따라서, 그러한 듀얼 다이오드 화소는 옥외와 같은 동적 범위의 높은 레벨을 갖는 장면들에서와 같이, 필요할 때 WDR 동작을 가증하게 할 수도 있다. 듀얼-다이오드 화소는 소형 및 대형 포토다이오드를 포함하고 소정의 지원 회로들을 포함할 수도 있다. 2 개의 포토다이오드들은 상이한 적분 시간을 지원하도록 설계될 수도 있다. 낮은 광 상황들 하에서, 듀얼-다이오드 화소는 양 포토다이오드들에 대해 동일한 적분 시간을 가지고, SNR 을 부스트하기 위해 비닝 모드 하에서 동작될 수도 있다. WDR 모드 하에서, 대형 및 소형 포토다이오드들에 대한 적분 시간은 상이할 수도 있고, 통상 TS 는 TL 보다 작다. 동적 범위는 TL 대 TS 의 비가 매우 크게 될 때 확장될 수도 있다. 개별적으로 TL 및 TS 를 변경함으로써, 그러한 화소의 동적 범위는 SNR 의 손실을 최소화하면서 확장될 수도 있다. 이러한 접근법은 센서의 동적 범위를 확장하면서, 이미지 해상도를 유지할 수도 있고, 추가적인 모션 아티팩트들을 도입하지 않을 수도 있다.
도 8 은 양자가 동일한 화소 (800) 내에 있는 제 1 포토다이오드 (815) 및 제 2 포토다이오드 (825) 에 동작적으로 커플링된 프로세서 (820) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (800) 의 고레벨 블록도를 도시한다. 작업 메모리 (805), 스토리지 (810), 및 메모리 (830) 은 또한 프로세서와 통신하고 있고 프로세서에 동작적으로 어태치된다. 디바이스 (800) 는 디지털 카메라, 셀 폰, 또는 다른 디바이스와 같은 디지털 사진들을 촬영하도록 구성된 디바이스일 수도 있다. 제 1 포토다이오드 (815) 및 제 2 포토다이오드 (825) 는 듀얼-다이오드 화소의 부분일 수도 있다. 다수의 그러한 화소들이 디바이스 (800) 에 포함될 수도 있다.
프로세서 (820) 는 범용 프로세싱 유닛 또는 개시된 방법들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (820) 는 메모리 (830) 및 작업 메모리 (805) 에 연결된다. 도시된 실시형태에서, 메모리 (830) 는 타이밍 모듈 (835), 이미지 결합 모듈 (840), 및 운영 시스템 (875) 를 저장한다. 이들 모듈들은 여러 태스크들을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 작업 메모리 (805) 는 메모리 (830) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 프로세서 (820) 에 의해 사용될 수도 있다. 대안적으로, 작업 메모리 (805) 는 또한 디바이스 (800) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 프로세서 (820) 에 의해 사용될 수도 있다.
상술된 바와 같이, 프로세서 (820) 는 메모리들 내에 저장된 수개의 모듈들에 의해 구성된다. 예를 들어, 타이밍 모듈 (835) 은 제 1 포토다이오드 (815) 및 제 2 포토다이오드 (825) 에 대한 타이밍들을 결정하도록 프로세서 (820) 를 구성하는 명령들을 포함할 수도 있다. 일부 양태들에서, 이들 타이밍들은 외부 조건들에 기초하여, 각 포토다이오드에 대해 동일할 수도 있고, 또는 상이할 수도 있다.
메모리 (830) 는 또한 이미지 결합 모듈 (840) 을 포함할 수도 있다. 이미지 결합 모듈 (840) 은 제 1 포토다이오드 (815) 및 제 2 포토다이오드 (825) 로부터의 신호들을 수신하고 포토다이오드들로부터의 그 신호들을 이미지를 생성하기 위한 그러한 방식으로 결합하도록 프로세서 (820) 를 구성하는 명령들을 포함할 수도 있다. 일부 양태들에서, 이러한 이미지는 하나 또는 양 포토다이오드들로부터 수신된 정보를 포함할 수도 있다. 일부 양태들에서, 이미지 결합 모듈 (840) 은 메모리 (830) 또는 스토리지 (810) 내에 이러한 이미지를 저장하도록 구성될 수도 있다.
운영 시스템 모듈 (875) 은 디바이스 (800) 의 메모리 및 프로세싱 자원들을 관리하도록 프로세서를 구성한다. 예를 들어, 운영 시스템 모듈 (875) 은 제 1 포토다이오드 (815), 스토리지 (810), 또는 제 2 포토다이오드 (825) 와 같은 하드웨어 자원들을 관리하도록 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 상술된 모듈들에 포함된 명령들은 이들 하드웨어 자원들과 직접 상호작용하지 않고, 대신에 운영 시스템 컴포넌트 (875) 에 위치된 표준 서브루틴들 또는 API 들을 통해 상호작용할 수도 있다. 운영 시스템 모듈 (875) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다.
프로세서 (820) 는 스토리지 모듈 (810) 로 데이터를 기입할 수도 있다. 스토리지 모듈 (810) 은 전통적인 디스크 디바이스로서 그래픽적으로 표현되지만, 통상의 기술자들은 다수의 실시형태들이 메모리 디스크, USB 드라이브, 플래시 드라이브, 원격 접속 스토리지 매체, 가상 디스크 드라이버 등을 포함하는 디스크 기반 스토리지 디바이스 또는 수개의 다른 타입의 스토리지 매체들 중 하나를 포함할 수 있을 것이라는 것을 이해할 것이다.
도 8 은 프로세서, 제 1 및 제 2 포토다이오드들, 및 메모리를 포함하는 별개의 컴포넌트들을 갖는 디바이스를 도시하고, 통상의 기술자는 이들 별개의 컴포넌트들은 특정의 설계 목적들을 달성하기 위해 여러 방식들로 결합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 코스트를 절약하고 성능을 향상시키기 위해 프로세서 컴포넌트들과 결합될 수도 있다.
또한, 도 8 은 수개의 모듈들을 갖는 메모리 컴포넌트 (830), 및 작업 메모리를 갖는 별개의 메모리 (805) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 통상의 기술자는 상이한 메모리 아키텍쳐들을 이용하는 수개의 실시형태들을 인식할 것이다. 예를 들어, 하나의 설계는 메모리 (830) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 대안적으로, 프로세서 명령들은 디바이스 (800) 내로 통합되거나 외부 디바이스 포트를 통해 연결되는 디스크 저장 디바이스로부터 시스템 기동에서 판독될 수도 있다. 프로세서 명령들은 그 후 프로세서에 의한 실행을 용이하게 하기 위해 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (805) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (820) 에 의한 실행 전에 작업 메모리 (805) 로 로딩된다.
도 9 는 듀얼-다이오드 디바이스의 방법의 예시이다. 이러한 방법은 디바이스 (800) 와 같은 디바이스에 의해 행해질 수도 있다.
블록 (905) 에서, 방법은 CMOS 가시 이미지 센서에 포함된 적어도 하나의 대형 광 감지 엘리먼트 각각에 대한 제 1 적분 시간을 결정하는 단계를 포함한다. 예를 들어, 제 1 적분 시간은 적어도 하나의 대형 광 감지 엘리먼트에 의해 관찰된 라이팅 조건들에 적어도 부분적으로 기초하여 결정될 수도 있다. 일부 양태들에서, 이것을 결정하는 수단은 프로세서를 포함할 수도 있다.
블록 (910) 에서, 방법은 적어도 하나의 소형 광 감지 엘리먼트들 각각에 대한 제 2 적분 시간을 결정하는 단계를 포함하며, 여기서 제 2 적분 시간은 제 1 적분 시간과 상이하다. 일부 양태들에서, 이것을 결정하는 수단은 프로세서를 포함할 수도 있다.
블록 (915) 에서, 방법은 적어도 하나의 소형 광 감지 엘리먼트로부터의 적어도 하나의 신호 및 적어도 하나의 대형 광 감지 엘리먼트로부터의 적어도 하나의 신호에 적어도 부분적으로 기초하여 이미지를 형성할 수도 있다. 일부 양태들에서, 이미지는 대형 및 소형 엘리먼트 또는 엘리먼트들로부터의 신호들의 결합에 기초하여 형성될 수도 있다. 일부 양태들에서, 이미지를 형성하는 수단은 프로세서를 포함할 수도 있다.
"제 1", "제 2" 등과 같은 지정을 사용하는 여기의 엘리먼트에 대한 임의의 참조는 이들 엘리먼트들의 양이나 순서를 일반적으로 제한하지 않는다는 것이 이해되어야 한다. 오히려, 이들 지정들은 2 이상의 엘리먼트들 또는 엘리먼트의 인스턴스들 사이에 구별하는 종래의 방법으로서 여기에서 사용될 수도 있다. 따라서, 제 1 및 제 2 엘리먼트들에 대한 참조는 단지 2 개의 엘리먼트들만이 거기에 채용될 수도 있다거나, 제 1 엘리먼트가 제 2 엘리먼트를 일부 방식으로 선행해야한다는 것을 의미하지 않는다. 또한, 달리 언급되지 않는 한, 엘리먼트들의 세트는 하나 이상의 엘리먼트들을 포함할 수도 있다.
본 기술에서 통상의 지식을 가진 사람/자는 정보 및 신호들은 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있다는 것을 이해할 것이다. 예를 들어, 상기 상세한 설명에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기 필드들 또는 입자들, 광학 필드들 또는 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
본 기술에서 통상의 지식을 가진 사람/자는 또한 여기에 개시된 양태들과 관련하여 기술된 임의의 여러 예시적인 로직컬 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들은 전자 하드웨어 (예를 들어, 소스 코딩 또는 일부 다른 기법을 사용하여 설계될 수도 있는 디지털 구현, 아날로그 구현, 또는 이 둘의 조합), (편리하게 "소프트웨어" 또는 "소프트웨어 모듈" 로서 여기서 지칭될 수도 있는) 명령들을 포함하는 프로그램 또는 설계 코드의 여러 형태들, 또는 양자 모두의 조합들로서 구현될 수도 있다. 하드웨어 및 소프트웨어의 이러한 교환가능성을 명확히 도시하기 위해, 여러 도시된 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들은 일반적으로 그들의 기능성에 의해 상술되었다. 그러한 기능성이 하드웨어로서 또는 소프트웨어로서 구현되는지 여부는 특정의 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 달려 있다. 통상의 기술자들은 각각의 특정의 애플리케이션에 대해 다양한 방식들로 기술된 기능성을 구현할 수도 있지만, 그러한 구현 결정들은 본 개시의 범위로부터 일탈을 야기하는 것으로서 해석되지 않아야 한다.
여기에 개시된 양태들과 관련하여 그리고 도 1 내지 도 9 와 관련하여 기술된 여러 예시적인 로지컬 블록들, 모듈들, 및 회로들은 집적회로 (IC), 액세스 단말기, 또는 액세스 포인트 내에서 구현되거나 그것들에 의해 수행될 수도 있다. IC 는 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA), 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 전기 컴포넌트들, 광학 컴포넌트들, 기계적 컴포넌트들, 또는 여기에 기술된 기능들을 수행하도록 설계된 이들의 임의의 조합을 포함할 수도 있고, IC 내에, IC 외부에, 또는 양자에 상주하는 코드들 또는 명령들을 실행할 수도 있다. 로지컬 블록들, 모듈들, 및 회로들은 네트워크 내 또는 디바이스 내의 여러 컴포넌트들과 통신하기 위해 안테나들 및/또는 송수신기들을 포함할 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만; 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. 모듈들의 기능성은 여기에 교시된 바와 같이 일부 다른 방식으로 구현될 수도 있다. (예를 들어, 첨부하는 도면들 중 하나 이상에 대해) 여기에 기술된 기능성은 일부 양태들에서 첨부된 청구범위 내의 유사하게 지정된 기능성 "을 위한 수단" 에 대응할 수도 있다.
소프트웨어로 구현되는 경우, 그 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장되거나 송신될 수도 있다. 여기에 개시된 방법 또는 알고리즘의 단계들은 컴퓨터 판독가능 매체에 상주할 수도 있는 프로세서 실행가능 소프트웨어 모듈에서 구현될 수도 있다. 컴퓨터 판독가능 매체들은 한곳에서 다른 곳으로 컴퓨터 프로그램을 전달하는 것을 가능하게될 수 있는 임의의 매체를 포함하는 컴퓨터 저장 매체들 및 통신 매체들을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수도 있는 임의의 이용가능한 매체들일 수도 있다. 제한이 아닌 예시로써, 그러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 컴퓨터에 의해 액세스될 수 있고, 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 디스크 (disk 및 disc) 는 본원에서 사용되는 바와 같이, 콤팩트 디스크 (compact disc, CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (floppy disk) 및 블루레이 디스크를 포함하는데, disk들은 보통 데이터를 자기적으로 재생하지만, disc들은 레이저들로써 광적으로 데이터를 재생한다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 또한, 방법 또는 알고리즘의 동작들은 컴퓨터 프로그램 제품 내로 통합될 수도 있는 머신 판독가능 매체 및 컴퓨터 판독가능 매체 상에 코드들 및 명령들의 하나 또는 임의의 조합 또는 세트로서 상주할 수도 있다.
임의의 개시된 프로세스에서의 단계들의 임의의 특정의 순서 또는 계층은 샘플 접근법의 예라는 것이 이해된다. 설계 선호들에 기초하여, 프로세스 내의 단계들의 특정의 순서 또는 계층이 본 개시의 범위 내에서 유지하면서 재배열될 수도 있다. 첨부하는 방법 청구항들은 샘플 순서로 여러 단계들의 엘리먼트들을 제시하지만, 제시된 특정의 순서나 계층에 제한되는 것으로 의도되지 않는다.
본 개시에 기술된 구현들에 대한 여러 변경들은 당업자들에게 용이하게 명백할 수도 있고, 여기에 정의된 일반적 원리들은 본 개시의 사상 또는 범위로부터 일탈하지 않고 다른 구현들에 적용될 수도 있다. 따라서 본 개시는 여기에 도시된 구현들에 제한되는 것으로 의도되지 않고, 여기에 개시된 원리들 및 신규한 특징들, 청구범위와 일관된 가장 넓은 범위에 따라야 한다. 단어 "예시적인" 은 "예, 예시, 또는 설명으로서 작용하는" 을 의미하기 위해 여기서 사용된다. "예시적인" 것으로서 여기에 기술된 임의의 실시형태는 다른 실시형태들에 비해 바람직하다거나 이로운 것으로서 반드시 해석되어야 하는 것은 아니다.
별개의 구현들의 콘텍스트에서 본 명세서에서 기술된 소정의 특징들은 또한 단일의 구현의 조합으로 구현될 수도 있다. 역으로 단일의 구현의 콘텍스트에서 기술된 여러 특징들은 또한 다수의 구현들에서 별개로 또는 적합한 서브 조합으로 구현될 수도 있다. 게다가, 특징들이 그와 같이 심지어 초기에 청구되고 소정의 조합들로 작용하는 것으로 위에서 기술될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 조합으로부터 실시될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형으로 지향될 수도 있다.
유사하게, 동작들이 특정의 순서로 도면들에서 묘사되지만, 이것은 그러한 동작들은 도시된 특정의 순서로 또는 순차적인 순서로 수행된다는 것 또는 모든 도시된 동작들이 원하는 결과들을 달성하기 위해 수행되어야 한다는 것을 요구하는 것으로 이해되지 않아야 한다. 소정 상황들에서, 멀티태스킹 및 병렬 프러ㅗ세싱이 이로울 수도 있다. 게다가, 상술된 구현들에서의 여러 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리가 요구되는 것으로 이해되지 않아야 하고, 기술된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일의 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다. 또, 다른 구현들은 다음의 청구범위의 범위 내에 있다. 일부 경우들에서, 청구범위에 기술된 액션들은 상이한 순서로 수행될 수 있고 여전히 바람직한 결과들을 달성한다.

Claims (30)

  1. 복수의 화소들을 포함하는 이미지 센서로 이미지를 캡쳐하는 방법으로서,
    상기 복수의 화소들의 화소의 제 1 광 감지 엘리먼트를 통해 제 1 웰 용량을 제공하는 단계;
    상기 복수의 화소들의 상기 화소의 제 2 광 감지 엘리먼트를 통해 제 2 웰 용량을 제공하는 단계로서, 상기 제 1 웰 용량은 상기 제 2 웰 용량보다 큰, 상기 제 2 웰 용량을 제공하는 단계;
    상기 화소의 상기 제 1 광 감지 엘리먼트에 대해 제 1 적분 시간을 결정하는 단계;
    상기 화소의 상기 제 2 광 감지 엘리먼트에 대해 제 2 적분 시간을 결정하는 단계로서, 상기 제 2 적분 시간은 상기 제 1 적분 시간과 상이한, 상기 제 2 적분 시간을 결정하는 단계; 및
    각각의 화소의 상기 제 1 광 감지 엘리먼트와 상기 제 2 광 감지 엘리먼트 사이에 하나 이상의 트랜지스터들을 공유하는 단계로서, 공유된 상기 하나 이상의 트랜지스터들은 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트를 포함하는 상기 화소 내에 집적되는, 상기 하나 이상의 트랜지스터들을 공유하는 단계를 포함하는, 이미지 센서로 이미지를 캡쳐하는 방법.
  2. 제 1 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트로부터의 적어도 하나의 신호 및 상기 화소의 상기 제 2 광 감지 엘리먼트로부터의 적어도 하나의 신호에 적어도 부분적으로 기초하여 이미지를 형성하는 단계를 더 포함하는, 이미지 센서로 이미지를 캡쳐하는 방법.
  3. 제 2 항에 있어서,
    상기 이미지를 형성하는 단계는 공식:
    Figure 112017049261701-pct00007

    에 적어도 부분적으로 기초하여 이미지를 형성하는 단계를 포함하고,
    여기서, T1 은 상기 화소의 상기 제 1 광 감지 엘리먼트의 독출값이고, T2 는 상기 화소의 상기 제 2 광 감지 엘리먼트의 독출값이고, Thdr 은 결합된 이미지이며, 여기서
    Figure 112017049261701-pct00008

    이고, 여기서 a 및 b 는 천이 폭을 제어하는 튜닝 파라미터들이며, MAD 는,
    Figure 112017049261701-pct00009

    로서 정의된 로컬 평균 절대 차이값이고,
    여기서, N 은 화소 (x, y) 에 센터링된 윈도우 W(x, y) 내의 화소들의 총수인, 이미지 센서로 이미지를 캡쳐하는 방법.
  4. 제 1 항에 있어서,
    상기 이미지는 높은 동적 범위 이미지인, 이미지 센서로 이미지를 캡쳐하는 방법.
  5. 제 1 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트 및 상기 화소의 상기 제 2 광 감지 엘리먼트 중 적어도 하나는 포토다이오드들인, 이미지 센서로 이미지를 캡쳐하는 방법.
  6. 제 1 항에 있어서,
    상기 제 2 적분 시간은 상기 제 1 적분 시간보다 짧은, 이미지 센서로 이미지를 캡쳐하는 방법.
  7. 제 1 항에 있어서,
    상기 제 1 적분 시간 및 상기 제 2 적분 시간 중 적어도 하나는 광 (lighting) 조건들에 적어도 부분적으로 기초하여 결정되는, 이미지 센서로 이미지를 캡쳐하는 방법.
  8. 전자 디바이스로서,
    복수의 화소들을 포함하는 CMOS 가시 이미지 센서로서, 상기 복수의 화소들의 화소는 제 1 웰 용량을 갖는 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 제 2 광 감지 엘리먼트를 포함하고, 상기 제 1 웰 용량은 상기 제 2 웰 용량보다 크며, 각각의 화소의 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트는 하나 이상의 트랜지스터들을 공유하고, 공유된 상기 하나 이상의 트랜지스터들은 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트를 포함하는 상기 화소 내에 집적되는, 상기 CMOS 가시 이미지 센서; 및
    프로세서를 포함하고,
    상기 프로세서는
    상기 화소의 상기 제 1 광 감지 엘리먼트에 대해 사용될 제 1 적분 시간을 결정하고;
    상기 화소의 상기 제 2 광 감지 엘리먼트에 대해 사용될 제 2 적분 시간을 결정하도록 구성되며,
    상기 제 2 적분 시간은 상기 제 1 적분 시간과 상이한, 전자 디바이스.
  9. 제 8 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트 및 상기 화소의 상기 제 2 광 감지 엘리먼트 중 적어도 하나는 포토다이오드를 포함하는, 전자 디바이스.
  10. 제 8 항에 있어서,
    상기 제 2 적분 시간은 상기 제 1 적분 시간보다 짧은, 전자 디바이스.
  11. 제 8 항에 있어서,
    상기 프로세서는 광 (lighting) 조건들에 적어도 부분적으로 기초하여 제 1 적분 시간을 결정하도록 구성되는, 전자 디바이스.
  12. 제 8 항에 있어서,
    상기 프로세서는 광 (lighting) 조건들에 적어도 부분적으로 기초하여 제 2 적분 시간을 결정하도록 구성되는, 전자 디바이스.
  13. 제 8 항에 있어서,
    상기 프로세서는 또한 이미지를 생성하도록 구성되고,
    상기 이미지는 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트 중 하나 이상으로부터의 신호들에 적어도 부분적으로 기초하는, 전자 디바이스.
  14. 제 13 항에 있어서,
    상기 이미지를 형성하는 것은 공식:
    Figure 112017049261701-pct00010

    에 적어도 부분적으로 기초하여 이미지를 형성하는 것을 포함하고,
    여기서, T1 은 상기 화소의 상기 제 1 광 감지 엘리먼트의 독출값이고, T2 는 상기 화소의 상기 제 2 광 감지 엘리먼트의 독출값이고, Thdr 은 결합된 이미지이며, 여기서
    Figure 112017049261701-pct00011

    이고, 여기서 a 및 b 는 천이 폭을 제어하는 튜닝 파라미터들이며, MAD 는,
    Figure 112017049261701-pct00012

    로서 정의된 로컬 평균 절대 차이값이고,
    여기서, N 은 화소 (x, y) 에 센터링된 윈도우 W(x, y) 내의 화소들의 총수인, 전자 디바이스.
  15. 제 13 항에 있어서,
    상기 이미지는 높은 동적 범위 이미지인, 전자 디바이스.
  16. 전자 디바이스로서,
    CMOS 가시 이미지 센서에 포함된 복수의 화소들의 화소에 포함된 제 1 웰 용량을 갖는 제 1 광 감지 엘리먼트에 대해 제 1 적분 시간을 결정하는 수단; 및
    상기 CMOS 가시 이미지 센서에 포함된 상기 복수의 화소들의 상기 화소에 포함된 제 2 웰 용량을 갖는 제 2 광 감지 엘리먼트에 대해 제 2 적분 시간을 결정하는 수단으로서, 상기 제 2 적분 시간은 상기 제 1 적분 시간과 상이하며, 상기 제 1 웰 용량은 상기 제 2 웰 용량보다 큰, 상기 제 2 적분 시간을 결정하는 수단을 포함하고,
    각각의 화소의 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트는 하나 이상의 트랜지스터들을 공유하며,
    공유된 상기 하나 이상의 트랜지스터들은 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트를 포함하는 상기 화소 내에 집적되는, 전자 디바이스.
  17. 제 16 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트로부터의 적어도 하나의 신호 및 상기 화소의 상기 제 2 광 감지 엘리먼트로부터의 적어도 하나의 신호에 적어도 부분적으로 기초하여 이미지를 형성하는 수단을 더 포함하는, 전자 디바이스.
  18. 제 17 항에 있어서,
    상기 이미지를 형성하는 수단은 공식:
    Figure 112017049261701-pct00013

    에 적어도 부분적으로 기초하여 이미지를 형성하는 수단을 포함하고,
    여기서, T1 은 상기 화소의 상기 제 1 광 감지 엘리먼트의 독출값이고, T2 는 상기 화소의 상기 제 2 광 감지 엘리먼트의 독출값이고, Thdr 은 결합된 이미지이며, 여기서
    Figure 112017049261701-pct00014

    이고, 여기서 a 및 b 는 천이 폭을 제어하는 튜닝 파라미터들이며, MAD 는,
    Figure 112017049261701-pct00015

    로서 정의된 로컬 평균 절대 차이값이고,
    여기서, N 은 화소 (x, y) 에 센터링된 윈도우 W(x, y) 내의 화소들의 총수인, 전자 디바이스.
  19. 제 16 항에 있어서,
    상기 이미지는 높은 동적 범위 이미지인, 전자 디바이스.
  20. 제 16 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트 및 상기 화소의 상기 제 2 광 감지 엘리먼트 중 적어도 하나는 포토다이오드들인, 전자 디바이스.
  21. 제 16 항에 있어서,
    상기 제 2 적분 시간은 상기 제 1 적분 시간보다 짧은, 전자 디바이스.
  22. 제 16 항에 있어서,
    상기 제 1 적분 시간 및 상기 제 2 적분 시간 중 적어도 하나는 광 (lighting) 조건들에 적어도 부분적으로 기초하여 결정되는, 전자 디바이스.
  23. 장치의 프로세서에 의해 실행가능한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 상기 장치로 하여금,
    복수의 화소들을 포함하는 CMOS 가시 이미지 센서를 사용하여 이미지를 캡쳐하게 하는 것으로서, 상기 복수의 화소들의 화소는 제 1 웰 용량을 갖는 제 1 광 감지 엘리먼트 및 제 2 웰 용량을 갖는 제 2 광 감지 엘리먼트를 포함하고, 상기 제 1 웰 용량은 상기 제 2 웰 용량보다 큰, 상기 이미지를 캡쳐하게 하고;
    각각의 화소의 상기 제 1 광 감지 엘리먼트와 상기 제 2 광 감지 엘리먼트 사이에 하나 이상의 트랜지스터들을 공유하게 하는 것으로서, 공유된 상기 하나 이상의 트랜지스터들은 상기 제 1 광 감지 엘리먼트 및 상기 제 2 광 감지 엘리먼트를 포함하는 상기 화소 내에 집적되는, 상기 하나 이상의 트랜지스터들을 공유하게 하며;
    상기 화소의 상기 제 1 광 감지 엘리먼트에 대해 제 1 적분 시간을 결정하게 하며; 및
    상기 화소의 상기 제 2 광 감지 엘리먼트에 대해 제 2 적분 시간을 결정하게 하고,
    상기 제 2 적분 시간은 상기 제 1 적분 시간과 상이한, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 장치로 하여금,
    상기 화소의 상기 제 1 광 감지 엘리먼트로부터의 적어도 하나의 신호 및 상기 화소의 상기 제 2 광 감지 엘리먼트로부터의 적어도 하나의 신호에 적어도 부분적으로 기초하여 이미지를 생성하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  25. 제 24 항에 있어서,
    생성된 상기 이미지는 공식:
    Figure 112017049261701-pct00016

    에 적어도 부분적으로 기초하고,
    여기서, T1 은 상기 화소의 상기 제 1 광 감지 엘리먼트의 독출값이고, T2 는 상기 화소의 상기 제 2 광 감지 엘리먼트의 독출값이고, Thdr 은 결합된 이미지이며, 여기서
    Figure 112017049261701-pct00017

    이고, 여기서 a 및 b 는 천이 폭을 제어하는 튜닝 파라미터들이며, MAD 는,
    Figure 112017049261701-pct00018

    로서 정의된 로컬 평균 절대 차이값이고,
    여기서, N 은 화소 (x, y) 에 센터링된 윈도우 W(x, y) 내의 화소들의 총수인, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 제 23 항에 있어서,
    상기 이미지는 높은 동적 범위 이미지인, 비일시적 컴퓨터 판독가능 저장 매체.
  27. 제 23 항에 있어서,
    상기 화소의 상기 제 1 광 감지 엘리먼트 및 상기 화소의 상기 제 2 광 감지 엘리먼트 중 적어도 하나는 포토다이오드들인, 비일시적 컴퓨터 판독가능 저장 매체.
  28. 제 23 항에 있어서,
    상기 제 2 적분 시간은 상기 제 1 적분 시간보다 짧은, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 제 23 항에 있어서,
    상기 제 1 적분 시간 및 상기 제 2 적분 시간 중 적어도 하나는 광 (lighting) 조건들에 적어도 부분적으로 기초하여 결정되는, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 삭제
KR1020167007318A 2013-08-21 2014-08-11 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법 KR101843667B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/972,742 US9578223B2 (en) 2013-08-21 2013-08-21 System and method for capturing images with multiple image sensing elements
US13/972,742 2013-08-21
PCT/US2014/050506 WO2015026550A1 (en) 2013-08-21 2014-08-11 System and method for capturing images with multiple image sensing elements

Publications (2)

Publication Number Publication Date
KR20160045815A KR20160045815A (ko) 2016-04-27
KR101843667B1 true KR101843667B1 (ko) 2018-03-29

Family

ID=51429378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007318A KR101843667B1 (ko) 2013-08-21 2014-08-11 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US9578223B2 (ko)
EP (1) EP3036894B1 (ko)
JP (1) JP2016528848A (ko)
KR (1) KR101843667B1 (ko)
CN (1) CN105453542B (ko)
WO (1) WO2015026550A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CA3017935C (en) * 2016-03-16 2020-04-21 BAE Systems Imaging Solutions Inc. High dynamic range imaging sensor array
US9838628B2 (en) 2016-03-16 2017-12-05 Sony Corporation Detecting quantities beyond sensor saturation
US10128284B2 (en) 2016-06-23 2018-11-13 Qualcomm Incorporated Multi diode aperture simulation
US10440298B2 (en) * 2016-12-23 2019-10-08 Bae Systems Information And Electronic Systems Integration Inc. Extended dynamic range cis pixel achieving ultra-low noise
CN108419030B (zh) * 2018-03-01 2021-04-20 思特威(上海)电子科技股份有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统
WO2019236626A2 (en) 2018-06-07 2019-12-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
US10708487B2 (en) 2018-08-28 2020-07-07 Qualcomm Incorporated Image processing for saturated pixels
KR102609559B1 (ko) 2019-04-10 2023-12-04 삼성전자주식회사 공유 픽셀들을 포함하는 이미지 센서
CN110236694B (zh) * 2019-06-04 2021-09-10 广东欧谱曼迪科技有限公司 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统
KR20220051052A (ko) 2020-10-16 2022-04-26 삼성전자주식회사 이미지 센서
US20220210353A1 (en) * 2020-12-30 2022-06-30 Semiconductor Components Industries, Llc High dynamic range image sensors
FR3123734A1 (fr) * 2021-06-02 2022-12-09 Université de Bourgogne Procédé de traitement de données de pixels, dispositif et programme correspondant
WO2023080197A1 (ja) * 2021-11-05 2023-05-11 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
CN114040132B (zh) * 2021-11-22 2023-11-21 成都微光集电科技有限公司 图像传感器及其曝光时序控制方法、系统及介质
CN114900687B (zh) * 2022-05-17 2024-03-05 中国科学院新疆理化技术研究所 一种不同光强对cmos图像传感器像素单元满阱容量影响的仿真方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010013064A1 (en) 1998-12-14 2001-08-09 Cox David E. Methods, systems and computer program products for license use management on a network
JP2005286104A (ja) 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489352B2 (en) 2002-11-15 2009-02-10 Micron Technology, Inc. Wide dynamic range pinned photodiode active pixel sensor (APS)
JP4264251B2 (ja) 2002-12-09 2009-05-13 富士フイルム株式会社 固体撮像装置とその動作方法
US7026596B2 (en) 2003-10-30 2006-04-11 Micron Technology, Inc. High-low sensitivity pixel
US7087883B2 (en) * 2004-02-04 2006-08-08 Omnivision Technologies, Inc. CMOS image sensor using shared transistors between pixels with dual pinned photodiode
US7616231B2 (en) 2005-01-06 2009-11-10 Goodrich Corporation CMOS active pixel sensor with improved dynamic range and method of operation for object motion detection
US7911518B2 (en) * 2005-02-01 2011-03-22 Samsung Electronics Co., Ltd. Variable exposure for color image sensor
JP4241840B2 (ja) 2006-02-23 2009-03-18 富士フイルム株式会社 撮像装置
US20070285547A1 (en) * 2006-05-30 2007-12-13 Milligan Edward S CMOS image sensor array optimization for both bright and low light conditions
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8159585B2 (en) 2007-05-01 2012-04-17 Omnivision Technologies, Inc. Image sensor pixel with gain control
EP2009911B1 (en) 2007-06-29 2015-08-26 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP2009055479A (ja) 2007-08-28 2009-03-12 Panasonic Corp イメージセンサ及び電磁波イメージング装置
JP2011015219A (ja) * 2009-07-02 2011-01-20 Toshiba Corp 固体撮像装置
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
JP5646421B2 (ja) * 2011-09-22 2014-12-24 株式会社東芝 固体撮像装置および固体撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010013064A1 (en) 1998-12-14 2001-08-09 Cox David E. Methods, systems and computer program products for license use management on a network
JP2005286104A (ja) 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE transactions on electron devices, Vol. 56, No. 12, (2009.12.12. 공개)

Also Published As

Publication number Publication date
US9578223B2 (en) 2017-02-21
KR20160045815A (ko) 2016-04-27
WO2015026550A1 (en) 2015-02-26
US20150054992A1 (en) 2015-02-26
EP3036894A1 (en) 2016-06-29
CN105453542A (zh) 2016-03-30
CN105453542B (zh) 2019-08-16
JP2016528848A (ja) 2016-09-15
EP3036894B1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
KR101843667B1 (ko) 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법
JP6267348B2 (ja) 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
CN110753192B (zh) 一种集成电路图像传感器
US9332200B1 (en) Pixel readout architecture for full well capacity extension
US8248481B2 (en) Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
TWI382757B (zh) 提供多像素整合週期之方法，裝置以及系統
US20090237538A1 (en) Solid-state image pickup device
US11856301B2 (en) Method and system for extending image dynamic range using per-pixel coding of pixel parameters
KR20210114290A (ko) 이미지 센서 및 이를 포함하는 촬영 장치
US20200059612A1 (en) Pixel apparatus and cmos image sensor using the same
JP2020028115A (ja) 撮像装置
US11943543B2 (en) Imaging device
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
CN115996327A (zh) 成像装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant