KR101317272B1 - 색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서 - Google Patents

색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서 Download PDF

Info

Publication number
KR101317272B1
KR101317272B1 KR1020107009042A KR20107009042A KR101317272B1 KR 101317272 B1 KR101317272 B1 KR 101317272B1 KR 1020107009042 A KR1020107009042 A KR 1020107009042A KR 20107009042 A KR20107009042 A KR 20107009042A KR 101317272 B1 KR101317272 B1 KR 101317272B1
Authority
KR
South Korea
Prior art keywords
pixels
line
pixel
exposure time
data
Prior art date
Application number
KR1020107009042A
Other languages
English (en)
Other versions
KR20100086987A (ko
Inventor
지장 샨
지앙타오 쿠앙
Original Assignee
옴니비전 테크놀러지즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옴니비전 테크놀러지즈 인코포레이티드 filed Critical 옴니비전 테크놀러지즈 인코포레이티드
Publication of KR20100086987A publication Critical patent/KR20100086987A/ko
Application granted granted Critical
Publication of KR101317272B1 publication Critical patent/KR101317272B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 센서는 행 및 열의 형태로 구성된 픽셀들의 어레이를 가진다. 픽셀들은 한 줄씩 순서대로 읽히고, 라인 이미지 버퍼 내에 버퍼링된다. 연장된 명암비는 열 노출 시간을 주기적 순서에 따라 변화시킴으로써 지원된다. 결과적으로, 픽셀 노출 시간들은 각 행 내에서 변한다. 고명암비는 동일한 필터 유형이나 상이한 노출 시간들을 갖는 동일한 행 내의 인접한 픽셀들의 픽셀 데이터를 결합하여 생성된다. 색상 보간은 결합된 라인 데이터 상에서 수행된다.

Description

색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서{high dynamic range image sensor with reduced line memory for color interpolation}
본 발명은 일반적으로 고명암비 CMOS 이미지 센서 장치들의 분야에 관한 것이다. 보다 상세하게는 본 발명은 고명암비 센서 내에서 색상 보간을 수행하기 위한 기술이 개시된다.
고명암비 이미지 센서들은 다양한 응용에서 요구된다. 이미지 센서들의 분야에서 잘 알려졌듯이, 명암비(즉, 동적 범위(dynamic range))는 최대 탐지 가능 신호의 최소 탐지 가능 신호에 대한 비율이다(CMOS 이미지 센서에 대해서, 어두운 환경하에서 최대 비포화 신호의 잡음의 표준 편차에 대한 비율로 자주 정의된다). 이미지 센서의 전체 전기적 명암비는 1) 상단(upper end)에서의 전하 포화 레벨 및 2) 아날로그 회로 및 A/D(analog-to-digital) 변환 내에서 생성된 하단(lower end)에서의 잡음 레벨에 의해 제한된다. 화면의 광 명암비는 또한 탐지될 수 있는 가장 밝은 물체와 가장 어두운 물체 사이의 비율로서 정의된다. 예를 들어, 고명암비(HDR) 이미지 센서는, 80-100dB의 명암비와 같이, 70dB보다 큰 명암비를 가질 수 있으며, 선형 영역에서 인코딩이 되는 경우, 일반적으로 채널당 12비트보다 많이 필요로 할 것이다. 이미지 센서의 전기적 명암비가 매우 작아서 화면 내 모든 광 세기 변화들을 기록할 수 없는 경우, 가장 밝은 부분들이 포화되거나, 그늘진 부분들은 매우 어두워서 인식할 수 없게 야기할 것이다. 따라서, HDR 화면의 본래 외관을 정확하게 재생산하기 위해 이미지 센서의 명암비를 증가시키는 것이 요구된다.
도 1은 종래의 CMOS 이미지 센서를 도시한다. 픽셀 어레이(100)는, 행 내의 픽셀들이 동시에 읽히고, 병렬적으로 처리되는 열 병렬 읽기 구조를 갖는 열들 및 행들의 세트로 배열된 픽셀들(102)을 가진다. 즉, 0행이 읽히고, 그 다음에 1행, 그 다음에 2행, 그리고 M행이 읽힐 때까지 계속된다. S&H(sample and hold) 요소들은 행들의 한 행씩 읽기를 지원한다. 구조 내의 행들은 최대 해상도 모드 및 다운-샘플링(down-sampling) 모드를 위해 동일한 노출 시간을 갖는다.
읽혀진 라인 데이터(line data)는 라인 이미지 버퍼에 의해 버퍼링 된다. 라인 이미지 버퍼의 실리콘 영역(따라서 비싸다)은 버퍼링이 되어야만 하는 라인들의 수에 의존한다. 많은 종래의 이미지 센서 설계에 대해, 3-라인 이미지 버퍼(120)는 이미지 프로세서(130) 내의 색상 보간을 지원하는데 충분하다.
단일 센서 색상 이미지 센서 시스템에서, 센서 상의 각 픽셀은 "CFA(color filter array)"로서 알려진 색상 필터들의 어레이의 패턴에 의해 결정된 특정한 색상 필터를 가진다. 색상 이미지는 각 픽셀 위치에서 적어도 세 개의 색상 샘플들을 필요로 한다. 그러나 CFA는 각 픽셀에서 측정되는 오직 하나의 색상만을 허용한다. 카메라는 각 픽셀에서 누락된 색상 값들을 추정해야만 한다. 그 처리는 색상 보간 또는 디모자이크(demoisaicing)로서 공지되었다. 가장 간단한 색상 보간 설계는 2차원에서의 양선형 보간에 근거한다.
도 2는 3-라인 이미지 버퍼 양선형 보간에 대한 개념의 일부를 도시한다. 각 픽셀은 픽셀의 위치를 나타내는 숫자(예를 들어, 1, 2, 3, 4, 5)가 배정된다. 본 실시예에서, 픽셀 3과 같은 픽셀은, 픽셀이 그린(green)이 아닌, 레드(red) 또는 블루(blue)와 같은 색상을 샘플링(sampling)하는 색상 필터를 가진다. 인접한 그린 픽셀들 G1, G2, G4 및 G5의 그린 색상 샘플에 근거하여 픽셀 3에 대한 그린 채널을 결정하기 위해 픽셀 3에 대해 보간이 수행된다. 그러나 픽셀 3에 대해, 그린 값은 보간되어야만 한다. 따라서 G3은 픽셀 3 내에서의 그린 색상의 추정된 값이다. 양선형 보간을 사용하여, 픽셀 3에서 추정된 그린 값은 G3 = (G1+G5+G2+G4)/4 로 추정된다. 픽셀 3 상에서 종래의 색상 보간을 수행하기 위해 픽셀 위와 아래 라인들 내의 픽셀들로부터 데이터가 요구된다는 것에 주목하라. 도 2의 실시예로부터 이해될 수 있듯이, 전통적으로 3-라인 이미지 버퍼가 색상 보간을 지원하는데 충분하다.
고명암비 이미지 센서들의 다양성은 선행 기술에서 공지되어 있다. 그러나, 많은 공지된 이미지 센서들은 이미지 센서에 대한 증가된 비용 및 고명암비를 지원하기 위해 필요한 관련된 라인 이미지 버퍼 메모리를 포함한 다양한 단점들을 가진다. 구체적으로, 많은 이전의 고명암비 이미지 센서의 접근들은 종래 이미지 센서보다 상당히 더 비싼 하드웨어 및/또는 버퍼 메모리의 사용을 필요로 한다.
따라서, 상술한 문제들의 관점에서, 본 발명의 장치, 시스템 및 방법이 개선되었다.
이미지 센서는 행들로부터 한 줄씩 읽기를 지원하는 행 및 열 형식으로 구성된 픽셀들의 어레이를 가진다. 개별적 라인들은 이미지 프로세서의 라인 이미지 버퍼 내에 버퍼링된다. 또한 각 픽셀은 CFA 패턴에 따른 CFA 필터에 할당된다. 연장된 명암비는 열 노출 시간들의 순서를 선택함으로써 지원된다. 픽셀들의 개별적 열은 열 내의 모든 픽셀들에 대한 동일한 노출 시간을 가진다. 그러나, 열 노출 시간들은 주기적 순서에 따라 수평 방향을 따라서 변화된다. 이는 행을 가로지르는 픽셀 노출 시간들의 대응되는 주기적 순서를 갖는 개별적 행을 야기한다. 상기 순서는 동일한 필터 유형이지만 상이한 노출 시간들의 인접한 픽셀들의 세트들로부터의 픽셀 데이터가 개별적 라인 내에서 결합되도록 허용하기 위해 선택되어, 감소된 라인 폭을 갖지만 연장된 명암비를 가지는 결합된 라인 데이터를 생성한다. 그 다음에 색상 보간이 결합된 라인 데이터 상에서 수행된다. 결합된 라인 데이터 상에서 색상 보간을 수행하는 일 양상은, 종래의 이미지 모드 및 고명암비 동작 모드 모두를 지원하기 위해 사용되는 종래의 3-라인 이미지 버퍼를 허용한다.
본 발명은 첨부되는 도면들과 관련된 하기의 상세한 설명과 연관되어 더 명백하게 인식된다.
도 1은 종래의 CMOS 이미지 센서 및 연관된 라인 이미지 버퍼 메모리를 도시한다.
도 2는 종래의 양선형 색상 보간 기술을 도시한다.
도 3은 본 발명의 일 구체예에 따른 CMOS 이미지 센서를 도시한다.
도 4는 본 발명의 일 구체예에 따른 예시적인 디모자이크 처리를 도시한다.
도 5는 상이한 열 노출 시간들을 이용하여 달성되는 명암비의 향상을 도시한다.
도 6 및 7은 디모자이크를 수행하기 위해 더 큰 라인 이미지 버퍼 메모리를 필요로 하는 이전 세대 설계를 도시한다.
동일한 도면 부호들은 도면들의 몇몇 도시를 통해 대응되는 부분들을 나타낸다.
도 3은 본 발명의 일 구체예에 따른 예시적인 이미지 센싱(sensing) 시스템을 도시한다. CMOS 이미지 센서(300)는 픽셀들(302)("픽셀 어레이")의 초점 면 어레이(301)를 포함한다. 각 픽셀(302)은 기판의 도핑 영역 내에 광에 의한 전자를 생성하기 위한 감광 장치(도시되지 않음)를 포함하는 셀(cell)이다. 종래의 읽기 회로(도시되지 않음)는 각 픽셀 셀에 구비되고, 적어도 소스 팔로워 트랜지스터(source follower transistor) 및 소스 팔로워 트랜지스터를 열 출력 라인에 연결하기 위한 행 선택 트랜지스터를 포함한다. S&H(sample and hold) 요소들(304) 및 증폭기(306)는 행들로부터 한 줄씩 읽기를 지원한다. 픽셀 데이터는 한 줄 단위로 읽혀지고, 라인 이미지 버퍼(320)에 버퍼링된다. 바람직한 구체예에서, 라인 이미지 버퍼는 이미지 프로세서(330)가 최대 해상도 모드 내에서 동작하기 위한 이미지 데이터의 3 라인들을 저장하기에 충분한 버퍼링 용량을 갖는 3-라인 이미지 버퍼(320)이다. 도시된 실시예에서와 같이, 640×480 픽셀 어레이에 대해, 라인 이미지 버퍼의 각 라인은 640 픽셀들의 전체 라인에 대한 픽셀 데이터를 저장하기 위해 크기가 결정된다.
행 어드레스 디코더(address decoder)(310) 및 열 어드레스 디코더(312)는 픽셀들의 읽기를 지원하기 위해 구비된다. 타이밍 및 컨트롤(timing and control) 블록(318)은 디코더들(310 및 312)을 제어한다. 타이밍 및 컨트롤 블록(318) 및 디코더들(310 및 312)은 픽셀 데이터의 한 행씩 읽기를 지원한다. 추가적으로, 타이밍 및 컨트롤 블록(318)은 픽셀들의 이득 및 노출 시간을 설정한다. 일 구체예에서, 타이밍 및 컨트롤 블록(318)은 상이한 이득들 및 노출 시간들이 픽셀들의 각 열에 대해 설정될 수 있는 고명암비 동작 모드를 지원한다. 예를 들어, 도 3에 도시된 것처럼, 일 구체예에서, 노출 시간은 열 단위로 설정된다. 즉, 특정한 열 내의 모든 픽셀들은 동일한 노출 시간을 가지나, 타이밍 및 컨트롤 블록(318)으로 열 노출 시간들의 순서가 있는 동작 모드를 지원한다. 즉, 1열은 1열 내 모든 픽셀들에 대한 제1노출 시간을 갖고, 2열은 2열 내 모든 픽셀들에 대한 제2노출 시간을 가지며, 계속 된다. 하기에서 더 자세히 설명되듯이, 바람직하게는, 열 노출 시간들의 순서는, 짧고 긴 열 노출 시간들의 주기적 순서와 같이, 상이한 열 노출 시간들의 주기적 순서이다.
열 노출 시간들의 순서를 선택한 결과는 픽셀들의 개별적 행이 개별적 행을 가로지르는 픽셀 노출 시간들의 대응되는 순서를 가지게 될 것이다. 즉, 1행과 같은 개별적 행이 1열로부터의 제1픽셀을 가질 것이고, 2열로부터의 제2픽셀, 그리고 N열로부터의 픽셀로 끝나는 행까지 계속된다. 따라서 열 노출 시간들의 순서를 선택하는 것은 개별적 행들을 가로지르는 픽셀들의 개별적 노출 시간들에 대응되는 변화를 만든다.
도 4는 3-라인 색상 보간 설계와 호환되는 고명암비를 달성하기 위한 예시적인 동작 모드를 도시한다. 도 4의 왼쪽 부분(410)은 픽셀 어레이(301)로부터의 원시 라인 데이터 출력에 대응되는 라인들(401, 402 및 403)의 세트를 도시한다. 오른쪽 부분(420)은 라인 이미지 버퍼(320) 내에서의 수평적 다운 샘플링 이후의 픽셀들을 도시한다. 도 4의 실시예에서, 레드(R), 그린(G), 및 블루(B) 픽셀들이 도시된다. 아래 첨자에 의해 도시된 것처럼, 예시적인 구체예에서, 열 노출 시간들은, 긴(l) 열 노출 시간의 두 개의 열들에 뒤따르는 짧은(s) 열 노출 시간의 두 개의 열들이 네 개의 열들마다 순서가 반복되도록 선택된다. 왼쪽 부분(410) 내의 개별적 라인 내에서, 개별적 픽셀 색상은 동일 색상의 인접한 픽셀들에 관하여 픽셀 노출 시간들의 주기적 순서를 가진다(즉, 라인(401) 내의 블루 픽셀들만을 보는 경우, 긴 노출 시간 블루 픽셀(451)에 짧은 노출 시간 블루 픽셀(452)이 다음 블루 픽셀로서 뒤따른다; 유사하게는, 라인(401) 내의 그린 픽셀들만을 보는 경우, 긴 노출 시간 그린 픽셀(461)에 짧은 노출 시간 그린 픽셀(462)이 다음 그린 픽셀로서 뒤따른다).
버퍼링된 라인 데이터는 이미지 프로세서(330)에 의해 수평적 다운 샘플링이 된다. 따라서 오른쪽 부분(420)에 의해 도시된 것처럼, 블루 픽셀들(451 및 452)와 같은, 동일 색상이지만 상이한 노출 시간들의 인접한 픽셀들의 세트들은 픽셀(453)을 생성하기 위해 결합된다. 유사하게, 그린 픽셀들(461 및 462)이 그린 픽셀(463)을 생성하기 위해 결합된다. 따라서, 네 개의 픽셀들 Bl, Gl, Bs, Gs로부터의 데이터를 포함하는 원시 픽셀 데이터의 하나의 라인은 이미지 버퍼의 하나의 라인 내에서 결합되어 두 개의 픽셀들 B, G를 생성하고, B 픽셀은 인접한 블루 픽셀들 Bl 및 Bs의 결합이고, G픽셀은 인접한 그린 픽셀들 Gl 및 Gs의 결합이다. 따라서, 다운 샘플링 이후에, 결합된 라인 데이터는 개별적 라인 내 전체 저장 용량의 오직 절반만을 필요로 한다. 즉, 결합된 라인 데이터의 유효한 저장의 요구는 풀(full) 라인 버퍼들 대신에 하프(half) 라인 버퍼들에 대응된다.
색상 보간은 각 픽셀에 대한 색상 값들을 결정하기 위해 다운 샘플링된 라인 데이터 상에서 수행될 수 있다. 색상 보간은 결합된 라인 데이터로부터 완전한 이미지(즉, 각 픽셀 위치에서 색상 데이터의 모든 세트)를 보간하기 위하여 디모자이크 알고리즘(디지털 이미지 프로세싱)을 이용한다. 많은 CFA 패턴들(예를 들어, 베이어 패턴(Bayer pattern))은 두 개의 열들의 주기성을 가지는 것에 주목하라. 열 노출 시간들의 주기성을 CFA 패턴의 주기성의 배수가 되도록 선택하는 것은, 개별적 라인들 내에서, 동일한 CFA 필터 유형이나 상이한 열 노출 시간들의 인접한 픽셀들이 명암비를 증가시키기 위해 결합될 수 있는 수평적 다운 샘플링의 유형을 허용한다. 따라서 도 4는 베이어 RGB(Red-Green-Blue) CFA 패턴을 도시하지만, 동일한 원리들이, RGBE(Red-Green-Blue-Emerald) 패턴, RGBC(Red-Green-Blue-Clear) 패턴, 및 CYGM(Cyan-Yellow-Green-Magenta) 패턴과 같은, 다른 보통의 CFA 패턴들에도 적용되는 것으로 이해될 수 있다.
도 5는 원시 픽셀 데이터가 어떻게 결합되어 명암비를 증가시키는지를 도시한다. 본 실시예에서, 그래프(510)는 1행, 1열의 위치에 있는 블루 픽셀과 같은, 짧은 열 노출 시간의 제1픽셀에 대한 원시 픽셀 데이터이다. 열 노출 시간이 짧기 때문에, 픽셀은 높은 광 레벨에서 포화된다. 1행, 3열의 위치에 있는 블루 픽셀과 같은, 또 다른 픽셀은 긴 열 노출 시간을 가진다. 결과적으로, 그래프(520)에 도시된 바와 같이, 이 픽셀은 더 민감하지만 상대적으로 낮은 광 레벨에서 포화된다. 그래프(530)에 도시된 바와 같이, 두 픽셀들(동일한 라인에 있는)에 대한 데이터를 결합함으로써, 결합된 응답은 고명암비를 만든다.
바람직하게는, 앨리어싱(aliasing) 결함들을 피하기 위해 색상 보간 전체에서 수직 해상도가 유지되어야 하는 것을 주목하라. 즉, 해상도의 어느 초기의 다운 샘플링 및 감소는 오직 수평(x) 차원에 있다. 수평 방향에서, 픽셀 데이터가 행에 의해 읽히는 경우, 긴 노출 열들은 짧은 노출 열들과 첫 번째로 결합되어 데이터의 명암비를 연장시킨다. 만약 수직(y) 방향으로 추가적인 다운 샘플링이 필요하다면, 색상 보간이 수행된 이후에 수행될 수 있다는 것에 주목하라.
원시 픽셀 데이터 Bl 및 Bs가 결합되는 실시예를 다시 참조하면, 픽셀 데이터가 결합되는 방법에는 몇 가지 선택이 있다. 하나의 선택은 픽셀 데이터를 평균하는 것이다. 그러나 바람직한 구체예에서, 픽셀들은 해상도 및 신호대잡음 비율의 최적의 결합을 제공하기 위해 선택된 비율의 가중 함수에 따라 결합된다. 구체적으로, 바람직하게는, 결합식은 긴 노출 시간 열들의 짧은 노출 시간 열들에 대한 노출 비율에 근거하여 조절될 수 있다. 상이한 노출 시간들을 가지는 동일한 행 내의 두 개의 픽셀들의 결합된 픽셀 데이터(Comb.)를 결정하기 위한 결합식이 식 1에 도시되며, w는 간단한 가중 인자이고, L_exp는 긴 열 노출 시간 픽셀의 데이터이고, S_exp는 짧은 열 노출 시간 픽셀의 데이터이며, 비율은 길고 짧은 노출 시간들 사이의 노출 비율이고, *는 곱셈이다.
Comb.=w*L_exp+(1-w)(S_exp*비율) 식 1
표 1은 상이한 이득 및 비율 결합들에 대한 예시적인 가중 인자들을 도시한다. 예시적인 가중 함수는, 예를 들어, 경험적 연구를 사용하여, 해상도 및 신호대잡음 비율의 최적의 결합을 제공하기 위해 선택된다.
Figure 112010026488520-pct00001
본 발명의 일 양상은 저 비용 실행과 호환되는 구조 내에서 달성되는 고명암비를 허용하는 것이다. 예를 들어, 일 실행에서, 이미지 센서는 각 열이 최대 수평적 해상도와 동일한 열 노출 시간을 갖는 종래의 동작 모드 또한 지원한다. 본 구체예에서, 고명암비 모드는 종래의 동작 모드에 대해 선택 사항으로써 실행될 수 있다.
본 발명의 또 다른 양상은, 디모자이크가 3-라인 이미지 버퍼와 같은, 종래의 라인 이미지 버퍼 크기를 사용하여 지원될 수 있다는 것이다. 도 4에 도시된 바와 같이, 원시 픽셀 데이터의 라인이 라인 이미지 버퍼(라인(401)과 같은) 내로 받아들여진 이후에, 동일한 필터 유형이나 상이한 열 노출 시간들의 인접한 픽셀들의 세트들이 라인 내에서 결합된다. 이는 수평적 해상도를 감소시키지만 명암비를 증가시킨다. 디모자이크(색상 보간을 수행하기 위한)는 결합된 라인 데이터 상에서 수행된다. 구체적으로, 종래의 양선형 색상 보간 설계는 오직 버퍼링의 3 라인(예를 들어, 라인들(401, 402 및 403)에 버퍼링)을 필요로 하여, 사용될 수 있다. 이는 종래의 크기가 결정된 이미지 버퍼(예를 들어, 3 라인 이미지 버퍼)가 디모자이크를 지원하는 것을 허용한다. 결과적으로, 디모자이크에 대해, 종래의(최대 해상도) 이미지 센서들보다 더 많은 추가적인 이미지 라인 버퍼들이 필요하지 않다. 따라서 본 발명은 라인 이미지 버퍼 메모리의 어떤 증가를 필요로 하지 않고 선택적인 고명암비 동작 모드가 실행되는 것을 허용한다.
본 발명의 디모자이크 처리를 이해하기 위한 또 다른 방법은, 개별적 픽셀 위치의 디모자이크 처리가 원시 이미지 버퍼 데이터의 다섯 개의 열들의 그룹으로부터 유도된 데이터 상에서 수행되는 것이다. 예를 들어, 왼쪽 부분(410)의 제2라인(402) 내의 그린 픽셀 위치(432)를 고려하자. 만약 양선형 보간이 원시 라인 데이터 상에서 수행된다면, 픽셀 위치(432)에서 블루 색상 값을 보간하기 위하여 픽셀들(451, 462, 492 및 493)로부터의 Bl 픽셀 데이터가 필요하다. 따라서 만약 색상 보간이 원시 라인 데이터 상에서 수행된다면, 다섯 개의 열들로부터의 데이터가 필요하다. 그러나, 라인 버퍼들은 최대 해상도 모드에서 이미지 센서의 최대 라인 폭에 대응하는 저장 유닛들을 가진다. 본 발명의 디모자이크 처리는 디모자이크 이전의 픽셀 데이터(개별적 라인들 내의)의 제1결합에 의해 고유의 라인 저장 용량에 영향을 준다. 결과적으로 명암비는 증가되고, 디모자이크는 종래의 양선형 보간과 같은, 3-라인 색상 보간 기술을 사용하여 결합된 데이터 상에서 수행될 수 있다.
본 발명의 이점들의 어느 정도는 도 6 및 7을 참조하여 이해될 수 있고, 이는 옴니비젼 테크놀러지 회사(OmniVision Technologies, Inc.)에 의해 개발된 이전 세대의 CMOS 이미지 센서를 도시하고, 이는 2007년 8월 30일에 출원된, 미국특허출원번호 제11/849129호에 더 자세하게 설명되어 있고, 그 내용인 "다운 샘플링 모드에서 고명암비를 갖는 이미지 센서"는 참조 문헌으로서 본 명세서에 병합된다. 도 6을 참조하면, 미국특허출원번호 제11/849129호에 설명된 발명은 픽셀들의 개별적 행이 동일한 노출 시간("행 노출 시간")을 갖지만 행 노출 시간들의 순서가 있는 동작 모드를 가진다. 도 6에 도시된 바와 같이, 이전 세대 이미지 센서는 픽셀들(602)의 어레이를 갖고, 이미지 프로세서(630)에 의해 처리되기 위하여 라인 이미지 버퍼(620)에 대해 픽셀 데이터의 한 줄씩 읽기를 지원하도록 설계되었다. 그러나, 수직 다운 샘플링 모드에서, 각 행은 행 내의 모든 픽셀들에 대해 일정한 행 노출 시간을 가진다. 그러나, 행 노출 시간들의 순서가 존재한다. 예를 들어, 도 6에 도시된 바와 같이, 베이어 패턴에 대해, 두 개의 행들은 긴 노출(exp) 시간을 갖고, 두 개의 행들은 짧은 노출 시간을 가지며, 교차되는 순서로 계속 된다. 도 7은 이미지 센서로부터의 출력으로서 라인 데이터의 순서를 도시한다. 이미지의 최소한의 다섯 개의 라인들(701, 702, 703, 704 및 705)에 대해 디모자이크를 실행하기 위하여, 버퍼링이 종래의 이미지 센서들과 같이 동일한 보간 실행을 달성하기 위해 필요하다. 예를 들어, 제3라인(703) 내에 있는 블루 픽셀 위치(730)를 고려하자. 동일한 픽셀 위치(730)에서 그린 색상에 대한 양선형 색상 보간을 실행하기 위하여, 그린의 긴 노출 시간 픽셀들(710, 712, 714 및 716)이 필요하다. 따라서 제3라인(703) 내의 픽셀 위치에 대해 색상 보간을 실행하기 위해, 라인들(701 및 705)이 또한 필요하다. 따라서, 이전 세대의 고명암비 이미지 센서는, 3-라인 이미지 버퍼를 가지는 종래의 이미지 센서들처럼, 동일한 보간 실행으로 디모자이크를 지원하기 위하여 5-라인 이미지 버퍼가 필요하다. 그러나, 추가적인 라인 메모리의 요구는 CMOS 센서 칩의 크기 및 가격을 증가시킨다.
도 6 및 7의 이전 세대의 이미지 센서와 대조적으로, 본 발명의 이미지 센서는 3-라인 이미지 버퍼로 실행될 수 있으며, 도 6 및 7의 이전 세대 설계의 라인 이미지 버퍼들의 66%를 절약한다. 추가적으로, 이전 세대의 설계와 비교하면, 본 발명은, 경험적으로 설명되는, 수직 방향에서 더 나은 해상도와 더 적은 앨리어싱을 가진다. 수평 방향에서, 이전 세대 설계보다 약간 낮은 해상도를 가진다. 그러나, 라인 이미지 버퍼 내에 더 많은 유닛들을 사용함으로써 해상도를 증가시키고 앨리어싱을 감소시키는 것이 가능하다.
본 발명은 두 개의 상이한 열 노출 시간들이 있는 실시예에 관하여 상세한 설명에서 설명되었지만, 나아가 확장 및 변형이 가능하다는 것이 이해될 수 있을 것이다. 예를 들어, 만약 세 개의 상이한 열 노출 시간들의 주기적 순서가 선택된다면, 명암비의 더 큰 증가가 달성될 수 있다. 본 실시예에서, 세 개의 상이한 노출 시간들의 픽셀들의 세트로부터의 각 라인 데이터는 결합되어 명암비를 증가시킬 수 있다. 결합된 라인 데이터가 생성된 이후에, 유효 라인 데이터 폭은 1/3로 감소될 것이다. 다른 확장으로서, 픽셀 어레이 전체의 디폴트 값들에 관한 픽셀 노출 시간들을 변형시키는 다른 공지된 기술들이 본 발명과 연관되어 사용될 수 있다는 것이 이해될 수 있을 것이다. 추가적으로, 본 발명은 픽셀 어레이의 전체 영역의 부분 세트에도 적용될 수 있다는 것이 이해될 것이다.
설명의 목적을 위하여, 전술한 설명에서 발명의 완전한 이해를 제공하기 위해 특정한 명칭이 사용되었다. 그러나, 본 발명을 실행하기 위해 특정한 세부 사항이 필요하지 않은 분야의 당업자에게 명백할 것이다. 따라서, 본 발명의 특정한 구체예들의 전술한 설명들은 도면 및 설명의 목적을 위하여 존재한다. 이는 개시된 정확한 형태로 발명을 제한하거나 남김없게 하려는 의도가 아니다. 그리고 명백하게, 상기 설명의 관점에서 많은 변형 및 변화가 가능하다. 구체예들은 본 발명 및 본 발명의 실제적인 응용들의 원리들을 가장 잘 설명하기 위해 선택되고, 설명되었으며, 이에 의해 분야의 당업자는 계획된 특정한 사용에 적합한 다양한 변형들로 본 발명 및 다양한 구체예들을 가장 잘 사용할 수 있다. 하기의 청구항들 및 이들의 동등물들은 본 발명의 범위를 정의하도록 의도되었다.

Claims (25)

  1. 행 및 열의 형태로 배열된 감광 픽셀들을 가지되, 각 픽셀은 CFA(color filter array) 패턴에 따라 CFA 필터에 더 할당되는 이미지 센서 내에서 고명암비를 달성하는 방법에 있어서,
    픽셀들의 각 개별적 열에 대하여, 상기 개별적 열 내의 모든 픽셀들에 대한 공통적인 노출 시간을 열 노출 시간으로서 선택하는 단계;
    픽셀들의 각 개별적 행 내에서 각 개별적 색상 필터 유형의 픽셀들에 대한 픽셀 노출 시간들의 대응되는 주기적 순서가 존재하도록 선택된 주기적 순서에 따라 수평 차원을 따라서 변하도록 상기 열 노출 시간들을 선택하는 단계;
    한 행씩 순서대로 행들을 읽는 단계;
    라인 메모리(line memory) 내에 선택된 수의 라인들을 버퍼링하는 단계;
    감소된 수평 해상도 및 연장된 명암비를 갖는 결합된 라인 데이터를 생성하기 위하여, 각 라인에 대하여, 적어도 두 개의 상이한 노출 시간들을 갖는 동일한 색상 필터 유형의 인접한 픽셀들의 세트들로부터의 데이터를 결합하는 단계; 및
    상기 결합된 라인 데이터 상에서 디모자이크(de-mosaicing)를 수행하는 단계를 포함하되,
    상기 픽셀들은 동일한 노출 시간을 갖고, 라인 데이터는 결합되지 않는 최대 해상도 모드를 지원하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 라인 메모리는 3-라인 디모자이크를 지원하도록 크기가 결정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 CFA 패턴은 개별적 행 내에서 두 개의 픽셀들마다 그 이후에 동일한 색상 필터 유형이 반복되고, 상기 주기적 순서는 각 색상 필터 유형에 대한 긴 노출 시간 픽셀들 및 짧은 노출 시간 픽셀들의 주기적 순서가 존재하도록 선택되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 데이터를 결합하는 단계는 각 세트 내의 픽셀들의 기여의 가중 비율을 사용하여 수행되되, 상기 가중은 해상도와 신호대잡음 비율 기준의 결합에 근거하여 선택되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 라인 메모리는 3-라인 디모자이크를 지원하도록 크기가 결정되고, 양선형 보간이 상기 결합된 라인 데이터 상에서 수행되는 것을 특징으로 하는 방법.
  6. 삭제
  7. 행들로부터 한 줄씩 읽기를 지원하는 행 및 열의 형태로 배열된 감광 픽셀들을 갖되, 각 픽셀은 CFA 패턴에 따라 CFA 필터에 더 할당되는 이미지 센서 내에서 고명암비를 달성하는 방법에 있어서,
    픽셀들의 각 개별적 열에 대하여, 상기 개별적 열 내의 모든 픽셀들에 대한 공통적인 노출 시간을 열 노출 시간으로서 선택하는 단계;
    각 개별적 행 내에서 특정한 필터 유형의 픽셀들이 픽셀 노출 시간들의 주기적 순서를 가지도록 선택된 순서에 따라 수평 차원을 따라서 변하도록 상기 열 노출 시간들을 선택하는 단계;
    한 행씩 순서대로 행들을 읽는 단계;
    3-라인 디모자이크를 지원하도록 크기가 결정된 라인 메모리 내에 라인들을 버퍼링하는 단계;
    단지 유효 라인 폭의 절반 및 연장된 명암비를 갖는 결합된 라인 데이터를 생성하기 위하여, 각 라인에 대하여, 동일한 필터 유형을 갖지만 적어도 두 개의 상이한 노출 시간들을 갖는 인접한 픽셀들의 세트들로부터의 데이터를 결합하는 단계; 및
    상기 결합된 라인 데이터 상에서 색상 보간을 수행하여 각 픽셀 위치에서 색상 값들을 결정하는 단계를 포함하되,
    최대 해상도 모드를 지원하는 단계를 더 포함하며, 상기 최대 해상도 모드에서는 상기 픽셀들이 동일한 노출 시간을 갖고, 라인 데이터가 결합되지 않는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 CFA 패턴은 개별적 행 내에서 두 개의 픽셀들마다 동일한 색상 필터 유형이 반복되고, 상기 주기적 순서는 각 색상 필터 유형에 대한 긴 노출 시간 픽셀들 및 짧은 노출 시간 픽셀들의 주기적 순서가 존재하도록 선택되는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 데이터를 결합하는 단계는 각 세트 내의 픽셀들의 기여의 가중 비율을 사용하여 수행되되, 상기 가중은 해상도와 신호대잡음 비율 기준의 결합에 근거하여 선택되는 것을 특징으로 하는 방법.
  10. 제7항에 있어서, 상기 색상 보간은, 양선형 보간이 상기 결합된 라인 데이터 상에서 수행되는 것을 포함하는 것을 특징으로 하는 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 이미지 센싱 시스템에 있어서,
    행들 및 열들로 구성된 감광 픽셀들의 어레이(여기서, 각 픽셀은 CFA 필터에 할당된다); 및
    개별적 열 내에서 모든 픽셀들에 대한 공통적인 노출 시간을 선택하고, 주기적 순서에 따라 수평 차원을 따라서 상기 열 노출 시간들을 변화시킴에 의해 고명암비 동작 모드를 지원하도록 구성된 컨트롤 블록(control block) 및 어드레스 디코더(address decoder)를 포함하되,
    상기 순서는, 픽셀들의 각 개별적 행 내에서 특정한 필터 유형의 픽셀들의 각 세트가 픽셀 노출 시간들의 대응되는 주기적 순서를 가지고, 개별적 행들이 한 줄씩 순서대로 읽히도록 선택되며,
    상기 이미지 센싱 시스템은 최대 해상도 모드를 지원하고, 상기 최대 해상도 모드에서는 상기 픽셀들이 동일한 노출 시간을 갖고, 라인 데이터가 결합되지 않는 것을 특징으로 하는 이미지 센싱 시스템.
  16. 제15항에 있어서, 상기 이미지 센싱 시스템은, 픽셀 어레이로부터 라인 데이터를 받는 3-라인 이미지 버퍼 및 버퍼링된 라인 데이터를 처리하는 이미지 프로세서를 더 포함하는 것을 특징으로 하는 이미지 센싱 시스템.
  17. 제16항에 있어서, 상기 버퍼링된 라인 데이터의 각 라인에 대하여, 상기 이미지 프로세서는, 유효 라인 폭의 절반 및 연장된 명암비를 가지는 결합된 라인 데이터를 생성하기 위하여, 동일한 필터 유형을 갖지만 적어도 두 개의 상이한 노출 시간들을 갖는 인접한 픽셀들의 세트들로부터의 원시 픽셀 데이터를 결합하되, 상기 이미지 프로세서는 상기 결합된 라인 데이터 상에 색상 보간을 수행하는 것을 특징으로 하는 이미지 센싱 시스템.
  18. 제15항에 있어서, 상기 어레이 내의 개별적 픽셀들은, 선택된 수의 열들 이후에 반복되는 각 행에 대해 특정된 색상 순서를 갖는 CFA 패턴에 의해 특정한 색상들에 각각 할당되는 것을 특징으로 하는 이미지 센싱 시스템.
  19. 제17항에 있어서, 상기 픽셀들의 각각은 CFA 패턴에 따라 상기 CFA에 할당되며, 상기 CFA 패턴은 개별적 행 내에서 두 개의 픽셀들마다 동일한 색상 필터 유형이 반복되고, 상기 주기적 순서는 각 색상 필터 유형에 대한 긴 노출 시간 픽셀들 및 짧은 노출 시간 픽셀들의 주기적 순서가 존재하도록 선택되는 것을 특징으로 하는 이미지 센싱 시스템.
  20. 제17항에 있어서, 상기 결합된 라인 데이터는 각 세트 내의 픽셀들의 기여의 가중 비율을 사용하여 생성되되, 상기 가중은 해상도와 신호대잡음 비율 기준의 결합에 근거하여 선택되는 것을 특징으로 하는 이미지 센싱 시스템.
  21. 삭제
  22. 이미지 센싱 시스템에 있어서,
    행들 및 열들로 구성된 감광 픽셀들의 어레이(여기서, 각 픽셀은 CFA 필터에 할당된다);
    각 행들이 한 줄씩 순서대로 읽히며 각 픽셀에 대한 픽셀 노출 시간을 제어하는 컨트롤 블록 및 어드레스 디코더들; 및
    이미지 프로세서에 의해 처리되도록 상기 픽셀 어레이로부터 받은 라인 데이터를 버퍼링하는 3-라인 이미지 버퍼를 포함하되,
    상기 이미지 센싱 시스템은 각 픽셀이 동일한 디폴트 노출 시간을 갖고, 색상 보간이 상기 3-라인 이미지 버퍼 내의 라인 데이터 상에서 수행되는 제1동작 모드를 가지며,
    상기 이미지 센싱 시스템은 고명암비 동작 모드를 더 포함하여, 상기 고명암비 동작 모드에서는 상기 컨트롤 블록이 개별적 열 내에서 모든 픽셀들에 대한 공통적인 노출 시간을 열 노출 시간으로서 선택하고, 픽셀들의 각 개별적 행 내에서 특정한 필터 유형의 픽셀들의 각 세트가 픽셀 노출 시간들의 주기적 순서를 가지도록 선택된 순서에 따라 수평 차원을 따라서 열 노출 시간들을 변화시키며, 상기 이미지 프로세서는, 유효 라인 폭의 절반 및 연장된 명암비를 갖는 결합된 라인 데이터를 생성하기 위해, 상기 3-라인 메모리 내의 버퍼링된 픽셀 데이터의 각 라인에 대해, 동일한 필터 유형을 갖지만 적어도 두 개의 상이한 노출 시간들을 갖는 인접한 픽셀들의 세트들로부터의 원시 픽셀 데이터를 결합하며, 상기 이미지 프로세서는 상기 결합된 라인 데이터 상에서 색상 보간을 수행하여 각 픽셀 위치에서 색상 값들을 결정하고,
    상기 이미지 센싱 시스템은 최대 해상도 모드를 지원하며, 상기 최대 해상도 모드에서는 상기 픽셀들이 동일한 노출 시간을 갖고 라인 데이터가 결합되지 않는 것을 특징으로 하는 이미지 센싱 시스템.
  23. 제22항에 있어서, 상기 픽셀들의 각각은 CFA 패턴에 따라 상기 CFA에 할당되며, 상기 CFA 패턴은 개별적 행 내에서 두 개의 픽셀들마다 동일한 색상 필터 유형이 반복되고, 상기 주기적 순서는 각 색상 필터 유형에 대한 긴 노출 시간 픽셀들 및 짧은 노출 시간 픽셀들의 주기적 순서가 존재하도록 선택되는 것을 특징으로 하는 이미지 센싱 시스템.
  24. 제22항에 있어서, 상기 결합된 라인 데이터는 각 세트 내의 픽셀들의 기여의 가중 비율을 사용하여 생성되되, 상기 가중은 해상도와 신호대잡음 비율 기준의 결합에 근거하여 선택되는 것을 특징으로 하는 이미지 센싱 시스템.
  25. 삭제
KR1020107009042A 2007-10-26 2008-10-20 색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서 KR101317272B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/925,608 2007-10-26
US11/925,608 US7777804B2 (en) 2007-10-26 2007-10-26 High dynamic range sensor with reduced line memory for color interpolation
PCT/US2008/080532 WO2009055344A2 (en) 2007-10-26 2008-10-20 High dynamic range image sensor with reduced line memory for color interpolation

Publications (2)

Publication Number Publication Date
KR20100086987A KR20100086987A (ko) 2010-08-02
KR101317272B1 true KR101317272B1 (ko) 2013-10-14

Family

ID=40580335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009042A KR101317272B1 (ko) 2007-10-26 2008-10-20 색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서

Country Status (6)

Country Link
US (1) US7777804B2 (ko)
EP (1) EP2208341A4 (ko)
KR (1) KR101317272B1 (ko)
CN (1) CN101919238B (ko)
TW (1) TWI392375B (ko)
WO (1) WO2009055344A2 (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
SE532553C2 (sv) * 2008-01-24 2010-02-23 Mikael Lindstrand Metod och anordning för erhållande av högdynamisk, spektral-, spatial- och vinkelupplöst radiansinformation
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
JP2013504940A (ja) * 2009-09-10 2013-02-07 コントラスト オプティカル デザイン アンド エンジニアリング，インク． 全ビーム画像スプリッタシステム
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8456557B2 (en) * 2011-01-31 2013-06-04 SK Hynix Inc. Dynamic range extension for CMOS image sensors for mobile applications
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
TWI491252B (zh) * 2011-02-25 2015-07-01 Omnivision Tech Inc 影像感測器及用以對影像感測器所產生之影像進行向下取樣之方法
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013026722A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US20130113967A1 (en) * 2011-11-04 2013-05-09 Honeywell International Inc. Doing Business As (D.B.A.) Honeywell Scanning & Mobility Apparatus comprising image sensor array having global shutter shared by a plurality of pixels
JP2013143730A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
WO2013119706A1 (en) * 2012-02-06 2013-08-15 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP5612001B2 (ja) * 2012-02-24 2014-10-22 株式会社東芝 画像処理装置及び固体撮像装置
CN103369253B (zh) * 2012-03-26 2017-02-08 江苏思特威电子科技有限公司 成像装置及成像方法
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9338372B2 (en) * 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
KR101488074B1 (ko) 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
CN103152531B (zh) * 2013-02-27 2014-03-12 天津大学 用于抗辐射cmos图像传感器的有源像素结构
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
KR101992933B1 (ko) 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9118851B2 (en) * 2013-11-21 2015-08-25 Omnivision Technologies, Inc. High dynamic range image sensor read out architecture
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
US9380229B2 (en) 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
KR102184714B1 (ko) 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP6299544B2 (ja) * 2014-09-24 2018-03-28 株式会社Ｊｖｃケンウッド 固体撮像装置
US9967500B2 (en) * 2014-09-29 2018-05-08 Samsung Electronics Co., Ltd. Systems and methods of selective output for reducing power
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106162131B (zh) * 2015-04-28 2018-08-28 深圳市易瞳科技有限公司 一种实时图像处理方法
CN104902191B (zh) * 2015-05-25 2018-06-15 联想(北京)有限公司 一种像素阵列的处理方法、图像感光装置及电子设备
US9654699B2 (en) * 2015-07-02 2017-05-16 Omnivision Technologies, Inc. High dynamic range imaging with reduced frame buffer
CN105376562B (zh) * 2015-10-16 2017-09-22 凌云光技术集团有限责任公司 一种彩色线阵相机的空间校正方法及系统
CN106296614B (zh) * 2016-08-17 2019-12-13 北京集创北方科技股份有限公司 图像处理装置及图像处理方法
GB2554663B (en) * 2016-09-30 2022-02-23 Apical Ltd Method of video generation
CN106412407B (zh) * 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN116349239A (zh) * 2020-11-24 2023-06-27 Oppo广东移动通信有限公司 彩色成像系统
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN116405784B (zh) * 2023-06-08 2023-09-05 合肥埃科光电科技股份有限公司 一种线扫描相机多重曝光方法、装置及扫描设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141075A1 (en) * 2003-01-22 2004-07-22 Xiangchen Xu Image sensor having dual automatic exposure control
KR20050001821A (ko) * 2003-06-26 2005-01-07 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
KR20070071633A (ko) * 2005-12-30 2007-07-04 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873442B1 (en) 2000-11-07 2005-03-29 Eastman Kodak Company Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image sensing device
JP4460751B2 (ja) 2000-11-24 2010-05-12 オリンパス株式会社 撮像素子および撮像装置
JP2004064165A (ja) 2002-07-25 2004-02-26 Hitachi Ltd 撮像装置および撮像方法
US7446812B2 (en) 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP4689620B2 (ja) 2004-11-02 2011-05-25 パナソニック株式会社 イメージセンサ
US7554588B2 (en) 2005-02-01 2009-06-30 TransChip Israel, Ltd. Dual exposure for image sensor
US7911518B2 (en) 2005-02-01 2011-03-22 Samsung Electronics Co., Ltd. Variable exposure for color image sensor
US7570810B2 (en) 2005-02-24 2009-08-04 Seiko Epson Corporation Method and apparatus applying digital image filtering to color filter array data
TWI260919B (en) * 2005-03-29 2006-08-21 Nat Univ Chung Cheng Circuit device capable of increasing dynamic range of CMOS image sensor and method thereof
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
US7728896B2 (en) * 2005-07-12 2010-06-01 Micron Technology, Inc. Dual conversion gain gate and capacitor and HDR combination
US7829832B2 (en) 2005-08-30 2010-11-09 Aptina Imaging Corporation Method for operating a pixel cell using multiple pulses to a transistor transfer gate
US7825966B2 (en) * 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141075A1 (en) * 2003-01-22 2004-07-22 Xiangchen Xu Image sensor having dual automatic exposure control
KR20050001821A (ko) * 2003-06-26 2005-01-07 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
KR20070071633A (ko) * 2005-12-30 2007-07-04 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법

Also Published As

Publication number Publication date
US20090109306A1 (en) 2009-04-30
CN101919238A (zh) 2010-12-15
WO2009055344A3 (en) 2009-09-24
TW200926836A (en) 2009-06-16
TWI392375B (zh) 2013-04-01
CN101919238B (zh) 2012-07-04
EP2208341A4 (en) 2011-03-30
KR20100086987A (ko) 2010-08-02
EP2208341A2 (en) 2010-07-21
US7777804B2 (en) 2010-08-17
WO2009055344A2 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
KR101317272B1 (ko) 색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서
US8310577B1 (en) Method and apparatus for color compensation
US7133073B1 (en) Method and apparatus for color interpolation
US8164665B2 (en) Method and apparatus for controlling pixel sensor elements
KR101159014B1 (ko) ｘ-ｙ 어드레싱 가능한 이미지 센서, 이를 포함하는 카메라 및 ｘ-ｙ 어드레싱 가능한 이미지 센서의 동작 방법
US8023018B2 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
JP5085140B2 (ja) 固体撮像装置
CN100534153C (zh) 图像传感器
JP4764036B2 (ja) アクティブピクセルセンサアレイで、ピクセルの相関性二重サブサンプリングを行う方法及び回路
US20100328479A1 (en) Electronic camera
JP4372955B2 (ja) 固体撮像装置および信号処理方法
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
US7760959B2 (en) Imaging apparatus and imaging system
US7457486B2 (en) Imaging device
US7697049B1 (en) Better SNR ratio for downsized images using interlaced mode
JP4349310B2 (ja) 固体撮像素子の駆動方法、固体撮像素子および撮像装置
JP2005012692A (ja) 画像信号処理装置
US20070164387A1 (en) Imaging system for correcting dark level with high accuracy
US6900838B1 (en) Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US6980244B1 (en) Solid state image pickup device, driving method thereof and camera
JP3123415B2 (ja) 単板カラー固体撮像装置
WO2001013649A1 (en) Method and apparatus for color interpolation
JP2004350319A (ja) 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体
US7990437B2 (en) Color correction in CMOS image sensor
KR20240089613A (ko) 높은 동적 범위 이미징을 위한 동적 픽셀 단위 다중-이득 판독

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 7