KR20140066684A - 투명 필터 픽셀을 구비한 이미징 시스템 - Google Patents

투명 필터 픽셀을 구비한 이미징 시스템 Download PDF

Info

Publication number
KR20140066684A
KR20140066684A KR1020140059151A KR20140059151A KR20140066684A KR 20140066684 A KR20140066684 A KR 20140066684A KR 1020140059151 A KR1020140059151 A KR 1020140059151A KR 20140059151 A KR20140059151 A KR 20140059151A KR 20140066684 A KR20140066684 A KR 20140066684A
Authority
KR
South Korea
Prior art keywords
image signals
image
signals
red
color
Prior art date
Application number
KR1020140059151A
Other languages
English (en)
Other versions
KR101490653B1 (ko
Inventor
마르코 물리나
브라이언 킬란
Original Assignee
앱티나 이미징 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 앱티나 이미징 코포레이션 filed Critical 앱티나 이미징 코포레이션
Publication of KR20140066684A publication Critical patent/KR20140066684A/ko
Application granted granted Critical
Publication of KR101490653B1 publication Critical patent/KR101490653B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 센서는 적색 이미지 신호들을 생성하는 하나의 적색 이미지 픽셀, 청색 이미지 신호들을 생성하는 하나의 청색 이미지 픽셀, 및 백색 이미지 신호들을 생성하는 두 개의 투명 이미지 센서 픽셀을 각각 갖는 컬러 필터 유닛 셀들 내에 배열된 이미지 센서 픽셀들의 어레이를 가질 수 있다. 이미지 센서는 컬러 정정 매트릭스를 이미지 신호들에 적용할 때 잡음 증폭을 감소시키는 이미지 신호들 내의 잡음 상관을 증가시키기 위해, 적색, 청색 및 백색 이미지 신호들에 필터링 동작들을 수행하는 처리 회로에 연결될 수 있다. 처리 회로는 백색 이미지 신호로부터 녹색 이미지 신호를 추출할 수 있다. 처리 회로는 적색, 청색, 백색 및 녹색 이미지 신호의 선형 결합을 포함하는 스케일링 값을 계산할 수 있다. 스케일링 값은 개선된 이미지 품질을 갖는 정정된 이미지 신호들을 생성하기 위해 적색, 청색 및 녹색 이미지 신호들에 적용될 수 있다.

Description

투명 필터 픽셀을 구비한 이미징 시스템{IMAGING SYSTEMS WITH CLEAR FILTER PIXELS}
본원은 2013년 1월 8일자로 출원된 미국특허출원 13/736,768호 및 2012년 3월 19일자로 출원된 미국 특허 가출원 제61/612,819호의 이익을 주장하며, 이들 출원은 그 전체가 본 명세서에 참고로 포함된다.
본 발명은 이미징 장치에 관한 것으로서, 구체적으로는 투명 이미지 픽셀을 갖는 이미징 장치에 관한 것이다.
이미지 센서들은 일반적으로 셀룰러 전화, 카메라 및 컴퓨터와 같은 전자 장치들에서 이미지를 캡처하는 데 사용된다. 통상적인 배열에서, 전자 장치는 픽셀 행들 및 픽셀 열들로 배열된 이미지 픽셀들의 어레이를 갖는다. 일반적으로 회로가 이미지 픽셀들로부터 이미지 신호들을 판독하기 위해 각각의 픽셀 열에 결합된다.
전통적인 이미징 시스템들은 베이어(Bayer) 모자이크 패턴으로 배열된 적색, 녹색 및 청색(RGB) 이미지 픽셀들에 의해 가시광 스펙트럼을 샘플링하는 단일 이미지 센서를 사용한다. 베이어 모자이크 패턴은 2 x 2 이미지 픽셀들의 반복 셀로 구성되며, 이 셀에는 2개의 녹색 픽셀이 서로 대각선으로 대향하고, 나머지 코너들은 적색 및 청색이다. 그러나, 베이어 패턴은 이미지 픽셀들로부터 캡처되는 이미지 신호들에서의 신호 대 잡음비(SNR)의 한계로 인해 작은 이미지 픽셀 크기를 통한 이미지 센서들의 추가적인 소형화를 쉽게 가능하게 하지 않는다.
이미지 품질을 제한하는 SNR을 개선하기 위한 한 가지 수단은 낮은 광 레벨들에서의 광 노출을 증가시킴으로써 이용 가능 이미지 신호를 증가시키는 것이다. 한 가지 전통적인 방법은 감산 필터들을 사용하는 것이며, 감산 필터들에서는 예를 들어 적색, 녹색 및 청색 이미지 픽셀들이 시안, 마젠타 및 황색 이미지 픽셀들로 대체된다. 그러나, 이러한 신호들은 대부분의 전통적인 이미지 디스플레이들을 구동할 수 있는 RGB 또는 소정의 등가 출력 이미지 신호 컬러들로 변환되어야 한다. 이러한 변환은 일반적으로 컬러 정정 매트릭스(CCM)을 이용하는 캡처된 이미지 신호들의 수정을 필요로 하며, 이는 잡음을 증가시킬 수 있고, 따라서 노출 증가의 효과가 떨어진다.
따라서, 이미지 신호들을 캡처 및 처리하는 개량된 수단을 갖는 이미징 장치들을 제공할 수 있는 것이 바람직할 것이다.
이미징 신호들에 의해 생성되는 이미징 신호들 내의 잡음을 줄이기 위한 투명 이미지 픽셀 필터들을 갖는 이미지 센서들 및 이미지 처리 기술들(예로서, 색도 디모자이킹, 포인트 필터 적용 등)을 예시하는 다양한 실시예들이 설명된다.
이미지 센서는 적색 광에 응답하여 적색 이미지 신호들을 생성하는 적색 이미지 픽셀들, 청색 광에 응답하여 청색 이미지 신호들을 생성하는 청색 이미지 픽셀들, 및 적어도 적색 광, 녹색 광 및 청색 광(예를 들어, 백색 광)에 응답하여 백색 이미지 신호들을 생성하는 투명 이미지 센서 픽셀들을 포함하는 이미지 센서 픽셀들의 어레이를 구비할 수 있다. 이미지 픽셀들은 다수의 상이한 컬러의 이미지 픽셀을 각자 포함하는 픽셀 단위 셀들의 어레이 내에 배열될 수 있다. 이미지 센서는 적색, 청색 및 백색 이미지 신호들과 관련된 잡음 상관성을 증가시키기 위해 적색, 청색 및 백색 이미지 신호들에 대해 필터링 작업을 수행하는 처리 회로에 결합될 수 있다. 처리 회로는 예를 들어 이미지 픽셀 어레이 내의 적어도 25개의 이미지 픽셀에 의해 생성되는 이미지 신호들의 가중 합(weighted sum)을 생성함으로써 소정의 이미지 픽셀에 대해 필터링 작업을 수행할 수 있다. 가중 합은 조정 가능한 가중치들(예를 들어, 관찰된 이미지 특징들에 기초하여 조정되는 가중치들)을 포함할 수 있다. 가중 합은 다수의 시간 프레임 동안에 또는 다수의 이미지 센서로부터 캡처된 이미지 신호들에 대해 생성될 수 있다. 처리 회로는 다수의 시간 프레임 동안 가중 합을 생성함으로써 이미지 픽셀들의 커널의 크기를 줄이면서 이미지 신호 잡음을 성공적으로 줄일 수 있다.
이 예는 예시적일 뿐이다. 일반적으로, 이미지 센서 픽셀들의 어레이는 임의의 원하는 컬러들의 이미지 센서 픽셀들(예를 들어, 임의 컬러의 광에 응답하는 이미지 센서 픽셀들)을 포함할 수 있다. 예를 들어, 이미지 센서 픽셀들의 어레이는 제1 컬러의 광에 응답하는 이미지 센서 픽셀들의 제1 그룹, 제2 컬러의 광에 응답하는 이미지 센서 픽셀들의 제2 그룹, 및 제3 컬러의 광에 응답하는 이미지 센서 픽셀들의 제3 그룹(예를 들어, 적색, 청색 및 백색 광)을 포함할 수 있다. 제1 이미지 신호들은 제1 스펙트럼 응답 레벨(예를 들어, 이미지 센서 픽셀들의 제1 그룹에 의해 수신되는 광의 주파수의 함수인 통합 신호 전력 레벨)을 가질 수 있고, 제2 이미지 신호들은 제2 스펙트럼 응답 레벨(예를 들어, 이미지 센서 픽셀들의 제2 그룹에 의해 수신되는 광의 주파수의 함수인 통합 신호 전력 레벨)을 가질 수 있고, 제3 이미지 신호들은 제3 스펙트럼 응답 레벨(예를 들어, 이미지 센서 픽셀들의 제3 그룹에 의해 수신되는 광의 주파수의 함수인 통합 신호 전력 레벨)을 가질 수 있다. 제3 이미지 신호들은 제1 및 제2 스펙트럼 응답 레벨들보다 큰 스펙트럼 응답 레벨을 가질 수 있다(예를 들어, 제3 스펙트럼 응답 레벨은 제1 및 제2 스펙트럼 응답 레벨들의 합의 75%보다 클 수 있다). 즉, 제3 이미지 신호들은 제1 및 제2 이미지 신호들보다 넓은 범위의 광 주파수들에 응답하여 캡처될 수 있다.
처리 회로는 원할 경우에 제1, 제2 및 제3 이미지 신호들을 이용하여 추정 휘도 값(예를 들어, LCH 공간에서의 휘도 값을 생성할 수 있다. 처리 회로는 제1, 제2 및 제3 이미지 신호들을 유도된 삼색 공간(예로서, 선형 sRGB 공간, CIE 공간, XYZ 공간, 베이어 공간 등)으로 변환함으로써 변환된 제1, 제2 및 제3 이미지 신호들을 생성할 수 있다. 처리 회로는 예를 들어 제1, 제2 및 제3 이미지 신호들의 선형 조합을 수행함으로써 변환된 제1, 제2 및 제3 이미지 신호들을 생성할 수 있다. 처리 회로는 변환된 제1, 제2 및 제3 이미지 신호들을 조합함으로써 유도된 휘도 값(예로서, LCH 공간에서의 휘도 값)을 생성할 수 있다. 처리 회로는 유도된 휘도 값과 추정 휘도 값을 비교하고, 유도된 휘도 값이 추정 휘도 값에 접근하도록(예를 들어, 유도된 휘도 값이 추정 휘도 값과 충분히 일치하도록) 변환된 제1, 제2 및 제3 이미지 신호들을 수정할 수 있다.
처리 회로는 원할 경우에 처리 회로를 가진 이미지 센서를 이용하여 제1 컬러의 제1 이미지 신호들, 제1 컬러와 다른 제2 컬러의 제2 이미지 신호들 및 백색 이미지 신호들을 포함하는 이미지 데이터를 처리할 수 있다. 처리 회로는 백색 이미지 신호들을 이용하여 제1 및 제2 컬러들과 다른 제3 컬러의 제3 이미지 신호들을 생성할 수 있다. 처리 회로는 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 조합하여 유도된 휘도 값을 형성할 수 있으며, 제1 컬러 이미지 신호들, 제2 컬러 이미지 신호들 및 백색 이미지 신호들로부터 추정 휘도 값을 계산할 수 있다. 처리 회로는 백색 이미지 신호들과 제1, 제2 및 제3 이미지 신호들을 조합함으로써 유도된 휘도 값을 형성할 수 있다.
처리 회로는 유도된 휘도 값 및 추정 휘도 값을 이용하여 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 수정할 수 있다. 예를 들어, 처리 회로는 유도된 휘도 값 및 추정 휘도 값에 기초하여 스케일링 값을 계산할 수 있으며, 생성된 스케일링 값과 제1, 제2 및 제3 이미지 신호들을 곱할 수 있다. 처리 회로는 가중 팩터들을 이용하여 제1, 제2 및 제3 이미지 신호들의 선형 조합을 계산함으로써 유도된 휘도 값을 형성하기 위해 제1, 제2 및 제3 이미지 신호들을 조합할 수 있다.
처리 회로는 원할 경우에 캡처된 이미지 신호들에 대해 유한 임펄스 응답(IIR) 필터링을 수행할 수 있다. 처리 회로는 이미지 픽셀들(190)에 의해 캡처되는 이미지 신호들의 특성들에 기초하여 캡처된 이미지 신호들에 적용되는 필터들(예로서, 도 6-8과 관련하여 설명되는 바와 같은 필터들)을 조정함으로써 IIR(infinite impulse response) 필터링을 수행할 수 있다. IIR 필터링의 수행은 처리 회로가 캡처된 이미지 신호들을 처리하는 효율을 향상시킬 수 있다.
처리 회로는 원할 경우에 적색, 청색 및 백색 이미지 신호들에 대해 화이트 밸런스 동작들(white balance operations)을 수행할 수 있다. 처리 회로는 컬러 정정 매트릭스를 백색 이미지 신호에 적용하여, 각각의 백색 이미지 신호로부터 녹색 이미지 신호와 같은 상이한 컬러의 이미지 신호들을 추출할 수 있다. 처리 회로는 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들을 조합하여 (예를 들어, 적색, 청색, 녹색 및 백색 이미지 신호들의 선형 조합 또는 가중 합을 계산함으로써) 휘도 값을 형성할 수 있다. 처리 회로는 백색 이미지 신호들을 휘도 값으로 나누어 스케일링 값을 생성할 수 있다. 처리 회로는 적색, 녹색 및 청색 이미지 신호들과 스케일링 값을 곱함으로써 적색, 녹색 및 청색 이미지 신호들을 수정할 수 있다. 스케일링 값은 적색, 녹색 및 청색 이미지 신호들에 대해 작용할 때 포인트 필터로서 작용할 수 있다. 원할 경우에, 임의의 컬러 이미지 픽셀들이 백색 이미지 픽셀들과 연계하여 사용될 수 있다. 원할 경우에, 처리 회로는 다수의 이미지 픽셀 어레이, 다수의 이미지 센서 상의 이미지 픽셀 어레이들로부터의 이미지 신호들 및/또는 다수의 시간 프레임 동안 캡처된 이미지 신호들에 대해 이러한 작업들을 수행할 수 있다.
투명 이미지 픽셀들 및 관련 필터링 기술들은 중앙 처리 유닛, 메모리, 입출력 회로, 및 픽셀 어레이, 픽셀 어레이 상에 광을 포커싱하기 위한 렌즈 및 데이터 변환 회로를 더 포함하는 이미징 장치도 포함하는 시스템에서 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른, 이미징 시스템을 구비하는 예시적인 전자 장치의 도면이다.
도 2는 본 발명의 일 실시예에 따른, 이미지 센서 내의 열 라인들을 따르는 이미지 픽셀들로부터 픽셀 데이터를 판독하기 위한 예시적인 픽셀 어레이 및 관련 제어 회로의 도면이다.
도 3-5는 본 발명의 실시예들에 따른, 투명 필터 픽셀들을 구비하는 예시적인 픽셀 단위 셀들의 도면들이다.
도 6은 본 발명의 일 실시예에 따른, 필터링된 픽셀 어레이로부터 수신되는 이미지 신호들을 처리하기 위해 이미징 시스템 내의 처리 회로에 의해 수행될 수 있는 예시적인 단계들의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 필터링된 픽셀 어레이로부터 수신되는 이미지 신호들을 디모자이킹 및 필터링하기 위해 이미징 시스템 내의 처리 회로에 의해 수행될 수 있는 예시적인 단계들의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른, 필터링된 픽셀 어레이로부터 수신되는 이미지 신호들에 포인트 필터를 적용하기 위해 이미징 시스템 내의 처리 회로에 의해 수행될 수 있는 예시적인 단계들의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른, 도 1의 실시예를 이용하는 프로세서 시스템의 블록도이다.
디지털 카메라, 컴퓨터, 셀룰러 전화 및 기타 전자 장치들과 같은 전자 장치들은 이미지를 캡처하기 위해 입사광을 수집하는 이미지 센서들을 포함한다. 이미지 센서들은 이미지 픽셀들의 어레이를 포함할 수 있다. 이미지 센서들 내의 픽셀들은 입사광을 이미지 신호들로 변환하는 광 다이오드와 같은 감광 요소들을 포함할 수 있다. 이미지 센서들은 임의 수의 픽셀(예를 들어, 수백 또는 수천 개 이상)을 가질 수 있다. 통상적인 이미지 센서는 예를 들어 수십만 또는 수백만 개의 픽셀(예로서, 메가픽셀)을 가질 수 있다. 이미지 센서들은 이미지 픽셀들을 동작시키기 위한 회로와 같은 제어 회로 및 감광 요소들에 의해 생성되는 전하에 대응하는 이미지 신호들을 판독하기 위한 판독 회로를 포함할 수 있다. 판독 회로는 장치 내의 전력 소비를 줄이고 픽셀 판독 작업을 개선하도록 인에이블 또는 디스에이블될 수 있는 픽셀들의 각각의 열에 결합되는 선택 가능 판독 회로를 포함할 수 있다.
도 1은 이미지를 캡처하기 위해 이미지 센서를 사용하는 예시적인 전자 장치의 도면이다. 도 1의 전자 장치(10)는 카메라, 셀룰러 전화, 비디오 카메라, 또는 디지털 이미지 데이터를 캡처하는 다른 이미징 장치와 같은 휴대용 전자 장치일 수 있다. 카메라 모듈(12)은 입사광을 디지털 이미지 데이터로 변환하는 데 사용될 수 있다. 카메라 모듈(12)은 하나 이상의 렌즈(14) 및 하나 이상의 대응하는 이미지 센서(16)를 포함할 수 있다. 이미지 캡처 작업 동안, 장면으로부터의 광이 렌즈(14)에 의해 이미지 센서(16) 상에 포커싱될 수 있다. 이미지 센서(16)는 아날로그 픽셀 데이터를 처리 회로(18)에 제공될 대응하는 디지털 이미지 데이터로 변환하기 위한 회로를 포함할 수 있다. 원할 경우, 카메라 모듈(12)은 렌즈들(14)의 어레이 및 대응하는 이미지 센서들(16)의 어레이를 구비할 수 있다.
처리 회로(18)는 하나 이상의 집적 회로(예를 들어, 이미지 처리 회로, 마이크로프로세서, 랜덤 액세스 메모리 및 비휘발성 메모리와 같은 저장 장치 등)를 포함할 수 있으며, 카메라 모듈(12)과 별개이고 그리고/또는 카메라 모듈(12)의 일부를 형성하는 컴포넌트들(예를 들어, 이미지 센서들(16)을 포함하는 집적 회로 또는 이미지 센서들(16)과 관련된 모듈(12) 내의 집적 회로의 일부를 형성하는 회로들)을 사용하여 구현될 수 있다. 카메라 모듈(12)에 의해 캡처된 이미지 데이터는 처리 회로(18)를 이용하여 처리 및 저장될 수 있다. 처리된 이미지 데이터는 원할 경우에 처리 회로(18)에 결합된 유선 및/또는 무선 통신 경로들을 이용하여 외부 장비(예로서, 컴퓨터 또는 다른 장치)에 제공될 수 있다.
도 2에 도시된 바와 같이, 이미지 센서(16)는 이미지 센서 픽셀들(190)(본 명세서에서 때로는 이미지 픽셀들(190)로서 참조됨)을 포함하는 픽셀 어레이(200), 및 제어 및 처리 회로(122)를 포함할 수 있다. 어레이(200)는 예를 들어 이미지 센서 픽셀들(190)의 수백 또는 수천 개의 행 및 열을 포함할 수 있다. 제어 회로(122)는 행 디코더 회로(124) 및 열 디코더 회로(126)에 결합될 수 있다. 행 디코더 회로(124)는 제어 회로(122)로부터 행 어드레스들을 수신하고, 리셋, 행 선택, 전달 및 판독 제어 신호들과 같은 대응하는 행 제어 신호들을 제어 경로들(128)을 통해 픽셀들(190)에 제공할 수 있다. 열 라인들(40)과 같은 하나 이상의 도전성 라인이 어레이(200) 내의 픽셀들(190)의 각각의 열에 결합될 수 있다. 열 라인들(40)은 픽셀들(190)로부터 이미지 신호들을 판독하고 픽셀들(190)에 바이어스 신호들(예로서, 바이어스 전류 또는 바이어스 전압)을 제공하는 데 사용될 수 있다. 픽셀 판독 작업 동안, 어레이(200) 내의 픽셀 행이 행 디코더 회로(124)를 이용하여 선택될 수 있고, 그 픽셀 행 내의 이미지 픽셀들(190)과 관련된 이미지 데이터가 열 라인들(40)을 따라 판독될 수 있다.
열 디코더 회로(126)는 샘플 및 유지 회로, 증폭기 회로, 아날로그/디지털 변환 회로, 바이어스 회로, 열 메모리, 열 회로를 선택적으로 인에이블 또는 디스에이블하기 위한 래치 회로, 또는 픽셀들(190)을 동작시키고 픽셀들(190)로부터 이미지 신호들을 판독하기 위해 어레이(200) 내의 픽셀들의 하나 이상의 열에 결합되는 다른 회로를 포함할 수 있다. 열 디코더 회로(126)는 열 라인들(40)의 선택된 서브세트 상의 열 회로에 전력을 선택적으로 제공하는 데 사용될 수 있다. 열 디코더 회로(126)(예를 들어, 샘플 및 유지 회로 및 아날로그/디지털 변환 회로)와 관련된 신호 처리 회로와 같은 판독 회로는 선택된 픽셀 열들 내의 픽셀들에 대해 경로(210)를 통해 디지털 이미지 데이터를 프로세서(18)(도 1)에 제공하는 데 사용될 수 있다.
통상적으로, 이미지 픽셀들(190)과 같은 이미지 센서 픽셀들은 단일 이미지 센서가 적색, 녹색 및 청색(RGB) 광을 베이어 모자이크 패턴으로 배열된 대응하는 적색, 녹색 및 청색 이미지 센서 픽셀들을 이용하여 샘플링할 수 있게 하는 컬러 필터 어레이를 구비한다. 베이어 모자이크 패턴은 2 x 2 이미지 픽셀들의 반복 셀로 구성되며, 이 셀에는 2개의 녹색 이미지 픽셀이 서로 대각선으로 대향하고, 청색 이미지 픽셀에 대각선으로 대향하는 적색 이미지 픽셀에 인접한다. 그러나, 베이어 모자이크 패턴과 관련된 신호 대 잡음비(SNR)의 한계는 이미지 센서(16)와 같은 이미지 센서들의 크기를 줄이는 것을 어렵게 한다. 따라서, 이미지를 캡처하는 개량된 수단을 갖는 이미지 센서를 제공할 수 있는 것이 바람직할 수 있다.
때때로 본 명세서에서 일례로서 설명되는 하나의 적절한 예에서, 베이어 패턴 내의 녹색 픽셀들은 도 3에 도시된 바와 같이 투명 이미지 픽셀들로 대체된다. 도 3에 도시된 바와 같이, 이미지 픽셀들(190)의 단위 셀(192)은, 서로 대각선으로 대향하고, 청색(B) 이미지 픽셀에 대각선으로 대향하는 적색(R) 이미지 픽셀에 인접하는 2개의 투명 이미지 픽셀(본 명세서에서 때로는 백색(W) 이미지 픽셀로서 참조됨)로 형성될 수 있다. 단위 셀(192) 내의 백색 이미지 픽셀들(190)은 가시광 스펙트럼에 걸치는 광을 투과시키는 가시광 투명 컬러 필터를 갖도록 형성될 수 있다(예를 들어, 백색 픽셀들(190)은 백색광을 캡처할 수 있다). 투명 이미지 픽셀들(190)은 투명 컬러 필터를 형성하는 재료 및/또는 이미지 센서 픽셀을 형성하는 재료(예를 들어, 실리콘)에 의해 정의되는 자연 감도를 가질 수 있다. 투명 이미지 픽셀들(190)의 감도는 원할 경우에 안료와 같은 광 흡수제의 사용을 통해 더 양호한 컬러 재생 및/또는 잡음 특성들을 위해 조정될 수 있다. 단위 셀(192)은 이미지 픽셀 어레이(200)에 걸쳐 반복되어, 적색, 백색 및 청색 이미지 픽셀들(190)의 모자이크를 형성할 수 있다. 이러한 방식으로, 적색 이미지 픽셀들은 적색 광에 응답하여 적색 이미지 신호들을 생성할 수 있고, 청색 이미지 픽셀들은 청색 광에 응답하여 청색 이미지 신호들을 생성할 수 있고, 백색 이미지 픽셀들은 백색 광에 응답하여 백색 이미지 신호들을 생성할 수 있다. 백색 이미지 신호들은 적색, 청색 및/또는 녹색 광의 임의의 적절한 조합에 응답하여 백색 이미지 픽셀들에 의해 생성될 수도 있다.
도 3의 단위 셀(192)은 예시적일 뿐이다. 원할 경우에, 단위 셀(192) 내의 대각선으로 대향하는 백색 이미지 픽셀들에 인접하게 임의의 컬러의 이미지 픽셀들이 형성될 수 있다. 예를 들어, 단위 셀(194)은, 도 4에 도시된 바와 같이, 서로 대각선으로 대향하고, 녹색(G) 이미지 픽셀에 대각선으로 대향하는 적색 이미지 픽셀에 인접하게 형성된 2개의 백색 이미지 픽셀(190)에 의해 정의될 수 있다. 또 다른 적절한 배열에서, 단위 셀(196)은, 도 5의 예에 도시된 바와 같이, 서로 대각선으로 대향하고, 녹색 이미지 픽셀에 대각선으로 대향하는 청색 이미지 픽셀에 인접하게 형성된 2개의 백색 이미지 픽셀(190)에 의해 정의될 수 있다.
백색 이미지 픽셀들(W)은 녹색 이미지 픽셀들과 같은 더 좁은 컬러 필터(예로서, 가시광 스펙트럼의 서브세트에 걸치는 광을 투과시키는 필터)를 갖는 이미지 픽셀들에 비해 추가적인 광을 수집함으로써 이미지 픽셀들(190)에 의해 캡처되는 이미지 신호들의 신호 대 잡음비(SNR)를 향상시키는 것을 도울 수 있다. 백색 이미지 픽셀들(W)은 특히, SNR이 때때로 이미지들의 이미지 품질을 제한할 수 있는 낮은 광 조건들에서 SNR을 개선할 수 있다. (예로서, 도 3-5에 도시된 바와 같은) 백색 이미지 픽셀들을 갖는 이미지 픽셀 어레이(200)로부터 수집되는 이미지 신호들은 대부분의 이미지 디스플레이들(예로서, 디스플레이 스크린, 모니터 등)을 구동하는 데 사용되는 회로 및 소프트웨어에 맞도록 적색, 녹색 및 청색 이미지 신호들로 변환될 수 있다. 이러한 변환은 일반적으로 컬러 정정 매트릭스(CCM)를 이용하는 캡처된 이미지 신호들의 수정을 수반한다. 주의하지 않을 경우, 컬러 정정 작업은 바람직하지 않게 잡음을 증가시킬 수 있다.
하나의 적절한 배열에서, 수집된 이미지 신호들에 CCM을 적용하기 전에 강한 잡음 제거(strong de-noising)(예를 들어, 색도 잡음 제거)를 구현함으로써 CCM에 의해 생성되는 잡음을 줄일 수 있다. 색도 잡음 제거는 이미지 픽셀들(190)에 의해 수집된 이미지 신호들에 색도 필터를 적용함으로써 처리 회로(18)(도 1)에 의해 수행될 수 있다. 색도 필터는 상이한 컬러의 이미지 픽셀들로부터의 이미지 신호들(예로서, 적색, 백색 및 청색 이미지 신호들) 사이의 잡음 상관성을 증가시키는 역할을 한다. 상이한 컬러의 이미지 픽셀들로부터의 이미지 신호들 사이의 잡음 상관성의 증가는 CCM에 의한 잡음 증가를 줄여 최종 이미지 품질을 개선할 수 있다. 다른 배열에서, CCM에 의해 증가되는 잡음은 소위 "포인트 필터"를 캡처된 이미지 신호들에 적용함으로써 상쇄될 수 있다. 포인트 필터는 CCM을 이용하여 생성되는 적색, 녹색 및 청색 이미지 신호들의 품질을 향상시키기 위해 고충실도 백색 이미지 신호들을 이용할 수 있다. 원할 경우에, 이미지 센서(16)는 색도 잡음 제거 및 포인트 필터 양자를 구현하여, CCM에 의한 잡음 증가를 줄임으로써, 최종 이미지의 향상된 휘도 성능을 생성할 수 있다.
도 6은 픽셀 어레이(200)(예를 들어, 녹색 이미지 픽셀들이 없는 픽셀 어레이)와 같은 필터링된 픽셀 어레이에 의해 수집되는 이미지 신호들을 처리하기 위해 도 1의 처리 회로(18)와 같은 처리 회로에 의해 수행될 수 있는 예시적인 단계들의 흐름도를 나타낸다. 도 6의 단계들은 예를 들어 도 3-5에 도시된 것들과 같은 백색 이미지 픽셀들을 갖는 단위 셀들을 이용하여 캡처되는 이미지 신호들에서 잡음을 제거하기 위해 처리 회로(18)에 의해 수행될 수 있다.
단계 100에서, 이미지 센서(16)가 장면으로부터 이미지 신호들을 캡처할 수 있다. 이미지 센서(16)에 의해 캡처된 이미지 신호들은 백색 픽셀들을 이용하여 수집된 광에 응답하여 생성된 백색 이미지 신호들을 포함할 수 있다. 원할 경우에, 이미지 신호들은 사용되는 이미지 픽셀들의 구성에 따라 적색 이미지 신호들, 청색 이미지 신호들 또는 녹색 이미지 신호들 중 하나 이상을 포함할 수도 있다(예를 들어, 도 3의 단위 셀(192)이 사용되는 경우, 이미지 신호들은 적색, 백색 및 청색 이미지 신호들을 포함할 수 있고, 도 4의 단위 셀(194)이 사용되는 경우, 이미지 신호들은 적색, 백색 및 녹색 이미지 신호들을 포함할 수 있고, 기타 등등이다). 도 6의 예에서는, 적색(R'), 백색(W') 및 청색(B') 이미지 신호들이 캡처될 수 있다. 적색 이미지 신호들은 제1 스펙트럼 응답 값(적색 이미지 센서 픽셀들에 의해 수신되는 광의 주파수의 함수인 통합 신호 전력 레벨)을 가질 수 있고, 청색 이미지 신호들은 제2 스펙트럼 응답 값을 가질 수 있고, 백색 이미지 신호들은 예를 들어 제1 및 제2 스펙트럼 응답 값들의 합의 75%보다 큰 제3 스펙트럼 응답 값을 가질 수 있다(예를 들어, 백색 이미지 신호들은 표준 CIE 광 E를 갖는 가시광 스펙트럼에 걸쳐 동일한 에너지 방사기에 대해 광범위한 감도를 갖는다). 이미지 신호들은 각각의 이미지 픽셀(190)에 의해 캡처되는 광에 대응하는 이미지 값들을 가질 수 있다(예를 들어, 적색 이미지 신호들은 적색 이미지 값을 포함할 수 있고, 청색 이미지 신호들은 청색 이미지 값을 포함할 수 있고, 기타 등등이다). 캡처된 이미지 신호들은 이미지 처리를 위해 처리 회로(18)로 전송될 수 있다.
단계 102에서, 캡처된 이미지 신호들에 대해 화이트 밸런스 동작들이 수행될 수 있다. 도 6의 예에서는, 화이트 밸런스된 적색 이미지 신호(R), 화이트 밸런스된 백색 이미지 신호(W) 및 화이트 밸런스된 청색 이미지 신호(B)가 생성될 수 있다.
단계 104에서, 처리 회로(18)는 화이트 밸런스된 이미지 신호들을 디모자이킹하고 이들에 대해 색도 필터를 적용하여, 화이트 밸런스된 이미지 신호들로부터 적색, 백색 및 청색 이미지 데이터를 추출할 수 있다. 색도 필터는 화이트 밸런스된 이미지 신호들로부터 색도 잡음을 제거하기 위해 적용될 수 있다. 처리 회로(18)는 예를 들어 이미지 신호들을 디모자이킹하고, 색도 필터를 동시에, 순차적으로 또는 산재 방식으로 적용할 수 있다. 색도 필터를 적용하고 이미지 신호들을 디모자이킹하는 이러한 프로세스는 때때로 본 명세서에서 "색도 디모자이킹"으로서 참조될 수 있다. 색도 필터는 각각의 컬러의 이미지 신호들 사이의 잡음 상관성을 증가시킬 수 있다(예를 들어, 적색, 백색 및 청색 채널들에서의 잡음 변동들은 상관 방식으로 함께 증가 또는 감소할 수 있다). 예를 들어, 처리 회로(18)는 적색, 백색 및 녹색 이미지 신호들 사이의 상관 잡음을 적색, 백색 및 녹색 이미지 신호들과 관련된 모든 잡음의 70% 이상으로 높게 증가시킬 수 있다.
잡음 상관성을 증가시킴으로써, 처리 회로(18)는 CCM이 이미지 신호들에 적용될 때 생성되는 잡음 증가의 양을 줄일 수 있다. 이미지 신호들의 색도 디모자이킹은 누락된 컬러 이미지 신호들(예로서, 이미지 픽셀들에 의해 생성되지 않은 컬러의 이미지 신호들)이 이용 가능한 컬러 이미지 신호들로부터 결정되게 할 수 있다. 이 예에서, 녹색 이미지 신호들은 수집된 이미지 신호들로부터 누락될 수 있는데, 그 이유는 단위 셀(192)(도 3)에서 녹색 컬러 필터가 사용되지 않기 때문이다. 백색, 적색 및 청색 이미지 신호들을 이용하여(예로서, 감산을 수행함으로써) 녹색 이미지 신호가 결정될 수 있다. 일반적으로, 주요 추가 컬러들(예로서, 적색, 녹색 및 청색) 중 임의의 컬러가 이용 가능한 컬러 이미지 신호들을 이용하여 결정될 수 있다. 디스플레이 시스템들은 종종 적색, 녹색 및 청색 픽셀들을 이용하여 이미지들을 표시하므로, 이미지 픽셀 어레이(200)에서 사용되는 컬러 필터들과 무관하게 적색, 녹색 및 청색 이미지 신호들을 생성하는 것이 바람직할 수 있다.
단계(106)에서, 처리 회로(18)는 적색 이미지 데이터, 백색 이미지 데이터 및 청색 이미지 데이터에 컬러 정정 매트릭스(CCM)를 적용할 수 있다. CCM은 예를 들어, 백색 이미지 데이터로부터 녹색 이미지 데이터를 추출하여 적색, 녹색 및 청색 이미지 데이터를 생성할 수 있다. 예를 들어, CCM은 이미지 데이터를 표준 적색, 표준 녹색 및 표준 청색 이미지 데이터(때로는, 집합적으로 선형 sRGB 이미지 데이터로 지칭되거나 간단하게 sRGB 이미지 데이터로 지칭됨)로 변환할 수 있다. 다른 적절한 구성에서, CCM은 적색 및/또는 청색 이미지 데이터로부터 녹색 이미지 데이터를 추출할 수 있다. 원한다면, 감마 정정 프로세스들이 선형 sRGB 이미지 데이터에 수행될 수 있다. 감마 정정 후, sRGB 이미지 데이터는 이미지 디스플레이 디바이스를 위한 디스플레이에 이용될 수 있다. 일부 경우들에서는, CCM을 적색, 백색 및 청색 이미지 데이터에 적용함으로써 발생되는 잡음 증폭을 더 완화하기 위해, (예를 들어, sRGB 이미지 데이터에 포인트 필터를 적용함으로써) 추가의 잡음 감소를 제공하는 것이 바람직할 수 있다. 처리 회로(18)는 선택적인 단계(108) 동안 sRGB 이미지 데이터의 추가의 처리를 위해 백색 이미지 데이터를 보존할 수 있다.
선택적인 단계(108)에서, 처리 회로(18)는 이미지 데이터(예를 들어, 적색, 백색 및 청색 이미지 데이터에 CCM을 적용한 후에 생성된 sRGB 이미지 데이터)에 포인트 필터를 적용할 수 있다. 포인트 필터는 sRGB 이미지 데이터에 작용하여 정정된 sRGB 데이터를 생성할 수 있다. 포인트 필터는 적색, 백색 및 청색 이미지 데이터에 CCM을 적용함으로써 유발되는 잡음 증폭을 더 감소시키는 역할을 할 수 있다. 디스플레이 시스템을 이용하여 디스플레이될 때, 정정된 sRGB 데이터는 그에 의해 포인트 필터를 적용하기 전의 sRGB 데이터에 비교할 때, 더 나은 이미지 품질(예를 들어, 더 나은 휘도 성능)을 제공한다.
도 7은 이미지 픽셀 어레이(200)로부터 수신된 이미지 신호들을 디모자이크하고 필터링하기 위해 처리 회로(18)에 의해 수행될 수 있는 예시적인 단계들의 흐름도를 보여준다. 도 7의 단계들은 예를 들어 적색, 백색 및 청색 이미지 데이터 내에 충분한 잡음 상관을 발생시키도록 이미지 픽셀들(190)에 의해 수집된 적색, 백색 및 청색 이미지 신호들에 색도 디모자이크(chroma demosaicking)를 수행하기 위해 처리 회로(18)에 의해 수행될 수 있다. 도 7의 단계들은 예를 들어 도 6의 단계(104)의 일부로서 수행될 수 있다.
단계(110)에서, 처리 회로(18)는 백색 이미지 데이터(예를 들어, 각각의 이미지 픽셀에 대한 백색 이미지 값)를 생성하기 위해 백색 이미지 신호를 디모자이크할 수 있다. 다른 적절한 구성에서, 이용가능한 이미지 픽셀들(190)의 조합에 대해 백색 이미지 값들이 생성될 수 있다. 백색 이미지 값들은 적색, 백색 및 청색 이미지 신호들 간의 잡음 상관을 증가시키기 위해 적색 및 청색 이미지 신호들을 이용하여 차이 값들을 계산하기 위해 이용될 수 있다.
단계(112)에서, 처리 회로(18)는 각각의 픽셀에 대해 적색 이미지 값들로부터 백색 이미지 값들을 감산함으로써 적색 차이 값들을 생성할 수 있다. 처리 회로(18)는 백색 이미지 값들을 청색 이미지 값들로부터 감산함으로써 청색 차이 값들을 생성할 수 있다. 적색 차이 값들은 예를 들어 각각의 적색 이미지 픽셀에 대해 계산될 수 있고, 청색 차이 값들은 이미지 픽셀 어레이(200)의 각각의 청색 이미지 픽셀에 대해 계산될 수 있다.
단계(114)에서, 처리 회로(18)는 색도 필터를 이용하여 적색 차이 값들과 청색 차이 값들을 필터링할 수 있다. 색도 필터는 예를 들어 이미지 픽셀들(190)의 커널(kernel)에 걸쳐 계산되는 차이 값들의 가중 평균(예를 들어, 단계(112)를 수행함으로써 계산된 일군의 차이 값들의 가중 평균)을 수행함으로써 적색 및 청색 차이 값들에 적용될 수 있다. 이미지 픽셀들의 커널은 이미지 픽셀 어레이(200) 내에서 색도 필터링이 수행되고 있는 이미지 픽셀들의 서브셋으로서 정의될 수 있다(예를 들어, 커널은 이미지 픽셀 어레이(200) 내의 이미지 픽셀들의 일부 또는 전부를 포함할 수 있다). 예를 들어, 5 픽셀 × 5 픽셀 커널이 이용되는 경우, 색도 필터링을 수행할 때, 차이 값들의 가중 평균은 이미지 픽셀 어레이(200) 내의 이미지 픽셀들(190)의 5 픽셀 × 5 픽셀 서브셋에 대해 산출된다(예를 들어, 차이 값들의 가중 합은 주어진 이미지 픽셀(190)에 대하여, 이미지 픽셀 어레이(200) 내의 25개의 주변 이미지 픽셀들에서의 차이 값들을 이용하여 계산될 수 있다). 일반적으로, 임의의 원하는 크기의 커널이 이용될 수 있다.
단계(116)에서, 백색 이미지 값들이 색도 필터링된 적색 차이 값들 및 색도 필터링된 청색 차이 값들에 가산되어, 색도 필터링된 적색 이미지 값들 및 색도 필터링된 청색 이미지 값들을 각각 생성할 수 있다.
단계(118)에서, 처리 회로(18)는 색도 필터링된 적색 이미지 값들 및 색도 필터링된 청색 이미지 값들을 디모자이크하여, 상관 잡음이 증가된 적색 이미지 데이터 및 청색 이미지 데이터(예를 들어, 색도 디모자이크된 적색 및 청색 이미지 데이터)를 생성할 수 있다. 다음으로, 디모자이크된 백색 이미지 데이터 및 색도 디모자이크된 적색 및 청색 이미지 데이터가 CCM을 이용하여 조작되어, 위에서 도 6의 단계(106)와 관련하여 설명된 것과 같은 표준 적색, 표준 녹색 및 표준 청색(sRGB) 이미지 데이터를 생성할 수 있다.
도 7은 예시에 지나지 않는다. 원한다면, 처리 회로(18)는 적색 및 청색 차이 값들을 생성하기 전에 색도 필터링된 적색 및 청색 이미지 값들을 디모자이크할 수 있다 (예를 들어, 처리 회로(18)는 단계(112) 전에 단계(118)를 수행할 수 있다).
차이 값들의 색도 필터링이 이미지 픽셀들(190)의 충분히 큰 커널에 걸쳐 수행되는 경우, 색도 필터링 후에(예를 들어, 단계(114)를 수행한 후에), 적색 및 청색 이미지 신호들로부터의 최소한의 잡음이 적색 및 청색 차이 값들에 남아있을 수 있다. 예를 들어, 커널이 15 픽셀 × 15 픽셀 이상의 크기를 갖는 경우, 색도 필터링은 적색 및 청색 색도 필터링된 차이 값들 내의 잡음을 무시가능한 수준으로 감소시킬 수 있다. 원한다면, 이미지 픽셀들(190)의 커널은 복수의 이미지 픽셀 어레이(200) 내에 위치된 이미지 픽셀들, 복수의 이미지 센서(16) 내에 위치된 이미지 픽셀들, 및/또는 (예를 들어, 시간적 잡음 제어(temporal denoising)를 허용하기 위해) 복수의 시간 프레임 동안 이용되는 이미지 픽셀들을 포함할 수 있다. 백색 이미지 값들이 색도 필터링된 차이 값들에 가산될 때, 백색 이미지 값들 내의 잡음이 차이 값들 내의 잡음보다 우세할 수 있다. 이러한 방식으로, 단계(116)에서 생성된 적색 및 청색 이미지 데이터 내의 잡음은 백색 이미지 데이터 내의 잡음과 실질적으로 동일할 수 있다. 이에 의해, 적색 및 청색 이미지 데이터 내의 잡음은 고도로 상관될 수 있고, 그에 의해 CCM에 의한 잡음 증폭이 감소된다. 이러한 프로세스는 이미지 픽셀 어레이(200)에 대해 베이어 패턴(Bayer pattern)이 이용될 때보다 CCM에 의한 잡음 증폭을 덜 발생시킬 수 있다.
단계(106)에서, CCM이 적색, 백색 및 청색 이미지 데이터에 작용하여 선형 sRGB 데이터를 생성할 수 있다(도 6). 예를 들어, CCM은 백색 이미지 데이터로부터 정보를 추출하여 표준 녹색 데이터를 생성할 수 있다. 백색 이미지 데이터(예를 들어, 단계(104)에서 생성된 디모자이크된 백색 이미지 데이터)는 CCM을 이용하여 이미지 데이터를 조작한 후에 보존될 수 있다. sRGB 이미지 데이터는 LCH(luminance-chroma-hue) 공간과 같은 다른 3차원 공간 내에 표현될 수 있다. LCH 공간에서, 휘도 채널(L)은 이미지 센서(16)에 의해 캡처된 이미지의 밝기에 관련될 수 있고, 색도 채널(C)은 이미지의 컬러 포화도에 관련될 수 있고, 색조(hue) 채널은 이미지의 특정 컬러(예를 들어, 적색, 자주색, 황색, 녹색 등)에 관련될 수 있다. 디스플레이된 이미지 내의 선명도 및 잡음의 인식(perception)은 휘도 채널 내에서의 잡음 및 신호 변동에 의해 영향을 받을 수 있다. sRGB 데이터를 LHC 데이터로 변환하고, 휘도 채널 내의 휘도 값을 백색 이미지 값(백색 이미지 신호의 넓은 스펙트럼으로 인해 전체 이미지 밝기와 잘 상관됨)으로 대체하고, LHC 데이터를 다시 sRGB 데이터로 변환함으로써, 이미지 데이터 내의 SNR이 개선될 수 있다. 이러한 방식으로, 휘도 채널 내에서 CCM에 의해 유발되는 잡음 증폭이 억제될 수 있는데, 여기에서의 잡음은 디스플레이된 이미지를 볼 때 관찰자에게 특히 눈에 띄는 것이다.
위에서 도 6의 선택적인 단계(108)에 관련하여 설명된 바와 같이, 포인트 필터는 백색 이미지 데이터를 이용하여 정정된 sRGB 데이터를 생성하기 위해 선형 sRGB 데이터에 적용될 수 있다. 포인트 필터는 인접 이미지 픽셀들(190)로부터의 정보 없이 단일 이미지 픽셀(190)에 작용할 수 있는 반면에, 색도 디모자이크는 단일 이미지 픽셀(190)에서 이미지 신호들에 적용될 때 복수의 이미지 픽셀들(예를 들어, 이미지 픽셀들의 커널)로부터의 이미지 신호들(예를 들어, 차이 값들)을 필요로 할 수 있다. 예를 들어, 포인트 필터는 각각의 이미지 픽셀에 대한 표준 적색 값, 표준 녹색 값 및 표준 청색 값에 작용할 수 있다. sRGB 데이터에 포인트 필터 동작들을 수행하기 위해, 처리 회로(18)는 적색 이미지 데이터, 백색 이미지 데이터 및 청색 이미지 데이터(예를 들어, CCM을 적용하기 전의 이미지 데이터)를 이용하여 원본(미가공) 휘도 신호를 계산할 수 있다. 원본 휘도 신호는 백색 이미지 데이터, 적색 이미지 데이터 및 청색 이미지 데이터의 선형 결합(가중 합)일 수 있다. 원한다면, 백색 이미지 데이터는 선형 결합 내의 적색 및 청색 이미지 데이터보다 더 무겁게 가중될 수 있다. 처리 회로(18)는 (예를 들어, 이미지 데이터에 CCM을 적용한 후에) 표준 적색, 표준 녹색 및 표준 청색 이미지 데이터의 선형 결합인 암시적(implied) 휘도 신호를 계산할 수 있다. 원한다면, 암시적 휘도 신호를 계산하기 위해 이용되는 선형 결합 내의 가중치들은 원본 휘도 신호를 계산하기 위해 이용되는 가중치들과 실질적으로 유사할 수 있다. 포인트 필터의 "강도"(예를 들어, 포인트 필터가 sRGB 데이터를 변환하거나 정정하는 정도)를 수정하기 위해 가중치들이 조절될 수 있다.
처리 회로(18)는 가장 단순한 경우에서는, 원본 휘도 신호를 암시적 휘도 신호로 나누는 것에 의해 스케일링 값(예를 들어, 컬러 정정된 이미지 값들에 적용될 스케일링 계수)을 생성할 수 있다. 원한다면, 스케일링 계수는 분자 및 분모를 포함할 수 있다. 스케일링 값의 분자 및/또는 분모는 원본 휘도 신호 및 암시적 휘도 신호의 가중 합을 포함할 수 있다. 스케일링 값은 포인트 필터의 강도를 조절하기 위해 변경될 수 있는 조절가능한 가중 매개변수들을 포함할 수 있다(예를 들어, 가중 매개변수들은 포인트 필터의 강도를 제로로부터 최대 강도까지 조절하기 위해 계속하여 변경될 수 있다. 포인트 필터를 sRGB 데이터(예를 들어, 표준 적색, 녹색 및 청색 이미지 데이터)에 적용하기 위해, 처리 회로(18)는 sRGB 데이터에 스케일링 값을 곱함으로써 정정된 sRGB 데이터를 생성할 수 있다. 예를 들어, 처리 회로(18)는 표준 적색 이미지 데이터에 스케일링 값을 곱하고, 표준 녹색 이미지 데이터에 스케일링 값을 곱하는 등을 할 수 있다. 원한다면, 정정된 sRGB 데이터는 포인트 필터를 적용하기 전으로부터(예를 들어, 정정된 sRGB 데이터를 LCH 공간으로 변환할 때) 대략적으로 보존된 색조 및 색도 채널들을 가질 수 있다. 정정된 sRGB 데이터는 백색 이미지 신호들의 계승된 충실도(inherited fidelity)로 인해, 개선된 잡음 및/또는 선명도를 가질 수 있다.
가장 단순한 경우에서, 원본 휘도 신호는 백색 이미지 데이터에 의해 근사될 수 있다. 도 8은 (예로서) CCM을 적색, 백색 및 청색 이미지 데이터에 적용한 후에 (가장 단순한 경우에서) sRGB 데이터에 포인트 필터를 적용하기 위해 처리 회로(18)에 의해 수행될 수 있는 예시적인 단계들의 흐름도를 보여준다. 처리 회로(18)는 예를 들어 이미지 픽셀 어레이(200) 내의 각각의 이미지 픽셀(190)에 대한 sRGB 데이터에 포인트 필터를 적용할 수 있다. 도 8의 단계들은 예를 들어 도 6의 단계(108)의 일부분으로서 수행될 수 있다.
단계(130)에서, 처리 회로(18)는 (예를 들어, CCM을 적용한 후에) 적색, 녹색, 청색 이미지 데이터를 결합함으로써, 주어진 이미지 픽셀(190)에 대한 암시적 휘도 값(예를 들어, LCH 공간 내의 휘도 값)을 생성할 수 있다. 암시적 휘도 값은 예를 들어 적색, 녹색 및 청색 이미지 데이터의 선형 결합으로서 계산될 수 있다.
단계(132)에서, 처리 회로(18)는 백색 이미지 값들을 암시적 휘도 값으로 나누는 것에 의해 스케일링 값을 생성할 수 있다. 원한다면, 백색 이미지 값들을 암시적 휘도 값과 백색 이미지 값의 가중 합으로 나누는 것에 의해 스케일링 계수가 생성될 수 있다. 스케일링 계수는 포인트 필터의 강도를 조절하기 위해 변경될 수 있는 조절가능한 가중 매개변수들을 포함할 수 있다(예를 들어, 가중 매개변수들은 포인트 필터의 강도를 제로로부터 최대 강도로 조절하기 위해 연속적으로 변경될 수 있다). 스케일링 값은 예를 들어 sRGB 데이터에 작용하는 연산자일 수 있다.
단계(134)에서, 처리 회로(18)는 sRGB 데이터에 스케일링 값을 곱함으로써 정정된 sRGB 데이터(예를 들어, 정정된 표준 적색, 녹색 및 청색 이미지 데이터)를 생성할 수 있다. 예를 들어, 처리 회로(18)는 표준 적색 이미지 데이터에 스케일링 값을 곱하고, 표준 녹색 이미지 데이터에 스케일링 값을 곱하는 등을 할 수 있다. 원한다면, 정정된 sRGB 데이터는 이미지 디스플레이에 제공될 수 있다. 정정된 sRGB 데이터는 포인트 필터를 적용하기 전의 sRGB 데이터와 비교할 때, 개선된 잡음 및/또는 선명도를 가질 수 있다.
도 6 내지 8의 예들은 예시적인 것에 지나지 않는다. 컬러 이미지 신호들을 얻기 위해, 임의의 원하는 컬러 필터들이 도 3-5에 도시된 백색 컬러 필터들과 함께 이용될 수 있다. 원하는 컬러 필터들의 임의의 조합(예를 들어, 적색 필터, 녹색 필터, 시안 필터, 적외선 필터, 자외선 필터, 청색 필터, 황색 필터, 마젠타 필터, 자주색 필터 등의 임의의 조합)이 이용될 수 있다. 원한다면, 포인트 필터 동작을 수행하기 위해 임의의 다른 적절한 3차원 공간이 이용될 수 있다.
원한다면, 이미지를 캡처하기 위해, 임의의 개수의 이미지 센서(16) 상에 형성된 임의의 개수의 이미지 픽셀 어레이(200)가 이용될 수 있다. 이용되는 각각의 이미지 픽셀 어레이는 예를 들어 상이한 컬러의 이미지 신호들을 위해 이용될 수 있다. 예를 들어, 제1 이미지 픽셀 어레이는 백색 이미지 신호들을 생성하기 위한 투명 필터들을 가질 수 있고, 제2 이미지 픽셀 어레이는 적색 이미지 신호들을 생성하기 위한 적색 필터들을 가질 수 있고, 제3 이미지 픽셀 어레이는 청색 이미지 신호들을 생성하기 위한 청색 필터를 가질 수 있다. 이들 어레이들 각각으로부터의 이미지 신호들은 포인트 필터를 이용하여 조작되고/거나 색도 디모자이크될 수 있다. 원한다면, 각각의 이미지 픽셀 어레이는 이미지 센서(16)와 같은 디바이스(10) 내의 상이한 이미지 센서 상에 형성될 수 있다(예를 들어, 복수의 이미지 센서(16)가 디바이스(10) 내에 형성될 수 있다). 그러한 실시예는 예를 들어 짧은 카메라 초점 길이 및 얇은 카메라 모듈을 허용할 수 있다.
도 9는 이미징 디바이스(2000)(예를 들어, 위에서 설명된 동작들을 위한 기술들 및 투명 컬러 필터들을 이용하는 도 1-8의 이미지 센서(16)와 같은 이미징 디바이스(2000))를 포함하는, 디지털 카메라와 같은 전형적인 프로세서 시스템(300)을 간략한 형태로 보여준다. 프로세서 시스템(300)은 이미지 디바이스(2000)를 포함할 수 있는 디지털 회로들을 갖는 시스템의 예시이다. 제한되는 것은 아니지만, 그러한 시스템은 컴퓨터 시스템, 스틸 또는 비디오 카메라 시스템, 스캐너, 머신 비전, 운송수단용 네비게이션, 비디오 폰, 감시 시스템, 자동 초점 시스템, 항성 추적기 시스템(star tracker system), 움직임 검출 시스템, 이미지 안정화 시스템, 및 이미징 디바이스를 이용하는 다른 시스템들을 포함할 수 있다.
프로세서 시스템(300)은 일반적으로 셔터 릴리즈 버튼(397)이 눌러진 때 디바이스(2000)의 픽셀 어레이(200) 상에 이미지를 집광시키기 위한 렌즈(396), 카메라 및 하나 이상의 이미지 플로우 기능을 제어하며 버스(393)를 통해 하나 이상의 입력/출력(I/O) 디바이스(391)와 통신하는 마이크로프로세서와 같은 중앙 처리 유닛(CPU)(395)을 포함한다. 이미징 디바이스(2000)도 버스(393)를 통해 CPU(395)와 통신한다. 시스템(300)은 또한 랜덤 액세스 메모리(RAM)(392)를 포함하고, 역시 버스(393)를 통해 CPU(395)와 통신하는 플래시 메모리와 같은 착탈가능 메모리(394)를 포함할 수 있다. 이미징 디바이스(2000)는 단일의 집적 회로 또는 상이한 칩 상에 메모리 저장소를 갖고서 또는 갖지 않고서 CPU와 결합될 수 있다. 버스(393)가 단일 버스로서 도시되어 있긴 하지만, 그것은 시스템 컴포넌트들을 상호접속하기 위해 이용되는 하나 이상의 버스 또는 브리지 또는 다른 통신 경로일 수 있다.
실시예에 따르면, 이미징 시스템으로서, 이미지 센서 픽셀들의 어레이를 갖는 이미지 센서 - 이미지 센서 픽셀들의 어레이는 적색 광에 응답하여 적색 이미지 신호들을 생성하도록 구성된 적색 이미지 센서 픽셀들, 청색 광에 응답하여 청색 이미지 신호들을 생성하도록 구성된 청색 이미지 센서 픽셀들, 및 적어도 적색 광, 녹색 광 및 청색 광에 응답하여 백색 이미지 신호들을 생성하도록 구성된 투명 이미지 센서 픽셀들을 포함함 -; 및 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하도록 구성된 처리 회로를 포함하는 이미징 시스템이 제공된다.
다른 실시예에 따르면, 처리 회로는 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 잡음 상관들을, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 모든 잡음의 70 퍼센트보다 크게 증가시키도록 구성된다.
다른 실시예에 따르면, 처리 회로는 주어진 컬러의 각각의 이미지 센서 픽셀에 대해, 적어도 25개의 이미지 센서 픽셀에 의해 생성된 이미지 신호들의 가중 합을 생성함으로써 필터링 동작들을 수행하도록 구성된다.
다른 실시예에 따르면, 처리 회로는 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 화이트 밸런스 동작들을 수행하도록 구성된다.
다른 실시예에 따르면, 처리 회로는 백색 이미지 신호에 컬러 정정 매트릭스를 적용하도록 구성되고, 컬러 정정 매트릭스는 각각의 백색 이미지 신호로부터 녹색 이미지 신호를 추출한다.
다른 실시예에 따르면, 이미지 센서는 이미지 센서 픽셀들의 추가 어레이를 더 포함한다.
다른 실시예에 따르면, 이미징 시스템은 이미지 센서 픽셀들의 적어도 하나의 어레이를 갖는 추가 이미지 센서를 더 포함한다.
실시예에 따르면, 처리 회로를 갖는 이미지 센서를 이용하여, 제1 컬러의 제1 이미지 신호들, 제1 컬러와는 다른 제2 컬러의 제2 이미지 신호들, 및 백색 이미지 신호들을 포함하는 이미지 데이터를 처리하는 방법으로서, 처리 회로로, 백색 이미지 신호들을 이용하여, 제1 컬러 및 제2 컬러와는 다른 제3 컬러의 제3 이미지 신호들을 생성하는 단계; 처리 회로로, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계; 처리 회로로, 제1 이미지 신호들, 제2 이미지 신호들 및 백색 이미지 신호들에 기초하여, 추정된 휘도 값을 계산하는 단계; 및 처리 회로로, 유도된 휘도 값 및 추정된 휘도 값을 이용하여 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 수정하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 방법은 처리 회로로, 유도된 휘도 값 및 추정된 휘도 값에 기초하여 스케일링 값을 계산하는 단계를 더 포함하고, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 수정하는 단계는 생성된 스케일링 값을 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에 곱하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계는 가중 계수들을 이용하여 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들의 선형 결합을 계산하는 단계를 더 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계는 백색 이미지 신호들을 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들과 결합하여, 유도된 휘도 값을 형성하는 단계를 더 포함한다.
다른 실시예에 따르면, 백색 이미지 신호들을 이용하여, 제3 컬러의 제3 이미지 신호들을 생성하는 단계는 컬러 정정 매트릭스를 이용하여 백색 이미지 신호들로부터 제3 이미지 신호들을 추출하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들은 적색 이미지 신호들을 포함하고, 제2 이미지 신호들은 청색 이미지 신호들을 포함하고, 제3 이미지 신호들은 녹색 이미지 신호들을 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들은 적색 이미지 신호들을 포함하고, 제2 이미지 신호들은 녹색 이미지 신호들을 포함하고, 제3 이미지 신호들은 청색 이미지 신호들을 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들은 청색 이미지 신호들을 포함하고, 제2 이미지 신호들은 녹색 이미지 신호들을 포함하고, 제3 이미지 신호들은 적색 이미지 신호들을 포함한다.
실시예에 따르면, 시스템으로서, 중앙 처리 유닛; 메모리; 입력-출력 회로망; 및 이미징 디바이스를 포함하고, 이미징 디바이스는, 픽셀 어레이; 픽셀 어레이 상에 이미지를 집광시키는 렌즈; 이미지 픽셀들의 어레이를 갖는 이미지 센서 - 이미지 픽셀들의 어레이는, 적색 광에 응답하여 적색 이미지 신호들을 생성하도록 구성된 적색 이미지 픽셀들, 청색 광에 응답하여 청색 이미지 신호들을 생성하도록 구성된 청색 이미지 픽셀들, 및 적어도 적색 광, 녹색 광 및 청색 광에 응답하여 백색 이미지 신호들을 생성하도록 구성된 투명 이미지 픽셀들을 포함함 -; 및 적어도 적색 이미지 신호들, 청색 이미지 신호들 및 녹색 이미지 신호들의 선형 결합에 대한 백색 이미지 신호들의 비율인 스케일링 값을 생성하고, 생성된 스케일링 값을 이용하여 적색 이미지 신호들, 청색 이미지 신호들 및 녹색 이미지 신호들을 수정하도록 구성된 처리 회로를 포함하는 시스템이 제공된다.
다른 실시예에 따르면, 이미지 픽셀들의 어레이는 적색 이미지 픽셀들 중 하나, 청색 이미지 픽셀들 중 하나 및 투명 이미지 픽셀들 중 둘을 각각 포함하는 복수의 픽셀 유닛 셀을 포함한다.
다른 실시예에 따르면, 처리 회로는 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 잡음 상관들을 증가시키기 위해, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 필터링 동작들을 수행하도록 더 구성된다.
다른 실시예에 따르면, 처리 회로는 백색 이미지 신호들과 적색 이미지 신호들 간의 차이 값들, 및 백색 이미지 신호들과 청색 이미지 신호들 간의 차이 값들을 생성하도록 더 구성된다.
다른 실시예에 따르면, 처리 회로는 생성된 차이 값들을 이용하여 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 필터링 동작들을 수행하도록 더 구성된다.
실시예에 따르면, 이미지 센서를 이용하여 이미지 신호들을 처리하는 방법으로서, 이미지 센서는 이미지 센서 픽셀들의 어레이 및 처리 회로를 포함하고, 이미지 센서 픽셀들은 적색 이미지 센서 픽셀들, 청색 이미지 센서 픽셀들 및 투명 이미지 센서 픽셀들을 포함하고, 방법은, 적색 이미지 센서 픽셀들로, 적색 광에 응답하여 적색 이미지 신호들을 생성하는 단계; 청색 이미지 센서 픽셀들로, 청색 광에 응답하여 청색 이미지 신호들을 생성하는 단계; 투명 이미지 센서 픽셀들로, 적어도 적색 광, 녹색 광 및 청색 광에 응답하여 백색 이미지 신호들을 생성하는 단계; 및 처리 회로로, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하는 단계를 포함한다.
다른 실시예에 따르면, 필터링 동작들을 수행하는 단계는, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 잡음 상관들을, 적색 이미지 신호들, 청색 이미지 신호들 및 백색 이미지 신호들에 연관된 모든 잡음의 70 퍼센트보다 크게 증가시키는 단계를 포함한다.
다른 실시예에 따르면, 필터링 동작들을 수행하는 단계는, 주어진 컬러의 각각의 이미지 센서 픽셀에 대하여 적어도 25개의 이미지 센서 픽셀에 의해 생성되는 이미지 신호들의 가중 합을 생성하는 단계를 포함한다.
실시예에 따르면, 이미지 센서 픽셀들의 어레이 및 처리 회로를 갖는 이미지 센서를 이용하여 이미지 신호들을 처리하는 방법으로서, 이미지 센서 픽셀들의 어레이는 제1 컬러의 광에 응답하는 제1 그룹의 이미지 센서 픽셀들, 제2 컬러의 광에 응답하는 제2 그룹의 이미지 센서 픽셀들, 및 제3 컬러의 광에 응답하는 제3 그룹의 이미지 센서 픽셀들을 포함하고, 방법은, 제1 그룹의 이미지 센서 픽셀들로, 제1 컬러의 광에 응답하여 제1 이미지 신호들을 생성하는 단계; 제2 그룹의 이미지 센서 픽셀들로, 제2 컬러의 광에 응답하여 제2 이미지 신호들을 생성하는 단계; 제3 그룹의 이미지 센서 픽셀들로, 적어도 제1 컬러 및 제2 컬러의 광에 응답하여 제3 이미지 신호들을 생성하는 단계; 및 처리 회로로, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들은 제1 스펙트럼 응답 레벨을 갖고, 제2 이미지 신호들은 제2 스펙트럼 응답 레벨을 갖고, 적어도 제1 컬러 및 제2 컬러의 광에 응답하여 제3 이미지 신호들을 생성하는 단계는, 제1 신호 응답 레벨 및 제2 신호 응답 레벨의 합의 75 퍼센트보다 큰 제3 스펙트럼 응답 레벨을 갖는 제3 이미지 신호들을 생성하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들을 생성하는 단계는 적색 광에 응답하여 적색 이미지 신호들을 생성하는 단계를 포함하고, 제2 이미지 신호들을 생성하는 단계는 청색 광에 응답하여 청색 이미지 신호들을 생성하는 단계를 포함하고, 제3 이미지 신호들을 생성하는 단계는 적어도 적색 광 및 청색 광에 응답하여 백색 이미지 신호들을 생성하는 단계를 포함한다.
다른 실시예에 따르면, 적색 이미지 신호들은 제1 스펙트럼 응답 레벨을 갖고, 청색 이미지 신호들은 제2 스펙트럼 응답 레벨을 갖고, 백색 이미지 신호들을 생성하는 단계는, 제1 및 제2 스펙트럼 응답 레벨의 합의 75 퍼센트보다 큰 제3 스펙트럼 응답 레벨을 갖는 백색 이미지 신호들을 생성하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들, 제2 이미지 신호들 및 백색 이미지 신호들에 필터링 동작들을 수행하는 단계는, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에 무한 임펄스 응답 필터를 수행하는 단계를 포함한다.
실시예에 따르면, 이미지 센서를 이용하여 이미지 신호들을 처리하는 방법으로서, 이미지 센서는 처리 회로, 제1 컬러의 광에 응답하여 제1 이미지 신호들을 생성하는 제1 그룹의 이미지 센서 픽셀들, 제2 컬러의 광에 응답하여 제2 이미지 신호들을 생성하는 제2 그룹의 이미지 센서 픽셀들, 및 제3 컬러의 광에 응답하여 제3 이미지 신호들을 생성하는 제3 그룹의 이미지 센서 픽셀들을 포함하고, 제1 이미지 신호들은 제1 스펙트럼 응답을 갖고, 제2 이미지 신호들은 제2 스펙트럼 응답을 갖고, 제3 이미지 신호들은 제1 및 제2 스펙트럼 응답보다 큰 제3 스펙트럼 응답을 가지며, 방법은, 처리 회로로, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들을 이용하여, 추정된 휘도 값을 생성하는 단계; 처리 회로로, 제1, 제2 및 제3 이미지 신호들을 유도된 삼색 공간으로 변환함으로써, 변환된 제1 이미지 신호들, 변환된 제2 이미지 신호들 및 변환된 제3 이미지 신호들을 생성하는 단계; 처리 회로로, 변환된 제1, 제2 및 제3 이미지 신호들을 결합함으로써, 유도된 휘도 값을 생성하는 단계; 및 처리 회로로, 유도된 휘도 값이 추정된 휘도 값에 근접하도록, 변환된 제1, 제2 및 제3 이미지 신호들을 수정하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 제1, 제2 및 제3 이미지 신호들을 유도된 삼색 공간으로 변환하는 단계는, 제1, 제2 및 제3 이미지 신호들을 표준 적색-녹색-청색 공간으로 변환하는 단계를 포함한다.
다른 실시예에 따르면, 변환된 제1, 제2 및 제3 이미지 신호들을 생성하는 단계는, 제1, 제2 및 제3 이미지 신호들의 선형 결합을 생성하는 단계를 포함한다.
다른 실시예에 따르면, 제1 이미지 신호들은 적색 광에 응답하여 제1 그룹의 이미지 센서 픽셀들에 의해 캡처된 적색 이미지 신호들을 포함하고, 제2 이미지 신호들은 청색 광에 응답하여 제2 그룹의 이미지 센서 픽셀들에 의해 캡처된 청색 이미지 신호들을 포함하고, 제3 이미지 센서 픽셀들은 적어도 청색 광 및 적색 광에 응답하여 제3 그룹의 이미지 센서 픽셀들에 의해 캡처된 백색 이미지 신호들을 포함하며, 제1, 제2 및 제3 이미지 신호들의 선형 결합을 생성하는 단계는, 적색, 청색 및 백색 이미지 신호들을 이용하여 선형 결합을 생성하는 단계를 포함한다.
실시예에 따르면, 이미징 시스템으로서, 이미지 센서 픽셀들의 어레이를 갖는 이미지 센서 - 이미지 센서 픽셀들의 어레이는 제1 컬러의 광에 응답하여 제1 이미지 신호들을 생성하도록 구성된 제1 그룹의 이미지 센서 픽셀들, 제2 컬러의 광에 응답하여 제2 이미지 신호들을 생성하도록 구성된 제2 그룹의 이미지 센서 픽셀들, 및 적어도 제1 및 제2 컬러의 광에 응답하여 제3 이미지 신호들을 생성하도록 구성된 제3 그룹의 이미지 센서 픽셀들을 포함함 - ; 및 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에, 제1 이미지 신호들, 제2 이미지 신호들 및 제3 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하도록 구성된 처리 회로를 포함하는 이미징 시스템이 제공된다.
다른 실시예에 따르면, 제1 이미지 신호들은 제1 스펙트럼 응답 레벨을 갖고, 제2 이미지 신호들은 제2 스펙트럼 응답 레벨을 갖고, 제3 이미지 신호들은 제1 신호 응답 레벨 및 제2 신호 응답 레벨의 합의 75 퍼센트보다 큰 제3 스펙트럼 응답 레벨을 갖는다.
다른 실시예에 따르면, 제1 그룹의 이미지 센서 픽셀들은 적색 광에 응답하여 적색 이미지 신호들을 생성하도록 구성된 적색 이미지 센서 픽셀들을 포함하고, 제2 그룹의 이미지 센서 픽셀들은 청색 광에 응답하여 청색 이미지 신호들을 생성하도록 구성된 청색 이미지 센서 픽셀들을 포함하고, 제3 그룹의 이미지 센서 픽셀들은 적어도 적색 광 및 청색 광에 응답하여 백색 이미지 신호들을 생성하도록 구성된 투명 이미지 센서 픽셀들을 포함한다.
다른 실시예에 따르면, 제1 그룹의 이미지 센서 픽셀들은 적색 광에 응답하여 적색 이미지 신호들을 생성하도록 구성된 적색 이미지 센서 픽셀들을 포함하고, 제2 그룹의 이미지 센서 픽셀들은 녹색 광에 응답하여 녹색 이미지 신호들을 생성하도록 구성된 녹색 이미지 센서 픽셀들을 포함하고, 제3 그룹의 이미지 센서 픽셀들은 적어도 적색 광 및 녹색 광에 응답하여 백색 이미지 신호들을 생성하도록 구성된 투명 이미지 센서 픽셀들을 포함한다.
상기의 내용은 다른 실시예들로도 구현될 수 있는 본 발명의 원리들을 예시하는 것에 지나지 않는다.

Claims (20)

  1. 이미지 센서 픽셀들의 어레이 및 처리 회로를 갖는 이미지 센서를 이용하여 이미지 신호들을 처리하는 방법으로서,
    상기 이미지 센서 픽셀들의 어레이는 제1 컬러의 광에 응답하는 제1 그룹의 이미지 센서 픽셀들, 제2 컬러의 광에 응답하는 제2 그룹의 이미지 센서 픽셀들, 및 제3 컬러의 광에 응답하는 제3 그룹의 이미지 센서 픽셀들을 포함하고, 상기 방법은,
    상기 제1 그룹의 이미지 센서 픽셀들로, 상기 제1 컬러의 광에 응답하여 제1 이미지 신호들을 생성하는 단계;
    상기 제2 그룹의 이미지 센서 픽셀들로, 상기 제2 컬러의 광에 응답하여 제2 이미지 신호들을 생성하는 단계;
    상기 제3 그룹의 이미지 센서 픽셀들로, 상기 제3 컬러의 광에 응답하여 제3 이미지 신호들을 생성하는 단계; 및
    상기 처리 회로로, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 생성된 제1 이미지 신호들은 제1 스펙트럼 응답 레벨을 갖고, 상기 생성된 제2 이미지 신호들은 제2 스펙트럼 응답 레벨을 갖고,
    상기 생성된 제3 이미지 신호들은 상기 제1 스펙트럼 응답 레벨보다 크고 상기 제2 스펙트럼 응답 레벨보다 큰 제3 스펙트럼 응답 레벨을 갖는 방법.
  3. 제2항에 있어서,
    상기 생성된 제3 이미지 신호들의 제3 스펙트럼 응답 레벨은 상기 제1 및 제2 스펙트럼 응답 레벨의 합의 75 퍼센트보다 큰 방법.
  4. 제1항에 있어서,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 필터링 동작들을 수행하는 단계는, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 잡음 상관들을, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 모든 잡음의 70 퍼센트보다 크게 증가시키는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 필터링 동작들을 수행하는 단계는, 주어진 컬러의 각각의 이미지 센서 픽셀에 대하여 적어도 25개의 이미지 센서 픽셀에 의해 생성되는 이미지 신호들의 가중 합을 생성하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 제1 이미지 신호들을 생성하는 단계는 적색 광에 응답하여 적색 이미지 신호들을 생성하는 단계를 포함하고, 상기 제2 이미지 신호들을 생성하는 단계는 청색 광에 응답하여 청색 이미지 신호들을 생성하는 단계를 포함하고, 상기 제3 이미지 신호들을 생성하는 단계는 적어도 적색 광에 응답하여 투명(clear) 이미지 신호들을 생성하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 필터링 동작들을 수행하는 단계는, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 무한 임펄스 응답 필터를 수행하는 단계를 포함하는 방법.
  8. 이미징 시스템으로서,
    이미지 센서 픽셀들의 어레이를 갖는 이미지 센서 - 상기 이미지 센서 픽셀들의 어레이는 제1 컬러의 광에 응답하여 제1 이미지 신호들을 생성하도록 구성된 제1 그룹의 이미지 센서 픽셀들, 제2 컬러의 광에 응답하여 제2 이미지 신호들을 생성하도록 구성된 제2 그룹의 이미지 센서 픽셀들, 및 제3 컬러의 광에 응답하여 제3 이미지 신호들을 생성하도록 구성된 제3 그룹의 이미지 센서 픽셀들을 포함함 - ; 및
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하도록 구성된 처리 회로
    를 포함하는 이미징 시스템.
  9. 제8항에 있어서,
    상기 제1 이미지 신호들은 제1 스펙트럼 응답 레벨을 갖고, 상기 제2 이미지 신호들은 제2 스펙트럼 응답 레벨을 갖고, 상기 제3 이미지 신호들은 상기 제1 스펙트럼 응답 레벨보다 크고 상기 제2 스펙트럼 응답 레벨보다 큰 제3 스펙트럼 응답 레벨을 갖는 이미징 시스템.
  10. 제9항에 있어서,
    상기 제3 스펙트럼 응답 레벨은 상기 제1 및 제2 스펙트럼 응답 레벨의 합의 75 퍼센트보다 큰 이미징 시스템.
  11. 제8항에 있어서,
    상기 처리 회로는, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 잡음 상관들을, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 모든 잡음의 70 퍼센트보다 크게 증가시키도록 구성된 이미징 시스템.
  12. 제8항에 있어서,
    상기 처리 회로는, 주어진 컬러의 각각의 이미지 센서 픽셀에 대하여 적어도 25개의 이미지 센서 픽셀에 의해 생성되는 이미지 신호들의 가중 합을 생성함으로써 상기 필터링 동작들을 수행하도록 구성된 이미징 시스템.
  13. 처리 회로를 갖는 이미지 센서를 이용하여, 제1 컬러의 제1 이미지 신호들, 상기 제1 컬러와는 다른 제2 컬러의 제2 이미지 신호들, 및 제3 이미지 신호들을 포함하는 이미지 데이터를 처리하는 방법으로서,
    상기 처리 회로로, 상기 제3 이미지 신호들을 이용하여, 상기 제1 컬러 및 상기 제2 컬러와는 다른 제3 컬러의 제4 이미지 신호들을 생성하는 단계;
    상기 처리 회로로, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계;
    상기 처리 회로로, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 기초하여, 추정된 휘도 값을 계산하는 단계; 및
    상기 처리 회로로, 상기 유도된 휘도 값 및 상기 추정된 휘도 값을 이용하여 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들을 수정하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서,
    상기 처리 회로로, 상기 유도된 휘도 값 및 상기 추정된 휘도 값에 기초하여 스케일링 값을 계산하는 단계
    를 더 포함하고,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들을 수정하는 단계는 생성된 스케일링 값을 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들에 곱하는 단계를 포함하는 방법.
  15. 제13항에 있어서,
    상기 제1 이미지 신호들은 제1 스펙트럼 응답을 갖고, 상기 제2 이미지 신호들은 제2 스펙트럼 응답을 갖고,
    상기 제3 이미지 신호들은 제3 스펙트럼 응답을 갖고, 상기 제3 스펙트럼 응답은 상기 제1 스펙트럼 응답보다 크고, 상기 제3 스펙트럼 응답은 상기 제2 스펙트럼 응답보다 큰 방법.
  16. 제15항에 있어서,
    상기 제3 스펙트럼 응답은 상기 제1 및 제2 스펙트럼 응답의 합의 75 퍼센트보다 큰 방법.
  17. 제15항에 있어서,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계는 가중 계수들을 이용하여 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들의 선형 결합(linear combination)을 계산하는 단계를 포함하는 방법.
  18. 제15항에 있어서,
    상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들을 결합하여, 유도된 휘도 값을 형성하는 단계는 상기 제3 이미지 신호들을 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제4 이미지 신호들과 결합하여, 유도된 휘도 값을 형성하는 단계를 포함하는 방법.
  19. 제13항에 있어서,
    상기 처리 회로로, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에 연관된 잡음 상관들을 증가시키는 필터링 동작들을 수행하는 단계를 더 포함하는 방법.
  20. 제19항에 있어서,
    상기 처리 회로로, 상기 제3 이미지 신호들과 상기 제1 이미지 신호들 간의 차이 값들, 및 상기 제3 이미지 신호들과 상기 제2 이미지 신호들 간의 차이 값들을 생성하는 단계; 및
    상기 처리 회로로, 상기 제1 이미지 신호들, 상기 제2 이미지 신호들 및 상기 제3 이미지 신호들에, 상기 생성된 차이 값들을 이용하여 잡음 상관들을 증가시키는 필터링 동작들을 수행하는 단계
    를 더 포함하는 방법.
KR20140059151A 2012-03-19 2014-05-16 투명 필터 픽셀을 구비한 이미징 시스템 KR101490653B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261612819P 2012-03-19 2012-03-19
US61/612,819 2012-03-19
US13/736,768 2013-01-08
US13/736,768 US9191635B2 (en) 2012-03-19 2013-01-08 Imaging systems with clear filter pixels

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029422A Division KR101446419B1 (ko) 2012-03-19 2013-03-19 투명 필터 픽셀을 구비한 이미징 시스템

Publications (2)

Publication Number Publication Date
KR20140066684A true KR20140066684A (ko) 2014-06-02
KR101490653B1 KR101490653B1 (ko) 2015-02-06

Family

ID=48128065

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130029422A KR101446419B1 (ko) 2012-03-19 2013-03-19 투명 필터 픽셀을 구비한 이미징 시스템
KR20140059151A KR101490653B1 (ko) 2012-03-19 2014-05-16 투명 필터 픽셀을 구비한 이미징 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130029422A KR101446419B1 (ko) 2012-03-19 2013-03-19 투명 필터 픽셀을 구비한 이미징 시스템

Country Status (6)

Country Link
US (4) US9191635B2 (ko)
EP (2) EP3054675B1 (ko)
JP (2) JP6134879B2 (ko)
KR (2) KR101446419B1 (ko)
CN (3) CN103327342B (ko)
HK (2) HK1222962A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002314A (ko) * 2015-06-29 2017-01-06 옴니비전 테크놀러지즈 인코포레이티드 컬러 앨리어싱의 감소를 위한 컬러 필터 어레이 패턴
KR20210018848A (ko) * 2018-06-07 2021-02-18 모빌아이 비젼 테크놀로지스 엘티디. 고분해능 자동차 렌즈 및 센서
KR20210056396A (ko) * 2019-09-09 2021-05-18 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
WO2021107264A1 (ko) * 2019-11-26 2021-06-03 가천대학교 산학협력단 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
EP2963909A4 (en) 2013-02-28 2016-10-19 Nikon Corp ELECTRONIC DEVICE
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9557520B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Synchronized image capture methods and apparatus
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9548336B2 (en) 2014-04-24 2017-01-17 Samsung Electronics Co., Ltd. Image sensors and electronic devices including the same
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
US9888198B2 (en) 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
WO2016007799A1 (en) * 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
KR102219784B1 (ko) 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
CN107211099A (zh) 2014-12-17 2017-09-26 光实验室股份有限公司 用于实施并使用摄像机装置的方法及设备
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN104700353B (zh) 2015-02-11 2017-12-05 小米科技有限责任公司 图像滤镜生成方法及装置
US9467633B2 (en) 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
US9793306B2 (en) 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US9686486B2 (en) 2015-05-27 2017-06-20 Semiconductor Components Industries, Llc Multi-resolution pixel architecture with shared floating diffusion nodes
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US9712792B2 (en) 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
CN105430359B (zh) * 2015-12-18 2018-07-10 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
CN106934317A (zh) * 2015-12-29 2017-07-07 我查查信息技术(上海)有限公司 条码扫描识别方法及装置
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
EP3439301B1 (en) * 2016-03-30 2021-01-13 LG Electronics Inc. -1- Image processing apparatus and mobile terminal
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
US10262399B2 (en) * 2017-01-09 2019-04-16 Samsung Electronics Co., Ltd. Image denoising with color-edge contrast preserving
US10960237B2 (en) * 2017-07-19 2021-03-30 Honeywell International Inc. Powered air-purifying respirator (PAPR) with eccentric venturi air flow rate determination
EP3625761B1 (en) * 2017-07-28 2023-08-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
CN108769635B (zh) * 2018-05-30 2020-01-21 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111835977B (zh) * 2019-04-18 2021-11-02 北京小米移动软件有限公司 图像传感器、图像生成方法及装置、电子设备、存储介质
KR102709671B1 (ko) * 2019-08-08 2024-09-26 에스케이하이닉스 주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템
KR102739817B1 (ko) * 2020-07-17 2024-12-09 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
KR20220081532A (ko) * 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 시그널 프로세서 및 이미지 처리 시스템
KR20230024063A (ko) 2021-08-11 2023-02-20 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018006A (en) * 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
JP3450374B2 (ja) 1993-05-28 2003-09-22 キヤノン株式会社 カラー撮像装置
US6330029B1 (en) 1998-03-17 2001-12-11 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
JP4011861B2 (ja) * 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
EP1712087B1 (en) 2004-01-26 2021-03-10 DigitalOptics Corporation Thin camera having sub-pixel resolution
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
JP2008078922A (ja) 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
US7876956B2 (en) 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
CN101193319B (zh) * 2006-11-29 2011-04-27 帆宣系统科技股份有限公司 显示装置的灰度级白平衡的增益决定方法及装置
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP2009005262A (ja) * 2007-06-25 2009-01-08 Olympus Imaging Corp 半導体装置および撮像装置
JP5045421B2 (ja) 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8295631B2 (en) 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US8345130B2 (en) 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002314A (ko) * 2015-06-29 2017-01-06 옴니비전 테크놀러지즈 인코포레이티드 컬러 앨리어싱의 감소를 위한 컬러 필터 어레이 패턴
KR20210018848A (ko) * 2018-06-07 2021-02-18 모빌아이 비젼 테크놀로지스 엘티디. 고분해능 자동차 렌즈 및 센서
US11754761B2 (en) 2018-06-07 2023-09-12 Mobileye Vision Technologies Ltd. High-resolution automotive lens and sensor
KR20210056396A (ko) * 2019-09-09 2021-05-18 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
WO2021107264A1 (ko) * 2019-11-26 2021-06-03 가천대학교 산학협력단 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체

Also Published As

Publication number Publication date
CN108650497A (zh) 2018-10-12
EP2642757A2 (en) 2013-09-25
US9942527B2 (en) 2018-04-10
EP2642757B1 (en) 2019-09-11
KR20130106328A (ko) 2013-09-27
EP3054675A1 (en) 2016-08-10
JP2013198160A (ja) 2013-09-30
US20160021345A1 (en) 2016-01-21
US9521380B2 (en) 2016-12-13
EP3054675B1 (en) 2020-04-29
KR101446419B1 (ko) 2014-10-01
JP2015167399A (ja) 2015-09-24
KR101490653B1 (ko) 2015-02-06
US20180192011A1 (en) 2018-07-05
US9191635B2 (en) 2015-11-17
US20130242148A1 (en) 2013-09-19
HK1222962A1 (zh) 2017-07-14
JP6134879B2 (ja) 2017-05-31
CN108650497B (zh) 2021-08-10
HK1189731A1 (zh) 2014-06-13
CN105847772A (zh) 2016-08-10
US10070104B2 (en) 2018-09-04
US20170078627A1 (en) 2017-03-16
JP6096243B2 (ja) 2017-03-15
CN103327342A (zh) 2013-09-25
CN105847772B (zh) 2018-07-27
EP2642757A3 (en) 2015-11-25
CN103327342B (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
KR101490653B1 (ko) 투명 필터 픽셀을 구비한 이미징 시스템
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN205726019U (zh) 成像系统、成像设备和图像传感器
US9287316B2 (en) Systems and methods for mitigating image sensor pixel value clipping
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
CN209345244U (zh) 成像系统和相机模块
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
US9179110B2 (en) Imaging systems with modified clear image pixels
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20140516

Patent event code: PA01071R01D

Filing date: 20130319

Application number text: 1020130029422

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140613

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141106

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150130

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180110

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190102

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200102

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210104

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20211221

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20241224

Start annual number: 11

End annual number: 11