KR102502452B1 - 이미지 센서 및 복원 이미지 생성 방법 - Google Patents

이미지 센서 및 복원 이미지 생성 방법 Download PDF

Info

Publication number
KR102502452B1
KR102502452B1 KR1020160017138A KR20160017138A KR102502452B1 KR 102502452 B1 KR102502452 B1 KR 102502452B1 KR 1020160017138 A KR1020160017138 A KR 1020160017138A KR 20160017138 A KR20160017138 A KR 20160017138A KR 102502452 B1 KR102502452 B1 KR 102502452B1
Authority
KR
South Korea
Prior art keywords
color pixel
color
pixel
image
sensor
Prior art date
Application number
KR1020160017138A
Other languages
English (en)
Other versions
KR20170095572A (ko
Inventor
조양호
남동경
강병민
황효석
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160017138A priority Critical patent/KR102502452B1/ko
Priority to US15/386,774 priority patent/US10171782B2/en
Publication of KR20170095572A publication Critical patent/KR20170095572A/ko
Application granted granted Critical
Publication of KR102502452B1 publication Critical patent/KR102502452B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

비컬러 픽셀 센서의 면적보다 더 큰 면적의 컬러 픽셀 센싱 영역을 포함하는 이미지 센서 및 이미지 센서에 의해 생성된 초기 이미지를 이용하여 복원 이미지를 생성하는 방법이 제공된다. 이미지 센서의 컬러 픽셀 센싱 영역은 복수의 비컬러 픽셀 센서들에 의해 둘러싸일 수 있다.

Description

이미지 센서 및 복원 이미지 생성 방법 {IMAGE SENSOR AND METHOD FOR GENERATING RESTORATION IMAGE}
아래의 실시예들은 이미지 센서 및 상기의 이미지 센서로 촬영된 이미지를 복원하는 방법에 관한 것으로, 보다 상세하게는 이미지 센서의 구조에 관한 것이다.
이미지 센서는 피사체에 의해 반사된 빛을 감지하여 전기적 신호로 변환하는 반도체 소자로서 디지털 카메라, 휴대폰 등과 같은 전자 기기에 광범위하게 사용되고 있다. 이러한 이미지 센서는 대략적으로 씨씨디(Charged Coupled Device; CCD) 이미지 센서와 씨모스(Complementary Metal Oxide Semiconductor; CMOS) 이미지 센서로 구분되는데, 제조 비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한 씨모스 이미지 센서가 상대적으로 보다 주목을 받고 있다.
일 측면에 따른, 이미지 센서는 비컬러(non-color) 신호를 센싱하는 복수의 비컬러 픽셀 센서들, 및 컬러 신호를 센싱하는 하나 이상의 컬러 픽셀 센서로 구성된 컬러 픽셀 센싱 영역을 포함하고, 상기 각각의 컬러 픽셀 센싱 영역은 상기 각각의 비컬러 픽셀 센서의 면적보다 물리적으로 큰 면적을 갖는다.
상기 각각의 컬러 픽셀 센싱 영역은 상기 복수의 비컬러 픽셀 센서들에 의해 둘러싸일(encompassed) 수 있다.
상기 각각의 비컬러 픽셀 센서는 팬크로매틱(panchromatic) 픽셀 센서일 수 있다.
상기 이미지 센서의 픽셀 어레이에서, 상기 컬러 픽셀 센싱 영역의 면적 비율은 상기 복수의 비컬러 픽셀 센서들로 구성된 비컬러 픽셀 센싱 영역의 면적 비율보다 작을 수 있다.
상기 컬러 픽셀 센싱 영역은 상기 픽셀 어레이에서 적색(red), 녹색(green), 청색(blue), 심홍색(magenta), 황색(yellow) 또는 옥색(cyan) 중 둘 이상의 색들을 센싱하도록 배치될 수 있다.
상기 픽셀 어레이에 포함되는 컬러 픽셀 센싱 영역들 간의 간격은 상기 비컬러 픽셀 센싱 영역의 면적 비율에 기반하여 결정될 수 있다.
상기 컬러 픽셀 센싱 영역의 면적은 상기 각각의 비컬러 픽셀 센서의 면적보다 2 이상 및 9 이하의 실수 배일 수 있다.
상기 컬러 픽셀 센싱 영역은 적색, 녹색, 청색, 심홍색, 황색 또는 옥색 중 적어도 하나의 색을 나타내는 파장을 수광하는 하나의 컬러 픽셀 센서를 포함할 수 있다.
상기 컬러 픽셀 센싱 영역은 적색, 녹색, 청색, 심홍색, 황색 또는 옥색 중 적어도 하나의 색을 나타내는 파장을 수광하는 복수 개의 컬러 픽셀 센서들을 포함할 수 있다.
다른 일 측면에 따른, 이미지 센서는 비컬러(non-color) 신호를 센싱하는 복수의 비컬러 픽셀 센서들, 및 컬러 신호를 센싱하는 하나 이상의 컬러 픽셀 센서로 구성된 컬러 픽셀 센싱 영역을 포함하고, 상기 각각의 컬러 픽셀 센싱 영역은 상기 복수의 비컬러 픽셀 센서들에 의해 둘러싸인다(encompassed).
상기 각각의 컬러 픽셀 센싱 영역은 상기 각각의 비컬러 픽셀 센서의 면적보다 물리적으로 큰 면적을 가질 수 있다.
상기 이미지 센서의 픽셀 어레이에서, 상기 컬러 픽셀 센싱 영역의 면적 비율은 상기 복수의 비컬러 픽셀 센서들로 구성된 비컬러 픽셀 센싱 영역의 면적 비율보다 작을 수 있다.
상기 컬러 픽셀 센싱 영역은 상기 픽셀 어레이에서 적색, 녹색, 청색, 심홍색, 황색 또는 옥색 중 둘 이상의 색들을 센싱하도록 배치될 수 있다.
상기 픽셀 어레이에 포함되는 컬러 픽셀 센싱 영역들 간의 간격은 상기 비컬러 픽셀 센싱 영역의 면적 비율에 기반하여 결정될 수 있다.
상기 컬러 픽셀 센싱 영역은 적색, 녹색, 청색, 심홍색, 황색 또는 옥색 중 적어도 하나의 색을 나타내는 파장을 수광하는 복수 개의 컬러 픽셀 센서들을 포함할 수 있다.
또 다른 일 측면에 따른, 복원 이미지 생성은 이미지 센서로부터 초기 이미지를 수신하는 단계, 상기 초기 이미지의 픽셀들 중 컬러 픽셀에 대한 팬크로매틱 픽셀 값을 결정하는 단계, 상기 팬크로매틱 픽셀 값을 상기 컬러 픽셀에 설정함으로써 팬크로매틱 이미지를 생성하는 단계, 및 상기 초기 이미지의 컬러 픽셀의 컬러 픽셀 값 및 상기 팬크로매틱 이미지에 기반하여 복원 이미지를 생성하는 단계를 포함하고, 상기 초기 이미지는 복수의 비컬러 픽셀들, 및 하나 이상의 컬러 픽셀 영역을 포함하고, 상기 각각의 컬러 픽셀 영역은 하나의 비컬러 픽셀보다 물리적으로 큰 면적을 갖는다.
상기 각각의 컬러 픽셀 영역은 상기 복수의 비컬러 픽셀들에 의해 둘러싸일 (encompassed) 수 있다.
상기 복원 이미지를 생성하는 단계는, 상기 초기 이미지의 컬러 픽셀 값을 상기 팬크로매틱 이미지에 확산시킴으로써 상기 복원 이미지를 생성하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 이미지 센서의 구성도이다.
도 2는 일 예에 따른 픽셀 어레이를 도시한다.
도 3은 일 예에 따른 각각의 컬러 픽셀 센싱 영역이 비컬러 픽셀 센서를 공유하지 않는 경우를 도시한다.
도 4는 일 예에 따른 컬러 픽셀 센싱 영역이 다른 컬러 픽셀 센싱 영역과 비컬러 픽셀 센서를 공유하는 경우를 도시한다.
도 5는 일 예에 따른 컬러 픽셀 센싱 영역의 형태가 사각형이 픽셀 어레이를 도시한다.
도 6 및 7은 일 예에 따른 컬러 픽셀 센싱 영역의 면적 비율이 조절된 픽셀 어레이를 각각 도시한다.
도 8은 일 예에 따른 적색 픽셀 센서들, 녹색 픽셀 센서들 및 청색 픽셀 센서들의 개수가 동일한 픽셀 어레이를 도시한다.
도 9 및 10은 일 예에 다른 컬러 픽셀 센서들이 비닝된 픽셀 어레이를 도시한다.
도 11은 일 실시예에 따른 복원 이미지 생성 장치의 구성도이다.
도 12는 일 실시예에 따른 복원 이미지 생성 방법의 흐름도이다.
도 13은 일 예에 따른 팬크로매틱 이미지를 생성하는 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
<이미지 센서의 개요>
도 1은 일 실시예에 따른 이미지 센서의 구성도이다.
도 1을 참조하면, 이미지 센서(image sensor)(100)는 픽셀 어레이(pixel array)(120), 아날로그-디지털 컨버터(Analog to Digital Converter; ADC)(140), 디지털 신호 프로세서(Digital Signal Processor; DSP)(160) 및 이들을 제어하는 컨트롤러(180)를 포함할 수 있다.
픽셀 어레이(120)는 단위 픽셀 센서(122)들 및 단위 픽셀 센서(122)들에 연결되는 로우(row) 라인들과 컬럼(column) 라인들을 포함할 수 있다. 예를 들어, 로우 라인들과 컬럼 라인들이 서로 교차하여 배선됨에 따라, 단위 픽셀 센서(122)들은 픽셀 어레이(120) 내에서 매트릭스(matrix) 형태로 배치될 수 있다.
가시광선 검출 픽셀 센서는 광전 변환 회로를 포함하고, 가시광선이 변환된 전하의 축적량에 상응하는 전기적 신호를 생성하는 신호 생성 회로를 포함할 수 있다.
각각의 단위 픽셀은 필터층과 실리콘(Si)층을 포함하는 가시광선 검출층을 포함할 수 있다.
가시광선 검출층은 외부로부터 필터층을 통해 입사하는 가시광선을 실리콘층에 형성된 광전 변환 소자(transducer)를 이용하여 제1 전하로 변환할 수 있다. 예를 들어, 광전 변환 소자는 포토다이오드(photodiode)일 수 있다.
상기의 설명에 따른, 이미지 센서(100)의 구조는 일 실시예이며, 이미지 센서(100)의 구조가 상기의 설명된 구조로 한정되는 것은 아니다.
이미지 센서(100)가 베이어 패턴(Bayer pattern) 방식을 채용하는 경우, 예를 들어, 필터층은 비컬러(non-color) 필터, 적색(red) 필터, 녹색(green) 필터 및 청색(blue) 필터를 포함할 수 있다. 다른 예로, 필터층은 비컬러 필터, 마젠타(magenta) 필터, 옐로우(yellow) 필터 및 시안(cyan) 필터를 포함할 수 있다.
필터층이 비컬러 필터를 포함하는 경우, 단위 픽셀 센서(122)는 비컬러 픽셀 센서일 수 있다. 예를 들어, 비컬러 픽셀 센서는 팬크로매틱(panchromatic) 픽셀 센서, 또는 모노(mono) 픽셀 센서일 수 있다. 비컬러 필터는 모든 빛의 모든 파장을 통과시키는 필터를 의미할 수 있다. 팬크로매틱 픽셀 센서, 또는 모노 픽셀 센서는 서로 동일한 의미로 사용될 수 있다.
필터층이 적색 필터, 녹색 필터 및 청색 필터와 같은 컬러 필터를 포함하는 경우, 단위 픽셀 센서(122)는 컬러 픽셀 센서일 수 있다. 예를 들어, 필터층이 적색 필터를 포함하는 경우, 컬러 픽셀 센서는 빛의 파장 범위 중 적색을 나타내는 파장 범위만을 수광할 수 있다.
일 실시예에 따르면, 비컬러 픽셀 센서의 수광 면적의 크기 및 컬러 픽셀 센서의 수광 면적의 크기가 상이할 수 있다. 수광 면적이 상이한 픽셀 센서들에 대해, 아래에서 도 2 내지 도 8을 참조하여 상세히 설명된다.
ADC(140)는 픽셀 어레이(120)로부터 출력되는 전기적 신호인, 아날로그 신호를 디지털 신호로 변환할 수 있다. 아날로그 신호를 디지털 신호로 변환하기 위해 ADC(140)는 복수의 ADC들을 포함할 수 있다. ADC(140)는 픽셀 어레이(120)로부터 출력되는, 가시광선이 변환된 전하의 축적량에 상응하는 전기적 신호(아날로그 신호)를 디지털 신호로 변환할 수 있다. ADC(140)는 픽셀 어레이(120)로부터 출력되는, 적외선이 변환된 전하의 축적량에 상응하는 전기적 신호(아날로그 신호)를 디지털 신호로 변환할 수 있다.
DSP(160)는 디지털 신호에 대한 디지털 신호 프로세싱을 수행하여 이미지 신호를 생성할 수 있다. DSP(160)는 ADC(140)로부터 디지털 신호를 수신하고, 디지털 신호에 대하여 디지털 신호 프로세싱을 수행할 수 있다. 예를 들어, DSP(160)는 이미지 보간(image interpolation), 색 보정(color correction), 화이트 밸런스(white balance), 감마 보정(gamma correction) 및 색 변환(color conversion) 등을 수행할 수 있다. 실시예에 따라, ADC(140)에서 출력된 디지털 신호는 증폭 회로에 의해 증폭된 후 DSP(160)에 제공될 수 있다.
일 측면에 따르면, DPS(160)는 가시광선이 변환된 전하의 축적량과 관련된 제1 디지털 신호에 대하여 디지털 신호 프로세싱을 수행하여 제1 이미지 신호를 출력하고, 적외선이 변환된 전하의 축적량과 관련된 제2 디지털 신호에 대하여 디지털 신호 프로세싱을 수행하여 제2 이미지 신호를 출력할 수 있다.
다른 일 측면에 따르면, DSP(160)는 적외선이 변환된 전하의 축적량과 관련된 제2 디지털 신호에 기초하여 가시광선이 변환된 전하의 축적량과 관련된 제1 디지털 신호를 보정할 수 있다. 예를 들어, DSP(160)는 제2 디지털 신호에 기초하여 제1 디지털 신호로부터 적외선 노이즈를 제거할 수 있다. 다른 예로, DSP(160)는 제2 디지털 신호로 제1 디지털 신호를 보상함으로써 이미지 센서(100)가 생성하는 이미지의 화질을 개선할 수 있다. 이미지 센서(100)가 생성하는 이미지는 초기 이미지(initial image)로 명명될 수 있다.
도 1에서, DSP(160)는 이미지 센서(100)에 포함되는 것으로 도시되어 있으나, 실시예에 따라, DSP(160)는 이미지 센서(100)의 외부에 위치할 수도 있다.
컨트롤러(180)는 픽셀 어레이(120), ADC(140) 및 DSP(160)를 제어할 수 있다. 컨트롤러(180)는 픽셀 어레이(120), ADC(140) 및 DSP(160)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 다양한 신호들을 생성할 수 있다.
<하나의 컬러 픽셀 센서의 면적이 하나의 비컬러 픽셀 센서의 면적에 비해 큰 픽셀 어레이의 구조>
도 2는 일 예에 따른 픽셀 어레이를 도시한다.
도 1에서 전술된 픽셀 어레이(120)는 복수의 픽셀 센서들을 포함할 수 있다. 도 2는 픽셀 어레이(120)의 일부 픽셀 패턴(200)을 도시한다. 예를 들어, 픽셀 어레이(120)는 복수의 픽셀 패턴(200)들을 포함할 수 있다.
픽셀 패턴(200)은 비컬러 신호를 센싱하는 복수의 비컬러 픽셀 센서(210)들 및 컬러 신호를 센싱하는 하나 이상의 컬러 픽셀 센서(220)를 포함할 수 있다. 복수의 비컬러 픽셀 센서들로 구성된 영역은 비컬러 픽셀 센싱 영역으로 명명되고, 컬러 픽셀 센서로 구성된 영역은 컬러 픽셀 센싱 영역으로 명명될 수 있다. 예를 들어, 비컬러 픽셀 센서(210)는 팬크로매틱 픽셀 센서이고, 컬러 픽셀 센서(220)는 적색, 녹색, 또는 청색 중 적어도 하나의 색을 수광하는 컬러 픽셀 센서일 수 있다. 다른 예로, 비컬러 픽셀 센서(210)는 팬크로매틱 픽셀 센서이고, 컬러 픽셀 센서(220)는 심홍(마젠타)색, 황(옐로우)색, 및 옥(시안)색 중 적어도 하나의 색을 수광하는 컬러 픽셀 센서일 수 있다.
일 측면에 따르면, 하나의 컬러 픽셀 센서의 면적은 하나의 비컬러 픽셀 센서의 면적보다 물리적으로 클 수 있다. 예를 들어, 컬러 픽셀 센서의 면적은 비컬러 픽셀 센서의 면적보다 2 이상 및 9 이하의 실수 배일 수 있다. 픽셀 센서의 "면적" 및 픽셀 센서의 "크기"는 유사한 의미이고, 서로 상호 교환적으로 사용될 수 있다. 하나의 컬러 픽셀 센서의 면적이 하나의 비컬러 픽셀 센서의 면적보다 더 큰 경우, 각각의 컬러 픽셀 센싱 영역은 하나의 컬러 픽셀 센서를 포함할 수 있다.
컬러 픽셀 센서의 면적이 비컬러 픽셀 센서의 면적보다 물리적으로 큰 경우, 컬러 픽셀 센서는 복수의 비컬러 픽셀 센서들에 의해 둘러싸이도록(encompassed) 배치될 수 있다. 즉, 컬러 픽셀 센싱 영역은 복수의 비컬러 픽셀 센서들에 의해 둘러싸일 수 있다.
도시된 픽셀 패턴(200)으로 픽셀 어레이가 구성되는 경우, 컬러 픽셀 센싱 영역의 면적 비율은 복수의 비컬러 픽셀 센서들로 구성된 비컬러 픽셀 센싱 영역의 면적 비율보다 작을 수 있다. 여기에서, 컬러 픽셀 센싱 영역의 면적 비율은 픽셀 패턴(200)의 전체 면적 중 컬러 픽셀 센싱 영역의 면적이 차지하는 비율이다. 픽셀 패턴(200)에서 컬러 픽셀 센싱 영역의 면적 비율은 25%이고, 비컬러 픽셀 센싱 영역의 면적 비율은 75%이다.
컬러 픽셀 센싱 영역의 면적 비율이 감소하는 경우, 비컬러 픽셀 센싱 영역의 면적 비율이 증가하므로, 동일한 시간에 수광되는 빛의 양이 증가한다. 동일한 시간에 수광되는 빛의 양이 증가하는 경우, 이미지 센서는 저조도의 환경에서도 고감도의 이미지를 생성할 수 있다.
일 실시예에 따르면, 동일한 시간 동안 컬러 픽셀 센서가 수광하는 빛의 양과 비컬러 픽셀 센서가 수광하는 빛의 양이 다르기 때문에, 컬러 픽셀 센서에 의해 센싱된 컬러 픽셀의 밝기 및 비컬러 픽셀 센서에 의해 센싱된 비컬러 픽셀의 밝기가 다를 수 있다. 컬러 픽셀의 밝기 및 비컬러 픽셀의 밝기가 유사하게 센싱되도록 컬러 픽셀 센서가 빛을 수광하는 시간 및 비컬러 픽셀 센서가 빛을 수광하는 시간이 다르게 설정될 수 있다. 예를 들어, 컬러 픽셀 센서가 빛을 수광하는 시간이 비컬러 픽셀 센서가 빛을 수광하는 시간에 비해 더 길 수 있다.
도 3 내지 8은 일 예에 따른 복수의 컬러 픽셀 센싱 영역들을 포함하는 픽셀 어레이를 도시한다.
도 3은 일 예에 따른 각각의 컬러 픽셀 센싱 영역이 비컬러 픽셀 센서를 공유하지 않는 경우를 도시한다. 도 3에 도시된 픽셀 어레이(300)의 픽셀 패턴은 도 2의 픽셀 패턴(200)과 동일할 수 있다.
픽셀 어레이(300)는 복수의 비컬러 픽셀 센서(310)들 및 복수의 컬러 픽셀 센서들(320, 330, 340 및 350)을 포함할 수 있다. 컬러 픽셀 센서들(320, 330, 340 및 350)의 각각이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다. 즉, 각각의 컬러 픽셀 센싱 영역이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다.
일 측면에 따르면, 컬러 픽셀 센싱 영역들은 픽셀 어레이(300)에서 적색, 녹색 또는 청색 중 둘 이상의 색들을 센싱하도록 배치될 수 있다. 예를 들어, 컬러 픽셀 센서(320)를 포함하는 컬러 픽셀 센싱 영역은 적색을 센싱하고, 컬러 픽셀 센서(330 또는 340)를 포함하는 컬러 픽셀 센싱 영역은 녹색을 센싱하고, 컬러 픽셀 센서(350)를 포함하는 컬러 픽셀 센싱 영역은 청색을 센싱할 수 있다.
다른 일 측면에 따르면, 컬러 픽셀 센싱 영역들은 픽셀 어레이(300)에서 심홍(마젠타)색, 황(옐로우)색, 및 옥(시안)색 중 적어도 둘 이상의 색들을 센싱하도록 배치될 수 있다.
도 3에 도시된 픽셀 어레이(300)의 픽셀 패턴은 도 2의 픽셀 패턴(200)과 동일하므로, 픽셀 어레이(300)에서 컬러 픽셀 센싱 영역의 면적 비율은 25%이고, 비컬러 픽셀 센싱 영역의 면적 비율은 75%이다.
도 4는 일 예에 따른 컬러 픽셀 센싱 영역이 다른 컬러 픽셀 센싱 영역과 비컬러 픽셀 센서를 공유하는 경우를 도시한다.
픽셀 어레이(400)는 복수의 비컬러 픽셀 센서(410)들 및 복수의 컬러 픽셀 센서들(420, 430, 440 및 450)을 포함할 수 있다. 컬러 픽셀 센서들(420, 430, 440 및 450)의 각각이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다. 즉, 각각의 컬러 픽셀 센싱 영역이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다.
일 측면에 따르면, 컬러 픽셀 센싱 영역들은 픽셀 어레이(400)에서 적색, 녹색 또는 청색 중 둘 이상의 색들을 센싱하도록 배치될 수 있다. 예를 들어, 컬러 픽셀 센서(420)를 포함하는 컬러 픽셀 센싱 영역은 적색을 센싱하고, 컬러 픽셀 센서(430 또는 440)를 포함하는 컬러 픽셀 센싱 영역은 녹색을 센싱하고, 컬러 픽셀 센서(450)를 포함하는 컬러 픽셀 센싱 영역은 청색을 센싱할 수 있다.
다른 일 측면에 따르면, 컬러 픽셀 센싱 영역들은 픽셀 어레이(400)에서 심홍(마젠타)색, 황(옐로우)색, 및 옥(시안)색 중 적어도 둘 이상의 색들을 센싱하도록 배치될 수 있다.
픽셀 어레이(400)에서 컬러 픽셀 센싱 영역의 면적 비율은 32.65%이고, 비컬러 픽셀 센싱 영역의 면적 비율은 67.32%이다. 전술된 도 3의 픽셀 어레이(300)과 비교하면, 픽셀 어레이(400)의 컬러 픽셀 센싱 영역의 면적 비율이 픽셀 어레이(300)의 컬러 픽셀 센싱 영역의 면적 비율보다 더 높기 때문에, 동일 시간에 동일 면적이 수광하는 빛의 양이 더 적을 수 있다.
도 5는 일 예에 따른 컬러 픽셀 센싱 영역의 형태가 사각형이 픽셀 어레이를 도시한다.
픽셀 어레이(500)의 컬러 픽셀 센싱 영역의 형태는 다양하게 형성될 수 있다. 예를 들어, 컬러 픽셀 센싱 영역의 면적이 비컬러 픽셀 센서의 면적의 3배가 되도록 각각의 컬러 픽셀 센싱 영역(520, 530, 540 또는 550)의 형태가 형성될 수 있다. 컬러 픽셀 센싱 영역(520, 530, 540 또는 550)의 형태가 사각형이 아닌 경우에도, 픽셀 어레이(500)에서 각각의 컬러 픽셀 센싱 영역(520, 530, 540 또는 550)이 비컬러 픽셀 센서에 의해 둘러싸이도록 배치될 수 있다.
도 6 및 7은 일 예에 따른 컬러 픽셀 센싱 영역의 면적 비율이 조절된 픽셀 어레이를 각각 도시한다.
도 6에 도시된 픽셀 어레이(600)는 복수의 비컬러 픽셀 센서(610)들 및 복수의 컬러 픽셀 센서들(620, 630, 640 및 650)을 포함할 수 있다. 컬러 픽셀 센서들(620, 630, 640 및 650)의 각각이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다.
도 7에 도시된 픽셀 어레이(700)는 복수의 비컬러 픽셀 센서(710)들 및 복수의 컬러 픽셀 센서들(720, 730, 740 및 750)을 포함할 수 있다. 컬러 픽셀 센서들(720, 730, 740 및 750)의 각각이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다.
일 측면에 따르면, 픽셀 어레이에 포함되는 컬러 픽셀 센싱 영역들 간의 간격은 비컬러 픽셀 센싱 영역의 면적 비율에 기반하여 결정될 수 있다. 예를 들어, 저조도 환경에서 이미지를 생성하는 이미지 센서인 경우, 높은 비컬러 픽셀 센싱 영역의 면적 비율이 요구될 수 있다. 상대적으로 높은 비컬러 픽셀 센싱 영역의 면적 비율이 요구되는 경우, 컬러 픽셀 센싱 영역들 간의 간격은 상대적으로 넓어질 수 있다.
도 8은 일 예에 따른 적색 픽셀 센서들, 녹색 픽셀 센서들 및 청색 픽셀 센서들의 개수가 동일한 픽셀 어레이를 도시한다.
픽셀 어레이(800)는 복수의 비컬러 픽셀 센서(810)들 및 복수의 컬러 픽셀 센서들(820, 830, 840, 850, 860 및 870)을 포함할 수 있다. 컬러 픽셀 센서들(820, 830, 840, 850, 860 및 870)의 각각이 복수의 비컬러 픽셀 센서들로 둘러싸일 수 있다.
컬러 픽셀 센서들(820 및 860)은 적색 픽셀 센서이고, 컬러 픽셀 센서들(830 및 870)은 녹색 픽셀 센서이며, 컬러 픽셀 센서들(840 및 850)은 청색 픽셀 센서일 수 있다. 각각의 칼라 픽셀 센서의 개수가 동일하도록 픽셀 어레이에 포함될 수 있다.
전술된 도 2 내지 8을 참조하여 하나의 컬러 픽셀 센서의 면적이 하나의 비컬러 픽셀 센서의 면적에 비해 큰, 픽셀 어레이의 구조가 설명되었다. 아래의 도 9 및 10을 참조하여 나의 컬러 픽셀 센서의 면적이 하나의 비컬러 픽셀 센서의 면적과 동일한, 픽셀 어레이의 구조가 상세히 설명된다.
<하나의 컬러 픽셀 센서의 면적이 하나의 비컬러 픽셀 센서의 면적과 동일한 픽셀 어레이의 구조>
도 9 및 10은 일 예에 다른 컬러 픽셀 센서들이 비닝(binning)된 픽셀 어레이를 도시한다.
도 9의 픽셀 어레이(900)는 복수의 비컬러 픽셀 센서(910)들 및 하나 이상의 컬러 픽셀 센싱 영역(920)들을 포함할 수 있다. 각각의 컬러 픽셀 센싱 영역은 복수의 컬러 픽셀 센서들을 포함할 수 있다. 예를 들어, 컬러 픽셀 센싱 영역(920)은 복수의 컬러 픽셀 센서들(921, 922, 923 및 924)을 포함할 수 있다.
일 측면에 따르면, 복수의 컬러 픽셀 센서들(921, 922, 923 및 924)에 대한 값을 통합함으로써 하나의 컬러 픽셀 센싱 영역(920)이 하나의 컬러 픽셀 센서로 동작할 수 있다. 즉, 비컬러 픽셀 센서와 면적이 동일한 복수의 컬러 픽셀 센서들을 비닝(binning)함으로써, 비컬러 픽셀 센서의 면적보다 큰 면적을 갖는 컬러 픽셀 센서를 구현할 수 있다.
복수의 컬러 픽셀 센서들(921, 922, 923 및 924)은 개별적으로 빛을 수광하고 각각의 전하의 축적량에 상응하는 전기적 신호를 생성할 수 있다. 복수의 컬러 픽셀 센서들(921, 922, 923 및 924)에 의해 생성된 복수의 전기적 신호들에 기반하여 하나의 컬러 픽셀 센싱 영역(920)에 대한 신호가 생성될 수 있다. 예를 들어, 복수의 전기적 신호들의 평균 값이 컬러 픽셀 센싱 영역(920)에 대한 신호일 수 있다.
픽셀 어레이(900)에서 컬러 픽셀 센싱 영역의 면적 비율은 25%이고, 비컬러 픽셀 센싱 영역의 면적 비율은 75%이다. 상기의 면적 비율들은 도 3을 참조하여 설명된 픽셀 어레이(900)의 면적 비율들과 동일할 수 있다. 면적 비율이 동일한 경우, 각각의 이미지 센서들이 동일한 저조도의 환경에서 동일하게 동작될 수 있다.
도 10의 픽셀 어레이(1000)는 복수의 비컬러 픽셀 센서(1010)들 및 하나 이상의 컬러 픽셀 센싱 영역(1020)들을 포함할 수 있다. 각각의 컬러 픽셀 센싱 영역은 복수의 컬러 픽셀 센서들을 포함할 수 있다. 컬러 픽셀 센싱 영역에 포함되는 복수의 컬러 픽셀 센서들은 적어도 하나의 색깔에 대한 파장을 수광하는 복수 개의 컬러 픽셀 센서들을 포함할 수 있다. 예를 들어, 컬러 픽셀 센싱 영역(1020)은 적색 픽셀 센서(1021), 녹색 픽셀 센서들(1022 및 1023) 및 청색 픽셀 센서(1024)를 포함할 수 있다. 다른 예로, 컬러 픽셀 센싱 영역(1020)은 심홍(마젠타)색 픽셀 센서, 황(옐로우)색 픽셀 센서 및 옥(시안)색 픽셀 센서를 포함할 수 있다. 각각의 컬러 픽셀 센서들은 해당하는 픽셀에 대한 전기적 신호를 생성할 수 있다.
<복수의 비컬러 픽셀 센서들에 의해 둘러싸인 컬러 픽셀 센싱 영역>
i) 컬러 픽셀 센싱 영역이 복수의 비컬러 픽셀 센서들에 의해 둘러싸이는 경우 컬러 픽셀 센싱 영역들이 서로 공간적으로 분리되어, 컬러 픽셀 영역들 간의 크로스 토크(cross talk)가 발생하지 않을 수 있다. 크로스 토크가 발생하지 않는 경우 생성되는 이미지의 화질이 개선될 수 있다.
ii) 비컬러 픽셀 센싱 영역의 면적 비율이 컬러 픽셀 센싱 영역의 면적 비율보다 커지므로, 동일한 시간 동안 수광하는 빛의 양이 증가할 수 있다. 동일한 시간 동안 수광하는 빛의 양이 증가하는 경우, 저조도의 환경에서도 고감도의 이미지를 생성할 수 있다.
< 비컬러 픽셀 센서의 면적에 비해 큰 컬러 픽셀 센서 영역>
i) 컬러 픽셀 센서의 면적이 증가하는 경우, 해당하는 픽셀의 감도가 증가하고, 저조도의 환경에서 발생하는 노이즈가 감소할 수 있다.
ii) 컬러 픽셀 센서에 의해 측정되는 밝기와 비컬러 픽셀 센서에 의해 측정되는 밝기 간의 차이가 감소함으로, 보다 용이하게 컬러 이미지와 팬크로매틱 이미지를 서로 퓨전(fusion)할 수 있다.
<이미지 센서를 통해 얻은 원 영상에 대한 복원 이미지 생성>
도 11은 일 실시예에 따른 복원 이미지 생성 장치의 구성도이다.
복원 이미지 생성 장치(1100)는 이미지 센서(1110), 통신부(1120), 프로세서(1130) 및 메모리(1140)를 포함할 수 있다. 예를 들어, 복원 이미지 생성 장치(1100)는 휴대 전화기(mobile phone), 폐쇄 회로(closed circuit) 카메라 및 디지털 카메라(digital camera)과 같이 이미지 센서(1110)를 통해 초기 이미지에 대한 복원 이미지를 생성하는 장치일 수 있다. 이미지 센서(1110)는 전술된 이미지 센서(100)일 수 있다.
이미지 센서(1110)는 빛을 수광하여 이미지를 생성할 수 있다. 이미지 센서(1110)에 의해 생성된 이미지는 초기 이미지로 명명될 수 있다.
실시예에 따라, 복원 이미지 생성 장치(1100)는 통신부(1120)를 포함할 수 있다. 통신부(1120)는 외부의 장치들과 통신한다.
프로세서(1130)는 통신부(1120)가 수신한 데이터, 메모리(1140)에 저장된 데이터 및 이미지 센서(1110)가 생성한 초기 이미지를 처리한다. 예를 들어, 프로세서(1130)는 초기 이미지를 복원함으로써 복원 이미지를 생성할 수 있다.
메모리(1140)는 프로세서(1130)가 처리한 데이터를 저장한다.
복원 이미지 생성 장치(1100)가 초기 이미지에 기반하여 복원 이미지를 생성하는 방법에 대해, 아래의 도 12 및 13을 참조하여 상세히 설명된다.
도 12는 일 실시예에 따른 복원 이미지 생성 방법의 흐름도이다.
아래의 단계들(1210 내지 1240)은 프로세서(1130)에 의해 수행될 수 있다.
단계(1210)에서, 초기 이미지가 수신될 수 있다. 예를 들어, 이미지 센서로부터 초기 이미지가 수신될 수 있다. 단계(1210)가 수행되기 전, 이미지 센서(1110)는 장면을 촬영함으로써 초기 이미지를 생성할 수 있다. 초기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 이미지 센서(1110)의 픽셀 어레이의 픽셀 센서에 대응할 수 있다. 픽셀 센서에 의해 생성된 아날로그 신호가 디지털 신호로 변환되어 초기 이미지의 픽셀 값이 될 수 있다.
초기 이미지는 복수의 비컬러 픽셀들 및 하나 이상의 컬러 픽셀 영역을 포함할 수 있다. 각각의 컬러 픽셀 영역은 복수의 비컬러 픽셀들에 의해 둘러싸일 수 있다. 각각의 컬러 픽셀 영역은 하나 이상의 컬러 픽셀들을 포함할 수 있고, 각각의 컬러 픽셀 영역은 이미지 센서의 컬러 픽셀 센싱 영역에 대응할 수 있다. 예를 들어, 초기 이미지의 각각의 컬러 픽셀 영역은 하나의 비컬러 픽셀보다 물리적으로 큰 면적을 가질 수 있다. 컬러 픽셀 센서의 크기가 컬러 픽셀보다 큰 경우, 복수의 컬러 픽셀들이 하나의 컬러 픽셀 센서에 대응할 수 있다. 복수의 컬러 픽셀들이 하나의 컬러 픽셀 센서에 대응하는 경우, 각각의 컬러 픽셀의 픽셀 값은 컬러 픽셀 센서에 의해 생성된 값으로, 동일하게 설정될 수 있다.
단계(1220)에서, 초기 이미지의 픽셀들 중 컬러 픽셀에 대한 팬크로매틱 픽셀 값이 결정될 수 있다. 컬러 픽셀 값을 가지는 컬러 픽셀에 대한 비컬러 픽셀 값 또는 팬크로매틱 픽셀 값이 계산될 수 있다.
단계(1230)에서, 팬크로매틱 픽셀 값을 컬러 픽셀에 설정함으로써 팬크로매틱 이미지가 생성될 수 있다. 예를 들어, 초기 이미지의 픽셀들 중 컬러 픽셀 센서 대응하는 컬러 픽셀들의 값을 팬크로매틱 픽셀 값으로 변경할 수 있다.
단계(1240)에서, 컬러 픽셀에 대한 컬러 픽셀 값 및 팬크로매틱 이미지에 기반하여 복원 이미지가 생성될 수 있다. 예를 들어, 초기 이미지의 컬러 픽셀 값을 팬크로매틱 이미지에 확신시킴으로써 복원 이미지를 생성할 수 있다.
도 13은 일 예에 따른 팬크로매틱 이미지를 생성하는 방법의 흐름도이다.
이미지 센서(1110)에 의해 초기 이미지(1310)가 생성될 수 있다. 초기 이미지(1310)는 복수의 비컬러 픽셀들 및 하나 이상의 컬러 픽셀 영역(1315)을 포함할 수 있다. 컬러 픽셀 영역(1315)은 비컬러 픽셀의 크기보다 더 클 수 있고, 컬러 픽셀 영역(1315)은 복수의 비컬러 픽셀들에 의해 둘러싸일 수 있다.
컬러 픽셀 영역(1315)에 포함된 하나 이상의 컬러 픽셀들(1331, 1332, 1333 및 1334)에 대한 팬크로매틱 픽셀 값들(1341, 1342, 1343 및 1344)이 결정될 수 있다.
초기 이미지의 비컬러 픽셀들(1320)의 픽셀 값 및 컬러 픽셀들(1331, 1332, 1333 및 1334)에 대한 팬크로매틱 픽셀 값들(1341, 1342, 1343 및 1344)에 기반하여 팬크로매틱 이미지(1350)가 생성될 수 있다. 예를 들어, 팬크로매틱 픽셀 값들(1341, 1342, 1343 및 1344)을 초기 이미지의 컬러 픽셀들의 픽셀 값으로 설정함으로써 팬크로매틱 이미지를 생성할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
100: 이미지 센서
120: 픽셀 어레이
122: 단위 픽셀
140: ADC
160: DSP
180: 콘트롤러

Claims (18)

  1. 이미지 센서에 있어서,
    비컬러(non-color) 신호를 센싱하는 복수의 비컬러 픽셀 센서들; 및
    컬러 신호를 센싱하는 하나 이상의 컬러 픽셀 센싱 영역들
    을 포함하고,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 하나의 제1 컬러 픽셀 센서, 두 개의 제2 컬러 픽셀 센서들 및 하나의 제3 컬러 픽셀 센서로 구성되고,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 상기 각각의 비컬러 픽셀 센서의 면적보다 물리적으로 큰 면적을 갖고,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 상기 복수의 비컬러 픽셀 센서들에 의해 둘러싸이고,
    적어도 두개의 비컬러 픽셀 센서들이 컬러 픽셀 센싱 영역들 사이에 배치되는,
    이미지 센서.
  2. 삭제
  3. 제1항에 있어서,
    상기 각각의 비컬러 픽셀 센서는 팬크로매틱(panchromatic) 픽셀 센서인,
    이미지 센서.
  4. 제1항에 있어서,
    상기 이미지 센서의 픽셀 어레이에서, 상기 하나 이상의 컬러 픽셀 센싱 영역들의 면적 비율은 상기 복수의 비컬러 픽셀 센서들로 구성된 비컬러 픽셀 센싱 영역의 면적 비율보다 작은,
    이미지 센서.
  5. 삭제
  6. 제4항에 있어서,
    상기 픽셀 어레이에 포함되는 상기 하나 이상의 컬러 픽셀 센싱 영역들 간의 간격은 상기 비컬러 픽셀 센싱 영역의 면적 비율에 기반하여 결정되는,
    이미지 센서.
  7. 제1항에 있어서,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각의 면적은 상기 각각의 비컬러 픽셀 센서의 면적보다 2 이상 및 9 이하의 실수 배인,
    이미지 센서.
  8. 삭제
  9. 삭제
  10. 이미지 센서에 있어서,
    비컬러(non-color) 신호를 센싱하는 복수의 비컬러 픽셀 센서들; 및
    컬러 신호를 센싱하는 하나 이상의 컬러 픽셀 센싱 영역들
    을 포함하고,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 하나의 제1 컬러 픽셀 센서, 두 개의 제2 컬러 픽셀 센서들 및 하나의 제3 컬러 픽셀 센서로 구성되고,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 상기 복수의 비컬러 픽셀 센서들에 의해 둘러싸이고,
    적어도 두개의 비컬러 픽셀 센서들이 컬러 픽셀 센싱 영역들 사이에 배치되는,
    이미지 센서.
  11. 제10항에 있어서,
    상기 하나 이상의 컬러 픽셀 센싱 영역들 각각은 상기 각각의 비컬러 픽셀 센서의 면적보다 물리적으로 큰 면적을 갖는,
    이미지 센서.
  12. 제10항에 있어서,
    상기 이미지 센서의 픽셀 어레이에서, 상기 하나 이상의 컬러 픽셀 센싱 영역들의 면적 비율은 상기 복수의 비컬러 픽셀 센서들로 구성된 비컬러 픽셀 센싱 영역의 면적 비율보다 작은,
    이미지 센서.
  13. 삭제
  14. 제12항에 있어서,
    상기 픽셀 어레이에 포함되는 상기 하나 이상의 컬러 픽셀 센싱 영역들 간의 간격은 상기 비컬러 픽셀 센싱 영역의 면적 비율에 기반하여 결정되는,
    이미지 센서.
  15. 삭제
  16. 이미지 센서로부터 초기 이미지를 수신하는 단계;
    상기 초기 이미지의 픽셀들 중 컬러 픽셀에 대한 팬크로매틱 픽셀 값을 결정하는 단계;
    상기 팬크로매틱 픽셀 값을 상기 컬러 픽셀에 설정함으로써 팬크로매틱 이미지를 생성하는 단계; 및
    상기 초기 이미지의 컬러 픽셀의 컬러 픽셀 값 및 상기 팬크로매틱 이미지에 기반하여 복원 이미지를 생성하는 단계
    를 포함하고,
    상기 초기 이미지는,
    복수의 비컬러 픽셀들; 및
    하나 이상의 컬러 픽셀 영역들을 포함하고,
    상기 하나 이상의 컬러 픽셀 영역들 각각은 하나의 비컬러 픽셀보다 물리적으로 큰 면적을 갖고,
    상기 하나 이상의 컬러 픽셀 영역들 각각은 하나의 제1 컬러 픽셀, 두 개의 제2 컬러 픽셀들 및 하나의 제3 컬러 픽셀로 구성되고,
    상기 각각의 컬러 픽셀 영역은 상기 복수의 비컬러 픽셀들에 의해 둘러싸이고,
    적어도 두개의 비컬러 픽셀들이 상기 하나 이상의 컬러 픽셀 영역들 사이에 배치되는,
    복원 이미지 생성 방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 복원 이미지를 생성하는 단계는,
    상기 초기 이미지의 컬러 픽셀 값을 상기 팬크로매틱 이미지에 확산시킴으로써 상기 복원 이미지를 생성하는 단계
    를 포함하는,
    복원 이미지 생성 방법.
KR1020160017138A 2016-02-15 2016-02-15 이미지 센서 및 복원 이미지 생성 방법 KR102502452B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160017138A KR102502452B1 (ko) 2016-02-15 2016-02-15 이미지 센서 및 복원 이미지 생성 방법
US15/386,774 US10171782B2 (en) 2016-02-15 2016-12-21 Image sensor and method of generating restoration image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160017138A KR102502452B1 (ko) 2016-02-15 2016-02-15 이미지 센서 및 복원 이미지 생성 방법

Publications (2)

Publication Number Publication Date
KR20170095572A KR20170095572A (ko) 2017-08-23
KR102502452B1 true KR102502452B1 (ko) 2023-02-22

Family

ID=59561912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160017138A KR102502452B1 (ko) 2016-02-15 2016-02-15 이미지 센서 및 복원 이미지 생성 방법

Country Status (2)

Country Link
US (1) US10171782B2 (ko)
KR (1) KR102502452B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118620A1 (zh) 2018-12-13 2020-06-18 深圳市汇顶科技股份有限公司 指纹识别装置、方法和电子设备
CN111385543B (zh) * 2020-03-13 2022-02-18 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
KR20220060297A (ko) * 2020-11-04 2022-05-11 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2022199413A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 像素传感阵列和视觉传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130168795A1 (en) * 2010-07-13 2013-07-04 Nokia Corporation Color Image Sensing
US20140078366A1 (en) * 2012-09-14 2014-03-20 Aptina Imaging Corporation Imaging systems with image pixels having varying light collecting areas

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6434050A (en) 1987-07-29 1989-02-03 Canon Kk Line sensor for reading color
JPH03135184A (ja) * 1989-10-19 1991-06-10 Sanyo Electric Co Ltd カラー固体撮像素子
US5485293A (en) * 1993-09-29 1996-01-16 Honeywell Inc. Liquid crystal display including color triads with split pixels
TW475330B (en) 1999-10-29 2002-02-01 Hewlett Packard Co Photosensor array with multiple different sensor areas
US6961157B2 (en) 2001-05-29 2005-11-01 Xerox Corporation Imaging apparatus having multiple linear photosensor arrays with different spatial resolutions
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008078922A (ja) 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
US8125533B2 (en) * 2007-05-08 2012-02-28 Seiko Epson Corporation Undeveloped image data developing apparatus, method for developing undeveloped image data, and computer program for developing undeveloped image data
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US20110157395A1 (en) * 2009-12-31 2011-06-30 Compton John T Image sensor with fractional resolution image processing
US8547394B2 (en) * 2010-05-21 2013-10-01 Seiko Epson Corporation Arranging and processing color sub-pixels
KR101332689B1 (ko) * 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
US9154750B2 (en) * 2013-05-28 2015-10-06 Omnivision Technologies, Inc. Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
US20150054997A1 (en) * 2013-08-23 2015-02-26 Aptina Imaging Corporation Image sensors having pixel arrays with non-uniform pixel sizes
KR101611261B1 (ko) * 2013-12-12 2016-04-12 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2016018586A1 (en) * 2014-08-01 2016-02-04 Sri International Imaging sensor and method for color night vision
EP3113478A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Plenoptic foveated camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130168795A1 (en) * 2010-07-13 2013-07-04 Nokia Corporation Color Image Sensing
US20140078366A1 (en) * 2012-09-14 2014-03-20 Aptina Imaging Corporation Imaging systems with image pixels having varying light collecting areas

Also Published As

Publication number Publication date
US20170237957A1 (en) 2017-08-17
KR20170095572A (ko) 2017-08-23
US10171782B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
JP6096243B2 (ja) 画像データの処理方法およびシステム
CN212785522U (zh) 图像传感器和电子设备
KR102356706B1 (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US10021358B2 (en) Imaging apparatus, imaging system, and signal processing method
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9232203B2 (en) Image processing device, imaging device, image processing method, imaging method, and image processing program for pseudo-color supression in an image
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
KR102684722B1 (ko) 이미지 센서 및 그 동작 방법
EP2446474B1 (en) Gradient color filters for sub-diffraction limit sensors
JP6418785B2 (ja) 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
KR102502452B1 (ko) 이미지 센서 및 복원 이미지 생성 방법
JP2009017544A (ja) 撮像装置
JP2010531540A (ja) 広いダイナミックレンジと良好な色再現性および解像度を有する画素アレイならびに画素アレイを用いたイメージセンサ
US10229475B2 (en) Apparatus, system, and signal processing method for image pickup using resolution data and color data
US20180098015A1 (en) Method and apparatus for embodying adc and pga using common amplifier
JP2019106576A (ja) 撮像装置及び撮像システム
TW201633521A (zh) 在彩色濾波器陣列上之光學隔離柵格
CN110944126A (zh) 校正不均匀暗电流的图像传感器
JP2016213740A (ja) 撮像装置及び撮像システム
US20110141561A1 (en) Color filter array using dichroic filter
JP2016197794A (ja) 撮像装置
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統
TW201737703A (zh) 具有透明濾波器像素之成像系統
JP2004320269A (ja) 固体電子撮像素子のシェーディング補正装置および方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160215

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210215

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160215

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220228

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220927

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220228

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220927

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220426

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20230119

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20221227

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220927

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220426

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PG1601 Publication of registration