KR100982685B1 - 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법 - Google Patents

고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR100982685B1
KR100982685B1 KR1020087009559A KR20087009559A KR100982685B1 KR 100982685 B1 KR100982685 B1 KR 100982685B1 KR 1020087009559 A KR1020087009559 A KR 1020087009559A KR 20087009559 A KR20087009559 A KR 20087009559A KR 100982685 B1 KR100982685 B1 KR 100982685B1
Authority
KR
South Korea
Prior art keywords
luminance
filter
pixel
color
pixels
Prior art date
Application number
KR1020087009559A
Other languages
English (en)
Other versions
KR20080048549A (ko
Inventor
소린 다비도비치
Original Assignee
알제이에스 테크놀로지, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알제이에스 테크놀로지, 인코포레이티드 filed Critical 알제이에스 테크놀로지, 인코포레이티드
Publication of KR20080048549A publication Critical patent/KR20080048549A/ko
Application granted granted Critical
Publication of KR100982685B1 publication Critical patent/KR100982685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133509—Filters, e.g. light shielding masks
    • G02F1/133514—Colour filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/52—RGB geometrical arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

휘도 픽셀을 이용하여 고성능의 컬러 필터 모자이크 어레이(CFA)를 구현하는 방법이 개시된다. 휘도 픽셀의 도입에 따라 정해진 픽셀 및 이미지 센서 사이즈에서 이미지 획득 과정의 정확성을 상당히 향상시킬 수 있다.

Description

고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법{System and method for a high performance color filter mosaic array}
본원은 소린 다비도비치(Sorin Davidovici)에 의해 2005년 10월 13일에 출원된 가특허출원 제60/726,334호에 대한 우선권을 35 U.S.C. §1.119(e)에 따라 주장한다. 상기 우선 출원은 참조로써 본원에 통합된다.
본 발명은 측광 분야에 관한 것으로서, 보다 상세하게는 고성능의 컬러 필터 모자이크 어레이(CFA, color filter mosaic arrays)에 관한 것이다.
포토메트리(photo metry)는 가시광의 측정을 다룬다. 인간의 눈은 단지 가시광선 영역의 빛만을 볼 수 있으며, 가시광선 영역 내의 빛에 대해서도 파장대별로 다른 민감도를 갖는다. 주간의 밝은 장소에서 인간의 눈이 명순응 상태에 있을 때, 인간의 눈은 555nm 파장의 녹황색의 빛에 가장 민감하다.
인간의 눈에는 입사 광선의 파장대별로 다른 반응 곡선에 따라 반응하는 세가지 종류의 색상 수용 세포(즉, 원추세포)가 있다. 또한, 인간의 눈에는 네 번째 종류의 시세포로서 간상세포도 존재하는데, 간상세포는 색상을 인지하는 역할은 수 행하지 않는다. 인간의 눈에 정확히 세가지 종류의 색상 수용 세포가 존재한다는 것은 색상을 인지함에 있어서 3개의 성분요소가 필요하며 또한 그것만으로도 색상을 인지하기에 충분하다는 것을 의미한다.
디지털 이미지은 다수의 픽셀 또는 그림 성분들로 이루어진다. 컬러 이미지에서 픽셀값들은 트라이 스티뮬러스 값(tristimulus values)에 의해 특정된다. 트라이 스티뮬러스 값들은 인지 색상을 특정하기 위한 3가지 원색의 양들이다. 그 색상들은 바람직하게 3원색의 조합인 적색(red), 녹색(green) 및 청색(blue)로 구성될 수 있다.
일반적으로, 픽셀은 비트맵 이미지 또는 고체촬상장치, 디스플레이 스크린 상의 이미지에서 어드레스할 수 있는 가장 작은 단위이다. 이미지의 해상도는 수평 및 수직 픽셀들의 수의 곱으로 표현된다. 예를 들어, 1024x768의 이미지 해상도를 갖는다는 것은 이미지가 1024개의 픽셀 행과 768개의 픽셀 열로 이루어졌다는 것을 의미한다. 대다수의 이미지 획득 및 디스플레이 시스템은 동일 위치에서 다른 컬러 채널들을 표시할 수 없다. 이는 각각 하나씩의 컬러 채널을 취급하는 복수개의 서브픽셀을 이용함에 의해 해결될 수 있다. 컬러 시스템에서, 각각의 픽셀은 일반적으로 적어도 세 개(예를 들어, 적색, 녹색, 청색)의 서브픽셀들에 대한 값을 포함하고 있다.
하나의 이미지 센서 픽셀 내에 포함되는 물리적 서브픽셀의 평균적인 개수는 이미지 센서의 실리콘 영역의 면적과 연관되므로, 화질을 크게 떨어뜨리지 않는 한도 내에서 적을 수록 좋다. 이미지 센서에 적색, 녹색, 청색의 감도를 부여하기 위 해 가장 광범위하게 사용되는 방법으로는 이미지 센서의 상부에 컬러 필터 모자이크 어레이(color filter mosaic array, 이하 CFA로 약칭함 )를 적용하는 것이 있다. CFA는 필터들의 어레이를 포함한다. 각각의 필터가 그들과 결합된 이미지 센서에 제공할 수 있는 빛의 파장은 제한되어 있다. 가장 일반적인 구현 방법으로는 적색, 녹색, 청색의 3색 RGB 패턴이 있다. 황색(yellow), 청록색(cyan), 자홍색(magenta)에 의한 3색의 보색 패턴, 원색/보색의 혼합 패턴, 백색 또는 시프트된 파장 감도를 갖는 색을 제4색으로 포함시킨 4색 패턴과 같은 다른 구현 방법이 존재할 수도 있다.
CFA 패턴을 선택함에 있어서 적용될 수 있는 다양한 기술적, 물리적 구현 방법이 존재할 수 있지만, 중요한 점들은 컬러 가공(color artifacts), 무아레 패턴(
Figure 112008028374433-pct00001
patterns)에 대한 면역성, 이미지 센서의 불완전성으로부터 기인하는 패턴 간 상호작용 및 컬러의 재구성에 의한 계산적 복잡도의 최소화, 인접 픽셀 간 광학적, 전기적 혼선에 대한 면역성을 고려해야 한다는 점이다. 따라서, 컬러 패턴으로서 바람직한 후보군은 각 픽셀의 인접 영역 내에서 유효한 적색, 녹색, 청색의 세가지 성분 모두를 가져야 하며, 각각의 픽셀은 동일한 개수의 주어진 색을 가진 주변 픽셀들을 가지고, 가능하면 대각선 픽셀 정렬이 바람직하다.
도 1은 현재 가장 많이 사용되고 있는 CFA 패턴의 하나로서 베이어 패턴(Bayer pattern)을 나타낸 것이다. 각 픽셀은 적색, 녹색 및 청색의 개별 필터를 포함하고 있다. 따라서, 각각의 이미지 센서 또는 픽셀은 단지 하나의 컬러를 획득한다. 각 픽셀에 대한 풀 컬러 값은 주변 픽셀 값을 이용하여 보간(interpolation)을 수행함으로써 결정된다. 참조번호 110의 적색 픽셀, 참조번호 120 및 130의 녹색 픽셀, 참조번호 140의 청색 픽셀은 기본 베이어 패턴을 형성하며, 이러한 기본 베이어 패턴은 실제 이미지 센서에서 수회 반복 배열된다. 동일 픽셀 수 및 면적을 갖는 단색 센서와 비교할 때, CFA 방식은 가용 공간의 문제를 대략적으로 30% 에서 40% 까지 낮출 수 있으며, 각 픽셀에 대한 컬러 값을 재구성하기 위해 보간 계산을 필요로 한다.
RGB 컬러 모델도 이미지의 컴퓨터 그래픽 렌더링에 충분하지만, 일반적으로 YUV 컬러 모델이 사람의 컬러 인지를 보다 정확히 모델하는 것으로 인식되고 있다. YUV 컬러 모델은 하나의 휘도 성분(Y)과 두개의 색차 성분(UV)(즉, 채도 및 색조)으로 색공간을 정의한다. 디지털 카메라에서는 일반적으로 이미지 재구성 과정을 이용하여 RGB 픽셀 값을 YUV 성분으로 변환하며, 이때 휘도(Y) 채널은 녹색 픽셀에 의해 근사화된다. 녹색 픽셀이 아닌 픽셀에 대한 휘도는 간단한 보간법에 의해 근사화된다. 적색 및 청색 픽셀의 색차는 상기 근사화된 휘도 값을 이용하여 Cr=R-Y 및 Cb=B-Y로 계산된다. Cr 및 Cb 값은 공간적으로 필터링되고, 잘못된 값은 보간법에 의해 획득되어진다. 이때, 모든 픽셀은 휘도값 및 색차값을 가지고 있으며, 이에 대한 RGB 값은 R=Y + Cr, B=Y + Cb 를 통해, G는 Y=(R+G+B)/3 또는 Y=0.2R + 0.7G + 0.1B 또는 다른 유사한 공식을 통해 계산된다. 상술한 베이어 CFA 방식은 정확도와 해상도의 단순성 간에 트레이드 오프 관계에 있음이 분명하다.
비록 개별 픽셀 컬러를 유도하는 방법은 상술한 방법 이외에도 다양한 방법 이 존재할 수 있지만, 이 모두는 베이어 CFA 방식에 기초하고 있다는 점에서 근본적인 한계에 직면한다. 왜냐하면, 베이어 CFA 방식은 휘도를 직접 얻을 수 있는 것이 아니라, 녹색, 적색, 청색의 색 정보로부터 휘도를 간접적으로 획득하여야 하기 때문이다. 인간의 눈은 휘도 정보에 가장 민감하기 때문에, 종래 기술의 방법을 이용하여 제공된 이미지는 최선이 아닌 차선일 수 밖에 없는 것이다.
본 발명의 일 측면에 따르면, 픽셀은 복수개의 컬러를 갖는 휘도 필터를 포함하되, 상기 휘도 필터에서 상기 컬러들 각각의 사이즈는 상기 복수개의 컬러를 이용한 휘도 계산에 이용되는 상기 컬러의 몫에 비례할 수 있다.
본 발명의 다른 측면에 따르면, 컬러 필터 어레이는 휘도 픽셀을 포함하되, 상기 휘도 픽셀은 복수개의 컬러를 갖는 휘도 필터를 포함하고, 상기 휘도 필터에서 상기 컬러들 각각의 사이즈는 상기 복수개의 컬러를 이용한 휘도 계산에 이용되는 상기 컬러의 몫에 비례할 수 있다.
이러한 배열에 따라, 휘도 정보는 각각의 픽셀에서 직접 측정될 수 있어, 고해상도 및 높은 정확도를 갖는 결과 출력 이미지를 제공할 수 있다. 본 발명의 이외의 다른 이점은 첨부된 도면에 따른 이하의 상세한 설명을 통해 보다 명확히 이해될 수 있을 것이다.
도 1은 종래 기술에 따른 베이어 패턴 컬러 필터 어레이의 다이어그램.
도 2는 본 발명의 휘도 필터의 몇 가지 실시예를 나타낸 다이어그램.
도 3은 본 발명의 휘도 픽셀의 성분을 나타낸 하이 레벨 블록 다이어그램.
도 4는 도 2의 휘도 필터를 이용한 본 발명의 컬러 필터 어레이의 제1 실시예에 따른 다이어그램.
도 5는 도 2의 휘도 필터를 이용한 본 발명의 컬러 필터 어레이의 제2 실시예에 따른 다이어그램.
본 발명의 일 측면에 따르면, 휘도 필터가 제공되며, 휘도 필터는 컬러 필터 어레이(CFA)를 이용하여 이미지에서 휘도 픽셀 정보를 직접 획득할 수 있다. 휘도 픽셀의 도입은 주어진 픽셀 및 이미지 센서 사이즈에서 이미지 획득 과정을 수행함에 있어서 그 정확도를 크게 향상시킬 수 있다. 본 발명의 휘도 필터를 이용함으로써, 휘도는 고해상도 및 높은 정확도를 가지고 획득할 수 있다. 본 발명의 이외의 목적 및 이점은 후술할 상세한 설명 및 도면을 통해 분명해질 것이다.
본 발명의 일 측면은 인간의 눈이 픽셀 색차 정보보다 픽셀 휘도 정보에 더 민감하다는 사실을 활용하며, 이는 베이어 CFA에 의해 활용되지 못하였던 사실이다. 본 발명의 개선된 CFA 디자인은 색차 정보 획득을 넘어 휘도 정보 획득을 강조함으로써, 화질을 전반적으로 크게 개선하고, 주어진 이미지 획득 해상도를 충족하 기 위해 필요한 센서 실리콘 영역을 감소시킬 수 있다. 많은 변형의 일 예로서 휘도(Y) 픽셀 마스크가 이용될 수 있으며, 휘도 픽셀 마스크는 휘도 정보를 직접 획득할 수 있다.
휘도 픽셀은 이미지 센서의 상부에 위치한 휘도(Y) 마스크를 포함하며, 휘도 마스크는 입사된 광 파장으로부터 이미지 센서가 직접 휘도 데이터를 추출해낼 수 있도록 한다. 따라서, 본 발명은 고해상도의 출력을 획득하기 위해 수행하던 종래 기술에서의 보간 과정의 부정확성 및 복잡성을 제거할 수 있다.
도 2A 내지 도 2C는 Y 픽셀에 대한 광학 필터 마스크 패턴의 몇가지 예를 나타낸 것이다. 도 2A 내지 도 2C에서는 Y 픽셀 마스크가 적색, 녹색, 청색 성분을 이용하는 것으로 도시하고 있지만, 이는 단지 일 예에 불과하다. 황색, 청록색, 자홍색에 의한 3색의 보색 패턴, 원색/보색의 혼합 패턴, 백색 또는 시프트된 파장 감도를 갖는 색을 제4색으로 포함시킨 4색 패턴과 같은 다른 컬러 조합으로도 구현될 수 있으며, 본 발명은 그 컬러 조합에 특별한 제한이 없다.
광학 필터 마스크는 특정 컬러는 흡수하고 나머지 컬러들은 투과시킬 수 있도록 착색된 글래스, 젤라틴, 플라스틱 또는 이외의 다른 재질의 시트로 형성될 수 있다. 도 2A 내지 도 2C에는 광학 필터 마스크가 특정 형상 및 패턴을 갖는 것으로 도시되고 있지만, 이는 필터링된 컬러들의 합성 비율이 그대로 유지되는 한도에서 크게 문제되지 않음은 물론이다. 본 발명에서 Y 픽셀은 Y=0.2R + 0.7G + 0.1B로 정의되는 것으로 가정한다. 즉, 휘도 필터의 적색 영역은 휘도 필터의 청색 영역보다 2배 크고, 휘도 필터의 녹색 영역은 휘도 필터의 청색 영역보다 7배 큰 것으로 가정한다. 다른 요인들 중에서도 상정한 인간의 시야 특성에 따라 성분 컬러들의 다른 비율도 이용될 수 있다.
도 2A 내지 도 2C는 픽셀의 형태를 임의대로 도시하였다. 도 2A는 직사각형 형태의 픽셀을, 도 2B는 정사각형 형태의 픽셀을, 도 2C는 원 형태의 픽셀을 도시하고 있지만, 본 발명의 사상의 범위 내에서 이와 등가적으로 평가될 수 있는 특정 디자인에 의한 다른 형태를 가질 수도 있음은 물론이다.
도 3은 본 발명의 Y 픽셀의 성분들을 도시한 다이어그램이다. Y 픽셀은 Y 픽셀 마스크(42)와 이미지 센서(40)를 포함한다. Y 픽셀 마스크는 복수개의 컬러를 가진 컬러 필터를 포함하는 마스크이며, Y 픽셀 마스크의 복수개의 색 중 각각의 색의 사이즈는 휘도 계산에 포함된 컬러 파장의 비율에 따르게 된다. 이미지 센서는 CCD (charge-coupled device) or CMOS (complementary metal oxide semiconductor) 기술을 이용하여 구현될 수 있다. 바람직한 실시예에서, 이미지 센서는 모두 2006년 9월 21일에 다비도비치(Davidovici)를 출원인으로 하여 미국에 출원된 출원번호 11/533,866에 개시된 것과 같은 High Dynamic Range Sensitive Image Sensor 또는 출원번호 11/533,870에 개시된 것과 같은 High Dynamic Range Sensitive Sensor with Gain Control일 수 있고, 참조로써 본원에 통합된다. 도 3에 도시된 바와 같이, 빛은 휘도 픽셀 마스크에 침투하고, 이미지에 결합된 광자들은 이미지의 휘도 값에 비례하여 이미지 센서에 제공될 것이다.
도 2A 내지 도 2C의 휘도 픽셀 또는 그들의 등가물은 CFA에서 다양한 타입의 픽셀들을 가진 다양한 패턴으로 배열될 수 있다. 본 발명의 바람직한 일 실시예에 따라 휘도에 기초한 CFA 패턴이 도 4에 도시되고 있다. 참조번호 210, 230, 250, 270, 280, 290, 310, 320, 330, 340, 250 및 360의 픽셀은 휘도 픽셀로서, 참조번호 220, 240의 픽셀은 적색 픽셀로서, 참조번호 260, 300의 픽셀은 청색 픽셀로서 실제 이미지 센서에 수회 반복되는 기본 패턴을 형성한다. 이러한 바람직한 CFA 패턴은 인간의 눈의 사이코비쥬얼(psychovisual) 특성을 활용하는 것이며, 베이어 CFA 패턴의 결점을 제거할 수 있다.
또한, Y 픽셀의 도입은 이미지 해상도의 증가에 직접적으로 도움을 준다. 도 4에서 색채 픽셀인 적색 픽셀 및 청색 픽셀은 휘도(Y) 픽셀에 의해 둘러싸여져 있음을 분명히 확인할 수 있다. 모든 공간 방향으로부터의 휘도 정보를 이용한다는 것은 색채 픽셀의 위치에서 휘도 정보의 복원을 정확히 할 수 있게 한다. 예를 들어, 색채 픽셀 위치에서 휘도 값은 보간법 또는 수학적 기법에 기초하여 널리 공지된 방법을 이용하여 유도해낼 수 있다.
도 4에서 각각의 휘도 픽셀은 2개 또는 4개의 색채 픽셀에 의해 테둘러지고 있음을 분명히 확인할 수 있다. 휘도 픽셀에 색채 픽셀이 근접 위치한다는 것은 휘도 픽셀의 위치에서 보간법 또는 다른 수학적 기법에 기초하는 널리 공지된 방법을 이용함으로써 색채 정보를 정확히 복원할 수 있게 한다. 휘도 픽셀 값 내에 색채 정보가 존재한다는 것 또한 휘도 픽셀 위치에서 색채 정보를 정확히 복원해내는데 도움이 된다.
휘도 픽셀을 이용한 바람직한 다른 CFA 구현이 도 5에 도시되고 있다. 참조번호 510의 픽셀은 적색 픽셀로서, 참조번호 540의 픽셀은 청색 픽셀로서, 참조번호 520 및 530의 픽셀은 휘도 픽셀로서 실제 이미지 센서에 수회 반복되는 기본 패턴을 형성한다. 이러한 바람직한 CFA 패턴은 인간의 눈의 사이코비쥬얼 특성을 활용하는 것이며, 베이어 CFA 패턴의 결점을 제거할 수 있다. 새로이 도입된 Y 픽셀에는 녹색, 적색, 청색 정보가 혼합되어 있다. Y 픽셀은 인간의 눈에 가장 민감한 정보인 휘도 정보를 직접 포함함으로써, 이미지 센서의 실효 해상도를 증가시켜준다.
도 5에서는 각각의 휘도 픽셀이 4개의 색채 픽셀에 의해 둘러싸여지고 있음을 분명히 확인할 수 있다. 휘도 픽셀에 색채 정보가 근접 위치한다는 것은 휘도 픽셀의 위치에서 보간법 또는 다른 수학적 기법에 기초하는 널리 공지된 방법을 이용함으로써 색채 정보를 정확히 복원할 수 있게 한다. 휘도 픽셀 값 내에 색채 정보가 존재한다는 것 또한 휘도 픽셀 위치에서 색채 정보를 정확히 복원해내는데 도움이 된다.
이와 같이, 본 발명은 휘도 픽셀을 이용함으로써 이미지 해상도를 상당히 증가시킬 수 있는 CFA 필터의 구현 방법에 관한 것이다. 도 3 및 도 4에서 설명한 CFA 구현 방식과 더불어 그와 유사한 원리에 의한 다른 CFA 구현 방식이 존재할 수 있음은 당업자에게 자명하다 할 것이다.
이상에서 상세한 설명을 통해 설명된 본 발명의 다양한 실시예들에 대한 특정 구성 및 과정 단계들은 단지 대표적인 일 예를 설명한 것에 불과함을 명확히 이 해하여야 할 것이다. 다른 기능적인 설계 또는 추가적인 단계 및 구성이 해당 기술분야의 자명한 기술로서 추가될 수 있는 바, 본 발명은 상세한 설명을 통해 개시된 특정 실시예만으로 제한되지 않을 것이다. 다양히 구상화된 요소들이 하드웨어, 컴퓨터 상에서 동작되는 소프트웨어 또는 그들의 조합에 의해 구현될 수 있으며, 상술한 실시예들의 변형도 이상에서 개시된 발명의 개념 및 원리를 벗어나지 않는 한 가능하다 할 것이다. 따라서, 본 발명은 이하에서 청구된 청구항들의 사상 및 범위에 의하지 않은 채, 달리 제한 해석되서는 안된다 할 것이다.

Claims (15)

  1. 픽셀 상부에 위치된 단일 픽셀 휘도 필터를 포함하되,
    상기 단일 픽셀 휘도 필터는 복수개의 컬러를 포함하고, 상기 단일 픽셀 휘도 필터의 상기 컬러들 각각의 사이즈는 상기 픽셀에 대한 휘도 값을 계산하는데 이용되는 상기 단일 픽셀 휘도 필터에서 해당 컬러가 차지하는 비율에 비례하고, 상기 픽셀의 휘도 값은 상기 단일 픽셀 휘도 필터를 통해 받은 필터된 전자기 방사만을 이용하여 결정되는 픽셀.
  2. 제1항에 있어서,
    상기 단일 픽셀 휘도 필터로부터 휘도 필터링된 전자기 방사 신호를 입력받고, 입력 전자기 방사 신호의 휘도를 지시하는 출력을 제공하기 위해 결합된 이미지 센서를 더 포함하는 픽셀.
  3. 제1항에 있어서,
    상기 복수개의 컬러는 적색, 녹색 및 청색을 포함하되,
    녹색 필터는 상기 단일 픽셀 휘도 필터의 70% 를 차지하고, 적색 필터는 상기 단일 픽셀 휘도 필터의 20% 를 차지하며, 청색 필터는 상기 단일 픽셀 휘도 필터의 10% 를 차지하는 픽셀.
  4. 휘도 픽셀을 포함하되,
    상기 휘도 픽셀은 복수개의 컬러를 포함하는 단일 픽셀 휘도 필터를 포함하고, 상기 단일 픽셀 휘도 필터의 상기 컬러들 각각의 사이즈는 상기 휘도 픽셀의 휘도 값을 계산하는데 이용되는 상기 단일 픽셀 휘도 필터에서 해당 컬러가 차지하는 비율에 비례하고, 상기 휘도 값은 상기 단일 픽셀 휘도 필터를 통해 받은 필터된 전자기 방사만을 이용하여 결정되는 컬러 필터 어레이.
  5. 제4항에 있어서,
    상기 단일 픽셀 휘도 필터로부터 휘도 필터링된 전자기 방사 신호를 입력받고, 입력 전자기 방사 신호의 휘도를 지시하는 출력을 제공하기 위해 결합된 이미지 센서를 더 포함하는 컬러 필터 어레이.
  6. 제4항에 있어서,
    상기 복수개의 컬러는 적색, 녹색 및 청색을 포함하되,
    녹색 필터는 상기 단일 픽셀 휘도 필터의 70% 를 차지하고, 적색 필터는 상기 단일 픽셀 휘도 필터의 20% 를 차지하며, 청색 필터는 상기 단일 픽셀 휘도 필터의 10% 를 차지하는 컬러 필터 어레이.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제4항에 있어서,
    상기 단일 픽셀 휘도 필터의 형상은 이미지 센서의 형상에 일치하는 컬러 필터 어레이.
  11. 제4항에 있어서,
    상기 휘도 픽셀은 픽셀에 대한 휘도 정보만을 제공하는 컬러 필터 어레이.
  12. 제4항에 있어서,
    상기 휘도 픽셀은 상기 컬러 필터 어레이에 있는 복수개의 픽셀들 중 하나이고, 상기 복수개의 픽셀들 중 나머지는 색채 픽셀들로 구성되는 컬러 필터 어레이.
  13. 제12항에 있어서,
    각각의 휘도 픽셀은 상기 컬러 필터 어레이에서 적어도 하나의 색채 픽셀과 경계를 이루는 컬러 필터 어레이.
  14. 제13항에 있어서,
    각각의 휘도 픽셀은 상기 컬러 필터 어레이에서 4개의 색채 픽셀과 경계를 이루는 컬러 필터 어레이.
  15. 제14항에 있어서,
    상기 색채 픽셀들은 적색 픽셀들 및 청색 픽셀들을 포함하고, 상기 적색 픽셀들 및 상기 청색 픽섹들은 다른 열에 배치되는 컬러 필터 어레이.
KR1020087009559A 2005-10-13 2006-10-13 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법 KR100982685B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US72633405P 2005-10-13 2005-10-13
US60/726,334 2005-10-13

Publications (2)

Publication Number Publication Date
KR20080048549A KR20080048549A (ko) 2008-06-02
KR100982685B1 true KR100982685B1 (ko) 2010-09-17

Family

ID=37943579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087009559A KR100982685B1 (ko) 2005-10-13 2006-10-13 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US7872681B2 (ko)
EP (1) EP1961214A4 (ko)
JP (1) JP5118047B2 (ko)
KR (1) KR100982685B1 (ko)
CN (1) CN101455075B (ko)
WO (1) WO2007044953A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834807B2 (en) * 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7602427B2 (en) * 2006-07-07 2009-10-13 Honeywell International Inc. Image sensor that provides raw output comprising compressed data
US20080007637A1 (en) * 2006-07-07 2008-01-10 Honeywell International, Inc. Image sensor that provides compressed data based on junction area
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
KR101356698B1 (ko) * 2007-10-01 2014-01-29 삼성전자주식회사 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US8125545B2 (en) 2008-10-14 2012-02-28 International Business Machines Corporation Photo sensor array using controlled motion
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8786495B2 (en) 2010-07-14 2014-07-22 Zebra Enterprise Solutions Corp. Frequency channel diversity for real-time locating systems, methods, and computer program products
US8405748B2 (en) * 2010-07-16 2013-03-26 Omnivision Technologies, Inc. CMOS image sensor with improved photodiode area allocation
CN102158632B (zh) * 2011-04-08 2013-07-10 北京大学 一种cfa的获取方法及装置
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014083489A1 (en) 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems
CN103108140B (zh) * 2012-12-18 2018-06-05 上海集成电路研发中心有限公司 水平排布的像素阵列
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10148919B2 (en) * 2015-10-15 2018-12-04 Visera Technologies Company Limited Image sensor having yellow filter units
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US10151862B2 (en) * 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
CN108737747B (zh) * 2017-04-18 2021-06-11 上海富瀚微电子股份有限公司 一种去马赛克方法及装置
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN112655201B (zh) * 2020-04-23 2022-02-11 华为技术有限公司 一种图像编解码的方法、装置及系统、和存储介质
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
JP2021189336A (ja) * 2020-06-01 2021-12-13 株式会社ジャパンディスプレイ 表示装置
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140105A (ja) * 1994-11-14 1996-05-31 Sanyo Electric Co Ltd カラー固体撮像素子

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4352210A (en) * 1980-09-12 1982-09-28 General Electric Company Linear mixer with reduced spurious responses
US4419692A (en) * 1981-12-31 1983-12-06 Texas Medical Instruments, Inc. High speed infrared imaging system
DE3312962A1 (de) * 1982-04-12 1983-10-13 Canon K.K., Tokyo Bildaufnahmevorrichtung
US4629879A (en) * 1984-06-11 1986-12-16 Eastman Kodak Company Light beam intensity controlling apparatus
US4825144A (en) * 1987-11-10 1989-04-25 Motorola, Inc. Dual channel current mode switching regulator
US5119181A (en) * 1990-03-30 1992-06-02 Xerox Corporation Color array for use in fabricating full width arrays
US5416616A (en) * 1990-04-06 1995-05-16 University Of Southern California Incoherent/coherent readout of double angularly multiplexed volume holographic optical elements
US5305096A (en) * 1990-07-31 1994-04-19 Canon Kabushiki Kaisha Image signal processing apparatus using color filters and an image pick-up device providing, interlaced field signals
US5146320A (en) * 1990-08-08 1992-09-08 Canon Kabushiki Kaisha Color image pickup apparatus
JPH04150687A (ja) * 1990-10-15 1992-05-25 Nec Corp 固体撮像装置
US5461426A (en) * 1993-08-20 1995-10-24 Samsung Electronics Co., Ltd. Apparatus for processing modified NTSC television signals, with digital signals buried therewithin
KR0168451B1 (ko) * 1994-03-31 1999-01-15 다까노 야스아끼 컬러 고체 촬상 소자
JPH07274185A (ja) * 1994-03-31 1995-10-20 Sanyo Electric Co Ltd カラー固体撮像素子及びカラーフィルタの構成方法
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6137100A (en) * 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6188056B1 (en) * 1998-06-24 2001-02-13 Stmicroelectronics, Inc. Solid state optical imaging pixel with resistive load
US6396561B1 (en) * 1998-11-10 2002-05-28 Maniabarco N.V. Method and device for exposing both sides of a sheet
GB2345217A (en) * 1998-12-23 2000-06-28 Nokia Mobile Phones Ltd Colour video image sensor
EP1301118B1 (en) * 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
US7274383B1 (en) * 2000-07-28 2007-09-25 Clairvoyante, Inc Arrangement of color pixels for full color imaging devices with simplified addressing
JP3941481B2 (ja) * 2000-12-22 2007-07-04 セイコーエプソン株式会社 液晶表示装置および電子機器
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP4641675B2 (ja) * 2001-07-18 2011-03-02 三洋電機株式会社 画像信号処理装置
US6867693B1 (en) * 2001-07-25 2005-03-15 Lon B. Radin Spatial position determination system
JP2003162229A (ja) * 2001-09-14 2003-06-06 Sony Corp 画像表示装置用フィルタ及び画像表示装置、並びに画像表示装置の製造方法
US6849841B2 (en) * 2001-09-28 2005-02-01 Raytheon Company System and method for effecting high-power beam control with outgoing wavefront correction utilizing holographic sampling at primary mirror, phase conjugation, and adaptive optics in low power beam path
US6566723B1 (en) * 2002-01-10 2003-05-20 Agilent Technologies, Inc. Digital color image sensor with elevated two-color photo-detector and related circuitry
US7259788B1 (en) * 2002-01-28 2007-08-21 Pixim, Inc. Image sensor and method for implementing optical summing using selectively transmissive filters
US6809358B2 (en) 2002-02-05 2004-10-26 E-Phocus, Inc. Photoconductor on active pixel image sensor
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
US20040105021A1 (en) * 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
KR100920353B1 (ko) 2003-03-14 2009-10-07 삼성전자주식회사 표시 장치용 광원의 구동 장치
US7480000B2 (en) * 2003-06-25 2009-01-20 Fujifilm Corporation Image-taking apparatus including a vertical transfer control device
US8576487B2 (en) * 2004-01-07 2013-11-05 Texas Instruments Incorporated Spoke light recapture for the spoke between a color of a wheel and its neutral density complement
US8049806B2 (en) * 2004-09-27 2011-11-01 Digitaloptics Corporation East Thin camera and associated methods
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
JP2006165362A (ja) * 2004-12-09 2006-06-22 Sony Corp 固体撮像素子
US7253903B2 (en) * 2004-12-29 2007-08-07 United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for determining gas optical density changes in a non-linear measurement regime
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140105A (ja) * 1994-11-14 1996-05-31 Sanyo Electric Co Ltd カラー固体撮像素子

Also Published As

Publication number Publication date
JP2009511960A (ja) 2009-03-19
EP1961214A4 (en) 2011-11-16
JP5118047B2 (ja) 2013-01-16
US20070127040A1 (en) 2007-06-07
CN101455075B (zh) 2011-09-14
CN101455075A (zh) 2009-06-10
US20110109777A1 (en) 2011-05-12
WO2007044953A3 (en) 2007-11-08
US7872681B2 (en) 2011-01-18
WO2007044953A2 (en) 2007-04-19
EP1961214A2 (en) 2008-08-27
US8860857B2 (en) 2014-10-14
KR20080048549A (ko) 2008-06-02

Similar Documents

Publication Publication Date Title
KR100982685B1 (ko) 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법
US7400332B2 (en) Hexagonal color pixel structure with white pixels
US8723995B2 (en) Extended dynamic range in color imagers
RU2551649C2 (ru) Устройство формирования цветного изображения
CN102959958B (zh) 彩色成像设备
US20040105021A1 (en) Color filter patterns for image sensors
CN104412579B (zh) 彩色摄像元件以及摄像装置
RU2548567C1 (ru) Элемент формирования цветных изображений
CN104412581B (zh) 彩色摄像元件及摄像装置
GB2345217A (en) Colour video image sensor
US9036061B2 (en) Color imaging apparatus
CN103299643A (zh) 彩色成像设备
CN108513112B (zh) 基于颜色滤光器阵列的图像处理方法
JPS62277880A (ja) 固体撮像装置
US20220093666A1 (en) Color filter array apparatus
JPH0378388A (ja) カラー固体撮像素子
CN206908722U (zh) 用于彩色图像传感器的优化色彩滤波阵列
CN105323568A (zh) 一种数码相机中色彩滤镜阵列的彩色重建方法
CN103002292A (zh) 彩色图像传感器及彩色滤色元阵列
EP1575303A1 (en) Color filter patterns for image sensors
CN117692814A (zh) 一种互补像素阵列排布方法及相关组件

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130906

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150903

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 8