KR20140060673A - 컬러 보간 방법 및 장치 - Google Patents

컬러 보간 방법 및 장치 Download PDF

Info

Publication number
KR20140060673A
KR20140060673A KR1020120127253A KR20120127253A KR20140060673A KR 20140060673 A KR20140060673 A KR 20140060673A KR 1020120127253 A KR1020120127253 A KR 1020120127253A KR 20120127253 A KR20120127253 A KR 20120127253A KR 20140060673 A KR20140060673 A KR 20140060673A
Authority
KR
South Korea
Prior art keywords
pixel
layer
blue
interpolated
interpolation
Prior art date
Application number
KR1020120127253A
Other languages
English (en)
Inventor
이동재
백병준
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120127253A priority Critical patent/KR20140060673A/ko
Priority to US14/044,178 priority patent/US20140132808A1/en
Publication of KR20140060673A publication Critical patent/KR20140060673A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

컬러 보간 방법이 개시된다. 상기 컬러 보간 방법은 제1픽셀에서 상기 제1픽셀의 이웃 픽셀들의 픽셀 값들을 이용하여 제1픽셀 값을 보간하는 단계, 및 제2픽셀에 대해서는 보간을 생략하는 단계를 포함한다.

Description

컬러 보간 방법 및 장치{Method and apparatus for interpolating color}
본 발명의 개념에 따른 실시 예는 이미지 센서에 관한 것으로, 특히 픽셀의 컬러를 보간할 수 있는 컬러 보간 방법 및 장치에 관한 것이다.
이미지 센서는 광학 이미지 신호를 전기적인 이미지 신호로 변환하는 장치이다.
컬러 이미지를 제공하기 위해 상기 이미지 센서의 각 픽셀 위치마다 레드 픽셀 값, 그린 픽셀 값 및 블루 픽셀 값이 요구된다. 각 픽셀 위치마다 상기 레드 픽셀 값, 그린 픽셀 값, 및 블루 픽셀 값 중 어느 하나가 빠졌(miss)을 때, 상기 빠진 픽셀 값을 추정하는 디지털 이미지 과정이 필요하다. 상기 디지털 이미지 과정은 디모자익 알고리즘(demosaicing algorithm) 또는 보간이라고 호칭될 수 있다.
상기 디모자익 알고리즘의 계산 복잡함(computational complexity)과 상기 디모자익 알고리즘의 실행을 위한 하드웨어 자원들을 감소시키기 위한 방법이 필요하다.
본 발명이 이루고자 하는 기술적인 과제는 픽셀의 컬러를 보간할 수 있는 컬러 보간 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 컬러 보상 방법은 제1픽셀에서 상기 제1픽셀의 이웃 픽셀들의 픽셀 값들을 이용하여 제1픽셀 값을 보간하는 단계, 및 제2픽셀에 대해서는 보간을 생략하는 단계를 포함한다.
상기 제1픽셀은 제1층에 포함되고, 상기 제2픽셀은 제2층에 포함된다. 상기 제1층과 상기 제2층은 수직으로 적층된다.
상기 제1픽셀에서 상기 보간된 제1픽셀 값은 바이 리니어 보간(Bilinear interpolation)에 의해 계산된다.
실시 예에 따라 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 컨스탄트 휴 베이스드 보간(Constant Hue based interpolation)에 의해 계산된다.
또 다른 실시 예에 따라 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 에지 센싱 보간(edge sensing interpolation)에 의해 계산된다.
본 발명의 실시 예에 따른 장치는 제1픽셀을 포함하는 제1층과 제2픽셀을 포함하는 제2층을 포함하는 픽셀 어레이, 및 상기 픽셀 어레이로부터 출력되는 상기 제1픽셀의 이웃 픽셀들의 픽셀 값들을 이용하여 상기 제1픽셀에서 제1픽셀 값을 보간하며, 상기 제2픽셀에 대해서는 보간을 생략하는 이미지 신호 프로세서를 포함한다.
상기 제1층과 상기 제2층은 수직으로 적층된다.
상기 제1층은 제3픽셀을 더 포함하며 상기 제1픽셀과 상기 제3픽셀은 체크 패턴(checker pattern)으로 배치된다.
상기 제1픽셀에서 상기 보간된 제1픽셀 값은 바이 리니어 보간(Bilinear interpolation)에 의해 계산된다.
상기 제1픽셀에서 상기 보간된 제1픽셀 값은 컨스탄트 휴 베이스드 보간(Constant Hue based interpolation)에 의해 계산된다.
상기 제1픽셀에서 상기 보간된 제1픽셀 값은 에지 센싱 보간(edge sensing interpolation)에 의해 계산된다.
상기 제1픽셀은 블루 픽셀 또는 레드 픽셀이다.
상기 제2픽셀은 그린 픽셀이다.
상기 제2층은 유기 광전 변환 필름(organic photoelectric-conversion film)으로 형성된다.
본 발명의 실시 예에 따른 컬러 보간 방법 및 장치는 디모자익 알고리즘을 제안함으로써 상기 디모자익 알고리즘의 계산 복잡함과 상기 디모자익 알고리즘의 실행을 위한 하드웨어 자원들을 감소시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 픽셀 어레이의 단면도를 나타낸다.
도 2는 도 1에 도시된 제1층의 개략적인 평면도를 나타낸다.
도 3은 도 1에 도시된 제2층의 개략적인 평면도를 나타낸다.
도 4는 도 1에 도시된 픽셀 어레이를 포함하는 이미지 센싱 시스템의 블록도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 컬러 보간 방법을 설명하기 위한 다이어그램을 나타낸다.
도 6은 도 5에 도시된 컬러 보간 방법을 설명하기 위한 흐름도를 나타낸다.
도 7은 도 1에 도시된 픽셀 어레이를 포함하는 다른 이미지 센싱 시스템의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 픽셀 어레이의 단면도를 나타낸다.
도 1을 참조하면, 픽셀 어레이(10)는 마이크로렌즈(11), 제1층(20), 제2층(30), 에피택시얼 층(epitaxial layer; 13), 금속 간 절연 층(inter-metal dielectric layer; 17), 및 기판(substrate; 21)을 포함한다.
마이크로렌즈(11)는 외부로부터 입사되는 빛을 집광시킨다. 실시 예에 따라 픽셀 어레이(10)는 마이크로렌즈(11) 없이 구현될 수 있다.
제1층(20)와 제2층(30)에 대해서는 도 2와 도 3에서 자세히 설명될 것이다.
광감지기(15)는 외부로부터 입사되는 빛에 응답하여 광전자를 생성한다. 광감지기(15)는 에피택시얼 층(13)에서 형성된다. 광감지기(15)는 광감지 소자(photosensitive element)로서 포토다이오드(photodiode), 포토트랜지스터(phototransistor), 포토게이트(photogate) 또는 핀드 포토다이오드(pinned photodiode, PPD)로 구현될 수 있다.
금속 간 절연 층(17)은 산화막(oxide layer) , 또는 산화막(oxide layer)과 질화막(nitride layer)의 복합막(composite layer)으로 형성될 수 있다. 상기 산화막은 실리콘 산화막(silicon oxide layer)일 수 있다. 금속 간 절연 층(17)은 금속(19)을 포함할 수 있다. 금속(19)에 의해 픽셀 어레이(10)의 센싱 동작에 필요한 전기 배선이 형성될 수 있다. 또한 실시 예에 따라 금속(19)은 광감지기(15)를 통과하여 입사되는 빛을 다시 광감지기(15)로 반사하는데 이용될 수 있다. 금속(19)은 구리, 티타늄 또는 질화 티타늄(titanium nitride)일 수 있다.
기판(21)은 실리콘 기판일 수 있다.
도 2는 도 1에 도시된 제1층의 개략적인 평면도를 나타내며, 도 3은 도 1에 도시된 제2층의 개략적인 평면도를 나타낸다.
도 1 내지 도 3을 참조하면, 제1층(20)은 그린 픽셀(G)을 포함한다. 제1층(20)은 유기 광전 변환 필름(organic photoelectric-conversion film)으로 형성된다.
제2층(30)은 레드 픽셀(R)과 블루 픽셀(B)을 포함한다. 레드 픽셀(R)과 블루 픽셀(B)은 체크 패턴(checker pattern)으로 배치된다.
제1층(20)과 제2층(30)은 수직으로 적층된다. 실시 예에 따라 제1층(20)과 제2층(30)의 위치는 서로 바뀔 수 있다.
'픽셀'은 컬러 픽셀 값을 가지는 컬러 픽셀 신호를 생성하는 구성 유닛(component unit)을 의미한다. 예컨대, 그린 픽셀(G)은 가시광 영역 중에서 그린 영역에 속하는 파장들에 상응하는 그린 픽셀 값을 가지는 그린 픽셀 신호를 생성하는 구성 유닛을, 레드 픽셀(R)은 가시광 영역 중에서 레드 영역에 속하는 파장들에 상응하는 레드 픽셀 값을 가지는 레드 픽셀 신호를 생성하는 구성 유닛을, 블루 픽셀(B)은 가시광 영역 중에서 블루 영역에 속하는 파장들에 상응하는 블루 픽셀 값을 가지는 블루 픽셀 신호를 생성하는 구성 유닛을 나타낸다.
그린 픽셀(G)은 가시광 영역 중 그린 영역의 파장들을 흡수하여 그린 영역에 속하는 파장들에 상응하는 그린 픽셀 값을 가는 그린 픽셀 신호로 생성할 수 있다. 즉, 그린 픽셀(G)은 상기 그린 영역의 파장들을 포함하는 가시광을 그린 픽셀 신호로 변환한다. 가시광 영역 중 그린 픽셀(G)에 의해 흡수된 그린 영역에 속하는 파장들을 제외한 나머지 영역의 파장들은 제2층(30)으로 통과된다.
레드 픽셀(R)은 엘로우 유기 컬러 필터(yellow organic color filter; YF)와 광감지기(15)를 포함한다. 엘로우 유기 컬러 필터(YF)는 가시광 영역 중 그린 픽셀(G)에 의해 흡수된 그린 영역에 속하는 파장들을 제외한 나머지 영역의 파장들에서 블루 영역에 속하는 파장들을 제거하기 위해 상기 나머지 영역의 파장들 중에서 블루 영역의 파장들을 흡수한다.
광감지기(15)는 레드 픽셀(R)을 통과한 가시광 영역의 파장들을 레드 픽셀 신호로 변환한다. 즉, 레드 픽셀(R)은 광감지기(15)를 이용하여 레드 픽셀 값을 가지는 상기 레드 픽셀 신호를 생성한다.
블루 픽셀(B)은 사이언 유기 컬러 필터(cyan organic color filter; CF)와 광감지기(15)를 포함한다. 사이언 유기 컬러 필터(CF)는 가시광 영역 중 그린 픽셀(G)에 의해 흡수된 그린 영역에 속하는 파장들을 제외한 나머지 영역의 파장들에서 레드 영역에 속하는 파장들을 제거하기 위해 상기 나머지 영역의 파장들 중에서 레드 영역의 파장들을 흡수한다.
광감지기(15)는 블루 픽셀(B)을 통과한 가시광 영역의 파장들을 블루 픽셀 신호로 변환한다. 즉, 블루 픽셀(B)은 광감지기(15)를 이용하여 블루 픽셀 값을 가지는 상기 블루 픽셀 신호를 생성한다.
도 4는 도 1에 도시된 픽셀 어레이를 포함하는 이미지 센싱 시스템의 블록도를 나타낸다.
도 1과 도 4를 참조하면, 이미지 센싱 시스템(1)은 이미지 센서(100)와 디지털 신호 프로세서(200)를 포함한다.
이미지 센싱 시스템(1)은 디지털 신호 프로세서(200)의 제어에 의해 렌즈(500)를 통해 촬상된 물체(object, 400)를 센싱하고, 디지털 신호 프로세서(200)는 이미지 센서(100)에 의해 센싱되어 출력된 컬러 이미지를 디스플레이 유닛(Display Unit, 300)에 출력할 수 있다. 디스플레이 유닛(300)은 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(300)은 컴퓨터, 휴대폰 및 기타 영상 출력 단말을 포함할 수 있다.
디지털 신호 프로세서(200)는 카메라 컨트롤(210), 이미지 신호 프로세서(220) 및 PC I/F(230)를 포함한다. 카메라 컨트롤(210)은 제어 레지스터 블록(175)을 제어한다. 카메라 컨트롤(210)은 I2C(Inter-Integrated Circuit)를 이용하여 이미지 센서(100), 즉, 제어 레지스터 블록(175)을 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 신호 프로세서(Image Signal Processor, 220)는 버퍼(190)로부터 출력되는 디지털 픽셀 신호들을 수신하여 수신된 디지털 픽셀 신호들을 사람이 보기 좋도록 가공/처리하여 가공/처리된 이미지를 PC I/F(230)를 통해 디스플레이 유닛(300)으로 출력한다. 예컨대, ISP(220)는 이미지 센서(100)로부터 출력되는 디지털 픽셀 신호들을 이용하여 보간 동작을 수행할 수 있다.
이미지 신호 프로세서(220)는 도 4에서는 디지털 신호 프로세서(200) 내부에 위치하는 것으로 도시하였으나, 실시 예에 따라 상기 위치는 변경이 가능하다. 예컨대, 이미지 신호 프로세서(220)는 이미지 센서(100) 내부에 위치할 수도 있다.
이미지 센서(100)는 도 1에 도시된 픽셀 어레이(10), 로우 드라이버(Row Driver, 120), 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC, 130) 및 타이밍 제너레이터(Timing Generator, 165), 제어 레지스터 블록(Control Register Block, 175) 및 버퍼(Buffer, 190)를 포함한다.
픽셀 어레이(10)는 각각이 복수의 행(row) 라인들 및 복수의 컬럼(column) 라인들과 접속되는 매트릭스 형태의 픽셀들을 포함할 수 있다.
타이밍 제너레이터(165)는 로우 드라이버(120)와 ADC(130) 각각에 제어 신호를 출력하여 로우 드라이버(120)와 ADC(130)의 동작을 제어할 수 있다, 제어 레지스터 블록(175)은 타이밍 제너레이터(165)와 버퍼(190) 각각에 제어 신호를 출력하여 이들 각각의 동작을 제어할 수 있다. 이때, 제어 레지스터 블록(175)은 카메라 컨트롤(210)의 제어에 따라 동작한다. 카메라 컨트롤(210)은 하드웨어 또는 소프트웨어로 구현될 수 있다.
로우 드라이버(120)는 픽셀 어레이(10)를 행(row) 단위로 구동한다. 예컨대, 로우 드라이버(120)는 행 선택 신호를 생성할 수 있다. 즉,로우 드라이버(120)는 타이밍 제너레이터(165)에서 생성된 행 제어 신호(예컨대, 어드레스 신호)를 디코딩하고, 디코딩된 행 제어 신호에 응답하여 픽셀 어레이(10)를 구성하는 행 라인들 중에서 적어도 어느 하나의 행 라인을 선택할 수 있다. 그리고, 픽셀 어레이(10)는 로우 드라이버(120)로부터 제공된 행 선택 신호에 의해 선택되는 행(row)으로부터 픽셀 신호들을 ADC(130)로 출력한다.
ADC(130)는 픽셀 어레이(10)로부터 출력된 픽셀 신호들을 디지털 픽셀 신호들로 변환하여 디지털 픽셀 신호들을 버퍼(190)로 출력한다.
도 5는 본 발명의 실시 예에 따른 컬러 보간 방법을 설명하기 위한 다이어그램을 나타낸다.
도 1 내지 도 5를 참조하면, 이미지 센서(100)는 픽셀 값을 가지는 픽셀 신호들(40과 50)을 디지털 신호 프로세서(200)로 출력한다. 픽셀 신호들(40과 50)은 디지털 신호이다.
픽셀 신호들(40)은 제2층(30)에 포함된 블루 픽셀(B)과 레드 픽셀(R)로부터 출력된다. 픽셀 신호들(40) 각각의 위치는 제2층(30)의 각 픽셀(B 또는 R)의 위치와 대응된다. 'B12, B14, B21, B23, B32, B34, B41 및 B43' 각각은 제2층(30)의 블루 픽셀(B)로부터 출력되는 블루 픽셀 신호들 각각의 블루 픽셀 값을 나타낸다. 'R11, R13, R22, R24, R31, R33, R42 및 R44' 각각은 제2층(30)의 레드 픽셀(R)로부터 출력되는 레드 픽셀 신호들 각각의 레드 픽셀 값을 나타낸다.
그린 픽셀 신호들(50)은 제1층(20)에 포함된 그린 픽셀(G)로부터 출력된다. 그린 픽셀 신호들(50) 각각의 위치는 제1층(20)의 각 그린 픽셀(G)의 위치와 대응된다. 'G11, G12, G13, G14, G21, G22, G23, G24, G31, G32, G33, G34, G41, G42, G43 및 G44' 각각은 제1층(20)의 그린 픽셀(G)로부터 출력되는 그린 픽셀 신호들 각각의 그린 픽셀 값을 나타낸다. 이미지 센서(100)는 각 그린 픽셀(G)마다 그린 픽셀 신호들(50)을 출력하므로 각 그린 픽셀(G)에 대한 디모자익 처리(demosaic processing)는 요구되지 않는다.
반면, 제2층(30)에 배열된 블루 픽셀(B)의 수와 레드 픽셀(R)의 수 각각은 제1층(20)에 배열된 그린 픽셀(G)의 수의 반이다. 따라서 블루 픽셀 신호들의 수와 레드 픽셀 신호들의 수 각각은 그린 픽셀 신호들의 수의 반이다. 예컨대, 블루 픽셀(41)에서 블루 픽셀 값(B23)을 가지는 블루 픽셀 신호가 출력되지만, 레드 픽셀 값을 가지는 레드 픽셀 신호는 출력되지 않는다. 그러므로, 블루 픽셀(41)에서 레드 컬러를 보간하기 위한 방법이 필요하다. 즉, 블루 픽셀(41)에서 레드 픽셀 값을 보간하기 위한 디모자익 처리가 요구된다.
유사하게, 레드 픽셀(43)에서 레드 픽셀 값(R22)을 가지는 레드 픽셀 신호가 출력되지만, 블루 픽셀 신호는 출력되지 않는다. 따라서 레드 픽셀(43)에서 블루 픽셀 값을 보간하기 위한 방법이 필요하다. 즉, 레드 픽셀(43)에서 블루 픽셀 값을 보간하기 위한 디모자익 처리가 요구된다.
상기 디모자익 처리는 이미지 신호 프로세서(220)에 의해 수행된다.
레드 픽셀 신호들(60)은 레드 픽셀(R)에서 출력된 레드 픽셀 신호들과 디모자익 처리 후 보간된 레드 픽셀 값을 가지는 레드 픽셀 신호들을 포함한다. 'r12, r14, r21, r23, r32, r34, r41 및 r43' 각각은 보간된 레드 픽셀 값을 나타낸다.
블루 픽셀 신호들(70)은 블루 픽셀(B)에서 출력된 블루 픽셀 신호들과 디모자익 처리 후 보간된 블루 픽셀 값을 가지는 블루 픽셀 신호들을 포함한다. 'b11, b13, b22, b24, b31, b33, b42 및 b44' 각각은 보간된 블루 픽셀 값을 나타낸다.
보간된 레드 픽셀 값 또는 보간된 블루 픽셀 값은 이웃 픽셀들의 픽셀 값들을 이용하여 계산될 수 있다.
보간된 블루 픽셀 값은 수학식1과 같이 계산될 수 있다.
[수학식 1]
bxy=(B(x-1)y+Bx (y-1)+Bx (y+1)+B(x+1)y)/4
상기 bxy는 레드 픽셀에서 상기 보간된 블루 픽셀 값을, 상기 x는 행을, 상기 y는 열을, 상기 B(x-1)y, Bx (y-1), Bx (y+1) 및 B(x+1)y 각각은 상기 레드 픽셀의 이웃 블루 픽셀들의 블루 픽셀 값을 나타낸다. 예컨대, 보간된 블루 픽셀 값(b22)은 레드 픽셀(71)의 이웃 블루 픽셀들(73, 75, 77 및 79)의 블루 픽셀 값들(B12, B21, B23 및 B32)을 이용하여 계산될 수 있다. 레드 픽셀(71)의 위치는 레드 픽셀(43)의 위치와 대응된다. 상기 수학식 1을 이용하여 블루 픽셀 값(b22)이 보간될 때, 바이리니어 보간(Bilinear interpolation)은 정의될 수 있다.
실시 예에 따라 보간된 블루 픽셀 값은 수학식2와 같이 계산될 수 있다.
[수학식 2]
bxy=Gxy+(Bavg-Gavg)
상기 Bavg와 상기 Gavg 은 수학식 3과 수학식 4와 같이 계산될 수 있다.
[수학식 3]
Bavg=(B(x-1)y+Bx (y-1)+Bx (y+1)+B(x+1)y)/4
[수학식 4]
Gavg=(G(x-1)y+Gx (y-1)+Gx (y+1)+G(x+1)y)/4
상기 bxy는 레드 픽셀에서 상기 보간된 블루 픽셀 값을, 상기 x는 행을, 상기 y는 열을, 상기 B(x-1)y, Bx (y-1), Bx (y+1) 및 B(x+1)y 각각은 상기 레드 픽셀의 이웃 픽셀들의 픽셀 값을, 상기 Gxy는 상기 레드 픽셀과 대응되는 그린 픽셀의 그린 픽셀 값을, 상기 G(x-1)y, Gx (y-1) ,Gx (y+1) ,G(x+1)y각각은 상기 그린 픽셀의 이웃 픽셀들의 픽셀 값을 나타낸다.
예컨대, 보간된 블루 픽셀 값(b22)은 레드 픽셀(71)의 이웃 블루 픽셀들(73, 75, 77 및 79)의 블루 픽셀 값들(B12, B21, B23 및 B32)과 그린 픽셀들의 그린 픽셀 값들(G22, G12, G21, G23, 및 G32)을 이용하여 계산될 수 있다. 상기 수학식 2 내지 4를 이용하여 블루 픽셀 값(b22)이 보간될 때, 컨스탄트 휴 베이스드 보간(Constant Hue based interpolation)은 정의될 수 있다.
또 다른 실시 예에 따라 보간된 블루 픽셀 값은 수학식 5, 6, 및 7과 같이 계산될 수 있다.
[수학식 5]
GH>GV+TH일 때, bxy=Gxy+(Bavg ,V-Gavg ,V)
[수학식 6]
GH<GV+TH이고, GV>GH+TH일 때, bxy=Gxy+(Bavg ,H-Gavg ,H)
[수학식 7]
GH<GV+TH이고, GV<GH+TH일 때, bxy=Gxy+(Bavg-Gavg)
상기 GV, 상기 GH, 상기 Bavg ,V, 상기 Bavg ,H, 상기 Gavg ,V, 상기 Gavg ,H, 상기 Bavg, 및 상기 Gavg 은 수학식 8 내지 15와 같이 계산되며,
[수학식 8]
GV=|G(x-1)y-G(x-1)(y-1)|-|Gxy-Gx (y-1)|+|G(x+1)y-G(x+1)(y-1)|
[수학식 9]
GH=|G(x-1)(y-1)-Gx (y-1)|+|Gx (y+1)-Gxy|+|G(x+1)(y+1)-G(x+1)y|
[수학식 10]
Bavg ,V=(B(x-1)y+B(x+1)y)/2
[수학식 11]
Bavg ,H=(Bx (y-1)+Bx (y+1))/2
[수학식 12]
Gavg ,V=(G(x-1)y+G(x+1)y)/2
[수학식 13]
Gavg ,H=(Gx (y-1)+Gx (y+1))/2
[수학식 14]
Bavg=(B(x-1)y+Bx (y-1)+Bx (y+1)+B(x+1)y)/4
[수학식 15]
Gavg=(G(x-1)y+Gx (y-1)+Gx (y+1)+G(x+1)y)/4
상기 bxy는 상기 제1픽셀에서 상기 보간된 제1픽셀 값을, 상기 x는 행을, 상기 y는 열을, 상기 B(x-1)y, Bx (y-1), Bx (y+1) 및 B(x+1)y 각각은 상기 제1픽셀의 이웃 픽셀들의 픽셀 값을, 상기 Gxy는 상기 제1픽셀과 대응되는 상기 제2픽셀의 상기 제2픽셀 값을, 상기 G(x-1)(y-1), G(x-1)y, G(x-1)(y+1), Gx (y-1), Gx (y+1), G(x+1)(y-1), G(x+1)y, 및 G(x+1)(y+1) 각각은 상기 제2픽셀의 이웃 픽셀들의 픽셀 값을, 상기 TH는 문턱 값을 나타낸다.
상기 보간된 제1픽셀 값(bxy)이 상기 수학식 5 내지 15을 이용하여 보간될 때, 에지 센싱 보간(edge sensing interpolation)은 정의될 수 있다.
유사하게, 보간된 레드 픽셀 값도 이웃 픽셀들의 픽셀 값들을 이용하여 계산될 수 있다.
도 6은 도 5에 도시된 컬러 보간 방법을 설명하기 위한 흐름도를 나타낸다.
도 1 내지 도 6을 참조하면, 이미지 신호 프로세서(220)는 제1픽셀(71)에서 상기 제1픽셀(71)의 이웃 픽셀들(73, 75, 77, 및 79)의 픽셀 값들(B12, B21, B23, B32)을 이용하여 제1픽셀 값(b22)을 보간한다(S10). 예컨대, 제1픽셀(71)은 레드 픽셀일 수 있다. 제1픽셀(71)이 레드 픽셀일 때, 제1픽셀(71)의 이웃 픽셀들(73, 75, 77, 및 79) 각각은 블루 픽셀이다. 실시 예에 따라 제1픽셀(71)은 블루 픽셀일 수 있다. 제1픽셀(71)이 블루 픽셀일 때, 제1픽셀(71)의 이웃 픽셀들(73, 75, 77, 및 79) 각각은 레드 픽셀이다.
이미지 신호 프로세서(220)는 제2픽셀(G)에 대해서는 보간을 생략한다(S20).
도 7은 도 1에 도시된 픽셀 어레이를 포함하는 다른 이미지 시스템의 블록도를 나타낸다.
도 7을 참조하면, 이미지 센싱 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 휴대용 장치, 예컨대 이동 전화기, PDA, PMP, 또는 스마트 폰으로 구현될 수 있다.
이미지 센싱 시스템(1000)은 어플리케이션 프로세서(1010), 이미지 센서(1040), 및 디스플레이(1050)를 포함한다.
어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(1040)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다. 이미지 센서(1040)는 도 1 내지 도 7에서 설명한 이미지 센서(100)를 나타낸다.
어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.
이미지 센싱 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 이미지 센싱 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
이미지 센싱 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 이미지 센싱 시스템(1000)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 픽셀 어레이
11; 마이크로렌즈
20; 제1층
30; 제2층
13; 에피택시얼 층
17; 금속 간 절연 층
21; 기판
1; 이미지 센싱 시스템
100; 이미지 센서
200; 디지털 신호 프로세서

Claims (10)

  1. 제1픽셀에서 상기 제1픽셀의 이웃 픽셀들의 픽셀 값들을 이용하여 제1픽셀 값을 보간하는 단계; 및
    제2픽셀에 대해서는 보간을 생략하는 단계를 포함하는 컬러 보간 방법.
  2. 제1항에 있어서, 상기 제1픽셀은 제1층에 포함되고, 상기 제2픽셀은 제2층에 포함되며,
    상기 제1층과 상기 제2층은 수직으로 적층되는 컬러 보간 방법.
  3. 제1항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 바이 리니어 보간(Bilinear interpolation)에 의해 계산되는 컬러 보간 방법.
  4. 제1항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 컨스탄트 휴 베이스드 보간(Constant Hue based interpolation)에 의해 계산되는 컬러 보간 방법.
  5. 제1항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 에지 센싱 보간(edge sensing interpolation)에 의해 계산되는 컬러 보간 방법.
  6. 제1픽셀을 포함하는 제1층과 제2픽셀을 포함하는 제2층을 포함하는 픽셀 어레이; 및
    상기 픽셀 어레이로부터 출력되는 상기 제1픽셀의 이웃 픽셀들의 픽셀 값들을 이용하여 상기 제1픽셀에서 제1픽셀 값을 보간하며, 상기 제2픽셀에 대해서는 보간을 생략하는 이미지 신호 프로세서를 포함하며,
    상기 제1층과 상기 제2층은,
    수직으로 적층되며,
    상기 제1층은,
    제3픽셀을 더 포함하며,
    상기 제1픽셀과 상기 제3픽셀은 체크 패턴(checker pattern)으로 배치되는 장치.
  7. 제6항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 바이 리니어 보간(Bilinear interpolation)에 의해 계산되는 장치.
  8. 제6항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 컨스탄트 휴 베이스드 보간(Constant Hue based interpolation)에 의해 계산되는 장치.
  9. 제6항에 있어서, 상기 제1픽셀에서 상기 보간된 제1픽셀 값은 에지 센싱 보간(edge sensing interpolation)에 의해 계산되는 장치.
  10. 제6항에 있어서, 상기 제1픽셀은,
    블루 픽셀 또는 레드 픽셀인 장치.
KR1020120127253A 2012-11-12 2012-11-12 컬러 보간 방법 및 장치 KR20140060673A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120127253A KR20140060673A (ko) 2012-11-12 2012-11-12 컬러 보간 방법 및 장치
US14/044,178 US20140132808A1 (en) 2012-11-12 2013-10-02 Method and apparatus for interpolating color

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127253A KR20140060673A (ko) 2012-11-12 2012-11-12 컬러 보간 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140060673A true KR20140060673A (ko) 2014-05-21

Family

ID=50681361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127253A KR20140060673A (ko) 2012-11-12 2012-11-12 컬러 보간 방법 및 장치

Country Status (2)

Country Link
US (1) US20140132808A1 (ko)
KR (1) KR20140060673A (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
TWI249336B (en) * 2004-11-15 2006-02-11 Ind Tech Res Inst Method and apparatus of color filter array demosaicking for digital image acquisition system
JP4866656B2 (ja) * 2006-05-18 2012-02-01 富士フイルム株式会社 光電変換膜積層型カラー固体撮像装置
US8848047B2 (en) * 2006-09-28 2014-09-30 Fujifilm Corporation Imaging device and endoscopic apparatus
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
US8053661B2 (en) * 2008-01-25 2011-11-08 Fujifilm Corporation Photoelectric conversion element and imaging device
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
US8131067B2 (en) * 2008-09-11 2012-03-06 Seiko Epson Corporation Image processing apparatus, image processing method, and computer-readable media for attaining image processing
US8588524B2 (en) * 2010-12-15 2013-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US8582006B2 (en) * 2011-01-21 2013-11-12 Aptina Imaging Corporation Pixel arrangement for extended dynamic range imaging
GB2488769A (en) * 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
US8654225B2 (en) * 2011-05-31 2014-02-18 Himax Imaging, Inc. Color interpolation system and method thereof
US8878969B2 (en) * 2011-07-27 2014-11-04 Aptina Imaging Corporation Imaging systems with color filter barriers
JP6014349B2 (ja) * 2012-04-10 2016-10-25 キヤノン株式会社 撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20140132808A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
JP6096243B2 (ja) 画像データの処理方法およびシステム
EP3358819B1 (en) Photographing method, photographing device and terminal
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US9369686B2 (en) Image processing device, image processing method, and recording medium
US10115752B2 (en) Solid-state imaging device and electronic apparatus
US11463664B2 (en) Universal and adaptive de-mosaicing (CFA) system
US9007488B2 (en) Systems and methods for generating interpolated high-dynamic-range images
TW200915861A (en) Method and apparatus for improving low-light performance for small pixel image sensors
US20160154151A1 (en) Color filter array, image sensor including the same, and infrared data acquisition method using the same
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
JP2011066890A (ja) 内部変換を通じてｒｇｂベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置
KR20130100757A (ko) 이미지 처리를 위한 시스템 및 방법
US9350920B2 (en) Image generating apparatus and method
JP2016208093A (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
KR20150146308A (ko) 이미지 센서 및 이미지 센서의 동작 방법
US20150146046A1 (en) Solid-state imaging device, digital camera, and image processing method
US11356624B2 (en) Solid-state imaging element, signal processing circuit, and electronic equipment
KR100636971B1 (ko) 이미지센서의 포커스 데이타 생성 장치 및 방법
WO2016017107A1 (en) Image processing apparatus, image processing method, and imaging apparatus
US9113025B2 (en) Image signal processor circuits and methods for correcting crosstalk artifacts
KR20110083888A (ko) 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
KR20140060673A (ko) 컬러 보간 방법 및 장치
JP2015027045A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP6069857B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid