KR101860646B1 - 서브 픽셀 구조의 이미지 센서 - Google Patents

서브 픽셀 구조의 이미지 센서 Download PDF

Info

Publication number
KR101860646B1
KR101860646B1 KR1020160153728A KR20160153728A KR101860646B1 KR 101860646 B1 KR101860646 B1 KR 101860646B1 KR 1020160153728 A KR1020160153728 A KR 1020160153728A KR 20160153728 A KR20160153728 A KR 20160153728A KR 101860646 B1 KR101860646 B1 KR 101860646B1
Authority
KR
South Korea
Prior art keywords
pixel
subpixel
peripheral
central
sub
Prior art date
Application number
KR1020160153728A
Other languages
English (en)
Inventor
박기영
장승혁
경종민
김영기
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020160153728A priority Critical patent/KR101860646B1/ko
Application granted granted Critical
Publication of KR101860646B1 publication Critical patent/KR101860646B1/ko

Links

Images

Classifications

    • H04N5/35563—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/374—
    • H04N9/045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

일실시예에 따르면, 서브 픽셀 구조의 이미지 센서는 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀을 포함하고, 상기 적어도 하나의 픽셀은 상기 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 상기 광선의 다발 중 주변부의 광선이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 복수의 서브 픽셀들을 포함한다.

Description

서브 픽셀 구조의 이미지 센서{IMAGE SENSOR HAVING SUB PIXEL STRUCTURE}
아래의 실시예들은 카메라 시스템에 포함되는 이미지 센서에 관한 것으로, 보다 상세하게는, 서브 픽셀 구조를 갖는 이미지 센서에 대한 기술이다.
기존의 이미지 센서는 마이크로 렌즈 아래 하나의 픽셀만이 배치됨으로써, 적어도 하나의 파장을 갖는 광선을 처리하여 일반적인 이미지를 획득하는 것 이외의 응용 기능-예컨대, DFD(Depth From Defocus), 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo)-을 수행하지 못한다.
따라서, 기존의 이미지 센서를 사용하여 상술한 응용 기능이 수행되기 위해서는, 두 개 이상의 카메라 시스템이 구비되어 활용되거나, 단일 카메라 시스템에 기본 애퍼처(aperture)와 구별되는 추가적인 애퍼처가 구비되어야 하는 단점이 있다.
이에, 아래의 실시예들은 하나의 마이크로 렌즈 아래 중심 서브 픽셀과 적어도 하나의 주변 서브 픽셀을 배치함으로써, 다양한 응용 기능을 수행하는 이미지 센서에 대한 기술을 제안한다.
일실시예들은 이미지 센서가 다양한 응용 기능을 수행할 수 있도록 적어도 하나의 픽셀이 복수의 서브 픽셀들을 포함하도록 구성되는 이미지 센서를 제공한다.
구체적으로, 일실시예들은 적어도 하나의 픽셀에 포함되는 복수의 서브 픽셀들이 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 광선의 다발 중 주변부의 광선이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 이미지 센서를 제공한다.
이 때, 일실시예들은 중심 서브 픽셀을 적어도 하나의 픽셀 상 중심 영역에 배치하고, 적어도 하나의 주변 서브 픽셀을 적어도 하나의 픽셀 상 주변 영역에 중심 서브 픽셀을 감싸도록 배치하는 이미지 센서를 제공한다.
일실시예에 따르면, 서브 픽셀 구조의 이미지 센서는 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀을 포함하고, 상기 적어도 하나의 픽셀은 상기 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 상기 광선의 다발 중 주변부의 광선이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 복수의 서브 픽셀들을 포함한다.
상기 중심 서브 픽셀은 상기 적어도 하나의 픽셀 상 중심 영역에 배치되고, 상기 적어도 하나의 주변 서브 픽셀은 상기 적어도 하나의 픽셀 상 주변 영역에 상기 중심 서브 픽셀을 감싸도록 배치될 수 있다.
상기 이미지 센서는 상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 상기 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
상기 이미지 센서는 상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 상기 중심 서브 픽셀을 통하여 획득되는 신호와 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로 DFD(Depth From Defocus)를 수행할 수 있다.
상기 이미지 센서는 상기 적어도 하나의 주변 서브 픽셀이 복수 개 구비되는 경우, 상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성할 수 있다.
상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들은 상호간 수평, 수직 또는 대각 시차를 가질 수 있다.
상기 이미지 센서는 상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 AF(Auto Focus)를 수행할 수 있다.
상기 이미지 센서는 상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행할 수 있다.
상기 이미지 센서는 상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 그룹으로 결합하여 상기 상호간 시차를 갖는 이미지들을 생성할 수 있다.
상기 중심 서브 픽셀은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되고, 상기 적어도 하나의 주변 서브 픽셀은 상기 중심 서브 픽셀을 감싸는 형태를 갖도록 형성될 수 있다.
상기 적어도 하나의 주변 서브 픽셀은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
일실시예에 따르면, 카메라 시스템은 렌즈; 및 상기 렌즈를 통과한 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀을 포함하는 이미지 센서를 포함하고, 상기 적어도 하나의 픽셀은 상기 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 상기 광선의 다발 중 주변부의 광선이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 복수의 서브 픽셀들을 포함한다.
상기 중심 서브 픽셀은 상기 적어도 하나의 픽셀 상 중심 영역에 배치되고, 상기 적어도 하나의 주변 서브 픽셀은 상기 적어도 하나의 픽셀 상 주변 영역에 상기 중심 서브 픽셀을 감싸도록 배치될 수 있다.
일실시예에 따르면, 서브 픽셀 구조의 이미지 센서의 동작 방법은 적어도 하나의 픽셀에 포함되는 복수의 서브 픽셀들 중 중심 서브 픽셀에서, 적어도 하나의 파장을 갖는 광선의 다발 중 중심부의 광선만을 유입시키는 단계; 상기 복수의 서브 픽셀들 중 적어도 하나의 주변 서브 픽셀들에서, 상기 광선의 다발 중 주변부의 광선을 유입시키는 단계; 및 상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀들을 통하여 획득되는 신호를 이용하여 이미지들을 생성하는 단계를 포함한다.
상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀들을 통하여 획득되는 신호를 이용하여 이미지들을 생성하는 단계는 상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하는 단계; 및 상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 상기 기준값의 심도를 갖는 일반적인 이미지를 생성하는 단계를 포함할 수 있다.
일실시예들은 이미지 센서가 다양한 응용 기능을 수행할 수 있도록 적어도 하나의 픽셀이 복수의 서브 픽셀들을 포함하도록 구성되는 이미지 센서를 제공할 수 있다.
구체적으로, 일실시예들은 적어도 하나의 픽셀에 포함되는 복수의 서브 픽셀들이 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 광선의 다발 중 주변부의 광선이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 이미지 센서를 제공할 수 있다.
이 때, 일실시예들은 중심 서브 픽셀을 적어도 하나의 픽셀 상 중심 영역에 배치하고, 적어도 하나의 주변 서브 픽셀을 적어도 하나의 픽셀 상 주변 영역에 중심 서브 픽셀을 감싸도록 배치하는 이미지 센서를 제공할 수 있다.
따라서, 일실시예들은 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로 DFD(Depth From Defocus)를 수행하거나, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행함으로써, 깊이 이미지를 생성하는 이미지 센서를 제공할 수 있다.
또한, 일실시예들은 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 AF(Auto Focus)를 수행할 뿐만 아니라, 중심 서브 픽셀을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 결합하여 이용함으로써, 일반적인 이미지를 생성하는 이미지 센서를 제공할 수 있다.
도 1은 일실시예에 따른 카메라 시스템을 설명하기 위한 개념도이다.
도 2a 내지 2b는 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 3a 내지 3b는 다른 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 4a 내지 4c는 또 다른 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 5는 일실시예에 따른 서브 픽셀 구조의 이미지 센서를 나타낸 블록도이다.
도 6은 일실시예에 따른 서브 픽셀 구조의 이미지 센서를 포함하는 카메라 시스템을 나타낸 블록도이다.
도 7은 일실시예에 따른 서브 픽셀 구조의 이미지 센서의 동작 방법을 나타낸 플로우 차트이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 카메라 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 일실시예에 따른 카메라 시스템에서, 카메라 시스템에 포함되는 렌즈(110)를 통과한 적어도 하나의 파장을 갖는 광선은 복수의 픽셀들(120)을 포함하는 이미지 센서를 향하여 유입된다. 이하, 이미지 센서가 복수의 픽셀들(120)을 포함하는 경우로 설명하나, 이에 제한되거나 한정되지 않고, 하나의 픽셀만을 포함할 수도 있다. 이러한 경우 역시 마찬가지로, 후술되는 서브 픽셀 구조가 하나의 픽셀에 적용될 수 있다.
여기서, 복수의 픽셀들(120) 상부에는 복수의 마이크로 렌즈들(130)이 배치되어, 렌즈(110)를 통과한 광선을 복수의 픽셀들(120) 각각으로 진행시킬 수 있다. 이 때, 복수의 마이크로 렌즈들(130)은 어레이 형태로 구현될 수 있다.
따라서, 광선의 다발 중 중심부의 광선(렌즈(110)의 내부 영역(inner region)을 통과한 광선)은 복수의 픽셀들(120) 각각의 중심 영역(내부 영역)으로 유입될 수 있고, 광선의 다발 중 주변부의 광선(렌즈(110)의 외곽 영역(outer region)을 통과한 광선)은 복수의 픽셀들(120) 각각의 주변 영역(외곽 영역)으로 유입될 수 있다.
여기서, 렌즈(110)의 내부 영역을 통과한 광선이 복수의 픽셀들(120) 각각에서 처리되어 생성되는 이미지는 렌즈(110)의 전체 영역을 통과한 광선이 복수의 픽셀들(120) 각각에서 처리되어 생성되는 이미지보다 깊은 심도를 갖는 이미지이기 때문에, 일실시예에 따른 이미지 센서는 복수의 픽셀들(120) 각각을 광선의 다발 중 중심부의 광선과 광선의 다발 중 주변부의 광선을 각각 분리하여 입사시키는 서브 픽셀 구조로 구성함으로써, 광선의 다발 중 중심부의 광선만을 처리하여 기준값보다 깊은 심도를 갖는 이미지를 생성할 수 있다.
구체적으로, 일실시예에 따른 이미지 센서는 복수의 픽셀들(120) 각각을 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀(121)과 광선의 다발 중 주변부의 광선만이 입사되는 적어도 하나의 주변 서브 픽셀(122)로 구성함으로써, 중심 서브 픽셀(121)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(121)을 통하여 획득되는 신호 및 적어도 하나의 주변 서브 픽셀(122)을 통하여 획득되는 신호를 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다. 이하, 일반적인 이미지는 중심 서브 픽셀(121)과 적어도 하나의 주변 서브 픽셀(122)을 포함하는 서브 픽셀 전체에 획득되는 신호들을 병합하여, 기준값의 심도를 갖는 이미지를 의미한다.
또한, 적어도 하나의 주변 서브 픽셀(122)을 복수 개 구비하는 경우(예컨대, 복수의 주변 서브 픽셀들을 중심 서브 픽셀(121)을 기준으로 좌우, 상하 또는 대각으로 배치함), 일실시예에 따른 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성할 수 있다.
따라서, 일실시예에 따른 이미지 센서는 중심 서브 픽셀(121)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀(121)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(122)을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로 DFD(Depth From Defocus)를 수행하거나, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행함으로써, 깊이 이미지를 생성할 수 있다.
또한, 일실시예에 따른 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 AF(Auto Focus)를 수행할 수도 있다.
이상, 기준값보다 깊은 심도를 갖는 이미지와 일반적인 이미지를 기초로 DFD를 수행하거나, 상호간 시차를 갖는 이미지들을 기초로 스테레오 매칭 또는 멀티 뷰 스테레오를 수행하여 깊이 이미지를 생성하는 기술은 종래의 DFD 알고리즘, 스테레오 매칭 또는 멀티 뷰 스테레오 알고리즘이 이용될 수 있다. 마찬가지로, 상호간 시차를 갖는 이미지들을 기초로 AF를 수행하는 기술 역시 종래의 AF 알고리즘이 이용될 수 있으며, 중심 서브 픽셀(121)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(122)을 통하여 획득되는 신호를 결합하여 이용하는 기술은 복수의 픽셀들(120) 각각을 통하여 획득되는 신호를 결합하는 종래의 광 신호 결합 기술이 이용될 수 있다. 이들에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
상술한 일실시예에 따른 이미지 센서에 포함되는 복수의 픽셀들(120)의 서브 픽셀 구조에 대한 상세한 설명은 도 2a 내지 4c를 참조하여 기재하기로 한다.
도 2a 내지 2b는 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 2a 내지 2b를 참조하면, 일실시예에 따른 이미지 센서에 포함되는 적어도 하나의 픽셀(210)은 중심 서브 픽셀(211)과 주변 서브 픽셀(212)로 구성되는, 서브 픽셀 구조를 갖는다. 이하, 적어도 하나의 픽셀(210)은 이미지 센서에 포함되는 적어도 하나의 마이크로 렌즈와 대응하도록 적어도 하나의 마이크로 렌즈 아래에 각각 위치하는 픽셀을 의미한다.
여기서, 중심 서브 픽셀(211)은 적어도 하나의 픽셀(210) 상 중심 영역에 배치되어, 적어도 하나의 픽셀(210)로 유입되는 광선의 다발 중 중심부의 광선만을 입사시킬 수 있고, 주변 서브 픽셀(212)은 적어도 하나의 픽셀(210) 상 주변 영역에 중심 서브 픽셀(211)을 감싸도록 배치되어, 적어도 하나의 픽셀(210)로 유입되는 광선의 다발 중 주변부의 광선만을 입사시킬 수 있다.
이 때, 중심 서브 픽셀(211)은 도 2a에서 원의 형태를 갖도록 형성되고, 도 2b에서는 사각의 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 삼각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
또한, 주변 서브 픽셀(212)은 도 2a 및 2b에서 중심 서브 픽셀(211)을 감싸는 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 중심 서브 픽셀(211)과 마찬가지로, 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이와 같이, 중심 서브 픽셀(211)과 주변 서브 픽셀(212)로 구성되는 적어도 하나의 픽셀(210)을 포함하는 이미지 센서는 중심 서브 픽셀(211)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(211)을 통하여 획득되는 신호 및 주변 서브 픽셀(212)을 통하여 획득되는 신호를 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
따라서, 이미지 센서는 중심 서브 픽셀(211)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 중심 서브 픽셀(211)을 통하여 획득되는 신호 및 주변 서브 픽셀(212)을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로 DFD를 수행할 수 있다.
도 3a 내지 3b는 다른 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 3a 내지 3b를 참조하면, 다른 일실시예에 따른 이미지 센서에 포함되는 적어도 하나의 픽셀(310)은 중심 서브 픽셀(311)과 주변 서브 픽셀들(312, 313)로 구성되는, 서브 픽셀 구조를 갖는다. 이하, 적어도 하나의 픽셀(310)은 이미지 센서에 포함되는 적어도 하나의 마이크로 렌즈와 대응하도록 적어도 하나의 마이크로 렌즈 아래에 각각 위치하는 픽셀을 의미한다.
여기서, 중심 서브 픽셀(311)은 적어도 하나의 픽셀(310) 상 중심 영역에 배치되어, 적어도 하나의 픽셀(310)로 유입되는 광선의 다발 중 중심부의 광선만을 입사시킬 수 있고, 주변 서브 픽셀들(312, 313)은 적어도 하나의 픽셀(310) 상 주변 영역에 중심 서브 픽셀(311)을 감싸도록 배치되어, 적어도 하나의 픽셀(310)로 유입되는 광선의 다발 중 주변부의 광선만을 입사시킬 수 있다.
이 때, 중심 서브 픽셀(311)은 도 3a에서 원의 형태를 갖도록 형성되고, 도 3b에서는 사각의 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 삼각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
또한, 주변 서브 픽셀들(312, 313)은 도 3a 및 3b에서 중심 서브 픽셀(311)을 감싸는 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 중심 서브 픽셀(311)과 마찬가지로, 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이와 같이, 중심 서브 픽셀(311)과 주변 서브 픽셀(312, 313)로 구성되는 적어도 하나의 픽셀(310)을 포함하는 이미지 센서는 중심 서브 픽셀(311)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(311)을 통하여 획득되는 신호 및 주변 서브 픽셀들(312, 313)을 통하여 획득되는 신호들을 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
따라서, 이미지 센서는 중심 서브 픽셀(311)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 중심 서브 픽셀(311)을 통하여 획득되는 신호 및 주변 서브 픽셀들(312, 313)을 통하여 획득되는 신호들을 병합하여 생성되는 이미지를 기초로 DFD를 수행할 수 있다.
특히, 주변 서브 픽셀들(312, 313) 중 좌측 서브 픽셀(312)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 우측 서브 픽셀(313)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에는 시차(수평 시차)가 발생되게 된다.
따라서, 이미지 센서는 좌측 서브 픽셀(312)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 우측 서브 픽셀(313)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 수평 시차를 기반으로, 스테레오 매칭을 수행하거나, AF를 수행할 수 있다.
도면에는 주변 서브 픽셀들(312, 313)이 중심 서브 픽셀(311)을 기준으로 좌우로 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 상하 또는 대각으로 형성될 수 있다. 주변 서브 픽셀들(312, 313)이 중심 서브 픽셀(311)을 기준으로 상하로 형성되는 경우, 주변 서브 픽셀들(312, 131)을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들 사이에는 수직 시차가 존재할 수 있으며, 주변 서브 픽셀들(312, 313)이 중심 서브 픽셀(311)을 기준으로 대각으로 형성되는 경우, 주변 서브 픽셀들(312, 131)을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들 사이에는 대각 시차가 존재할 수 있다.
도 4a 내지 4c는 또 다른 일실시예에 따른 서브 픽셀 구조를 갖는 적어도 하나의 픽셀을 나타낸 상면도이다.
도 4a 내지 4b를 참조하면, 또 다른 일실시예에 따른 이미지 센서에 포함되는 적어도 하나의 픽셀(410)은 중심 서브 픽셀(411)과 주변 서브 픽셀들(412, 413, 414, 415)로 구성되는, 서브 픽셀 구조를 갖는다. 이하, 적어도 하나의 픽셀(410)은 이미지 센서에 포함되는 적어도 하나의 마이크로 렌즈와 대응하도록 적어도 하나의 마이크로 렌즈 아래에 각각 위치하는 픽셀을 의미한다.
여기서, 중심 서브 픽셀(411)은 적어도 하나의 픽셀(410) 상 중심 영역에 배치되어, 적어도 하나의 픽셀(410)로 유입되는 광선의 다발 중 중심부의 광선만을 입사시킬 수 있고, 주변 서브 픽셀들(412, 413, 414, 415)은 적어도 하나의 픽셀(410) 상 주변 영역에 중심 서브 픽셀(411)을 감싸도록 배치되어, 적어도 하나의 픽셀(410)로 유입되는 광선의 다발 중 주변부의 광선만을 입사시킬 수 있다.
이 때, 중심 서브 픽셀(411)은 도 4a에서 원의 형태를 갖도록 형성되고, 도 4b에서는 사각의 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 삼각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
또한, 주변 서브 픽셀들(412, 413, 414, 415)은 도 4a 및 4b에서 중심 서브 픽셀(411)을 감싸는 형태를 갖도록 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 중심 서브 픽셀(411)과 마찬가지로, 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이와 같이, 중심 서브 픽셀(411)과 주변 서브 픽셀(412, 413, 414, 415)로 구성되는 적어도 하나의 픽셀(410)을 포함하는 이미지 센서는 중심 서브 픽셀(411)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(411)을 통하여 획득되는 신호 및 주변 서브 픽셀들(412, 413, 414, 415)을 통하여 획득되는 신호들을 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
따라서, 이미지 센서는 중심 서브 픽셀(411)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 중심 서브 픽셀(411)을 통하여 획득되는 신호 및 주변 서브 픽셀들(412, 413, 414, 415)을 통하여 획득되는 신호들을 병합하여 생성되는 이미지를 기초로 DFD를 수행할 수 있다.
특히, 주변 서브 픽셀들(412, 413, 414, 415) 중 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에는 수평 시차가 발생되게 된다(마찬가지로, 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에도 수평 시차가 발생됨).
또한, 주변 서브 픽셀들(412, 413, 414, 415) 중 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에는 수직 시차가 발생되게 되고(마찬가지로, 제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에도 수직 시차가 발생됨), 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에는 대각 시차가 발생되게 된다(마찬가지로, 제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이에도 대각 시차가 발생됨).
따라서, 이미지 센서는 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 수평 시차(또는 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 수평 시차)를 기반으로, 멀티 뷰 스테레오를 수행하거나, AF를 수행할 수 있다.
이 때, 이미지 센서는 멀티 뷰 스테레오를 수행하거나, AF를 수행하는 과정에서 수평 시차뿐만 아니라, 수직 시차 또는 대각 시차를 이용할 수도 있다. 이러한 경우, 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 수직 시차(제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 수직 시차)가 이용되거나, 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 대각 시차(제2 주변 서브 픽셀(413)을 통하여 획득되는 신호를 이용하여 생성되는 이미지와 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 사이의 대각 시차)가 이용될 수 있다.
또한, 이미지 센서는 상호간 시차를 갖는 이미지들을 생성하는 과정에서, 주변 서브 픽셀들(412, 413, 414, 415)을 각각 독립적으로 이용하는 대신에, 그룹핑하여 이용할 수도 있다.
예를 들어, 이미지 센서는 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호와 제3 주변 서브 픽셀(414)을 통하여 획득되는 신호를 제1 그룹으로 결합하고, 제2 주변 서브 픽셀(413)을 통하여 획득되는 신호와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 제2 그룹으로 결합함으로써, 제1 그룹 신호를 처리하여 생성되는 이미지와 제2 그룹 신호를 처리하여 생성되는 이미지 사이에서 수평 시차를 발생시킬 수 있다. 마찬가지로, 이미지 센서는 수직 시차 또는 대각 시차에 대해서도, 주변 서브 픽셀들(412, 413, 414, 415) 각각을 통하여 획득되는 신호를 그룹으로 결합하여 이용할 수 있다.
또한, 도면에는 주변 서브 픽셀들(412, 413, 414, 415)이 중심 서브 픽셀(411)을 기준으로 좌우 상하로 형성되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 중심 서브 픽셀(411)을 기준으로 일정 각도만큼 회전된 형상을 갖도록 형성될 수 있다.
도 4c를 참조하면, 또 다른 일실시예에 따른 이미지 센서에 포함되는 적어도 하나의 픽셀(420)은 중심 서브 픽셀(421)과 주변 서브 픽셀들(422, 423, 424, 425, 426, 427, 428, 429)로 3*3의 어레이 형태로 구성되는, 서브 픽셀 구조를 갖는다.
이와 같은 적어도 하나의 픽셀(410)에 포함되는 중심 서브 픽셀(421)과 주변 서브 픽셀들(422, 423, 424, 425, 426, 427, 428, 429) 각각은 도 4a 내지 4b를 참조하여 설명한 중심 서브 픽셀(411)과 주변 서브 픽셀들(412, 413, 414, 415) 각각과 동일한 기능을 수행하므로, 그 상세한 설명은 생략하기로 한다.
다만, 적어도 하나의 픽셀(420)을 포함하는 이미지 센서는 도 4a 내지 4b를 참조하여 설명한 이미지 센서와 대각 시차를 갖는 이미지들을 생성하는 과정에서 상이하게 동작한다.
구체적으로, 도 4a 내지 4b를 참조하여 설명한 이미지 센서는 제1 주변 서브 픽셀(412)을 통하여 획득되는 신호와 제4 주변 서브 픽셀(415)을 통하여 획득되는 신호를 각각 처리하여, 대각 시차를 갖는 이미지들을 생성하는 반면, 적어도 하나의 픽셀(420)을 포함하는 이미지 센서는 주변 서브 픽셀들(422, 423, 424, 425, 426, 427, 428, 429)을 그룹핑하여 대각 시차를 갖는 이미지들을 생성할 수 있다.
예를 들어, 적어도 하나의 픽셀(420)을 포함하는 이미지 센서는 제1 주변 서브 픽셀(422)을 통하여 획득되는 신호, 제2 주변 서브 픽셀(423)을 통하여 획득되는 신호 및 제4 주변 서브 픽셀(425)을 통하여 획득되는 신호를 제1 그룹으로 결합하고, 제5 주변 서브 픽셀(426)을 통하여 획득되는 신호, 제7 주변 서브 픽셀(428)을 통하여 획득되는 신호 및 제8 주변 서브 픽셀(429)을 통하여 획득되는 신호를 제2 그룹으로 결합함으로써, 제1 그룹 신호를 처리하여 생성되는 이미지와 제2 그룹 신호를 처리하여 생성되는 이미지 사이에서 대각 시차를 발생시킬 수 있다.
도 5는 일실시예에 따른 서브 픽셀 구조의 이미지 센서를 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 이미지 센서는 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀(510)을 포함한다. 여기서, 적어도 하나의 픽셀(510)은 중심 서브 픽셀(511) 및 적어도 하나의 주변 서브 픽셀(512)로 구성되는 복수의 서브 픽셀들을 포함한다.
중심 서브 픽셀(511)은 광선의 다발 중 중심부의 광선만이 입사되도록 적어도 하나의 픽셀(510) 상 중심 영역에 배치된다. 이 때, 중심 서브 픽셀(511)은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
적어도 하나의 주변 서브 픽셀(512)은 광선의 다발 중 주변부의 광선이 입사되도록 적어도 하나의 픽셀(510) 상 주변 영역에 중심 서브 픽셀(511)을 감싸도록 배치된다. 마찬가지로, 적어도 하나의 주변 서브 픽셀(512) 역시 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다. 또한, 적어도 하나의 주변 서브 픽셀(512)은 중심 서브 픽셀(511)을 감싸는 형태를 갖도록 형성될 수 있다.
이에, 이미지 센서는 중심 서브 픽셀(511)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(511)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(512)을 통하여 획득되는 신호를 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
또한, 이미지 센서는 상술한 바와 같이, 적어도 하나의 픽셀(510)을 중심 서브 픽셀(511)과 적어도 하나의 주변 서브 픽셀(512)로 구성함으로써, 중심 서브 픽셀(511)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀(511)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(512)을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로, DFD(Depth From Defocus)를 수행할 수 있다.
만약, 적어도 하나의 주변 서브 픽셀(512)이 복수 개 구비되는 경우, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성할 수 있다. 이 때, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들은 상호간 수평, 수직 또는 대각 시차를 가질 수 있다.
따라서, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로, AF(Auto Focus)를 수행하거나, 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행할 수 있다.
여기서, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성하는 과정에서, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 그룹으로 결합하여 이용할 수도 있다.
도 6은 일실시예에 따른 서브 픽셀 구조의 이미지 센서를 포함하는 카메라 시스템을 나타낸 블록도이다.
도 6을 참조하면, 일실시예에 따른 카메라 시스템은 렌즈(610) 및 이미지 센서(620)를 포함한다. 여기서, 이미지 센서(620)는 렌즈(610)를 통과한 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀(도면에는 도시되지 않음)을 포함하는데, 적어도 하나의 픽셀은 중심 서브 픽셀(621) 및 적어도 하나의 주변 서브 픽셀(622)로 구성되는 복수의 서브 픽셀들을 포함한다.
중심 서브 픽셀(621)은 광선의 다발 중 중심부의 광선만이 입사되도록 적어도 하나의 픽셀 상 중심 영역에 배치된다. 이 때, 중심 서브 픽셀(621)은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
적어도 하나의 주변 서브 픽셀(622)은 광선의 다발 중 주변부의 광선이 입사되도록 적어도 하나의 픽셀 상 주변 영역에 중심 서브 픽셀(621)을 감싸도록 배치된다. 마찬가지로, 적어도 하나의 주변 서브 픽셀(622) 역시 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다. 또한, 적어도 하나의 주변 서브 픽셀(622)은 중심 서브 픽셀(621)을 감싸는 형태를 갖도록 형성될 수 있다.
이에, 이미지 센서(620)는 중심 서브 픽셀(621)을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 중심 서브 픽셀(621)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(622)을 통하여 획득되는 신호를 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
또한, 이미지 센서(620)는 상술한 바와 같이, 적어도 하나의 픽셀을 중심 서브 픽셀(621)과 적어도 하나의 주변 서브 픽셀(622)로 구성함으로써, 중심 서브 픽셀(621)을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀(621)을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀(622)을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로, DFD(Depth From Defocus)를 수행할 수 있다.
만약, 적어도 하나의 주변 서브 픽셀(622)이 복수 개 구비되는 경우, 이미지 센서(620)는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성할 수 있다. 이 때, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들은 상호간 수평, 수직 또는 대각 시차를 가질 수 있다.
따라서, 이미지 센서(620)는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로, AF(Auto Focus)를 수행하거나, 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행할 수 있다.
여기서, 이미지 센서(620)는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성하는 과정에서, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 그룹으로 결합하여 이용할 수도 있다.
도 7은 일실시예에 따른 서브 픽셀 구조의 이미지 센서의 동작 방법을 나타낸 플로우 차트이다.
도 7을 참조하면, 일실시예에 따른 서브 픽셀 구조의 이미지 센서는 적어도 하나의 픽셀에 포함되는 복수의 서브 픽셀들 중 중심 서브 픽셀에서, 적어도 하나의 파장을 갖는 광선의 다발 중 중심부의 광선만을 유입시킨다(710).
여기서, 중심 서브 픽셀은 광선의 다발 중 중심부의 광선만이 입사되도록 적어도 하나의 픽셀 상 중심 영역에 배치된다. 이 때, 중심 서브 픽셀은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
이어서, 이미지 센서는 복수의 서브 픽셀들 중 적어도 하나의 주변 서브 픽셀에서, 광선의 다발 중 주변부의 광선을 유입시킨다(720).
이 때, 적어도 하나의 주변 서브 픽셀은 광선의 다발 중 주변부의 광선이 입사되도록 적어도 하나의 픽셀 상 주변 영역에 중심 서브 픽셀을 감싸도록 배치된다. 마찬가지로, 적어도 하나의 주변 서브 픽셀 역시 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다. 또한, 적어도 하나의 주변 서브 픽셀은 중심 서브 픽셀을 감싸는 형태를 갖도록 형성될 수 있다.
그 후, 이미지 센서는 중심 서브 픽셀을 통하여 획득되는 신호 및 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 이용하여 이미지들을 생성한다(730).
구체적으로, 730 단계에서 이미지 센서는, 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성할 수 있고, 중심 서브 픽셀을 통하여 획득되는 신호 및 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 기준값의 심도를 갖는 일반적인 이미지를 생성할 수 있다.
또한, 도면에는 도시되지 않았지만, 이미지 센서는 730 단계에서 상술한 바와 같이 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지, 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기반으로, 다양한 응용 기능을 수행할 수 있다.
예를 들어, 이미지 센서는 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 중심 서브 픽셀을 통하여 획득되는 신호와 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로, DFD(Depth From Defocus)를 수행할 수 있다.
만약, 적어도 하나의 주변 서브 픽셀이 복수 개 구비되는 경우, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성할 수 있다. 이 때, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들은 상호간 수평, 수직 또는 대각 시차를 가질 수 있다.
따라서, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로, AF(Auto Focus)를 수행하거나, 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행할 수 있다.
여기서, 이미지 센서는 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성하는 과정에서, 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 그룹으로 결합하여 이용할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 서브 픽셀 구조의 이미지 센서에 있어서,
    적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀
    을 포함하고,
    상기 적어도 하나의 픽셀은
    상기 적어도 하나의 픽셀 상 중심 영역에 배치되어 상기 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 상기 적어도 하나의 픽셀 상 주변 영역에 상기 중심 서브 픽셀을 감싸도록 배치되어 상기 광선의 다발 중 주변부의 광선만이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 복수의 서브 픽셀들
    을 포함하는 이미지 센서.
  2. 삭제
  3. 제1항에 있어서,
    상기 이미지 센서는
    상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하고, 상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 상기 기준값의 심도를 갖는 일반적인 이미지를 생성하는, 이미지 센서.
  4. 제1항에 있어서,
    상기 이미지 센서는
    상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 생성되는 이미지 및 상기 중심 서브 픽셀을 통하여 획득되는 신호와 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 생성되는 이미지를 기초로 DFD(Depth From Defocus)를 수행하는, 이미지 센서.
  5. 제1항에 있어서,
    상기 이미지 센서는
    상기 적어도 하나의 주변 서브 픽셀이 복수 개 구비되는 경우, 상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 상호간 시차를 갖는 이미지들을 생성하는, 이미지 센서.
  6. 제5항에 있어서,
    상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 이미지들은
    상호간 수평, 수직 또는 대각 시차를 갖는, 이미지 센서.
  7. 제5항에 있어서,
    상기 이미지 센서는
    상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 AF(Auto Focus)를 수행하는, 이미지 센서.
  8. 제5항에 있어서,
    상기 이미지 센서는
    상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 이용하여 생성되는 상호간 시차를 갖는 이미지들을 기초로 스테레오 매칭(Stereo matching) 또는 멀티 뷰 스테레오(Multi-view stereo) 중 적어도 어느 하나를 수행하는, 이미지 센서.
  9. 제5항에 있어서,
    상기 이미지 센서는
    상기 복수의 주변 서브 픽셀들을 통하여 획득되는 신호들을 그룹으로 결합하여 상기 상호간 시차를 갖는 이미지들을 생성하는, 이미지 센서.
  10. 제1항에 있어서,
    상기 중심 서브 픽셀은
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되고,
    상기 적어도 하나의 주변 서브 픽셀은
    상기 중심 서브 픽셀을 감싸는 형태를 갖도록 형성되는, 이미지 센서.
  11. 제10항에 있어서,
    상기 적어도 하나의 주변 서브 픽셀은
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되는, 이미지 센서.
  12. 렌즈; 및
    상기 렌즈를 통과한 적어도 하나의 파장을 갖는 광선을 처리하는 적어도 하나의 픽셀을 포함하는 이미지 센서
    를 포함하고,
    상기 적어도 하나의 픽셀은
    상기 적어도 하나의 픽셀 상 중심 영역에 배치되어 상기 광선의 다발 중 중심부의 광선만이 입사되는 중심 서브 픽셀과 상기 적어도 하나의 픽셀 상 주변 영역에 상기 중심 서브 픽셀을 감싸도록 배치되어 상기 광선의 다발 중 주변부의 광선만이 입사되는 적어도 하나의 주변 서브 픽셀로 구성되는 복수의 서브 픽셀들
    을 포함하는 카메라 시스템.
  13. 삭제
  14. 서브 픽셀 구조의 이미지 센서의 동작 방법에 있어서,
    적어도 하나의 픽셀에 포함되는 복수의 서브 픽셀들 중 상기 적어도 하나의 픽셀 상 중심 영역에 배치되는 중심 서브 픽셀에서, 적어도 하나의 파장을 갖는 광선의 다발 중 중심부의 광선만을 유입시키는 단계;
    상기 복수의 서브 픽셀들 중 상기 적어도 하나의 픽셀 상 주변 영역에 상기 중심 서브 픽셀을 감싸도록 배치되는 적어도 하나의 주변 서브 픽셀들에서, 상기 광선의 다발 중 주변부의 광선만을 유입시키는 단계; 및
    상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀들을 통하여 획득되는 신호를 이용하여 이미지들을 생성하는 단계
    를 포함하는 이미지 센서의 동작 방법.
  15. 제14항에 있어서,
    상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀들을 통하여 획득되는 신호를 이용하여 이미지들을 생성하는 단계는
    상기 중심 서브 픽셀을 통하여 획득되는 신호를 이용하여 기준값보다 깊은 심도를 갖는 이미지를 생성하는 단계; 및
    상기 중심 서브 픽셀을 통하여 획득되는 신호 및 상기 적어도 하나의 주변 서브 픽셀을 통하여 획득되는 신호를 병합하여 상기 기준값의 심도를 갖는 일반적인 이미지를 생성하는 단계
    를 포함하는 이미지 센서의 동작 방법.
KR1020160153728A 2016-11-18 2016-11-18 서브 픽셀 구조의 이미지 센서 KR101860646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160153728A KR101860646B1 (ko) 2016-11-18 2016-11-18 서브 픽셀 구조의 이미지 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153728A KR101860646B1 (ko) 2016-11-18 2016-11-18 서브 픽셀 구조의 이미지 센서

Publications (1)

Publication Number Publication Date
KR101860646B1 true KR101860646B1 (ko) 2018-05-23

Family

ID=62452390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153728A KR101860646B1 (ko) 2016-11-18 2016-11-18 서브 픽셀 구조의 이미지 센서

Country Status (1)

Country Link
KR (1) KR101860646B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102307594B1 (ko) * 2020-06-15 2021-10-05 주식회사 덱셀리온 트리플 픽셀 기반 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102307594B1 (ko) * 2020-06-15 2021-10-05 주식회사 덱셀리온 트리플 픽셀 기반 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Similar Documents

Publication Publication Date Title
KR102103983B1 (ko) 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
US9923008B2 (en) Wafer-level array cameras and methods for fabricating the same
US10760953B2 (en) Image sensor having beam splitter
JP2009165115A (ja) 撮像装置
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN112928130B (zh) 具有共用微透镜和偏振像素的图像传感器
TW201608872A (zh) 用於獲得影像深度資訊之系統及方法
US10096636B2 (en) Light field imaging device and method for fabricating the same
KR102283423B1 (ko) 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
US20180249050A1 (en) Plenoptic camera
US10623719B2 (en) Multi-aperture camera system for improving depth accuracy through focusing distance scan
KR101860646B1 (ko) 서브 픽셀 구조의 이미지 센서
JP6467997B2 (ja) ライトフィールド撮像システム
KR20140030183A (ko) 화상 처리 장치 및 화상 처리 프로그램
KR102060880B1 (ko) 단안 카메라를 이용한 내시현미경 및 그 동작 방법
KR101575964B1 (ko) 듀얼 애퍼처 카메라의 센서 어레이
KR101861927B1 (ko) 다중 필팩터가 적용된 이미지 센서
TWI792128B (zh) 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
KR102059735B1 (ko) 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR102148127B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant