KR20220063575A - 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 - Google Patents
색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 Download PDFInfo
- Publication number
- KR20220063575A KR20220063575A KR1020200149592A KR20200149592A KR20220063575A KR 20220063575 A KR20220063575 A KR 20220063575A KR 1020200149592 A KR1020200149592 A KR 1020200149592A KR 20200149592 A KR20200149592 A KR 20200149592A KR 20220063575 A KR20220063575 A KR 20220063575A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- image
- color
- photo
- lens array
- Prior art date
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 369
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009826 distribution Methods 0.000 claims abstract description 92
- 239000000758 substrate Substances 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000010410 layer Substances 0.000 description 46
- 125000006850 spacer group Chemical group 0.000 description 36
- 238000006731 degradation reaction Methods 0.000 description 18
- 230000015556 catabolic process Effects 0.000 description 16
- 238000003491 array Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000000463 material Substances 0.000 description 13
- 238000005457 optimization Methods 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 238000003672 processing method Methods 0.000 description 10
- 238000010521 absorption reaction Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000003989 dielectric material Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 229910004298 SiO 2 Inorganic materials 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- KPUWHANPEXNPJT-UHFFFAOYSA-N disiloxane Chemical class [SiH3]O[SiH3] KPUWHANPEXNPJT-UHFFFAOYSA-N 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011241 protective layer Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 229910010413 TiO 2 Inorganic materials 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229910021419 crystalline silicon Inorganic materials 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- -1 p-Si Inorganic materials 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- H04N9/0455—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
- G02B1/002—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials
- G02B1/005—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials made of photonic crystals or photonic band gap materials
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/02—Simple or compound lenses with non-spherical faces
- G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/003—Deblurring; Sharpening
-
- G06T5/73—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H04N9/735—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/101—Nanooptics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
Abstract
영상 획득 장치 및 방법이 개시된다.
개시된 영상 획득 장치는 광을 센싱하는 복수의 광감지셀을 포함하는 센서 기판, 센서 기판 전단에 배치되는 것으로, 복수의 광감지셀과 각각 마주하는 복수의 영역에 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하는 미소 구조를 구비하여 입사광을 칼라에 따라 분리하는 색분리 렌즈 어레이를 포함하는 이미지 센서와, 신호 처리부를 포함한다. 신호 처리부는 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하고, 서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하며, 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하여 컬러 영상을 형성하도록 이미지 센서에서 획득된 칼라별 영상 신호를 처리한다.
개시된 영상 획득 장치는 광을 센싱하는 복수의 광감지셀을 포함하는 센서 기판, 센서 기판 전단에 배치되는 것으로, 복수의 광감지셀과 각각 마주하는 복수의 영역에 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하는 미소 구조를 구비하여 입사광을 칼라에 따라 분리하는 색분리 렌즈 어레이를 포함하는 이미지 센서와, 신호 처리부를 포함한다. 신호 처리부는 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하고, 서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하며, 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하여 컬러 영상을 형성하도록 이미지 센서에서 획득된 칼라별 영상 신호를 처리한다.
Description
색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법에 관한 것이다.
이미지 센서는 칼라 영상의 촬상을 위해서 광 센싱 픽셀 위에 Red, Green, Blue의 칼라 필터가 일정한 패턴을 가지고 배열되는데, Green 색상에 민감한 인간의 시각/시감 특성을 고려하여 Green 50%, Red와 Blue가 각각 25%가 되도록 교차 배열되는 Bayer Pattern 구조를 적용한다.
이렇게 촬상된 Green, Red, Blue 이미지 (Raw image)를 이용하여 칼라 영상을 구성하기 위해 각 색상의 비어있는 픽셀의 색상값을 주변 픽셀의 색상값을 이용하는 보간(interpolation) 방법을 이용한다. Raw image로부터 이러한 화소별 색을 보간하는 것을 demosaicing이라 한다.
Bayer raw image를 demosaicing 하는 기존의 방법들은 마이크로 렌즈와 흡수형 칼라 필터를 이용하여 단위 픽셀의 입사광 중에 해당 픽셀의 색상에 해당하는 광성분만이 광 센싱면에 입사하는 경우에 대해 최적화 되어있는 방법이다.
한편, 이미지 센서의 픽셀 수는 점차 증가하는 추세이며, 이에 따라 픽셀 소형화가 요구되고 있으며, 픽셀 소형화를 위해 광량 확보와 노이즈 제거가 중요한 이슈가 되고 있다. 최근에는 이미지 센서의 광 이용 효율을 향상시키기 위하여, 해당 픽셀에 입사하는 특정 색상의 광성분 외에 주변 픽셀로부터 같은 색상의 광성분도 입사시켜 광효율을 향상시키도록 되어 있으므로, 촬상된 Green, Red, Blue 이미지 (Raw image)를 이용하여 칼라 영상을 구성하기 위해 새로운 영상 처리 방법이 요구된다.
입사광을 파장 별로 분리하여 집광할 수 있는 색분리 렌즈 어레이를 적용하여 광 이용 효율이 향상되며 영상 분해능도 확보할 수 있는 영상 획득 장치 및 방법을 제공한다.
일 유형에 따른 영상 획득 장치는, 광을 센싱하는 복수의 광감지셀을 포함하는 센서 기판, 상기 센서 기판 전단에 배치되는 것으로, 상기 복수의 광감지셀과 각각 마주하는 복수의 영역에 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하는 미소 구조를 구비하여 입사광을 칼라에 따라 분리하는 색분리 렌즈 어레이를 포함하는 이미지 센서와; 상기 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하고, 서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하며, 상기 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하여 상기 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 신호 처리부;를 포함한다.
상기 신호처리부는, 상기 디모자이킹동안 레벨 밸런스를 추가적으로 적용할하는 수 있다.
상기 신호 처리부는 상기 색분리 렌즈 어레이의 PSF를 이용하여 추정된 블러 커널을 상기 디컨벌루션 수행에 적용하여 공간해상도를 향상시킬 수 있다.
상기 신호 처리부는 상기 색분리 렌즈 어레이의 PSF를 이용하여 구성된 컬러 보정 매트릭스를 이용하여 컬러 보정을 수행할 수 있다.
상기 신호 처리부는, 상기 디모자이킹 후 상기 컬러 보정 전에 화이트 밸런스 과정을 추가적으로 수행할 수 있다.
상기 신호 처리부의 디컨벌루션은 주변 화소에서 컨벌루션된 정보를 소거하도록 이루어질 수 있다.
상기 신호 처리부는, 상기 이미지 센서의 로직(Logic)에 구비되거나, 컴패니언 칩(companion chip)으로 마련될 수 있다.
상기 이미지 센서는 베이어 패턴 배열을 가지며, 상기 신호 처리부는, 베이어 패턴 배열의 칼라별 영상을 얻으며, 얻어진 칼라별 영상을 이용하여 칼라 영상을 형성할 수 있다.
상기 신호 처리부는 얻어진 칼라별 영상을 이용하여 칼라 영상을 구성하도록, 각 색상의 비어있는 화소의 색상값을 주변 화소의 색상값을 이용하여 보간하여 칼라 영상을 형성할 수 있다.
상기 색분리 렌즈 어레이는 소정 화소에 해당하는 광성분에 더하여 주변 화소에서의 상기 광성분을 상기 소정 화소로 집광시킬 수 있다.
상기 센서 기판은 복수의 제1 광감지셀 및 복수의 제2광감지셀을 포함하며, 상기 색분리 렌즈 어레이는, 상기 복수의 제1광감지셀에 각각 대응하며, 제1미소 구조를 갖는 복수의 제1영역; 상기 복수의 제2광감지셀에 각각 대응하며며, 제2미소 구조를 갖는 복수의 제2영역;을 포함하며, 상기 제1 미소 구조와 제2 미소 구조는, 상기 색분리 렌즈 어레이에 입사하는 입사광 중에서 서로 다른 제1 파장의 광과 제2 파장의 광이 서로 다른 방향으로 분기되어 각각 제1 광감지셀 및 제2 광감지셀에 집광되는 위상 분포를 상기 제1 영역 및 상기 제2 영역을 통과한 위치에서 형성할 수 있다.
상기 제1 미소 구조와 제2 미소 구조는, 상기 색분리 렌즈 어레이를 통과한 직후의 위치에서 제1 파장의 광이 상기 제1 광감지셀의 중심부에서 2Nπ, 상기 제2 광감지셀의 중심부에서 (2N-1)π의 위상 분포를 형성하며, 여기서 N은 0보다 큰 정수이고, 상기 색분리 렌즈 어레이를 통과한 직후의 위치에서 제2 파장의 광이 상기 제1 광감지셀의 중심부에서 (2M-1)π, 상기 제2 광감지셀의 중심부에서는 2Mπ의 위상 분포를 형성하며, 여기서 M은 0보다 큰 정수일 수 있다.
상기 센서 기판은 광을 감지하는 복수의 제3 광감지셀 및 복수의 제4 광감지셀을 더 포함하며, 상기 색분리 렌즈 어레이는 상기 복수의 제3 광감지셀에 각각 대응하며 제3 미소 구조를 갖는 복수의 제3 영역, 및 상기 복수의 제4 광감지셀에 각각 대응하며 제4 미소 구조를 갖는 복수의 제4 영역을 포함하고, 상기 센서 기판은 상기 제1 내지 제4 광감지셀을 포함하는 단위 화소의 어레이를 포함할 수 있다.
상기 제1 미소 구조 내지 제4 미소 구조는, 상기 색분리 렌즈 어레이에 입사하는 입사광 중에서 서로 다른 제1 파장 내지 제3 파장의 광이 서로 다른 방향으로 분기되어 제1 파장의 광이 상기 제1 광감지셀과 상기 제4 광감지셀에 집광되고, 제2 파장의 광이 상기 제2 광감지셀에 집광되고, 제3 파장의 광이 상기 제3 광감지셀에 집광되는 위상 분포를 상기 제1 영역 내지 상기 제4 영역을 통과한 위치에서 형성할 수 있다.
상기 제1 미소 구조 내지 제4 미소 구조는, 상기 색분리 렌즈 어레이를 통과한 직후의 위치에서, 제1 파장의 광이 상기 제1 광감지셀의 중심부와 상기 제4 광감지셀의 중심부에서 2Nπ, 상기 제2 광감지셀의 중심부와 상기 제3 광감지셀의 중심부에서 (2N-1)π의 위상 분포를 형성하며, 제2 파장의 광이 상기 제1 광감지셀의 중심부, 및 상기 제4 광감지셀의 중심부에서 (2M-1)π, 상기 제2 광감지셀의 중심부에서는 2Mπ, 상기 제3 광감지셀의 중심부에서 (2M-2)π보다 크고 (2M-1)π보다 작은 위상 분포를 형성하며, 제3 파장의 광이 상기 제1 광감지셀의 중심부, 및 상기 제4 광감지셀의 중심부에서 (2L-1)π, 상기 제3 광감지셀의 중심부에서는 2Lπ, 상기 제2 광감지셀의 중심부에서 (2L-2)π보다 크고 (2L-1)π보다 작은 위상 분포를 형성하며, 여기서 N, M, 및 L은 0보다 큰 정수일 수 있다.
상기 제1 내지 제4영역의 제1 미소 구조 내지 제4 미소 구조는 복수의 나노포스트를 포함하며, 상기 제1 내지 제4 영역은 상기 나노포스트들의 형상, 크기, 배열 중 적어도 하나가 서로 다를 수 있다.
상기 이미지 센서는, 적색 화소, 녹색 화소, 청색 화소를 포함하는 단위 화소가 반복 배열된 화소 배열 구조를 가지며, 상기 제1 영역 내지 제4 영역 중에서 녹색 화소에 대응하는 영역에 구비된 나노포스트는 제1 방향 및 제1 방향에 수직한 제2 방향을 따라 서로 다른 분포 규칙을 가지며, 상기 제1 영역 내지 제4 영역 중에서 청색 화소 및 적색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1 방향 및 상기 제2 방향을 따라 대칭적인 분포 규칙을 가질 수 있다.
상기 복수의 영역의 미소 구조는, 복수의 나노포스트를 포함하며, 상기 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1방향 및 상기 제2방향을 따라 서로 다른 분포 규칙을 가지며, 상기 복수의 영역 중 청색 화소 및 적색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1방향 및 상기 제2방향을 따라 대칭적인 분포 규칙을 가질 수 있다.
상기 이미지 센서는, 네 개의 사분 영역(quadrant region)이 각각 청색 화소, 녹색 화소, 적색 화소, 녹색 화소로 구성되는 단위 화소가 제1방향 및 제2방향을 따라 이차원적으로 반복 배열된 베이어 패턴 구조를 가질 수 있다.
상기 복수의 영역의 미소 구조는, 복수의 나노포스트를 포함하며, 상기 복수의 나노포스트 중, 상기 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는, 중심부에 배치된 나노포스트가 다른 칼라의 화소에 대응하는 영역에 구비된 나노포스트보다 큰 단면적을 가지며, 주변부에 배치된 나노포스트가 중심부에 배치된 나노포스트보다 단면적이 작을 수 있다.
일 유형에 따른 영상 획득 방법은, 상기한 영상 획득 장치의 이미지 센서로 칼라별 로우 영상을 얻는 단계; 상기 이미지 센서의 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하는 단계; 서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하는 단계; 상기 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하는 단계;를 포함하여, 상기 이미지 센서에서 획득된 칼라별 영상 신호 처리하여 칼라 영상을 형성할 수 있다.
상기 칼라별 로우 영상은 베이어 패턴 배열을 가질 수 있다.
일 유형에 따른 전자 장치는, 상기한 영상 획득 장치; 및 상기 영상 획득 장치로부터 제공된 영상 정보에 대해 영상 처리를 수행하는 프로세서;를 포함한다.
상기 전자 장치는 스마트 폰(smart phone), 휴대폰, PDA(personal digital assistant), 랩톱(laptop), 태블릿, PC(personal computer)일 수 있다.
실시예에 따른 영상 획득 장치 및 방법에 따르면, 이미지 센서에 센서 기판의 복수의 광 감지셀과 각각 마주하는 복수의 영역 각각에 서로 인접하는 광 감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하는 미소 구조를 구비하여 입사광을 컬러에 따라 분리하는 색분리 렌즈 어레이를 적용하므로, 단위 화소에 입사하는 광성분 외에 주변 화소에서 해당 광성분에 해당하는 입사광을 집광할 수 있어 광효율이 향상될 수 있으며, 이에 따라 신호 대 잡음비가 증가하여 신호의 고주파 성분을 더욱 많이 보존할 수 있다.
또한, 신호 처리부에서, 색분리 렌즈 어레이에 의한 집광 특성과 주변 픽셀 정보의 혼합에 의한 블러 현상을 극복하도록 서브 이미지 도메인에서 디컨벌루션을 수행하고, 컬러 보정을 수행하여, 광효율 향상 효과를 유지하면서 개선된 영상 분해능을 확보할 수 있다.
도 1은 실시예에 따른 영상 획득 장치의 구성을 개략적으로 보여준다.
도 2는 실시예에 따른 이미지 센서의 블록도이다.
도 3a 내지 도 3c는 이미지 센서의 화소 어레이의 다양한 화소 배열을 예시적으로 도시한다.
도 4a 및 도 4b는 실시예에 따른 이미지 센서를 개략적으로 보여준다.
도 5a 및 도 5b는 일 실시예에 따른 이미지 센서의 화소 어레이의 각각 다른 단면에서 보인 개략적인 단면도이다
도 6은 이미지 센서의 화소 어레이에서 광감지셀의 배열을 개략적으로 보이는 평면도이다.
도 7a는 이미지 센서의 센서 기판의 광감지셀 배열에 대응되게 색분리 렌즈 어레이의 복수의 영역에 복수의 나노포스트가 배열된 형태를 예시적으로 보이는 평면도이며, 도 7b는 도 7a의 일부분을 확대하여 상세히 보인 평면도이다.
도 8a 및 도 8b는 색분리 렌즈 어레이를 통과한 청색광의 위상 분포 및 마주보는 광감지셀에서의 청색광 포커싱 분포를 전산 모사한 도면이고, 도 8c는 청색 화소에 대응하는 색분리 렌즈 어레이의 제2 영역과 그 주변에 입사한 청색광의 진행 방향을 예시적으로 보이며, 도 8d는 청색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 9a 및 도 9b는 색분리 렌즈 어레이를 통과한 녹색광의 위상 분포 및 마주보는 광감지셀에서의 녹색광 포커싱 분포를 전산 모사한 도면이고, 도 9c는 녹색 화소에 대응하는 색분리 렌즈 어레이의 제1 영역과 그 주변에 입사한 녹색광의 진행 방향을 예시적으로 보이며, 도 9d는 녹색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 10a 및 도 10b는 색분리 렌즈 어레이를 통과한 적색광의 위상 분포 및 마주보는 광감지셀에서의 적색광 포커싱 분포를 전산 모사한 도면이고, 도 10c는 적색 화소에 대응하는 색분리 렌즈 어레이의 제3 영역과 그 주변에 입사한 적색광의 진행 방향을 예시적으로 보이며, 도 10d는 적색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 11은 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형태를 보이는 사시도이다.
도 12a 내지 도 12h는 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형상을 보이는 평면도이다.
도13은 다른 실시예에 따른 이미지 센서에 채용될 수 있는 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보인 평면도이다.
도 14는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트의 배열 형태를 예시적으로 보이는 평면도이다.
도 15는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트의 배열 형태를 예시적으로 보이는 평면도이다.
도 16은 또 다른 실시예에 따른 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보이는 평면도이다.
도 17a 내지 도 17c는 이미지 센서 상의 위치에 따른 색분리 렌즈 어레이의 나노포스트들의 배열 형태 변화를 보이는 개략적인 평면도로, 도 17a는 이미지 센서의 중심부에 배치된 나노포스트의 위치를 나타내며, 도 17b는 이미지 센서의 중심부와 가장자리 사이에 배치된 나노포스트의 위치를 나타내고, 도 17c는 이미지 센서의 가장자리에 배치된 나노포스트의 위치를 나타낸다.
도 18a는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 18b는 도 18a의 이미지 센서의 색분리 렌즈 어레이에 채용되는 나노포스트의 예시적인 형상을 보이는 사시도이다.
도 19는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 20은 다른 실시예에 따른 색분리 렌즈 어레이의 개략적인 구조와 동작을 보이는 개념도이다.
도 21은 다른 실시예에 따른 색분리 렌즈 어레이를 예시적으로 보이는 평면도이다.
도 22는 도 21에 도시된 색분리 렌즈 어레이를 포함하는 이미지 센서의 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 23은 실시예에 따른 색분리 렌즈 어레이를 구비하는 이미지 센서에서의 색분리 렌즈 어레이에 의한 광효율 향상 원리를 보여준다.
도 24a 내지 도 24c는 색분리 렌즈 어레이를 적용한 이미지 센서의 베이어 패턴 배열의 단위 화소에 입사되는 광량 증가를 보여준다.
도 25는 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 의한 PSF(Point Spread Function) 특성을 보여준다.
도 26은 비교예로서, 기존과 같이 이미지 센서에 흡수형 칼라 필터를 적용할 때, 흡수형 칼라 필터에 의한 PSF 특성을 보여준다.
도 27은 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR: peak signal-to-noise ratio)를 보여준다.
도 28은 이미지 센서의 공간분해능을 보인 것으로 σ=0에서의 변조 전달 함수(MTF: Modulation transfer function)를 보여준다.
도 29는 기울어진 에지 이미지를 보여준다.
도 30은 실시예에 따른 영상 획득 장치의 신호 처리부에서의 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 과정을 개략적으로 보여준다.
도 31은 다른 실시예에 따른 영상 획득 장치의 신호 처리부에서의 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 과정을 개략적으로 보여준다.
도 32는 컬러 열화(Color Degradation)를 통제변인으로 색분리 렌즈 어레이의 크로스톡 PSF로부터 블러 커널(blur kernel)을 추정하는 과정을 보여준다.
도 33은 단위 화소가 2x2 배열의 4개의 컬러 화소(P1,P2,P3,P4)를 포함하는 예를 보인 것으로, 베이어 단위 화소를 보여준다.
도 34는 도 34의 단위 화소의 2차원 어레이 배열을 형성하는 색분리 렌즈 어레이를 예시적으로 보여준다.
도 35는 도 34의 단위 화소의 2차원 어레이 배열인 베이어 컬러 필터 배열을 보여주며, 기준품(POR: product of reference)에 해당한다.
도 36은 색분리 렌즈 어레이의 크로스톡 PSF를 이용하여 추정된 블러 커널을 예시적으로 보여준다.
도 37은 기준품에 해당하는 베이어 컬러 필터 배열에 대한 블러 커널이 델타 함수에 가까움을 보여준다.
도 38 및 도 39는 실시예에 따른 영상 획득 장치의 신호 처리부에서의 신호 처리 방식을 적용했을 때, 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR: peak signal-to-noise ratio)와 영상 획득 장치의 공간분해능을 보여준다.
도 40a는 오리지널 이미지를 보여준다.
도 40b는 기준품(POR)에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다.
도 40c는 색분리 렌즈 어레이에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다.
도 40d는 색분리 렌즈 어레이에 대해 실시예에 따른 영상 신호 처리 방식에 따라, 추정된 블러 커널을 적용한 디컨벌루션, 레벨 밸런스가 결합된 바이리니어 디모자이킹 및 컬러 보정 매트릭스를 적용한 컬러 보정을 적용했을 때의 이미지를 보여준다.
도 41은 실시예들에 따른 영상 획득 장치를 포함하는 전자 장치를 개략적으로 도시한 블록도이다.
도 42 내지 도 52는 실시예에 따른 영상 획득 장치를 적용된 전자 장치의 다양한 예를 보인다.
도 2는 실시예에 따른 이미지 센서의 블록도이다.
도 3a 내지 도 3c는 이미지 센서의 화소 어레이의 다양한 화소 배열을 예시적으로 도시한다.
도 4a 및 도 4b는 실시예에 따른 이미지 센서를 개략적으로 보여준다.
도 5a 및 도 5b는 일 실시예에 따른 이미지 센서의 화소 어레이의 각각 다른 단면에서 보인 개략적인 단면도이다
도 6은 이미지 센서의 화소 어레이에서 광감지셀의 배열을 개략적으로 보이는 평면도이다.
도 7a는 이미지 센서의 센서 기판의 광감지셀 배열에 대응되게 색분리 렌즈 어레이의 복수의 영역에 복수의 나노포스트가 배열된 형태를 예시적으로 보이는 평면도이며, 도 7b는 도 7a의 일부분을 확대하여 상세히 보인 평면도이다.
도 8a 및 도 8b는 색분리 렌즈 어레이를 통과한 청색광의 위상 분포 및 마주보는 광감지셀에서의 청색광 포커싱 분포를 전산 모사한 도면이고, 도 8c는 청색 화소에 대응하는 색분리 렌즈 어레이의 제2 영역과 그 주변에 입사한 청색광의 진행 방향을 예시적으로 보이며, 도 8d는 청색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 9a 및 도 9b는 색분리 렌즈 어레이를 통과한 녹색광의 위상 분포 및 마주보는 광감지셀에서의 녹색광 포커싱 분포를 전산 모사한 도면이고, 도 9c는 녹색 화소에 대응하는 색분리 렌즈 어레이의 제1 영역과 그 주변에 입사한 녹색광의 진행 방향을 예시적으로 보이며, 도 9d는 녹색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 10a 및 도 10b는 색분리 렌즈 어레이를 통과한 적색광의 위상 분포 및 마주보는 광감지셀에서의 적색광 포커싱 분포를 전산 모사한 도면이고, 도 10c는 적색 화소에 대응하는 색분리 렌즈 어레이의 제3 영역과 그 주변에 입사한 적색광의 진행 방향을 예시적으로 보이며, 도 10d는 적색광에 대해서 색분리 렌즈 어레이와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 11은 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형태를 보이는 사시도이다.
도 12a 내지 도 12h는 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형상을 보이는 평면도이다.
도13은 다른 실시예에 따른 이미지 센서에 채용될 수 있는 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보인 평면도이다.
도 14는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트의 배열 형태를 예시적으로 보이는 평면도이다.
도 15는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트의 배열 형태를 예시적으로 보이는 평면도이다.
도 16은 또 다른 실시예에 따른 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보이는 평면도이다.
도 17a 내지 도 17c는 이미지 센서 상의 위치에 따른 색분리 렌즈 어레이의 나노포스트들의 배열 형태 변화를 보이는 개략적인 평면도로, 도 17a는 이미지 센서의 중심부에 배치된 나노포스트의 위치를 나타내며, 도 17b는 이미지 센서의 중심부와 가장자리 사이에 배치된 나노포스트의 위치를 나타내고, 도 17c는 이미지 센서의 가장자리에 배치된 나노포스트의 위치를 나타낸다.
도 18a는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 18b는 도 18a의 이미지 센서의 색분리 렌즈 어레이에 채용되는 나노포스트의 예시적인 형상을 보이는 사시도이다.
도 19는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 20은 다른 실시예에 따른 색분리 렌즈 어레이의 개략적인 구조와 동작을 보이는 개념도이다.
도 21은 다른 실시예에 따른 색분리 렌즈 어레이를 예시적으로 보이는 평면도이다.
도 22는 도 21에 도시된 색분리 렌즈 어레이를 포함하는 이미지 센서의 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 23은 실시예에 따른 색분리 렌즈 어레이를 구비하는 이미지 센서에서의 색분리 렌즈 어레이에 의한 광효율 향상 원리를 보여준다.
도 24a 내지 도 24c는 색분리 렌즈 어레이를 적용한 이미지 센서의 베이어 패턴 배열의 단위 화소에 입사되는 광량 증가를 보여준다.
도 25는 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 의한 PSF(Point Spread Function) 특성을 보여준다.
도 26은 비교예로서, 기존과 같이 이미지 센서에 흡수형 칼라 필터를 적용할 때, 흡수형 칼라 필터에 의한 PSF 특성을 보여준다.
도 27은 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR: peak signal-to-noise ratio)를 보여준다.
도 28은 이미지 센서의 공간분해능을 보인 것으로 σ=0에서의 변조 전달 함수(MTF: Modulation transfer function)를 보여준다.
도 29는 기울어진 에지 이미지를 보여준다.
도 30은 실시예에 따른 영상 획득 장치의 신호 처리부에서의 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 과정을 개략적으로 보여준다.
도 31은 다른 실시예에 따른 영상 획득 장치의 신호 처리부에서의 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 과정을 개략적으로 보여준다.
도 32는 컬러 열화(Color Degradation)를 통제변인으로 색분리 렌즈 어레이의 크로스톡 PSF로부터 블러 커널(blur kernel)을 추정하는 과정을 보여준다.
도 33은 단위 화소가 2x2 배열의 4개의 컬러 화소(P1,P2,P3,P4)를 포함하는 예를 보인 것으로, 베이어 단위 화소를 보여준다.
도 34는 도 34의 단위 화소의 2차원 어레이 배열을 형성하는 색분리 렌즈 어레이를 예시적으로 보여준다.
도 35는 도 34의 단위 화소의 2차원 어레이 배열인 베이어 컬러 필터 배열을 보여주며, 기준품(POR: product of reference)에 해당한다.
도 36은 색분리 렌즈 어레이의 크로스톡 PSF를 이용하여 추정된 블러 커널을 예시적으로 보여준다.
도 37은 기준품에 해당하는 베이어 컬러 필터 배열에 대한 블러 커널이 델타 함수에 가까움을 보여준다.
도 38 및 도 39는 실시예에 따른 영상 획득 장치의 신호 처리부에서의 신호 처리 방식을 적용했을 때, 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR: peak signal-to-noise ratio)와 영상 획득 장치의 공간분해능을 보여준다.
도 40a는 오리지널 이미지를 보여준다.
도 40b는 기준품(POR)에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다.
도 40c는 색분리 렌즈 어레이에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다.
도 40d는 색분리 렌즈 어레이에 대해 실시예에 따른 영상 신호 처리 방식에 따라, 추정된 블러 커널을 적용한 디컨벌루션, 레벨 밸런스가 결합된 바이리니어 디모자이킹 및 컬러 보정 매트릭스를 적용한 컬러 보정을 적용했을 때의 이미지를 보여준다.
도 41은 실시예들에 따른 영상 획득 장치를 포함하는 전자 장치를 개략적으로 도시한 블록도이다.
도 42 내지 도 52는 실시예에 따른 영상 획득 장치를 적용된 전자 장치의 다양한 예를 보인다.
이하, 첨부된 도면들을 참조하여 예시적인 실시예들에 대해 상세히 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 이하에서 설명되는 실시예들은 단지 예시적인 것으로, 이러한 실시예들로부터 다양한 변형이 가능하다.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.
도 1은 실시예에 따른 영상 획득 장치(100)의 구성을 개략적으로 보여준다.
도 1을 참조하면, 영상 획득 장치(100)는, 물체(OBJ)로부터 반사된 광을 집속하여 광학 상(optical image)을 형성하는 촬영 렌즈부(120)에서 형성한 광학 상을 전기적 신호로 변환하여 칼라별 영상 신호를 획득하는 이미지 센서(200)와, 이미지 센서(200)에서 획득된 칼라별 영상 신호를 처리하여 컬러 영상을 형성하는 신호 처리부(250)를 포함한다. 영상 획득 장치(100)는 신호 처리부(250)에서 형성된 영상을 표시하는 디스플레이부(170), 신호 처리부(250)에서 형성된 영상을 저장하는 메모리(180) 등을 더 포함할 수 있다. 이미지 센서(200)와 촬영 렌즈부(120) 사이에는 추가적인 광학 요소 예컨대, 적외선 차단 필터 등이 더 배치될 수 있다.
도 2는 실시예에 따른 이미지 센서(200)의 개략적인 블록도이다.
도 2를 참조하면, 이미지 센서(200)는 화소 어레이(210), 타이밍 컨트롤러(240), 로우 디코더(220), 및 출력 회로(230)를 포함할 수 있다. 이미지 센서(200)는 CCD(charge coupled device) 이미지 센서, 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서일 수 있다.
화소 어레이(210)는 복수의 로우와 컬럼을 따라 2차원 배열된 화소들을 포함한다. 로우 디코더(220)는 타이밍 컨트롤러(240)로부터 출력된 로우 어드레스 신호에 응답하여 화소 어레이(210)의 로우들 중에서 하나를 선택한다. 출력 회로(230)는 선택된 로우를 따라 배열된 복수의 화소로부터 컬럼 단위로 광감지 신호를 출력한다. 이를 위하여, 출력 회로(230)는 컬럼 디코더와 아날로그-디지털 변환기(ADC; analog to digital converter)를 포함할 수 있다. 예를 들어, 출력 회로(230)는 컬럼 디코더와 화소 어레이(210) 사이에서 컬럼 별로 각각 배치된 복수의 ADC 또는, 컬럼 디코더의 출력단에 배치된 하나의 ADC를 포함할 수 있다. 타이밍 컨트롤러(240), 로우 디코더(220), 및 출력 회로(230)는 하나의 칩, 또는 각각 별개의 칩으로 구현될 수 있다. 출력 회로(230)를 통해 출력된 영상 신호를 처리하기 위한 도 1의 신호 처리부(250) 및 영상처리부(160) 등이 타이밍 컨트롤러(240), 로우 디코더(220), 및 출력 회로(230)와 함께 하나의 칩으로 구현될 수도 있다.
화소 어레이(210)는 서로 다른 파장의 광을 감지하는 복수의 화소를 포함할 수 있다. 화소의 배열은 다양한 방식으로 구현될 수 있다. 예를 들어, 도 3a, 도 3b 및 도 3c는 화소 어레이(210)의 다양한 배열을 도시한다.
먼저, 도 3a는 이미지 센서(200)에서 일반적으로 채택되고 있는 베이어 패턴(Bayer pattern)을 보인다. 도 3a를 참조하면, 하나의 단위 화소는 네 개의 사분 영역(quadrant region)을 포함하며, 제1 내지 제4 사분면이 각각 청색 화소(B), 녹색 화소(G), 적색 화소(R), 녹색 화소(G)가 될 수 있다. 이러한 단위 화소가 제1 방향(X방향) 및 제2 방향(Y방향)을 따라 이차원적으로 반복 배열된다. 다시 말해, 2×2 어레이 형태의 단위 화소 내에서 한 쪽 대각선 방향으로 2개의 녹색 화소(G)가 배치되고, 다른 쪽 대각선 방향으로 각각 1개의 청색 화소(B)와 1개의 적색 화소(R)가 배치된다. 전체적인 화소 배열을 보면, 복수의 녹색 화소(G)와 복수의 청색 화소(B)가 제1방향을 따라 번갈아 배열되는 제1 행과 복수의 적색 화소(R)와 복수의 녹색 화소(G)가 제1방향을 따라 번갈아 배열되는 제2행이 제2 방향을 따라 반복적으로 배열된다.
그러나, 화소 어레이(210)의 배열 방식은 베이어 패턴에만 한정되는 것이 아니며, 베이어 패턴 이외에도 다양한 배열 방식이 가능하다. 예를 들어, 도 3b에서와 같이, 마젠타(Magenta) 화소(M), 사이안(Cyan) 화소(C), 옐로우(Yellow) 화소(Y), 및 녹색 화소(G)가 하나의 단위 화소를 구성하는 CYGM 방식의 배열도 가능하다. 또한, 도 3c에서와 같이, 녹색 화소(G), 적색 화소(R), 청색 화소(B), 및 백색 화소(W)가 하나의 단위 화소를 구성하는 RGBW 방식의 배열도 가능하다. 또한, 도시되지는 않았지만 단위 화소가 3×2 어레이 형태를 가질 수도 있다. 그 밖에도 화소 어레이(210)의 화소들은 이미지 센서(200)의 색 특성에 따라 다양한 방식으로 배열될 수 있다. 이하에서는, 편의상 이미지 센서(200)의 화소 어레이(210)가 베이어 패턴을 갖는 것으로 예를 들어 설명하지만, 이하에서 설명하는 실시예들의 원리는 베이어 패턴이 아닌 다른 형태의 화소 배열에도 적용될 수 있다. 이미지 센서(200)의 화소 어레이는 도 4a 및 도 4b에서와 같이, 광을 센싱하는 복수의 광감지셀의 어레이를 포함하는 센서 기판(500)과, 센서 기판(500) 전단에 배치되어 광을 칼라에 따라 분리하여 복수의 광감지셀에 입사시키는 색분리 렌즈 어레이(300)를 포함한다.
도 4a 및 도 4b는 실시예에 따른 이미지 센서(200)를 개략적으로 보여준다.도 4b에서는 색분리 렌즈 어레이(300)의 개략적인 구조와 동작은 보이는 개념도를 보여준다.
도 4a 및 도 4b를 참조하면, 이미지 센서(200)의 센서 기판(500)은 광을 전기적 신호로 변환하는 제1 광감지셀(511), 제2 광감지셀(512), 제3 광감지셀(513), 제4 광감지셀(514)를 포함할 수 있다. 제1 광감지셀(511), 제2 광감지셀(512), 제3 광감지셀(513), 제4 광감지셀(514)의 단위 화소가 2차원으로 반복 배열될 수 있다. 이미지 센서(200)의 화소 어레이(210)가 베이어 패턴을 갖는 경우, 예를 들어, 제1 광감지셀(511) 및 제4 광감지셀(514)는 녹색 화소(G)에 해당하며, 제2 광감지셀(512) 및 제3 광감지셀(513) 중 하나는 적색 화소(R)에 해당하고 나머지 하나는 청색 화소(B)에 해당할 수 있다.
색분리 렌즈 어레이(300)는 복수의 광감지셀(511, 512, 513, 514)과 각각 마주하는 복수의 영역(311,312,313,314) 각각에 미소 구조를 구비하여, 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 마련되어 입사광을 컬러에 따라 분리할 수 있다. 색분리 렌즈 어레이(300)의 미소 구조는 도 4b에 예시적으로 보인 바와 같이, 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 하나 이상의 나노포스트(NP)가 분포되도록 배치된 복수의 나노포스트를 포함할 수 있다. 다른 예로서, 색분리 렌즈 어레이(300)의 미소 구조는 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 패턴으로 이루질 수도 있다. 이하에서는 미소 구조가 나노포스트로 이루어진 경우를 예를 들어 설명한다. 신호 처리부(250)는 이미지 센서(200)의 색분리 렌즈 어레이(300)에 의한 각 칼라 화소에 해당하는 PSF(point spread function)를 이용하여, 센서 기판(500)의 복수의 광감지셀(511, 512, 513, 514)의 센싱 신호에 대해 디컨벌루션을 수행하여 이미지 센서(200)에서 획득된 컬러별 영상 신호를 처리하고, 처리된 컬러별 영상 신호 컬러 영상을 형성한다. 도 4b를 참조하면, 색분리 렌즈 어레이(300)는, 센서 기판(500)의 복수의 광감지셀(511, 512, 513, 514)와 일대일로 대응하며 마주하는 복수의 영역(311,312,313,314)을 포함할 수 있다. 예를 들어, 색분리 렌즈 어레이(300)는 센서 기판(500)의 제1 내지 제4 광감지셀(511, 512, 513, 514)과 일대일로 대응하며 마주하는 제1 내지 제4영역(311,312,313,314)을 포함할 수 있으며, 제1 내지 제4영역(311,312,313,314)은 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 제1 내지 제4미소 구조를 포함할 수 있다.
제1 내지 제4미소 구조가 도 4b에서와 같이 각각 하나 이상의 나노포스트를 구비하는 경우, 제1영역(311)은 하나 이상의 제1나노포스트를 포함하며, 제2영역(312)은 하나 이상의 제2나노포스트를 포함하며, 제3영역(313)은 하나 이상의 제3나노포스트를 포함하며, 제4영역(314)은 하나 이상의 제4나노포스트를 포함할 수 있다. 색분리 렌즈 어레이(300)를 통과한 소정 파장의 광이 제1 내지 제4광 감지셀(511, 512, 513, 514) 중 어느 하나에 대응하는 광감지셀로 집광되는 위상을 형성하고, 나머지 광 감지셀로는 진행하지 않는 위상을 형성하도록 제1 내지 제4나노포스트의 형상, 크기, 배열이 정해질 수 있다. 또한, 색분리 렌즈 어레이(300)에 구비되는 복수의 영역은 각각 복수의 서브 영역을 포함하며, 복수의 나노포스트는 복수의 서브 영역 내에 일대일로 배치될 수 있다. 또한, 색분리 렌즈 어레이(300)에 구비되는 복수의 영역은 각각 복수의 서브 영역을 포함하며, 복수의 나노포스트는 복수의 서브 영역간의 교차점에 일대일로 배치될 수 있다.
이미지 센서(200)는, 단위 화소가 반복 배열된 화소 배열 구조를 가질 수 있다. 예를 들어, 이미지 센서(200)는, 네 개의 사분 영역(quadrant region)이 각각 청색 화소, 녹색 화소, 적색 화소, 녹색 화소로 구성되는 단위 화소가 제1방향 및 제2방향을 따라 이차원적으로 반복 배열된 베이어 패턴 구조를 가질 수 있다. 이때, 색분리 렌즈 어레이(300)의 복수의 나노포스트 중, 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트가 다른 컬러의 화소에 대응하는 영역에 구비된 나노포스트보다 큰 단면적을 가질 수 있다. 또한, 복수의 나노포스트 중, 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는 주변부에 배치된 나노포스트가 중심부에 배치된 나노포스트보다 단면적이 작을 수 있다. 또한, 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는 제1방향 및 제2방향을 따라 서로 다른 분포 규칙을 가지며, 복수의 영역 중 청색 화소 및 적색 화소에 대응하는 영역에 구비된 나노포스트는 제1방향 및 제2방향을 따라 대칭적인 분포 규칙을 가질 수 있다.
예를 들어, 제1 광감지셀(511)은 제1화소에 해당하는 제1파장의 광을 센싱하고, 제2 광감지셀(512)은 제2화소에 해당하는 제2파장의 광을 센싱하며, 제3 광감지셀(513)은 제3화소에 해당하는 제3파장의 광을 센싱하며, 제4 광감지셀(514)은 제4화소에 해당하는 제4파장의 광을 센싱할 수 있다. 다만, 실시예가 이에 한정되는 것은 아니다. 셀 간 경계에는 도시되지는 않았으나, 셀 분리를 위한 분리막이 더 형성될 수도 있다.
이미지 센서(200)에 있어서, 제1화소, 제2화소, 제3화소, 제4화소는 각각 녹색 화소(G), 청색 화소(B), 적색 화소(R), 녹색 화소(G)이고, 베이어 패턴 배열을 이루도록 된 경우, 센서 기판(500)의 제1 광감지셀(511), 제2 광감지셀(512), 제3 광감지셀(513), 제4 광감지셀(514)은 베이어 패턴 배열에 대응되게 배치될 수 있다.
색분리 렌즈 어레이(300)는 입사광을 칼라에 따라 분리하여 복수의 광감지셀 예컨대, 제1 내지 제4 광감지셀(511,512,513,514)에 입사시키기 위한 것으로, 도 4b에서와 같이 복수의 나노포스트(NP) 어레이를 포함할 수 있다.
예를 들어, 색분리 렌즈 어레이(300)는 제1광감지셀(511)에 제1파장의 광이 입사되어 녹색 화소(G)를 형성하고, 제2광감지셀(512)에 제2파장의 광이 입사되어 청색 화소(B)를 형성하고, 제3광감지셀(513)에 제3파장의 광이 입사되어 적색 화소(R)를 형성하고, 제4광감지셀(514)에 제1파장의 광이 입사되어 녹색 화소(G)를 형성하도록, 입사광을 칼라에 따라 분리할 수 있다.
색분리 렌즈 어레이(300)는 복수의 나노포스트(NP)가 소정 규칙으로 배열된 나노포스트 어레이를 포함한다. 나노포스트 어레이는 스페이서층에 의해 지지될 수 있다. 스페이서층은 센서 기판(500)과 색분리 렌즈 어레이(300) 사이의 간격을 일정하게 유지시키는 역할을 한다. 스페이서층은 가시광에 대해 투명한 재료로 이루어질 수 있다. 예를 들어, 스페이서층은 SiO2, 실란올계 유리(SOG; siloxane-based spin on glass) 등과 같이 색분리 렌즈 어레이(300)의 나노포스트(NP)의 굴절률보다 낮은 굴절률을 가지면서 가시광 대역에서 흡수율이 낮은 유전체 재료로 이루어질 수 있다. 도 4b에서는 색분리 렌즈 어레이(300)에서의 입사광의 칼라에 따른 분리를 보다 명확히 표현하도록 스페이서층의 도시를 편의상 생략하였다. 한편, 색분리 렌즈 어레이(300)는 복수의 나노포스트(NP)를 보호하는 보호층이 더 구비될 수 있다. 보호층은 나노포스트(NP)를 이루는 재질의 굴절률보다 낮은 굴절률의 유전체 재질로 이루어질 수 있다.
여기서, 규칙(rule)은 나노포스트(NP)의 형상, 크기(폭, 높이), 간격, 배열 형태 등의 파라미터에 적용되는 것으로, 입사광에 대해 색분리 렌즈 어레이(300)가 구현하고자 하는 타깃 위상 분포에 따라 정해질 수 있다. 타깃 위상 분포는 입사광의 파장을 분리하여 집광하고자 하는 타깃 영역을 고려하여 정해질 수 있다. 타깃 위상 분포는 색분리 렌즈 어레이(300)와 타깃 영역 사이에 표시되어 있으나, 이는 단지 도시의 편의에 의한 것이다. 실제의 타깃 위상 분포는 입사광이 색분리 렌즈 어레이(300)를 통과한 직후의 위치, 예를 들어 색분리 렌즈 어레이(300)의 하부 표면 또는 스페이서층의 상부 표면에서의 위상 분포를 의미한다.
색분리 렌즈 어레이(300)의 나노포스트(NP)들은 입사광에 포함된 서로 다른 파장의 광을 서로 다른 방향으로 분기하여 집광하는 위상 분포를 형성할 수 있다. 예를 들어, 입사광에 포함된 제1파장의 광 예컨대, 녹색광은 제1 위상분포, 제2파장의 광 예컨대, 청색광은 제2 위상분포를 갖고, 제3파장의 광 예컨대, 적색광은 제3위상 분포를 갖는 타깃 위상 분포를 형성하도록, 색분리 렌즈 어레이(300)의 제1 내지 제4영역(311)(312)(313)(314)에 분포되는 나노포스트(NP)들의 형상, 크기, 배열등이 정해질 수 있다. 이러한 타깃 위상 분포에 따라 나노포스트(NP)들의 어레이와 소정의 이격 거리에 있는 타깃 위치에 특정 색광이 집광될 수 있다.
나노포스트(NP)는 분기 대상인 파장 대역보다 작은 서브 파장의 형상 치수를 가질 수 있다. 나노포스트(NP)는 제1 내지 제3파장 중 짧은 파장보다 작은 형상 치수를 가질 수 있으며, 입사광이 가시광인 경우, 400nm, 300nm, 또는 200nm 보다 작은 치수를 가질 수 있다.
나노포스트(NP)는 주변 물질의 굴절률에 비하여 높은 굴절률을 갖는 물질로 이루어질 수 있다. 예를 들어, 나노포스트(NP)는 c-Si, p-Si, a-Si 및 Ⅲ-Ⅴ 화합물 반도체(GaP, GaN, GaAs 등), SiC, TiO2, SiN 및/또는 이들의 조합으로 이루어질 수 있다. 주변 물질과 굴절률 차이를 가지는 나노포스트(NP)는 지나가는 광의 위상을 변화시킬 수 있다. 이는 서브 파장의 형상 치수가 야기하는 위상 지연(phase delay)이 원인이며, 위상이 지연되는 정도는 나노포스트(NP)의 세부적인 형상 치수, 배열 형태 등이 결정한다. 주변 물질은 나노포스트(NP)보다 낮은 굴절률을 갖는 유전체 재료 물질, 예를 들어, SiO2 또는 공기(air)로 이루어질 수 있다.
제1 내지 제3파장은 가시광선 파장 대역일 수 있나, 이에 한정되지 않으며 배치된 나노포스트(NP)들의 규칙에 따라 다양한 파장 대역을 구현할 수 있다.
이하에서는 상술한 색분리 렌즈 어레이(300)가 이미지 센서(200)의 화소 어레이(210)에 적용된 예를 보다 상세하게 설명한다.
도 5a 및 도 5b는 일 실시예에 따른 이미지 센서의 화소 어레이의 각각 다른 단면에서 보인 개략적인 단면도이다
도 5a 및 도 5b를 참조하면, 화소 어레이(210)는 광을 센싱하는 복수의 광감지셀(311, 312, 313, 314)을 포함하는 센서 기판(500), 센서 기판(500) 상에 배치된 투명한 스페이서층(520), 및 스페이서층(520) 상에 배치된 색분리 렌즈 어레이(300)를 포함한다.
센서 기판(500)은 광을 전기적 신호로 변환하는 제1 광감지셀(511), 제2 광감지셀(512), 제3 광감지셀(513), 및 제4 광감지셀(514)을 포함할 수 있다. 도 5a에 도시된 바와 같이, 제1 광감지셀(511)과 제2 광감지셀(512)은 제1 방향(X 방향)을 따라 번갈아 배열되고, Y 방향의 위치가 다른 단면에서는 도 5b에 도시된 바와 같이, 제3 광감지셀(513)과 제4 광감지셀(514)이 번갈아 배열될 수 있다. 이러한 영역 구분은 입사광을 화소 단위로 구분하여 센싱하기 위한 것이며, 예를 들어, 제1 광감지셀(511)과 제4 광감지셀(514)은 제1 화소에 해당하는 제1 파장의 광을 센싱하고, 제2 광감지셀(512)은 제2 화소에 해당하는 제2 파장의 광을 센싱하며, 제3 광감지셀(513)은 제3 화소에 해당하는 제3 파장의 광을 센싱할 수 있다. 이하에서, 제1 파장의 광은 녹색광, 제2 파장의 광은 청색광, 제3 파장의 광은 적색광이고, 제1 화소, 제2 화소, 제3 화소는 각각 녹색 화소(G), 청색 화소(B), 적색 화소(R)인 경우를 예로 들어 설명한다. 셀 간 경계에는 도시되지는 않았으나, 셀 분리를 위한 분리막이 더 형성될 수도 있다.
스페이서층(520)은 색분리 렌즈 어레이(300)를 지지하면서 센서 기판(500)과 색분리 렌즈 어레이(300) 사이의 간격을 일정하게 유지시키는 역할을 하며, 가시광에 대해 투명한 재료로 이루어질 수 있다. 예를 들어, 스페이서층(120)은 SiO2, 실란올계 유리(SOG; siloxane-based spin on glass) 등과 같이 색분리 렌즈 어레이(300)의 나노포스트(NP)의 굴절률보다 낮은 굴절률을 가지면서 가시광 대역에서 흡수율이 낮은 유전체 재료로 이루어질 수 있다.
한편, 이미지 센서(200)의 화소 어레이(210)는 2차원 배열을 가질 수 있다. 즉, 도 6에서와 같이 제1 광감지셀(511)과 제2 광감지셀(512)이 번갈아 배열되는 제1 행과 제3 광감지셀(513)과 제4 광감지셀(514)이 번갈아 배열되는 제2 행이 서로 교대로 반복되도록, 센서 기판(500)에서 복수의 제1 광감지셀(511), 제2 광감지셀(512), 제3 광감지셀(513), 및 제4 광감지셀(514)이 제1 방향(X방향)과 제2 방향(Y방향)을 따라 이차원 배열될 수 있다. 이때, 이미지 센서(200)의 화소 어레이(210) 배열이 도 3a에서와 같이 베이어 패턴 배열인 경우, 제1 광감지셀(511)과 제4 광감지셀(514)이 녹색 화소(G)에 대응하고, 제2 광감지셀(512)이 청색 화소(B)에 대응하고, 제3 광감지셀(513)이 적색 화소(R)에 대응하게 된다. 센서 기판(500)의 제1 내지 제4 광감지셀(511,512,513,514)의 배열에 일대일로 대응되게 색분리 렌즈 어레이(300)의 나노포스트 어레이는 도 7a 및 도 7b에서와 같이 이에 대응되게 복수의 영역(311,312,313,314)으로 구획될 수 있다. 도 6은 이미지 센서의 화소 어레이에서 광감지셀의 배열을 개략적으로 보이는 평면도이다. 도 7a는 이미지 센서의 센서 기판의 광감지셀 배열에 대응되게 색분리 렌즈 어레이의 복수의 영역에 복수의 나노포스트가 배열된 형태를 예시적으로 보이는 평면도이며, 도 7b는 도 7a의 일부분을 확대하여 상세히 보인 평면도이다.
예를 들어, 이미지 센서(200)의 화소 배열이 베이어(Bayer) 패턴의 배열일 때, 하나의 단위 화소는 네 개의 사분 영역(quadrant region)을 포함하며, 제1 내지 제4 사분면이 각각 청색 화소(B), 녹색 화소(G), 적색 화소(R), 녹색 화소(G)가 될 수 있다. 이러한 단위 화소가 제1방향(X방향) 및 제2방향(Y방향)을 따라 이차원적으로 반복 배열된다.
도 6, 도 7a 및 도 7b를 참조하면, 단위 화소에서, 녹색 화소(G)에는 제1광감지셀(511)과 이에 대응하는 색분리 렌즈 어레이(300)의 제1영역(311)이 대응하고, 청색 화소(B)에는 제2 광감지셀(512)과 이에 대응하는 색분리 렌즈 어레이(300)의 영역(312)이 대응하며, 적색 화소(R)에는 제3 광감지셀(513)과 이에 대응하는 색분리 렌즈 어레이(300)의 영역(313)이 대응하고, 녹색 화소(G)에는 제4광감지셀(514)과 이에 대응하는 색분리 렌즈 어레이(300)의 제4영역(314)이 대응한다.
도 6 및 도 7a를 참조하면, 색분리 렌즈 어레이(300)의 나노포스트 어레이는 제1 내지 제4 광감지셀(511, 512, 513, 514)과 일대일로 대응하며 마주하는 제1 내지 제4 영역(311, 312, 313, 314)으로 구획된다. 제1 내지 제4 영역(311, 312, 313, 314) 각각에는 하나 이상의 나노포스트(NP)가 배치될 수 있고 나노포스트(NP)는 형상, 크기, 배열 중 적어도 어느 하나가 영역에 따라 다를 수 있다.
색분리 렌즈 어레이(300)의 복수의 나노포스트(NP)는 센서 기판(500)의 서로 인접하는 제1 광감지셀(511)과 제2 광감지셀(512)에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 형상, 크기, 배열이 정해질 수 있다. 또한 색분리 렌즈 어레이(300)의 복수의 나노포스트(NP)는 또한, 센서 기판(500)의 서로 인접하는 제3 광감지셀(513)과 제4 광감지셀(514)에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하도록 형상, 크기, 배열이 정해질 수 있다.
예를 들어, 이미지 센서(200)의 화소 어레이(210) 배열이 베이어 패턴 배열일 때, 도 7a에서와 같이, 녹색 화소(G)에 색분리 렌즈 어레이(300)의 영역(311)이 대응하고, 청색 화소(B)에 색분리 렌즈 어레이(300)의 영역(312)이 대응하며, 적색 화소(R)에 색분리 렌즈 어레이(300)의 영역(313)이 대응하며, 녹색 화소(G)에 색분리 렌즈 어레이(300)의 영역(314)이 대응하므로, 녹색 화소(G), 청색 화소(B), 적색 화소(R)에 대응하는 색분리 렌즈 어레이(300)의 영역의 중심부에 단면적이 서로 다른 나노포스트(NP)가 배치되며, 화소간 경계선 상의 중심 및 화소 경계선의 교차점에 나노포스트(NP)가 배치된다. 화소간 경계에 배치된 나노포스트(NP)의 단면적은 화소 중심부에 배치된 나노포스트(NP)보다 작은 단면적을 가질 수 있다.
도 7b는 도 7a의 일부 영역, 즉, 단위 패턴 어레이를 구성하는 영역(311, 312, 313, 314)의 나노포스트(NP)들 배열을 상세히 보인다. 도 7b에서 나노포스트(NP)들은 단위 패턴 어레이 내의 세부 위치에 따라 p1~p9로 표시되어 있다. 도 7b를 참조하면, 나노포스트(NP)들 중 영역(311)의 중심부에 배치된 나노포스트(p1) 및 영역(314)의 중심부에 배치된 나노포스트(p4)의 단면적이 영역(312)의 중심부에 배치된 나노포스트(p2)나 영역(313)의 중심부에 배치된 나노포스트(p3)의 단면적보다 크며, 영역(312)의 중심부에 배치된 나노포스트(p2)의 단면적이 영역(313)의 중심부에 배치된 나노포스트(p3)의 단면적보다 크다. 다만, 이는 하나의 예에 불과하고, 필요에 따라 다양한 형상, 크기, 배열의 나노포스트(NP)들이 적용될 수 있다.
즉, 녹색 화소(G)에 대응하는 색분리 렌즈 어레이(300)의 영역(311,314)의 중심부에 배치된 나노포스트(NP)의 단면의 면적이 청색 화소(B)에 대응하는 색분리 렌즈 어레이(300)의 영역(312)이나 적색 화소(R)에 대응하는 색분리 렌즈 어레이(300)의 영역(313)의 중심부에 배치된 나노포스트(NP)의 단면적보다 크며, 청색 화소(B)에 대응하는 영역(312)의 중심부에 배치된 나노포스트(NP)의 단면적이 적색 화소(R)에 대응하는 영역(313)의 중심부에 배치된 나노포스트(NP)의 단면적보다 크다. 다만, 이는 하나의 예에 불과하고, 필요에 따라 다양한 형상, 크기, 배열의 나노포스트(NP)들이 적용될 수 있다. 여기서, 단면적은 나노포스트(NP)의 높이 방향(Z방향)에 수직인 단면의 면적을 의미한다.
한편, 녹색 화소(G)에 대응하는 영역(311,314)에 구비된 나노포스트(NP)는 제1방향(X방향) 및 제2방향(Y방향)을 따라 서로 다른 분포 규칙을 가질 수 있다. 즉, 녹색 화소(G)에 대응하는 영역(311,314)에 구비된 나노포스트(NP)는 제1방향(X방향) 및 제2방향(Y방향)을 따라 비대칭적인 크기 배열을 가질 수 있다. 도 7b에 도시된 바와 같이, 나노포스트(NP)들 중, 영역(311)과 제1 방향(X방향)으로 인접한 영역(312)과의 경계에 위치하는 나노포스트(p5)의 단면적과 제2 방향(Y방향)으로 인접하는 영역(313)과의 경계에 위치하는 나노포스트(p6)의 단면적은 서로 다르다. 마찬가지로, 영역(314)과 제1 방향(X방향)으로 인접한 영역(313)과의 경계에 위치하는 나노포스트(p7)의 단면적과 제2 방향(Y방향)으로 인접하는 영역(312)과의 경계에 위치하는 나노포스트(p8)의 단면적은 서로 다르다.
반면, 청색 화소(B) 및 적색 화소(R)에 대응하는 영역(312,313))에 구비된 나노포스트는 제1방향(X방향) 및 제2방향(Y방향)을 따라 대칭적인 분포 규칙을 가질 수 있다. 도 7b에 도시된 바와 같이, 청색 화소(B)에 대응하는 영역(312)은 제1방향(X방향)으로 및 제2방향(Y방향)으로 인접한 화소 간의 경계에 놓이는 나노포스트(p5, p8)의 단면적이 서로 같으며, 또한, 적색 화소(R)에 대응하는 영역(313)도 제1방향(X방향)으로 및 제2방향(Y방향)으로 인접한 화소 간의 경계에 놓이는 나노포스트(p7, p6)의 단면적이 서로 같다.
한편, 영역(311), 영역(312), 영역(313), 영역(314) 각각의 네 모서리, 즉, 네 영역이 교차하는 위치에 배치된 나노포스트(p9)들은 같은 단면적을 갖는다. 이러한 분포는 베이어 패턴의 화소 배열에서 청색 화소(B), 적색 화소(R)는 모두 제1방향(X방향) 및 제2방향(Y방향)으로 인접한 화소들이 녹색 화소(G)로 같은 반면, 녹색 화소(G)의 경우 제1방향(X방향)으로 인접한 화소는 청색 화소(B)이고, 제2방향(Y방향)으로 인접하는 화소는 적색 화소(R)로 서로 다름에 기인한다. 따라서, 청색 화소(B)와 적색 화소(R)에 각각 대응하는 제2 영역(312)과 제3 영역(313)에서는 4방 대칭(4-fold symmetry)의 형태로 나노포스트(NP)들이 배열되고, 녹색 화소(G)에 대응하는 영역(311, 314)에서는 2방 대칭(2-fold symmetry)의 형태로 나노포스트(NP)들이 배열될 수 있다. 특히, 영역(311)과 영역(314)은 서로에 대해 90도 회전되어 있다.
도 4b 및 도 7a, 도 7b에서는 복수의 나노포스트(NP)가 모두 대칭적인 원형의 단면 형상을 갖는 것으로 도시되었으나 이에 한정되는 것은 아니다. 비대칭 형상의 단면 형상을 갖는 나노포스트가 일부 포함될 수도 있다. 예를 들어, 녹색 화소(G)에 대응하는 영역(311,314)에는 제1방향(X방향)과 제2방향(Y방향)의 폭이 서로 다른 비대칭 단면 형상을 갖는 나노포스트가 채용되고, 청색 화소(B), 적색 화소(R)에 각각 대응하는 영역(312), 영역(313)에는 제1방향(X방향)과 제2방향(Y방향)의 폭이 같은 대칭적인 단면 형상을 갖는 나노포스트가 채용될 수 있다.
예시된 나노포스트 어레이의 배열 규칙은 제1 광감지셀(511) 및 제4 광감지셀(514)에 제1 파장의 광을 분기하여 집광시키고, 제2 광감지셀(512)에 제2 파장의 광을 분기하여 집광시키고, 제3 광감지셀(513)에 제3파장의 광을 분기하여 집광시키게 하는 타겟 위상 분포를 구현하기 위한 일 예시이며, 도시된 패턴에 한정되는 것은 아니다.
색분리 렌즈 어레이(300)를 통과한 위치에서 제1파장의 광 예컨대, 녹색(G) 광이 제1 광감지셀(511) 및 제4 광감지셀(514)로 집광되는 위상을 형성하고 제1 광감지셀(511) 및 제4 광감지셀(514)과 인접한 제2 광감지셀(512) 및 제3 광감지셀(513)로는 진행하지 않는 위상을 형성하도록, 색분리 렌즈 어레이(300)의 제1 내지 제4영역(311,312,313,314)에 각각 구비되는 나노포스트(NP)의 형상, 크기, 배열이 정해질 수 있다. 색분리 렌즈 어레이(300)를 통과한 위치에서 제2파장의 광 예컨대, 청색(B) 광이 제2 광감지셀(512)로 집광되는 위상을 형성하고 제2 광감지셀(512)과 인접한 제1 광감지셀(511), 제3 광감지셀(513), 제4 광감지셀(514)로는 진행하지 않는 위상을 형성하도록, 색분리 렌즈 어레이(300)의 제1 내지 제4영역(311,312,313,314)에 각각 구비되는 나노포스트(NP)의 형상, 크기, 배열이 정해질 수 있다. 또한, 색분리 렌즈 어레이(300)를 통과한 위치에서 제3파장의 광 예컨대, 적색(R)광이 제3 광감지셀(513)로 집광되는 위상을 형성하고 제3 광감지셀(513)과 인접한 제1 광감지셀(511), 제2 광감지셀(512), 제4 광감지셀(514)로는 진행하지 않는 위상을 형성하도록, 색분리 렌즈 어레이(300)의 제1 내지 제4영역(311,312,313,314)에 각각 구비되는 나노포스트(NP)의 형상, 크기, 배열이 정해질 수 있다.
이러한 조건들을 모두 만족시키는 나노포스트(NP)의 형상, 크기, 배열이 정해질 수 있으며, 그러한 색분리 렌즈 어레이(300)는 그를 통과한 직후의 광이 다음과 같은 타겟 위상 분포를 가지게 할 수 있다. 색분리 렌즈 어레이(300)를 통과한 직후 위치에서, 다시 말해 색분리 렌즈 어레이(300)의 하부 표면 또는 스페이서층의 상부 표면에서, 색분리 렌즈 어레이(300)가 구현하고자 하는 타겟 위상 분포는, 제1파장의 광의 위상이 제1 광감지셀(511) 및 제4 광감지셀(514)에 대응하는 제1영역(311)과 제4영역(314)의 중심부에서 2Nπ이고 제2 광감지셀(512)에 대응하는 제2영역(312)의 중심부 및 제3 감지셀(513)에 대응하는 제3영역(313)의 중심부에서는 (2N-1)π가 되는 분포일 수 있다. 여기서, N은 0보다 큰 정수이다. 다시 말해, 색분리 렌즈 어레이(300)를 투과한 직후의 위치에서 제1 파장의 광의 위상이, 제1 영역(311)의 중심부와 제4 영역(314)의 중심부에서 최대가 되며, 제1 영역(311)의 중심부와 제4 영역(314)의 중심부로부터 멀어질수록 동심원 형태로 점차 작아져서 제2 영역(312)의 중심부와 제3 영역(313)의 중심부에서 최소가 될 수 있다. 예를 들어, N=1인 경우, 색분리 렌즈 어레이(300)를 투과한 위치에서 제1파장의 광의 위상은 제1 영역(311)의 중심부와 제4 영역(314)의 중심부에서 2π, 제2 영역(312)의 중심부와 제3 영역(313)의 중심부에서 π가 될 수 있다. 여기서, 위상은 빛이 나노포스트(NP)을 통과하기 직전의 위상에 대한 상대적인 위상 값을 의미할 수 있다.
또한, 이러한 타겟 위상 분포에서 색분리 렌즈 어레이(300)를 통과한 직후 위치에서 제2파장의 광의 위상은 제2 광감지셀(512)에 대응하는 제2영역(312)의 중심부에서 2Mπ이고 제1 광감지셀(511)에 대응하는 제1영역(311)의 중심부 및 제4 광감지셀(514)에 대응하는 제4영역(314)의 중심부에서는 (2M-1)π이고, 제3 광감지셀(513)에 대응하는 제3영역(313)의 중심부에서는 (2M-2)π보다 크고 (2M-1)π보다 작게 되는 분포일 수 있다. 여기서, M은 0보다 큰 정수이다. 다시 말해, 색분리 렌즈 어레이(300)를 투과한 직후의 위치에서 제2 파장의 광의 위상이, 제2 영역(312)의 중심부에서 최대가 되며, 제2 영역(312)의 중심부로부터 멀어질수록 동심원 형태로 점차 작아져, 제3 영역(313)의 중심부에서 국소적으로 최소가 된다. 예를 들어, M=1인 경우, 색분리 렌즈 어레이(300)를 투과한 위치에서 제2 파장의 광의 위상은 제2 영역(312)의 중심부에서 2π, 제1 영역(311)의 중심부와 제4 영역(314)의 중심부에서 π, 제3 영역(313)의 중심부에서 약 0.2π 내지 0.7π가 될 수 있다.
또한, 상기 타겟 위상 분포에서 색분리 렌즈 어레이(300)를 통과한 직후 위치에서 제3파장의 광의 위상은 제3 광감지셀(513)에 대응하는 제3영역(313)의 중심부에서 2Lπ이고 제1 광감지셀(511)에 대응하는 제1영역(311)의 중심부 및 제4 광감지셀(514)에 대응하는 제4영역(314)의 중심부에서는 (2L-1)π이고, 제2 광감지셀(512)에 대응하는 제2영역(312)의 중심부에서는 (2L-2)π보다 크고 (2L-1)π보다 작을 수 있다. 여기서, L은 0보다 큰 정수이다. 다시 말해, 색분리 렌즈 어레이(300)를 투과한 직후의 위치에서 제3 파장의 광의 위상이, 제3 영역(313)의 중심부에서 최대가 되며, 제3 영역(313)의 중심부로부터 멀어질수록 동심원 형태로 점차 작아져, 제2 영역(312)의 중심부에서 국소적으로 최소가 된다. 예를 들어, L=1인 경우, 색분리 렌즈 어레이(300)를 투과한 위치에서 제3 파장의 광의 위상은 제3 영역(313)의 중심부에서 2π, 제1 영역(311)의 중심부와 제4 영역(314)의 중심부에서 π, 제2 영역(312)의 중심부에서 약 0.2π 내지 0.7π가 될 수 있다.
이러한 타겟 위상 분포는 색분리 렌즈 어레이(300)를 통과한 직후의 위치에서의, 다시 말해 색분리 렌즈 어레이(300)의 하부 표면 또는 스페이서층의 상부 표면에서, 광의 위상 분포를 의미한다. 색분리 렌즈 어레이(300)를 통과한 광이 이러한 위상 분포를 가지면, 제1 내지 제3파장의 광들이 각각 해당하는 센서 기판(500)의 제1 내지 제4 광감지셀(511)(512)(513)(514)에 모이게 된다. 다시 말해, 색분리 렌즈 어레이(300)를 투과한 광이 파장에 따라 분기하여 각각 서로 다른 방향으로 진행하여 집광되는 효과를 얻을 수 있다.
이렇게 해당 파장의 광이 해당 광감지셀에 집광되기 위해 소정의 전파 거리 요건이 정해질 수 있고, 이에 따라 스페이서층의 두께가 정해질 수 있다. 스페이서층의 두께는 분기 대상인 파장(λ)이나 화소 크기 및 광감지셀의 배치 주기(p)에 따라 달라질 수 있다. 스페이서층의 두께는 분기 대상인 가시광선 파장 대역의 중심 파장(λ)보다 클 수 있으며, 인접하는 광감지셀 중심간의 거리인 광감지셀의 배치 주기(p)와 비교하면, 스페이서층의 두께는 1p~3p의 범위일 수 있다. 구체적으로, 스페이서층의 두께는 약 500nm 내지 5um의 범위일 수 있다.
도 8a 및 도 8b는 색분리 렌즈 어레이를 통과한 청색광의 위상 분포 및 마주보는 광감지셀에서의 청색광 포커싱 분포를 전산 모사한 도면이고, 도 8c는 청색 화소(B)에 대응하는 색분리 렌즈 어레이(300)의 제2 영역(312)과 그 주변에 입사한 청색광의 진행 방향을 예시적으로 보이며, 도 8d는 청색광에 대해서 색분리 렌즈 어레이(300)와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 8a에 예시된 청색광의 위상 분포를 살펴보면, 청색 화소(B)에 대응하는 영역의 중심부에서의 위상은 대략적으로 2π이며, 인접한 녹색 화소(G)에 대응하는 영역의 중심부에서의 위상은 대략적으로 π의 값을 나타내고, 대각선 방향의 적색 화소(R)에 대응하는 영역의 중심부에서의 위상은 대략적으로 π보다 작은 값(예컨대, 약 0.2π 내지 0.7π)을 나타낼 수 있다. 이러한 위상 분포는 도 8b와 같은 청색광의 포커싱 분포를 나타낼 수 있다. 이러한 위상 분포에 의해 청색광은 청색 화소(B)에 대응하는 센서 기판(500)의 제2광감지셀(512)에 대부분 집광되며, 다른 화소에 대응하는 제1, 제3 및 제4광감지셀(511,513,514)에는 청색광이 거의 도달하지 않는다.
결과적으로, 청색 화소(B)에 대응하는 제2 영역(312)과 그 주변에 입사한 청색광은 색분리 렌즈 어레이(300)를 투과한 후 도 8c에 도시된 바와 같이 진행하게 된다. 예를 들어, 색분리 렌즈 어레이(300)의 제2 영역(312)과 제2 영역(312)을 둘러싸는 다른 영역들의 일부에 입사하는 입사광 중에서 청색광은 제2 영역(312) 직하부의 제2 광감지셀(512) 상에 집광된다. 다시 말해, 하나의 청색 화소(B)에는 그 청색 화소(B)에 대응하는 제2 영역(312)에서 오는 청색광, 제2 영역(312)과 가로 방향으로 인접하는 2개의 제1 영역(311)에서 오는 청색광, 제2 영역(312)과 세로 방향으로 인접하는 2개의 제4 영역(314)에서 오는 청색광, 및 제2 영역(312)과 대각 방향으로 인접하는 4개의 제3 영역(313)에서 오는 청색광이 입사한다.
따라서, 도 8d에 도시된 바와 같이, 색분리 렌즈 어레이(300)는 청색광에 대해서는 제2 광감지셀(512)을 중심으로 배열된 복수의 마이크로 렌즈(ML1)의 어레이와 등가적인 역할을 할 수 있다. 각각의 등가적인 마이크로 렌즈(ML1)는 그에 대응하는 제2 광감지셀(512)보다 크기 때문에, 제2 광감지셀(512)의 영역에 입사하는 청색광뿐만 아니라 제2 광감지셀(512)을 둘러싸는 다른 영역으로 입사하는 청색광도 제2 광감지셀(512)에 집광시킬 수 있다. 예를 들어, 각각의 마이크로 렌즈(ML1)는 그에 대응하는 제2 광감지셀(512)보다 4배 정도 크며 각각의 마이크로 렌즈(ML1)의 네변은 제2 광감지셀(512)의 네변과 평행할 수 있다.
도 9a 및 도 9b는 색분리 렌즈 어레이를 통과한 녹색광의 위상 분포 및 마주보는 광감지셀에서의 녹색광 포커싱 분포를 전산 모사한 도면이고, 도 9c는 녹색 화소에 대응하는 색분리 렌즈 어레이(300)의 제1 영역(311) 과 그 주변에 입사한 녹색광의 진행 방향을 예시적으로 보이며, 도 9d는 녹색광에 대해서 색분리 렌즈 어레이(300)와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다.
도 9a에 예시된 녹색광의 위상 분포는, 녹색 화소(G)에 대응하는 영역의 중심부에서의 위상은 대략적으로 2π이며, 인접한 청색 화소(B) 및 적색 화소(R)에 대응하는 영역의 중심부에서의 위상은 대략적으로 π의 값을 나타낼 수 있다. 이러한 위상 분포는 도 9b와 같은 녹색광의 포커싱 분포를 나타낼 수 있다. 이러한 위상 분포에 의해 녹색광은 두 녹색 화소에 대응하는 센서 기판(500)의 두 제1광감지셀(511,514)에 나뉘어 집광되고, 다른 화소에 대응하는 제2 및 제3광감지셀(512,513)에는 녹색광이 거의 도달하지 않는다.
결과적으로, 녹색 화소(G)에 대응하는 제1 및 제4 영역(311, 314)과 그 주변에 입사한 녹색광은 색분리 렌즈 어레이(300)를 투과한 후 도 9c에 도시된 바와 같이 진행하게 된다. 예를 들어, 색분리 렌즈 어레이(300)의 제1 영역(311) 및 제1 영역(311)을 둘러싸는 다른 영역들의 일부에 입사하는 입사광 중에서 녹색광은 제1 영역(311) 직하부의 제1 광감지셀(511) 상에 집광된다. 다시 말해, 하나의 녹색 화소(G)에는 그 녹색 화소(G)에 대응하는 제1 영역(311) 또는 제4 영역(314)에서 오는 녹색광, 제1 영역(311) 또는 제4 영역(314)과 가로 및 세로 방향으로 인접하는 2개의 제2 영역(312)과 2개의 제3 영역(313)에서 오는 녹색광이 입사한다.
따라서, 도 9d에 도시된 바와 같이, 색분리 렌즈 어레이(300)는 녹색광에 대해서는 제1 광감지셀(511)과 제4 광감지셀(514)을 중심으로 배열된 복수의 마이크로 렌즈(ML2)의 어레이와 등가적인 역할을 할 수 있다. 각각의 등가적인 마이크로 렌즈(ML2)는 그에 대응하는 제1 광감지셀(511)이나 제4 광감지셀(514)보다 크기 때문에, 제1 광감지셀(511)과 제4 광감지셀(514)의 영역에 입사하는 녹색광뿐만 아니라 제1 광감지셀(511)과 제4 광감지셀(514)을 둘러싸는 다른 영역으로 입사하는 녹색광도 제1 광감지셀(511)과 제4 광감지셀(514)에 집광시킬 수 있다. 예를 들어, 각각의 마이크로 렌즈(ML2)는 그에 대응하는 제1 광감지셀(511) 또는 제4 광감지셀(514)보다 2배 정도 크며 그에 대응하는 제1 광감지셀(511)과 제4 광감지셀(514)에 대해 대각선 방향으로 접하도록 배치될 수 있다.
도 10a 및 도 10b는 색분리 렌즈 어레이를 통과한 적색광의 위상 분포 및 마주보는 광감지셀에서의 적색광 포커싱 분포를 전산 모사한 도면이고, 도 10c는 적색 화소에 대응하는 색분리 렌즈 어레이(300)의 제3 영역(313)과 그 주변에 입사한 적색광의 진행 방향을 예시적으로 보이며, 도 10d는 적색 화소(R)에 대해서 색분리 렌즈 어레이(300)와 등가적으로 작용하는 마이크로 렌즈 어레이를 예시적으로 보인다. 도 10a에 예시된 위상 분포를 살펴보면, 적색광의 위상 분포는, 적색 화소(R)에 대응하는 영역의 중심부에서의 위상은 대략적으로 2π이며, 인접한 녹색 화소(G)에 대응하는 영역의 중심부에서의 위상은 대략적으로 π의 값을 나타내고, 대각선 방향의 청색 화소(B)에 대응하는 영역의 중심부에서의 위상은 대략적으로 π보다 작은 값(예컨대, 약 0.2π 내지 0.7π)을 나타낼 수 있다. 이러한 위상 분포는 도 10b와 같은 적색광의 포커싱 분포를 나타낼 수 있다. 이러한 위상 분포에 의해 적색광은 적색 화소(R)에 대응하는 센서 기판(500)의 제3광감지셀(513)에 대부분 집광되고 다른 화소에 대응하는 제1, 제2 및 제4광감지셀(511,512,514)에는 적색광이 거의 도달하지 않는다.
결과적으로, 적색 화소(R)에 대응하는 제3 영역(313)과 그 주변에 입사한 광은 색분리 렌즈 어레이(300)를 투과한 후 도 10c에 도시된 바와 같이 진행하게 된다. 예를 들어, 색분리 렌즈 어레이(300)의 제3 영역(313)과 제3 영역(313)을 둘러싸는 다른 영역들의 일부에 입사하는 입사광 중에서 적색광은 제3 영역(313) 직하부의 제3 광감지셀(513) 상에 집광된다. 다시 말해, 하나의 적색 화소(R)에는 그 적색 화소(R)에 대응하는 제3 영역(313)에서 오는 적색광, 제3 영역(313)과 가로 방향으로 인접하는 2개의 제4 영역(314)에서 오는 적색광, 제3 영역(313)과 세로 방향으로 인접하는 2개의 제1 영역(311)에서 오는 적색광 및 제3 영역(313)과 대각선 방향으로 인접하는 4개의 제2 영역(312)에서 오는 적색광이 입사한다.
따라서, 도 10d에 도시된 바와 같이, 색분리 렌즈 어레이(300)는 적색광에 대해서는 제3 광감지셀(513)을 중심으로 배열된 복수의 마이크로 렌즈(ML3)의 어레이와 등가적인 역할을 할 수 있다. 각각의 등가적인 마이크로 렌즈(ML3)는 그에 대응하는 제3 광감지셀(513)보다 크기 때문에, 제3 광감지셀(513)의 영역에 입사하는 적색광뿐만 아니라 제3 광감지셀(513)을 둘러싸는 다른 영역으로 입사하는 적색광도 제3 광감지셀(513)에 집광시킬 수 있다. 예를 들어, 각각의 마이크로 렌즈(ML3)는 그에 대응하는 제3 광감지셀(513)보다 4배 정도 크며 각각의 마이크로 렌즈(ML3)의 네변은 제3 광감지셀(513)의 네변과 평행할 수 있다.
도 8c, 도 8d, 도 9c, 도 9d, 도 10c, 및 도 10d에 도시된 결과를 다르게 표현하자면, 색분리 렌즈 어레이(300)의 제1 영역(311)에 입사하는 입사광 중에서, 녹색광은 제1 영역(311)에 대응하는 제1 광감지셀(511)의 중심부를 향해 진행하고, 청색광은 제1 영역(311)에 대응하는 제1 광감지셀(511) 주변의 제2 광감지셀(512)의 중심부를 향해 진행하고, 적색광은 제1 영역(311)에 대응하는 제1 광감지셀(511) 주변의 제3 광감지셀(513)의 중심부를 향해 진행한다. 또한, 색분리 렌즈 어레이(310)의 제2 영역(312)에 입사하는 입사광 중에서, 청색광은 제2 영역(312)에 대응하는 제2 광감지셀(512)의 중심부를 향해 진행하고, 녹색광은 제2 영역(312)에 대응하는 제2 광감지셀(512) 주변의 제1 광감지셀(511) 및 제4 광감지셀(514)의 중심부를 향해 진행하고, 적색광은 제2 영역(312)에 대응하는 제2 광감지셀(512) 주변의 제3 광감지셀(513)의 중심부를 향해 진행한다. 마찬가지로, 색분리 렌즈 어레이(300)의 제3 영역(313)에 입사하는 입사광 중에서, 적색광은 제3 영역(313)에 대응하는 제3 광감지셀(513)의 중심부를 향해 진행하고, 녹색광은 제3 영역(313)에 대응하는 제3 광감지셀(513) 주변의 제1 광감지셀(511) 및 제4 광감지셀(514)의 중심부를 향해 진행하고, 청색광은 제3 영역(313)에 대응하는 제3 광감지셀(513) 주변의 제2 광감지셀(512)의 중심부를 향해 진행하게 된다. 마지막으로, 색분리 렌즈 어레이(300)의 제4 영역(314)에 입사하는 입사광 중에서, 녹색광은 제4 영역(314)에 대응하는 제4 광감지셀(514)의 중심부를 향해 진행하고, 청색광은 제4 영역(314)에 대응하는 제4 광감지셀(514) 주변의 제2 광감지셀(512)의 중심부를 향해 진행하고, 적색광은 제4 영역(314)에 대응하는 제4 광감지셀(514) 주변의 제3 광감지셀(513)의 중심부를 향해 진행하게 된다.
이와 같은 색분리와 집광은 스페이서층의 두께를 적절히 설정하여 보다 효과적으로 이루어질 수 있다. 예를 들어, 스페이서층의 이론 두께를 ht, λ0의 파장에 대한 스페이서층의 굴절률을 n, 광감지셀의 피치를 p라고 할 때, 다음의 수학식 1을 만족할 수 있다.
여기서, 스페이서층의 이론 두께 ht는 λ0의 파장을 갖는 광이 색분리 렌즈 어레이(300)에 의해 광감지셀(511, 512, 513, 514)의 상부 표면 상에 집광되는 초점 거리를 의미할 수 있다. 다시 말해, λ0의 파장을 갖는 광은 색분리 렌즈 어레이(300)를 지나면서 색분리 렌즈 어레이(300)의 하부 표면으로부터 ht만큼 떨어진 거리에 포커싱될 수 있다.
수학식 1에 기재된 바와 같이, 스페이서층의 이론 두께 ht는 광감지셀(511, 512, 513, 514)의 피치(p)와 스페이서층의 굴절률(n)에 따라 달라질 수 있다. 예를 들어, 가시광선 대역의 중심 파장(λ0)을 약 540 nm, 광감지셀(511, 512, 513, 514)의 피치(p)를 약 0.8 μm, 약 540 nm의 파장에서 스페이서층의 굴절률(n)을 약 1.46이라고 가정하면, 스페이서층의 이론 두께 ht, 다시 말해 색분리 렌즈 어레이(300)의 하부 표면과 센서 기판(500)의 상부 표면 사이의 거리는 약 1.64 μm일 수 있다. 그러나, 스페이서층의 실제 두께는 수학식 1에 기재된 이론 두께(ht)로만 제한될 필요는 없다. 예를 들어, 색분리 렌즈 어레이(300)의 효율을 고려하여 이론 두께(ht)를 기준으로 소정의 범위 내에서 스페이서층의 실제 두께가 선택될 수 있다. 예를 들어, 스페이서층의 실제 두께(h)는 ht - p ≤ h ≤ ht + p의 범위 내에서 선택될 수 있다.
상술한 색분리 렌즈 어레이(300)는 입사광을 흡수하거나 차단하지 않으면서 파장 별로 분기하고 분기된 광을 특정 영역에 각각 집광시킬 수 있기 때문에, 이미지 센서의 광 이용 효율을 향상시킬 수 있다. 또한, 색분리 렌즈 어레이(300)는 향상된 색분리 성능을 갖기 때문에 색분리 렌즈 어레이(300)를 채용한 이미지 센서는 우수한 색 순도를 가질 수 있다. 또한, 색분리 렌즈 어레이(300)를 채용한 이미지 센서는 이미지 센서에서 일반적으로 채택되고 있는 베이어 패턴 방식을 유지할 수 있다. 더욱이, 색분리 렌즈 어레이(300)는 입사광을 집광하는 렌즈의 역할도 할 수 있기 때문에, 색분리 렌즈 어레이(300)를 채용한 이미지 센서는 광을 각각의 화소에 집광시키기 위한 별도의 마이크로 렌즈를 필요로 하지 않는다.
도 11은 실시예에 따른 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형태를 보이는 사시도이다.
도 11을 참조하면, 나노포스트는 직경 D, 높이 H인 원기둥 형상을 가질 수 있다. 직경 D, 높이 H 중 적어도 어느 하나는 서브 파장일 수 있다. 직경 D는 나노포스트가 배치되는 위치에 따라 달라질 수 있다.
나노포스트는 이외에도 다양한 단면 형상을 갖는 기둥 예를 들어, 정사각형 형상, 정사각형 링 형상 또는 십자 형상 등을 갖는 기둥으로 형성될 수 있다. 도 12a 내지 도 12h는 이미지 센서의 색분리 렌즈 어레이에 채용될 수 있는 나노포스트의 예시적인 형상을 보이는 평면도이다.
도 12a와 같이, 나노포스트의 단면 형상은 외경 D, 내경 Di인 원형 링 형상일 수 있다. 링의 폭, w가 서브 파장일 수 있다.
도 12b와 같이, 나노포스트의 단면 형상은 제1 방향(X방향)과 제2 방향(Y방향)의 장축과 단축 길이가 Dx, Dy로 서로 다른 타원 형상일 수 있다. 이러한 형상은 예를 들어, 도 7의 설명에서 전술한 바와 같이, 녹색 화소에 대응하는 제1 영역(311)과 제4 영역(314)에 채용될 수 있다.
도 12c, 도 12d, 도 12f에 도시한 바와 같이, 나노포스트의 단면 형상은 정사각형 형상, 정사각형 링 형상 또는 십자 형상일 수 있다.
도 12e, 도 12g에 도시한 바와 같이, 나노포스트의 단면 형상은 제1 방향(X방향)과 제2 방향(Y방향)의 길이가 Dx, Dy로 서로 다른 직사각형 형상 또는 십자 형상일 수 있다. 이러한 직사각형 또는 십자 형상은 예를 들어, 도 7a의 설명에서 전술한 바와 같이, 녹색 화소에 대응하는 제1 영역(311)과 제4 영역(314)에 채용될 수 있다.
또한, 도 12h에 도시된 바와 같이, 나노포스트의 단면 형상은 복수의 오목한 원호를 갖는 형상일 수도 있다.
한편, 도 4b 및 도 7a에서는 색분리 렌즈 어레이(300)의 영역(311,312,313)의 중심부에 하나의 나노포스트(NP)가 배치되는 경우를 예시적으로 보여주는데, 이에 한정되는 것은 아니며, 중심부에 도 13에 예시적으로 보인 바와 같이 복수의 나노포스트가 배치될 수도 있다.
도 13은 다른 실시예에 따른 이미지 센서(200)에 채용될 수 있는 색분리 렌즈 어레이(400)를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보인 평면도이다.
색분리 렌즈 어레이(400)의 나노포스트 어레이 영역은 도 3a에서 예시한 베이어(Bayer) 패턴의 화소 배열과 대응하는 형태로, 녹색 화소(G)에 대응하는 제1영역(411), 청색 화소(B)에 제2영역(412), 적색 화소(R)에 대응하는 제3영역(413) 및 녹색 화소(G)에 대응하는 제4영역(414)으로 사분된 영역을 포함할 수 있다. 도시되지는 않았으나, 이러한 단위 영역이 제1방향(X방향), 제2방향(Y방향)을 따라 반복적으로 배치될 수 있다.
각 영역은 복수의 서브 영역으로 등분될 수 있고, 서브 영역들 경계의 교차점에 나노포스트(NP)가 배치될 수 있다. 도 13에서, 서브 영역의 개수는 9개로 예시되고 있다.
도 13에 도시된 바와 같이, 제1영역(411), 제2영역(412), 제3영역(413), 제4영역(414) 각각에서 상대적으로 중심부에 위치한 나노포스트(NP)가 주변부에 위치한 나노포스트(NP)보다 큰 단면을 가지며, 녹색 화소에 대응하는 제1영역(411) 및 제4영역(414)에 배치된 나노포스트(NP)의 단면 크기가 제2영역(412)의 중심부, 제3영역(413)의 중심부에 배치된 나노포스트(NP)의 단면 크기보다 클 수 있다. 제2영역(412)의 중심부에 배치된 나노포스트(NP)의 단면적이 제3영역(413)의 중심부에 배치된 나노포스트(NP)의 단면적보다 클 수 있다.
9개로 서브 영역을 구획한 격자점 상에 나노포스트(NP)가 배치되고 있어 각 영역(411)(412)(413)(414)의 정중앙에는 나노포스트(NP)가 배치되지 않으며 같은 크기의 네 개의 나노포스트(NP)가 중심부를 이루는 형태이다. 주변부의 나노포스트(NP)는 다른 영역과의 경계선상에 배치되는 형태 이다. 다만 이러한 배치는 예시적이며 이에 한정되는 것은 아니다. 나노포스트(NP)들은 단위 패턴 어레이 내의 세부 위치에 따라 r1~r9로 표시되어 있다.
도 13을 참조하면, 녹색 화소에 대응하는 제1 영역(411)의 중심부에 배치된 나노포스트(r1)는 주변부에 배치된 나노포스트(r5, r6, r9)보다 큰 단면적을 가지며, 녹색 화소에 대응하는 제4 영역(414)의 중심부에 배치된 나노포스트(r4)는 주변부에 배치된 나노포스트(r7, r8, r9)보다 큰 단면적을 가지며 갖는다. 녹색 화소에 대응하는 제1 영역(411)과 제4 영역(414)의 중심부에 배치된 나노포스트(r1, r4)의 단면 크기가 청색 화소에 대응하는 제2 영역(412)의 중심부에 배치된 나노포스트(r2), 적색 화소에 대응하는 제3 영역(413)의 중심부에 배치된 나노포스트(r3)의 단면 크기보다 클 수 있다. 또한, 청색 화소에 대응하는 제2 영역(412)의 중심부에 배치된 나노포스트(r2)의 단면적이 적색 화소에 대응하는 제3 영역(413)의 중심부에 배치된 나노포스트(r3)의 단면적보다 클 수 있다.
제2영역(412), 제3영역(413)에서의 나노포스트(NP) 배치는 제1방향(X방향), 제2방향(Y방향)을 따라 대칭적이며, 제1영역(411) 및 제4영역(414)에서의 나노포스트(NP) 배치는 제1방향(X방향), 제2방향(Y방향)을 따라 비대칭적일 수 있다. 즉, 청색 화소, 적색 화소에 대응하는 제2영역(412), 제3영역(413)에서의 나노포스트(NP)는 제1방향(X방향), 제2방향(Y방향)을 따라 동일한 분포 규칙을 가질 수 있고, 녹색 화소에 대응하는 제1영역(411) 및 제4영역(414)에서의 나노포스트(NP)는 제1방향(X방향), 제2방향(Y방향)을 따라 서로 다른 분포 규칙을 가질 수 있다.
나노포스트(NP)들 중, 제1영역(411)과 제1방향(X방향)으로 인접한 제2영역(412)과의 경계에 위치하는 나노포스트(r5)의 단면적과 제1영역(411)과 제2방향(Y방향)으로 인접하는 제3영역(413)과의 경계에 위치하는 나노포스트(r6)의 단면적은 서로 다르다. 또한, 제4 영역(414)과 제1 방향(X방향)으로 인접한 제3 영역(413)과의 경계에 위치하는 나노포스트(r7)의 단면적과 제4 영역(414)과 제2 방향(Y방향)으로 인접하는 제2 영역(412)과의 경계에 위치하는 나노포스트(r8)의 단면적은 서로 다르다.
반면, 제1 영역(411)과 제1 방향(X방향)으로 인접한 제2 영역(412)과의 경계에 위치하는 나노포스트(r5)의 단면적과 제4 영역(414)과 제2 방향(Y방향)으로 인접하는 제2 영역(412)과의 경계에 위치하는 나노포스트(r8)의 단면적이 동일하고, 제1 영역(411)과 제2 방향(Y방향)으로 인접한 제3 영역(413)과의 경계에 위치하는 나노포스트(r6)의 단면적과 제4 영역(414)과 제1 방향(X방향)으로 인접하는 제3 영역(413)과의 경계에 위치하는 나노포스트(r7)의 단면적이 동일하다.
한편, 제1영역(411), 제2영역(412), 제3영역(413), 제4영역(414) 각각의 네 모서리, 즉, 네 영역이 교차하는 위치에 배치된 나노포스트(r9)들은 같은 단면적을 갖는다.
이와 같이, 청색 화소와 적색 화소에 각각 대응하는 제2 영역(412)과 제3 영역(413)에서는 4방 대칭(4-fold symmetry)의 형태로 나노포스트(NP)들이 배열되고, 녹색 화소에 대응하는 제1 및 제4 영역(411, 414)에서는 2방 대칭(2-fold symmetry)의 형태로 나노포스트(NP)들이 배열되며, 제1 영역(411)과 제4 영역(414)은 서로에 대해 90도 회전되어 있다. 이러한 형태는 후술할 도 15, 도 16의 실시예에도 동일하게 나타난다.
도 13에는 서브 영역 개수를 예를 들어, 9개로 하여 각 영역(411)(412)(413)(414)의 정중앙에는 나노포스트(NP)가 배치되지 않은 경우를 예시적으로 보여주는데, 서브 영역의 개수를 예를 들어 16개 등으로 하면서, 정중앙에 나노포스트를 배치할 수도 있다.
도 14는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보이는 평면도이다.
색분리 렌즈 어레이(450)의 영역은 베이어 패턴의 화소 배열과 대응하는 형태로, 녹색 화소에 대응하는 제1 영역(451), 청색 화소에 제2 영역(452), 적색 화소에 대응하는 제3 영역(453), 및 녹색 화소에 대응하는 제4 영역(454)으로 사분된 영역을 포함할 수 있다.
각 영역은 복수의 서브 영역으로 등분될 수 있고, 서브 영역들 경계의 교차점에 나노포스트(NP)가 배치될 수 있다. 도 14에서, 서브 영역의 개수는 16개인 예를 보여준다는 점에서, 도 13의 나노구조물 배열과 차이가 있으며, 16개로 서브 영역을 구획한 격자점 상에 나노포스트(NP)가 배치되어 있어 각각의 영역(451, 452, 453, 454) 정중앙에 나노포스트(NP)가 배치된다. 나노포스트(NP)들은 단위 패턴 어레이 내의 세부 위치에 따라 s1~s11로 표시되어 있다.
도 14의 실시예는 녹색 화소에 대응하는 제1 영역(451)의 정중앙에 위치한 나노포스트(s1), 제4 영역(454)의 정중앙에 위치한 나노포스트(s4)가 주변부에 위치한 나노포스트(NP)보다 큰 단면적을 가지며 또한, 청색 화소에 대응하는 제2 영역(452) 및 적색 화소에 대응하는 제3 영역(453)에 배치된 나노포스트(NP)들보다 큰 단면적을 가질 수 있다.
도 14의 실시예도 도 13의 실시예와 마찬가지로, 제2 영역(452)과 제3 영역(453)의 나노포스트(NP)들은 제1 방향(X방향)과 제2 방향(Y방향)을 따라 대칭적으로 배치될 수 있으며, 제1 영역(451)과 제4 영역(454)의 나노포스트(NP)들은 제1 방향(X방향)과 제2 방향(Y방향)을 따라 비대칭적으로 배치될 수 있다. 또한, 제1 영역(451), 제2 영역(452), 제3 영역(453), 제4 영역(454) 각각의 네 모서리, 즉, 네 영역이 인접하는 위치에 배치된 나노포스트(s9)들은 같은 단면적을 갖는다.
도 15는 또 다른 실시예에 따른 이미지 센서의 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보이는 평면도이다.
색분리 렌즈 어레이(460)의 영역은 베이어 패턴의 화소 배열과 대응하는 형태로, 녹색 화소에 대응하는 제1 영역(461), 청색 화소에 제2 영역(462), 적색 화소에 대응하는 제3 영역(463), 및 녹색 화소에 대응하는 제4 영역(464)으로 사분된 영역을 포함할 수 있다.
각 영역은 복수의 서브 영역으로 등분될 수 있고, 서브 영역들 내에 나노포스트(NP)가 배치될 수 있다. 색분리 렌즈 어레이(160)는 도 13와 마찬가지로 9개의 서브 영역으로 각 영역이 구획되며, 다만, 나노포스트(NP)가 서브 영역 간 교차점이 아닌, 서브 영역들 내부에 배치되는 점에서 차이가 있다. 나노포스트(NP)들은 단위 패턴 어레이 내의 세부 위치에 따라 t1~t16으로 표시되어 있다.
도 15의 실시예는 제1 영역(461)의 중심부에 위치한 나노포스트(t1)와 제4 영역(464)의 중심부에 위치한 나노포스트(t4)가 그 주변부에 위치한 나노포스트(NP)들뿐 아니라, 제2 영역(462) 및 제3 영역(463)에 배치된 나노포스트(NP)들보다 단면 크기가 클 수 있다.
제2 영역(462)의 중심부에 배치된 나노포스트(t2)의 단면적은 제3 영역(463)의 중심부에 배치된 나노포스트(t3)의 단면적보다 클 수 있다. 제2 영역(462)의 경우, 중심부에서 제1 방향(X방향), 제2 방향(Y방향)으로 이격된 주변부에 위치하는 나노포스트(t6, t10)들의 단면적이 중심부 나노포스트(t2)의 단면적보다 더 크며, 이와 달리, 중심부에서 대각선 방향으로 이격된 주변부에 위치한 나노포스트(t14)들의 단면적은 중심부 나노포스트(t2)의 단면적보다 작다.
제3 영역(463)의 경우, 중심부 나노포스트(t3)의 단면적이 가장 작고, 주변부의 나노포스트(t7, t11, t15)들은 모두 중심부 나노포스트(t3)보다 큰 단면적을 갖는다.
제2 영역(462)과 제3 영역(463)의 나노포스트(NP)들은 제1 방향(X방향)과 제2 방향(Y방향)을 따라 대칭적으로 배치될 수 있으며, 제1 영역(461)과 제4 영역(464)의 나노포스트(NP) 배치는 제1 방향(X방향)과 제2 방향(Y방향)을 따라 비대칭적으로 배치될 수 있다. 다시 말해, 청색 화소와 적색 화소에 각각 대응하는 제2 영역(462)과 제3 영역(463)에서의 나노포스트(NP)들은 제1 방향(X방향)과 제2 방향(Y방향)을 따라 동일한 분포 규칙을 나타내며, 녹색 화소에 대응하는 제1 영역(461)과 제4 영역(464)에서의 나노포스트(NP)들은 제1 방향(X방향)과 제2 방향(Y방향)을 따라 서로 다른 분포 규칙을 나타내고 있다.
제1 영역(461)은 중심부의 나노포스트(t1)와 제1 방향(X방향)으로 인접한 나노포스트(t5) 및 제2 방향(Y방향)으로 인접한 나노포스트(t9)가 서로 다른 단면적을 갖는다. 제4 영역(464)도 중심부의 나노포스트(t4)와 제1 방향(X방향)으로 인접한 나노포스트(t8) 및 제2 방향(Y방향)으로 인접한 나노포스트(t12)가 서로 다른 단면적을 갖는다. 또한, 제1 영역(461) 중심부의 나노포스트(t1)와 제1 방향(X방향)으로 인접한 나노포스트(t5)는 제4 영역(464) 중심부의 나노포스트(t4)와 제2 방향(Y방향)으로 인접한 나노포스트(t12)와 동일한 단면적을 가지며, 제1 영역(461) 중심부의 나노포스트(t1)와 제2 방향(Y방향)으로 인접한 나노포스트(t9)는 제4 영역(464) 중심부의 나노포스트(t4)와 제1 방향(X방향)으로 인접한 나노포스트(t8)와 동일한 단면적을 갖는다. 제1 영역(461)의 네 모서리에 인접한 위치의 나노포스트(t13)들, 제4 영역(464)의 네 모서리에 인접한 위치의 나노포스트(t16)들은 같은 단면적을 갖는다. 이와 같이, 제1영역(461), 제4영역(464)은 서로에 대해 90도 회전되어 있다.
제2 영역(462)은, 중심부의 나노포스트(t2)와 제1 방향(X방향)으로 인접한 나노포스트(t6) 및 제2 방향(Y방향)으로 인접한 나노포스트(t10)는 서로 같은 단면적을 갖는다. 제2 영역(462)의 네 모서리에 인접한 위치의 나노포스트(t14)들은 같은 단면적을 갖는다.
제3 영역(463)의 경우도, 중심부의 나노포스트(t3)와 제1 방향(X방향)으로 인접한 나노포스트(t7) 및 제2 방향(Y방향)으로 인접한 나노포스트(t11)는 서로 같은 단면적을 갖는다. 제3 영역(463)의 네 모서리에 인접한 위치의 나노포스트(t15)들은 같은 단면적을 갖는다.
도 16은 또 다른 실시예에 따른 색분리 렌즈 어레이를 이루는 복수의 나노포스트 배열 형태를 예시적으로 보이는 평면도이다.
본 실시예의 이미지 센서의 색분리 렌즈 어레이(470)는 가장 단순한 구조의 실시예이다. 녹색 화소와 대응하는 제1 영역(471), 청색 화소와 대응하는 제2 영역(472), 적색 화소와 대응하는 제3 영역(473), 및 녹색 화소와 대응하는 제4 영역(474)에 각각 하나의 나노포스트(NP)가 배치되며, 제1 영역(471)과 제4 영역(474)에 구비된 나노포스트(NP)의 단면적이 가장 크고, 제2 영역(472)에 구비된 나노포스트(NP)의 단면적은 제1 영역(471)에 구비된 나노포스트(NP)의 단면적보다 작고, 제3 영역(473)의 나노포스트(NP) 단면적이 가장 작다.이와 같이, 서브 영역을 구획하는 것에 따라, 정중앙에 나노포스트가 배치되거나 배치되지 않을 수 있다.
한편, 이미지 센서(200)의 화소 어레이(210)는 센서 기판(500)과 색분리 렌즈 어레이(300,400,450,460,470) 사이에 컬러 필터가 더 배치될 수도 있다. 특히, 센서 기판(500)과 스페이서층 사이에 컬러 필터가 배치될 수 있다. 또한, 화소 어레이(210)는 색분리 렌즈 어레이(300,400,450,460,470)를 보호하기 위하여 나노포스트(NP)를 덮는 투명한 유전체층을 더 포함할 수 있다. 유전체층은 인접한 나노포스트(NP) 사이의 공간 및 나노포스트(NP)의 상부 표면 위를 완전히 덮도록 배치될 수 있다. 이러한 유전체층는 나노포스트(NP)의 굴절률보다 낮은 굴절률을 갖는 재료로 이루어질 수 있다. 예를 들어, 유전체층은 스페이서층과 동일한 재료로 이루어질 수 있다.
색분리 렌즈 어레이(300,400,450,460,470)가 복수의 광감지셀(511, 512, 513, 514)에 서로 다른 파장의 광을 분기하여 집광시키는 점에서, 컬러 필터의 구성은 필수적인 구성요소는 아니다. 다만, 이와 같이 추가적으로 컬러 필터를 구비함으로써 색순도는 보다 보완될 수 있으며, 상당 정도로 색분리된 광이 컬러 필터에 입사하므로 광손실은 크지 않다.
이미지 센서(200)에는 적용되는 색분리 렌즈 어레이(300,400,450,460,470)는, 도 7a의 나노포스트 배열, 도 13 내지 도 16에서와 같은 나노포스트 배열, 이외에도 다양한 나노포스트 배열을 가질 수 있다.
이와 같이, 이미지 센서(200)에서 센서 기판(500) 상에 배치되어 광을 칼라에 따라 분리하여 복수의 광감지셀(511,512,513,514)에 입사시키는 색분리 렌즈 어레이(300,400,450,460)는, 복수의 나노포스트 어레이를 포함할 수 있으며, 나노포스트의 배열 형태, 나노포스트의 단면 형상, 나노포스트의 단면 크기 분포 등은 다양하게 변형될 수 있다.
상술한 실시예들에 따른 색분리 렌즈 어레이(300,400,450,460,470)를 포함하는 이미지 센서(200)는 카메라와 같은 다양한 광학 장치에 적용될 수 있다. 이러한 카메라는, 예를 들어, 스마트폰, 핸드폰, 노트북, 태블릿 PC 등과 같은 모바일 전자 장치 내에 장착될 수 있다.
한편, 이미지 센서(200)의 관점에서 보면, 이미지 센서(200)의 중심부에 입사하는 광의 주광선 각도는 0도이며, 이미지 센서(200)의 가장자리로 갈수록 입사광의 주광선 각도가 커지게 된다. 그런데, 상술한 색분리 렌즈 어레이(300,400,450,460,470)는 일반적으로 방향성을 가질 수 있다. 다시 말해, 색분리 렌즈 어레이(300,400,450,460,470)가 특정한 각도 범위로 입사하는 빛에 대해서는 효율적으로 동작하지만, 입사각이 특정한 각도 범위로부터 멀어지게 되면 색분리 렌즈 어레이의 색분리 성능이 저하된다. 따라서, 이미지 센서(200)의 전체 영역에서 색분리 렌즈 어레이(300,400,450,460,470)의 나노포스트들이 모두 동일한 배열 형태를 가지면, 이미지 센서(200)의 전체 영역에서 색분리 효율이 균일하지 않고 이미지 센서(200)의 영역에 따라 색분리 효율이 달라지게 된다. 이로 인해 카메라가 제공하는 영상의 품질이 저하될 수 있다.
따라서, 이미지 센서(200) 상의 위치에 따라 달라지는 입사광의 주광선 각도를 고려하여, 색분리 렌즈 어레이(300,400,450,460,470)의 나노포스트들의 배열 형태를 도 17a 내지 도 17c에 예시적으로 보인 바와 같이 다르게 설계할 수 있다.
도 17a 내지 도 17c는 이미지 센서(200) 상의 위치에 따른 색분리 렌즈 어레이의 나노포스트들의 배열 형태 변화를 보이는 개략적인 평면도이다. 특히, 도 17a는 이미지 센서(200)의 중심부에 배치된 나노포스트(NP)의 위치를 나타내며, 도 17b는 이미지 센서(200)의 중심부와 가장자리 사이에 배치된 나노포스트(NP)의 위치를 나타내고, 도 17c는 이미지 센서(200)의 가장자리에 배치된 나노포스트(NP)의 위치를 나타낸다. 도 17a 내지 도 17c는 나노포스트(NP)의 특정 배열을 한정하기 위한 것이 아니며, 단지 이미지 센서(200) 상의 위치에 따른 나노포스트(NP)의 상대적인 위치 변화를 개념적으로 설명하기 위한 것이다.
도 17a 내지 도 17c에 도시된 바와 같이, 이미지 센서(200)의 중심부에서 가장자리로 갈수록 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역은 그에 대응하는 화소 또는 광감지셀들로부터 더 멀리 시프트되어 위치할 수 있다. 예를 들어, 이미지 센서(200)의 중심부, 또는 색분리 렌즈 어레이의 중심부, 또는 센서 기판의 중심부에서 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역의 위치는 그에 대응하는 녹색 화소, 청색 화소, 적색 화소, 및 녹색 화소의 위치(또는 그에 대응하는 광감지셀들의 위치)와 일치할 수 있다. 그리고, 이미지 센서(200)의 중심부, 또는 색분리 렌즈 어레이의 중심부, 또는 센서 기판의 중심부로부터 멀어질수록 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역은 그에 각각 대응하는 녹색 화소, 청색 화소, 적색 화소, 및 녹색 화소의 위치(또는 그에 대응하는 광감지셀들의 위치)로부터 더 멀리 시프트될 수 있다. 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역이 시프트되는 정도는 색분리 렌즈 어레이에 입사하는 빛의 주광선 각도에 의해 결정될 수 있다. 특히, 이미지 센서(200)의 주변부, 또는 색분리 렌즈 어레이의 주변부, 또는 센서 기판의 주변부에서 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역은 그에 각각 대응하는 제1 광감지셀, 제2 광감지셀, 제3 광감지셀, 및 제4 광감지셀에 대해서 이미지 센서(200)의 중심부 방향을 향해 시프트된다.
이하에서는 편의상 이미지 센서(200)의 중심부라고 표현하지만, 이미지 센서(200), 색분리 렌즈 어레이, 및 센서 기판이 서로 마주하여 배치되기 때문에, 이미지 센서(200)의 중심부는 또한 색분리 렌즈 어레이의 중심부 또는 센서 기판의 중심부를 의미할 수도 있다. 마찬가지로, 이하에서 이미지 센서(200)의 주변부/가장자리는 색분리 렌즈 어레이의 주변부/가장자리 또는 센서 기판의 주변부/가장자리를 의미할 수도 있다.
도 18a는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 18a를 참조하면, 본 실시예의 이미지 센서의 화소 어레이(210a)는 2단으로 적층된 나노포스트(NP)들을 구비하는 색분리 렌즈 어레이(320)를 포함한다는 점에서 전술한 실시예들과 차이가 있다. 나노포스트(NP)는 스페이서층(520) 위에 배치된 제1 나노포스트(NP1), 및 제1 나노포스트(NP1) 위에 배치된 제2 나노포스트(NP2)를 포함할 수 있다. 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 광의 경사 방향을 따라 시프트될 수 있다. 예를 들어, 색분리 렌즈 어레이(320)에 입사하는 광이 오른쪽으로부터 왼쪽으로 경사진 경우에, 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 오른쪽으로 시프트될 수 있다. 반대로, 색분리 렌즈 어레이(320)에 입사하는 광이 왼쪽으로부터 오른쪽으로 경사진 경우에, 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 왼쪽으로 시프트될 수 있다.
또한, 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 이미지 센서(200)의 중심부 방향을 향해 시프트될 수 있다. 예를 들어, 이미지 센서(200)의 중심부로부터 왼쪽 가장자리로 갈수록 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 오른쪽으로 더 시프트되며, 이미지 센서(200)의 중심부로부터 오른쪽 가장자리로 갈수록 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 왼쪽으로 더 시프트된다.
마찬가지로, 색분리 렌즈 어레이(320)의 제3 영역(323)과 제4 영역(324)은 그에 각각 대응하는 적색 화소(또는 제3 광감지셀)와 녹색 화소(또는 제4 광감지셀)에 대해 이미지 센서(200)의 중심부 방향을 향해 시프트된다. 예를 들어, 이미지 센서(200)의 중심부로부터 왼쪽 가장자리로 갈수록 색분리 렌즈 어레이(320)의 제3 영역(323)과 제4 영역(324)은 그에 각각 대응하는 녹색 화소와 적색 화소에 대해 오른쪽으로 더 시프트된다. 도시되지는 않았지만, 색분리 렌즈 어레이(320)의 다른 단면에 배치된 제1 영역과 제2 영역도 역시 그에 대응하는 녹색 화소(또는 제1 광감지셀)와 청색 화소(또는 제2 광감지셀)에 대해 이미지 센서(200)의 중심부 방향을 향해 시프트된다.
특히, 색분리 렌즈 어레이(320)의 제3 영역(323)과 제4 영역(324)은 그에 각각 대응하는 제3 광감지셀(513)의 중심부와 제4 광감지셀(514)의 중심부에 각각 적색광과 녹색광을 집광하도록 시프트될 수 있다. 색분리 렌즈 어레이(320)의 제3 영역(323)과 제4 영역(324)이 시프트되는 거리 s는, 예를 들어, 다음의 수학식 2에 의해 결정될 수 있다.
수학식 2에서 d는 색분리 렌즈 어레이(320)의 하부 표면과 센서 기판(500)의 상부 표면 사이의 최단 직선 거리 또는 간격이며, CRA'는 센서 기판(500)에 입사하는 빛의 입사각이다. 또한, CRA'는 다음의 수학식 3에 의해 결정될 수 있다.
수학식 3에서 CRA는 색분리 렌즈 어레이(320)에 입사하는 빛의 입사각이고, n은 색분리 렌즈 어레이(320)와 센서 기판(500) 사이에 배치된 재료의 굴절률이다. 따라서, 색분리 렌즈 어레이(320)의 제3 영역(323)과 제4 영역(324)이 그에 대응하는 화소로부터 시프트되는 거리 s는 색분리 렌즈 어레이(320)에 입사하는 빛의 입사각, 및 색분리 렌즈 어레이(320)와 센서 기판(500) 사이에 배치된 재료의 굴절률에 의해 결정될 수 있다. 만약, 색분리 렌즈 어레이(320)와 센서 기판(500) 사이에 스페이서층(520)뿐만이 아니라 컬러 필터(505)도 배치되는 경우, 스페이서층(520)에 입사하는 빛의 입사각과 스페이서층(520)의 굴절률, 및 컬러 필터(505)에 입사하는 빛의 입사각과 컬러 필터(105)의 굴절률을 고려하여 CRA'가 결정될 수 있다.
본 실시예의 이미지 센서의 화소 어레이(210a)와 같이 2단으로 적층된 나노포스트(NP)들을 구비하는 색분리 렌즈 어레이(320)를 포함하는 경우에도, 이미지 센서(200)의 중심부에서 색분리 렌즈 어레이(320)의 제1 내지 제4 영역들은 그에 대응하는 화소들(또는 광감지셀들)에 대해 시프트되지 않을 수 있다. 또한, 이미지 센서(200)의 중심부에서 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 시프트되지 않을 수 있다. 그리고, 이미지 센서(200)의 주변부에서 색분리 렌즈 어레이(320)의 제1 내지 제4 영역들은 이미지 센서(200)의 중심부를 향해 시프트되고, 제2 나노포스트(NP2)도 제1 나노포스트(NP1)에 대해 이미지 센서(200)의 중심부를 향해 시프트될 수 있다. 이를 고려하여, 카메라에 채용된 이미지 센서(200)의 경우, 색분리 렌즈 어레이(320)의 전체 면적은 이미지 센서(200)의 화소 어레이(210a)의 전체 면적 또는 센서 기판(500)의 전체 면적보다 작을 수 있다.
한편, 도 18a의 실시예에는 센서 기판(500) 위에 컬러 필터(505)가 배치되었지만, 이미지 센서(200)의 주변부에서 색분리 렌즈 어레이(320)가 충분한 성능을 갖는다면, 컬러 필터(105)가 생략될 수도 있다.
도 18b는 도 18a의 이미지 센서의 색분리 렌즈 어레이에 채용되는 나노포스트의 예시적인 형상을 보이는 사시도이다. 도 18b에 도시된 바와 같이, 하부의 제1 나노포스트(NP1)와 상부의 제2 나노포스트(NP2)가 서로 어긋나게 적층될 수 있다. 어긋난 정도는 도 18b에 b로 표시되어 있으며, 이 크기는 이미지 센서(200)의 중심부에서 주변부로 갈수록, 즉 반경 방향을 따라 커질 수 있다. 제2 나노포스트(NP2)가 제1 나노포스트(NP1)로부터 어긋나는 방향은 주변부에서 중심부를 향하는 방향이 된다. 특히, 어긋난 정도 b는 제2 나노포스트(NP2)의 상부 표면의 중심부에 광이 입사하고, 제1 나노포스트(NP1)의 상부 표면의 중심부에 광이 입사하도록 결정될 수 있다.
2개의 층으로 적층된 구조의 제1 나노포스트(NP1)와 제2 나노포스트(NP2)는 제1 나노포스트(NP1)와 제2 나노포스트(NP2)를 이루는 재료의 굴절률보다 낮은 굴절률의 유전체층으로 덮일 수 있다.
도 18a 및 도 18b에서는 나노포스트(NP)가 2개의 층으로 적층된 구조를 예시하였으나, 이에 한정되지 않으며 도 19에서와 같이 3층 이상의 구조를 가질 수도 있다.
도 19는 다른 실시예에 따른 화소 어레이의 개략적인 구조를 보이는 단면도이다.
도 19를 참조하면, 이미지 센서의 화소 어레이(210b)는 3단으로 적층된 나노포스트(NP)들을 구비하는 색분리 렌즈 어레이(330)를 포함한다. 나노포스트(NP)는 스페이서층(520) 위에 배치된 제1 나노포스트(NP1), 제1 나노포스트(NP1) 위에 배치된 제2 나노포스트(NP2), 및 제2 나노포스트(NP2) 위에 배치된 제3 나노포스트(NP3)를 포함할 수 있다. 제2 나노포스트(NP2)는 제1 나노포스트(NP1)에 대해 이미지 센서의 중심부를 향해 시프트되며, 제3 나노포스트(NP3)는 제2 나노포스트(NP2)에 대해 이미지 센서의 중심부를 향해 시프트될 수 있다.
또한, 색분리 렌즈 어레이(330)의 제4 영역(334)은 그에 대응하는 녹색 화소 또는 제4 광감지셀(514)에 대해 이미지 센서의 중심부를 향해 시프트되며, 제3 영역(333)은 그에 대응하는 적색 화소 또는 제3 광감지셀(513)에 대해 이미지 센서의 중심부를 향해 시프트될 수 있다.
나노포스트(NP)가 서로 시프트된 2개의 층으로 적층되거나, 3층 이상 적층된 구조를 가지는 경우에도, 다양한 형태를 갖는 나노포스트가 적용될 수 있다.
예를 들어, 서로 크기가 다른 직사각형 형태의 2단 적층된 나노포스트들이 서로에 대해 시프트될 수 있다. 또한, 2단 적층된 링형 나노포스트, 2단 적층된 원형 나노포스트, 및 2단 적층된 직사각형 나노포스트들이 색분리 렌즈 어레이의 각각의 영역들에서 서로에 대해 시프트될 수 있다.
또한, 2단 적층된 나노포스트의 측면에 경사면이 형성될 수 있다. 예를 들어, 하부에서 상부로 갈수록 나노포스트의 단면적이 증가하는 방식으로 나노포스트의 측면에 경사면이 형성되어, 나노포스트는 상부면이 하부면보다 큰 사다리꼴 형태의 단면을 가질 수 있다. 또한, 하부에서 상부로 갈수록 나노포스트의 단면적이 감소하는 방식으로 나노포스트의 측면에 경사면이 형성되어, 나노포스트는 하부면이 상부면보다 큰 사다리꼴 형태의 단면을 가질 수 있다. 이때, 색분리 렌즈 어레이의 제1 영역, 제2 영역, 제3 영역, 및 제4 영역에 각각 배치된 나노포스트들의 경사면의 경사도들은 서로 다를 수 있다. 또한, 이미지 센서의 중심부에 대응하여 위치한 나노포스트들의 경사면의 경사도와 이미지 센서의 주변부에 대응하여 위치한 나노포스트들의 경사면의 경사도가 서로 다를 수 있다.이상의 설명과 같이, 서브 파장의 나노포스트들을 소정 규칙으로 배열한 색분리 렌즈 어레이에 의해 색분리 효율을 높일 수 있고 이를 채용한 이미지 센서의 성능이 향상될 수 있다. 설명된 구체적인 형태는 예시적인 것이며, 이들의 다양한 변형 및 조합이 가능하다. 예를 들어, 가시 광선 파장 대역을 예시하여 설명하였으나 이에 한정되지 않으며 나노포스트 배열 규칙에 따라 다른 파장 대역의 분리도 가능하다. 또한, 나노포스트 어레이의 복수의 영역들 각각에 구비되는 나노포스트 개수는 다양하게 변경될 수 있다. 이미지 센서의 화소 배열은 베이어 패턴을 예시하여 설명하였으나 이에 한정되지 않으며, 예를 들어, 적색 화소, 녹색 화소, 청색 화소가 일방향으로 순서대로 반복되는 배열도 가능하며, 또는 도 3b에 도시된 CYGM 방식의 배열이나 도 3c에 도시된 RGBW 방식의 배열도 가능하다. 또한, 2가지 이상의 색상의 화소를 포함하는 복수의 단위 화소가 반복 배열된 화소 배열 패턴에도 적용될 수 있다. 색분리 렌즈 어레이는 이러한 화소 배열에 알맞은 영역 구분을 채택하고 각 영역별로 나노포스트 배열 규칙을 선택할 수 있다.
지금까지는 정의 가능한 형태로 형성된 나노포스트들의 배열을 통해 색분리 렌즈 어레이를 구성하는 것으로 설명하였으나, 색분리 렌즈 어레이는 도 20에 예시적으로 보인 바와 같이, 정의될 수 없는 다른 다양한 형태의 자유 패턴으로도 구성될 수도 있다.
도 20은 다른 실시예에 따른 색분리 렌즈 어레이의 개략적인 구조와 동작을 보인 개념도이다.
도 20을 참조하면, 색분리 렌즈 어레이(330)의 단위 패턴 어레이는 각각 서로 구분되는 제1 미소 구조 내지 제4 미소 구조를 갖는 제1 내지 제4 영역(331, 332, 333, 334)을 포함할 수 있다. 예를 들어, 제1 영역(331)은 제1 패턴을 가지며, 제2 영역(332)은 제1 패턴과 상이한 형태로 패터닝된 제2 패턴을 갖고, 제3 영역(333)은 제1 패턴 및 제2 패턴과 상이한 형태로 패터닝된 제3 패턴을 갖고, 제4 영역(334)은 제1 내지 제3 패턴과 상이한 형태로 패터닝된 제4 패턴을 가질 수 있다.
제1 내지 제4 영역(331, 332, 333, 334)은, 예를 들어, 2×2의 형태로 동일한 평면에 배열될 수 있다. 따라서, 제1 영역(331)과 제2 영역(332)은 제1 방향을 따라 서로 인접하여 배치되며, 제3 영역(333)과 제4 영역(334)도 제1 방향을 따라 서로 인접하여 배치된다. 그리고, 제1 영역(331)과 제3 영역(333)은 제1 방향에 수직한 제2 방향을 따라 서로 인접하여 배치되며, 제2 영역(332)과 제4 영역(334)도 제2 방향을 따라 서로 인접하여 배치된다. 제1 영역(331)과 제4 영역(334)은 한 대각선 방향을 따라 배열되며, 제2 영역(332)과 제3 영역(333)은 다른 대각선 방향을 따라 배열된다.
실시예에 따르면, 색분리 렌즈 어레이(330)에 입사하는 입사광 중에서, 제1 파장의 광(λ1)은 제1 영역(331)과 연직 방향을 따라 마주하는 제1 광감지셀(511)에 집광되고, 제2 파장의 광(λ2)은 제2 영역(332)과 연직 방향을 따라 마주하는 제2 광감지셀(512)에 집광되고, 제3 파장의 광(λ3)은 제3 영역(333)과 연직 방향을 따라 마주하는 제3 광감지셀(513)에 집광되고, 제4 파장의 광(λ4)은 제4 영역(334)과 연직 방향을 따라 마주하는 제4 광감지셀(514)에 집광되도록, 제1 내지 제4 패턴이 결정될 수 있다.
이러한 제1 내지 제4 영역(331, 332, 333, 334)의 구체적인 제1 내지 제4 패턴은 색분리 렌즈 어레이(330)가 적용되는 이미지 센서의 화소 배열 및 색 특성에 따라 다양하게 설계될 수 있다.
예를 들어, 색분리 렌즈 어레이(330)를 도 3a에 도시된 베이어 패턴 방식의 이미지 센서에 적용하는 경우, 제1 영역(331)과 제4 영역(334)은 녹색 화소(G)에 마주하여 배치되고, 제2 영역(332)은 청색 화소(B)에 마주하여 배치되고, 제3 영역(333)은 적색 화소(R)에 마주하여 배치될 수 있다. 그리고, 제1 파장의 광(λ1)과 제4 파장의 광(λ4)은 녹색광이고, 제2 파장의 광(λ2)은 청색광이고, 제3 파장의 광(λ3)은 적색광일 수 있다.
베이어 패턴 방식의 이미지 센서에 적용되는 색분리 렌즈 어레이(330)에서, 제1 내지 제4 영역(331, 332, 333, 334)의 제 1 내지 제 4 패턴의 또 다른 규칙으로서, 색분리 렌즈 어레이(330)를 투과한 청색광, 녹색광, 및 적색광이 소정의 타깃 위상 분포를 갖도록 제1 내지 제4 영역(331, 332, 333, 334)의 제1 내지 제4 패턴이 설계될 수 있다. 예를 들어, 색분리 렌즈 어레이(330)를 투과한 청색광이 제2 영역(332)에 대응하는 청색 화소(B)의 위치로 집광되는 위상을 형성하고 제2 영역(332)에 인접한 제1 영역(331) 및 제4 영역(334)에 대응하는 위치들로는 진행하지 않는 위상을 형성하도록, 제1 내지 제4 영역(331, 332, 333, 334)의 제 1 내지 제 4 패턴이 정해질 수 있다.
또한, 색분리 렌즈 어레이(330)를 투과한 녹색광이 제1 영역(331)과 제4 영역(334)에 대응하는 녹색 화소(G)의 위치로 집광되는 위상을 형성하고 제1 영역(331)과 제4 영역(334)에 각각 인접한 제2 영역(332)과 제3 영역(333)에 대응하는 위치로는 진행하지 않는 위상을 형성하도록, 제1 내지 제4 영역(331, 332, 333, 334)의 제 1 내지 제 4 패턴이 정해질 수 있다.
또한, 색분리 렌즈 어레이(330)를 투과한 적색광이 제3 영역(333)에 대응하는 적색 화소(R)로 집광되는 위상을 형성하고 제3 영역(333)에 인접한 제1 영역(331)과 제4 영역(334)에 대응하는 위치로는 진행하지 않는 위상을 형성하도록, 제1 내지 제4 영역(331, 332, 333, 334)의 제1 내지 제4 패턴이 정해질 수 있다.
이러한 색분리 렌즈 어레이(330)가 구현하고자 하는 타깃 위상 분포는 전술한 바와 동일하므로, 상세한 설명은 생략한다. 제1 내지 제4 영역(331, 332, 333, 334)의 제1 내지 제4 패턴의 형태에 따라 색분리 렌즈 어레이(330)는 도 8a 내지 도 8d, 도 9a 내지 도 9d, 및 도 10a 내지 도 10d에서 설명한 것과 동일한 작용을 할 수 있다.
위와 같은 위상 분포를 만족하는 색분리 렌즈 어레이(330)의 패턴은 다양한 방식의 컴퓨터 시뮬레이션을 통해 자동화된 설계가 가능하다. 예를 들어, 유전자 알고리즘(genetic algorithm), 입자 군집 최적화(particle swarm optimization) 알고리즘, 개미 집단 최적화(ant colony optimization) 등과 같은 자연 모사 알고리즘(nature-inspired algorithm)을 이용하거나 또는 어드조인트 최적화(adjoint optimization) 알고리즘에 기반한 역설계 방식을 통해 제1 내지 제4 영역(331, 332, 333, 334)의 패턴을 최적화할 수 있다.
색분리 렌즈 어레이(330)의 설계를 위하여, 색분리 스펙트럼, 광 효율, 신호대잡음비 등의 평가 요소들로 후보 색분리 렌즈 어레이의 성능을 평가하면서 제1 내지 제4 영역(331, 332, 333, 334)의 제 1 내지 제 4 패턴을 최적화할 수 있다. 예를 들어, 각각의 평가 요소에 대한 목표 수치값을 미리 결정한 후, 다수의 평가 요소들에 대한 목표 수치값과의 차이의 합을 최소화하는 방식으로 제1 내지 제4 영역(331, 332, 333, 334)의 제1 내지 제4 패턴을 최적화할 수 있다. 또는, 각각의 평가 요소 별로 성능을 지표화하고, 성능을 나타내는 값이 최대가 되도록 제1 내지 제4 영역(331, 332, 333, 334)의 제1 내지 제4 패턴을 최적화할 수 있다.
색분리 렌즈 어레이(330)의 제1 내지 제4 영역(331, 332, 333, 334)의 크기, 두께, 색분리 렌즈 어레이(330)가 적용될 이미지 센서의 색 특성, 화소 피치, 색분리 렌즈 어레이(330)와 센서 기판(500) 사이의 거리, 입사광의 입사각 등에 따라, 상술한 최적화 설계를 통해 다양한 형태의 색분리 렌즈 어레이(330)를 얻을 수 있다.
지금까지 설명한 색분리 렌즈 어레이(330)의 구체적인 패턴은 단지 예시적인 것이며, 이들의 다양한 변형이 가능하다. 예를 들어, 색분리 렌즈 어레이(330)의 제1 내지 제4 영역(331, 332, 333, 334)의 다른 패턴 형태들에 따라 가시광선 이외의 파장 대역의 분리도 가능하다. 또한, 색분리 렌즈 어레이(330)의 단위 패턴 어레이를 구성하는 색분리 패턴의 개수도 색분리 렌즈 어레이(330)의 적용예에 따라 다양하게 변경될 수 있다. 이미지 센서의 화소 배열은 베이어 패턴을 예시하여 설명하였으나 이에 한정되지 않으며, 도 3b 및 도 3c에 도시된 화소 배열에도 적용될 수 있다. 이러한 화소 배열에 알맞은 패턴은 색분리 렌즈 어레이(330)의 영역들을 채택하고 각 영역별로 상술한 최적화 방식을 통해 결정할 수 있다.
도 21은 다른 실시예에 따른 색분리 렌즈 어레이를 예시적으로 보이는 평면도이다. 도 21을 참조하면, 색분리 렌즈 어레이(340)는 굵은 선으로 표시된 복수의 2차원 배열된 단위 패턴 어레이를 포함할 수 있다. 각각의 단위 패턴 어레이는 제1 영역(341), 제2 영역(342), 제3 영역(343), 및 제4 영역(344)을 포함하는 2 ×2의 형태로 배열될 수 있다. 색분리 렌즈 어레이(340)의 전체 구성을 볼 때, 하나의 행(row) 내에서 제1 영역(341)과 제2 영역(342)이 가로 방향을 따라 번갈아 배열되며, 다른 행 내에서 제3 영역(343)과 제4 영역(344)이 가로 방향을 따라 번갈아 배열된다. 또한, 하나의 열(column) 내에서 제1 영역(341)과 제3 영역(343)이 세로 방향을 따라 번갈아 배열되며, 다른 열 내에서 제2 영역(342)과 제4 영역(344)이 세로 방향을 따라 번갈아 배열된다.
또한, 색분리 렌즈 어레이(340)는 어떠한 단위 패턴 어레이에도 속하지 않는 복수의 제1 내지 제4 영역(341, 342, 343, 344)을 더 포함할 수 있다. 어떠한 단위 패턴 어레이에도 속하지 않는 제1 내지 제4 영역(341, 342, 343, 344)은 색분리 렌즈 어레이(340)의 가장자리를 따라 배열될 수 있다. 다시 말해, 색분리 렌즈 어레이(340)의 좌측 가장자리에 하나의 열을 구성하는 복수의 제2 영역(342)과 복수의 제4 영역(344)이 추가적으로 배열되고, 우측 가장자리에에 하나의 열을 구성하는 복수의 제1 영역(341)과 복수의 제3 영역(343)이 추가적으로 배열되고, 상부측 가장자리에 하나의 행을 구성하는 복수의 제3 영역(343)과 복수의 제4 영역(344)이 추가적으로 배열되고, 하부측 가장자리에 하나의 행을 구성하는 복수의 제1 영역(341)과 복수의 제2 영역(342)이 추가적으로 배열될 수 있다.
도 22는 도 21에 도시된 색분리 렌즈 어레이(340)를 포함하는 이미지 센서의 화소 어레이의 개략적인 구조를 보이는 단면도이다. 특히, 도 22에서 색분리 렌즈 어레이(340)의 단면은 도 21에 도시된 색분리 렌즈 어레이(340)를 C-C' 라인을 따라 절개한 수직 단면이다. 도 22를 참조하면, 색분리 렌즈 어레이(340)는 센서 기판(500)의 가장자리에 대해 수평 방향으로 돌출하여 배치되며 연직 방향으로 센서 기판(500)의 어떠한 광감지셀과도 마주하지 않는 복수의 제1 영역(341)과 복수의 제2 영역(342)을 포함할 수 있다. 비록 도 22에는 도시되지 않았지만, 도 21에서 어떠한 단위 패턴 어레이에도 속하지 않는 복수의 제1 내지 제4 영역(341, 342, 343, 344)은 모두 센서 기판(500)의 가장자리에 대해 수평 방향 및 수직 방향으로 돌출하여 배치되며 연직 방향으로 어떠한 광감지셀과도 마주하지 않는다.
도 8a 내지 도 8d, 도 9a 내지 도 9d, 및 도 10a 내지 도 10d에서 설명한 바와 같이, 광감지셀은 연직으로 대응하는 색분리 렌즈 어레이(340)의 영역뿐만 아니라 그 영역 주변에 있는 다수의 다른 영역으로부터도 광을 제공받는다. 따라서, 색분리 렌즈 어레이(340)의 가장자리를 따라 추가된 제1 내지 제4 영역(341, 342, 343, 344)이 없을 경우, 센서 기판(500)의 가장자리를 따라 배열된 광감지셀들에 입사하는 광의 광량이 작아지고 색순도도 저하될 수 있다.
색분리 렌즈 어레이(340)의 가장자리를 따라 추가적으로 제1 내지 제4 영역(341, 342, 343, 344)을 배열함으로써, 센서 기판(500)의 가장자리를 따라 배열된 광감지셀들에도 센서 기판(500)의 내측에 배열된 광감지셀들과 동일하게 광이 제공될 수 있다. 이러한 도 21 및 도 22에 도시된 실시예는 상술한 복수의 나노포스트들의 배열을 포함하는 색분리 렌즈 어레이에도 적용될 수 있다.
도 23은 실시예에 따른 색분리 렌즈 어레이를 구비하는 이미지 센서(200)에서의 색분리 렌즈 어레이에 의한 광효율 향상 원리를 보여준다. 이하에서는 편의상 색분리 렌즈 어레이의 참조부호를 300으로 나타내지만, 전술한 다양한 실시예의 색분리 렌즈 어레이(300,330,400,450,460,470)가 적용될 수 있다.
도 23을 참조하면, 광을 칼라에 따라 분리하여 센서 기판(500)의 복수의 광감지셀(511,512,513)로 입사시키도록 마련된 색분리 렌즈 어레이(300)를 구비함으로써, 이미지 센서(200)의 각 화소에는 해당 화소에 대응하는 색분리 렌즈 어레이(300) 영역을 통하여 입사된 광성분 뿐만 아니라, 해당 화소를 둘러싸는 복수의 주변 화소 예컨대, 4개의 주변 화소 또는 8개의 주변 화소에 대응하는 영역으로 입사된 광도 색분리 렌즈 어레이(300)에 의해 해당 화소로 입사되게 된다.
도 23에 예시적으로 나타낸 바와 같이, R33화소를 살펴보면, R33 화소에 입사되는 광성분은, R33 화소에 대응하는 색분리 렌즈 어레이(300) 영역을 통하여 입사되는 적색 광성분과, G23,G32,G31,G43 화소와 B22,B24,B42,B41 화소에 대응하는 영역으로 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 R33 화소로 입사되는 적색광 성분들의 총 합이 될 수 있다.
이와 같이 이미지 센서(200)에 광을 칼라에 따라 분리하는 색분리 렌즈 어레이(300)를 적용함으로써 단위 화소에 입사하는 광성분 외에 주변 화소에서 해당 광성분에 해당하는 입사광을 집광할 수 있어 광효율이 향상될 수 있다.
도 24a 내지 도 24c는 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)의 베이어 패턴 배열의 단위 화소에 입사되는 광량 증가를 보여준다. 도 24a는 단위 화소의 적색 화소에 입사되는 광량 증가, 도 24b는 단위 화소의 2개의 녹색 화소에 입사되는 광량 증가, 도 24c는 단위 화소의 청색 화소에 입사되는 광량 증가를 보여준다. 베이어 패턴 배열에서 단위 화소는 적색 화소(R), 2개의 녹색 화소(G), 청색 화소(B)로 이루어지며, 적색 화소(R)와 청색 화소(B)는 서로 대각선 방향으로 배치되고, 2개의 녹색 화소(G)는 이에 크로스하는 대각선 방향으로 배치될 수 있다. 베이어 패턴 배열은 이러한 단위 화소를 어레이를 이루도록 복수개 2차원으로 배열한 것에 해당한다. 도 24a 내지 도 24c에서는 적색 화소(R33), 2개의 녹색 화소(G34,G43), 청색 화소(B44)를 포함하는 단위 화소의 예를 들어 설명한다.
도 24a를 참조하면, R33 화소에 입사되는 광성분은, R33 화소에 대응하는 색분리 렌즈 어레이(300)의 영역을 통하여 입사되는 적색 광성분에 더하여, 수평 및 수직 방향에 위치된 녹색 화소(G23,G32,G34,G43)와 대각선 방향에 위치된 청색 화소(B22,B24,B42,B44) 화소에 대응하는 영역으로 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 R33 화소로 입사되는 적색광 성분을 포함할 수 있다.
도 24b를 참조하면, G34 화소에 입사되는 광성분은, G34 화소에 대응하는 색분리 렌즈 어레이(300)의 영역을 통하여 입사되는 녹색 광성분에 더하여, 수평 및 수직 방향에 위치된 적색 화소(R33,R35) 및 청색 화소(B24,B44)에 대응하는 영역으로 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 G34 화소로 입사되는 녹색광 성분을 포함할 수 있다. 또한 대각선 방향에 위치된 녹색 화소(G23,G25,G43,G45)에 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 G34 화소로 입사되는 녹색광 성분을 포함할 수도 있다.
G43 화소에 입사되는 광성분은, G43 화소에 대응하는 색분리 렌즈 어레이(300)의 영역을 통하여 입사되는 녹색 광성분에 더하여, 수평 및 수직 방향에 위치된 청색 화소(B42,B44) 및 적색 화소(R33,R53)에 대응하는 영역으로 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 G43 화소로 입사되는 녹색광 성분을 포함할 수 있다. 또한 대각선 방향에 위치된 녹색 화소(G32,G34,G52,G54)에 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 G43 화소로 입사되는 녹색광 성분을 포함할 수도 있다.
도 24c를 참조하면, B44 화소에 입사되는 광성분은, B44 화소에 대응하는 색분리 렌즈 어레이(300)의 영역을 통하여 입사되는 청색 광성분에 더하여, 수평 및 수직 방향에 위치된 녹색 화소(G34,G43,G45,G54)와 대각선 방향에 위치된 적색 화소(R33,R35,R53,R55) 화소에 대응하는 영역으로 입사되는 광 중 색분리 렌즈 어레이(300)에 의해 분기되어 B44 화소로 입사되는 청색광 성분을 포함할 수 있다.
이와 같이 이미지 센서(200)에 광을 칼라에 따라 분리하는 색분리 렌즈 어레이(300)를 적용함으로써 주변부의 4개 또는 8개의 주변 화소에서 해당 화소에 해당하는 칼라에 대한 광량을 추가로 확보하므로, 광효율이 향상될 수 있다.
도 25는 실시예에 따른 이미지 센서(200)의 색분리 렌즈 어레이(300)에 의한 PSF(Point Spread Function) 특성을 보여준다. 도 25의 좌 상단, 우 상단, 좌 하단, 우 하단의 PSF 막대 그래프의 크기는 정규화(normalized) 된 값을 나타낸다. 도 25는 색분리 렌즈 어레이(300)에 적색광이 입사될 때, 베이어 패턴 배열의 단위 화소인 적색 화소(R), 2개의 녹색 화소(G), 청색 화소(B)에 각각 대응하는 색분리 렌즈 어레이(300)의 영역에 의한 색분리 특성을 예시적으로 보여준다.
도 25의 좌 상단에 보여진 PSF 막대 그래프에서 알 수 있는 바와 같이, 적색 화소(R)에 대응하는 색분리 렌즈 어레이(300)의 영역에 적색광이 입사되는 경우, 적색 광성분은 적색 화소(R)에만 도달하게 된다. 도 25의 우 상단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 녹색 화소(G)에 대응하는 색분리 렌즈 어레이(300)의 영역에 적색 광이 입사되는 경우, 수직 방향으로 녹색 화소(G) 양쪽에 위치되는 적색 화소(R)에 더 많은 적색 광성분이 도달하게 된다. 도 25의 좌 하단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 녹색 화소(G)에 대응하는 색분리 렌즈 어레이(300)의 영역에 적색광 입사되는 경우, 수평 방향으로 녹색 화소(G) 양쪽에 위치되는 적색 화소(R)에 더 많은 적색 광성분이 도달하게 된다. 도 25의 우 하단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 청색 화소(G)에 대응하는 색분리 렌즈 어레이(300)의 영역에 적색광 입사되는 경우, 청색 화소(G)에 대해 대각선 방향으로 양쪽에 위치되는 적색 화소(R)에 더 많은 적색 광성분이 도달하게 된다.
도 26은 비교예로서, 기존과 같이 이미지 센서에 흡수형 칼라 필터를 적용할 때, 흡수형 칼라 필터에 의한 PSF(Point Spread Function) 특성을 보여준다. 도 26의 좌 상단, 우 상단, 좌 하단, 우 하단의 PSF 막대 그래프의 크기는 정규화(normalized) 된 값을 나타낸다. 도 26은 베이어 패턴 배열을 가지는 흡수형 칼라 필터에 적색광이 입사될 때, 베이어 패턴 배열의 단위 화소에 대응하는 흡수형 칼라 필터의 적색 필터 영역(R), 2개의 녹색 필터 영역(G), 청색 필터 영역(B)에 대한 PSF 막대 그래프를 보여준다.
도 26의 좌 상단에 보여진 PSF 막대 그래프에서 알 수 있는 바와 같이, 적색 필터 영역(R)에 적색광이 입사되는 경우, 적색 광성분은 적색 화소(R)에만 도달하게 된다. 도 26의 우 상단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 녹색 필터 영역(G)에 적색 광이 입사되는 경우, 수직 방향으로 녹색 화소(G) 보다 양쪽에 위치되는 적색 화소(R)에 더 작은 양의 적색 광성분이 도달하게 된다. 도 26의 좌 하단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 녹색 필터 영역(G)에 적색광이 입사되는 경우, 수평 방향으로 녹색 화소(G) 보다 양쪽에 위치되는 적색 화소(R)에 더 작은 양의 적색 광성분이 도달하게 된다. 도 26의 우 하단의 PSF 막대 그래프에서 알 수 있는 바와 같이, 청색 필터 영역(G)에 적색광이 입사되는 경우, 청색 화소(G) 보다 대각선 방향으로 양쪽에 위치되는 적색 화소(R)에 더 작은 양의 적색 광성분이 도달하게 된다.
도 25 및 도 26의 PSF 막대 그래프 분포의 비교로부터 알 수 있는 바와 같이, 이미지 센서(200)에 광을 칼라에 따라 분리하는 색분리 렌즈 어레이(300)를 적용함으로써 주변부의 4개 또는 8개의 화소에서 해당 화소에 해당하는 칼라에 대한 광량을 추가로 확보할 수 있으므로, 광효율이 향상될 수 있다. 반면에, 흡수형 칼라 필터를 적용하는 기존의 이미지 센서의 경우에는 주변 화소에서 해당 화소에 해당하는 칼라에 대한 광량을 추가적으로 확보하기가 어려우므로, 광효율이 색분리 렌즈 어레이(300)를 적용하는 경우에 비해 크게 떨어진다.
한편, 이미지 센서(200)에 광을 칼라에 따라 분리하는 색분리 렌즈 어레이(300)를 적용함으로써 주변부의 4개 또는 8개의 화소에서 해당 화소에 해당하는 칼라에 대한 광량을 추가로 확보하며 해당 화소에 주변 화소의 정보가 컨벌루션된다.
실시예에 따른 영상 획득 장치(100)에 따르면, 색분리 렌즈 어레이(300)는 광효율이 늘어난만큼 공간해상도 측면에서 강점을 가진다. 더 많은 광량을 수광할 수 있어 신호 대 잡음비가 증가하고, 그로 인하여 신호의 고주파 성분을 더욱 많이 보존 할 수 있다. 하지만 집광 특성과 크로스톡(crosstalk)으로 인해 주변 픽셀의 정보가 혼합되게 된다. 따라서 색분리 렌즈 어레이(300)의 장점을 극대화하면서 열화 현상을 해결하는 알고리즘이 필요하다. 색분리 렌즈 어레이(300)의 크로스톡 PSF는 분광적인 측면에서는 색상 혼합의 비율이지만, 공간적인 측면에서는 블러커널로 작용하게 된다.
색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)를 구비하는 영상 획득는 이장치(100)에 따르면, 이러한 광효율 향상 효과를 유지하면서 영상 분해능의 열화를 개선할 수 있는 알고리즘의 적용이 요구된다.
도 27은 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR: peak signal-to-noise ratio)를 보여준다. 도 27에서 POR은 기준품(product of reference)에 대한 그래프이고, MP는 색분리 렌즈 어레이을 적용한 센싱 이미지에 대한 그래프이다. 피크 신호 대 잡음비(PSNR:Peak signal-to-noise ratio))은 원래 이미지와의 mean squared error를 노이즈로 계산하였을 때의 신호대 잡음비를 나타낸다.
도 27에서 알 수 있는 바와 같이, 노이즈가 적은 환경(고조도)에서는 공간 분해능의 저하로 인하여 색분리 렌즈 어레이(MP)의 PSNR이 기준품(POR)보다 낮고, 노이즈가 많은 환경(저조도)에서는 광효율 향상에 의한 감도 증가로 색분리 렌즈 어레이(MP)의 PSNR이 기준품(POR)보다 우세함을 알 수 있다.
도 28은 이미지 센서의 공간분해능을 보인 것으로 σ=0에서의 변조 전달 함수(MTF: Modulation transfer function)를 보여준다. 도 28에서 "original"는 외부 노이즈가 없고 이상적인 모듈 렌즈를 가정한 것이며, 색분리 렌즈 어레이(MP) 적용시와 기준품(POR)에 대한 그래프는, 색분리 렌즈 어레이(MP: 도 34 참조)와 기준품(POR)의 PSF를 도 29에서와 같이 기울어진 에지 이미지(600)에 적용하여 MTF 커브를 계산한 것이다. 도 28을 살펴보면, 기준품(POR) 대비 색분리 렌즈 어레이(MP)의 MTF50은 약 85% 수준임을 알 수 있다.
도 27 및 도 28에서 알 수 있는 바와 같이, 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)의 감도 저하를 최소화하면서 고조도에서의 공간분해능 열화를 개선하기 위한 디모자이킹 알고리즘이 필요하다.
실시예에 따른 영상 획득 장치(100)에 따르면, 신호처리부(250)는 색분리 렌즈 어레이(300)를 포함하는 이미지 센서(200)에서 발생하는 블러 현상을 해결하기 위해 디컨벌루션 알고리즘을 서브-이미지 도메인에서 수행하고, 그 후 예컨대, 레벨 밸런스와 결합된 디모자이킹 알고리즘, 컬러 보정 알고리즘을 수행하도록 구성될 수 있다. 이를 통해, 공간해상도 측면에서는 블러 현상을 극복하고, 그리드 아티팩트를 제거할 수 있으며, 분광해상도 측면에서는 컬러 보정을 수행함으로써, 색분리 렌즈 어레이(300)를 포함하는 이미지 센서(200)에서 발생하는 열화 문제를 해결할 수 있어, 광효율 향상 효과를 유지하면서, 개선된 영상 분해능을 확보할 수 있다.
도 30은 실시예에 따른 영상 획득 장치(100)의 신호 처리부(250)에서의 이미지 센서(200)에서 획득된 칼라별 영상 신호를 처리하는 과정을 개략적으로 보여준다.
도 30을 참조하면, 실시예에 따른 영상 획득 장치(100)에 따르면, 이미지 센서(200)의 복수의 광감지셀의 센싱 신호(Input(y))와 색분리 렌즈 어레이(300)의 크로스톡(crosstalk) PSF를 입력값으로 한다(S800, S700).
실시예에 따른 영상 획득 장치(100)에 따르면, 색분리 렌즈 어레이(300)의 PSF 예컨대, 크로스톡(crosstalk) PSF를 이용하여 컬러 보정 매트릭스(color correction matrix)를 구성할 수 있다(S770). 또한 색분리 렌즈 어레이(300)의 크로스톡(crosstalk) PSF를 이용하여 예를 들어, 규칙화 방식(regularization method)으로 블러 커널(blur kernel)을 추정하고(S710), 이 추정된 블러 커널을 디컨벌루션 수행시 적용할 수 있다(S810). 컬러 보정 매트릭스 및 블러 커널은 색분리 렌즈 어레이(300)의 구조가 변하지 않는 한 고정된 값을 가지므로, 룩업 테이블 형식으로 구성할 수 있으며, 영상 획득 장치(100)에 저장될 수 있다.
실시예에 따른 영상 획득 장치(100)는 컬러 보정 매트릭스 및 블러 커널 중 적어도 하나를 이용하여, 입력 영상을 복원하는 과정을 수행할 수 있다. 입력 영상을 복원하는 과정은 예를 들어, 디컨벌루션(deconvolution: B-1), 디모자이킹(demosaicing: D-1), 컬러 보정(color correction: W-1)을 포함할 수 있다(S810,S830,S870).
이미지 센서(200)의 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 디컨벌루션을 수행할 수 있다(S810). 디컨벌루션은 색분리 렌즈 어레이(300)에 의한 각 칼라 화소 배열에 의해 획득된 패턴 영상의 위치별로 수행될 수 있다. 예를 들어, 후술하는 도 33에서와 같이 단위 화소가 2x2 배열의 4개의 칼라 화소(P1,P2,P3,P4)를 포함하는 경우, 디컨벌루션은 각 칼라 화소 배열에 의해 획득된 패턴 영상의 위치별(P1,P2,P3,P4)로 수행될 수 있다.
한편, 블러 현상에 의한 공간해상도 열화를 해결하도록, 디컨벌루션동안 블러 커널(blur kernel)을 추가적인 입력값으로 더 적용할 수 있다(S710).
색분리 렌즈 어레이(300)의 크로스톡 PSF는 분광적인 측면에서는 색상 혼합의 비율이지만, 공간적인 측면에서는 블러(Blur) 현상에 의한 공간해상도 열화를 이끈다. 이러한 블러 현상에 의한 공간해상도 열화를 해결하도록 블러 커널을 적용할 수 있다. 블러 커널은 색분리 렌즈 어레이(300)의 크로스톡(crosstalk) PSF를 이용하여 예를 들어, 규칙화 방식(regularization method)으로 추정할 수 있다. 디컨벌루션 수행동안 이 추정된 블러 커널을 적용할 수 있다(S710, S810).
이러한 디컨벌루션후, 색분리 렌즈 어레이(300)의 칼라 화소 배열에 의해 서브-샘플링(sub-sampling)된 영상으로부터 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행할 수 있다(S830). 디모자이킹동안, 1 채널의 입력 영상에 대해 3 채널의 출력 영상이 얻어진다. 디모자이킹 알고리즘은 다양한 방법을 적용할 수 있다. 또한, 디모자이킹동안 그리드 아티팩트(grid artifact)에 의한 공간해상도 열화를 해결하도록 레벨 밸런스(level balance) 알고리즘이 추가적으로 결합될 수 있다. 도 30에서는 디모자이킹동안 레벨 밸런스 알고리즘이 추가적으로 결합된 경우를 예시적으로 보여준다.
그리고, 컬러 열화(color degradation)에 의한 분광 해상도 열화를 해결하도록, 컬러 보정(color correction)을 수행할 수 있다(S870). 색분리 렌즈 어레이(300)에 의한 각 칼라 화소에 해당하는 PSF를 이용하여 구성된 컬러 보정 매트릭스(CCM)를 이용하여 컬러를 보정할 수 있다(S770, S870). 3채널의 입력 영상에 대해, 컬러 보정 매트릭스를 추가적인 입력값으로 적용하여, 3채널 영상을 출력하게 되며, 이에 따라, 분광해상도 열화가 해결된 출력 영상(Output(
)이 얻을 수 있다(S890).
한편, 신호 처리부(250)는 도 31에서와 같이, 화이트 밸런스(White balance)를 추가적으로 수행하도록 구성될 수 있다(S850). 화이트 밸런스는 디모자이킹후 컬러 보정 전에 이루어질 수 있다.
실시예에 따른 영상 획득 장치(100)에 따르면, 블러 현상, 그리드 아티팩트 에 의한 공간 해상도 열화는 디컨벌루션, 디모자이킹 단계에서 해결하며, 컬러 보정 단계에서 분광해상도 열화를 해결한 출력 영상(Output(
)을 출력하게 된다.
실시예에 따른 영상 획득 장치(100)에 따르면, 블러 현상이 개선되어 영상의 에지 영역에서 샤프니스(sharpness)가 증가하며, 평탄영역에서의 그리드 아티팩트 가 제거될 수 있다.
상기한 실시예에 따른 영상 획득 장치(100)에 따르면, 색분리 렌즈 어레이(300)로 인해 발생하는 크로스톡의 PSF를 이용하여 컬러 보정 매트릭스(color correction matrix:CCM)를 구성하고, 시뮬레이션(simulation)을 통해 블러 커널(blur kernel)을 추정할 수 있다. 또한, 이를 바탕으로 열화된 영상로부터 블러링(blurring), 서브-샘플링(sub-sampling), 컬러 열화(color degradation)에 대응되는 역 필터링(inverse filtering)을 순차적으로 수행하여 원본 영상으로 복원할 수 있다. 각각의 부분은 디컨벌루션(deconvolution) B-1, 디모자이킹(demosaicing) D-1, 컬러 보정(color correction) W-1이라고 정의 할 수 있다.
실시예에 따른 영상 획득 장치(100)에서, 블러 현상을 극복하는 디컨벌루션 과정은 예를 들어, 다음과 같이 이루어질 수 있다.
색분리 렌즈 어레이(300)의 크로스톡 PSF는 분광적인 측면에서는 색상 혼합의 비율이지만, 공간적인 측면에서는 블러 커널로 작용할 수 있다. 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)에서 발생하는 블러 현상을 극복하면서 디컨벌루션을 수행하기 위해 다음의 수학식 4와 같은 모델링을 세울 수 있다.
여기서, y는 블러링(blurring)에 의해 열화된 영상, x는 원본 영상, 
는 블러 행렬을 의미한다. 하지만, 크로스톡 PSF를 이용하여 직접적으로 블러 커널(blur kernel)을 특정하기는 어려울 수 있다. 따라서, 위치별로 나타내었을 때 예를 들어, 총 48 개의 PSF 를 4 개의 커널로 근사화하여 특정할 수 있다. 우선, 분광 해상도만 열화된 영상을 x 로 정의하고, 크로스톡 PSF에 의해 분광해상도 및 공간해상도가 열화된 영상을 y 로 정의할 수 있다. 즉, 컬러 열화를 통제변인으로 설정할 수 있다. 이 영상들로부터 블러 커널(blur kernel)을 추정하는 과정은 다음의 수학식 5와 같이 나타낼 수 있다.
여기서, K는 데이터세트(dataset)의 개수를 의미하며, 여러 데이터세트를 동시에 만족시킬 수 있는 필터를 디자인하기 위함이다.
이러한 최적화(optimization)은 최소 제곱법(least-squares)를 통하여 다음의 수학식 6과 같이 해를 특정할 수 있다.
여기서, x, y 는 영상을 의미하기 때문에 주파수(frequency) 도메인으로 변환하여 연산하는 것이 용이하며, 최종적으로 공간(spatial) 도메인으로 변환한 후 윈도우윙(windowing)을 수행하여 블러 커널을 특정할 수 있다.
도 32은 컬러 열화(Color Degradation)를 통제변인으로 색분리 렌즈 어레이의 크로스톡 PSF로부터 블러 커널(blur kernel)을 추정하는 과정을 보여준다.
실시예에 따른 영상 획득 장치(100)의 공간 분해능 저하를 결정하는 블러 커널(B)은 예를 들어 24개의 기본 KODAK 이미지 세트에 규칙화 방식(regularization method)을 적용하여 통계적으로 유추할 수 있다. 예를 들어, 각각의 KODAK 이미지에 대해 
을 최소화하는 B를 구한 뒤, 평균을 내어 실시예에 따른 영상 획득 장치(100)의 대표적인 블러 커널 수학식 4,5,6에 따라 규칙화 방식(regularization method)을 적용하여 유추할 수 있다.
예를 들어, 실시예에 따른 색분리 렌즈 어레이(300)를 적용한 영상 획득 장치(100)에 있어서, 블러 커널은 다음과 같은 일련의 과정을 통해 추정할 수 있다.
도 33은 단위 화소(910)가 2x2 배열의 4개의 컬러 화소(P1,P2,P3,P4)를 포함하는 예를 보인 것으로, 베이어 단위 화소를 보여준다. 도 33에서, 컬러 화소(P1)은 청색 화소, 컬러 화소(P2)는 녹색 화소, 컬러 화소(P3)는 적색 화소, 컬러 화소(P4)는 녹색 화소일 수 있다. 도 34는 도 33의 단위 화소(910)의 2차원 어레이 배열을 형성하는 색분리 렌즈 어레이(900)를 예시적으로 보여준다. 도 34에서 색분리 렌즈 어레이(900)의 배경을 이루는 바둑판 무늬는 색분리 렌즈 어레이(900)에 의해 형성되는 베이어 컬러 화소 배열을 보여준다. 도 35는 도 33의 단위 화소(910)의 2차원 어레이 배열인 베이어 컬러 필터 배열(950)을 보여주며, 기준품(POR: product of reference)에 해당한다.
도 34에서와 같이, 색분리 렌즈 어레이(900)에 의해 베이어 컬러 화소 배열을 형성하는 경우, 색분리 렌즈 어레이(900)의 크로스톡 PSF를 이용하여 블러 커널을 예를 들어, 도 36에서와 같이 추정할 수 있다. 즉, 블러 커널은 도 36에서와 같이, 4개의 컬러 화소(P1,P2,P3,P4)에 대해, 3x3 로우 패스 필터 형태로 추정될 수 있으며, 정성적인 부분에서 확인할 수 있을 정도로 블러링 현상이 발생하는 것을 확인할 수 있다.
반면에, 도 35에서와 같이, 기준품에 해당하는 베이어 컬러 필터 배열(950)에 대해서는 블러 커널은 도 37에서와 같이 델타 함수에 가까울 수 있다.
도 36 및 도 37을 비교하면, 색분리 렌즈 어레이(900) 적용시 블러링 현상이 발생함을 확인할 수 있다. 색분리 렌즈 어레이(900) 적용시 블러링 현상은 G(녹색) 채널에 비해 R(적색) 채널이나 B(청색) 채널에서 심할 수 있다.
색분리 렌즈 어레이(900)의 크로스톡 PSF를 이용하여 추정된 블러 커널을 이용하면 열화된 공간 해상도를 향상시킬 수 있다. 이는 다음의 수학식 7과 같은 최적화 문제(optimization problem)로 나타낼 수 있다.
이때, 최적화 문제는 데이터 충실도(data fidelity)와 평탄함(smoothness)을 고려한 최적화 척도(optimality criterion)로 표현할 수 있다. 획득되는 영상의 특성이나 환경을 고려하는 규칙화 기간(regularization term)을 포함하여야 하며, 적절한 규칙화 전략을 선택함으로써 역 필터링 과정에서 발생하는 인공구조물(artifact)를 최소화할 수 있다. 이를 위해 L2-regularization 
이 사용될 수 있으며, C는 3x3 매트릭스로, 예를 들어, 중심의 값이 4이고 상하좌우의 값이 -1인 -1인 라플라시안 필터(Laplacian filter)를 예시적으로 적용할 수 있다. 이는 고주파 필터이기 때문에 고주파 에너지인 
를 억제해 평탄함(smoothness)을 조절할 수 있다. 다른 예로서, gradient descent optimization 방식 등이 적용될 수도 있다.
실시예에 따른 영상 획득 장치(100)에 따르면, 상기와 같이 색분리 렌즈 어레이(300)의 PSF 즉, 크로스톡 PSF를 이용하여 추정된 블러 커널을 추가적인 입력값으로 적용하고 최적화시키는 과정을 통해 블러 현상을 극복하는 디컨벌루션을 수행하여, 색분리 렌즈 어레이(300) 적용시 열화된 공간 해상도를 향상시킬 수 있다. 이때, 디컨벌루션은 색분리 렌즈 어레이에 의한 칼라 화소 배열에 의해 획득된 패턴 영상의 위치별(P1,P2,P3,P4)로 알고리즘을 수행할 수 있다.
한편, 예를 들어, 소정의 컬러 화소 배열 예컨대, 베이어 컬러 화소 배열을 형성하도록 이미지 센서(200)에 의해 서브-샘플링되어 raw 영상이 획득되는데, 이와 같이 획득된 raw 영상으로부터 전체 해상도(full resolution)를 갖는 컬러 영상으로 복원하기 위해, 디모자이킹(demosaicing)은 예를 들어, 각 색상의 비어있는 화소의 색상값을 주변 화소의 색상값을 이용하여 보간(interpolariton)하는 방식으로 이루어질 수 있다.
서브-샘플링으로 인한 공간해상도 열화 과정은 다음의 수학식 8과 같이 모델링하여 수식적으로 나타낼 수 있다.
여기서, y는 서브-샘플링된 영상, x는 원본 영상, D는 서브-샘플링 행렬을 의미하며, 서브-샘플링된 영상으로부터 전체해상도를 갖는 컬러 영상을 복원화는 과정은 다음의 수학식 9와 같이 최적화 문제(optimization problem)로 나타낼 수 있다.
서브-샘플링 행렬 D를 역필터링하는 방법은 예를 들어, Bilinear interpolation(바이리니어 보간) 방식, 채널간 상관 관계를 이용하는 접근 방식, 에지의 방향성을 이용하여 공간 해상도를 높이는 방식 등 다양한 방법이 존재한다.
예를 들어, Bilinear interpolation(바이리니어 보간) 방식을 적용한 디모자이킹은, 도 33에서와 같은 베이어 단위 화소를 이루는 4개의 화소(P1,P2,P3,P4)의 2차원 배열을 고려해보자. P1 화소가 청색 화소인 경우, 청색값은 P1이며, 녹색값은 주변의 4개의 녹색 화소들의 색상값의 평균, 적색값은 주변의 4개의 적색 화소들의 색상값의 평균을 이용하여 보간이 이루어질 수 있다. P2 화소가 녹색 화소인 경우, 녹색값은 P2이며, 청색값은 주변의 2개의 청색 화소들의 색상값의 평균, 적색값은 주변의 2개의 적색 화소들의 색상값의 평균을 이용하여 보간이 이루어질 수 있다. P3 화소가 적색 화소인 경우, 적색값은 P3이며, 녹색값은 주변의 4개의 녹색 화소들의 색상값의 평균, 청색값은 주변의 4개의 청색 화소들의 색상값의 평균을 이용하여 보간이 이루어질 수 있다. P4 화소가 녹색 화소인 경우, 녹색값은 P4이며, 청색값은 주변의 2개의 청색 화소들의 색상값의 평균, 적색값은 주변의 2개의 적색 화소들의 색상값의 평균을 이용하여 보간이 이루어질 수 있다.
한편, 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)에서는 베이어 단위 화소의 두 녹색 화소 즉, P2(G1)/P3(G2)에 입력되는 R 채널의 비율이 상당부분 차이가 날 수 있다. 이때 발생하는 그리드 아티팩트(grid artifact)를 해결하기 위해 레벨 밸런스(level balance) 알고리즘을 적용할 수 있다. 이는 G1과 G2의 컬러 혼합 비율의 차이로 인해 발생하는 것으로, G1과 G2의 감도를 조정해줌으로써 해결할 수 있다. 또한, 채널간 상관관계를 이용하는 디모자이킹 방식의 경우, G 채널에서 발생한 그리드 아티팩트(grid artifact)가 R/B 채널에도 영향을 줄 수 있다.
따라서, 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)에서, 컬러 화소 배열에 의해 입력 영상은 1채널이지만, 출력 영상은 3채널을 갖게 되는 서브-샘플링된 영상으로부터 전체 해상도를 갖는 영상으로 복원하는 디모자이킹시, 그리드 아티팩트(grid artifact)에 의한 공간 해상도 열화를 해결하도록 레벨 밸런스(level balance) 알고리즘을 적용할 수 있다.
한편, 컬러 열화(color degradation)에 의한 분광 해상도 열화를 해결하도록, 컬러 보정(color correction)을 수행할 수 있다. 색분리 렌즈 어레이(300)에 의한 각 칼라 화소에 해당하는 PSF를 이용하여 구성된 컬러 보정 매트릭스(CCM)를 이용하여 컬러를 보정할 수 있다.
분광 해상도 열화 과정은 다음의 수학식 10과 같이 모델링하여 수식적으로 나타낼 수 있다.
여기서, y는 분광 해상도가 열화된 영상, x는 원본 영상, 그리고 W는 컬러 혼합 비율을 의미한다. 크로스톡 PSF를 이용하여 컬러 혼합 비율을 계산하는 방법을 고려해볼 수 있다. 각 채널별/위치별로 PSF를 분리하는 경우, 고해상도 영상 XR1…XB4이 획득되는 영상 y1,y2,y3,y4에 미치는 비율에 대해 계산이 가능해진다. 즉, 4개 단위로 PSF의 값을 모두 합하면, W 행렬의 각 성분들을 획득할 수 있다.
한편, 분광 해상도 열화를 극복하는 컬러 보정 알고리즘은 R,G,B 채널에서 수행되기 때문에, 실제로 컬러 보정은 P2(G1)/P3(G2)에 동일한 G 채널값이 입력될 수 있다. 컬러 보정은 다음의 수학식 11과 같이 최적화 문제(optimization problem)으로 나타낼 수 있다.
여기서, W는 3x3 형태의 컬러 혼합 비율 행렬을 의미하며, least-squares의 해를 구하여 3x3 형태의 M 행렬로 표현할 수 있다ㅣ.
실시예에 따른 영상 획득 장치(100)에 따르면, 색분리 렌즈 어레이(300)를 포함하는 이미지 센서(200)에서 발생하는 블러 현상을 해결하기 위해, 상술한 디컨벌루션 알고리즘을 서브-이미지 도메인에서 수행하고, 그 후 레벨 밸런스와 결합된 디모자이킹 알고리즘, 컬러 보정 알고리즘을 수행하도록 구성할 수 있다. 이를 통해, 공간해상도 측면에서는 블러 현상을 극복하고, 그리드 아티팩트를 제거할 수 있으며, 분광해상도 측면에서는 컬러 보정을 수행함으로써, 색분리 렌즈 어레이(300)를 포함하는 이미지 센서(200)에서 발생하는 열화를 해결할 수 있다.
따라서, 실시예에 따른 색분리 렌즈 어레이(300)를 적용한 이미지 센서(200)를 구비하는 영상 획득 장치(100)에 따르면, 광효율 향상 효과를 유지하면서, 개선된 영상 분해능을 확보할 수 있다.
도 38 및 도 39는 실시예에 따른 영상 획득 장치(100)의 신호 처리부(250)에서의 신호 처리 방식을 적용했을 때, 외부 노이즈 조건에 따른 피크 신호 대 잡음비(PSNR : peak signal-to-noise ratio)와 영상 획득 장치(100)의 공간분해능을 보여준다. 도 38에서 피크 신호 대 잡음비(PSNR)은 원래 이미지와의 mean squared error를 노이즈로 계산하였을 때의 신호대 잡음비를 나타낸다. 도 39는 σN = 0에서의 변조 전달 함수(MTF: Modulation transfer function)를 보여주는 것으로, "original"는 외부 노이즈가 없고 이상적인 모듈 렌즈를 가정한 것이며, 색분리 렌즈 어레이(MP)와 기준품(POR)에 대한 그래프는, 색분리 렌즈 어레이(MP: 도 34 참조)와 기준품(POR)의 PSF를 도 29에서와 같이 기울어진 에지 이미지(600)에 적용하여 MTF 커브를 계산한 것이다. 도 38 및 도 39에서 POR-decoupled는 기준품에 대해 실시예에 따른 영상 신호 처리 방식을 적용할 때의 그래프, MP-decoupled는 색분리 렌즈 어레이에 대해 실시예에 따른 영상 신호 처리 방식을 적용할 때의 그래프이다.
도 38 및 도 39에서 알 수 있는 바와 같이, 저조도 환경에서 색분리 렌즈 어레이(300)를 구비하는 이미지 센서(200)로 촬상한 이미지가 기준품(POR) 대비 우수한 PSNR값을 지님을 알 수 있다. 또한, 실시예에 따른 영상 신호 처리 방식을 적용함으로써, 기준품(POR) 대비 색분리 렌즈 어레이(MP)의 MTF50은 약 100% 수준이며, 전구간에서 MTF 그래프가 거의 일치함을 알 수 있다.
도 40a는 오리지널 이미지를 보여준다. 도 40b는 기준품(POR)에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다. 도 40c는 색분리 렌즈 어레이(300)에 대해 기존의 바이리니어 디모자이킹 및 컬러 보정을 적용한 이미지를 보여준다. 도 40d는 색분리 렌즈 어레이(300)에 대해 실시예에 따른 영상 신호 처리 방식에 따라, 추정된 블러 커널을 적용한 디컨벌루션, 레벨 밸런스가 결합된 바이리니어 디모자이킹 및 컬러 보정 매트릭스를 적용한 컬러 보정을 적용했을 때의 이미지를 보여준다.
도 40a 내지 도 40c와 도 40d의 비교로부터 알 수 있는 바와 같이, 실시예에 따른 영상 신호 처리 방식에 따라, 추정된 블러 커널 및 컬러 보정 매트릭스 등을 이용하여 이미지를 복원하는 경우, 블러 현상, 그리드 아티팩트에 의한 공간해상도 열화가 개선되어 이미지의 에지영역에서의 샤프니스가 증가하며, 평탄 영역에서의 그리드 아티팩트가 제거되며, 컬러 보정에 의해 분광 해상도가 확보된 이미지를 획득할 수 있다.
따라서, 실시예에 따른 영상 획득 장치(100)에 따르면, 색분리 렌즈 어레이(300)를 적용하면서, 실시예에 따른 영상 신호 처리 방식을 적용하여, 저조도 환경에서 기준품(POR) 대비 우수한 PSNR값을 지니며, 고조도 환경에서 고해상도의 높은 색재현성의 이미지를 획득할 수 있다.
상술한 실시예들에 따른 이미지 센서(200)를 적용한 영상 획득 장치(100)는 카메라 등과 같은 다양한 광학 장치 또는 전자 장치로 구현될 수 있다. 이러한 전자 장치는, 예컨대, 스마트 폰(smart phone), 휴대폰, PDA(personal digital assistant), 랩톱(laptop), 태블릿, PC, 다양한 휴대용 기기, 가전제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT; Internet of Things), 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.
도 41은 실시예에 따른 영상 획득 장치(100)를 포함하는 전자 장치를 개략적으로 도시한 블록도이다. 전자 장치는 영상 획득 장치(100), 프로세서(190), 메모리(180), 디스플레이(170) 및 버스(110)를 포함한다. 영상 획득 장치(100)는 프로세서(190)의 제어에 따라 외부의 피사체에 대한 영상 정보를 획득하여 프로세서(190)에 제공한다. 프로세서(190)는 영상 획득 장치(100)로부터 제공된 영상 정보를 버스(110)를 통하여 메모리(180)에 저장하고, 메모리(180)에 저장된 영상 정보를 디스플레이(170)로 출력하여 사용자에게 표시할 수도 있다. 또한, 프로세서(190)는 영상 획득 장치(100)로부터 제공된 영상 정보에 대해 다양한 영상 처리를 수행할 수도 있다.
도 42 내지 도 52는 실시예에 따른 영상 획득 장치가 적용된 전자 장치의 다양한 예를 보인다.
실시예에 따른 영상 획득 장치는 영상 촬영 기능을 구비하고 있는 다양한 멀티미디어 장치들에 적용될 수 있다. 예를 들어, 실시예에 따른 영상 획득 장치는 도 42에 도시된 바와 같은 카메라(1000)에 적용될 수 있다. 카메라(1000)는 디지털 카메라 또는 디지털 캠코더일 수 있다.
도 43을 참조하면, 카메라(1000)는 촬영 렌즈부(120), 이미지 센서(200), 프로세서(190) 등을 포함할 수 있다. 도 43에서는 카메라(1000)에 적용되는 영상 획득 장치(100)의 구성요소 중 프로세서(190)에서 제공된 제어신호에 따라 제어되는 촬영 렌즈부(120) 및 이미지 센서(200)의 구성을 도시하고 있다. 영상 획득 장치(100)의 주요 구성은 도 1에 도시되어 있으며, 이미지 센서(200)의 주요 구성은 도 2에 도시되어 있다.
촬영 렌즈부(120)는 피사체(OBJ)로부터 반사된 광을 집속하여 광학상을 형성한다. 촬상부(120)는 대물렌즈(121), 렌즈 구동부(122), 조리개(123), 및 조리개 구동부(124)를 포함할 수 있다. 도 43에는 편의상 하나의 렌즈만이 대표적으로 표시되었으나, 실제로 대물렌즈(121)는 크기와 형태가 각기 다른 복수의 렌즈들을 포함할 수 있다. 렌즈 구동부(122)는 프로세서(190)와 초점 검출에 관한 정보를 통신할 수 있고, 프로세서(190)에서 제공된 제어 신호에 따라 대물렌즈(121)의 위치를 조절할 수 있다. 렌즈 구동부(122)는 대물렌즈(121)를 이동시켜 대물렌즈(121)와 피사체(OBJ) 사이의 거리를 조절하거나, 대물렌즈(121) 내의 개별 렌즈들의 위치를 조절할 수 있다. 렌즈 구동부(122)가 대물렌즈(121)를 구동시킴으로써 피사체(OBJ)에 대한 초점이 조절될 수 있다. 이러한 카메라(1000)는 자동 초점 기능을 구비할 수 있다.
조리개 구동부(124)는 프로세서(190)와 광량에 관한 정보를 통신할 수 있고, 프로세서(190)에서 제공된 제어 신호에 따라 조리개(123)를 조절할 수 있다. 예를 들어, 조리개 구동부(124)는 대물렌즈(121)를 통해 카메라(1000)의 내부에 들어오는 광의 양에 따라 조리개(123)의 구경을 증가시키거나 감소시킬 수 있으며, 조리개(123)의 개방 시간을 조절할 수 있다.
이미지 센서(200)는 입사되는 광의 세기를 기초로 전기적인 이미지 신호를 생성할 수 있다. 이미지 센서(200)는 화소 어레이(210), 타이밍 컨트롤러(240), 및 출력 회로(230)를 포함할 수 있다. 비록 도 43에는 도시되지 않았지만, 이미지 센서(200)는 도 2에 도시된 로우 디코더(220)를 더 포함할 수 있다. 대물렌즈(121) 및 조리개(123)를 투과한 광은 화소 어레이(210)의 수광면에 피사체(OBJ)의 상을 결상할 수 있다. 화소 어레이(210)는 광학 신호를 전기 신호로 변환하는 CCD 또는 CMOS일 수 있다.
이미지 센서(200)의 화소 어레이(210)는 AF 기능 또는 거리 측정 기능을 수행하기 위한 추가적인 화소들을 포함할 수 있다. 또한, 화소 어레이(210)는 상술한 색분리 렌즈 어레이를 포함할 수 있다. 이미지 센서(200)의 화소 어레이(210)는 촬영 렌즈부(120)에서 형성한 광학 상을 전기적 신호로 변환하여 칼라별 영상 신호를 획득한다. 이때, 색분리 렌즈 어레이에 의해, 센서 기판의 서로 인접하는 광 감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하여 입사광을 컬러에 따라 분리하므로, 단위 화소에 입사하는 광성분 외에 주변 화소에서 해당 광성분에 해당하는 입사광을 집광할 수 있어, 광효율이 향상된 칼라별 영상 신호가 획득될 수 있다. 획득된 칼라별 영상 신호는 신호 처리부(250)에서 처리되며, 처리된 칼라별 영상 신호로부터 칼라 영상을 형성하게 된다. 이때, 신호 처리부(250)에서는, 색분리 렌즈 어레이에 의한 각 칼라 화소에 해당하는 PSF를 이용하여, 복수의 광감지셀의 센싱 신호에 대해 디컨벌루션을 수행하여 획득된 컬러별 영상 신호를 처리하므로, 광효율이 높으면서도 선명한 영상을 얻을 수 있다. 신호 처리부(2590)에서 형성한 영상은 메모리(180)에 저장할 수 있으며, 또한 디스플레이부(170)에 표시할 수 있다.
프로세서(190)는 카메라(1000)의 전반적인 동작을 제어할 수 있으며 영상 처리 기능을 구비할 수 있다. 예를 들어, 프로세서(190)는 렌즈 구동부(122), 조리개 구동부(124), 타이밍 컨트롤러(240) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공할 수 있다.
실시예에 따른 영상 획득 장치(100)는 카메라(1000)뿐만 아니라, 도 44에 도시된 모바일폰 또는 스마트폰(3000), 도 45에 도시된 태블릿 또는 스마트 태블릿(3100), 도 46에 도시된 랩톱 또는 노트북 컴퓨터(3200), 도 47에 도시된 텔레비전 또는 스마트 텔레비전(3300)에 적용될 수 있다. 예를 들어, 스마트폰(3000) 또는 스마트 태블릿(3100)은 복수의 고해상 이미지 센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 복수의 고해상 카메라를 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.
또한, 영상 획득 장치(100)는 도 48에 도시된 스마트 냉장고(3400), 도 49에 도시된 보안 카메라(3500), 도 50에 도시된 로봇(3600), 또는 도 51에 도시된 의료용 카메라(3700) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(3400)는 이미지 센서를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 또한, 보안 카메라(3500)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(3600)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(3700)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.
또한, 영상 획득 장치(100)는 도 52에 도시된 바와 같이 차량(3800)에 적용될 수 있다. 차량(3800)은 차량(3800) 내의 다양한 위치에 배치된 복수의 차량용 카메라(3810, 3820, 3830, 3840)를 포함할 수 있다. 각각의 차량용 카메라(3810, 3820, 3830, 3840)는 실시예에 따른 영상 획득 장치(100)를 포함할 수 있다. 차량(3800)는 복수의 차량용 카메라(3810, 3820, 3830, 3840)를 이용하여 차량(3800)의 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인하여 자율 주행에 필요한 정보를 제공할 수 있다.
상술한 색분리 렌즈 어레이를 구비하는 이미지 센서 및 이를 포함하는 영상 획득 장치를 적용한 전자 장치는 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
100...영상 획득 장치 120...촬영 렌즈부
200...이미지 센서 210,210a,210b…화소 어레이
250...신호 처리부 300,330,400,450,460,470,900...색분리 렌즈 어레이
500...센서 기판
200...이미지 센서 210,210a,210b…화소 어레이
250...신호 처리부 300,330,400,450,460,470,900...색분리 렌즈 어레이
500...센서 기판
Claims (24)
- 광을 센싱하는 복수의 광감지셀을 포함하는 센서 기판, 상기 센서 기판 전단에 배치되는 것으로, 상기 복수의 광감지셀과 각각 마주하는 복수의 영역에 서로 인접하는 광감지셀에 서로 다른 파장의 광을 집광시키는 위상 분포를 형성하는 미소 구조를 구비하여 입사광을 칼라에 따라 분리하는 색분리 렌즈 어레이를 포함하는 이미지 센서와;
상기 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하고, 서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하며, 상기 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하여 상기 이미지 센서에서 획득된 칼라별 영상 신호를 처리하는 신호 처리부;를 포함하는 영상 획득 장치. - 제1항에 있어서, 상기 신호처리부는, 상기 디모자이킹동안 레벨 밸런스를 추가적으로 적용하는 영상 획득 장치.
- 제1항에 있어서, 상기 신호 처리부는 상기 색분리 렌즈 어레이의 PSF를 이용하여 추정된 블러 커널을 상기 디컨벌루션 수행에 적용하여 공간해상도를 향상시키는 영상 획득 장치.
- 제1항에 있어서, 상기 신호 처리부는 상기 색분리 렌즈 어레이의 PSF를 이용하여 구성된 컬러 보정 매트릭스를 이용하여 컬러 보정을 수행하는 영상 획득 장치.
- 제1항에 있어서, 상기 신호 처리부는, 상기 디모자이킹 후 상기 컬러 보정 전에 화이트 밸런스 과정을 추가적으로 수행하는 영상 획득 장치.
- 제1항에 있어서, 상기 신호 처리부의 디컨벌루션은 주변 화소에서 컨벌루션된 정보를 소거하도록 이루어지는 영상 획득 장치.
- 제1항에 있어서, 상기 신호 처리부는, 상기 이미지 센서의 로직(Logic)에 구비되거나, 컴패니언 칩(companion chip)으로 마련되는 영상 획득 장치.
- 제1항에 있어서, 상기 이미지 센서는 베이어 패턴 배열을 가지며,
상기 신호 처리부는, 베이어 패턴 배열의 칼라별 영상을 얻으며, 얻어진 칼라별 영상을 이용하여 칼라 영상을 형성하는 영상 획득 장치. - 제8항에 있어서, 상기 신호 처리부는 얻어진 칼라별 영상을 이용하여 칼라 영상을 구성하도록, 각 색상의 비어있는 화소의 색상값을 주변 화소의 색상값을 이용하여 보간하여 칼라 영상을 형성하는 영상 획득 장치.
- 제1항에 있어서, 상기 색분리 렌즈 어레이는 소정 화소에 해당하는 광성분에 더하여 주변 화소에서의 상기 광성분을 상기 소정 화소로 집광시키는 영상 획득 장치.
- 제1항에 있어서, 상기 센서 기판은 복수의 제1 광감지셀 및 복수의 제2광감지셀을 포함하며,
상기 색분리 렌즈 어레이는,
상기 복수의 제1광감지셀에 각각 대응하며, 제1미소 구조를 갖는 복수의 제1영역;
상기 복수의 제2광감지셀에 각각 대응하며며, 제2미소 구조를 갖는 복수의 제2영역;을 포함하며,
상기 제1 미소 구조와 제2 미소 구조는,
상기 색분리 렌즈 어레이에 입사하는 입사광 중에서 서로 다른 제1 파장의 광과 제2 파장의 광이 서로 다른 방향으로 분기되어 각각 제1 광감지셀 및 제2 광감지셀에 집광되는 위상 분포를 상기 제1 영역 및 상기 제2 영역을 통과한 위치에서 형성하는 영상 획득 장치. - 제11항에 있어서, 상기 제1 미소 구조와 제2 미소 구조는,
상기 색분리 렌즈 어레이를 통과한 직후의 위치에서 제1 파장의 광이 상기 제1 광감지셀의 중심부에서 2Nπ, 상기 제2 광감지셀의 중심부에서 (2N-1)π의 위상 분포를 형성하며, 여기서 N은 0보다 큰 정수이고,
상기 색분리 렌즈 어레이를 통과한 직후의 위치에서 제2 파장의 광이 상기 제1 광감지셀의 중심부에서 (2M-1)π, 상기 제2 광감지셀의 중심부에서는 2Mπ의 위상 분포를 형성하며, 여기서 M은 0보다 큰 정수인 영상 획득 장치. - 제11항에 있어서, 상기 센서 기판은 광을 감지하는 복수의 제3 광감지셀 및 복수의 제4 광감지셀을 더 포함하며,
상기 색분리 렌즈 어레이는 상기 복수의 제3 광감지셀에 각각 대응하며 제3 미소 구조를 갖는 복수의 제3 영역, 및 상기 복수의 제4 광감지셀에 각각 대응하며 제4 미소 구조를 갖는 복수의 제4 영역을 포함하고,
상기 센서 기판은 상기 제1 내지 제4 광감지셀을 포함하는 단위 화소의 어레이를 포함하는 영상 획득 장치. - 제13항에 있어서, 상기 제1 미소 구조 내지 제4 미소 구조는, 상기 색분리 렌즈 어레이에 입사하는 입사광 중에서 서로 다른 제1 파장 내지 제3 파장의 광이 서로 다른 방향으로 분기되어 제1 파장의 광이 상기 제1 광감지셀과 상기 제4 광감지셀에 집광되고, 제2 파장의 광이 상기 제2 광감지셀에 집광되고, 제3 파장의 광이 상기 제3 광감지셀에 집광되는 위상 분포를 상기 제1 영역 내지 상기 제4 영역을 통과한 위치에서 형성하는 영상 획득 장치.
- 제14항에 있어서, 상기 제1 미소 구조 내지 제4 미소 구조는, 상기 색분리 렌즈 어레이를 통과한 직후의 위치에서,
제1 파장의 광이 상기 제1 광감지셀의 중심부와 상기 제4 광감지셀의 중심부에서 2Nπ, 상기 제2 광감지셀의 중심부와 상기 제3 광감지셀의 중심부에서 (2N-1)π의 위상 분포를 형성하며,
제2 파장의 광이 상기 제1 광감지셀의 중심부, 및 상기 제4 광감지셀의 중심부에서 (2M-1)π, 상기 제2 광감지셀의 중심부에서는 2Mπ, 상기 제3 광감지셀의 중심부에서 (2M-2)π보다 크고 (2M-1)π보다 작은 위상 분포를 형성하며,
제3 파장의 광이 상기 제1 광감지셀의 중심부, 및 상기 제4 광감지셀의 중심부에서 (2L-1)π, 상기 제3 광감지셀의 중심부에서는 2Lπ, 상기 제2 광감지셀의 중심부에서 (2L-2)π보다 크고 (2L-1)π보다 작은 위상 분포를 형성하며, 여기서 N, M, 및 L은 0보다 큰 정수인 영상 획득 장치. - 제14항에 있어서, 상기 제1 내지 제4영역의 제1 미소 구조 내지 제4 미소 구조는 복수의 나노포스트를 포함하며, 상기 제1 내지 제4 영역은 상기 나노포스트들의 형상, 크기, 배열 중 적어도 하나가 서로 다른 영상 획득 장치.
- 제16항에 있어서, 상기 이미지 센서는, 적색 화소, 녹색 화소, 청색 화소를 포함하는 단위 화소가 반복 배열된 화소 배열 구조를 가지며,
상기 제1 영역 내지 제4 영역 중에서 녹색 화소에 대응하는 영역에 구비된 나노포스트는 제1 방향 및 제1 방향에 수직한 제2 방향을 따라 서로 다른 분포 규칙을 가지며,
상기 제1 영역 내지 제4 영역 중에서 청색 화소 및 적색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1 방향 및 상기 제2 방향을 따라 대칭적인 분포 규칙을 가지는 영상 획득 장치. - 제13항에 있어서, 상기 복수의 영역의 미소 구조는, 복수의 나노포스트를 포함하며,
상기 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1방향 및 상기 제2방향을 따라 서로 다른 분포 규칙을 가지며,
상기 복수의 영역 중 청색 화소 및 적색 화소에 대응하는 영역에 구비된 나노포스트는 상기 제1방향 및 상기 제2방향을 따라 대칭적인 분포 규칙을 가지는 영상 획득 장치. - 제1항에 있어서, 상기 이미지 센서는,
네 개의 사분 영역(quadrant region)이 각각 청색 화소, 녹색 화소, 적색 화소, 녹색 화소로 구성되는 단위 화소가 제1방향 및 제2방향을 따라 이차원적으로 반복 배열된 베이어 패턴 구조를 가지는 영상 획득 장치. - 제19항에 있어서, 상기 복수의 영역의 미소 구조는, 복수의 나노포스트를 포함하며,
상기 복수의 나노포스트 중, 상기 복수의 영역 중 녹색 화소에 대응하는 영역에 구비된 나노포스트는, 중심부에 배치된 나노포스트가 다른 칼라의 화소에 대응하는 영역에 구비된 나노포스트보다 큰 단면적을 가지며, 주변부에 배치된 나노포스트가 중심부에 배치된 나노포스트보다 단면적이 작은 영상 획득 장치. - 청구항 1항 내지 20항 중 어느 한 항의 영상 획득 장치의 이미지 센서로 칼라별 로우 영상을 얻는 단계;
상기 이미지 센서의 복수의 광감지셀의 센싱 신호에 대해 서브-이미지 도메인에서 블러 현상을 극복하도록 디컨벌루션을 수행하는 단계;
서브-샘플링된 영상을 전체 해상도를 갖는 영상으로 복원하는 디모자이킹을 수행하는 단계;
상기 색분리 렌즈 어레이의 PSF를 이용하여 컬러를 보정하는 단계;를 포함하여,
상기 이미지 센서에서 획득된 칼라별 영상 신호 처리하여 칼라 영상을 형성하는 포함하는 영상 획득 방법. - 제21항에 있어서, 상기 칼라별 로우 영상은 베이어 패턴 배열을 가지는 영상 획득 방법.
- 피사체에 대한 영상 정보를 획득하는 청구항 1항 내지 20항 중 어느 한 항의 영상 획득 장치; 및
상기 영상 획득 장치로부터 제공된 영상 정보에 대해 영상 처리를 수행하는 프로세서;를 포함하는 전자 장치. - 제23항에 있어서, 상기 전자 장치는 스마트 폰(smart phone), 휴대폰, PDA(personal digital assistant), 랩톱(laptop), 태블릿, PC(personal computer) 인, 전자 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149592A KR20220063575A (ko) | 2020-11-10 | 2020-11-10 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
| US17/518,181 US11902712B2 (en) | 2020-11-10 | 2021-11-03 | Apparatus and method of acquiring image by employing color separation lens array |
| CN202111323385.1A CN114466171A (zh) | 2020-11-10 | 2021-11-09 | 通过采用分色透镜阵列获取图像的装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200149592A KR20220063575A (ko) | 2020-11-10 | 2020-11-10 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220063575A true KR20220063575A (ko) | 2022-05-17 |
Family
ID=81405841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200149592A KR20220063575A (ko) | 2020-11-10 | 2020-11-10 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11902712B2 (ko) |
| KR (1) | KR20220063575A (ko) |
| CN (1) | CN114466171A (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11652121B2 (en) * | 2019-11-28 | 2023-05-16 | Samsung Electronics Co., Ltd. | Color separation element and image sensor including the same |
| JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
| US11425304B1 (en) * | 2021-12-06 | 2022-08-23 | Black Sesame Technologies Inc. | Reducing global motion and rolling shutter in a dual camera system |
| CN115314604B (zh) * | 2022-10-12 | 2023-03-24 | 杭州魔点科技有限公司 | 色彩校正矩阵的生成方法、系统、电子装置和存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US8264576B2 (en) | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
| US7724949B2 (en) * | 2004-06-10 | 2010-05-25 | Qualcomm Incorporated | Advanced chroma enhancement |
| KR100637272B1 (ko) | 2004-06-24 | 2006-10-23 | 학교법인연세대학교 | 채널 간 상관관계를 고려한 색상 보간방법 |
| JP4661922B2 (ja) | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
| JP4618355B2 (ja) * | 2008-09-25 | 2011-01-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| KR20130064684A (ko) | 2011-12-08 | 2013-06-18 | 한국전자통신연구원 | 테라헤르츠 연속파 시스템 및 그것의 3차원 영상 획득 방법 |
| JP6083538B2 (ja) * | 2012-11-30 | 2017-02-22 | パナソニックＩｐマネジメント株式会社 | 集光装置、固体撮像素子および撮像装置 |
| FR3013491B1 (fr) | 2013-11-19 | 2016-01-15 | Commissariat Energie Atomique | Determination de la carte de profondeur image d'une scene |
| JP6415093B2 (ja) * | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6342083B2 (ja) * | 2015-09-29 | 2018-06-20 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR101797426B1 (ko) | 2017-01-10 | 2017-11-13 | 주식회사 케이씨씨 | 코팅유리 및 그 제조방법 |
| WO2019083657A2 (en) | 2017-09-22 | 2019-05-02 | Duke University | IMAGING THROUGH SUPPORTS USING ARTIFICIAL STRUCTURE MATERIALS |
| FR3078172B1 (fr) * | 2018-02-22 | 2020-06-05 | Office National D'etudes Et De Recherches Aerospatiales | Dispositif d'imagerie et d'information spectroscopique |
| US11640645B2 (en) | 2019-10-25 | 2023-05-02 | Samsung Electronics Co., Ltd. | Apparatus and method of acquiring image by employing color separation lens array |
| KR20210049670A (ko) | 2019-10-25 | 2021-05-06 | 삼성전자주식회사 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
-
2020
- 2020-11-10 KR KR1020200149592A patent/KR20220063575A/ko unknown
-
2021
- 2021-11-03 US US17/518,181 patent/US11902712B2/en active Active
- 2021-11-09 CN CN202111323385.1A patent/CN114466171A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114466171A (zh) | 2022-05-10 |
| US20220150453A1 (en) | 2022-05-12 |
| US11902712B2 (en) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11935148B2 (en) | Apparatus and method of acquiring image by employing color separation lens array | |
| US10015416B2 (en) | Imaging systems with high dynamic range and phase detection pixels | |
| KR20220063575A (ko) | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 | |
| US10044959B2 (en) | Mask-less phase detection autofocus | |
| TWI388877B (zh) | 具有第一及第二透鏡陣列的成像設備 | |
| JP7290159B2 (ja) | 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム | |
| US9124815B2 (en) | Capturing and processing of images including occlusions captured by arrays of luma and chroma cameras | |
| CN112701133A (zh) | 图像传感器和包括图像传感器的电子设备 | |
| US10397465B2 (en) | Extended or full-density phase-detection autofocus control | |
| US8013928B2 (en) | Image pickup device and camera module using the same | |
| KR20210049670A (ko) | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 | |
| TWI676392B (zh) | 複眼攝像裝置 | |
| US9202833B2 (en) | Imaging systems with baffle grids | |
| US20110317048A1 (en) | Image sensor with dual layer photodiode structure | |
| CN110959285B (zh) | 成像系统、成像方法和非瞬时性机器可读存储介质 | |
| CN112928130B (zh) | 具有共用微透镜和偏振像素的图像传感器 | |
| JP2021069118A (ja) | 色分離レンズアレイを具備するイメージセンサ、及びそれを含む電子装置 | |
| JP2008011532A (ja) | イメージ復元方法及び装置 | |
| JP2021067691A (ja) | 色分離レンズアレイを具備するイメージセンサ、撮像装置、及びそれを含む電子装置 | |
| CN114447007A (zh) | 包括分色透镜阵列的图像传感器和包括该图像传感器的电子设备 | |
| US20240137474A1 (en) | Apparatus and method of acquiring image by employing color separation lens array | |
| US20240080577A1 (en) | Image acquisition apparatus and method using color separation lens array | |
| US11696041B2 (en) | Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus | |
| JP2024035827A (ja) | イメージセンサ及びそれを含む電子装置 |