KR102348760B1 - 이미지 센서 및 그에 따른 신호 처리 방법 - Google Patents
이미지 센서 및 그에 따른 신호 처리 방법 Download PDFInfo
- Publication number
- KR102348760B1 KR102348760B1 KR1020150105135A KR20150105135A KR102348760B1 KR 102348760 B1 KR102348760 B1 KR 102348760B1 KR 1020150105135 A KR1020150105135 A KR 1020150105135A KR 20150105135 A KR20150105135 A KR 20150105135A KR 102348760 B1 KR102348760 B1 KR 102348760B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- color
- signal
- filter
- region
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 101
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 22
- 238000002156 mixing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000001413 cellular effect Effects 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 8
- 238000007667 floating Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H04N5/374—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H04N5/3745—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 발명의 다양한 실시예들은 이미지 센서 장치 및 그에 따른 신호 처리 방법에 관한 것으로, 이미지 센서는 복수의 픽셀들을 포함하며, 상기 복수의 픽셀들 중 적어도 하나의 픽셀은, 마이크로 렌즈와, 상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역 및 상기 투과된 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터와, 상기 제 1 색상 신호를 전기적인 신호로 변환하기 위한 제 1 포토다이오드와 상기 제 2 색상 신호를 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함할 수 있다.
Description
본 발명의 다양한 실시예는 이미지 센서에 관한 것으로, 예컨대, 이미지 센서의 구조 및 그에 따른 신호 처리 방법에 관한 것이다.
이미지 센서(image sensor)는 광학 영상을 전기 신호로 변환시키는 소자이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, PCS(Personal Communication System), 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로보트 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
이미지 센서는 컬러 필터를 포함할 수 있다. 이미지 센서는 컬러 필터를 통해 특정한 파장에 대응하는 광을 감지할 수 있다. 예를 들면, 이미지 센서는 적색 필터를 통해 적색 파장에 대응하는 광을 감지할 수 있다. 또한, 이미지 센서는 청색 필터를 통해 청색 파장에 대응하는 광을 감지할 수 있다.
이미지 센서의 하나의 픽셀은 마이크로 렌즈, 하나의 컬러 필터 및 상기 컬러 필터에 대응되는 포토다이오드를 포함할 수 있다. 이에 따라, 마이크로 센서를 통과한 광은 컬러 필터를 통해 특정한 파장을 가지는 광으로 변환된 후 포토다이오드로 전달될 수 있다. 이러한 과정을 통해, 특정한 파장 외의 다른 파장을 가지는 광은 컬러 필터를 통해 차단되어 포토다이오드로 전달되지 않을 수 있다. 이에 따라, 포토다이오드가 광의 감도를 일정 부분 손해 볼 수 있다.
본 발명의 다양한 실시예는 다양한 파장의 광(빛)을 수용할 수 있는 이미지 센서의 픽셀 구조를 제공할 수 있다.
본 발명의 다양한 실시예는 촬영 배경이 저조도인 경우에 선명한 이미지를 제공할 수 있는 이미지 센서의 픽셀 구조를 제공할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 이미지 센서는, 복수의 픽셀들을 포함하며, 상기 복수의 픽셀들 중 적어도 하나의 픽셀은, 마이크로 렌즈와, 상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역과 상기 투과된 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터와, 상기 제 1 색상 신호를 전기적인 신호로 변환하기 위한 제 1 포토다이오드 및 상기 제 2 색상 신호를 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 전자 장치는, 복수의 픽셀들을 포함하는 이미지 센서와 상기 이미지 센서와 기능적으로 연결된 프로세서를 포함하며, 상기 복수의 픽셀들 중 적어도 하나의 픽셀은, 마이크로 렌즈와, 상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역과 상기 투과된 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터와, 상기 제 1 색상 신호를 전기적인 신호로 변환하기 위한 제 1 포토다이오드와 상기 제 2 색상 신호를 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함하고, 상기 프로세서는, 상기 전기적 신호로 변환된 제 1 및 제 2 색상 신호들을 기반으로 하여 밝기 및 컬러 정보를 생성하고, 상기 밝기 및 컬러 정보에 대응하는 이미지를 출력할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 신호를 처리하는 방법은, 이미지 센서에 포함된 적어도 하나의 픽셀에 포함된 하나의 마이크로 렌즈를 통해 광 신호를 수신하는 동작, 제 1 영역 및 제 2 영역을 포함하는 필터를 통해 상기 광 신호를 백색 신호 및 컬러 신호로 필터링하는 동작, 복수의 포토다이오드들을 통해 상기 백색 신호 및 상기 컬러 신호를 전기적인 신호로 변환하는 동작, 및 상기 전기적 신호를 기반으로 결정된 밝기 정보 및 컬러 정보에 대응되는 이미지를 디스플레이를 통해 출력하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 이미지 센서 및 그에 따른 신호 처리 방법은, 예를 들면, 이미지 센서가 다양한 파장의 광을 수용함으로써 광의 감도의 손해를 줄일 수 있다.
본 발명의 다양한 실시예에 따른 이미지 센서 및 그에 따른 신호 처리 방법은, 예를 들면, 이미지 센서가 거의 모든 파장의 광을 수용함으로써 촬영 배경이 저조도인 경우에도 선명한 이미지를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치의 블록 구성도이다.
도 2a는 본 발명의 실시예에 따른 전자 장치의 전면도이다.
도 2b는 본 발명의 실시예에 따른 전자 장치의 절단면을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 이미지 센서의 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 색상 별 민감도 비율을 나타내는 그래프이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 9는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 10은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 11은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 12는 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 13은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 14는 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 15는 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 16은 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 17은 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 18a 및 18b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 회로도이다.
도 19는 본 발명의 실시예에 따른 픽셀에 포함된 복수의 포토다이오드들의 신호 세기를 나타내는 그래프이다.
도 20은 본 발명의 실시예에 따른 전자 장치에서 카메라 모듈의 초점을 맞추는 흐름도이다.
도 21은 본 발명의 실시예에 따른 전자 장치에서 카메라 모듈의 초점을 맞추는 흐름도이다.
도 22는 본 발명의 실시예에 따른 전자 장치에서 이미지를 저장하는 흐름도이다.
도 2a는 본 발명의 실시예에 따른 전자 장치의 전면도이다.
도 2b는 본 발명의 실시예에 따른 전자 장치의 절단면을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 이미지 센서의 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 색상 별 민감도 비율을 나타내는 그래프이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 9는 본 발명의 실시예에 따른 이미지 센서의 픽셀 구조이다.
도 10은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 11은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 12는 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 13은 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 14는 본 발명의 실시예에 따른 이미지 센서의 구체적인 픽셀 구조이다.
도 15는 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 16은 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 17은 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다.
도 18a 및 18b는 본 발명의 실시예에 따른 이미지 센서의 픽셀 회로도이다.
도 19는 본 발명의 실시예에 따른 픽셀에 포함된 복수의 포토다이오드들의 신호 세기를 나타내는 그래프이다.
도 20은 본 발명의 실시예에 따른 전자 장치에서 카메라 모듈의 초점을 맞추는 흐름도이다.
도 21은 본 발명의 실시예에 따른 전자 장치에서 카메라 모듈의 초점을 맞추는 흐름도이다.
도 22는 본 발명의 실시예에 따른 전자 장치에서 이미지를 저장하는 흐름도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예들에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치의 블록 구성도이다.
도 1을 참조하면, 전자 장치(101)는, 하나 이상의 프로세서(예를 들면, 애플리케이션 프로세서(Application Processor, 이하 'AP'라 한다))(110), 통신 모듈(120), 가입자 식별 모듈(124), 메모리(130), 센서 모듈(140), 입력 장치(150), 디스플레이(160), 인터페이스(170), 오디오 모듈(180), 카메라 모듈(191), 전력 관리 모듈(195), 배터리(196), 인디케이터(197), 및 모터(198)를 포함할 수 있다.
프로세서(110)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(110)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는, 예를 들면, 시스템 온 칩(System on Chip, 이하 'SoC'라 한다)으로 구현될 수 있다. 한 실시예에 따르면, 프로세서(110)는 영상 처리부(Graphic Processing Unit, 이하 'GPU'라 한다) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(110)는 도 1에 도시된 구성요소들 중 적어도 일부(예를 들면, 셀룰러 모듈(198))을 포함할 수도 있다. 프로세서(110)는 다른 구성요소들(예를 들면, 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다. 한 실시예에 따르면, 프로세서(110)는 제어부라고 불릴 수도 있다.
한 실시예에 따르면, 프로세서(110)는 카메라 모듈(191)에 포함된 이미지 센서(미도시)로부터 색 정보를 수신할 수 있다. 예를 들면, 색 정보는 밝기 정보와 원색 정보(primary color information)(또는, 컬러 정보)를 포함할 수 있다. 예를 들면, 밝기 정보는 이미지 센서(미도시)의 광 필터의 투명 필터 영역을 통해 필터링된 광에 대한 정보일 수 있다.
한 실시예에 따르면, 그 후에, 프로세서(110)는 수신된 색 정보를 YUV 신호로 변환하고, YUV 신호를 메모리(130)에 저장하거나 YUV 신호를 RGB 신호로 변환하여 디스플레이(160) 상에 표시할 수 있다.
다른 실시예에 따르면, 프로세서(110)는 이미지 센서(미도시)로부터 밝기 정보를 수신할 수 있다. 예를 들면, 프로세서(110)는 밝기 정보를 이용하여 광의 위상차를 검출하고, 검출된 위상차를 기반으로 카메라 모듈(191)의 초점을 맞추기 위해 카메라 모듈(191)의 렌즈를 이동시킬 수 있다.
통신 모듈(120)은, 예를 들면, 셀룰러 모듈(198), 와이파이(WiFi) 모듈(123), 블루투스 모듈(125), 전세계 항법 위성 시스템(Global Navigation Satellite System, 이하 'GNSS'라 한다) 모듈(127)(예를 들면, 전세계 위치 파악 시스템(Global Positioning System, 이하 'GPS'라 한다) 모듈, 글로나스(Glonass) 모듈, 베이더우(Beidou) 모듈, 또는 갈릴레오(Galileo) 모듈), 근접 통신(Near Field Communication, 이하 'NFC'라 한다) 모듈(128) 및 RF(radio frequency) 모듈(129)을 포함할 수 있다.
셀룰러 모듈(198)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(198)은 가입자 식별 모듈(Subscriber Identification Module, 이하 ?SIM?이또磯?)(124)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(198)은 프로세서(110)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(198)은 커뮤니케이션 프로세서(Communication Processor, 이하 'CP'라 한다)를 포함할 수 있다.
WiFi 모듈(123), 블루투스 모듈(125), GNSS 모듈(127) 또는 NFC 모듈(128) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈1221), WiFi 모듈(123), 블루투스 모듈(125), GNSS 모듈(127) 또는 NFC 모듈(128) 중 적어도 일부(예를 들면, 두 개 이상)는 하나의 집적 회로(Integrated Chip, 이하 'IC'라 한다) 또는 IC 패키지(package) 내에 포함될 수 있다.
RF 모듈(129)은, 예를 들면, 통신 신호(예를 들면, RF 신호)를 송수신할 수 있다. RF 모듈(129)은, 예를 들면, 트랜스시버(transceiver), 전력 앰프 모듈(Power Amp Module, 이하 'PAM"이라 한다), 주파수 필터(frequency filter), 저잡음 증폭기(Low Noise Amplifier, 이하 'LNA'라 한다), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(198), WiFi 모듈(123), 블루투스 모듈(125), GNSS 모듈(127) 또는 NFC 모듈(128) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(124)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예를 들면, 집적 회로 카드 식별자(Integrated Circuit Card IDentifier, 이하 'ICCID'라 한다) 또는 가입자 정보(예를 들면, 국제 이동 가입자 식별(International Mobile Subscriber Identity, 이하 'IMSI'라 한다)를 포함할 수 있다.
메모리(130)는, 예를 들면, 내장 메모리(132) 또는 외장 메모리(134)를 포함할 수 있다. 내장 메모리(132)는, 예를 들면, 휘발성 메모리(예를 들면, 동적 램(Dynamic Random Access Memory, 이하 'DRAM"이라 한다), 정적 램(Static RAM, 이하 'SRAM'이라 한다), 또는 동기 동적 램(Synchronous Dynamic RAM, 이하 'SDRAM'이라 한다) 등), 비휘발성 메모리(non-volatile Memory)(예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예를 들면, 낸드 플래시(NAND flash) 또는 노어 플래시(NOR flash) 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(134)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(134)는 다양한 인터페이스를 통하여 전자 장치(101)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(140)은, 예를 들면, 물리량을 계측하거나 전자 장치(101)의 작동 상태를 감지하여 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(140)은, 예를 들면, 제스처 센서(140A), 자이로 센서(140B), 기압 센서(140C), 마그네틱 센서(140D), 가속도 센서(140E), 그립 센서(140F), 근접 센서(140G), 컬러(color) 센서(140H)(예: RGB(red, green, blue) 센서), 생체 센서(140I), 온/습도 센서(140J), 조도 센서(140K), UV(ultra violet) 센서(140M) 또는 광 센서(미도시) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈(140)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(140)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는 프로세서(110)의 일부로서 또는 별도로, 센서 모듈(140)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(110)가 슬립(sleep) 상태에 있는 동안에 센서 모듈(140)을 제어할 수 있다.
입력 장치(150)는, 예를 들면, 터치 패널(touch panel)(152), (디지털) 펜 센서(pen sensor)(154), 키(key)(156), 또는 초음파(ultrasonic) 입력 장치(158)를 포함할 수 있다. 터치 패널(152)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(152)은 제어 회로를 더 포함할 수도 있다. 터치 패널(152)은 택타일 레이어(tactile layer)를 더 포함하여 사용자에게 촉각 반응을 제공할 수 있다. 예를 들면, 입력부(150)는 사용자로부터 온도 측정 명령을 수신하여 프로세서 (110)로 전달할 수 있다.
(디지털) 펜 센서(154)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(156)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(158)는 마이크(188)를 통해 입력 도구에서 발생된 초음파를 감지하여 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(160)는 패널(162), 홀로그램 장치(164), 또는 프로젝터(166)를 포함할 수 있다. 패널(162)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(162)은 터치 패널(152)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(164)는 광(빛)의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(166)는 스크린에 광(빛)을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(101)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 디스플레이(160)는 패널(162), 홀로그램 장치(164), 또는 프로젝터(166)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(170)는, 예를 들면, HDMI(high-definition multimedia interface)(172), USB(universal serial bus)(174), 광 인터페이스(optical interface)(176), 또는 D-sub(D-subminiature)(178)를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스(170)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(180)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(180)은, 예를 들면, 스피커(182), 리시버(184), 이어폰(186), 또는 마이크(188) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(191)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 신호 처리부(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(195)은, 예를 들면, 전자 장치(101)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(195)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(196)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(196)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(197)는 전자 장치(101) 또는 그 일부(예를 들면, 프로세서(110))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(198)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(101)는 모바일 TV 지원을 위한 처리 장치(예를 들면, GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 2a는 본 발명의 실시예에 따른 전자 장치의 전면도이다.
도 2a를 참조하면, 한 실시예에 따르면, 전자 장치(200)는 전면 카메라 모듈(201)과 후면 카메라 모듈(203)과 디스플레이(205)를 포함할 수 있다.
한 실시예에 따르면, 전면 카메라 모듈(201)은 전자 장치(200)의 전면에 구비되며, 전자 장치(200)의 전면에 위치하는 피사체에 대한 정지 영상 및 동영상을 촬영할 수 있다. 후면 카메라 모듈(203)은 전자 장치(200)의 후면에 구비되며, 전자 장치(200)의 후면에 위치하는 피사체에 대한 정지 영상 또는 동영상을 촬영할 수 있다.
한 실시예에 따르면, 디스플레이(205)는 프로세서(110)의 제어에 따라 정지 영상 또는 동영상을 출력할 수 있다. 예를 들면, 디스플레이(205)는 프리뷰(preview) 화면으로 전면 카메라 모듈(201) 또는 후면 카메라 모듈(203)로부터 입력된 동영상을 출력할 수 있다.
도 2b는 본 발명의 실시예에 따른 전자 장치의 절단면을 도시한 도면이다. 한 실시예에 따르면, 도 2b는 도 2a에서 2-2축을 기준으로 절단된 면을 도시한 도면이 될 수 있다.
도 2b를 참조하면, 한 실시예에 따르면, 전자 장치(200)는 프론트 커버(front cover)(211)(예를 들면, 유리)와 불투명한 레이어(215)와 전면 카메라 모듈(230)과 회로 보드(235)와 리어 커버(rear cover)를 포함할 수 있다. 한 실시예에 따르면, 프론트 커버(211)는 오프닝(opening)(213)을 포함할 수 있다. 예를 들면, 오프닝(213)은 광을 수신하는 영역일 수 있다.
한 실시예에 따르면, 전면 카메라 모듈(230)은 하나 이상의 렌즈(231)와 이미지 센서(image sensor)(233)를 포함할 수 있다. 한 실시예에 따르면, 오프닝(213)을 통해 입력된 광은 하나 이상의 렌즈(231)를 통하여 이미지 센서(233)로 입력될 수 있다. 이미지 센서(233)는 입력된 광(예: 백색 신호 또는 컬러 신호)을 전기적 신호로 변환할 수 있다.
도 3은 본 발명의 실시예에 따른 이미지 센서의 블록 구성도이다.
도 3을 참조하면, 한 실시예에 따르면, 이미지 센서(301)는 복수의 픽셀들을 포함하는 픽셀 구조(303)와 수직 스캐닝부(vertical scanning circuit)(311)와 수평 스캐닝부(horizontal scanning circuit)(313)와 판독부(315)를 포함할 수 있다.
한 실시예에 따르면, 픽셀 구조(303)에 포함된 하나의 픽셀(305)은 하나의 마이크로 렌즈와 필터와 복수의 포토다이오드들(307, 309)를 포함할 수 있다. 예를 들면, 필터는 백색 필터 영역과 컬러 필터 영역을 포함할 수 있다. 한 실시예에 따르면, 수직 스캐닝부(311)과 수평 스캐닝부(313)는 프로세서(110) 또는 이미지 신호 처리부(미도시)의 제어에 따라 복수의 포토다이오드들의 신호들(예: 백색 신호 또는 컬러 신호)을 검출할 수 있다. 한 실시예에 따르면, 판독부(315)는 검출된 신호들을 읽어 들일 수 있다.
도 4는 본 발명의 실시예에 따른 카메라 모듈의 블록 구성도이다. 도 5는 본 발명의 실시예에 따른 색상별 민감도 비율을 나타내는 그래프이다.
도 4를 참조하면, 한 실시예에 따르면, 카메라 모듈(예: 카메라 모듈(191))은 이미지 센서(401)와 전처리부(pre-processor)(403)와 이미지 신호 처리부(405)를 포함한다. 각 구성 요소를 살펴보면, 한 실시예에 따르면, 이미지 센서(401)는 카메라 모듈의 렌즈(예를 들면, 렌즈(231)를 통해 들어온 광(예: 백색 신호 또는 컬러 신호)을 전기적 신호로 변환할 수 있다. 예를 들면, 이미지 센서(401)는 전처리부(403)로 RGBW 신호를 전송할 수 있다. 예를 들면, RGBW 신호(예: 백색 신호 또는 컬러 신호)는, 광 필터에 포함된 백색 필터 영역에 대응되는 제 1 다이오드, 적색 필터 영역에 대응되는 제 2 다이오드, 녹색 필터 영역에 대응되는 제 3 다이오드 및 청색 필터 영역에 대응되는 제 4 다이오드로부터 출력된 신호를 의미할 수 있다.
한 실시예에 따르면, 전처리부(403)는 독립된 하나의 IC 칩으로 구성되거나 이미지 센서(401)와 이미지 신호 처리부(405) 중 적어도 하나에 포함될 수 있다. 전처리부(403)는, 예를 들면, 불량 화소 보정(Bad Pixel Correction, 이하 'BPC'라 한다), 또는 복원(Reconstruction) 등의 기능을 수행할 수 있다. 한 실시예에 따르면, 전처리부(403)는 이미지 센서(401)로부터 디지털 신호를 수신, 수신된 디지털 신호를 YUV 신호로 변환, 또는 YUV 신호를 이미지 신호 처리부(405)로 전송할 수 있다.
한 실시예에 따르면, 전처리부(403)는 RGBW 신호를 수신하고, 수신된 RGBW 신호를 YUV 신호로 변환할 수 있다. 예를 들면, 전처리부(403)는 RGBW 신호에 포함된 T 또는 W 성분을 이용하여 YUV 신호를 생성할 수 있다.
YUV 신호는, 예를 들면, 백색 필터 영역과 원색 필터 영역의 민감도에 영향을 받을 수 있다.
도 5를 기반으로, 백색 필터와 원색 필터들의 민감도 비율을 설명하고자 한다.
광 필터는, 예를 들면, 투명 필터 영역(T or W), 적색 필터 영역(R), 녹색 필터 영역(G), 청색 필터 영역(B) 또는 다른 색의 광(빛)을 투과하거나 차단하는 컬러 필터 영역을 포함할 수 있다. 이러한 컬러 필터 영역들은 입사된 광의 파장에 따라 서로 다른 투과율을 가지므로, 광(빛)의 민감도 비율(또는 노출량 비율)도 서로 다를 수 있다.
그래프(501)는 컬러 필터들의 민감도 비율을 도시한 것이다. 그래프(501)에 따르면, 예를 들면, 백색 필터 영역(T or W)은 적색 필터 영역(R), 녹색 필터 영역(G) 및 청색 필터 영역(B)과 비교할 때 노출량 비율이 높을 수 있다. 그리고 적색 필터 영역(R), 녹색 필터 영역(G)과 청색 필터 영역(B)의 노출량 비율은 서로 유사할 수 있다. 또한, 적색 필터 영역(R), 녹색 필터 영역(G) 및 청색 필터 영역(B)과 비교할 때 더 넓은 광의 파장(503)이 백색 필터 영역(T or W)을 통해 투과될 수 있다. 또한, 거의 유사한 범위의 광의 파장들(505, 507, 509)이 적색 필터 영역(R), 녹색 필터 영역(G), 청색 필터 영역(B)을 통해 투과될 수 있다.
따라서, 동일 노출 시간 동안에 백색 필터 영역(T or W)에 대응되게 배치되는 포토다이오드가 원색 필터 영역에 대응되게 배치되는 포토다이오드보다 광(빛)의 노출량이 높을 수 있다. 그리고 광이 픽셀에 입사되면, 백색 필터 영역(T or W)에 대응되게 배치되는 포토다이오드가 원색의 컬러 필터 영역에 대응되게 배치되는 포토다이오드보다 다양한 파장 대의 광(빛)을 받아들일 수 있다. 이에 따라, 백색 필터 영역에 대응되게 배치되는 포토다이오드가 원색의 컬러 필터 영역에 대응되게 배치되는 포토다이오드보다 광(빛)의 밝기에 민감하게 반응할 수 있다. 그러므로, RGBW 신호에 포함된 T 또는 W 성분을 이용하여 YUV 신호를 생성하는 경우, 전처리부(403)는 감도가 높은 이미지를 생성할 수 있다.
도 4를 참조하면, 전처리부(403)는 RGBW 신호를 수신하고, 수신된 RGBW 신호를 YUV 신호로 변환할 수 있다. 예를 들면, 전처리부(403)는 R, G, B 신호들 중 적어도 한 신호의 값과 W 신호의 값을 기반으로 휘도 신호(Y)의 값을 계산하며, B 신호의 값과 계산된 Y 신호의 값을 기반으로 색차 신호(U)의 값을 계산하고, R 신호의 값과 계산된 Y 신호의 값을 기반으로 색차 신호(V)의 값을 계산할 수 있다.
다른 예로, 전처리부(403)는 W 신호의 값만을 이용하여 휘도 신호(Y)의 값을 계산할 수 있다. 또 다른 예로, 전처리부(403)는 W 신호의 값만을 이용하여 제1휘도 신호(Y1)의 값을 계산하고, R, G, B 신호들 중 적어도 한 신호의 값을 이용하여 제2휘도 신호(Y2)의 값을 계산하고, Y1과 Y2를 더함으로써 휘도 신호(Y)를 계산할 수 있다.
또 다른 예로, 전처리부(403)는 외부 환경의 조도에 따라 R, G, B 신호들 중 적어도 한 신호의 값과 W 신호의 값 간의 혼합 비율을 변경하여 휘도 신호(Y)의 값을 계산할 수 있다. 예를 들면, 외부 환경의 조도가 미리 지정된 기준 조도 미만인 경우, 전처리부(403)는 외부 환경이 저조도라고 결정하고, W 신호의 값만을 이용하여 휘도 신호(Y)의 값을 계산하거나 R, G, B 신호들 중 적어도 한 신호의 값보다 W 신호의 값에 대한 혼합비율을 높임으로써 휘도 신호(Y)의 값을 계산할 수 있다. 여기서, 기준 조도는 외부 환경이 저조도일 때 실험적으로 측정된 조도를 나타낼 수 있다. 그리고 전처리부(403)는 B 신호의 값과 계산된 Y 신호의 값을 기반으로 색차 신호(U)의 값을 계산하고, R 신호의 값과 계산된 Y 신호의 값을 기반으로 색차 신호(V)의 값을 계산할 수 있다.
다른 예로, 외부 환경이 기준 조도 이상인 경우, 전처리부(403)는 외부 환경이 충분히 밝다고 결정하고, R, G, B 신호들 중 적어도 한 신호의 값만을 이용하여 휘도 신호(Y)의 값을 계산하거나 W 신호의 값보다 R, G, B 신호들 중 적어도 한 신호의 값에 대한 혼합비율을 높임으로써 휘도 신호(Y)의 값을 계산할 수 있다.
한 실시예에 따르면, 전처리부(403)는 하나의 픽셀에 포함된 복수의 다이오드들로부터 출력된 복수의 W 성분들 간의 차이를 기반으로 광의 위상차 정보를 생성하고, 위상차 정보를 기반으로 카메라 모듈(예: 카메라 모듈(191))의 렌즈를 이동하여 초점을 맞출 수 있도록 위상차 정보를 카메라 모듈을 제어하는 프로세서(예: 프로세서(110)) 또는 이미지 신호 처리부(405)로 전송할 수 있다. 한 실시예에 따르면, 전처리부(403)는 프레임 단위로 위상차 정보를 처리함으로써 프레임에 포함된 이미지의 입체 정보를 생성하고, 생성된 이미지 입체 정보를 이미지 신호 처리부(405)로 전송할 수 있다.
한 실시예에 따르면, 이미지 신호 처리부(405)는 프레임 단위로 YUV 신호를 수신하고, 수신된 YUV 신호를 메모리(예: 메모리(130))에 저장하거나 YUV 신호를 RGB 신호로 변환하여 디스플레이(예: 디스플레이(160)) 상에 표시할 수 있다. 한 실시예에 따르면, 이미지 신호 처리부(405)는 위상차 정보를 수신하고, 수신된 위상차 정보를 기반으로 카메라 모듈의 렌즈를 이동시킴으로써 카메라 모듈의 초점을 맞출 수 있다. 한 실시예에 따르면, 이미지 신호 처리부(405)는 이미지 입체 정보를 수신하고, 수신된 입체 정보를 기반으로 해당 프레임의 3차원 이미지를 생성하여 디스플레이 상에 출력하거나 메모리에 저장할 수 있다.
도 6a 내지 도 9는 본 발명의 다양한 실시예에 따른 이미지 센서의 픽셀 구조이다. 도 6a 내지 도 9를 기반으로 이미지 센서의 픽셀 구조를 설명하고자 한다.
한 실시예에 따르면, 픽셀 구조는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 하나의 마이크로 렌즈와 광 필터와 복수의 포토다이오드들을 포함할 수 있다.
광 필터는, 예를 들면, 광을 투과(transmission), 반사(reflection), 분할(split), 추출(extraction), 또는 제거(isolation), 분리(separation) 등을 수행하여 광의 특성을 제어하는 광 소자가 될 수 있다. 광 필터는, 예를 들면, 백색광 또는 여러 가지 파장이 혼합된 광에서 특정한 파장의 성분을 추출(또는 제거)하는 광학 소자가 될 수 있다. 한 실시예에 따르면, 광 필터는 컬러 필터 영역을 포함할 수 있다. 컬러 필터 영역은 자연광(혼합 광)에서 특정 색상의 광만을 투과시키는 색상을 가질 수 있다. 광 필터는, 예를 들면, 적색(R) 필터, 녹색(G) 필터, 또는 청색(B) 필터 영역을 포함할 수 있다. 한 실시예에 따르면, 광 필터는 투명 필터 영역 또는 컬러 필터 영역을 포함할 수 있다. 투명 필터 영역은, 예를 들면, 무색(transparent)에 가까운 색상을 가질 수 있다. 다른 예로, 투명 필터 영역은 투명도가 90% 이상인 색상을 가질 수 있다. 한 실시예에 따르면, 필터는 투명 필터(또는 백색 필터) 영역과 R, G, B 중 적어도 하나의 컬러를 가지는 컬러 필터 영역을 모두 포함할 수 있다.
한 실시예에 따르면, 픽셀 구조는 픽셀 당 하나의 마이크로 렌즈를 가지며, 광 필터의 구조와 포토다이오드의 개수는 픽셀 구조에 따라 다를 수 있다. 한 실시예에 따르면, 도 6a 및 도 6b와 같이, 픽셀 구조(601, 611)를 구성하는 하나의 픽셀(603, 613)은 하나의 마이크로 렌즈(605, 615)와, 하나의 투명 필터 영역(607, 617)과 하나의 컬러 필터 영역(609, 619)을 포함하는 광 필터와, 적어도 두 개 이상의 다이오드들(미도시)을 포함할 수 있다.
한 픽셀 내에서 투명 필터 영역과 컬러 필터 영역은, 예를 들면, 서로 겹쳐지지 않으면서, 여러 가지 형태를 가질 수 있다. 한 실시예에 따르면, 투명 필터 영역이 컬러 필터 영역의 전체 또는 일부를 둘러쌀 수 있다. 예를 들면, 도 6a와 같이, 투명 필터 영역(607)이 컬러 필터 영역(609) 전체를 둘러쌀 수 있도록, 컬러 필터 영역(609)이 한 픽셀(603)의 중심을 기준으로 일정 크기만큼 차지하고, 투명 필터 영역(607)이 나머지 영역을 자치할 수 있다.
도 6b를 참조하면, 픽셀(613)에 포함된 컬러 필터 영역(617)이 투명 필터 영역(619)의 적어도 일부 영역(또는, 전체 영역)을 둘러쌀 수 있다.
한 실시예에 따르면, 도 7a와 같이, 픽셀 구조(701, 721)를 구성하는 하나의 픽셀(703, 723)은 하나의 마이크로 렌즈(705, 725)와, 두 개 이상의 투명 필터 영역(707, 709, 727, 729)과 컬러 필터 영역(711, 731)을 포함하는 광 필터와, 적어도 세 개 이상의 다이오드들(미도시)을 포함할 수 있다.
한 실시예에 따르면, 도 7a와 같이, 컬러 필터 영역(711)이 한 픽셀(703)의 중심을 기준으로 일정 크기만큼 차지하고, 두 개의 투명 필터 영역들(707, 709)이 컬러 필터 영역(711)을 기준으로 좌/우 영역들을 차지할 수 있다. 예를 들면, 픽셀(703)은 제1 투명 필터 영역(707)과 제2 투명 필터 영역(709)을 포함하는 광 필터를 포함할 수 있다. 제1 투명 필터 영역(707)은 픽셀(703)의 좌측에 위치하고, 제 2 투명 필터 영역(709)은 픽셀(703)의 우측에 위치할 수 있다. 제1 투명 필터 영역(707)과 제2 투명 필터 영역(709)은 픽셀(703)에 포함된 컬러 필터 영역(711)의 적어도 일부 영역(또는, 전체 영역)을 둘러쌀 수 있다.
한 실시예에 따르면, 컬러 필터 영역(731)이 한 픽셀(723)의 중심을 기준으로 일정 크기만큼 차지하고, 두 개의 투명 필터 영역들(727, 729)이 컬러 필터 영역(731)을 기준으로 상/하 영역들을 차지할 수 있다. 예를 들면, 픽셀(723)은 제1 투명 필터 영역(727)과 제2 투명 필터 영역(729)을 포함하는 광 필터를 포함할 수 있다. 제1 투명 필터 영역(727)은 픽셀(723)의 상단에 위치하고, 제2 투명 필터 영역(729)은 픽셀(723)의 하단에 위치할 수 있다. 제1 투명 필터 영역(727)과 제2 투명 필터 영역(729)은 픽셀(723)에 포함된 컬러 필터 영역(731)의 적어도 일부 영역(또는, 전체 영역)을 둘러쌀 수 있다.
한 실시예에 따르면, 도 7b와 같이, 픽셀 구조(741, 761)를 구성하는 하나의 픽셀(743, 763)은 하나의 마이크로 렌즈(745, 765)와, 두 개 이상의 투명 필터 영역(747, 749, 765, 769)과 하나 이상의 컬러 필터 영역(751, 771)을 포함하는 광 필터와, 세 개의 다이오드들(미도시)을 포함할 수 있다.
한 실시예에 따르면, 두 개의 투명 필터 영역들(747, 749)이 컬러 필터 영역(751) 일부를 둘러쌀 수 있도록, 컬러 필터 영역(751)이, 한 픽셀(743)이 수직으로 삼 등분되어 생성된 세 영역들 중에서 가운데 영역을 차지하고, 투명 필터 영역들(743, 749)이 나머지 좌/우 영역들을 차지할 수 있다. 예를 들면, 픽셀(743)은 제1 투명 필터 영역(747)과 제2 투명 필터 영역(749)를 포함하는 광 필터를 포함할 수 있다. 제1 투명 필터 영역(747)은 픽셀(743)의 좌측에 위치하고, 제2 투명 필터 영역(749)은 픽셀(743)의 우측에 위치할 수 있다. 픽셀(743)에 포함된 컬러 필터 영역(751)은 제1 및 제2 투명 필터 영역(747, 749)의 중간에 위치할 수 있다.
한 실시예에 따르면, 컬러 필터 영역(771)이, 한 픽셀(763)이 수평으로 삼 등분되어 생성된 세 영역들 중에서 가운데 영역을 차지하고, 투명 필터 영역들(767, 769)이 나머지 상/하 영역들을 차지할 수 있다. 예를 들면, 픽셀(763)은 제1 투명 필터 영역(767)과 제2 투명 필터 영역(769)를 포함하는 광 필터를 포함할 수 있다. 제1 투명 필터 영역(767)은 픽셀(763)의 상단에 위치하고, 제2 투명 필터 영역(769)은 픽셀(763)의 하단에 위치할 수 있다. 픽셀(763)에 포함된 컬러 필터 영역(771)은 제1 및 제2 투명 필터 영역(767, 769)의 중간에 위치할 수 있다.
한 실시예에 따르면, 도 8a의 픽셀 구조(801)를 참조하면, 픽셀 구조(801)를 구성하는 하나의 픽셀(803)은 하나의 마이크로 렌즈(805)와, 세 개 이상의 투명 필터 영역(807, 809, 811)과 하나 이상의 컬러 필터 영역(813)을 포함하는 광 필터와, 네 개 이상의 다이오드들(미도시)을 포함할 수 있다. 한 실시예에 따르면, 컬러 필터 영역(813)이, 한 픽셀(801)이 네 등분되어 생성된 네 영역들 중에서 한 영역을 차지하고, 투명 필터 영역들(807, 809, 811)이 나머지 세 영역들을 차지할 수 있다. 예를 들면, 픽셀(803)에 포함된 광 필터는 제1 투명 필터 영역(807), 제2 투명 필터 영역(809), 제3 투명 필터 영역(811) 및 컬러 필터 영역(813)을 포함할 수 있다. 제1 투명 필터 영역(807)은 픽셀(803)의 좌측 상단에 위치할 수 있다. 제2 투명 필터 영역(809)은 제1 투명 필터 영역(807)의 우측(예: 픽셀(803)의 우측 상단)에 위치할 수 있다. 제3 투명 필터 영역(811)은 제1 투명 필터 영역(807)의 하단(예: 픽셀(803)의 좌측 하단)에 위치할 수 있다. 컬러 필터 영역(813)은 픽셀(803)의 우측 하단에 위치할 수 있다.
한 실시예에 따르면, 도 8a의 픽셀 구조(821)를 참조하면, 픽셀 구조(821)를 구성하는 하나의 픽셀(823)은 하나의 마이크로 렌즈(825)와, 두 개 이상의 투명 필터 영역(827, 829)과 두 개 이상의 컬러 필터 영역(831, 833)을 포함하는 광 필터와, 네 개 이상의 다이오드들(미도시)을 포함할 수 있다.
한 실시예에 따르면, 도 8a와 같이, 컬러 필터 영역들(831, 833)이, 한 픽셀(823)이 네 등분되어 생성된 네 영역들 중에서 두 영역을 차지하고, 투명 필터 영역들(827, 829)이 나머지 두 영역들을 차지할 수 있다. 예를 들면, 픽셀(823)에 포함된 광 필터는 제1 투명 필터 영역(827), 제2 투명 필터 영역(829), 제1 컬러 필터 영역(831) 및 제2 컬러 필터 영역(833)을 포함할 수 있다. 제1 투명 필터 영역(827)은 픽셀(823)의 좌측 상단에 위치할 수 있다. 제2 투명 필터 영역(829)은 제1 투명 필터 영역(827)의 우측(예: 픽셀(823)의 우측 상단)에 위치할 수 있다. 제1 컬러 필터 영역(831)은 픽셀(823)의 좌측 하단에 위치할 수 있다. 제2 컬러 필터 영역(833)은 픽셀(823)의 우측 하단에 위치할 수 있다.
한 실시예에 따르면, 제1 컬러 필터 영역(831)은 제2 컬러 필터 영역(833)과 동일한 컬러 필터 영역일 수 있다. 예를 들면, 제1 컬러 필터 영역(831)과 제2 컬러 필터 영역(833)은 모두 적색 필터 영역일 수 있다.
한 실시예에 따르면, 도 8b의 픽셀 구조(841)을 참조하면, 픽셀 구조(841)를 구성하는 하나의 픽셀(843)은 하나의 마이크로 렌즈(845)와, 두 개 이상의 투명 필터 영역(849, 851)과 두 개 이상의 컬러 필터 영역(847, 853)을 포함하는 광 필터와, 네 개 이상의 다이오드들(미도시)을 포함할 수 있다.
예를 들면, 픽셀(843)은 제1 컬러 필터(847), 제2 컬러 필터(853), 제1 투명 필터(849) 및 제2 투명 필터(851)를 포함하는 광 필터를 포함할 수 있다. 제1 컬러 필터(847)는 픽셀(843)의 좌측 상단에 위치할 수 있다. 제2 컬러 필터(853)는 픽셀(843)의 우측 하단에 위치할 수 있다. 제1 컬러 필터(847)는, 예를 들면, 제2 컬러 필터(853)의 대각선에 위치할 수 있다. 제1 투명 필터(849)는 픽셀(843)의 우측 상단에 위치할 수 있다. 제2 컬러 필터(851)는 픽셀(843)의 좌측 하단에 위치할 수 있다. 제1 투명 필터(849)는, 예를 들면, 제2 투명 필터(851)의 대각선에 위치할 수 있다.
한 실시예에 따르면, 도 8b의 픽셀 구조(861)를 참조하면, 픽셀 구조(861)를 구성하는 하나의 픽셀(863)은 하나의 마이크로 렌즈(865)와, 하나 이상의 투명 필터 영역(865)과 세 개 이상의 컬러 필터 영역(869, 871, 873)을 포함하는 광 필터와, 네 개 이상의 다이오드들(미도시)을 포함할 수 있다. 한 실시예에 따르면, 컬러 필터 영역이 투명 필터 영역의 전체 또는 일부를 둘러쌀 수 있다. 예를 들면, 컬러 필터 영역이 투명 필터 영역 일부를 둘러쌀 수 있도록, 투명 필터 영역(867)이, 한 픽셀(863)이 네 등분되어 생성된 네 영역들 중에서 한 영역을 차지하고, 컬러 필터 영역들(869, 871, 873)이 나머지 세 영역들을 차지할 수 있다.
예를 들면, 픽셀(863)은 제1 컬러 필터 영역(867), 제2 컬러 필터 영역(869), 제3 컬러 필터 영역(871) 및 투명 필터 영역(867)을 포함하는 광 필터를 포함할 수 있다. 제1 컬러 필터 영역(867)은 픽셀(863)의 우측 상단에 위치할 수 있다. 제2 컬러 필터 영역(869)은 제1 컬러 필터 영역(867)의 하단에 위치할 수 있다. 제3 컬러 필터 영역(871)은 제2 컬러 필터 영역(869)의 좌측에 위치할 수 있다. 투명 필터 영역(867)은 픽셀(863)의 좌측 상단에 위치할 수 있다.
한 실시예에 따르면, 제1, 제2 및 제3 컬러 필터 영역(867, 869, 871)은 동일한 컬러 필터 영역일 수 있다. 예를 들면, 제1, 제2 및 제3 컬러 필터 영역(867, 869, 871)은 모두 적색 필터 영역일 수 있다.
한 실시예에 따르면, 도 9와 같이, 픽셀 구조(901)를 구성하는 하나의 픽셀(903)은 하나의 마이크로 렌즈(905)와, 네 개 이상의 투명 필터 영역(907, 909, 911, 913)과 컬러 필터 영역(915)을 포함하는 광 필터와, 다섯 개 이상의 다이오드들(미도시)을 포함할 수 있다. 한 실시예에 따르면, 컬러 필터 영역(915)이 한 픽셀(903)의 중심을 기준으로 일정 크기만큼 차지하고, 네 개의 투명 필터 영역들(907, 909, 911, 913)이 나머지 영역을 차지할 수 있다. 예를 들면, 제1 내지 제4 투명 필터 영역(907, 909, 911, 913)은 컬러 필터 영역(915)의 적어도 일부 영역(또는, 전체 영역)을 둘러 쌀 수 있다.
한 실시예에 따르면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 한 실시예에 따르면, 투명 필터 영역은 백색 필터 영역이 될 수 있다.
한 실시예에 따르면, 픽셀 내의 하나의 컬러 필터 영역과 하나의 투명 필터 영역의 크기는 동일 또는 거의 동일할 수 있다. 여기서, 동일 또는 거의 동일은 하나의 컬러 필터 영역과 하나의 투명 필터 영역 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우를 의미할 수 있다.
이와 같이, 하나의 컬러 필터 영역과 하나의 투명 필터 영역의 크기가 동일한 경우, 픽셀 구조의 투명 필터 영역과 컬러 필터 영역 간의 크기 비율은, 예를 들면, 1 대 1 또는 1 대 N이 될 수 있다. 예를 들면, 도 6a 및 6b 같이, 픽셀 구조들(601, 611) 각각에 대한 투명 필터 영역과 컬러 필터 영역 간의 크기 비율은 1 대 1이 될 수 있다. 다른 예로, 도 7a 및 7b와 같이, 픽셀 구조들(701, 721, 741, 761) 각각에 대한 투명 필터 영역과 컬러 필터 영역 간의 크기 비율은 2 대 1이 될 수 있다.
또 다른 예로, 도 8a 및 8b와 같이, 픽셀 구조들(801, 821, 841, 861) 각각에 대한 투명 필터 영역과 컬러 필터 영역 간의 크기 비율은 3 대 1이 될 수 있다. 또 다른 예로, 도 9와 같이, 픽셀 구조(901)에 대한 투명 필터 영역과 컬러 필터 영역 간의 크기 비율은 4 대 1이 될 수 있다.
예를 들면, 도 6a와 6b와 같이, 픽셀 구조들(601, 611) 각각에 대한 필터 색상별 영역 크기의 비율은 4(T or W): 1(R): 2(G): 1(B)이 될 수 있다. 다른 예로, 도 7a 및 7b와 같이, 픽셀 구조들(701, 721, 741, 761) 각각에 대한 필터 색상별 영역 크기의 비율은 8(T or W): 1(R): 2(G): 1(B)이 될 수 있다. 또 다른 예로, 도 8a와 같이, 픽셀 구조(801)에 대한 필터 색상별 영역 크기의 비율은 12(T or W): 1(R): 2(G): 1(B)이 될 수 있다.
또 다른 예로, 도 8a 및 8b와 같이, 픽셀 구조들(821, 841) 각각에 대한 필터 색상별 영역 크기의 비율은 4(T or W): 1(R): 2(G): 1(B)이 될 수 있다. 또 다른 예로, 도 8b의 픽셀 구조(821)에 대한 필터 색상별 영역 크기의 비율은 4(T or W): 3(R): 6(G): 3(B)이 될 수 있다. 또 다른 예로, 도 9와 같이, 픽셀 구조(901)에 대한 필터 색상별 영역 크기의 비율은 16(T or W): 1(R): 2(G): 1(B)이 될 수 있다.
어떤 실시예에 따르면, 컬러 필터 영역과 투명 필터 영역의 크기는 서로 다를 수 있다. 예를 들면, 투명 필터 영역의 크기가 컬러 필터 영역의 크기보다 클 수 있다. 다른 예로, 컬러 필터 영역의 크기가 투명 필터 영역의 크기보다 클 수 있다. 어떤 실시예에 따르면, 투명 필터 영역은 픽셀 구조 내에서 컬러 필터 영역에 대응되는 개수를 가질 수 있다.
도 10 내지 도 14는 본 발명의 다양한 실시예들에 따른 이미지 센서의 픽셀별 구조이다. 이제부터, 도 10 내지 도 14를 참조하여 이미지 센서의 픽셀별 구조를 설명하고자 한다.
이미지 센서(예: 이미지 센서(401))는 복수의 픽셀들로 구성되며, 복수의 픽셀들 중 적어도 하나의 픽셀은 포토다이오드들과, 상기 포토다이오드들에 적층되며 컬러 필터와 투명 필터 영역들을 포함하는 광 필터와, 하나의 마이크로 렌즈를 포함하는 구조를 가질 수 있다.
한 실시예에 따르면, 이미지 센서는 픽셀 단위로 복수의 포토다이오드들을 이용하여 컬러 필터와 투명 필터 영역들을 포함하는 광 필터를 통해 수신된 광을 디지털 신호로 변환하고, 변환된 전기적 신호를 전처리부(예: 전처리부(403))로 전송할 수 있다. 예를 들면, 하나의 픽셀 영역이 적어도 둘 이상의 영역으로 분할되는 경우, 이미지 센서는 영역별로 디지털 신호들을 생성하고, 생성된 디지털 신호들을 전송할 수 있다.
도 10에는 본 발명의 다양한 실시예에 따르는 픽셀 구조에 포함된 하나의 픽셀에 대한 구조가 도시되어 있다. 하나의 픽셀은 복수의 포토다이오드들을 포함하는 이미지 센서 회로부(1001)와, 이미지 센서 회로부(1001) 상에 적층되며 투명 필터 영역과 컬러 필터 영역을 포함하는 광 필터(1013)와, 광 필터(1013) 상에 적층되는 마이크로 렌즈(1003)를 포함할 수 있다.
각각의 구성 요소를 살펴보면, 한 실시예에 따르면, 마이크로 렌즈(1003)로 입사된 광은 마이크로 렌즈(1003)를 통해 집광되어 광 필터(1013)로 전달될 수 있다. 예를 들면, 광 필터(1013)는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 예를 들면, 투명 필터 영역은 백색 필터 영역이 될 수 있다. 예를 들면, 도 10과 같이, 광 필터(1013)의 가운데 부분에는 컬러 필터 영역(예를 들면, 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나)(1011)이 위치될 수 있고, 나머지 부분에는 투명 필터 영역(1015)이 위치될 수 있다. 다른 예로, 광 필터(1013)의 가운데 부분에는 투명 필터 영역이 위치될 수 있고, 나머지 부분에는 컬러 필터 영역이 위치될 수 있다.
한 실시예에 따르면, 광 필터(1013)는 이미지 센서 회로부(1001)의 제1 및 제2 포토다이오드들(1007, 1009) 상에 적층될 수 있고, 컬러 필터 영역과 투명 필터 영역이 제1 및 제2 포토다이오드들(1007, 1009) 상에 각각 적층될 수 있다. 예를 들면, 도 10과 같이, 제1 포토다이오드(1007)에는 투명 필터 영역(1015)이 적층될 수 있고, 제2 포토다이오드(1009)에는 컬러 필터 영역(1011)이 적층될 수 있다. 다른 예로, 제1 포토다이오드(1007)에는 컬러 필터 영역이 적층될 수 있고, 제2 포토다이오드(1009)에는 투명(무색) 필터 영역이 적층될 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1001)는 제1 및 제2 포토다이오드들(1007, 1009)을 포함할 수 있다. 제1 및 제2 포토다이오드들(1007, 1009)은 광 필터(1013)를 통해 입사되는 광(빛)(예: 백색 신호 또는 컬러 신호)을 전기적 신호로 변환할 수 있다. 예를 들면, 제1 및 제2 포토다이오드들(1007, 1009)은 입사되는 광(빛)의 에너지를 전압으로 변환할 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1001)의 가운데 부분에는 일정 크기를 가지는 제2 포토다이오드(1009)가 위치될 수 있고, 나머지 부분에는 제1 포토다이오드(1007)가 위치될 수 있다. 한 실시예에 따르면, 픽셀의 가장 위치와 제1 및 제2 포토다이오드들(1007, 1009) 사이에는 입사된 광의 적어도 일부가 다른 픽셀 또는 다른 포토다이오드의 영역으로 들어가는 것을 방지하기 위한 장벽(barrier)(1005)이 위치될 수 있다.
그리고 제1 및 제2 포토다이오드들(1007, 1009)이 차지하는 영역들의 크기는 서로 거의 동일할 수 있다. 여기서, 거의 동일은 제1 및 제2 포토다이오드들(1007, 1009)의 영역들 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우를 말할 수 있다. 이러한 경우, 하나의 픽셀에 대한 필터 색상별 영역 비율은 1(T or W 영역): 1(C 영역)이 될 수 있다.
예를 들어, 도 10을 참조하여, A방향을 기준으로 하는 픽셀의 단면도를 살펴보면, 픽셀은 제1 및 제2 포토다이오드들(1007, 1009)을 포함하는 이미지 센서 회로부(1001)와, 제1 및 제2 포토다이오드들(1007, 1009)의 영역들을 컬러 필터 영역(1011)과 투명 필터 영역(1015)으로 각각 뒤덮는 광 필터(1013)와, 광 필터(1013)에 적층되는 마이크로 렌즈(1003)를 포함할 수 있다.
도 11에는 본 발명의 다양한 실시예에 따르는 픽셀 구조(701)에 포함된 하나의 픽셀에 대한 구조가 도시되어 있다. 픽셀은 다수의 포토다이오드들을 포함하는 이미지 센서 회로부(1101)와, 이미지 센서 회로부(1101) 상에 적층되며 투명 필터 영역과 컬러 필터 영역을 포함하는 광 필터(1115)와, 광 필터(1115) 상에 적층되는 마이크로 렌즈(1103)를 포함할 수 있다.
각각의 구성 요소를 살펴보면, 한 실시예에 따르면, 마이크로 렌즈(1103)를 통해 입사된 광은 마이크로 렌즈(1103)을 통해 집광되어 광 필터(1115)로 전달될 수 있다. 예를 들면, 광 필터(1115)는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 예를 들면, 투명 필터 영역은 무색 또는 백색 필터 영역이 될 수 있다. 예를 들면, 도 11과 같이, 광 필터(1115)의 가운데 부분에는 컬러 필터 영역(1113)이 위치될 수 있고, 나머지 부분에는 투명 필터 영역(1117)이 위치할 수 있다. 다른 예로, 광 필터(1115)의 가운데 부분에는 투명 필터 영역이 위치될 수 있고, 나머지 부분에는 컬러 필터 영역이 위치될 수 있다.
한 실시예에 따르면, 광 필터(1115)는 이미지 센서 회로부(1101)의 제1 내지 제3 포토다이오드들(1107, 1109, 1111) 상에 적층될 수 있고, 컬러 필터 영역과 투명 필터 영역이 제1 내지 제3 포토다이오드들(1107, 1109, 1111) 상에 각각 적층될 수 있다. 예를 들면, 도 11과 같이, 제1 및 제2 포토다이오드들(1107, 1109)에는 투명 필터 영역(1117)이 적층될 수 있고, 제3 포토다이오드(1111)에는 컬러 필터 영역(1113)이 적층될 수 있다. 다른 예로, 제1 및 제2 포토다이오드들(1107, 1109)에는 컬러 필터 영역이 적층될 수 있고, 제3 포토다이오드(1111)에는 투명 필터 영역이 적층될 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1101)는 제1 내지 제3 포토다이오드들(1107, 1109, 1111)을 포함할 수 있다. 제1 내지 제3 포토다이오드들(1107, 1109, 1111)은 광 필터(1115)를 통해 입사되는 광(빛)을 전기적 신호로 변환할 수 있다. 예를 들면, 제1 내지 제3 포토다이오드들(1107, 1109, 1111)은 입사되는 광(빛)의 에너지를 전압으로 변환할 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1101)의 가운데 부분에는 일정 크기를 가지는 제3 포토다이오드(1111)가 위치될 수 있고, 나머지 부분에는 제1 및 제2 포토다이오드들(1107, 1109)이 위치될 수 있다. 예를 들면, 도 11과 같이, 제1 및 제2 포토다이오드들(1107, 1109)은 나머지 부분이 수직으로 이분된 영역들에 각각 위치될 수 있다. 다른 예로, 제1 및 제2 포토다이오드들(1107, 1109)은 나머지 부분이 수평으로 이분된 영역들에 각각 위치될 수 있다. 그리고 픽셀의 가장자리 또는 제1 내지 제3 포토다이오드들(1107, 1109, 1111) 사이에는 입사된 광(빛)이 다른 픽셀 또는 다른 포토다이오드의 영역으로 들어가는 것을 방지하기 위한 장벽(1105)이 위치할 수 있다.
예를 들면, 제1 내지 제3 포토다이오드들(1107, 1109, 1111)이 차지하는 영역들의 크기는 서로 거의 동일할 수 있다. 여기서, 거의 동일은 제1 내지 제3 포토다이오드들(1107, 1109, 1111)의 영역들 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우를 말할 수 있다. 이러한 경우, 하나의 픽셀에 대한 필터 색상별 영역 비율은 2(T or W 영역): 1(C 영역)이 될 수 있다.
예를 들어, 도 11을 참조하여, A방향을 기준으로 하는 픽셀의 단면도를 살펴보면, 픽셀은 제1 내지 제3 포토다이오드들(1107, 1109, 1111)을 포함하는 이미지 센서 회로부(1101)와, 제1 및 제2 포토다이오드들(1107, 1109)의 영역을 투명 필터 영역으로, 제3 포토다이오드(1111)의 영역을 컬러 필터 영역으로 뒤덮는 광 필터(1115)와, 광 필터(1115)에 적층되는 마이크로 렌즈(1103)를 포함할 수 있다.
도 12에는 본 발명의 다양한 실시예에 따르는 픽셀 구조(741)에 포함된 하나의 픽셀에 대한 구조가 도시되어 있다. 픽셀은 적어도 다수의 포토다이오드들을 포함하는 이미지 센서 회로부(1201)와, 이미지 센서 회로부(1201) 상에 적층되며 투명 필터 영역과 컬러 필터 영역을 포함하는 광 필터(1215)와, 광 필터(1215) 상에 적층되는 마이크로 렌즈(1203)를 포함할 수 있다.
각각의 구성 요소를 살펴보면, 한 실시예에 따르면, 마이크로 렌즈(1203)를 통해 입사된 광은 마이크로 렌즈(1203)를 통해 집광되어 광 필터(1215)로 전달될 수 있다. 예를 들면, 광 필터(1215)는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 예를 들면, 투명 필터 영역은 무색 또는 백색 필터 영역이 될 수 있다. 예를 들면, 도 12와 같이, 광 필터(1215)는 수직으로 세 영역으로 분할될 수 있으며, 가운데 부분에는 컬러 필터 영역(1213)이 위치될 수 있고, 나머지 부분에는 투명 필터 영역들(1217, 1219)이 위치될 수 있다. 다른 예로, 가운데 부분에는 투명 필터 영역이 위치될 수 있고, 나머지 부분에는 컬러 필터 영역들이 위치될 수 있다. 또 다른 예로, 광 필터(1215)는 수평으로 세 영역으로 분할될 수 있으며, 가운데 부분에는 컬러 필터 영역이 위치될 수 있고, 나머지 부분에는 투명 필터 영역이 위치될 수 있다. 또 다른 예로, 가운데 부분에는 투명 필터 영역이 위치될 수 있고, 나머지 부분에는 컬러 필터 영역이 위치될 수 있다.
한 실시예에 따르면, 광 필터(1215)는 이미지 센서 회로부(1201)의 제1 내지 제3 포토다이오드들(1207, 1209, 1211) 상에 적층될 수 있고, 컬러 필터 영역과 투명 필터 영역이 제1 내지 제3 포토다이오드들(1207, 1209, 1211) 상에 각각 적층될 수 있다. 예를 들면, 도 12와 같이, 제1 및 제2 포토다이오드들(1207, 1209)에는 투명 필터 영역(1217, 1219)이 적층되며, 제3 포토다이오드(1211)에는 컬러 필터 영역(1213)이 적층될 수 있다. 도시하지는 않았지만, 본 발명의 다양한 실시예는 이러한 구조에 한정되지 않는다. 다른 예로, 제1 및 제2 포토다이오드들(1207, 1209)에는 컬러 필터 영역이 적층될 수 있고, 제3 포토다이오드(1211)에는 투명 필터 영역이 적층될 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1201)는 제1 내지 제3 포토다이오드들(1207, 1209, 1211)을 포함할 수 있다. 제1 내지 제3 포토다이오드들(1207, 1209, 1211)은 광 필터(1215)를 통해 입사되는 광(빛)을 전기적 신호로 변환할 수 있다. 예를 들면, 제1 내지 제3 포토다이오드들(1207, 1209, 1211)은 입사되는 광(빛)의 에너지를 전압으로 변환할 수 있다.
한 실시예에 따르면, 하나의 픽셀 영역은 수직 또는 수평으로 세 영역으로 분할되며, 제1 내지 제3 포토다이오드들(1207, 1209, 1211)이 세 영역들에 각각 위치될 수 있다. 예를 들면, 도 12와 같이, 하나의 픽셀 영역이 수직으로 분할된 경우, 가운데 영역에 제3 포토다이오드가(1211)가 위치될 수 있고, 나머지 영역들에 제1 및 제2 포토다이오드들(1207, 1209)이 위치될 수 있다. 다른 예로, 하나의 픽셀 영역이 수평으로 분할된 경우, 가운데 영역에 제3 포토다이오드가(1211)가 위치될 수 있고, 나머지 영역들에 제1 및 제2 포토다이오드들(1207, 1209)이 위치될 수 있다. 한 실시예에 따르면, 픽셀의 가장자리, 제1 및 제3 포토다이오드들(1207, 1211) 사이 또는 제2 및 제3 포토다이오드들(1209, 1211) 사이에, 입사된 광(빛)이 다른 픽셀 또는 다른 포토다이오드의 영역으로 들어가는 것을 방지하기 위한, 장벽(1205)이 위치될 수 있다.
예를 들면, 제1 내지 제3 포토다이오드들(1207, 1209, 1211)이 차지하는 영역들의 크기는 서로 거의 동일할 수 있다. 여기서, 거의 동일은 제1 내지 제3 포토다이오드들(1207, 1209, 1211)의 영역들 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우라고 말할 수 있다. 이러한 경우, 하나의 픽셀에 대한 필터 색상별 영역 비율은 2(T or W 영역): 1(C 영역)이 될 수 있다.
예를 들어, 도 12를 참조하여, A방향을 기준으로 하는 픽셀의 단면도를 살펴보면, 픽셀은 제1 내지 제3 포토다이오드들(1207, 1209, 1211)을 포함하는 이미지 센서 회로부(1201)와, 제1 및 제2 포토다이오드들(1207, 1209)의 영역을 투명 필터 영역으로, 제3 포토다이오드(1211)의 영역을 컬러 필터 영역으로 뒤덮는 광 필터(1215)와, 광 필터(1215)에 적층되는 마이크로 렌즈(1203)를 포함할 수 있다.
도 13에는 본 발명의 다양한 실시예에 따른 픽셀 구조(801)에 포함된 하나의 픽셀에 대한 구조가 도시되어 있다. 픽셀은 적어도 다수의 포토다이오드들을 포함하는 이미지 센서 회로부(1301)와, 이미지 센서 회로부(1301) 상에 적층되며 투명 필터 영역과 컬러 필터 영역을 포함하는 광 필터(1317)와, 광 필터(1317) 상에 적층되는 마이크로 렌즈(1303)를 포함할 수 있다.
각각의 구성 요소를 살펴보면, 한 실시예에 따르면, 마이크로 렌즈(1303)를 통해 입사된 광은 마이크로 렌즈(1303)를 통해 집광되어 광 필터(1317)로 전달될 수 있다. 예를 들면, 광 필터(1317)는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 예를 들면, 투명 필터 영역은 무색 또는 백색 필터 영역이 될 수 있다. 예를 들면, 도 13과 같이, 광 필터(1317)는 수직으로 이분, 수평으로 이분됨으로써 네 영역들로 분할되고, 네 영역들 중에서 한 영역에는 컬러 필터 영역(1315)이 위치될 수 있고, 나머지 세 영역들에는 투명 필터 영역(1319)이 위치될 수 있다. 다른 예로, 네 영역들 중에서 두 영역들에는 컬러 필터 영역이 위치될 수 있고, 나머지 두 영역들에는 투명 필터 영역이 위치될 수 있다. 또 다른 예로, 네 영역들 중에서 한 영역에는 컬러 필터 영역이 위치될 수 있고, 나머지 세 영역들에는 투명 필터 영역이 위치될 수 있다.
한 실시예에 따르면, 광 필터(1317)는 이미지 센서 회로부(1301)의 다수의 포토다이오드들 상에 적층될 수 있고, 컬러 필터 영역과 투명 필터 영역이 다수의 포토다이오드들 상에 적층될 수 있다. 예를 들면, 도 13과 같이, 제1 내지 제3 포토다이오드들(1307, 1309, 1311)에는 투명 필터 영역(1319)이 적층될 수 있고, 제4 포토다이오드(1313)에는 컬러 필터 영역(1315)이 적층될 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1301)는 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)을 포함하며, 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)은 광 필터(1317)를 통해 입사되는 광(빛)을 전기적 신호로 변환할 수 있다. 예를 들면, 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)은 입사되는 광(빛)의 에너지를 전압으로 변환할 수 있다.
한 실시예에 따르면, 하나의 픽셀 영역은 수직으로 이분되고 수평으로 이분됨으로써 네 영역으로 분할되며, 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)이 네 영역들에 각각 위치할 수 있다. 예를 들면, 도 13과 같이, 왼쪽 상단 영역, 오른쪽 상단 영역, 왼쪽 하단 영역 및 오른쪽 하단 영역에 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)이 각각 위치될 수 있다.
예를 들면, 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)이 차지하는 영역들의 크기는 서로 거의 동일할 수 있다. 여기서, 거의 동일은 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)의 영역들 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우라고 말할 수 있다. 이러한 경우, 하나의 픽셀에 대한 필터 색상별 영역 비율은 3(T or W 영역): 1(C 영역)이 될 수 있다.
한 실시예에 따르면, 픽셀의 가장자리 또는 제1 및 제4 포토다이오드들(1307, 1309, 1311, 1313)에는, 입사된 광(빛)이 다른 픽셀 또는 다른 포토다이오드의 영역으로 들어가는 것을 방지하기 위한, 장벽(1305)이 위치될 수 있다.
예를 들어, 도 13을 참조하여, A방향을 기준으로 하는 픽셀의 단면도를 살펴보면, 픽셀은 제1 내지 제4 포토다이오드들(1307, 1309, 1311, 1313)을 포함하는 이미지 센서 회로부(1301)와, 제1 내지 제3 포토다이오드들(1307, 1309, 1311)의 영역을 투명 필터 영역으로, 제4 포토다이오드(1313)의 영역을 컬러 필터 영역으로 뒤덮는 광 필터(1317)와, 광 필터(1317)에 적층되는 마이크로 렌즈(1303)를 포함할 수 있다.
도 14에는 본 발명의 다양한 실시예에 따른 픽셀 구조(901)에 포함된 하나의 픽셀에 대한 구조가 도시되어 있다. 픽셀은 적어도 다수의 포토다이오드들을 포함하는 이미지 센서 회로부(1401)와, 이미지 센서 회로부(1401) 상에 적층되며 투명 필터 영역과 컬러 필터 영역을 포함하는 광 필터(1419)와, 광 필터(1419) 상에 적층되는 마이크로 렌즈(1403)를 포함할 수 있다.
각각의 구성 요소를 살펴보면, 한 실시예에 따르면, 마이크로 렌즈(1403)를 통해 입사된 광(빛)은 마이크로 렌즈(1403)을 통해 집광되어 광 필터(1419)로 전달될 수 있다. 예를 들면, 광 필터(1419)는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 하나가 될 수 있다. 예를 들면, 투명 필터 영역은 무색 또는 백색 필터 영역이 될 수 있다. 예를 들면, 도 14와 같이, 광 필터(1419)의 가운데 영역에는 컬러 필터 영역(1417)이 위치될 수 있고, 나머지 영역에는 투명 필터 영역(1421)이 위치될 수 있다. 다른 예로, 광 필터(1419)의 가운데 영역에는 투명 필터 영역이 위치될 수 있고, 나머지 영역에는 컬러 필터 영역이 위치될 수 있다.
한 실시예에 따르면, 광 필터(1419)는 이미지 센서 회로부(1401)의 다수의 포토다이오드들 상에 적층될 수 있고, 컬러 필터 영역과 투명 필터 영역이 다수의 포토다이오드들 상에 적층될 수 있다. 예를 들면, 도 14와 같이, 제1 내지 제4 포토다이오드들(1407, 1409, 1411, 1413)에는 투명 필터 영역(1421)이 적층될 수 있고, 제5포토다이오드(1415)에는 컬러 필터 영역(1417)이 적층될 수 있다.
한 실시예에 따르면, 이미지 센서 회로부(1401)는 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)을 포함하며, 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)은 광 필터(1419)를 통해 입사되는 광(빛)을 전기적 신호로 변환할 수 있다. 예를 들면, 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)은 입사되는 광(빛)의 에너지를 전압으로 변환할 수 있다.
한 실시예에 따르면, 하나의 픽셀 영역은 다섯 영역들로 분할될 수 있다. 예를 들면, 도 14와 같이, 다섯 영역들에는 미리 지정된 크기를 가지는 가운데 영역과, 가운데 영역을 제외한 나머지 영역이 사분된 영역들이 포함될 수 있다. 그리고 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)이 다섯 영역들에 각각 위치할 수 있다. 예를 들면, 도 14와 같이, 왼쪽 상단 영역, 오른쪽 상단 영역, 왼쪽 하단 영역, 오른쪽 하단 영역, 가운데 영역에 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)이 각각 위치할 수 있다.
예를 들면, 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)이 차지하는 영역들의 크기는 서로 거의 동일할 수 있다. 여기서, 거의 동일은 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)의 영역들 간의 크기 차이가 미리 지정된 범위(약 90%) 내에 포함되는 경우라고 말할 수 있다. 이러한 경우, 하나의 픽셀에 대한 필터 색상별 영역 비율은 4(T or W 영역): 1(C 영역)이 될 수 있다.
한 실시예에 따르면, 픽셀의 가장자리 또는 제1 및 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415) 사이에는, 입사된 광(빛)이 다른 픽셀 또는 다른 포토다이오드의 영역으로 들어가는 것을 방지하기 위한, 장벽(1405)이 위치될 수 있다.
예를 들어, 도 14를 참조하여, A방향을 기준으로 하는 픽셀의 단면도를 살펴보면, 픽셀은 제1 내지 제5 포토다이오드들(1407, 1409, 1411, 1413, 1415)을 포함하는 이미지 센서 회로부(4101)와, 제1 내지 제4 포토다이오드들(1407, 1409, 1411, 1413)의 영역들을 투명 필터 영역으로, 제5 포토다이오드(1415)의 영역을 컬러 필터 영역으로 뒤덮는 광 필터(1419)와, 광 필터(1419)에 적층되는 마이크로 렌즈(1403)를 포함할 수 있다.
지금까지, 도 10 내지 도 14를 참조하여 이미지 센서의 다양한 픽셀 구조들을 설명하였으나, 본 발명에서 제안하는 픽셀 구조는 이에 한정되지 않는다. 예를 들면, 적어도 하나의 픽셀 구조는 수평선, 수직선 또는 대각선을 기준으로 대칭이 될 수 있다. 예를 들면, 픽셀(1001)은 픽셀의 중심점에서 수평선, 수직선 또는 대각선을 기준으로 대칭을 이룰 수 있다. 다른 예로, 픽셀(1101)은 픽셀의 중심점에서 수평선 또는 수직선을 기준으로 대칭을 이룰 수 있다.
다른 예로, 적어도 하나의 픽셀 구조는 광 필터의 투명 필터 영역을 제거하거나 투명 필터 영역을 마이크로 렌즈와 일체화시킬 수 있다.
도 15 내지 도 17은 본 발명의 다양한 실시예에 따른 카메라 모듈의 블록 구성도이다. 이제부터, 도 15 내지 도 17을 기반으로, 본 발명의 카메라 모듈을 설명하고자 한다.
도 15는, 본 발명의 다양한 실시예에 따른 이미지 센서의 픽셀에 포함된 복수의 다이오드들 중에서 하나가 투명 필터 영역과 적층된 경우의 카메라 모듈 블록 구성도이다. 도 15를 참조하면, 카메라 모듈(예: 카메라 모듈(191))은, 예를 들면, 이미지 센서(1501)와 전처리부(1503)와 이미지 신호 처리부(1505)를 포함할 수 있다.
각 구성 요소를 살펴보면, 한 실시예에 따르면, 이미지 센서(1501)는 카메라 모듈의 렌즈를 통해 들어온 광을 전기적 신호로 변환하는 장치일 수 있다.
예를 들면, 광 필터는 투명 필터 영역과 컬러 필터 영역을 포함할 수 있다. 예를 들면, 컬러 필터 영역은 녹색 필터 영역, 적색 필터 영역, 및 청색 필터 영역 중 적어도 하나를 포함할 수 있다. 예를 들면, 투명 필터 영역은 무색 필터 영역과 백색 필터 영역 중 적어도 하나를 포함할 수 있다. 예를 들면, 광 필터가 녹색 필터 영역, 적색 필터 영역, 청색 필터 영역, 투명 필터 영역을 포함하는 경우, 광 필터는 RGBW 컬러 필터라고 불릴 수 있다.
예를 들면, 이미지 센서(1501)는 광 필터의 RGBW 색에 대응되는 RGBW 신호를 전처리부(1503)로 전송할 수 있다. 예를 들면, 이미지 센서(1501)는 프레임당 픽셀별로 밝기 정보와 원색 정보를 포함하는 색 정보를 전처리부(1503)로 전송할 수 있다. 예를 들면, 밝기 정보는 광 필터의 투명 필터 영역을 통해 필터링된 광에 대한 정보일 수 있다.
예를 들면, 도 15와 같이, 이미지 센서(1501)는 픽셀 별로 밝기 정보와, 적색, 녹색, 청색 중 어느 하나의 원색 정보를 포함하는 색 정보(예를 들면, Pm,n(T+B))를 전송할 수 있다. 여기서, m은, 예를 들면, 이미지 센서의 픽셀 행 개수를, n은 이미지 센서의 픽셀 열 개수를 나타낼 수 있다.
한 실시예에 따르면, 색 정보의 데이터 용량은, 예를 들면, 한 픽셀에 포함된 포토다이오드의 개수에 따라 달라질 수 있다. 예를 들면, 두 개의 포토다이오드가 한 픽셀 내에 포함되며 한 다이오드로부터 출력되는 데이터 용량이 8비트인 경우, 색 정보의 데이터 용량은 16 비트가 될 수 있다.
한 실시예에 따르면, 전처리부(1503)는 이미지 센서(1501)로부터 색 정보를 수신하고, 색 정보를 YUV 신호로 변환하고, YUV 신호를 이미지 신호 처리부(1505)로 전송할 수 있다. 이미지 신호 처리부(1505)는 프레임 단위로 YUV 신호를 수신하고, 수신된 YUV 신호를 메모리(예: 메모리(130))에 저장하거나 YUV 신호를 RGB 신호로 변환하여 디스플레이(예: 디스플레이(160)) 상에 표시할 수 있다.
도 16은, 본 발명의 다양한 실시예에 따른 이미지 센서의 픽셀에 포함된 적어도 다수의 다이오드들 중에서 복수가 투명 필터 영역과 적층된 경우의 카메라 모듈 블록 구성도이다. 도 16을 참조하면, 카메라 모듈(예: 카메라 모듈(191))은 이미지 센서(1601)와 전처리부(1603)와 이미지 신호 처리부(1609)와 카메라 모듈 제어부(1611)을 포함할 수 있다. 예를 들면, 카메라 모듈 제어부(1611)는 프로세서(110)가 될 수 있다.
각 구성 요소를 살펴보면, 한 실시예에 따르면, 이미지 센서(1601)는 카메라 모듈의 렌즈를 통해 들어온 광을 전기적 신호로 변환하는 장치일 수 있다. 예를 들면, 이미지 센서(1601)는 광 필터의 RGBW 색에 대응되는 RGBW 신호를 전처리부(1603)로 전송할 수 있다. 예를 들면, 이미지 센서(1601)는 프레임당 픽셀별로 밝기 정보와 원색 정보를 포함하는 색 정보를 전처리부(1603)의 색 변환부(1605)로 전송할 수 있다. 예를 들면, 세 개의 포토다이오드들이 하나의 픽셀에 포함될 수 있고, 세 개의 포토다이오드들 중에서 두 개가 투명 필터 영역과, 나머지 다이오드가 컬러 필터 영역과 적층되는 경우, 이미지 센서(1601)는 도 16과 같이, 픽셀 별로 복수의 포토다이오드들에 대응되는 밝기 정보와, 하나의 포토다이오드에 대응되며 적색, 녹색, 청색 중 어느 하나의 원색 정보를 포함하는 색 정보(예를 들면, Pm,n(T1+T2+C(R or G or B))를 전송할 수 있다.
한 실시예에 따르면, 색 정보의 데이터 용량은 한 픽셀에 포함된 포토다이오드의 개수에 따라 달라질 수 있다. 예를 들면, 픽셀이 세 개의 포토다이오드들을 포함하며 한 다이오드로부터 출력되는 데이터 용량이 8비트인 경우, 두 개의 다이오드들에 대응되는 밝기 정보와 하나의 다이오드에 대응되는 원색 정보를 포함하는 색 정보의 데이터 용량은 24 비트가 될 수 있다.
한 실시예에 따르면, 이미지 센서(1601)는 프레임당 픽셀 별로 밝기 정보를 전처리부(1603)의 위상차 검출부(1607)로 전송할 수 있다. 예를 들면, 픽셀이 세 개의 포토다이오드들을 포함할 수 있고, 세 개의 포토다이오드들 중에서 두 개가 투명 필터 영역과 적층되는 경우, 이미지 센서(1601)는 도 16과 같이, 픽셀 별로 복수의 포토다이오드들에 대응되는 밝기 정보(예를 들면, Pm,n(T1, T2))를 전송할 수 있다.
한 실시예에 따르면, 전처리부(1603)는 색 변환부(1605)와 위상차 검출부(1607)를 포함할 수 있다. 예를 들면, 색 변환부(1605)는 이미지 센서(1601)로부터 색 정보(예를 들면, Pm,n(T1+T2+C(R or G or B))를 수신하고, 수신된 색 정보를 YUV 신호로 변환하고, YUV 신호를 이미지 신호 처리부(1609)로 전송할 수 있다.
한 실시예에 따르면, 위상차 검출부(1607)는 이미지 센서(1601)로부터 밝기 정보(예를 들면, Pm,n(T1, T2))를 수신하고, 밝기 정보를 기반으로 광의 위상차를 검출하고, 검출된 위상차를 카메라 모듈 제어부(1611)로 전송할 수 있다.
만약에, 적어도 복수의 W 성분들이 픽셀 단위로 수신된 RGBW 신호 내에 포함되는 경우, 위상차 검출부(1607)는 복수의 W 성분들 간의 차이를 기반으로 광의 위상차 정보를 생성하고, 위상차 정보를 기반으로 카메라 모듈(191)의 렌즈를 이동하여 초점을 맞출 수 있도록 위상차 정보를 카메라 모듈(191)을 제어하는 프로세서(110) 또는 카메라 모듈 제어부(1611)로 전송할 수 있다. 예를 들면, 위상차 검출부(1607)는 프레임 단위로 위상차 정보를 처리함으로써 프레임에 포함된 이미지의 입체 정보를 생성하고, 생성된 이미지 입체 정보를 이미지 신호 처리부(1609)로 전송할 수 있다.
한 실시예에 따르면, 이미지 신호 처리부(1609)는 프레임 단위로 YUV 신호를 수신하고, 수신된 YUV 신호를 메모리(130)에 저장하거나 YUV 신호를 RGB 신호로 변환하여 디스플레이(예: 디스플레이(160)) 상에 표시할 수 있다. 예를 들면, 이미지 신호 처리부(1609)는 위상차 검출부(1607)로부터 이미지 입체 정보를 수신하고, 수신된 입체 정보를 기반으로 해당 프레임의 3차원 이미지를 생성하여 디스플레이 상에 출력하거나 메모리(예: 메모리(130))에 저장할 수 있다.
한 실시예에 따르면, 카메라 모듈 제어부(1611)는 위상차 검출부(1607)로부터 위상차 정보를 수신하고, 수신된 위상차 정보를 기반으로 카메라 모듈의 렌즈를 이동시킴으로써 카메라 모듈의 초점을 맞출 수 있다.
도 17은 본 발명의 다양한 실시예에 따른 이미지 센서의 픽셀에 포함된 적어도 다수의 포토다이오드들 중에서 적어도 세 개가 투명 필터 영역과 적층된 경우의 카메라 모듈 블록 구성도이다. 도 17을 참조하면, 카메라 모듈(예: 카메라 모듈(191))은 이미지 센서(1701)와 전처리부(1703)와 이미지 신호 처리부(1713)와 카메라 모듈 제어부(1715)을 포함할 수 있다. 예를 들면, 카메라 모듈 제어부(1715)는 프로세서(110)가 될 수 있다.
각 구성 요소를 살펴보면, 이미지 센서(1701)는 카메라 모듈(191)의 렌즈를 통해 들어온 광(빛)을 전기적 신호로 변환할 수 있다. 예를 들면, 이미지 센서(1701)는 광 필터의 RGBW 색에 대응되는 RGBW 신호를 전처리부(1703)로 전송할 수 있다. 예를 들면, 이미지 센서(1701)는 프레임당 픽셀별로 밝기 정보와 원색 정보를 포함하는 색 정보를 전처리부(1703)의 색 변환부(1705)로 전송할 수 있다. 예를 들면, 픽셀이 네 개의 포토다이오드들을 포함할 수 있고, 세 개의 포토다이오드들 중에서 세 개가 투명 필터 영역과, 나머지 포토다이오드가 원색 필터와 적층되는 경우, 이미지 센서(1701)는 도 17과 같이, 픽셀 별로 세 개의 포토다이오드들에 대응되는 밝기 정보와, 하나의 포토다이오드에 대응되며 적색, 녹색, 청색 중 어느 하나의 원색 정보를 포함하는 색 정보(예를 들면, Pm,n(T1+T2+T3+C(R or G or B))를 전송할 수 있다.
한 실시예에 따르면, 색 정보의 데이터 용량은 한 픽셀에 포함된 포토다이오드의 개수에 따라 달라질 수 있다. 예를 들면, 픽셀이 네 개의 포토다이오드들을 포함하며 한 다이오드로부터 출력되는 데이터 용량이 8비트인 경우, 세 개의 다이오드들에 대응되는 밝기 정보와 하나의 다이오드에 대응되는 원색 정보를 포함하는 색 정보의 데이터 용량은 32 비트가 될 수 있다.
한 실시예에 따르면, 이미지 센서(1701)는 프레임당 픽셀 별로 밝기 정보를 전처리부(1703)의 위상차 검출부(1707)로 전송할 수 있다. 예를 들면, 픽셀이 네 개의 포토다이오드들을 포함하며 네 개의 포토다이오드들 중에서 세 개가 투명 필터 영역과 적층되는 경우, 이미지 센서(1701)는 도 17과 같이, 픽셀 별로 복수의 포토다이오드들에 대응되는 밝기 정보(예를 들면, Pm,n(T1, T2, T3))를 전송할 수 있다.
한 실시예에 따르면, 전처리부(1703)는 색 변환부(1705)와 위상차 검출부(1707)를 포함할 수 있다. 예를 들면, 색 변환부(1705)는 이미지 센서(1701)로부터 색 정보(예를 들면, Pm,n(T1+T2+T3+C(R or G or B))를 수신하고, 색 정보를 YUV 신호로 변환하고, YUV 신호를 이미지 신호 처리부(1713)로 전송할 수 있다.
한 실시예에 따르면, 위상차 검출부(1707)는 수평 위상차 검출부(1709)와 수직 위상차 검출부(1711)을 포함할 수 있다. 예를 들면, 위상차 검출부(1707)는 이미지 센서(1701)로부터 밝기 정보(예를 들면, Pm,n(T1, T2, T3))를 수신하고, 밝기 정보를 기반으로 광의 수평 및 수직 위상차를 검출하고, 검출된 수평 및 수직 위상차를 카메라 모듈 제어부(1715)로 전송할 수 있다.
예를 들면, 수평 위상차 검출부(1709)는 수신된 밝기 정보 중에서 픽셀 내에서 수평 상에 위치하는 한 쌍의 포토다이오드(예를 들면, 도 13의 1307, 1309)에 대한 밝기 정보(예를 들면, T1, T2)를 이용하여 광의 수평 위상차 정보를 생성할 수 있다. 예를 들면, 수직 위상차 검출부(1711)는 수신된 밝기 정보 중에서 픽셀 내에서 수직 상에 위치하는 한 쌍의 포토다이오드(예를 들면, 도 13의 1307, 1311)에 대한 밝기 정보(예를 들면, T1, T3)를 이용하여 광의 수직 위상차 정보를 생성할 수 있다.
한 실시예에 따르면, 수평 위상차 검출부(1709)는, 수평으로 위치된 포토다이오드들(예: 도 13의 포토다이오드들(1307 및 1309)) 각각에서 감지한 밝기 정보(예를 들면, T1과 T2)를 비교하고, 그 비교 결과를 기반으로 수평 위상차 정보를 생성할 수 있다. 한 실시예에 따르면, 수직 위상차 검출부(1711)는, 수직으로 위치된 포토다이오드들(예: 도 13의 포토다이오드들(1307 및 1311) 각각에서 감지한 밝기 정보(예를 들면, T1과 T3)를 비교하고, 그 비교 결과를 기반으로 수직 위상차 정보를 생성할 수 있다. 한 실시예에 따르면, 위상차 검출부(1707)는 프레임 단위로 수평 및 수직 위상차 정보를 처리함으로써 프레임에 포함된 이미지의 입체 정보를 생성하고, 생성된 이미지 입체 정보를 이미지 신호 처리부(1713)로 전송할 수 있다.
한 실시예에 따르면, 이미지 신호 처리부(1713)은 이미지 입체 정보를 기반으로 3차원 이미지를 생성하여 디스플레이하거나 메모리(예: 메모리(160)에 저장할 수 있다. 이미지 신호 처리부(1713)는 도 16의 이미지 신호 처리부(1609)와 거의 유사한 동작을 수행하므로 설명을 생략한다. 한 실시예에 따르면, 카메라 모듈 제어부(1715)는 수평 및 수직 위상차 정보를 수신하고, 수신된 수평 및 수직 위상차 정보를 기반으로 카메라 모듈의 렌즈를 이동시킴으로써 카메라 모듈의 초점을 맞출 수 있다.
도 18a 및 18b는 본 발명의 실시예에 따른 이미지 센서의 회로도이다. 이제부터, 도 18a 및 18b를 기반으로 이미지 센서 회로의 동작을 설명하고자 한다.
한 실시예에 따르면, 도 18a는 한 픽셀이 4개의 포토다이오드들을 포함할 때의 이미지 센서 회로도일 수 있다. 예를 들면, 도 17의 이미지 센서(1701)의 회로도 일 수 있다. 도 18a를 참조하면, 네 개의 포토다이오드들(D1, D2, D3, D4)은, 예를 들면, 자신의 신호를 전송하기 위한 전송 스위치들(TX_T1, TX_T2, TX_T3, TX_C)(1805, 1807, 1809, 1811)과 각각 전기적으로 연결될 수 있다.
한 실시예에 따르면, 포토다이오드들(D1, D2, D3, D4)은 동일한 마이크로 렌즈를 통과한 광을 수신할 수 있다., 예를 들면, 네 개의 포토다이오드들 중 세 개(D1, D2, D3) 각각은 투명 필터 영역을 통과한 광을 수신하고, 수신된 광 에너지에 대응되는 전하를 생성할 수 있다. 나머지 하나의 포토다이오드(D4)는 컬러 필터 영역을 통과한 광을 수신하고, 수신된 광 에너지에 대응되는 전하를 생성할 수 있다.
한 실시예에 따르면, 전송 스위치들(1805, 1807, 1809, 1811)을 통해 포토다이오드들(D1, D2, D3, D4)에서 생성된 전하는 플로팅 디퓨전(floating diffusion) 영역(1813)으로 전송될 수 있다. 한 실시예에 따르면, 선택 스위치(RS)(1801)는 이미지 센서에 포함된 적어도 복수의 픽셀들 중에서 해당 픽셀을 선택할 수 있다. 한 실시예에 따르면, 리셋 스위치(RST)(1803)는 플로팅 디퓨전 영역(1513)을 리셋할 수 있다. 한 실시예에 따르면, 증폭 스위치(SF)(1815)는 리셋 스위치(1803)이 리셋된 후, 전송 스위치들(1805, 1807, 1809, 1811) 중 하나가 플로팅 디퓨전 영역(1813)으로 전하를 전송하면, 플로팅 디퓨전 영역(1813)의 전위를 해당 전송 스위치(1805, 1807, 1809, 1811)의 출력 전압으로 출력할 수 있다.
예를 들면, 포토다이오드들(D1 내지 D3)에 광 필터의 투명 필터 영역이 적층되고, 포토다이오(D4)에 광 필터의 컬러 필터 영역이 적층되는 경우, 포토다이오드들(D1 내지 D4)의 출력 전압은 도 17의 이미지 센서(1701)에서 출력되는 색 정보의 성분들이 될 수 있다. 예를 들면, 포토다이오드(D1)의 출력 전압은 도 17의 T1 신호가 될 수 있으며, 포토다이오드(D2)의 출력 전압은 도 17의 T2 신호가 될 수 있으며, 포토다이오드(D3)의 출력 전압은 도 17의 T3 신호가 될 수 있고, 포토다이오드(D4)의 출력 전압은 도 17의 R, G, B 신호들 중에서 어느 하나가 될 수 있다.
도 18b를 참조하여, 스위치들(1801, 1803, 1805, 1809, 1811) 각각의 타임 차트를 살펴보고자 한다. 한 실시예에 따라, 해당 픽셀이 선택되면, 선택 스위치(1801)는 미리 지정된 시간 동안 하이 레벨(High Level)(이하 '액티브 상태'라고 한다.)이 될 수 있다. 한 실시예에 따라, 선택 스위치(1801)가 액티브 상태가 되면, 리셋 스위치(1803)는 미리 지정된 시간 동안 주기적으로 하이 레벨을 가지는 펄스(이하 '리셋 펄스'라고 한다)를 발생시킴으로써 플로팅 디퓨젼 영역(1813)을 리셋할 수 있다.
한 실시예에 따라, 선택 스위치(1801)가 리셋 펄스를 발생시키면, 전송 스위치들(1805, 1807, 1809, 1811)은 미리 지정된 순서대로 순차적으로 미리 지정된 시간 동안 하이 레벨을 가지는 펄스(이하 '전송 펄스'라 한다)를 발생시킴으로써 순차적으로 포토다이오드들(D1, D2, D3, D4)에서 생성한 전하를 플로팅 디퓨전 영역(1813)으로 전송할 수 있다. 그리고 증폭 스위치(1815)는 전송 스위치들(1805, 1807, 1809, 1811) 중 하나가 플로팅 디퓨전 영역(1813)으로 전하를 전송하면, 플로팅 디퓨전 영역(1813)의 전위를 해당 전송 스위치의 출력 전압으로 출력할 수 있다.
도 19는 본 발명의 실시예에 따른 픽셀에 포함된 복수의 포토다이오드들의 신호 세기를 나타내는 그래프이다. 이제부터, 도 19를 참조하여, 복수의 포토다이오드들(D1, D2, D3, D4)의 신호 세기들을 이용하여 위상 차이를 설명하고자 한다.
도 19는 다양한 실시예를 따르는 제1그래프 내지 제3 그래프(1901, 1907, 1917)는 T1, T2, T3, C의 신호 세기, 예를 들면, 전압을 도시한 도면이다.
제1그래프(1901)에서는 T1, T2, T3의 신호 세기들(1903)이 서로 동일 또는 유사하며, C의 신호 세기(1905)가 T1, T2, T3의 신호 세기들(1903)과 다르다. 이와 같이, T1, T2, T3의 신호 세기들(1903)이 서로 동일하다는 것은, 광의 수평 및 수직 위상차가 적다(예: 없다)는 것을 나타내며, 카메라 모듈(191)의 초점이 맞았다는 것을 의미할 수 있다. 이 경우, 카메라 모듈 제어부(예: 카메라 모듈 제어부(1715))는 카메라 모듈의 렌즈를 이동시키지 않을 수 있다.
제2그래프(1907)에서는 T1, T2, T3, C의 신호 세기들(1909, 1911, 1913, 1915)이 서로 다르다. 이와 같이, T1, T2, T3의 신호 세기들(1909, 1911, 1915)이 서로 다르다는 것은, 광(빛)의 수평 또는 수직 위상차가 존재한다는 것을 말하며, 카메라 모듈(191)의 초점이 맞지 않다는 것을 의미할 수 있다. 이 경우, 카메라 모듈 제어부(예: 카메라 모듈 제어부(1715))는 수평 및 수직 위상차에 기반하여 카메라 모듈의 렌즈를 이동시킴으로써 카메라 모듈의 초점을 맞출 수 있다.
제3그래프(1917)에서도 제2그래프(1907)처럼, T1, T2, T3, C의 신호 세기들(1919, 1921, 1923, 1925)이 서로 다르다. 그러나, 예를 들면, T1, T2, T3의 신호 세기들(1919, 1923, 1925)은 제2그래프(1907)의 T1, T2, T3의 신호 세기들(1909, 1911, 1915) 보다 클 수 있다. 제 3 그래프(1917)와 같이 T1, T2, T3의 신호 세기들(1919, 1923, 1925)이 서로 다르다는 것은, 광(빛)의 수평 또는 수직 위상차가 존재한다는 것을 말하며, 카메라 모듈(191)의 초점이 맞지 않다는 것을 의미할 수 있다. 이 경우, 카메라 모듈 제어부(예: 카메라 모듈 제어부(1715))는 수평 및 수직 위상차에 기반하여 카메라 모듈의 렌즈를 이동시킴으로써 카메라 모듈의 초점을 맞출 수 있다.
도 20은 본 발명의 제1실시예에 따른 전자 장치에서 카메라 모듈의 초점을 자동으로 맞추는 오토 포커싱(auto focusing) 기능을 수행하는 흐름도이다. 본 발명을 간단히 설명하기 위해 제1실시예에서는 픽셀이 적어도 세 개의 포토다이오드들을 포함하며, 세 개의 포토다이오드들 중에서 적어도 두 개가 수평 또는 수직 상에 위치하며, 적어도 두 개의 포토다이오드들에는 투명 필터 영역이 적층된 것으로 가정한다.
도 20을 참조하면, 2001 동작에서, 프로세서(110)는 T1의 신호 세기와 T2의 신호 세기간의 차이를 계산할 수 있다. 여기서, 차이를 K1이라고 부를 수 있다.
2003 동작에서, 프로세서(110)는 K1과 미리 지정된 값(K0)를 비교할 수 있다. 예를 들면, KO는 0에 근접한 값일 수 있다. 예를 들면, K1이 0부터 255까지의 범위를 가진다면, K0는 1부터 10까지의 범위를 가질 수 있다.
비교 결과, K0가 K1 미만이면, 프로세서(110)는 2005 동작으로 진행하고, 그렇지 않으면, 2007 동작으로 진행할 수 있다.
만일, 2005 동작으로 진행하면, 프로세서(110)는 카메라 모듈(191)의 초점이 맞다고 결정할 수 있다. 한 실시예에 따르면, 그 후에, 프로세서(110)는 카메라 모듈(191)의 초점이 맞음을 디스플레이(160) 상에 표시하거나 스피커(182)를 통해 출력할 수 있다.
만일, 2007 동작으로 진행하면, 프로세서(110)는 카메라 모듈(191)의 초점이 맞지 않다고 결정할 수 있다. 이에 따라, 한 실시예에 따르면, 프로세서(110)는 K1을 기반으로 카메라 모듈(191)의 렌즈를 이동시킬 수 있다. 예를 들면, 프로세서(110)는 위상차 대비 렌즈 이동 테이블을 이용하여 K1에 대응되는 렌즈의 이동 거리를 검출하고, 검출된 이동 거리만큼 카메라 모듈(191)의 렌즈를 이동시킬 수 있다.
도 21은 본 발명의 제2실시예에 따른 전자 장치에서 카메라 모듈의 초점을 자동으로 맞추는 오토 포커싱 기능을 수행하는 흐름도이다. 본 발명을 간단히 설명하기 위해, 제2실시예에서는 픽셀이 적어도 네 개의 포토다이오드들을 포함하며, 네 개의 포토다이오드들 중에서 적어도 세 개에는 투명 필터 영역이 적층되고, 세 개의 포토다이오드들 중에서 적어도 한 쌍이 수평 상에, 적어도 한 쌍이 수직 상에 위치하는 것으로 가정한다.
도 21을 참조하면, 2101 동작에서, 프로세서(110)는 T1의 신호 세기와 T2의 신호 세기간의 제1차이를 계산할 수 있다. 여기서, 제1차이를 K1이라고 부를 수 있다.
2103 동작에서, 프로세서(110)는 K1과 미리 지정된 값(K0)를 비교할 수 있다. 예를 들면, KO는 0에 근접한 값일 수 있다. 예를 들면, K1이 0부터 255까지의 범위를 가진다면, K0는 1부터 10까지의 범위를 가질 수 있다.
비교 결과, K0가 K1 미만이면, 프로세서(110)는 2105 동작으로 진행하고, 그렇지 않으면, 2111 동작으로 진행할 수 있다.
만일, 2111 동작으로 진행하면, 프로세서(110)는 카메라 모듈(191)의 초점이 맞지 않다고 결정할 수 있다. 한 실시예에 따르면, 그 후에, 프로세서(110)는 K1을 기반으로 카메라 모듈(191)의 렌즈를 이동시킬 수 있다. 예를 들면, 프로세서(110)는 위상차 대비 렌즈 이동 테이블을 이용하여 K1에 대응되는 렌즈의 이동 거리를 검출하고, 검출된 이동 거리만큼 카메라 모듈(191)의 렌즈를 이동시킬 수 있다.
만일, 2105 동작으로 진행하면, 프로세서(110)는 T1의 신호 세기와 T3의 신호 세기간의 제2차이를 계산할 수 있다. 여기서, 제2차이를 K2라고 부를 수 있다.
2107 동작에서, 프로세서(110)는 K2와 미리 지정된 값(K0)를 비교할 수 있다. 비교 결과, K0가 K2 미만이면, 프로세서(110)는 2109 동작으로 진행하고, 그렇지 않으면, 2113 동작으로 진행할 수 있다.
만일, 2113 동작으로 진행하면, 프로세서(110)는 카메라 모듈(191)의 초점이 맞지 않다고 결정할 수 있다. 한 실시예에 따르면, 그 후에, 프로세서(110)는 K2를 기반으로 카메라 모듈(191)의 렌즈를 이동시킬 수 있다. 예를 들면, 프로세서(110)는 위상차 대비 렌즈 이동 테이블을 이용하여 K2에 대응되는 렌즈의 이동 거리를 검출하고, 검출된 이동 거리만큼 카메라 모듈(191)의 렌즈를 이동시킬 수 있다.
만일, 2109 동작으로 진행하면, 프로세서(110)는 카메라 모듈(191)의 초점이 맞다고 결정할 수 있다. 한 실시예에 따르면, 그 후에, 프로세서(110)는 카메라 모듈(191)의 초점이 맞음을 디스플레이(160) 상에 표시하거나 스피커(182)를 통해 출력할 수 있다.
도 22은 본 발명의 다양한 실시예에 따른 전자 장치에서 이미지를 저장 및 출력하는 흐름도이다.
도 21을 참조하면, 2201 동작에서, 프로세서(110)는 색 정보를 판독할 수 있다. 예를 들면, 색 정보는 컬러 데이터(예를 들면, 컬러 정보 또는 원색 정보)와 화이트 데이터(예를 들면, 밝기 정보)를 포함할 수 있다.
2203 동작에서, 프로세서(110)는 컬러 데이터 및 화이트 데이터를 기반으로 포커스 데이터(예를 들면, 위상차 정보)를 생성할 수 있다.
2205 동작에서, 프로세서(110)는 컬러 데이터 및 화이트 데이터를 기반으로 YUV 데이터를 생성할 수 있다. 2207 동작에서, 프로세서(110)는 YUV 데이터를 기반으로 디스플레이(160)를 통해 프리뷰 이미지를 출력할 수 있다.
2209 동작에서, 프로세서(110)는 위상차 정보를 기반으로 카메라 모듈(191)의 포커스가 맞았는지 아닌지를 확인할 수 있다. 확인 결과, 카메라 모듈(191)의 포커스가 맞은 경우, 프로세서(110)는 2211 동작으로 진행하고, 그렇지 않으면, 2215 동작으로 진행할 수 있다.
2215 동작으로 진행하는 경우, 프로세서(110)는 위상차 정보를 기반으로 카메라 모듈(191)의 렌즈를 이동시킬 수 있다.
2211 동작으로 진행하는 경우, 프로세서(110)는 이미지 캡처가 요청되는지 여부를 확인할 수 있다. 예를 들면, 이미지 캡처는 카메라를 이용해 피사체를 촬상 또는 촬영하는 것을 말할 수 있다. 확인 결과, 이미지 캡처가 요청되면, 프로세서(110)는 2213 동작으로 진행하고, 그렇지 않으면, 2207 동작으로 진행할 수 있다.
2213 동작으로 진행하는 경우, 프로세서(110)는 카메라 모듈(191)을 통해 이미지를 생성하여 메모리(130)에 저장할 수 있다.
도 22의 흐름도는 다양한 실시예에 따라 동작의 순서가 변경되거나 동작이 생략될 수 있다. 한 실시예에 따르면, 2205 동작이 2203 동작보다 먼저 실행될 수 있다. 한 실시예에 따르면, 2203 동작, 2209 동작, 및 2215 동작은 생략될 수 있다.
다양한 실시예에 따르면, 이미지 센서는 복수의 픽셀들을 포함하며, 상기 복수의 픽셀들 중 적어도 하나의 픽셀은, 마이크로 렌즈와, 상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역과 상기 투과된 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터와, 상기 제 1 색상 신호를 전기적인 신호로 변환하기 위한 제 1 포토다이오드, 및 상기 제 2 색상 신호를 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역의 적어도 두 측면은, 상기 제 2 영역의 적어도 두 측면과 연결될 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역은, 무색에 가까운 컬러를 가질 수 있다.
다양한 실시예에 따르면, 상기 제 2 영역은, 적색(R), 녹색(G), 또는 청색(B) 컬러 필터들 중 적어도 하나일 수 있다.
다양한 실시예에 따르면, 상기 필터는, 적색(R), 녹색(G), 또는 청색(B) 중 하나를 포함하는 상기 제 2 영역 및 상기 제 1 영역으로만 구성될 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역의 적어도 일부(예: 컬러 필터 영역(609))는, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역(예: 투명 필터 영역(607))으로 둘러싸일 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역은, 제 1 및 제 2 투명 필터 영역들(예: 투명 필터 영역들(747, 749))을 포함하고, 상기 제 2 영역(예: 컬러 필터 영역(751))은, 상기 제 1 및 제 2 투명 필터 영역들 사이에 위치될 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역은, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역의 상단에 위치될 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역은, 제 1 및 제 2 투명 필터 영역들(예: 투명 필터 영역들(827, 829))을 포함하고, 상기 제 2 영역은, 제 1 및 제 2 컬러 필터 영역들(예: 컬러 필터 영역들(831, 833)을 포함하고, 상기 제 1 투명 필터 영역 및 상기 제 1 컬러 필터 영역은, 한 축(예: 세로(y) 축)을 기준으로 상기 제 2 투명 필터 영역 및 상기 제 2 컬러 필터 영역과 대칭되는 영역에 위치될 수 있다.
다양한 실시예에 따르면, 상기 제 1 포토다이오드와 상기 제 2 포토다이오드는 서로 유사한 크기를 가질 수 있다.
다양한 실시예에 따른 전자 장치는, 복수의 픽셀들을 포함하는 이미지 센서와 상기 이미지 센서와 기능적으로 연결된 프로세서를 포함하며, 상기 복수의 픽셀들 중 적어도 하나의 픽셀은, 마이크로 렌즈와, 상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역과 상기 투과된 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터와, 상기 제 1 색상 신호를 전기적인 신호로 변환하기 위한 제 1 포토다이오드와 상기 제 2 색상 신호를 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함하고, 상기 프로세서는, 상기 전기적 신호로 변환된 제 1 및 제 2 색상 신호들을 기반으로 하여 밝기 및 컬러 정보를 생성하고, 상기 밝기 및 컬러 정보에 대응하는 이미지를 출력할 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역은, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역으로 둘러싸일 수 있다.
다양한 실시예에 따르면, 상기 제 2 영역은, 제 1 및 제 2 컬러 필터 영역들을 포함하고, 상기 제 1 영역은, 상기 제 1 및 제 2 컬러 필터 영역들 사이에 위치될 수 있다.
다양한 실시예에 따르면, 상기 제 1 영역은, 제 1 및 제 2 투명 필터 영역들을 포함하고, 상기 제 2 영역은, 제 1 및 제 2 컬러 필터 영역들을 포함하고, 상기 제 1 투명 필터 영역(예: 투명 필터 영역(849))은, 상기 제 2 투명 필터 영역(예: 투명 필터 영역(851))의 대각선에 위치되고, 상기 제 1 컬러 필터 영역(예: 컬러 필터 영역(847))은, 상기 제 2 컬러 필터 영역(예: 컬러 필터 영역(853))의 대각선에 위치될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 밝기 정보를 이용하여 자동 초점을 제어할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 밝기 및 컬러 정보를 처리하여 YUV 데이터로 변환할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 밝기 정보를 기반으로 하여 위상차 정보를 생성하며, 상기 위상차 정보를 이용하여 전자 장치의 기능을 제어할 수 있다.
다양한 실시예에 따른 신호 처리 방법은, 이미지 센서에 포함된 적어도 하나의 픽셀에 포함된 하나의 마이크로 렌즈를 통해 광 신호를 수신하는 동작과, 제 1 및 제 2 영역들을 포함하는 필터를 통해 상기 광 신호를 백색 또는 컬러 신호들로 필터링하는 동작과, 복수의 포토다이오드들을 통해 상기 백색 또는 컬러 신호들을 전기적인 신호로 변환하는 동작과, 상기 전기적 신호를 기반으로 결정된 밝기 및 컬러 정보에 대응되는 이미지를 디스플레이를 통해 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 밝기 정보를 기반으로 위상차 정보를 생성하고, 상기 위상차 정보에 따라 카메라부의 렌즈 위치를 조절하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 밝기 정보를 기반으로 이미지 입체 정보를 생성하고, 상기 이미지 입체 정보를 기반으로 3차원 이미지를 생성하는 동작을 더 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예를 들면, 프로세서(110))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
Claims (20)
- 전자 장치에 있어서,
적어도 하나의 카메라 렌즈;
상기 카메라 렌즈를 통해 들어온 광을 전기적 신호로 변환하는 이미지 센서; 및
상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 이미지 센서는 복수의 픽셀들을 포함하고,
상기 복수의 픽셀들 중 각각의 적어도 하나의 픽셀은:
마이크로 렌즈;
상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역 및 상기 투과된 광 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터, 상기 제 1 영역은 상기 제 2 영역의 전체를 둘러싸는 구조임; 및
상기 제 1 색상 신호를 제1 전기적인 신호로 변환하기 위한 제 1 포토다이오드 및 상기 제 2 색상 신호를 제2 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함하고,
상기 적어도 하나의 프로세서는:
상기 제1 포토다이오드 및 상기 제2 포토다이오드를 통해 상기 제1 전기적 신호 및 상기 제2 전기적 신호 각각을 획득하고,
카메라 장치의 촬영 환경의 조도에 따라 상기 제1 전기적 신호 및 상기 제2 전기적 신호의 혼합 비율을 결정하고,
결정된 상기 혼합 비율에 따라 휘도 데이터를 생성하는 전자 장치.
- 제1항에 있어서,
상기 제 1 영역의 적어도 두 측면은, 상기 제 2 영역의 적어도 두 측면과 연결되는 전자 장치.
- 제1항에 있어서,
상기 제 1 영역은, 무색에 가까운 컬러를 가지는 전자 장치.
- 제1항에 있어서,
상기 제 2 영역은, 적색(R) 필터, 녹색(G) 필터, 또는 청색(B) 필터 중 적어도 하나를 포함하는 전자 장치.
- 제1항에 있어서,
상기 필터는 상기 제1 영역 및 상기 제2 영역으로만 구성되고,
상기 제2 영역은 적색(R), 녹색(G), 또는 청색(B) 중 적어도 하나를 포함하는, 전자 장치.
- 제1항에 있어서,
상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역의 적어도 일부는, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역으로 둘러싸인 전자 장치.
- 제1항에 있어서,
상기 제 1 영역은, 제 1 및 제 2 투명 필터 영역들을 포함하고, 상기 제 2 영역은, 상기 제 1 및 제 2 투명 필터 영역들 사이에 위치된 전자 장치.
- 제1항에 있어서,
상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역은, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역의 상단에 위치된 전자 장치.
- 제1항에 있어서,
상기 제 1 영역은, 제 1 및 제 2 투명 필터 영역들을 포함하고, 상기 제 2 영역은, 제 1 및 제 2 컬러 필터 영역들을 포함하고,
상기 제 1 투명 필터 영역 및 상기 제 1 컬러 필터 영역은, 한 축을 기준으로 상기 제 2 투명 필터 영역 및 상기 제 2 컬러 필터 영역과 대칭되는 영역에 위치된 전자 장치.
- 제1항에 있어서,
상기 제 1 포토다이오드와 상기 제 2 포토다이오드는 서로 유사한 크기를 가지는 전자 장치.
- 전자 장치에 있어서,
복수의 픽셀들을 포함하는 이미지 센서; 및
상기 이미지 센서와 기능적으로 연결된 프로세서를 포함하며,
상기 복수의 픽셀들 중 각각의 적어도 하나의 픽셀은,
마이크로 렌즈;
상기 마이크로 렌즈를 통해 투과된 광 신호로부터 제 1 색상 신호를 필터링하기 위한 제 1 영역 및 상기 투과된 광 신호로부터 제 2 색상 신호를 필터링하기 위한 제 2 영역을 포함하는 필터; 및
상기 제 1 색상 신호를 제1 전기적인 신호로 변환하기 위한 제 1 포토다이오드 및 상기 제 2 색상 신호를 제2 전기적인 신호로 변환하기 위한 제 2 포토다이오드를 포함하고,
상기 프로세서는,
상기 제1 포토다이오드 및 상기 제2 포토다이오드를 통해 상기 제1 전기적 신호 및 상기 제2 전기적 신호를 각각 획득하고,
상기 전자 장치의 외부 환경의 조도에 따라 상기 제1 전기적 신호 및 상기 제2 전기적 신호의 혼합 비율을 결정하고,
결정된 상기 혼합 비율에 따라 밝기 정보를 생성하고,
상기 제1 전기적 신호 및 상기 제2 전기적 신호로 변환된 제 1 색상 신호 및 제 2 색상 신호에 적어도 기반하여 컬러 정보를 생성하고, 상기 밝기 정보 및 상기 컬러 정보에 대응하는 이미지를 출력하도록 구성되고,
상기 제1 영역은 상기 제2 영역의 전체를 둘러싸는, 전자 장치.
- 제11항에 있어서,
상기 제 1 영역 및 상기 제 2 영역 중 하나의 영역은, 상기 제 1 영역 및 상기 제 2 영역 중 다른 하나의 영역으로 둘러싸인 전자 장치.
- 제11항에 있어서,
상기 제 2 영역은, 제 1 컬러 필터 영역 및 제 2 컬러 필터 영역을 포함하고, 상기 제 1 영역은, 상기 제 1 및 제 2 컬러 필터 영역들 사이에 위치된 전자 장치.
- 제11항에 있어서,
상기 제 1 영역은, 제 1 투명 필터 영역 및 제 2 투명 필터 영역을 포함하고, 상기 제 2 영역은, 제 1 컬러 필터 영역 및 제 2 컬러 필터 영역을 포함하고,
상기 제 1 투명 필터 영역은, 상기 제 2 투명 필터 영역의 대각선에 위치되고, 상기 제 1 컬러 필터 영역은, 상기 제 2 컬러 필터 영역의 대각선에 위치된 전자 장치.
- 제11항에 있어서,
상기 프로세서는, 상기 밝기 정보를 이용하여 자동 초점을 제어하는 전자 장치.
- 제11항에서,
상기 프로세서는, 상기 밝기 정보 및 상기 컬러 정보를 처리하여 YUV 데이터로 변환하는 전자 장치.
- 제11항에서,
상기 프로세서는, 상기 밝기 정보에 적어도 기반하여 위상차 정보를 생성하며, 상기 위상차 정보를 이용하여 전자 장치의 기능을 제어하는 전자 장치.
- 전자 장치의 동작 방법에 있어서, 이미지 센서에 포함된 복수의 픽셀들 중 각각의 적어도 하나의 픽셀에 포함된 하나의 마이크로 렌즈를 통해 광 신호를 수신하는 동작;
제 1 영역 및 제 2 영역을 포함하는 필터를 통해 상기 광 신호를 백색 신호 및 컬러 신호로 필터링하는 동작, 상기 제 1 영역은 상기 제 2 영역의 전체를 둘러싸는 구조임;
복수의 포토다이오드들을 통해 상기 백색 신호 및 상기 컬러 신호를 전기적인 신호로 변환하는 동작;
상기 전자 장치의 외부 환경의 조도에 따라 상기 백색 신호 및 상기 컬러 신호의 혼합 비율을 결정하는 동작;
상기 혼합 비율에 따라 밝기 정보를 생성하는 동작; 및
상기 밝기 정보 및 상기 전기적인 신호를 기반으로 결정된 컬러 정보에 대응되는 이미지를 디스플레이를 통해 출력하는 동작을 포함하는 전자 장치의 동작 방법.
- 제18항에 있어서,
상기 밝기 정보에 적어도 기반하여 위상차 정보를 생성하고, 상기 위상차 정보에 따라 카메라부의 렌즈 위치를 조절하는 동작을 더 포함하는 전자 장치의 동작 방법.
- 제18항에 있어서,
상기 밝기 정보에 적어도 기반하여 이미지 입체 정보를 생성하고, 상기 이미지 입체 정보에 적어도 기반하여 3차원 이미지를 생성하는 동작을 더 포함하는 전자 장치의 동작 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150105135A KR102348760B1 (ko) | 2015-07-24 | 2015-07-24 | 이미지 센서 및 그에 따른 신호 처리 방법 |
| US15/211,623 US10404952B2 (en) | 2015-07-24 | 2016-07-15 | Image sensor and signal processing method thereof |
| CN201610584839.3A CN106375739B (zh) | 2015-07-24 | 2016-07-22 | 图像传感器及其信号处理方法 |
| EP16180857.1A EP3133647B1 (en) | 2015-07-24 | 2016-07-22 | Image sensor and signal processing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150105135A KR102348760B1 (ko) | 2015-07-24 | 2015-07-24 | 이미지 센서 및 그에 따른 신호 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170011818A KR20170011818A (ko) | 2017-02-02 |
| KR102348760B1 true KR102348760B1 (ko) | 2022-01-07 |
Family
ID=56893672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150105135A KR102348760B1 (ko) | 2015-07-24 | 2015-07-24 | 이미지 센서 및 그에 따른 신호 처리 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10404952B2 (ko) |
| EP (1) | EP3133647B1 (ko) |
| KR (1) | KR102348760B1 (ko) |
| CN (1) | CN106375739B (ko) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180288306A1 (en) * | 2017-03-30 | 2018-10-04 | Qualcomm Incorporated | Mask-less phase detection autofocus |
| CN107105140B (zh) * | 2017-04-28 | 2020-01-24 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107040724B (zh) * | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107124556B (zh) * | 2017-05-31 | 2021-03-02 | Oppo广东移动通信有限公司 | 对焦方法、装置、计算机可读存储介质和移动终端 |
| US10593712B2 (en) * | 2017-08-23 | 2020-03-17 | Semiconductor Components Industries, Llc | Image sensors with high dynamic range and infrared imaging toroidal pixels |
| US10930709B2 (en) | 2017-10-03 | 2021-02-23 | Lockheed Martin Corporation | Stacked transparent pixel structures for image sensors |
| US10249800B1 (en) | 2017-10-03 | 2019-04-02 | Lockheed Martin Corporation | Stacked transparent pixel structures for electronic displays |
| US10510812B2 (en) | 2017-11-09 | 2019-12-17 | Lockheed Martin Corporation | Display-integrated infrared emitter and sensor structures |
| US10979699B2 (en) | 2018-02-07 | 2021-04-13 | Lockheed Martin Corporation | Plenoptic cellular imaging system |
| US10951883B2 (en) | 2018-02-07 | 2021-03-16 | Lockheed Martin Corporation | Distributed multi-screen array for high density display |
| US10690910B2 (en) | 2018-02-07 | 2020-06-23 | Lockheed Martin Corporation | Plenoptic cellular vision correction |
| US10838250B2 (en) | 2018-02-07 | 2020-11-17 | Lockheed Martin Corporation | Display assemblies with electronically emulated transparency |
| US11616941B2 (en) | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
| US10594951B2 (en) | 2018-02-07 | 2020-03-17 | Lockheed Martin Corporation | Distributed multi-aperture camera array |
| US10652529B2 (en) | 2018-02-07 | 2020-05-12 | Lockheed Martin Corporation | In-layer Signal processing |
| CN108600712B (zh) * | 2018-07-19 | 2020-03-31 | 维沃移动通信有限公司 | 一种图像传感器、移动终端及图像拍摄方法 |
| CN112956189B (zh) * | 2018-09-18 | 2023-11-14 | 直观外科手术操作公司 | 用于增强的图像传感器定时的方法和系统 |
| US10866413B2 (en) | 2018-12-03 | 2020-12-15 | Lockheed Martin Corporation | Eccentric incident luminance pupil tracking |
| US10698201B1 (en) | 2019-04-02 | 2020-06-30 | Lockheed Martin Corporation | Plenoptic cellular axis redirection |
| CN110290328B (zh) * | 2019-07-04 | 2021-11-09 | Oppo广东移动通信有限公司 | 一种对焦方法、装置、终端和计算机存储介质 |
| CN110418055B (zh) * | 2019-07-08 | 2021-08-20 | Oppo广东移动通信有限公司 | 对焦方法、图像传感器及计算机存储介质 |
| EP4060986A4 (en) * | 2019-11-20 | 2022-11-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE SENSOR, CONTROL METHOD, CAMERA ASSEMBLY, AND MOBILE TERMINAL |
| CN114424517B (zh) * | 2019-11-28 | 2024-03-01 | Oppo广东移动通信有限公司 | 图像传感器、控制方法、摄像头组件及移动终端 |
| KR20210080875A (ko) | 2019-12-23 | 2021-07-01 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| KR20220068034A (ko) | 2020-11-18 | 2022-05-25 | 삼성전자주식회사 | 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치 |
| KR20230103470A (ko) * | 2021-12-31 | 2023-07-07 | 삼성전자주식회사 | Udc를 포함한 전자 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007158692A (ja) * | 2005-12-05 | 2007-06-21 | Nikon Corp | 固体撮像素子及びこれを用いた電子カメラ |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4050906B2 (ja) | 2002-01-25 | 2008-02-20 | 富士フイルム株式会社 | 固体撮像装置 |
| EP1679907A1 (en) * | 2005-01-05 | 2006-07-12 | Dialog Semiconductor GmbH | Hexagonal color pixel structure with white pixels |
| WO2007011026A1 (ja) | 2005-07-22 | 2007-01-25 | Nikon Corporation | 撮像素子、焦点検出装置および撮像システム |
| US7821553B2 (en) * | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
| US20070159542A1 (en) | 2006-01-12 | 2007-07-12 | Gang Luo | Color filter array with neutral elements and color image formation |
| JP5262180B2 (ja) * | 2008-02-26 | 2013-08-14 | ソニー株式会社 | 固体撮像装置及びカメラ |
| JP5359465B2 (ja) * | 2009-03-31 | 2013-12-04 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
| US20110285713A1 (en) * | 2010-05-21 | 2011-11-24 | Jerzy Wieslaw Swic | Processing Color Sub-Pixels |
| WO2012073402A1 (ja) | 2010-12-01 | 2012-06-07 | パナソニック株式会社 | 固体撮像装置およびその製造方法 |
| JP5709532B2 (ja) * | 2011-01-05 | 2015-04-30 | キヤノン株式会社 | 自動合焦装置及びそれを有するレンズ装置及び撮像システム |
| KR20120119279A (ko) * | 2011-04-21 | 2012-10-31 | 삼성전자주식회사 | 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서 |
| JP6039165B2 (ja) | 2011-08-11 | 2016-12-07 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| US20130070140A1 (en) * | 2011-09-21 | 2013-03-21 | Robert Gove | Image sensors with multiple lenses of varying polarizations |
| WO2013054160A1 (en) * | 2011-10-11 | 2013-04-18 | Sony Ericsson Mobile Communications Ab | Light sensitive, low height, and high dynamic range camera |
| US8866944B2 (en) * | 2012-12-28 | 2014-10-21 | Visera Technologies Company Limited | Method for correcting pixel information of color pixels on a color filter array of an image sensor |
| JP6234054B2 (ja) | 2013-04-25 | 2017-11-22 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
| KR20150006755A (ko) * | 2013-07-09 | 2015-01-19 | 삼성전자주식회사 | 이미지 생성 장치, 이미지 생성 방법 및 비일시적 기록 매체 |
| US20150054997A1 (en) * | 2013-08-23 | 2015-02-26 | Aptina Imaging Corporation | Image sensors having pixel arrays with non-uniform pixel sizes |
| JP6233188B2 (ja) | 2013-12-12 | 2017-11-22 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
| JP6369233B2 (ja) * | 2014-09-01 | 2018-08-08 | ソニー株式会社 | 固体撮像素子及びその信号処理方法、並びに電子機器 |
| CN104581100A (zh) * | 2015-02-12 | 2015-04-29 | 张李静 | 色彩滤镜阵列和图像处理方法 |
-
2015
- 2015-07-24 KR KR1020150105135A patent/KR102348760B1/ko active IP Right Grant
-
2016
- 2016-07-15 US US15/211,623 patent/US10404952B2/en active Active
- 2016-07-22 EP EP16180857.1A patent/EP3133647B1/en active Active
- 2016-07-22 CN CN201610584839.3A patent/CN106375739B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007158692A (ja) * | 2005-12-05 | 2007-06-21 | Nikon Corp | 固体撮像素子及びこれを用いた電子カメラ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3133647B1 (en) | 2019-04-17 |
| US10404952B2 (en) | 2019-09-03 |
| KR20170011818A (ko) | 2017-02-02 |
| CN106375739A (zh) | 2017-02-01 |
| US20170026622A1 (en) | 2017-01-26 |
| EP3133647A2 (en) | 2017-02-22 |
| EP3133647A3 (en) | 2017-04-19 |
| CN106375739B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102348760B1 (ko) | 이미지 센서 및 그에 따른 신호 처리 방법 | |
| US11418751B2 (en) | Electronic device and method for generating image data | |
| KR102392751B1 (ko) | 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법 | |
| US10764521B2 (en) | Image sensor and electronic device comprising the same | |
| KR20170056909A (ko) | 이미지 센서 및 이를 포함하는 전자 장치 | |
| KR20170005756A (ko) | 전자 장치 및 전자 장치에서의 디스플레이 제어 방법 | |
| KR20170098089A (ko) | 전자 장치 및 그의 동작 방법 | |
| KR20160031706A (ko) | 이미지의 잡음 특성 개선 방법 및 그 전자 장치 | |
| US10339672B2 (en) | Method and electronic device for verifying light source of images | |
| EP3471400B1 (en) | Image signal processor, and electronic device | |
| US20200213494A1 (en) | Method for processing image on basis of external light, and electronic device supporting same | |
| KR20170048792A (ko) | 이미지 처리 장치 및 이의 동작 방법 | |
| US20170123185A1 (en) | Lens assembly and electronic device with the same | |
| EP3159724A1 (en) | Lens assembly and electronic device with the same | |
| KR20180074368A (ko) | 이미지 처리 방법 및 이를 지원하는 전자 장치 | |
| KR20200094500A (ko) | 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법 | |
| KR102694982B1 (ko) | 전자 장치 및 그 제어 방법 | |
| CN107870038B (zh) | 用于检测入射光的波长光谱的方法和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |