KR20220127003A - 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈 - Google Patents

이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈 Download PDF

Info

Publication number
KR20220127003A
KR20220127003A KR1020210031465A KR20210031465A KR20220127003A KR 20220127003 A KR20220127003 A KR 20220127003A KR 1020210031465 A KR1020210031465 A KR 1020210031465A KR 20210031465 A KR20210031465 A KR 20210031465A KR 20220127003 A KR20220127003 A KR 20220127003A
Authority
KR
South Korea
Prior art keywords
color filters
image
signal
image sensor
color
Prior art date
Application number
KR1020210031465A
Other languages
English (en)
Inventor
문경환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210031465A priority Critical patent/KR20220127003A/ko
Priority to US17/672,074 priority patent/US20220293653A1/en
Priority to CN202210175863.7A priority patent/CN115084173A/zh
Publication of KR20220127003A publication Critical patent/KR20220127003A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N9/0455—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N5/37455—
    • H04N5/3765—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 개시의 기술적 사상에 따른 이미지 센서는, 픽셀 어레이, 픽셀 어레이 상에 행열로 배치되는 복수의 컬러 필터를 포함하며, 상기 복수의 컬러 필터가 각각 3행 3열로 배치된 9개의 컬러 필터들을 포함하는 복수의 그룹으로 구분되는, 컬러 필터 어레이, 및 컬러 필터 어레이 상에 배치되는 마이크로 렌즈 어레이를 포함하고, 복수의 그룹 각각에 포함되는 상기 9개의 컬러 필터들 중 복수의 제1 컬러 필터들은 대각선 방향으로 서로 대향하게 위치하고, 상기 9개의 컬러 필터들 중 복수의 제2 컬러 필터들은 해당 그룹에 대응하는 동일한 컬러 필터들을 각각 포함하는 것을 특징으로 하는 이미지 센서.

Description

이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈{Image sensor and Camera Module including the same}
본 개시의 기술적 사상은 이미지 센서 및 이미지 센서를 포함하는 카메라 모듈에 관한 것으로, 자세하게는 이미지 센서의 컬러 필터 어레이 및 마이크로 렌즈 어레이의 레이아웃 구조에 관한 것이다.
이미지 센서는 컬러 필터 어레이(Color Filter Array; CFA)를 포함하고, 컬러 필터 어레이를 통해 특정한 파장 대역을 가진 빛을 투과시킴으로써 컬러 정보를 감지할 수 있다. 베이어 필터(Bayer Filter)는, 레드 필터 및 그린 필터가 반복되는 로우와 그린 필터 및 블루 필터가 반복되는 로우로 형성되는 컬러 필터 어레이이다. 최근에는 모든 파장 대역의 빛을 투과시키는 화이트 필터를 적용하여 레드 필터 및 그린 필터가 반복되는 로우와 그린 필터 및 화이트 필터가 반복되는 로우로 형성되는 컬러 필터 어레이가 도입되었다.
본 개시의 기술적 사상이 해결하려는 과제는, 픽셀 레이아웃 구조에 기초하여, 저조도 화질 개선이 가능하고 고속의 상면 위상차 오토 포커싱을 위한 위상차 검출 신호 쌍을 제공하는 이미지 센서를 제공하는 데 있다.
본 개시의 기술적 사상에 따른 이미지 센서는, 픽셀 어레이, 픽셀 어레이 상에 행열로 배치되는 복수의 컬러 필터를 포함하며, 상기 복수의 컬러 필터가 각각 3행 3열로 배치된 9개의 컬러 필터들을 포함하는 복수의 그룹으로 구분되는 컬러 필터 어레이, 및 컬러 필터 어레이 상에 배치되는 마이크로 렌즈 어레이를 포함하고, 복수의 그룹 각각에 포함되는 9개의 컬러 필터들 중 복수의 제1 컬러 필터들은 대각선 방향으로 서로 대향하게 위치하고, 9개의 컬러 필터들 중 복수의 제2 컬러 필터들은 해당 그룹에 대응하는 동일한 컬러 필터들을 각각 포함하는 것을 특징으로 한다.
본 개시의 기술적 사상에 따른 이미지 센서는, 픽셀 어레이, 픽셀 어레이 상에 행열로 배치되는 복수의 컬러 필터를 포함하고, 복수의 컬러 필터가 각각 3행 3열로 배치된 9개의 컬러 필터들로서, 복수의 제1 컬러 필터들 및 복수의 제2 컬러 필터들을 포함하는 복수의 그룹으로 구분되는 컬러 필터 어레이, 및 컬러 필터 어레이 상에 배치되는 마이크로 렌즈 어레이를 포함하고, 마이크로 렌즈 어레이는 복수의 컬러 필터 중 4개의 인접한 제1 컬러 필터들 상에 배치되는 제1 마이크로 렌즈 및 복수의 컬러 필터 중 복수의 제2 컬러 필터들 상에 각각 배치되는 제2 마이크로 렌즈들을 포함한다.
본 개시의 기술적 사상에 따른 픽셀 레이아웃이 적용되는 이미지 센서는, 화이트 필터가 각각 배치되는 4개의 인접한 화이트 픽셀들과 RGB 컬러 필터가 각각 배치되는 7개의 인접한 RGB 픽셀들을 포함할 수 있다. 저조도 환경에서 4개의 화이트 픽셀들로부터 화이트 픽셀 값을 출력하고 7개의 RGB 픽셀들로부터 RGB 픽셀 값을 출력함으로써, 이미지 신호의 감도를 향상시켜 저조도 화질을 개선할 수 있다.
본 개시의 기술적 사상에 따른 픽셀 레이아웃이 적용되는 이미지 센서는, 4개의 화이트 픽셀들로부터 출력되는 화이트 픽셀 값과 7개의 RGB 픽셀들로부터 출력되는 RGB 픽셀 값이 동일 범위의 비트 심도(bit depth)로 표현됨에 따라, 이미지 센서의 동작 범위가 개선되고, 인접한 픽셀들 사이의 색상 보간(interpolation) 과정이 개선될 수 있다.
또한, 본 개시의 기술적 사상에 따른 픽셀 레이아웃이 적용되는 이미지 센서는, 4개의 화이트 픽셀들 상에 공유되는 하나의 마이크로 렌즈를 배치함으로써 고속의 상면 위상차 오토 포커싱(Auto-Focusing)을 위한 위상차 검출 신호를 제공할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 컬러 필터 어레이의 레이아웃을 나타내는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 컬러 필터 어레이의 레이아웃을 나타내는 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 픽셀 레이아웃을 나타내는 블록도이다.
도 6은 본 개시의 예시적 실시예에 따른 픽셀 레이아웃을 나타내는 블록도이다.
도 7은 본 개시의 예시적 실시예에 따른 상면 위상차 검출을 위한 광전 변환 소자들의 레이아웃을 나타내는 블록도이다.
도 8은 본 개시의 예시적 실시예에 따른 픽셀 어레이에 구비되는 픽셀의 수직 단면도를 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 광전 변환 소자의 회로도를 나타낸다.
도 10은 복수의 픽셀들을 포함하는 이미지 센서의 리드 아웃 방법을 나타낸다.
도 11은 본 개시의 예시적 실시예에 따른 상면 위상차 검출을 위한 이미지 센서의 개략적인 블록도이다.
도 12는 본 개시의 예시적 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 13은 본 개시의 예시적 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 14는 본 개시의 예시적 실시예에 따른 도 12 및 도 13의 카메라 모듈의 상세 블록도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 센서를 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 디코더(120), 아날로그-디지털 변환 회로(130)(이하 ADC 회로), 타이밍 컨트롤러(140), 이미지 신호 프로세서(150)를 포함할 수 있다.
픽셀 어레이(110)는 복수의 로우 라인(RL), 복수의 컬럼 라인(CL) 및 복수의 로우 라인(RL) 및 복수의 컬럼 라인(CL)과 접속되며 행열로 배열된 복수의 픽셀(PX)을 포함할 수 있다. 일부 실시예들에서, 픽셀 어레이(110)는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)로 구현될 수 있다. 광학 렌즈를 통해 투과된 광학 신호는 픽셀 어레이(110)의 수광면에 이르러 피사체의 상을 결상할 수 있다. 픽셀 어레이(110)는 광전 변환 소자를 이용하여 수신되는 빛을 감지하고, 감지된 빛에 따른 전기적 신호인 픽셀 신호를 출력할 수 있다. 예를 들어, 광전 변환 소자는 포토(photo) 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등으로 구현될 수 있다.
이미지 센서(100)는 컬러 필터 어레이(미도시) 및 마이크로 렌즈 어레이(미도시)를 더 포함할 수 있다. 픽셀 어레이(110)의 상부에 컬러 필터 어레이 및 마이크로 렌즈 어레이가 순서대로 적층될 수 있다. 이미지 센서(100)는 마이크로 렌즈 어레이를 통해 집광된 광학 신호를 수신하고, 컬러 필터 어레이를 통해 특정한 파장 대역의 광학 신호를 픽셀 어레이(110)로 투과시킴으로써 컬러 정보를 감지할 수 있다.
로우 디코더(120)는 타이밍 컨트롤러(140)의 제어에 따라, 각 로우에 배치된 픽셀들(PX)의 작동을 제어할 수 있는 복수의 제어 신호를 생성할 수 있다. 로우 디코더(120)는 복수의 로우 라인들(RL)을 통해 복수의 제어 신호를 복수의 픽셀(PX)에 제공할 수 있다. 로우 디코더(120)로부터 제공되는 복수의 제어 신호에 응답하여, 픽셀 어레이(110)가 로우 단위로 구동될 수 있다. 이에 따라, 픽셀 어레이(110)의 복수의 픽셀(PX)이 로우 단위로 차례로 픽셀 신호들을 출력할 수 있다. 이때 픽셀 신호는 픽셀(PX)의 리셋 레벨을 나타내는 리셋 신호 및 광전 변환 소자로부터 생성되는 이미지 신호를 포함할 수 있다.
ADC 회로(130)는 복수의 컬럼 라인(CL)을 통해 수신되는 복수의 센싱 신호들 각각을 아날로그-디지털 변환할 수 있다. ADC 회로(130)는 복수의 컬럼 라인들(CL) 각각에 대응하는 아날로그-디지털 변환기를 포함할 수 있으며, ADC 회로(130)는 대응하는 컬럼 라인(CL)을 통해 수신되는 센싱 신호를 픽셀 값으로 변환할 수 있다. 이미지 센서(110)의 동작 모드에 따라, 픽셀 값은 각 픽셀에 센싱되는 광 량을 나타내거나 픽셀 그룹에 포함된 복수의 픽셀들에 센싱되는 광 량을 나타낼 수 있다.
타이밍 컨트롤러(140)는 로우 디코더(120) 및 ADC 회로(130)의 동작을 제어하는 타이밍 제어 신호들을 생성할 수 있다. 로우 디코더(120)는 타이밍 컨트롤러(140)로부터 수신되는 타이밍 제어 신호들을 기초로 픽셀 어레이(110)를 로우 단위로 구동할 수 있다. ADC 회로(130)는 타이밍 제어 신호들을 기초로 복수의 컬럼 라인(CL)을 통해 수신되는 복수의 센싱 신호를 픽셀 값으로 변환할 수 있다.
이미지 신호 프로세서(150)는 ADC 회로(130)로부터 가공되지 않은 이미지 데이터를 수신하고, 이미지 신호 처리를 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스 토크 보상 및 배드 픽셀 보정 등의 신호 처리를 수행할 수 있다. 도 1에서 이미지 신호 프로세서(150)는 이미지 센서(100) 안에 포함되는 것으로 도시되어 있으나, 이미지 신호 프로세서(150)는 이미지 센서(100) 외부의 프로세서에 구비될 수도 있다.
일부 실시예들에서, 이미지 센서(100)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있으며, 특히 오토 포커싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 센서(100)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)), 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 센서(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 2를 참조하면, 이미지 센서(100a)는 픽셀 어레이(110), 컬러 필터 어레이(111), 마이크로 렌즈 어레이(112)를 포함할 수 있다. 픽셀 어레이(110) 상부에 컬러 필터 어레이(111) 및 마이크로 렌즈 어레이(112)가 순서대로 적층될 수 있다.
픽셀 어레이(110)는 행열로 배치된 복수의 픽셀(PX)을 포함할 수 있다. 인접한 복수의 픽셀(PX)은 픽셀 그룹을 형성할 수 있다. 예를 들어, 복수의 픽셀(PX)은 각각 3행 3열로 배치된 9개의 인접한 픽셀들을 포함하는 복수의 픽셀 그룹으로 구분될 수 있다. 이미지 센서의 동작 모드에 따라 인접한 복수의 픽셀(PX)으로부터 생성된 이미지 신호가 픽셀 값으로 출력될 수 있고, 저조도 환경에서 이미지 신호의 감도를 향상시켜 화질을 개선할 수 있다. 도 8에서 후술되는 바와 같이, 픽셀 어레이(110)는 인접한 복수의 픽셀 간의 간섭을 줄이기 위해 복수의 소자 분리막(예컨대, 깊은 트렌치 아이솔레이션 (Deep Trench Isolation; DTI))을 포함하여 설계될 수 있다.
컬러 필터 어레이(111)는 픽셀 어레이(110) 상에 행열로 배치되는 복수의 컬러 필터(CF)를 포함할 수 있다. 픽셀 어레이(110)에 포함된 복수의 픽셀(PX)이 복수의 픽셀 그룹으로 구분되는 경우, 컬러 필터 어레이(111)에 포함된 복수의 컬러 필터(CF)는 픽셀 그룹에 대응하는 그룹으로 구분될 수 있다. 예를 들어, 복수의 컬러 필터(CF)는 각각 3행 3열로 배치된 9개의 컬러 필터들을 포함하는 복수의 그룹으로 구분될 수 있다.
컬러 필터 어레이(111)는 마이크로 렌즈 어레이(112)를 통해 입사되는 빛 중 복수의 컬러 필터(CF) 각각에 대응하는 특정한 파장 대역의 빛을 투과시킬 수 있다. 투과된 빛은 픽셀 어레이(110)에 입사될 수 있다. 예를 들어, 복수의 컬러 필터(CF)는 레드(Red) 필터, 그린(Green) 필터, 블루(Blue) 필터를 포함할 수 있다. 레드 필터는 가시광 영역 중에서 레드 영역과 동일한 파장 대역의 빛을 투과시킬 수 있다. 그린 필터는 가시광 영역 중에서 그린 영역과 동일한 파장 대역의 빛을 투과시킬 수 있다. 예를 들어, 그린 필터는 그린-온-레드(Green-on-Red) 필터 또는 그린-온-블루(Green-on-Blue) 필터를 포함할 수 있다. 블루 필터는 가시광 영역 중에서 블루 영역과 동일한 파장 대역의 빛을 투과시킬 수 있다. 그러나, 이에 한정되는 것은 아니며, 예를 들어, 복수의 컬러 필터(CF)는 시안(Cyan) 필터, 옐로우(Yellow) 필터, 마젠타(Magenta) 필터 등을 포함할 수 있다.
컬러 필터 어레이(111)는 화이트(White) 필터를 더 포함할 수 있다. 예를 들어, 화이트 필터는 투명 필터 또는 클리어(Clear) 필터 등으로 지칭될 수 있다. 레드 필터, 그린 필터 및 블루 필터(이하, RGB 컬러 필터)는 특정한 파장 대역의 빛만을 통과시키나, 화이트 필터는 모든 파장 대역의 빛을 통과시킬 수 있다. 화이트 필터가 배치된 픽셀은 RGB 컬러 필터가 배치된 픽셀보다 큰 감도를 나타내어 저조도 화질을 개선할 수 있다.
마이크로 렌즈 어레이(112)는 광학 렌즈를 통해 투과된 광학 신호를 복수의 픽셀(PX) 각각의 중앙으로 집광시킬 수 있다. 마이크로 렌즈 어레이(112)는 복수의 마이크로 렌즈(ML)를 포함할 수 있다. 마이크로 렌즈 어레이(112)는 복수의 컬러 필터(CF) 상에 마이크로 렌즈가 각각 배치되는 구조를 가질 수 있다. 또는, 마이크로 렌즈 어레이(112)는 상면 위상차 검출을 위한 구조로서, 복수의 컬러 필터(CF) 상에 하나의 마이크로 렌즈가 배치되는 구조를 가질 수도 있다.
도 3은 본 개시의 예시적 실시예에 따른 컬러 필터 어레이 레이아웃을 나타내는 블록도이다.
도 3을 참조하면, 컬러 필터 어레이(111a)에 포함된 복수의 컬러 필터는 복수의 그룹(G1 내지 G4)으로 구분될 수 있다. 복수의 그룹(G1 내지 G4) 각각은 3행 3열로 배치된 9개의 컬러 필터들(CF1, CF2)을 포함할 수 있다. 9개의 컬러 필터들(CF1, CF2)은 2개의 제1 컬러 필터들(CF1) 및 7개의 제2 컬러 필터들(CF2)을 포함할 수 있다. 2개의 제1 컬러 필터들(CF1)은 대각선 방향으로 서로 대향하게 위치할 수 있다. 7개의 제2 컬러 필터들(CF2)은 해당 그룹에 대응하는 동일한 컬러 필터들로 각각 구성될 수 있다. 본 명세서에서, 대각선 방향은 X축 방향과 Y축 방향 사이를 나타내며, 양 방향의 대각선 방향을 모두 포함할 수 있다.
9개의 컬러 필터들 중 2개의 제1 컬러 필터들(CF1)은 각각 화이트 필터(W)로 구성될 수 있고, 9개의 컬러 필터들 중 7개의 제2 컬러 필터들(CF2)은 해당 그룹에 대응하여 특정한 파장 대역의 빛을 통과시키는 동일한 컬러 필터들로 구성될 수 있다. 예를 들어, 각 그룹에 포함되는 7개의 제2 컬러 필터들(CF2)은 7개의 레드 필터들(R), 7개의 그린 필터들(Gr, Gb), 7개의 블루 필터들(B) 등으로 구성될 수 있다.
복수의 그룹(G1 내지 G4) 각각에 포함되는 2개의 제1 컬러 필터들(CF1) 중 어느 하나는 로우 방향으로 인접한 그룹에 포함된 제1 컬러 필터들 중 어느 하나와 인접하고, 동시에 칼럼 방향으로 인접한 그룹에 포함된 제1 컬러 필터들 중 어느 하나와 인접하도록 배치될 수 있다. 예를 들어, 제1 그룹(G1)에 포함된 제1 컬러 필터(CF1)는 로우 방향으로 인접한 제2 그룹(G2)에 포함된 제1 컬러 필터(CF1)과 인접하고 동시에, 칼럼 방향으로 인접한 제3 그룹(G3)에 포함된 제1 컬러 필터(CF1)와 인접하게 배치될 수 있다. 따라서, 4개의 제1 컬러 필터들(CF1)이 인접하게 배치되는 구조가 형성될 수 있다. 도 5에서 후술되는 바와 같이, 4개의 인접한 제1 컬러 필터들(CF1) 상에 하나의 마이크로 렌즈가 배치될 수 있다.
도 3에는 복수의 컬러 필터가 4개의 그룹(G1 내지 G4)으로 구분되는 것으로 도시되어 있으나, 이에 한정되지 않으며, 컬러 필터 어레이(111a)는 각각 3행 3열로 배치된 9개의 컬러 필터들을 포함하는 복수의 그룹이 반복되어 형성될 수 있다.
도 4는 본 개시의 예시적 실시예에 따른 컬러 필터 어레이 레이아웃의 예시를 나타내는 블록도이다. 이하, 도 4는 도 3을 참조하여 후술될 것이다.
도 4를 참조하면, 복수의 컬러 필터 중 제1 컬러 필터들(CF1) 각각은 화이트 필터(W)에 대응할 수 있고, 복수의 컬러 필터 중 제2 컬러 필터들(CF2) 각각은 특정 패턴에 기초한 컬러 필터에 대응할 수 있다.
일부 실시예들에서, 복수의 컬러 필터 중 제2 컬러 필터들(CF2)의 구성은 베이어 필터(Bayer Filter)를 따를 수 있다. 베이어 필터는 레드 필터 및 그린 필터가 반복되는 로우와 그린 필터 및 블루 필터가 반복되는 로우로 형성될 수 있다. 예를 들어, 컬러 필터 어레이(111b)에서 제1 그룹(G1)과 제2 그룹(G2)이 제1 로우 방향으로 인접할 수 있다. 베이어 필터에 기초하여, 제1 그룹(G1)의 7개의 제2 컬러 필터들(CF2) 각각은 레드 필터(R)일 수 있고, 제2 그룹(G2)의 7개의 제2 컬러 필터들(CF2) 각각은 그린 필터(Gr)일 수 있다. 제3 그룹(G3)은 제1 그룹(G1)과 칼럼 방향으로 인접하고, 제4 그룹(G4)은 제2 그룹(G2)와 칼럼 방향으로 인접할 수 있다. 제3 그룹(G3)의 7개의 제2 컬러 필터들(CF2) 각각은 그린 필터(Gb)이고, 제4 그룹(G4)의 7개의 제2 컬러 필터들(CF2) 각각은 블루 필터(B)일 수 있다. 도 4에는 복수의 컬러 필터 중 제2 컬러 필터들(CF2)이 베이어 필터에 기초하여 구성되는 것으로 도시되어 있으나, 이에 한정되지 않으며, 다양한 패턴에 기초하여 가변될 수 있다.
도 2에 전술한 바와 같이, 화이트 필터는 모든 파장의 빛을 투과시키므로 화이트 필터가 배치된 픽셀은 RGB 컬러 필터가 각각 배치된 RGB 픽셀보다 큰 감도를 나타낸다. 이에 따라, 화이트 필터를 포함하는 컬러 필터 어레이가 적용된 이미지 센서는, 이미지 신호가 포화되거나 이미지 센서의 동작 범위(dynamic range)가 줄어드는 문제점이 있었다.
본 개시의 기술적 사상에 따른 픽셀 레이아웃이 적용되는 이미지 센서는, 화이트 필터가 배치되는 4개의 인접한 화이트 픽셀들과 RGB 컬러 필터가 각각 배치되는 7개의 인접한 RGB 픽셀들을 포함할 수 있다. 저조도 환경에서 4개의 화이트 픽셀로부터 생성된 이미지 신호가 화이트 픽셀 값으로 출력되고, 7개의 RGB 픽셀들로부터 생성된 이미지 신호가 각각 RGB 픽셀 값으로 출력될 수 있다. 이에 따라, 저조도 환경에서 이미지 신호의 감도를 향상시켜 화질이 개선될 수 있다.
또한, 화이트 픽셀 값과 RGB 픽셀 값이 동일 범위의 비트 심도(bit depth)로 표현됨에 따라 이미지 센서의 동작 범위가 개선될 수 있으며, 인접한 픽셀들 간의 색상 보간(interpolation) 과정이 개선될 수 있다.
도 5는 본 개시의 예시적 실시예에 따른 픽셀 레이아웃을 나타내는 블록도이다.
도 5를 참조하면, 컬러 필터 어레이(111b) 상부에 복수의 마이크로 렌즈를 포함하는 마이크로 렌즈 어레이(112a)가 배치될 수 있다. 일부 실시예들에서, 컬러 필터 어레이(111b)는 도 4에 도시된 컬러 필터 어레이(111b)의 레이아웃을 가질 수 있다.
복수의 컬러 필터 중 4개의 인접한 화이트 필터들(W) 상에 제1 마이크로 렌즈(ML1)가 배치될 수 있다. 예를 들어, 제1 그룹(G1)에 포함된 화이트 필터(W), 제2 그룹(G2)에 포함된 화이트 필터(W), 제3 픽셀 그룹(G3)에 포함된 화이트 필터(W), 제4 픽셀 그룹(G4)에 포함된 화이트 필터(W)의 영역 상에 제1 마이크로 렌즈(ML1)가 배치될 수 있다. 복수의 컬러 필터 중 레드 필터(R), 그린 필터(Gr, Gb), 블루 필터(B) 상에 각각 제2 마이크로 렌즈(ML2)가 배치될 수 있다.
제1 마이크로 렌즈(ML1)는 상면 위상차 검출을 위한 구조를 가질 수 있다. 제1 마이크로 렌즈(ML1)에 대응하여 제1 마이크로 렌즈(ML1)의 광축을 중심으로 좌우 방향 및 상하 방향으로 배치된 4개의 광전 변환 소자들이 배치될 수 있다. 이미지 센서는 4개의 광전 변환 소자들 각각으로부터 출력되는 신호들 중 적어도 두 개의 신호들에 기초하여 좌우 방향 또는 상하 방향으로 초점을 맞추기 위한 위상 검출 신호 쌍을 제공할 수 있다.
컬러 필터 어레이(111b)는 제1 마이크로 렌즈(ML1)가 배치된 화이트 필터들(W)의 대각선 방향으로 위치한 화이트 필터들(W')을 포함할 수 있다. 대각선 방향으로 대향하게 위치하는 화이트 필터들(W') 각각은 4개의 인접한 화이트 필터들(미도시)의 일부를 구성할 수 있고, 제1 마이크로 렌즈(ML1)의 일부가 상부에 배치될 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 픽셀 레이아웃을 나타내는 블록도이다.
도 6을 참조하면, 컬러 필터 어레이(111b) 상부에 복수의 마이크로 렌즈를 포함하는 마이크로 렌즈 어레이(112b)가 배치될 수 있다. 일부 실시예들에서, 컬러 필터 어레이(111b)는 도 4에 도시된 컬러 필터 어레이(111b)의 레이아웃을 가질 수 있다.
도 5에서 전술한 바와 같이, 마이크로 렌즈 어레이(112b)는 복수의 컬러 필터 중 4개의 인접한 화이트 필터들 상에 배치되는 제1 마이크로 렌즈(ML1) 및 복수의 컬러 필터 중 RGB 컬러 필터들 상에 각각 배치되는 제2 마이크로 렌즈들(ML2)을 포함할 수 있다.
또는, 도 6에 도시된 바와 같이, 마이크로 렌즈 어레이(112b)는 복수의 컬러 필터, 즉 화이트 필터들 및 RGB 컬러 필터들 상에 각각 배치되는 복수의 마이크로 렌즈들(ML)을 포함할 수도 있다.
도 7은 본 개시의 예시적 실시예에 따른 상면 위상차 검출을 위한 광전 변환 소자들의 레이아웃을 나타내는 블록도이다.
도 7을 참조하면, 화이터 필터가 배치된 4개의 인접한 화이트 픽셀들(WPX) 의 상부에 제1 마이크로 렌즈(ML1)가 배치될 수 있다. 4개의 인접한 화이트 픽셀들(WPX)은 제1 마이크로 렌즈(ML1)의 광축을 중심으로 좌우 방향 및 상하 방향으로 배치된 4개의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다. 예를 들어, 제1 그룹(G1)에 포함된 화이트 픽셀(WPX)은 제1 마이크로 렌즈(ML1)의 광축을 중심으로 좌상(left-top) 방향에 위치한 제1 광전 변환 소자(PD1)를 포함할 수 있다. 제2 그룹(G2)에 포함된 화이트 픽셀(WPX)은 제1 마이크로 렌즈(ML1)의 광축을 중심으로 우상(right-top) 방향에 위치한 제2 광전 변환 소자(PD2)를 포함할 수 있다. 제3 그룹(G3)에 포함된 화이트 픽셀(WPX)은 제1 마이크로 렌즈(ML1)의 광축을 중심으로 좌하(left-bottom) 방향에 위치한 제3 광전 변환 소자(PD3)를 포함할 수 있다. 제4 그룹(G4)에 포함된 화이트 픽셀(WPX)은 제1 마이크로 렌즈(ML1)의 광축을 중심으로 우하(right-bottom) 방향에 위치한 제4 광전 변환 소자(PD4)를 포함할 수 있다.
이미지 센서는 4개의 광전 변환 소자들(PD1~PD4)에서 각각 출력되는 신호 중 적어도 두 개의 신호들을 위상차 연산을 위한 위상 검출 신호 쌍으로 출력할 수 있다. 디포커스(de-focus) 상황에서, 좌우 방향 또는 상하 방향으로 배치된 광전 변환 소자들에서 출력되는 신호 쌍의 신호 세기가 상이할 수 있다. 도 10에서 후술하는 바와 같이, 이미지 센서가 제공하는 위상 검출 신호 쌍에 기초하여, 프로세서는 위상 검출 신호 쌍의 신호 세기가 일치하는 좌우 방향 또는 상하 방향의 초점의 위치, 초점의 방향등을 산출할 수 있다.
일부 실시예들에서, 이미지 센서는 광전 변환 소자들에서 출력되는 신호 쌍으로부터 좌우 방향의 위상차 연산을 위한 위상 검출 신호 쌍을 출력할 수 있다. 예를 들어, 이미지 센서는 제1 광전 변환 소자(PD1) 및 제2 광전 변환 소자(PD2)에서 각각 출력되는 신호 쌍으로부터 위상 검출 신호 쌍을 출력할 수 있다. 이미지 센서는 제3 광전 변환 소자(PD3) 및 제4 광전 변환 소자(PD4)에서 각각 출력되는 신호 쌍으로부터 위상 검출 신호 쌍을 출력할 수 있다. 또한, 이미지 센서는 제1 광전 변환 소자(PD1) 및 제3 광전 변환 소자(PD3)로부터 각각 출력되는 신호를 합산한 제1 합산 신호와 제2 광전 변환 소자(PD2) 및 제4 광전 변환 소자(PD4)로부터 각각 출력되는 신호를 합산한 제2 합산 신호로부터 위상 검출 신호 쌍을 출력할 수 있다.
일부 실시예들에서, 이미지 센서는 광전 변환 소자들에서 출력되는 신호 쌍으로부터 상하 방향의 위상차 연산을 위한 위상 검출 신호 쌍을 출력할 수 있다. 예를 들어, 이미지 센서는 제1 광전 변환 소자(PD1) 및 제3 광전 변환 소자(PD3)에서 각각 출력되는 신호 쌍으로부터 위상차 검출 신호 쌍을 출력할 수 있다. 이미지 센서는 제2 광전 변환 소자(PD2) 및 제4 광전 변환 소자(PD4)에서 각각 출력되는 신호 쌍으로부터 위상 검출 신호 쌍을 출력할 수 있다. 또한, 이미지 센서는 제1 광전 변환 소자(PD1) 및 제2 광전 변환 소자(PD2)로부터 각각 출력되는 신호를 합산한 제1 합산 신호와 제3 광전 변환 소자(PD3) 및 제4 광전 변환 소자(PD4)로부터 각각 출력되는 신호를 합산한 제2 합산 신호로부터 상하 방향의 위상 검출 신호 쌍을 출력할 수 있다.
도 8은 본 개시의 예시적 실시예에 따른 픽셀 어레이에 구비되는 픽셀의 수직 단면도로, 도 5에서 선 X1-X1'에 따른 수직 단면도를 나타낼 수 있다. 이하, 도 8은 도 5를 참조하여 후술될 것이다.
도 8을 참조하면, 픽셀 어레이(110a)는 로우 방향(X)을 따라 배치되는 복수의 픽셀을 포함할 수 있다. 복수의 픽셀은 레드 필터(R)가 배치되는 레드 픽셀(RPX), 화이트 필터(W)가 배치되는 화이트 픽셀(WPX), 그린 필터(Gr)가 배치되는 그린 픽셀(GPX)을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 복수의 픽셀의 구성은 가변될 수 있다.
로우 방향(X)으로 나란하게 배치된 2개의 화이트 픽셀들(WPX) 상부에 제1 마이크로 렌즈(ML1)가 형성될 수 있다. 레드 픽셀(RPX)의 상부와 그린 픽셀(GPX)의 상부에 각각 제2 마이크로 렌즈(ML2)가 배치될 수 있다. 제1 마이크로 렌즈(ML1)는 입사하는 빛을 화이트 필터(W)가 상부에 각각 배치된 제1 광전 변환 소자(PD1) 및 제2 광전 변환 소자(PD2)로 굴절시킬 수 있다. 제1 마이크로 렌즈(ML1)의 광축을 중심으로 오른쪽 방향(또는 아래쪽 방향)에서 입사하는 빛은 제1 광전 변환 소자(PD1)로 입사할 수 있고, 제1 마이크로 렌즈(ML1)의 광축을 중심으로 왼쪽 방향(또는 위쪽 방향)에서 입사하는 빛은 제2 광전 변환 소자(PD2)로 입사할 수 있다. 이에 따라, 제1 광전 변환 소자(PD1) 및 제2 광전 변환 소자(PD2)는 좌우 방향 또는 상하 방향의 위상차 검출을 위한 신호 쌍을 생성할 수 있다.
복수의 픽셀은 Z 축 방향으로 적층된 제 1층(L1) 및 제2 층(L2)를 포함할 수 있다. 제1 층(L1)은 광전 변환 층으로 지칭될 수 있으며, 기판(SUB) 상에 형성되는 컬러 필터(CF), 및 마이크로 렌즈(ML1, ML2), 및 기판(SUB)에 형성되는 광전 변환 소자, 예컨대 포토 다이오드(PD)를 포함할 수 있다. 제2 층(L2)은 배선층으로 지칭될 수 있으며, 제2 층(L2)에 복수의 배선들(WS)이 형성될 수 있다.
기판(SUB)은 실리콘 웨이퍼이거나 SOI(Silicon on insulator) 기판 또는 반도체 에피택시얼층일 수 있다. 기판(SUB)은 서로 대향하는 제1 면(Sf)과 제2 면(Sb)을 포함할 수 있다. 예를 들어, 제1 면(Sf)은 기판(SUB)의 전면이고, 제2 면(Sb)은 기판(SUB)의 후면일 수 있다. 제2 면(Sb)으로는 빛이 입사될 수 있다.
픽셀 어레이는 인접한 복수의 픽셀이 픽셀 그룹을 형성하는 경우, 인접한 복수의 픽셀 사이의 간섭을 줄이기 위해 복수의 화소 분리막(SEP)을 포함하여 형성될 수 있다. 기판(SUB)에 기판(SUB)의 제2 면(Sb)으로부터 제1 면(Sf)을 향해 연장되는 복수의 화소 분리막(SEP) 또는 P-형 이온 주입 영역이 형성될 수 있다. 예를 들어, 제1 영역(A1)은 제1 도전형(예를 들어, P형)의 불순물로 도핑될 수 있다. 제1 영역(A1)에 포토 다이오드(PD)가 형성될 수 있다. 예를 들어, 제2 도전형(예를 들어, N형)의 불순물로 도핑된 웰 영역들이 포토 다이오드(PD)로서 형성될 수 있다.
제 1 층(L1)에 포함된 포토 다이오드(PD) 하부에 플로팅 디퓨전 노드(FD)가 형성될 수 있다. 예를 들어, 포토 다이오드(PD)와 제1 면(Sf) 사이에 트랜지스터들 의 게이트 및 소스 단자들이 형성될 수 있다. 배선층(L2)의 복수의 배선(WS)을 통해 트랜지스터들에 신호들이 송수신될 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 광전 변환 소자의 회로도를 나타낸다.
도 9를 참조하면, 하나의 픽셀(예컨대, 도 8의 레드 픽셀(RPX), 화이트 픽셀(WPX), 그린 픽셀(GPX))은 광전 변환 소자(PD), 전송 트랜지스터(TX), 선택 트랜지스터(SX), 소스 팔로워(SF), 및 리셋 트랜지스터(RX)를 포함할 수 있다. 그러나, 이에 한정되지 않으며, 전송 트랜지스터(TX), 선택 트랜지스터(SX), 소스 팔로워(SF), 및 리셋 트랜지스터(RX) 중 적어도 하나가 생략될 수 있다.
광전 변환 소자(PD)는 빛의 세기에 따라 가변되는 광 전하를 생성할 수 있다. 예를 들어, 광전 변환 소자(PD)는 P-N 접합 다이오드로서, 입사된 광량에 비례하여 전하를 생성할 수 있다. 예를 들어, 광전 변환 소자(PD)는 포토(photo) 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드(pinned photodiode) 또는 이들의 조합으로 구현될 수 있다.
전송 트랜지스터(TX)는 전송 제어 신호(TG)에 따라, 광전 변환 소자(PD)에서 생성된 광 전하를 플로팅 디퓨젼 영역(FD)으로 전송할 수 있다. 전송 트랜지스터(TX)가 턴-온(turn-on)되면, 광전 변환 소자(PD)에서 생성된 광 전하는 플로팅 디퓨젼 영역(FD)에 전송될 수 있고, 플로팅 디퓨젼 영역(FD)에 누적되어 저장될 수 있다.
리셋 트랜지스터(RX)는 플로팅 디퓨젼 영역(FD)에 축적된 전하들을 주기적으로 리셋시킬 수 있다. 리셋 트랜지스터(RX)의 제1 단은 플로팅 디퓨젼 영역(FD)과 연결되며 제2 단은 전원 전압(VPIX)에 연결될 수 있다. 리셋 제어 신호(RS)에 따라 리셋 트랜지스터(RX)가 턴-온되면, 리셋 트랜지스터(RX)에 연결된 전원 전압(VPIX)이 플로팅 디퓨젼 영역(FD)로 전달될 수 있다. 리셋 트랜지스터(RX)가 턴-온될 때 플로팅 디퓨젼 영역(FD)에 축적된 전하들이 배출되어 플로팅 디퓨젼 영역(FD)이 리셋될 수 있다.
플로팅 디퓨젼 영역(FD)에 축적된 광 전하들의 양에 따라 소스 팔로워(SF)가 제어될 수 있다. 소스 팔로워(SF)는 버퍼 증폭기(buffer amplifier)로서 플로팅 디퓨젼 영역(FD)에 충전된 전하에 따른 신호를 버퍼링할 수 있다. 소스 팔로워(SF)는 플로팅 디퓨젼 영역(FD)에서의 전위 변화를 증폭하고 이를 컬럼 출력 라인(CL)으로 픽셀 신호(VOUT)로서 출력할 수 있다.
도 10은 복수의 픽셀들을 포함하는 이미지 센서의 리드 아웃 방법을 나타낸다.
도 10을 참조하면, 본 발명의 실시예에 따른 이미지 센서는 조도 환경에 따라 제1 동작 모드(M1) 또는 제2 동작 모드(M2)로 동작할 수 있다.
이미지 센서는 고조도 환경에서 제1 동작 모드(M1)로 동작할 수 있고, 제1 동작 모드(M1)에서 픽셀 단위로 픽셀 값이 생성될 수 있다. 예를 들어, 이미지 센서는 낮과 같이 고조도 환경에서 제1 동작 모드(M1)로 동작하여 해상도가 높은 이미지를 생성할 수 있다. 제1 동작 모드(M1)에서 복수의 픽셀 각각은 독립적으로 전송 제어 신호(예컨대, 도 9의 TG)에 응답하여 전송 트랜지스터(예컨대, 도 9의 TX)가 턴-온됨으로써, 컬럼 출력 라인(예컨대, 도 9의 CL)을 통해 픽셀 신호(예컨대, 도 9의 VOUT)를 출력할 수 있다.
한편, 이미지 센서는 저조도 환경에서 제2 동작 모드(M2)로 동작할 수 있고, 제2 동작 모드(M2)에서 인접한 복수의 픽셀들이 포함된 그룹 단위로 픽셀 값이 생성될 수 있다. 예를 들어, 이미지 센서는 밤과 같이 저조도 환경에서 제2 동작 모드(M2)로 동작하여 저조도 환경에서 화질이 열화되지 않는 이미지를 생성할 수 있다.
본 발명의 예시적 실시예에 따른 이미지 센서는, 제2 동작 모드(M2)에서 인접한 4개의 화이트 픽셀들로부터 화이트 픽셀 신호를 생성하고, 7개의 RGB 픽셀들로부터 RGB 픽셀 신호를 생성할 수 있다. 이미지 센서는 인접한 복수의 픽셀에서 각각 픽셀 신호를 출력한 이후, 다양한 방법으로 픽셀 신호를 합산할 수 있다. 예를 들어, 이미지 센서는 인접한 복수의 픽셀에서 각각 픽셀 신호를 출력하고, 픽셀 신호를 ADC 회로에서 디지털 신호로 변환하고, 인접한 복수의 픽셀에 대응하는 디지털 신호들을 합산하여 하나의 픽셀 신호를 생성할 수 있다. 또는, 이미지 센서는 복수의 픽셀에서 각각 픽셀 신호를 출력하고, 인접한 복수의 픽셀에 대응하는 아날로그 신호들을 합산하여 디지털 신호로 변환할 수 있다.
또한, 이미지 센서는 인접한 복수의 픽셀이 플로팅 디퓨전 영역(예컨대, 도 9의 FD)을 공유하는 구조에 기초하여 픽셀 신호를 합산할 수 있다. 예를 들어, 같은 컬럼에 속하는 복수의 픽셀들이 플로팅 디퓨전 영역을 공유하도록 설계될 수 있다. 같은 컬럼에 속하는 복수의 픽셀들에 대응하는 포토 다이오드(예컨대, 도 9의 PD) 각각에서 생성된 광 전하가 공유된 플로팅 디퓨젼 영역에 축적될 수 있고, 이에 따라 복수의 픽셀에서 생성된 전하들이 컬럼 출력 라인을 통해 출력되어 하나의 픽셀 신호가 생성될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 플로팅 디퓨전 영역을 공유하는 픽셀들의 배치는 가변될 수 있다. 예를 들어, 본 발명은 같은 로우에 속하는 픽셀들이 플로팅 디퓨전 영역를 공유하도록 설계될 수 있으며, 같은 색상에 대응하는 픽셀들이 플로팅 디퓨전 영역을 공유하도록 설계될 수도 있다.
도 11은 본 개시의 예시적 실시예에 따른 상면 위상차 검출을 위한 이미지 센서의 개략적인 블록도이다.
도 11을 참조하면, 디지털 촬상 장치(1000)는 촬상부(1100), 이미지 센서(200) 및 프로세서(1200)를 포함할 수 있다. 디지털 촬상 장치(1000)는 초점 검출 기능을 구비할 수 있다. 디지털 촬상 장치(1000)의 전체 동작은 프로세서(1200)에 의해 제어될 수 있다. 프로세서(1200)는 렌즈 구동부(1120), 조리개 구동부(1140), 제어부(220) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공할 수 있다.
촬상부(1100)는 광을 수신하는 구성 요소로서, 렌즈(1110), 렌즈 구동부(1120), 조리개(1130), 조리개 구동부(1140)를 포함할 수 있다. 렌즈(1110)는 복수의 렌즈들을 구비할 수 있다.
렌즈 구동부(1120)는 프로세서(1200)와 초점 검출에 관한 정보를 통신할 수 있고, 프로세서(1200)에서 제공된 제어 신호에 따라 렌즈(1110)의 위치를 조절할 수 있다. 렌즈 구동부(1120)는 렌즈(1110)를 객체(2000)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동시킬 수 있다. 이로써, 렌즈(1110)와 객체(2000) 사이의 거리가 조절될 수 있다. 렌즈(1110)의 위치에 따라 객체(2000)에 대한 초점이 맞거나 흐려질 수 있다.
예를 들어, 렌즈(1110)와 객체(2000) 사이의 거리가 상대적으로 가까운 경우, 렌즈(1110)는 객체(2000)에 대한 초점을 맞추기 위한 초점 위치에서 벗어나 있을 수 있고, 이미지 센서(100)에 촬상된 이미지들 사이에 위상 차가 발생할 수 있다. 렌즈 구동부(1120)는 프로세서(1200)에서 제공된 제어 신호에 기초하여, 렌즈(1110)를 객체(2000)로부터의 거리가 증가하는 방향으로 이동시킬 수 있다.
또는, 렌즈(1110)와 객체(2000) 사이의 거리가 상대적으로 먼 경우, 렌즈(1110)는 초점 위치에서 벗어나 있을 수 있고, 이미지 센서(100)에 맺힌 이미지들 사이에 위상 차가 발생할 수 있다. 렌즈 구동부(1120)는 프로세서(1200)에서 제공된 제어 신호에 기초하여, 렌즈(1110)를 객체(2000)로부터의 거리가 감소하는 방향으로 이동시킬 수 있다.
이미지 센서(200)는 입사되는 광을 이미지 신호로 변환할 수 있다. 이미지 센서(200)는 픽셀 어레이(210), 제어부(220) 및 신호 처리부(1320)를 포함할 수 있다. 렌즈(1110) 및 조리개(1130)를 투과한 광학 신호는 픽셀 어레이(210)의 수광면에 이르러 피사체의 상을 결상할 수 있다.
픽셀 어레이(210)는 광학 신호를 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 픽셀 어레이(210)는 제어부(220)에 의해 감도 등이 조절될 수 있다. 픽셀 어레이(210)는 광학 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 각각 감지된 빛의 세기에 따라 픽셀 신호를 생성할 수 있다.
이미지 센서(200)는 프로세서(1200)로 위상차 검출 신호 쌍을 제공할 수 있다. 프로세서(1200)는 위상차 검출 신호를 이용하여 위상차 연산을 수행할 수 있다. 예를 들어, 이미지 센서(100)는 위상차 검출 신호 쌍을 프로세서(1200)에 제공할 수 있고, 프로세서(1200)는 위상차 연산 결과로 초점의 위치, 초점의 방향 또는 객체(2000)와 이미지 센서(200) 사이의 거리 등을 구할 수 있다. 프로세서(1200)는 위상차 연산 결과를 기초로 렌즈(1110)의 위치를 이동시키기 위해 렌즈 구동부(1120)로 제어 신호를 출력할 수 있다.
프로세서(1200)는 이미지 센서(200)로부터 제공되는 위상차 검출 신호 쌍에 기초하여 피사체에 반사되어 돌아오는 위상차를 이용한 거리 정보를 획득할 수 있다. 프로세서(1200)는 이미지 센서(200)로부터 제공되는 이미지 신호로부터 피사체의 이미지 정보를 획득할 수 있다. 프로세서(1200)는 획득된 거리 정보 및 이미지 정보에 기초하여, 3차원의 깊이 이미지(depth image)를 생성할 수 있다.
또한, 프로세서(1200)는 입력된 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 이미지 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 이미지 신호 처리를 하여 생성한 이미지 데이터를 압축 처리하여 이미지 파일을 생성할 수 있으며, 또는 이미지 파일로부터 이미지 데이터를 복원할 수 있다.
도 12 및 도 13은 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 14는 도 12 및 도 13에 도시된 카메라 모듈의 상세 블록도이다.
도 12를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 일부 실시예들에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하거나, n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수 있다.
이하, 도 14를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 14를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ½OPFE½)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
일부 실시예들에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
일부 실시예들에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
일부 실시예들에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
일부 실시예들에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
일부 실시예들에서, 카메라 모듈(1100b)은 2개 이상의 프리즘으로 구성될 수 있으며, 이를 통해 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로, 다시 제1 방향(X) 혹은 제3 방향(Z) 그리고 다시 제2 방향(Y)등으로 다양하게 변화시킬 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작의 제어 및 센싱된 이미지를 처리(Processing)를 할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있으며, 센싱된 이미지에서 특정 이미지에 해당되는 이미지 데이터(예를 들면, 이미지 내의 사람의 얼굴, 팔, 다리 등)를 추출할 수 있다.
일부 실시예들에서, 제어 로직(1144)은 센싱된 이미지의 압축(Encoding), 노이즈 제거 (noise reduction)등의 이미지 처리를 수행할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보로, 예를 들어, 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 일부 실시예들에서, 이미지 센서(1142)는 첫번째 칩으로 구성되고, 제어 로직(1144)과 저장부(1150)와 메모리(1146)는 두번째 칩으로 구성되어 두 개의 칩이 스택된 형태로 구현될 수 있다.
일부 실시예들에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다. 일부 실시예들에서, 이미지 센서(1142)는 픽셀 어레이로 구성이 되어있고, 제어 로직(1144)은 아날로그 디지털 컨버터(Analog to digital converter) 및 센싱된 이미지 처리를 위한 이미지 신호 처리부를 포함할 수 있다.
도 12와 도 14를 함께 참조하면, 일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액츄에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액츄에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 이에 제한되는 것은 아니다.
일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 예를 들어, 카메라 모듈(1100a)은 울트라 와이드(ultrawide) 카메라이고, 카메라 모듈(1100b)은 와이드(wide) 카메라이고, 카메라 모듈(1100c)은 텔레(tele) 카메라일 수 있으나, 이에 제한되는 것은 아니다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
일부 실시예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 12를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 예를 들어 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 이에 제한되는 것은 아니다.
한편, 일부 실시예들에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다. 이 때, 서브 이미지 프로세서(1212b)는 통합되지 않고, 카메라 모듈(1100b)로부터 이미지 데이터를 제공받을 수 있다.
또한, 일부 실시예들에서, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 그리고, 서브 이미지 프로세서(1212b)에서 처리된 이미지 데이터는 이미지 생성기(1214)에 바로 제공되나, 서브 이미지 프로세서(1212a)에서 처리된 이미지 데이터와 서브 이미지 프로세서 (1212c)에서 처리된 이미지 데이터는 선택소자(예를 들어, 멀티플렉서) 등을 통해 어느 하나가 선택된 후, 이미지 생성기(1214)에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)는 카메라 모듈(1100a, 1100b, 1100c)로부터 제공된 이미지 데이터에 대해, 불량 픽셀 보정(bad pixel correction), 3A 조정(Auto-focus correction, Auto-white balance, Auto-exposure), 노이즈 제거(noise reduction), 샤프닝(sharpening), 감마 조정(gamma control), 리모자익(remosaic) 등의 이미지 처리를 수행할 수 있다.
일부 실시예들에서, 리모자익(remosaic) 신호 처리는 각각의 카메라 모듈(1100a, 1100b, 1100c)에서 수행된 후, 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수도 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에서 처리된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공받은 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 이미지 프로세서(1212a, 1212b, 1212c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 이미지 프로세서(1212a, 1212b, 1212c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
일부 실시예들에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 일부 실시예들에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(1212b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(1212b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 및 제2 신호와 다른 제3 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
도 13를 참조하면, 일부 실시예들에서, 이미지 처리 장치(1210)는 서브 이미지 프로세서들(1212a, 1212b, 1212c)의 출력을 선택하여 이미지 생성기(1214)에 전달하는 선택부(1213)를 더 포함할 수 있다.
이 경우, 선택부(1213)는 줌 신호 또는 줌 팩터에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 선택부(1213)는 줌 신호가 제4 신호(예를 들어, 줌 배율이 제1 배율)일 경우, 서브 이미지 프로세서들(1212a, 1212b, 1212c)의 출력 중 어느 하나를 선택하여 이미지 생성기(1214)에 전달할 수 있다.
또한, 선택부(1213)는 줌 신호가 제4 신호와 다른 제5 신호(예를 들어, 줌 배율이 제2 배율)일 경우, 서브 이미지 프로세서들(1212a, 1212b, 1212c)의 출력 중 p개(p는 2이상의 자연수)의 출력을 순차적으로 이미지 생성기(1214)에 전달할 수 있다. 예를 들어, 선택부(1213)는 서브 이미지 프로세서(1212b)와 서브 이미지 프로세서(1212c)의 출력을 순차적으로 이미지 생성기(1214)에 전달할 수 있다. 또한, 선택부(1213)는 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212b)의 출력을 순차적으로 이미지 생성기(1214)에 전달할 수 있다. 이미지 생성기(1214)는 순차적으로 제공받은 p개의 출력을 병합하여 하나의 출력 이미지를 생성할 수 있다.
여기서, 디모자익(demosaic), 비디오/프리뷰(video/preview) 해상도 사이즈로 다운 스케일링(down scaling), 감마 보정, HDR(High Dynamic Range) 처리 등의 이미지 처리는 서브 이미지 프로세서들(1212a, 1212b, 1212c)에서 미리 수행된 후, 처리된 이미지 데이터가 이미지 생성기(1214)에 전달된다. 따라서, 처리된 이미지 데이터가 선택부(1213)를 통해 하나의 신호 라인으로 이미지 생성기(1214)에 제공되어도 이미지 생성기(1214)의 이미지 병합 동작이 고속으로 수행될 수 있다.
일부 실시예들에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다.
일부 실시예들에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
일부 실시예들에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예를 들어, 이미지 처리 장치(1210)의 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 이미지 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 픽셀 어레이;
    상기 픽셀 어레이 상에 행열로 배치되는 복수의 컬러 필터를 포함하며, 상기 복수의 컬러 필터가 각각 3행 3열로 배치된 9개의 컬러 필터들을 포함하는 복수의 그룹으로 구분되는, 컬러 필터 어레이; 및
    상기 컬러 필터 어레이 상에 배치되는 마이크로 렌즈 어레이를 포함하고,
    상기 복수의 그룹 각각에 포함되는 상기 9개의 컬러 필터들 중 복수의 제1 컬러 필터들은 대각선 방향으로 서로 대향하게 위치하고, 상기 9개의 컬러 필터들 중 복수의 제2 컬러 필터들은 해당 그룹에 대응하는 동일한 컬러 필터들을 각각 포함하는 것을 특징으로 하는 이미지 센서.
  2. 제1항에 있어서,
    상기 9개의 컬러 필터들 중 상기 복수의 제1 컬러 필터들 각각은 화이트 필터이고, 상기 9개의 컬러 필터들 중 상기 복수의 제2 컬러 필터들 각각은 상기 화이트 필터와 상이한 컬러 필터인 것을 특징으로 하는 이미지 센서.
  3. 제1항에 있어서,
    상기 복수의 그룹 각각에 포함된 상기 복수의 제1 컬러 필터들 중 어느 하나는,
    로우 방향으로 인접한 그룹에 포함된 상기 복수의 제1 컬러 필터들 중 어느 하나와 인접하고, 칼럼 방향으로 인접한 그룹에 포함된 상기 복수의 제1 컬러 필터들 중 어느 하나와 인접하도록 배치되는 것을 특징으로 하는 이미지 센서.
  4. 제1항에 있어서,
    상기 복수의 그룹은 로우 방향으로 인접한 제1 그룹 및 제2 그룹, 상기 제1 그룹과 컬럼 방향으로 인접한 제3 그룹 및 상기 제2 그룹과 컬럼 방향으로 인접한 제4 그룹을 포함하고,
    상기 제1 그룹의 상기 복수의 제2 컬러 필터들 각각은 레드 필터이고, 상기 제2 그룹의 상기 복수의 제2 컬러 필터들 각각은 그린 필터이며,
    상기 제3 그룹의 상기 복수의 제2 컬러 필터들 각각은 그린 필터이고, 상기 제4 그룹의 상기 복수의 제2 컬러 필터들 각각은 블루 필터인 것을 특징으로 하는 이미지 센서.
  5. 제1항에 있어서,
    상기 마이크로 렌즈 어레이는, 상기 복수의 컬러 필터 중 4개의 인접한 제1 컬러 필터들 상에 배치되는 제1 마이크로 렌즈를 포함하는 이미지 센서
  6. 제5항에 있어서,
    상기 마이크로 렌즈 어레이는, 상기 복수의 컬러 필터 중 상기 복수의 제2 컬러 필터들 상에 각각 배치되는 제2 마이크로 렌즈들을 포함하는 것을 특징으로 하는 이미지 센서.
  7. 픽셀 어레이;
    상기 픽셀 어레이 상에 행열로 배치되는 복수의 컬러 필터를 포함하고, 상기 복수의 컬러 필터가 각각 3행 3열로 배치된 9개의 컬러 필터들로서 복수의 제1 컬러 필터들 및 복수의 제2 컬러 필터들을 포함하는 복수의 그룹으로 구분되는, 컬러 필터 어레이; 및
    상기 컬러 필터 어레이 상에 배치되는 마이크로 렌즈 어레이를 포함하고,
    상기 마이크로 렌즈 어레이는,
    상기 복수의 컬러 필터 중 4개의 인접한 제1 컬러 필터들 상에 배치되는 제1 마이크로 렌즈 및 상기 복수의 컬러 필터 중 상기 복수의 제2 컬러 필터들 상에 각각 배치되는 제2 마이크로 렌즈들을 포함하는 이미지 센서.
  8. 제7항에 있어서,
    상기 픽셀 어레이는, 상기 제1 마이크로 렌즈에 대응하는 4개의 광전 변환 소자들을 포함하는 것을 특징으로 하는 이미지 센서.
  9. 제8항에 있어서,
    제1 로우에 배치되는 제1 및 제2 광전 변환 소자들로부터 출력되는 제1 신호 쌍 또는 제2 로우에 배치되는 제3 및 제4 광전 변환 소자들로부터 출력되는 제2 신호 쌍 중 적어도 하나의 신호 쌍이 상하 방향의 위상차 연산에 이용되는 위상 검출 신호 쌍으로 출력되는 것을 특징으로 하는 이미지 센서.
  10. 제8항에 있어서,
    제1 칼럼에 배치되는 제1 및 제3 광전 변환 소자들로부터 출력되는 제1 신호 쌍 또는 제2 칼럼에 배치되는 제2 및 제4 광전 변환 소자들로부터 출력되는 제2 신호 쌍 중 적어도 하나의 신호 쌍이 좌우 방향 위상차 연산에 이용되는 위상 검출 신호 쌍으로 출력되는 것을 특징으로 하는 이미지 센서.
KR1020210031465A 2021-03-10 2021-03-10 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈 KR20220127003A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210031465A KR20220127003A (ko) 2021-03-10 2021-03-10 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
US17/672,074 US20220293653A1 (en) 2021-03-10 2022-02-15 Image sensors and camera modules including the same
CN202210175863.7A CN115084173A (zh) 2021-03-10 2022-02-24 图像传感器和包括图像传感器的相机模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031465A KR20220127003A (ko) 2021-03-10 2021-03-10 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20220127003A true KR20220127003A (ko) 2022-09-19

Family

ID=83194047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031465A KR20220127003A (ko) 2021-03-10 2021-03-10 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈

Country Status (3)

Country Link
US (1) US20220293653A1 (ko)
KR (1) KR20220127003A (ko)
CN (1) CN115084173A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230395627A1 (en) * 2022-06-03 2023-12-07 Omnivision Technologies, Inc. Quad photodiode microlens arrangements, and associated systems and methods

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
US9154750B2 (en) * 2013-05-28 2015-10-06 Omnivision Technologies, Inc. Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
US20150097213A1 (en) * 2013-10-04 2015-04-09 Omnivision Technologies, Inc. Image sensor and pixels including vertical overflow drain
KR102374109B1 (ko) * 2014-08-01 2022-03-14 삼성전자주식회사 크로스토크 특성을 개선하는 이미지 센서 및 그의 제조 방법
US9479745B2 (en) * 2014-09-19 2016-10-25 Omnivision Technologies, Inc. Color filter array with reference pixel to reduce spectral crosstalk
KR102547655B1 (ko) * 2015-11-18 2023-06-23 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
US10218944B2 (en) * 2016-08-10 2019-02-26 Semiconductor Components Industries, Llc Methods and devices for increasing the spectral response of an image sensor
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
JP2020191564A (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム

Also Published As

Publication number Publication date
CN115084173A (zh) 2022-09-20
US20220293653A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
US20150358593A1 (en) Imaging apparatus and image sensor
KR20200113484A (ko) 이미지 센서 및 그 동작 방법
US11721713B2 (en) Image sensors
US11425323B2 (en) Image sensor and operating method thereof
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
KR20220132069A (ko) 이미지 센서
US9392198B2 (en) Backside illuminated imaging systems having auto-focus pixels
KR20220078355A (ko) Af 픽셀들을 포함하는 이미지 센서
US20220344389A1 (en) Image sensor
JP2022070246A (ja) 均等に配置された位相検出ピクセルを含むピクセルアレイ及びそれを含むイメージセンサ
KR20220055390A (ko) 균등하게 배치된 위상 검출 픽셀을 포함하는 픽셀 어레이, 및 이를 포함하는 이미지 센서
KR20220127003A (ko) 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
KR20220051881A (ko) 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
US20230066376A1 (en) Image sensor
US11825226B2 (en) Image sensor and pixel array of image sensor
US20220399384A1 (en) Pixel array and image sensor including the same
US20220130876A1 (en) Pixel array and an image sensor including the same
US11869913B2 (en) Pixel array of image sensor and method of manufacturing the same
KR20220139740A (ko) 오토 포커스 픽셀을 포함하는 이미지 센서
KR20220054143A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20220156332A (ko) 오토 포커스 픽셀을 포함하는 이미지 센서
KR20220162583A (ko) 이미지 센서의 픽셀 어레이 및 이의 제조 방법
KR20220098500A (ko) 이미지 센서
KR20220108609A (ko) 이미지 센서, 픽셀 및 이미지 센서의 동작 방법