KR20240081893A - 이미지 센싱 장치 및 이미지 신호 처리 방법 - Google Patents

이미지 센싱 장치 및 이미지 신호 처리 방법 Download PDF

Info

Publication number
KR20240081893A
KR20240081893A KR1020220165606A KR20220165606A KR20240081893A KR 20240081893 A KR20240081893 A KR 20240081893A KR 1020220165606 A KR1020220165606 A KR 1020220165606A KR 20220165606 A KR20220165606 A KR 20220165606A KR 20240081893 A KR20240081893 A KR 20240081893A
Authority
KR
South Korea
Prior art keywords
image
image signal
light
pixel
component
Prior art date
Application number
KR1020220165606A
Other languages
English (en)
Inventor
이태연
곽지현
이규석
이수림
Original Assignee
삼성전자주식회사
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20240081893A publication Critical patent/KR20240081893A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Abstract

이미지 센싱 장치가 제공된다. 이미지 센싱 장치는, 렌즈 모듈, 렌즈 모듈 하부에 배치되는 마이크로 렌즈, 시안(cyan) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제1 이미지 신호를 출력하는 제1 픽셀과, 마젠타(magenta) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제2 이미지 신호를 출력하는 제2 픽셀과, 옐로우(yellow) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제3 이미지 신호를 출력하는 제3 픽셀과, 컬러 필터가 배치되지 않고, 렌즈 모듈을 통해 광을 수신하여 제4 이미지 신호를 출력하는 제4 픽셀을 포함하는 이미지 센서, 및 이미지 센서의 제1 픽셀, 제2 픽셀, 제3 픽셀 및 제4 픽셀로부터 이미지 신호를 제공받고, 이미지 신호로부터 광의 레드(R) 성분과 그린(G) 성분과 블루(B) 성분과 근적외선(IR) 성분을 추출하는 이미지 신호 프로세서를 포함한다.

Description

이미지 센싱 장치 및 이미지 신호 처리 방법{IMAGE SENSING DEVICE AND METHOD OF IMAGE SIGNAL PROCESSING}
본 발명은 이미지 센싱 장치 및 이미지 신호 처리 방법에 관한 것이다.
이미지 센싱 장치(image sensing device)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센싱 장치는 전하 결합형(CCD; Charge Coupled Device) 이미지 센싱 장치와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센싱 장치를 포함할 수 있다.
최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, 스마트폰, 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로봇 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 제품 신뢰성이 향상된 이미지 센싱 장치를 제공하는 것이다.
본 발명의 해결하고자 하는 기술적 과제는 제품 신뢰성이 향상된 이미지 신호 처리 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 센싱 장치는 렌즈 모듈, 렌즈 모듈 하부에 배치된 마이크로 렌즈, 시안(cyan) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제1 이미지 신호를 출력하는 제1 픽셀과, 마젠타(magenta) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제2 이미지 신호를 출력하는 제2 픽셀과, 옐로우(yellow) 컬러 필터가 배치되고, 렌즈 모듈을 통해 광을 수신하여 제3 이미지 신호를 출력하는 제3 픽셀과, 컬러 필터가 배치되지 않고, 렌즈 모듈을 통해 광을 수신하여 제4 이미지 신호를 출력하는 제4 픽셀을 포함하는 이미지 센서, 및 이미지 센서의 제1 픽셀, 제2 픽셀, 제3 픽셀 및 제4 픽셀로부터 이미지 신호를 제공받고, 이미지 신호로부터 광의 레드(R) 성분과 그린(G) 성분과 블루(B) 성분과 근적외선(IR) 성분을 추출하는 이미지 신호 프로세서를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 센싱 장치는 수신한 광으로부터 광의 시안 성분을 포함하는 제1 이미지 신호와, 광의 마젠타 성분을 포함하는 제2 이미지 신호와, 광의 옐로우 성분을 포함하는 제3 이미지 신호와, 광의 화이트 성분을 포함하는 제4 이미지 신호를 출력하는 이미지 센서, 및 이미지 센서로부터 제1 내지 제4 이미지 신호를 수신하고, 제1 내지 제4 이미지 신호로부터 광의 레드(R) 성분과 그린(G) 성분과 블루(B) 성분과 근적외선(IR) 성분을 각각 추출하여 출력하는 이미지 신호 프로세서를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 몇몇 실시예에 따른 이미지 신호 처리 방법은 이미지 센서에 의해, 제1 광이 렌즈 모듈을 투과한 제2 광을 수신하고, 이미지 센서에 의해, 제2 광을 시안(cyan) 컬러 필터를 통해 수신하여 제1 이미지 신호를 생성하고, 이미지 센서에 의해, 제2 광을 마젠타(magenta) 컬러 필터를 통해 수신하여 제2 이미지 신호를 생성하고, 이미지 센서에 의해, 제2 광을 옐로우(yellow) 컬러 필터를 통해 수신하여 제3 이미지 신호를 생성하고, 이미지 센서에 의해, 제2 광을 기초로 제4 이미지 신호를 생성하고, 이미지 신호 프로세서에 의해, 제1 내지 제4 이미지 신호로부터 제1 광의 레드(R) 성분과, 그린(G) 성분과, 블루(B) 성분과 근적외선(IR) 성분을 각각 추출하는 것을 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.
도 2는 도 1의 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.
도 3은 몇몇 실시예에 따른 단위 픽셀을 설명하기 위한 도면이다.
도 4는 도 3의 A―A＇ 및 B―B＇을 따라 절단한 픽셀의 단면도이다.
도 5는 몇몇 실시예에 따른 이미지 센서의 단위 픽셀을 설명하기 위한 회로도이다.
도 6은 몇몇 실시예에 따른 이미지 신호 프로세서를 설명하기 위한 도면이다.
도 7은 RGB＋IR 패턴으로 배치된 단위 픽셀을 나타낸 도면이다.
도 8은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 9는 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 10은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 11은 몇몇 실시예에 따른 이미지 신호 처리 방법을 설명하기 위한 도면이다.
도 12는 몇몇 실시예에서 컬러 필터에 따른 광의 투과율을 나타낸 도면이다.
도 13은 몇몇 실시예에서 컬러 필터에 따른 광의 투과율을 설명하기 위한 도면이다.
도 14는 몇몇 실시예에 따른 이미지 신호 처리 방법을 나타낸 순서도이다.
도 15는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 16은 도 15의 카메라 모듈의 상세 블록도이다.
이하 첨부된 도면을 참조하여, 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다.
도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.
도 1을 참조하면, 이미지 센싱 장치(1)는 이미지 센서(100)와 이미지 신호 프로세서(900)를 포함할 수 있다.
이미지 센서(100)는 빛을 이용하여 센싱 대상의 이미지를 센싱 하여, 이미지 신호(IMS)를 생성할 수 있다. 몇몇 실시예에서, 생성된 이미지 신호(IMS)는 예를 들어, 디지털 신호일 수 있으나, 본 발명의 기술적 사상에 따른 실시예가 이에 제한되는 것은 아니다.
이미지 신호(IMS)는 이미지 신호 프로세서(900)에 제공되어 처리될 수 있다. 이미지 신호 프로세서(900)는 이미지 센서(100)의 버퍼부(170)로부터 출력된 이미지 신호(IMS)를 수신하고 수신된 이미지 신호(IMS)를 디스플레이에 용이하도록 가공하거나 처리할 수 있다.
몇몇 실시예에서, 이미지 신호 프로세서(900)는 이미지 센서(100)에서 출력된 이미지 신호(IMS)에 대해 디지털 비닝을 수행할 수 있다. 이때, 이미지 센서(100)로부터 출력된 이미지 신호(IMS)는 아날로그 비닝 없이 픽셀 어레이(140)로부터의 로우(raw) 이미지 신호일 수도 있고, 아날로그 비닝이 이미 수행된 이미지 신호(IMS)일 수도 있다.
몇몇 실시예에서, 이미지 센서(100)와 이미지 신호 프로세서(900)는 도시된 것과 같이 서로 분리되어 배치될 수 있다. 예를 들어, 이미지 센서(100)가 제1 칩에 탑재되고, 이미지 신호 프로세서(900)가 제2 칩에 탑재되어 소정의 인터페이스를 통해 서로 통신할 수 있다. 하지만, 실시예들이 이에 제한되는 것은 아니며, 이미지 센서(100)와 이미지 신호 프로세서(900)는 하나의 패키지, 예컨대 MCP(multichip package)로 구현될 수 있다.
이미지 센서(100)는, 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우(row) 드라이버(130), 픽셀 어레이(140), 리드 아웃 회로(150), 램프신호 생성기(160), 버퍼부(170)를 포함할 수 있다.
컨트롤 레지스터 블록(110)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 특히, 컨트롤 레지스터 블록(110)은 타이밍 제네레이터(120), 램프신호 생성기(160) 및 버퍼부(170)에 직접적으로 동작 신호를 전송할 수 있다.
타이밍 제네레이터(120)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 발생할 수 있다. 타이밍 제네레이터(120)에서 발생된 동작 타이밍 기준 신호는 로우 드라이버(130), 리드 아웃 회로(150), 램프신호 생성기(160) 등에 전달될 수 있다.
램프신호 생성기(160)는 리드 아웃 회로(150)에 사용되는 램프 신호를 생성하고 전송할 수 있다. 예를 들어, 리드 아웃 회로(150)는 상관 이중 샘플러(CDS), 비교기 등을 포함할 수 있는데, 램프신호 생성기(160)는 상관 이중 샘플러, 비교기 등에 사용되는 램프 신호를 생성하고 전송할 수 있다.
버퍼부(170)는 예를 들어, 래치부를 포함할 수 있다. 버퍼부(170)는 외부로 제공할 이미지 신호(IMS)를 임시적으로 저장할 수 있으며, 이미지 신호(IMS)를 외부 메모리 또는 외부 장치로 전송할 수 있다.
픽셀 어레이(140)는 외부 이미지를 센싱할 수 있다. 픽셀 어레이(140)는 복수의 픽셀(또는 단위 픽셀)을 포함할 수 있다. 로우 드라이버(130)는 픽셀 어레이(140)의 로우(row)를 선택적으로 활성화시킬 수 있다.
리드 아웃 회로(150)는 픽셀 어레이(140)로부터 제공받은 픽셀 신호를 샘플링하고, 이를 램프 신호와 비교한 후, 비교 결과를 바탕으로 아날로그 이미지 신호(데이터)를 디지털 이미지 신호(데이터)로 변환할 수 있다.
도 2는 도 1의 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.
도 2를 참조하면, 이미지 센서(100)는 제3 방향(Z)으로 적층된 제1 영역(10), 및 제2 영역(20)을 포함할 수 있다. 제1 영역(10), 및 제2 영역(20)은 도시된 것과 같이 제1 방향(X)과 제2 방향(Y)으로 연장될 수 있으며, 제1 영역(10), 및 제2 영역(20)에는 도 1에 도시된 블록들이 배치될 수 있다.
또한, 도면에 도시하지는 않았으나, 몇몇 실시예에서 제2 영역(20) 하부에는 메모리가 배치될 수도 있다. 이 때, 메모리는 DRAM(dynamic random access memory) 소자, SRAM(static random access memory) 소자, STT-MRAM(spin transfer torque magnetic random access memory) 소자 및 플래시(flash) 메모리 소자와 같은 메모리 소자를 포함할 수 있다. 메모리가 예를 들어, DRAM 소자를 포함하는 경우, 이미지 데이터를 상대적으로 고속으로 전송 받아 처리할 수 있다. 또한, 몇몇 실시예에서, 메모리는 제2 영역(20)에 배치될 수도 있다.
제1 영역(10)은 픽셀 어레이 영역(Pixel Array) 및 제1 주변 영역(PH1)을 포함할 수 있고, 제2 영역(20)은 로직회로 영역(Logic) 및 제2 주변 영역(PH2)을 포함할 수 있다. 제1 영역(10) 및 제2 영역(20)은 순차적으로 상하로 적층되어 배치될 수 있다.
제1 영역(10)에서, 픽셀 어레이 영역(Pixel Array)은 도 1을 참조하여 설명한 픽셀 어레이(도 1의 140)가 배치되는 영역일 수 있다. 도면에 도시하지는 않았으나, 픽셀 어레이 영역(Pixel Array)은 매트릭스(matrix) 형태로 배열된 복수의 단위 픽셀들을 포함할 수 있다. 각 픽셀은 광전 변환층 및 트랜지스터들을 포함할 수 있다. 이에 관한 보다 구체적인 설명은 후술한다.
제1 주변 영역(PH1)은 복수의 패드들을 포함할 수 있으며, 픽셀 어레이 영역(Pixel Array)의 주변에 배치될 수 있다. 복수의 패드들은 외부 장치 등과 전기적 신호를 송수신할 수 있다.
제2 영역(20)에서, 로직 회로 영역(Logic)은 복수의 트랜지스터들을 포함하는 전자 소자들을 포함할 수 있다. 로직 회로 영역(Logic)에 포함된 전자 소자들은 픽셀 어레이 영역(Pixel Array)과 전기적으로 연결되어, 픽셀 어레이 영역(Pixel Array)의 각 단위 픽셀(PX)에 일정한 신호를 제공하거나 출력 신호를 제어할 수 있다.
로직 회로 영역(Logic)에는 예를 들어, 도 1을 참조하여 설명한 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우 드라이버(130), 리드 아웃 회로(150), 램프신호 생성기(160), 버퍼부(170) 등이 배치될 수 있다. 로직 회로 영역(Logic)에는 예를 들어, 도 1의 블록들에서, 픽셀 어레이(140) 이외의 블록들이 배치될 수 있다.
제2 영역(20)에도 제1 영역(10)의 제1 주변 영역(PH1)에 대응되는 영역에 제2 주변 영역(PH2)이 배치될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
도 3은 몇몇 실시예에 따른 단위 픽셀을 설명하기 위한 도면이다.
몇몇 실시예에 따른 단위 픽셀(PX)은 도 3에 도시된 바와 같이, 일정한 패턴으로 배치된 시안 픽셀(PC), 마젠타 픽셀(PM), 옐로우 픽셀(PY), 및 화이트 픽셀(PW)을 포함할 수 있다. 또한, 시안 픽셀(PC), 마젠타 픽셀(PM), 옐로우 픽셀(PY), 및 화이트 픽셀(PW) 상에는 각각의 픽셀에 대응되는 마이크로 렌즈(ML)가 배치될 수 있다.
도면에 도시되지는 않았으나, 몇몇 실시예에서 시안 픽셀(PC), 마젠타 픽셀(PM), 옐로우 픽셀(PY)은 각각의 픽셀에 대응되는 시안(cyan) 컬러 필터, 마젠타(magenta) 컬러 필터, 옐로우(yellow) 컬러 필터를 포함할 수 있다. 또한, 화이트 픽셀(PW)은 별도의 컬러 필터를 포함하지 않을 수 있다.
또한, 도 2의 픽셀 어레이 영역(Pixel Array)은 도 3의 단위 픽셀(PX)이 제1 방향(X) 및 제2 방향(Y)으로 반복되어 배치되는 영역일 수 있다.
도 4는 도 3의 A―A＇ 및 B―B＇을 따라 절단한 픽셀의 단면도이다.
도 4를 참조하면, 렌즈 모듈(260)은 단위 픽셀(PX) 상에 배치될 수 있다. 몇몇 실시예에서, 렌즈 모듈(260)은 근적외선(IR) 영역의 광을 투과시키는 제1 패스 필터(261)와 가시광선 영역의 광을 투과시키는 제2 패스 필터(262)를 포함할 수 있다. 또한, 몇몇 실시예에서 제1 패스 필터(261)는 제2 패스 필터(262) 상에 배치될 수 있다.
도 3 및 도 4를 참조하면, 단위 픽셀(PX)은 시안 픽셀(PC), 마젠타 픽셀(PM), 옐로우 픽셀(PY), 및 화이트 픽셀(PW)을 포함할 수 있다. 각 픽셀들은 유사한 구조를 가지므로, 이하 픽셀들은 시안 픽셀(PC)을 예로 들어 설명한다.
시안 픽셀(PC)은 반도체 기판(220), 제1 광전 변환층(PD1), 트랜지스터(TR), 픽셀 분리 패턴(225) 등을 포함할 수 있다.
반도체 기판(220)은 예를 들어, 벌크 실리콘 또는 SOI(silicon-on-insulator)일 수 있다. 반도체 기판(220)은 실리콘 기판일 수도 있고, 또는 다른 물질, 예를 들어, 실리콘 게르마늄, 안티몬화 인듐, 납 텔루르 화합물, 인듐 비소, 인듐 인화물, 갈륨 비소 또는 안티몬화 갈륨을 포함할 수 있다. 또는, 반도체 기판(220)은 베이스 기판 상에 에피층이 형성된 것일 수도 있다. 반도체 기판(220)은 서로 반대되는 제1 면(SF1) 및 제2 면(SF2)을 포함할 수 있다. 몇몇 실시예에서, 반도체 기판(220)의 제2 면(SF2)은 광이 입사되는 수광면일 수 있다. 또한, 제1 면(SF1)은 반도체 기판(220)의 전면이고, 제2 면(SF2)은 반도체 기판(220)의 후면일 수 있다.
몇몇 실시예에서, 트랜지스터(TR)는 반도체 기판(220)의 제1 면(SF1)에 배치될 수 있다. 트랜지스터(TR)는 예를 들어, 이미지 센서의 단위 픽셀을 구성하는 다양한 트랜지스터들(예를 들어, 전송 트랜지스터, 리셋 트랜지스터, 소오스 팔로워 트랜지스터 및 선택 트랜지스터 등) 중 적어도 일부를 포함할 수 있다.
트랜지스터(TR)는 게이트 절연막(222), 게이트 전극(223) 및 불순물 주입 영역(224)을 포함할 수 있다. 게이트 절연막(222)은 반도체 기판(220) 내에 형성된 트렌치를 따라 형성될 수 있다. 게이트 전극(223)은 게이트 절연막(222)에 의해 정의된 영역을 채울 수 있다. 불순물 주입 영역(224)은 반도체 기판(220) 내에 불순물이 도핑됨으로써 형성될 수 있다. 여기서, 게이트 전극(223)은 트랜지스터(TR)의 게이트 역할을 할 수 있고, 불순물 주입 영역(224)은 트랜지스터(TR)의 소오스／드레인 역할을 할 수 있다. 또한, 불순물 주입 영역(224)은 예를 들어 플로팅 디퓨전(floating diffusion)에 해당될 수 있다.
픽셀 분리 패턴(225)은 반도체 기판(220) 내에 배치될 수 있다. 픽셀 분리 패턴(225)은 복수의 단위 픽셀들을 정의할 수 있다. 단위 픽셀들은 평면적 관점에서 2차원적으로 배열될 수 있다. 예를 들어 픽셀 분리 패턴(225)은 평면적 관점에서 격자형으로 형성되어 단위 픽셀들을 서로 분리할 수 있다. 픽셀 분리 패턴(225)은 반도체 기판(220)이 패터닝되어 형성된 깊은 트렌치 내에 절연 물질이 매립되어 형성될 수 있다.
몇몇 실시예에서, 픽셀 분리 패턴(225)은 절연 스페이서막(226) 및 도전 필링 패턴(227)을 포함할 수 있다. 절연 스페이서막(226)은 반도체 기판(220) 내의 트렌치의 측면을 따라 컨포멀하게 연장될 수 있다. 도전 필링 패턴(227)은 절연 스페이서막(226) 상에 형성되어 반도체 기판(220) 내의 트렌치의 일부를 채울 수 있다.
시안 픽셀(PC)은 제1 광전 변환층(PD1)을 포함할 수 있다. 제1 광전 변환층(PD1)은 반도체 기판(220) 내에 형성될 수 있다. 제1 광전 변환층(PD1)은 외부로부터 입사되는 광의 양에 비례하여 전하를 생성할 수 있다. 제1 광전 변환층(PD1)은 반도체 기판(220) 내에 불순물이 도핑되어 형성될 수 있다. 예를 들어, 반도체 기판(220)이 p형 불순물로 도핑된 경우, 제1 광전 변환층(PD1)은 n형 불순물로 도핑될 수 있다. 즉 반도체 기판(220)에 도핑된 불순물의 타입은 제1 광전 변환층(PD1)에 도핑된 불순물의 타입과 다를 수 있다.
몇몇 실시예에서, 시안 픽셀(PC)은 표면 절연층(210), 그리드 패턴(250), 라이너(253), 시안 컬러 필터(CF＿C) 및 마이크로 렌즈(254) 등을 포함할 수 있다.
또한, 마젠타 픽셀(PM)은 마젠타 컬러 필터(CF＿M)를 포함할 수 있고, 옐로우 픽셀(PY)은 옐로우 컬러 필터(CF＿Y)를 포함할 수 있고, 화이트 픽셀(PW)은 별도의 컬러 필터를 포함하지 않을 수 있다. 즉, 각 픽셀들은 서로 다른 컬러 필터를 포함할 수 있으나, 본 발명의 실시예는 이에 제한되지 않는다.
표면 절연층(210)은 반도체 기판(220)의 제2 면(SF2) 상에 적층될 수 있다. 그리드 패턴(250), 라이너(253), 컬러 필터(CF) 및 마이크로 렌즈(254)는 표면 절연층(210)에 의해 정의되는 영역에 배치될 수 있다.
그리드 패턴(250)은 픽셀 분리 패턴(225)에 대응되도록 형성될 수 있다. 즉, 그리드 패턴(250)은 표면 절연층(210) 상에 평면적 관점에서 격자 형태로 형성될 수 있다. 예를 들어, 그리드 패턴(250)은 단위 픽셀들을 정의할 수 있다. 즉, 그리드 패턴(250)은 픽셀들의 경계에 형성될 수 있다. 또한, 그리드 패턴(250)은 컬러 필터들 사이에 형성될 수 있다.
그리드 패턴(250)은 예를 들어, 금속 패턴(251) 및 저굴절률 패턴(252)을 포함할 수 있다. 금속 패턴(251) 및 저굴절률 패턴(252)은 표면 절연층(210) 상에 차례로 적층될 수 있다. 라이너(253)는 표면 절연층(210) 및 그리드 패턴(250) 상에 형성될 수 있다. 라이너(253)는 표면 절연층(210) 및 그리드 패턴(250)의 표면을 따라 연장될 수 있다. 라이너(253)는 예를 들어, 알루미늄 산화물을 포함할 수 있으나, 이에 제한되는 것은 아니다.
컬러 필터들은 그리드 패턴(250)에 의해 정의되는 영역에 형성될 수 있다. 즉, 컬러 필터들은 픽셀로 정의되는 영역의 라이너(253) 상에 형성될 수 있다. 시안 컬러 필터(CF＿C)는 제1 광전 변환층(PD1) 상의 그리드 패턴(250)에 의해 정의되는 영역에 형성될 수 있다. 시안 컬러 필터(CF＿C)는 그리드 패턴(250)의 일부를 덮도록 형성될 수 있다. 마젠타 컬러 필터(CF＿M)는 제2 광전 변환층(PD2) 상의 그리드 패턴(250)에 의해 정의되는 영역에 형성될 수 있다. 마젠타 컬러 필터(CF＿M)는 그리드 패턴(250)의 일부를 덮도록 형성될 수 있다. 옐로우 컬러 필터(CF＿Y)는 제3 광전 변환층(PD3) 상의 그리드 패턴(250)에 의해 정의되는 영역에 형성될 수 있다. 옐로우 컬러 필터(CF＿Y)는 그리드 패턴(250)의 일부를 덮도록 형성될 수 있다.
마이크로 렌즈(254)는 컬러 필터 상에 형성될 수 있다. 단, 도 4에 도시된 바와 같이, 화이트 픽셀(PW)에 한해서 마이크로 렌즈(254)는 제4 광전 변환층(PD4) 상의 그리드 패턴(250)에 의해 정의되는 영역에 형성될 수 있다. 마이크로 렌즈(254)는 각 픽셀에 대응되도록 배열될 수 있다. 마이크로 렌즈(254)는 볼록한 형상을 가지며, 소정의 곡률 반경을 가질 수 있다. 이에 따라, 마이크로 렌즈(254)는 제1 내지 제4 광전 변환층(PD1, PD2, PD3, PD4)에 입사되는 빛을 집광 시킬 수 있다. 마이크로 렌즈(254)는 예를 들어, 광투과성 수지를 포함할 수 있으나, 이에 제한되는 것은 아니다. 여기서 각 픽셀의 마이크로 렌즈(254)는 각 픽셀의 일면을 덮을 수 있다.
몇몇 실시예에서, 시안 픽셀(PC)은 배선간 절연층(230) 및 연결 구조체 등을 포함할 수 있다. 연결 구조체는 배선간 절연층(230) 내에 형성될 수 있다. 여기서 연결 구조체는 복수의 메탈층(MTL) 및 복수의 컨택(C1, C2) 등을 포함할 수 있다. 픽셀(PX)의 구성들과 이미지 센서(100)의 구성들은 연결 구조체를 통하여 전기적으로 연결될 수 있다.
도 5는 몇몇 실시예에 따른 이미지 센서의 단위 픽셀을 설명하기 위한 회로도이다.
도 5를 참조하면, 단위 픽셀(PX)은 광전 변환층(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(reset transistor, RX), 소오스 팔로워(source follower, SF) 및 선택 트랜지스터(selection transistor, SX)를 포함할 수 있다. 여기서 단위 픽셀(PX)은 도 1의 픽셀 어레이(140) 또는 도 2의 픽셀 어레이 영역(Pixel Array)을 구성하는 단위일 수 있다.
전송 트랜지스터(TX)의 일단은 광전 변환층(PD)과 접속되고, 타단은 플로팅 디퓨전 영역(floating diffusion region, FD)에 접속되고, 제어 전극은 제어 신호(TG)를 수신할 수 있다.
리셋 트랜지스터(RX)의 일단은 전원 전압(VDD)을 수신하고, 타단은 플로팅 디퓨전 영역(FD)과 접속되고, 제어 전극은 제어 신호(RS)를 수신할 수 있다. 소오스 팔로워(SF)의 일단은 전원 전압(VDD)을 수신하고, 타단은 선택 트랜지스터(SX)의 일단과 접속되고, 제어 전극은 플로팅 디퓨전 영역(FD)과 접속될 수 있다. 선택 트랜지스터(SX)의 타단은 컬럼 라인(CL, 도시되지 않음.)과 연결되고, 제어 전극은 제어 신호(SEL)를 수신할 수 있다.
각 트랜지스터(TX, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG, RS, 및 SEL)는 로우 드라이버(130)로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호(Vout)는 컬럼 라인으로 공급될 수 있다. 출력 신호(Vout)는 아날로그 신호에 해당될 수 있다. 즉, 단위 픽셀(PX)로부터 출력된 출력 신호(Vout)는 리드 아웃 회로(150)를 통해 디지털 신호로 전환될 수 있고, 이미지 신호(IMS)로서 이미지 신호 프로세서(900)에 전달될 수 있다.
도 6은 몇몇 실시예에 따른 이미지 신호 프로세서를 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 이미지 신호 프로세서(900)는 입력부(IN), 출력부(OUT), 및 프로세서(Processor)를 포함할 수 있다.
도 1 및 도 6을 참조하면, 몇몇 실시예에 따른 이미지 신호 프로세서(900)는 이미지 신호(IMS)를 수신할 수 있다. 여기서, 이미지 신호(IMS)는 이미지 센서(100)에서 생성된 로우 이미지 신호로서 일례로, 도 4의 단위 픽셀(PX)에서 센싱된 데이터를 기초로 생성된 것일 수 있다.
이하, 도 4 내지 도 6을 참조하여 이미지 신호 프로세서(900)가 수신하는 이미지 신호(IMS)는 도 4의 단위 픽셀(PX)에서 센싱된 데이터를 이용하여 생성된 것으로 설명한다.
입력부(IN)의 일단은 이미지 신호(IMS)를 수신하고 타단은 프로세서(Processor)와 접속될 수 있다. 프로세서(Processor)는 입력부(IN)를 통해 수신한 이미지 신호(IMS)를 색상 보정 매트릭스(Color Correction Matrix)를 이용하여, 보정할 수 있다. 이때, 색상 보정 매트릭스(이하 CCM)는 다음 <수학식 1>과 같이 설정될 수 있다.
수학식 1에서 는 도 4의 단위 픽셀(PX)에서 센싱된 CMYW 데이터이고, 는 보정된 CMYW 데이터를 나타낸다.
이때, 수학식 1을 정리하면 보정된 CMYW는 각각 <수학식 2> 내지 <수학식 5>와 같이 나타낼 수 있다.
즉, 프로세서(Processor)는 시안 픽셀(PC)과 화이트 픽셀(PW)에서 생성된 이미지 신호를 색상 보정 매트릭스를 이용하여 보정하고, 보정된 신호에서 R 데이터를 추출할 수 있다.
즉, 프로세서(Processor)는 마젠타 픽셀(PM)과 화이트 픽셀(PW)에서 생성된 이미지 신호를 색상 보정 매트릭스를 이용하여 보정하고, 보정된 신호에서 G 데이터를 추출할 수 있다.
즉, 프로세서(Processor)는 옐로우 픽셀(PY)과 화이트 픽셀(PW)에서 생성된 이미지 신호를 색상 보정 매트릭스를 이용하여 보정하고, 보정된 신호에서 B 데이터를 추출할 수 있다.
즉, 프로세서(Processor)는 시안 픽셀(PC), 마젠타 픽셀(PM), 옐로우 픽셀(PY) 및 화이트 픽셀(PW)에서 생성된 이미지 신호를 색상 보정 매트릭스를 이용하여 보정하고, 보정된 신호에서 IR 데이터를 추출할 수 있다. 또한, 상술한 IR 데이터는 도 4에 도시된, 렌즈 모듈(260)의 제1 패스 필터(262)를 투과한 광의 IR 성분에서 센싱된 데이터일 수 있다.
<수학식 2> 내지 <수학식 5>를 통해 <수학식 1>은 다음 <수학식 6>과 같이 나타낼 수 있다.
<수학식 6>을 참조하면, 프로세서(Processor)는 입력부(IN)을 통해 이미지 신호(IMS)를 수신할 수 있고, 해당 이미지 신호(IMS)는 도 4의 단위 픽셀(PX)을 기초로 생성된 것일 수 있다. 또한, 프로세서(Processor)는 색상 보정 매트릭스(이하, CCM)를 이용하여 해당 이미지 신호(IMS)를 통해 데이터로 보정된 이미지 신호를 추출할 수 있다.
출력부(OUT)의 일단은 프로세서(Processor)와 접속되어 보정된 이미지 신호를 제공받고, 출력부(OUT)의 타단은 보정된 이미지 신호를 출력할 수 있다.
도 7 은 RGB＋IR 패턴으로 배치된 단위 픽셀을 나타낸 도면이다. 설명의 편의를 위해, 도 1 내지 도 6을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.
도 1, 도 2 및 도 7을 참조하면, 몇몇 실시예에 따른 이미지 센서(100)는 도 7의 단위 픽셀(PX＇) 패턴으로 구성된 픽셀 어레이 영역(Pixel Array)을 포함할 수 있다.
또한, 도 4 내지 도 6을 참조하여 상술한 것과 같이 몇몇 실시예에서, CMYW 패턴의 단위 픽셀(PX)을 포함하는 이미지 센서는 RGB＋IR 패턴의 단위 픽셀(PX＇)을 포함하는 이미지 센서와 동일한 성능을 구현할 수 있다. 예를 들어, RGB＋IR 패턴의 단위 픽셀(PX＇)을 포함하는 이미지 센서는 빛이 없는 저조도 상태일 때 가시광선 영역의 광 대신 근적외선(IR) 영역의 광을 이용하여 이미지 신호(IMS)를 생성할 수 있다. 또한, CMYW 패턴의 단위 픽셀(PX)을 포함하는 이미지 센서도 빛이 없는 저조도 상태일 때 가시광선 영역의 광 대신 근적외선(IR) 영역의 광을 이용하여 이미지 신호(IMS)를 생성할 수 있다. 여기서, CMYW 패턴의 단위 픽셀(PX, 도 4에 도시됨.)을 포함하는 이미지 센서는 RGB＋IR 패턴의 단위 픽셀(PX＇, 도 7에 도시됨.)을 포함하는 이미지 센서와 달리, 별도의 IR 패스 필터(PF＿IR) 없이 근적외선(IR) 영역의 광을 이용하여 이미지 신호(IMS)를 생성할 수 있다.
또한, 도 6 및 <수학식 6>을 참조하면, CMYW 패턴의 단위 픽셀(PX)을 기초로 생성된 이미지 신호(IMS)를 보정하기 위해 설정한 색상 보정 매트릭스(CCM)는 4행과 4열을 제외한 비대각성분이 다른 패턴의 단위 픽셀에 비해 가장 작을 수 있다. 이에 따라, CMYW 패턴의 픽셀을 기초로 생성된 이미지 신호(IMS)는 임의의 패턴의 픽셀을 기초로 생성된 다른 이미지 신호보다 신호 대 잡음비가 가장 좋을 수 있다.
도 8은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다. 도 9는 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다. 도 10은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다. 도 1 내지 도 7을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.
도 8을 참조하면 몇몇 실시예에 따른 단위 픽셀그룹 어레이(PA0)는 CMYW 패턴으로 배치된 복수의 서브 픽셀그룹(PCG, PMG, PWG, PWG)을 포함할 수 있다. 단위 픽셀그룹은 서브 픽셀그룹이 가지는 컬러, 예를 들어, 시안, 마젠타, 옐로우, 화이트를 포함할 수 있다.
몇몇 실시예에 따라 각 서브 픽셀그룹은 서브 픽셀(PC, PM, PY, PW)을 포함할 수 있다. 복수의 서브 픽셀(PC, PM, PY, PW)들은 2차원으로 배열될 수 있다. 예를 들어, 복수의 서브 픽셀(PC, PM, PY, PW)들은 제1 방향 및 제2 방향으로 반복되어 배치될 수 있다. 서브 픽셀(PC, PM, PY, PW)들은 일정한 간격을 가지고 배열될 수 있다. 각각의 서브 픽셀(PC, PM, PY, PW) 상에는 마이크로 렌즈(ML)가 배치될 수 있다.
단위 픽셀그룹 어레이(PA0)는 서브 픽셀그룹이 일정한 패턴으로 배치된 것일 수 있다. 서브 픽셀그룹당 서브 픽셀의 개수에 따라, 서브 픽셀이 4개인 경우 테트라 픽셀(Tetra), 서브 픽셀이 9개인 경우 노나 픽셀(Nona), 서브 픽셀이 16개인 경우 테트라2 픽셀(Tetra²)로 호칭될 수 있다. 도시된 단위 픽셀그룹 어레이(PA0)는 서브 픽셀그룹 하나에 4개의 서브 픽셀이 포함되므로, 각 서브 픽셀은 테트라 픽셀일 수 있다.
몇몇 실시예에 따라 단위 픽셀그룹 어레이(PA0)는 CYMW 패턴이면서 테트라 패턴(Tetra 패턴)으로 배열될 수 있다. 예를 들어, 하나의 서브 픽셀그룹은 2×2 서브 픽셀, 즉, 2개의 행 및 2개의 열에 배치되는 4개의 서브 픽셀들을 포함하는 것으로 정의되는 픽셀일 수 있다. 몇몇 실시예에 따라 서브 픽셀그룹은 모두 동일한 색상의 서브 픽셀을 포함할 수도 있고 또는 몇몇 실시예에 따라 서브 픽셀그룹은 적어도 하나, 즉 소수의 다른 색상의 서브 픽셀과 나머지 픽셀은 동일한 색상의 서브 픽셀을 포함할 수 있다.
예를 들면, 단위 픽셀그룹 어레이(PA0)는 제1 패턴으로 배치된 시안 서브 픽셀그룹(PCG), 마젠타 서브 픽셀그룹(PMG), 옐로우 서브 픽셀그룹(PYG), 화이트 서브 픽셀그룹(PWG)을 포함할 수 있다. 도시된 예에서 각각의 서브 픽셀그룹은 4개의 서브 픽셀(즉 테트라 픽셀들)을 포함할 수 있다.
도 9를 참조하면, 도시된 단위 픽셀그룹 어레이(PA1)는 서브 픽셀 그룹 하나에 9개의 서브 픽셀이 포함되므로, 각 서브 픽셀은 노나 픽셀일 수 있다.
몇몇 실시예에 따라 단위 픽셀그룹 어레이(PA1)는 CYMW 패턴이면서 노나 패턴(Nona 패턴)으로 배열될 수 있다. 예를 들어, 하나의 서브 픽셀그룹은 3×3 서브 픽셀, 즉, 3개의 행 및 3개의 열에 배치되는 9개의 서브 픽셀들을 포함하는 것으로 정의되는 픽셀일 수 있다. 몇몇 실시예에 따라 서브 픽셀그룹은 모두 동일한 색상의 서브 픽셀을 포함할 수도 있고 또는 몇몇 실시예에 따라 서브 픽셀그룹은 적어도 하나, 즉 소수의 다른 색상의 서브 픽셀과 나머지 픽셀은 동일한 색상의 서브 픽셀을 포함할 수 있다.
예를 들면, 단위 픽셀그룹 어레이(PA1)는 제1 패턴으로 배치된 시안 서브 픽셀그룹(PCG), 마젠타 서브 픽셀그룹(PMG), 옐로우 서브 픽셀그룹(PYG), 화이트 서브 픽셀그룹(PWG)을 포함할 수 있다. 도시된 예에서 각각의 서브 픽셀그룹은 9개의 서브 픽셀(즉 노나 픽셀들)을 포함할 수 있다.
도 10을 참조하면, 도시된 단위 픽셀그룹 어레이(PA2)는 서브 픽셀 그룹 하나에 16개의 서브 픽셀이 포함되므로, 각 서브 픽셀은 테트라2 픽셀일 수 있다.
몇몇 실시예에 따라 단위 픽셀그룹 어레이(PA2)는 CYMW 패턴이면서 테트라2 패턴(Tetra² 패턴)으로 배열될 수 있다. 예를 들어, 하나의 서브 픽셀그룹은 4×4 서브 픽셀, 즉, 4개의 행 및 4개의 열에 배치되는 16개의 서브 픽셀들을 포함하는 것으로 정의되는 픽셀일 수 있다. 몇몇 실시예에 따라 서브 픽셀그룹은 모두 동일한 색상의 서브 픽셀을 포함할 수도 있고 또는 몇몇 실시예에 따라 서브 픽셀그룹은 적어도 하나, 즉 소수의 다른 색상의 서브 픽셀과 나머지 픽셀은 동일한 색상의 서브 픽셀을 포함할 수 있다.
예를 들면, 단위 픽셀그룹 어레이(PA2)는 제1 패턴으로 배치된 시안 서브 픽셀그룹(PCG), 마젠타 서브 픽셀그룹(PMG), 옐로우 서브 픽셀그룹(PYG), 화이트 서브 픽셀그룹(PWG)을 포함할 수 있다. 도시된 예에서 각각의 서브 픽셀그룹은 16개의 서브 픽셀(즉 테트라2 픽셀들)을 포함할 수 있다.
도 11은 몇몇 실시예에 따른 이미지 신호 처리 방법을 설명하기 위한 도면이다. 도 12는 몇몇 실시예에서 컬러 필터에 따른 광의 투과율을 나타낸 도면이다. 도 13은 몇몇 실시예에서 컬러 필터에 따른 광의 투과율을 설명하기 위한 도면이다. 도 14는 몇몇 실시예에 따른 이미지 신호 처리 방법을 나타낸 순서도이다.
도 11 내지 도 13을 참조하면, 몇몇 실시예에서, 시안 컬러 필터(CF_C)는 근적외선(IR) 영역의 광, 광의 그린(G) 성분, 광의 블루(B) 성분을 투과 시킬 수 있다. 이에 따라, 도 13에서 도시된 바와 같이, 시안 컬러 필터(CF_C)의 파장(λ)대별 투과율(t)은 도 12에서 도시된 그린 컬러 필터(CF_G), 및 블루 컬러 필터(CF_B)의 파장(λ)대별 투과율(t)의 특징을 모두 가지고 있을 수 있다. 예를 들어, 도 12에 도시된 것과 같이, 그린 컬러 필터(CF_G), 및 블루 컬러 필터(CF_B)에서 투과율(t)이 높은 광의 파장(λ) 영역대는 도 13에서 도시된 시안 컬러 필터(CF_C)에서 투과율(t)이 높은 광의 파장(λ) 영역대와 일치할 수 있다.
또한, 몇몇 실시예에서 마젠타 컬러 필터(CF_M)는 근적외선(IR) 영역의 광, 광의 레드(R) 성분, 광의 블루(B) 성분을 투과 시킬 수 있다. 이에 따라, 도 13에서 도시된 바와 같이, 마젠타 컬러 필터(CF_M)의 파장(λ)대별 투과율(t)은 도 12에서 도시된 레드 컬러 필터(CF_R), 및 블루 컬러 필터(CF_B)의 파장(λ)대별 투과율(t)의 특징을 모두 가지고 있을 수 있다. 예를 들어, 도 12에서 도시된 것과 같이, 레드 컬러 필터(CF_R), 및 블루 컬러 필터(CF_B)에서 투과율(t)이 높은 광의 파장(λ) 영역대는 도 13에서 도시된 마젠타 컬러 필터(CF_M)에서 투과율(t)이 높은 광의 파장(λ) 영역대와 일치할 수 있다.
또한, 몇몇 실시예에서 옐로우 컬러 필터(CF_Y)는 근적외선(IR) 영역의 광, 광의 레드(R) 성분, 광의 그린(G) 성분을 투과 시킬 수 있다. 이에 따라, 도 13에서 도시된 바와 같이, 옐로우 컬러 필터(CF_Y)의 파장(λ)대별 투과율(t)은 도 12에서 도시된 레드 컬러 필터(CF_R), 및 그린 컬러 필터(CF_G)의 파장(λ)대별 투과율(t)의 특징을 모두 가지고 있을 수 있다. 예를 들어, 도 12에서 도시된 것과 같이, 레드 컬러 필터(CF_R), 및 그린 컬러 필터(CF_G)에서 투과율(t)이 높은 광의 파장(λ) 영역대는 도 13에서 도시된 옐로우 컬러 필터(CF_Y)에서 투과율(t)이 높은 광의 파장(λ) 영역대와 일치할 수 있다.
또한, 도 13에서 도시하지는 않았지만, 시안 컬러 필터(CF_C), 마젠타 컬러 필터(CF_M), 옐로우 컬러 필터(CF_Y)는 상술한 바와 같이, 시안 컬러 필터(CF_C)는 그린 컬러 필터(CF_G), 및 블루 컬러 필터(CF_B), 마젠타 컬러 필터(CF_M)는 레드 컬러 필터(CF_R), 및 블루 컬러 필터(CF_B), 옐로우 컬러 필터(CF_Y)는 레드 컬러 필터(CF_R), 및 그린 컬러 필터(CF_G)의 특징을 각각 가지고 있기에, 도 12에서 도시된 바와 같이, 약 800nm ~ 1100nm 파장(λ) 영역대의 광에 대해서도 높은 투과율(t)을 가질 수 있다. 이때 해당 파장(λ) 영역대의 광은 근적외선(IR) 영역의 광일 수 있다.
도 1 및 도 14를 참조하면 이미지 센서(100)는 CMYW 패턴으로 배치된 단위 픽셀(PX)로 구성된 픽셀 어레이(140)를 포함할 수 있다. 도 11 및 도 14에 도시된 바와 같이, 이미지 센서(100)는 렌즈 모듈(260)을 통해 광을 수신할 수 있다(S100). 여기서, 렌즈 모듈(260)을 통해 수신한 광은 가시광선 영역의 광과 근적외선(IR) 영역의 광을 포함할 수 있다.
이어서, 이미지 센서(100)는 컬러 필터(CF)를 투과한 광을 기초로 이미지 신호를 생성할 수 있다(S110). 예를 들어, 이미지 센서(100)는 시안 컬러 필터(CF＿C)를 투과한 광의 그린(G) 성분, 블루(B) 성분, 및 근적외선(IR) 영역의 광 성분을 기초로 제1 이미지 신호를 생성할 수 있다. 또한, 이미지 센서(100)는 마젠타 컬러 필터(CF＿M)를 투과한 광의 레드(R) 성분, 블루(B) 성분, 및 근적외선(IR) 영역의 광 성분을 기초로 제2 이미지 신호를 생성할 수 있다. 또한, 이미지 센서(100)는 옐로우 컬러 필터(CF＿Y)를 투과한 광의 레드(R) 성분, 그린(G) 성분, 및 근적외선(IR) 영역의 광 성분을 기초로 제3 이미지 신호를 생성할 수 있다. 또한, 이미지 센서(100)는 컬러 필터(CF)가 없는 화이트 픽셀(PW)에 한해서 렌즈 모듈(260)을 투과한 광을 기초로 제4 이미지 신호를 생성할 수 있다.
이어서, 이미지 신호 프로세서(900)는 이미지 센서(100)로부터 제1 내지 제4 이미지 신호를 수신할 수 있다(S120). 몇몇 실시예에서, 이미지 신호 프로세서(900)는 도 6에 도시된 것과 같이 입력부(IN), 프로세서(Processor), 및 출력부(OUT)를 포함할 수 있다.
마지막으로, 이미지 신호 프로세서(900)는 수신한 이미지 신호(예를 들어, 제1 내지 제4 이미지 신호)에 대해서 색상 보정 작업을 통해 보정된 신호를 출력할 수 있다(S130). 또한, 보정된 신호는 RGB＋IR 패턴의 픽셀로 배치된 이미지 센서에서 출력된 신호와 동일한 성능을 가질 수 있다.
도 15는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 16은 도 15의 카메라 모듈의 상세 블록도이다.
도 15를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 어플리케이션 프로세서(1200), PMIC(1300), 외부 메모리(1400) 및 디스플레이(1500)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
여기서 3개의 카메라 모듈(1100a, 1100b, 1100c) 중 하나는 도 1 내지 도 14를 이용하여 설명한 이미지 센서(100)를 포함할 수 있다. 즉, 카메라 모듈(1100a, 1100b, 1100c)의 이미지 센서(100)는 단위 픽셀(PX), 단위 픽셀 어레이 그룹(PA1) 또는 단위 픽셀 어레이 그룹(PA2)으로 구성된 픽셀 어레이 영역(Pixel Array)을 포함할 수 있다.
이하, 도 16을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 16을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ″OPFE″)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(＋) A방향으로는 15도(degree)이하이고, 마이너스(－) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(＋) 또는 마이너스(－) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(＋) 또는 마이너스(－) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b) 이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치 별(또는 스테이트 별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 15 및 도 16을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 15를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다. 또한, 몇몇 실시예에서 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)는 도 1 및 도 6에 도시된 이미지 신호 프로세서(900)와 동일한 것일 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 이미지 센싱 장치 100: 이미지 센서
260: 렌즈 모듈 900: 이미지 신호 프로세서
PC: 시안 픽셀 PM: 마젠타 픽셀
PX: 단위 픽셀 PY: 옐로우 픽셀

Claims (10)

  1. 렌즈 모듈;
    상기 렌즈 모듈 하부에 배치된 마이크로 렌즈;
    시안(cyan) 컬러 필터가 배치되고, 상기 렌즈 모듈을 통해 광을 수신하여 제1 이미지 신호를 출력하는 제1 픽셀과,
    마젠타(magenta) 컬러 필터가 배치되고, 상기 렌즈 모듈을 통해 광을 수신하여 제2 이미지 신호를 출력하는 제2 픽셀과,
    옐로우(yellow) 컬러 필터가 배치되고, 상기 렌즈 모듈을 통해 광을 수신하여 제3 이미지 신호를 출력하는 제3 픽셀과,
    컬러 필터가 배치되지 않고, 상기 렌즈 모듈을 통해 광을 수신하여 제4 이미지 신호를 출력하는 제4 픽셀을 포함하는 이미지 센서; 및
    상기 이미지 센서의 상기 제1 픽셀, 제2 픽셀, 제3 픽셀 및 제4 픽셀로부터 이미지 신호를 제공받고, 상기 이미지 신호로부터 상기 광의 레드(R) 성분과 그린(G) 성분과 블루(B) 성분과 근적외선(IR) 성분을 추출하는 이미지 신호 프로세서를 포함하는 이미지 센싱 장치.
  2. 제1 항에 있어서,
    상기 렌즈 모듈은 IR 영역의 광을 투과시키는 제1 패스 필터와, 가시광선 영역의 광을 투과시키는 제2 패스 필터를 포함하는 이미지 센싱 장치.
  3. 제2 항에 있어서,
    상기 제1 패스 필터는 상기 제2 패스 필터 상에 배치되는 이미지 센싱 장치.
  4. 제1 항에 있어서,
    상기 R 성분은 상기 제1 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되는 이미지 센싱 장치.
  5. 제1 항에 있어서,
    상기 G 성분은 상기 제2 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되는 이미지 센싱 장치.
  6. 제1 항에 있어서,
    상기 B 성분은 상기 제3 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되는 이미지 센싱 장치.
  7. 제1 항에 있어서,
    상기 IR 성분은 상기 제1 내지 제4 이미지 신호를 이용하여 추출되는 이미지 센싱 장치.
  8. 수신한 광으로부터 상기 광의 시안 성분을 포함하는 제1 이미지 신호와, 상기 광의 마젠타 성분을 포함하는 제2 이미지 신호와, 상기 광의 옐로우 성분을 포함하는 제3 이미지 신호와, 상기 광의 화이트 성분을 포함하는 제4 이미지 신호를 출력하는 이미지 센서; 및
    상기 이미지 센서로부터 상기 제1 내지 제4 이미지 신호를 수신하고, 상기 제1 내지 제4 이미지 신호로부터 상기 광의 레드(R) 성분과 그린(G) 성분과 블루(B) 성분과 근적외선(IR) 성분을 각각 추출하여 출력하는 이미지 신호 프로세서를 포함하는 이미지 센싱 장치.
  9. 이미지 센서에 의해, 제1 광이 렌즈 모듈을 투과한 제2 광을 수신하고,
    상기 이미지 센서에 의해, 상기 제2 광을 시안(cyan) 컬러 필터를 통해 수신하여 제1 이미지 신호를 생성하고,
    상기 이미지 센서에 의해, 상기 제2 광을 마젠타(magenta) 컬러 필터를 통해 수신하여 제2 이미지 신호를 생성하고,
    상기 이미지 센서에 의해, 상기 제2 광을 옐로우(yellow) 컬러 필터를 통해 수신하여 제3 이미지 신호를 생성하고,
    상기 이미지 센서에 의해, 상기 제2 광을 기초로 제4 이미지 신호를 생성하고,
    이미지 신호 프로세서에 의해, 상기 제1 내지 제4 이미지 신호로부터 상기 제1 광의 레드(R) 성분과, 그린(G) 성분과, 블루(B) 성분과 근적외선(IR) 성분을 각각 추출하는 것을 포함하는 이미지 신호 처리 방법.
  10. 제9 항에 있어서,
    상기 R 성분은 상기 제1 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되고,
    상기 G 성분은 상기 제2 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되고,
    상기 B 성분은 상기 제3 이미지 신호와 상기 제4 이미지 신호를 이용하여 추출되고,
    상기 IR 성분은 상기 제1 내지 제4 이미지 신호를 이용하여 추출되는 이미지 신호 처리 방법.
KR1020220165606A 2022-12-01 이미지 센싱 장치 및 이미지 신호 처리 방법 KR20240081893A (ko)

Publications (1)

Publication Number Publication Date
KR20240081893A true KR20240081893A (ko) 2024-06-10

Family

ID=

Similar Documents

Publication Publication Date Title
US20220165765A1 (en) Image sensor and image sensing system
US11631711B2 (en) Image sensor and image sensing device
US11881497B2 (en) Image sensor and image sensing circuit
US20220384507A1 (en) Image sensor
JP2022166816A (ja) イメージセンサ
US20220149091A1 (en) Image sensor and an image sensing system including the same
KR20240081893A (ko) 이미지 센싱 장치 및 이미지 신호 처리 방법
US20240186349A1 (en) Image sensing device and method of image signal processing
US20220285415A1 (en) Image sensor with pixels having uniform sensitivity
US20220337764A1 (en) Image sensor and image sensing system
CN118138896A (zh) 图像感测装置和图像信号处理方法
US20230073145A1 (en) Image sensor and method of manufacturing image sensor
US12009374B2 (en) Image sensor including color filter grid including portion overlapping super phase detection (PD) pixel
US20220399384A1 (en) Pixel array and image sensor including the same
US20230005980A1 (en) Image sensor
US11825226B2 (en) Image sensor and pixel array of image sensor
JP2022162550A (ja) イメージセンサおよびこのイメージセンサを含むイメージセンシングシステム
US20220216258A1 (en) Image sensor
KR20220156272A (ko) 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 센싱 시스템
KR20220162016A (ko) 이미지 센서
KR20220086030A (ko) 이미지 센서
KR20220127003A (ko) 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
KR20230135389A (ko) 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법