KR20230067491A - 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치 - Google Patents

이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치 Download PDF

Info

Publication number
KR20230067491A
KR20230067491A KR1020220090833A KR20220090833A KR20230067491A KR 20230067491 A KR20230067491 A KR 20230067491A KR 1020220090833 A KR1020220090833 A KR 1020220090833A KR 20220090833 A KR20220090833 A KR 20220090833A KR 20230067491 A KR20230067491 A KR 20230067491A
Authority
KR
South Korea
Prior art keywords
phase detection
image data
pixel
image
color filter
Prior art date
Application number
KR1020220090833A
Other languages
English (en)
Inventor
박동진
최우석
이지홍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/050,270 priority Critical patent/US20230143333A1/en
Priority to CN202211392626.2A priority patent/CN116095525A/zh
Publication of KR20230067491A publication Critical patent/KR20230067491A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치가 제공된다. 상기 이미지 센서는, 복수의 노말 픽셀, 및 서로 이웃하는 제1 위상 검출 픽셀과 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 그룹을 포함하는 픽셀 어레이, 및 픽셀 어레이 상에, M*N(M 및 N은 자연수) 배열된 동일한 컬러 필터로 구성된 복수의 단위 그룹을 포함하는 컬러 필터 어레이를 포함하고, 제1 위상 검출 픽셀 상의 컬러 필터는 제2 위상 검출 픽셀 상의 컬러 필터와 다른 컬러의 컬러 필터이다.

Description

이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치{IMAGE SENSOR, APPLICATION PROCESSOR AND IMAGE SENSING DEVICE}
본 발명은 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치에 관한 것이다.
이미지 센서(image sensor)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센서는 전하 결합형(CCD; Charge Coupled Device) 이미지 센서와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센서를 포함할 수 있다.
한편 CMOS 이미지 센서를 구성하는 픽셀 어레이(pixel array)는 각 픽셀마다 광전 변환 소자를 포함한다. 상기 광전 변환 소자는 입사되는 빛의 양에 따라 가변되는 전기 신호를 생성하고 CMOS 이미지 센서는 상기 전기 신호를 처리하여 영상을 합성해낼 수 있다. 최근 고해상도 이미지에 대한 요구에 따라 CMOS 이미지 센서를 구성하는 픽셀은 보다 소형화될 것이 요구되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 M*N(M 및 N은 자연수)으로 배열된 동일한 컬러의 컬러 필터를 포함하는 복수의 단위 그룹으로 구성된 컬러 필터 어레이를 포함하는 이미지 센서를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 M*N(M 및 N은 자연수)으로 배열된 동일한 컬러의 컬러 필터를 포함하는 복수의 단위 그룹으로 구성된 컬러 필터 어레이를 포함하는 이미지 센서로부터 제공된 데이터를 처리하는 어플리케이션 프로세서를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 M*N(M 및 N은 자연수)으로 배열된 동일한 컬러의 컬러 필터를 포함하는 복수의 단위 그룹으로 구성된 컬러 필터 어레이를 포함하는 이미지 센서를 포함하는 이미지 센싱 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는, 복수의 노말 픽셀, 및 서로 이웃하는 제1 위상 검출 픽셀과 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 그룹을 포함하는 픽셀 어레이, 및 픽셀 어레이 상에, M*N(M 및 N은 자연수) 배열된 동일한 컬러 필터로 구성된 복수의 단위 그룹을 포함하는 컬러 필터 어레이를 포함하고, 제1 위상 검출 픽셀 상의 컬러 필터는 제2 위상 검출 픽셀 상의 컬러 필터와 다른 컬러의 컬러 필터이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는, 복수의 노말 픽셀, 및 서로 이웃하는 제1 위상 검출 픽셀과 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 픽셀 그룹을 포함하는 픽셀 어레이, 및 위상 검출 픽셀 그룹으로부터 생성된 복수의 위상 검출 데이터 중 어느 하나와 복수의 노말 픽셀로부터 생성된 복수의 이미지 데이터 중 어느 하나를 채널을 통해 함께 출력하는 이미지 신호 프로세서를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 어플리케이션 프로세서는, 이미지 센서로부터 제1 채널을 통해, 제1 컬러 필터가 배치된 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 신호와, 제1 컬러 필터가 배치된 제1 노말 픽셀로부터 생성된 제1 이미지 데이터를 함께 수신하고, 이미지 센서로부터 제1 채널을 통해, 제2 컬러 필터가 배치된 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 신호와, 제2 컬러 필터가 배치된 제2 노말 픽셀로부터 생성된 제2 이미지 데이터를 함께 수신하고, 제1 위상 검출 신호, 제1 이미지 데이터, 제2 위상 검출 신호 및 제2 이미지 데이터에 기초하여, 제1 위상 검출 신호와 제2 위상 검출 신호의 전체 디스패리티를 계산한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센싱 장치는, 제1 이미지 데이터 및 제2 이미지 데이터를 생성하는 복수의 노말 픽셀, 및 서로 이웃하고 제1 위상 검출 데이터를 생성하는 제1 위상 검출 픽셀과 제2 위상 검출 데이터를 생성하는 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 그룹을 포함하는 픽셀 어레이와, 픽셀 어레이 상에, M*N(M 및 N은 자연수) 배열된 동일한 컬러 필터로 구성된 복수의 단위 그룹을 포함하는 컬러 필터 어레이를 포함하는 이미지 센서, 및 제1 채널을 통해 제1 이미지 데이터를 제공받고, 제2 채널을 통해 제2 이미지 데이터, 제1 위상 검출 데이터 및 제2 위상 검출 데이터를 제공받고, 제2 이미지 데이터, 제1 위상 검출 데이터 및 제2 위상 검출 데이터에 기초하여, 제1 위상 검출 데이터 및 제2 위상 검출 데이터의 전체 디스패리티를 계산하는 어플리케이션 프로세서를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 이미지 시스템을 설명하기 위한 블록도이다.
도 2는 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 3은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면이다.
도 4 내지 도 6은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면들이다.
도 7은 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 8은 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 9 및 도 10은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 도면들이다.
도 11은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 12는 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 13은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 14는 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 15 내지 도 17은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면들이다.
도 18은 몇몇 실시예에 따른 이미지 센싱 장치를 설명하기 위한 블록도이다.
도 19는 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 20은 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 21은 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 22는 도 21의 카메라 모듈의 상세 블록도이다.
도 1은 몇몇 실시예에 따른 이미지 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 몇몇 실시예에 따른 이미지 센싱 장치(1)는 이미지 센서(100) 및 어플리케이션 프로세서(Application Processor(AP); 200)를 포함할 수 있다. 이미지 센싱 장치(1)는 휴대용 전자 장치, 예컨대 디지털 카메라, 캠코더, 이동 전화기, 스마트폰(smart phone), 태블릿 PC(tablet personal computer), PDA(personal digital assistant), 모바일 인터넷 장치 (mobile internet device(MID)), 웨어러블 컴퓨터(wearable computer), 사물 인터넷 장치(internet of things(IoT) device), 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
이미지 센서(100)는 어플리케이션 프로세서(200)의 제어에 의해 렌즈(103)를 통해 촬영된 물체(101)를 센싱할 수 있다. 이미지 센서(100)는 렌즈(103)를 통하여 입사된 물체(101)의 광학적 신호를 광 감지 소자(또는 광전 변환 소자)를 이용하여 전기적 신호로 변환하고, 전기적 신호에 기초하여 이미지 데이터를 생성하고 이를 출력할 수 있다.
이미지 센서(100)는 픽셀 어레이(pixel array; 112), 로우 드라이버(row driver; 120), 상관 이중 샘플링(Correlated Double Sampling(CDS)) 블록(130), 아날로그 디지털 컨버터(Analog Digital Converter(ADC)) 블록(140), 램프 신호 생성기(ramp generator; 150), 타이밍 생성기(timing generator; 160), 제어 레지스터 블록(control register block; 170), 버퍼(buffer; 180), 제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194)를 포함할 수 있다.
픽셀 어레이(112)는 매트릭스 형태로 배열된 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 광 감지 소자를 이용하여 빛을 감지하고, 감지된 빛을 전기적 신호인 픽셀 신호로 변환할 수 있다. 예를 들어, 광 감지 소자는 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(pinned photo diode, PPD), 또는 이들의 조합일 수 있다. 복수의 광 감지 소자 각각은 포토 다이오드, 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터 및 선택 트랜지스터를 포함하는 4-트랜지스터 구조일 수 있다. 일 실시예에 따라, 복수의 광 감지 소자 각각은 1-트랜지스터 구조, 3-트랜지스터 구조 또는 5-트랜지스터 구조이거나, 복수의 픽셀들이 일부 트랜지스터를 공유하는 구조일 수 있다.
컬러 필터 어레이(114)는 픽셀 어레이(112) 상에 배치될 수 있다. 픽셀 어레이(112) 및 컬러 필터 어레이(114)는 도 2를 참조하여 자세히 설명한다.
로우 드라이버(120)는 타이밍 생성기(160)의 제어에 따라 복수의 픽셀들 각각을 활성화할 수 있다. 예컨대, 로우 드라이버(120)는 픽셀 어레이(112)에 구현된 픽셀들을 행 단위(in units of rows)로 구동할 수 있다. 예컨대, 로우 드라이버(120)는 복수의 행들 각각에 포함된 복수의 픽셀들의 작동을 제어할 수 있는 제어 신호들을 생성할 수 있다.
상기 제어 신호들에 따라, 복수의 픽셀들 각각으로부터 출력된 픽셀 신호는 이중 상관 샘플링 블록(130)으로 전송된다.
상관 이중 샘플링 블록(130)은 복수의 CDS 회로들을 포함할 수 있다. 복수의 CDS 회로들 각각은, 타이밍 생성기(160)로부터 출력된 적어도 하나의 스위치 신호에 응답하여, 픽셀 어레이(112)에 구현된 복수의 컬럼 라인들 각각으로부터 출력된 픽셀값들에 대해 상관 이중 샘플링을 수행하고, 상관 이중 샘플된 픽셀값과 램프 신호 생성기(150)로부터 출력된 램프 신호를 서로 비교하여 복수의 비교 신호들을 출력할 수 있다.
아날로그 디지털 컨버터 블록(140)은 상관 이중 샘플링 블록(130)에서 출력된 복수의 비교 신호들 각각을 디지털 신호로 변환하고 복수의 디지털 신호들을 버퍼(180)로 출력할 수 있다.
타이밍 생성기(160)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 생성할 수 있다. 타이밍 생성기(160)에서 생성된 동작 타이밍 기준 신호는 로우 드라이버(120), 상관 이중 샘플링 블록(130), 아날로그 디지털 컨버터 블록(140), 및 램프 신호 생성기(150)에 전달될 수 있다.
제어 레지스터 블록(170)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 제어 레지스터 블록(170)은 램프 신호 생성기(150), 타이밍 생성기(160), 및 버퍼(180)의 동작을 제어할 수 있다.
버퍼(180)는 아날로그 디지털 컨버터 블록(140)으로부터 출력된 복수의 디지털 신호들에 대응되는 이미지 로우 데이터와 위상 로우 데이터를 출력할 수 있다. 이미지 로우 데이터는 노말 픽셀로부터 생성될 수 있고, 위상 로우 데이터는 위상 검출 픽셀로부터 생성될 수 있다.
각각의 제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194)는 각각의 이미지 로우 데이터 및 위상 로우 데이터에 대한 이미지 처리(image processing)를 수행하여 이미지 데이터(IDATA, Gi, Ci) 및 위상 검출 데이터(Li, Ri)를 출력할 수 있다. 예를 들어, 각각의 제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194)는 각각의 이미지 데이터 및 위상 검출 데이터에 대하여 데이터 형식을 변경하는 이미지 처리(예컨대 베이어 패턴의 이미지 데이터를 YUV 또는 RGB 형식으로 변경), 노이즈 제거, 밝기 조정, 선명도(sharpness) 조정 등의 화질 향상을 위한 이미지 처리 등을 포함할 수 있다.
제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194)는 이미지 센서(100)의 하드웨어로 구성될 수 있다. 또는 제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194)는 이미지 센서(100) 외부에 위치하거나, 또는 어플리케이션 프로세서(200) 내부에 위치할 수도 있다.
어플리케이션 프로세서(200)는 인터페이스를 통해 이미지 센서(100)로부터 이미지 데이터(IDATA, Gi, Ci) 및 위상 검출 데이터(Li, Ri)를 제공받을 수 있다. 몇몇 실시예에서, 어플리케이션 프로세서(200)는 제1 채널(VC0)을 통해 이미지 센서(100)로부터 제1 이미지 데이터(IDATA)를 제공받을 수 있다. 어플리케이션 프로세서(200)는 제2 채널(VC1)을 통해 이미지 센서(100)로부터 위상 검출 데이터(Li, Ri) 및 제2 이미지 데이터(Gi, Ci)를 함께 제공받을 수 있다. 즉 어플리케이션 프로세서(200)는 제2 채널(VC1)을 통해 위상 검출 데이터(Li, Ri) 및 제2 이미지 데이터(Gi, Ci)의 쌍을 제공받을 수 있다. 이하 도 3을 참조하여 자세히 설명한다.
어플리케이션 프로세서(200)는 이미지 데이터(IDATA, Gi, Ci) 및 위상 검출 데이터(Li, Ri)에 대해 후처리(post processing)를 수행할 수 있다. 후처리는, 이미지 아티팩트들(artifacts)에 대한 이미지 향상 알고리즘(Image Enhancement Algorithm)의 적용을 의미할 수 있다. 예를 들어, 어플리케이션 프로세서(200)는 후에 설명할 노말 픽셀(도 2의 NPX)로부터 생성된 이미지 데이터(IDATA, Gi, Ci)에 대해 대하여 밝기, 명암, 감마, 휘도 등의 이미지 파라미터를 조정하는 이미지 후처리 동작을 수행할 수 있다. 이미지 후처리 동작은 예를 들어, 노이즈 저감 동작, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 다양한 동작을 포함할 수 있다. 이 후, 어플리케이션 프로세서(200)는 압축 동작을 수행하여 이미지 파일을 생성할 수 있으며, 이미지 파일로부터 이미지 데이터를 복원할 수도 있다.
몇몇 실시예에서, 어플리케이션 프로세서(200)는 계산 모듈(210)을 포함할 수 있다. 계산 모듈(210)은 후에 설명할 위상 검출 픽셀(PD1, PD2)로부터 생성된 위상 검출 데이터(Li, Ri)에 대해 디스패리티(disparity)(위상 차 연산)를 계산할 수 있다. 계산 모듈(210)은 예를 들어 어플리케이션 프로세서(200) 상에서 실행되는 소프트웨어 또는 펌웨어로 구현될 수 있다. 계산 모듈(210)은 또 다른 예를 들어 하드웨어로 구현될 수 있다.
어플리케이션 프로세서(200)는 디스패리티 계산 결과를 기초로 하여, 초점의 위치, 초점의 방향 또는 물체(101)와 이미지 센서(100) 사이의 거리 등을 구할 수 있다. 어플리케이션 프로세서(200)는 디스패리티 계산 결과로 기초로 하여, 렌즈(102)의 위치를 이동시키기 위해 렌즈 구동부로 제어 신호를 출력할 수 있다.
어플리케이션 프로세서(200)는 중앙 처리 장치(CPU), 마이크로프로세서(Microprocessor), 또는 MCU(Micro Controller Unit)일 수 있다.
도 2는 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 2를 참조하면, 몇몇 실시예에 따른 픽셀 어레이(112a)는 복수의 노말 픽셀(NPX) 및 복수의 위상 검출 픽셀 그룹(PG)을 포함할 수 있다. 예를 들어, 복수의 위상 검출 픽셀 그룹(PG)은 제1 방향(DR1) 및/또는 제2 방향(DR2)을 따라 규칙적으로 배열될 수 있다.
각각의 위상 검출 픽셀 그룹(PG)은 서로 이웃하는 복수의 위상 검출 픽셀(PD1, PD2)을 포함할 수 있다. 예를 들어 각각의 위상 검출 픽셀 그룹(PG)은 서로 이웃하는 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2)을 포함할 수 있다. 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2)은 예를 들어 제1 방향(DR1)으로 서로 이웃할 수 있다. 본 발명이 이에 제한되는 것은 아니며, 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2)은 제2 방향(DR2)으로 서로 이웃할 수 있다. 또는, 제1 위상 검출 픽셀 그룹(PG)에 포함된 제1 위상 검출 픽셀과 제2 위상 검출 픽셀은 제1 방향(DR1)으로 서로 이웃할 수 있고, 제2 위상 검출 픽셀 그룹에 포함된 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2)은 제2 방향(DR2)으로 서로 이웃할 수 있다.
컬러 필터 어레이(114a)는 픽셀 어레이(112a) 상에 배치될 수 있다. 컬러 필터 어레이(114a)는 복수의 단위 그룹(UG1, UG2, UG3, UG4)을 포함할 수 있다. 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 M*N(M 및 N은 자연수)으로 배열된 동일한 컬러의 컬러 필터를 포함할 수 있다. 예를 들어 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 3*3으로 배열된 동일한 컬러의 컬러 필터를 포함할 수 있다. 각각의 컬러 필터는 각각의 노말 픽셀(NPX), 제1 위상 검출 픽셀(PD1), 및 제2 위상 검출 픽셀(PD2)에 대응되어 배치될 수 있다. 예를 들어, 각각의 단위 그룹은 노말 픽셀(NPX), 제1 위상 검출 픽셀(PD1) 및 제2 위상 검출 픽셀(PD2)을 포함하는 픽셀들 중 3*3로 배열된 픽셀들 상에 배치될 수 있다.
복수의 단위 그룹(UG1, UG2, UG3, UG4)은 예를 들어, 서로 제1 방향(DR1)으로 이웃하는 제1 단위 그룹(UG1)과 제2 단위 그룹(UG2) 및, 서로 제1 방향(DR1)으로 이웃하는 제3 단위 그룹(UG3)과 제4 단위 그룹(UG4)을 포함할 수 있다. 제1 단위 그룹(UG1) 및 제3 단위 그룹(UG3)은 제2 방향(DR2)으로 서로 이웃할 수 있고, 제2 단위 그룹(UG2) 및 제4 단위 그룹(UG4)은 제2 방향(DR2)으로 서로 이웃할 수 있다. 제2 방향(DR2)은 제1 방향(DR1)과 교차할 수 있다. 제1 단위 그룹(UG1)은 제1 컬러 필터(R)를 포함하고, 제2 단위 그룹(UG2)은 제2 컬러 필터(Gr)를 포함하고, 제3 단위 그룹(UG3)은 제3 컬러 필터(Gb)를 포함하고, 제4 단위 그룹(UG4)은 제4 컬러 필터(B)를 포함할 수 있다. 제1 컬러 필터(R)는 레드 컬러 필터이고, 제2 및 제3 컬러 필터(Gr, Gb)는 그린 컬러 필터이고, 제4 컬러 필터(B)는 블루 컬러 필터일 수 있다.
몇몇 실시예에서, 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2) 상에는 서로 다른 단위 그룹(UG1, UG2, UG3, UG4)이 배치될 수 있다. 제1 위상 검출 픽셀(PD1) 상에 배치된 컬러 필터와 제2 위상 검출 픽셀(PD2) 상에 배치된 컬러 필터는 서로 다른 컬러의 컬러 필터일 수 있다. 예를 들어, 제1 위상 검출 픽셀(PD1) 상에 배치된 컬러 필터(Gr)는 그린 컬러 필터이고, 제2 위상 검출 픽셀(PD2) 상에 배치된 컬러 필터(R)는 레드 컬러 필터일 수 있다.
복수의 제1 마이크로 렌즈(ML1)는 복수의 노말 픽셀(NPX) 상에 배치될 수 있다. 각각의 제1 마이크로 렌즈(ML1)는 각각의 노말 픽셀(NPX)을 덮을 수 있다. 복수의 제2 마이크로 렌즈(ML2)는 복수의 위상 검출 픽셀 그룹(PG) 상에 배치될 수 있다. 각각의 제2 마이크로 렌즈(ML2)는 각각의 위상 검출 픽셀 그룹(PG)을 덮을 수 있다. 즉, 하나의 제2 마이크로 렌즈(ML2)는 하나의 위상 검출 픽셀 그룹(PG)에 포함된 제1 위상 검출 픽셀(PD1) 및 제2 위상 검출 픽셀(PD)을 덮을 수 있다.
이미지 센서(100)의 해상도를 높이기 위해 픽셀의 크기가 지속적으로 감소되고 있다. 또한 동일한 파장 대역의 빛을 이용하여 위상 차 연산을 수행하기 위해서, 위상 검출 픽셀 그룹(PG)에 포함된 위상 검출 픽셀(PD1, PD2) 상에는 동일한 컬러의 컬러 필터가 배치될 수 있다. 따라서 컬러 필터 어레이는 위상 검출 픽셀 그룹(PG) 상에 동일한 컬러의 컬러 필터를 배치하기 위해서, 예를 들어 요철 형태로 배열되는 동일한 컬러의 컬러 필터를 포함하는 단위 그룹을 포함하게 된다. 즉, 컬러 필터 어레이의 단위 그룹은 일측으로부터 돌출되거나 만입된 부분을 포함하게 된다. 이에 따라 이미지 센서의 제조 공정의 난이도가 증가하게 된다.
반면, 몇몇 실시예에 따른 이미지 센서에서, 위상 검출 픽셀(PD1, PD2) 상에 동일한 컬러의 컬러 필터가 배치될 필요가 없기 때문에, 컬러 필터 어레이(114a)는 사각형 형태의 복수의 단위 그룹(UG1, UG2, UG3, UG4)을 포함할 수 있다. 따라서 이미지 센서의 제조 공정의 난이도가 감소할 수 있다.
도 3은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면이다.
도 1 내지 도 3을 참조하면, 이미지 센서(100)는 제1 채널(VC0) 및 제2 채널(VC1)을 통해 이미지 데이터와 위상 검출 데이터를 어플리케이션 프로세서(200)에 교대로 전달할 수 있다. 제1 채널(VC0)은 이미지 센서(100)와 어플리케이션 프로세서(200)의 인터페이스 규격에 따라 이미지 데이터를 전달하도록 미리 설정될 수 있다. 제2 채널(VC1)은 이미지 센서(100)와 어플리케이션 프로세서(200)의 인터페이스 규격에 따라 위상 검출 데이터를 전달하도록 미리 설정될 수 있다. 따라서 어플리케이션 프로세서(200)는 제1 채널(VC0)로 제공된 데이터를 이미지를 생성하기 위한 데이터로 인식할 수 있고, 제2 채널(VC1)로 제공된 데이터를 위상 검출을 수행하기 위한 데이터로 인식할 수 있다. 어플리케이션 프로세서(200)는 제2 채널(VC1)로 제공된 데이터에 기초하여 위상 차 연산을 수행할 수 있다.
몇몇 실시예에서, 제1 채널(VC0) 및 제2 채널(VC1)은 MIPI(Mobile Industry Processor Interface alliance) 규격에 따른 가상 채널(Virtual Channel)을 의미할 수 있다.
몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 위상 검출 픽셀로부터 생성된 위상 검출 데이터와, 상기 위상 검출 픽셀 상에 배치된 컬러 필터와 동일한 컬러의 컬러 필터가 배치되고 상기 위상 검출 픽셀과 동일한 단위 그룹에 포함된 노말 픽셀로부터 생성된 이미지 데이터를 제공할 수 있다. 상기 노말 픽셀과 상기 위상 검출 픽셀 상에는 동일한 단위 그룹에 속하는 컬러 필터가 배치될 수 있다.
제3 단위 그룹(UG3)과 제4 단위 그룹(UG4)에 포함된 위상 검출 픽셀 그룹(PG)을 예로 들어 설명한다.
제3 컬러 필터(Gb)를 갖는 제3 단위 그룹(UG3)은 제1 위상 검출 픽셀(PD1) 및 복수의 노말 픽셀(NPX11~NP18) 상에 배치될 수 잇다. 제4 컬러 필터(B)를 갖는 제4 단위 그룹(UG4)은 제2 위상 검출 픽셀(PD2) 및 복수의 노말 픽셀(NPX21~NPX28) 상에 배치될 수 있다. 제1 위상 검출 픽셀(PD1) 및 제2 위상 검출 픽셀(PD2)은 서로 이웃할 수 있다. 제1 위상 검출 픽셀(PD1) 상에 배치된 제3 컬러 필터(Gb)는 제2 위상 검출 픽셀(PD2) 상에 배치된 제4 컬러 필터(B)와 다를 수 있다.이미지 센서(100)는 제2 채널(VC1)을 통해 제1 위상 검출 픽셀(PD1)과 동일한 단위 그룹에 속하는 노말 픽셀로부터 생성된 이미지 데이터(Gi)와 제1 위상 검출 픽셀(PD1)로부터 생성된 제1 위상 데이터(Li)의 쌍과, 제2 위상 검출 픽셀(PD2)로부터 생성된 제2 위상 검출 데이터(Ri)와 제2 위상 검출 픽셀(PD2)과 동일한 단위 그룹에 속하는 노말 픽셀로부터 생성된 이미지 데이터(Ci)의 쌍을 출력할 수 있다. 도 4 내지 도 6을 참조하여 설명한다.
도 4 내지 도 6은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면들이다. 도 2의 제3 단위 그룹(UG3)과 제4 단위 그룹(UG4)에 포함된 위상 검출 픽셀 그룹(PG)을 예로 들어 설명한다.
도 4를 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 위상 검출 픽셀로부터 생성된 위상 검출 데이터(Li, Ri)와, 상기 위상 검출 픽셀 상에 배치된 컬러 필터와 동일한 단위 그룹에 속하는 컬러 필터가 배치되고 상기 위상 검출 픽셀과 이웃하는 노말 픽셀로부터 생성된 이미지 데이터(Gi, Ci)를 제공할 수 있다.
이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Gi)와 제1 위상 검출 픽셀(PD1)로부터 생성된 제1 위상 검출 데이터(Li)를 출력할 수 있다. 이미지 데이터(Gi)는 제1 위상 검출 픽셀(PD1) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되고, 제1 위상 검출 픽셀(PD1)과 이웃하는 노말 픽셀(NPX13, NPX15, NPX18) 중 어느 하나(NPX15)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제2 위상 검출 픽셀(PD2)로부터 생성된 제2 위상 검출 데이터(Ri)와, 이미지 데이터(Ci)를 출력할 수 있다. 이미지 데이터(Ci)는 제2 위상 검출 픽셀(PD2) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되고 제2 위상 검출 픽셀(PD2)과 이웃하는 노말 픽셀(NPX21, NP24, NP26) 중 어느 하나(NPX24)로부터 생성될 수 있다.
어플리케이션 프로세서(200)는 제1 위상 검출 데이터(Li), 이미지 데이터(Gi), 제2 위상 검출 데이터(Ri), 및 이미지 데이터(Ci)에 기초하여 디스패리티를 계산할 수 있다.
도 5를 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 위상 검출 픽셀로부터 생성된 위상 검출 데이터(Li, Ri)와, 상기 위상 검출 픽셀 상에 배치된 컬러 필터와 동일한 단위 그룹에 속하는 컬러 필터가 배치되는 노말 픽셀로부터 생성된 이미지 데이터(Gi, Ci)를 제공할 수 있다.
이미지 센서(100)는 제2 채널(VC1)을 통해 제1 위상 검출 픽셀(PD1)과 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되는 노말 픽셀(NPX11~NPX18) 중 어느 하나(NPX14)로부터 생성된 이미지 데이터(Gi)와, 제1 위상 검출 픽셀(PD1)로부터 생성된 제1 위상 검출 데이터(Li)를 출력할 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제2 위상 검출 픽셀(PD2)로부터 생성된 제2 위상 검출 데이터(Ri)와, 제2 위상 검출 픽셀(PD2)과 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 노말 픽셀(NPX21~NPX28) 중 어느 하나(NPX23)로부터 생성된 이미지 데이터(Ci)를 출력할 수 있다.
도 6을 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 위상 검출 픽셀로부터 생성된 위상 검출 데이터(Li, Ri)와, 상기 위상 검출 픽셀 상에 배치된 컬러 필터와 동일한 단위 그룹에 속하는 컬러 필터가 배치되는 복수의 노말 픽셀로부터 생성된 이미지 데이터의 평균 이미지 데이터(Gi, Ci)를 제공할 수 있다.
이미지 센서(100)는 제2 채널(VC1)을 통해 평균 이미지 데이터(Gi)와, 제1 위상 검출 픽셀(PD1)로부터 생성된 제1 위상 검출 데이터(Li) 를 출력할 수 있다. 평균 이미지 데이터(Gi)는 제1 위상 검출 픽셀(PD1)과 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되는 복수의 노말 픽셀(NPX11~NPX18) 각각으로부터 생성된 복수의 이미지 데이터들의 평균일 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제2 위상 검출 픽셀(PD2)로부터 생성된 제2 위상 검출 데이터(Ri)와, 평균 이미지 데이터(Ci)를 출력할 수 있다. 평균 이미지 데이터(Ci)는 제2 위상 검출 픽셀(PD2)과 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 복수의 노말 픽셀(NPX21~NPX28) 각각으로부터 생성된 복수의 이미지 데이터들의 평균일 수 있다.
도 7은 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다. 설명의 편의 상, 도 2를 이용하여 설명한 것과 다른 점을 중심으로 설명한다.
도 7을 참조하면, 몇몇 실시예에서, 픽셀 어레이(112b) 상에 컬러 필터 어레이(114b)가 배치될 수 있다. 픽셀 어레이(112b)는 복수의 노말 픽셀(NPX) 및 복수의 위상 검출 픽셀 그룹(PG)을 포함할 수 있다.
컬러 필터 어레이(114b)는 M*N(M 및 N은 자연수)로 배열된 동일한 컬러의 컬러 필터로 구성되는 복수의 단위 그룹(UG1, UG2, UG3, UG4)을 포함할 수 있다. 예를 들어 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 4*4로 배열된 동일한 컬러의 컬러 필터를 포함할 수 있다. 각각의 컬러 필터는 각각의 노말 픽셀(NPX), 제1 위상 검출 픽셀(PD1), 및 제2 위상 검출 픽셀(PD2)에 대응되어 배치될 수 있다. 예를 들어, 각각의 단위 그룹은 노말 픽셀(NPX), 제1 위상 검출 픽셀(PD1) 및 제2 위상 검출 픽셀(PD2)을 포함하는 픽셀들 중 4*4로 배열된 픽셀들 상에 배치될 수 있다.
도 8은 도 1의 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다. 설명의 편의 상, 도 7을 이용하여 설명한 것과 다른 점을 중심으로 설명한다.
도 8을 참조하면, 몇몇 실시예에서, 픽셀 어레이(112c) 상에 컬러 필터 어레이(114b)가 배치될 수 있다. 픽셀 어레이(112c)는 복수의 노말 픽셀(NPX), 복수의 제1 위상 검출 픽셀 그룹(PG1), 및 복수의 제2 위상 검출 픽셀 그룹(PG2)을 포함할 수 있다. 예를 들어, 복수의 제1 위상 검출 픽셀 그룹(PG1), 및 복수의 제2 위상 검출 픽셀 그룹(PG2)은 제1 방향(DR1) 및/또는 제2 방향(DR2)을 따라 규칙적으로 배열될 수 있다.
각각의 제1 위상 검출 픽셀 그룹(PG1) 및 제2 위상 검출 픽셀 그룹(PG2)은 서로 이웃하는 복수의 위상 검출 픽셀(PD1, PD2)을 포함할 수 있다. 예를 들어 각각의 위상 검출 픽셀 그룹(PG)은 서로 이웃하는 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀(PD2)을 포함할 수 있다.
제1 위상 검출 픽셀 그룹(PG1)은 제2 위상 검출 픽셀 그룹(PG2)과 서로 이웃할 수 있다. 예를 들어 제1 위상 검출 픽셀 그룹(PG1)은 제2 위상 검출 픽셀 그룹(PG2)과 제2 방향(DR2)으로 서로 이웃할 수 있다.
몇몇 실시예에서, 제1 위상 검출 픽셀 그룹(PG1)의 제1 위상 검출 픽셀(PD1)과 제1 위상 검출 픽셀 그룹(PG1)의 제2 위상 검출 픽셀(PD2) 상에는 서로 다른 단위 그룹(UG1, UG2, UG3, UG4)이 배치될 수 있다. 제2 위상 검출 픽셀 그룹(PG2)의 제1 위상 검출 픽셀(PD1)과 제2 위상 검출 픽셀 그룹(PG2)의 제2 위상 검출 픽셀(PD2) 상에는 서로 다른 단위 그룹(UG1, UG2, UG3, UG4)이 배치될 수 있다.
도 9 및 도 10은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 도면들이다.
제2 단위 그룹(UG2)에 포함된 컬러 필터(Gr)가 배치된 제1 위상 검출 픽셀(PD1), 제1 단위 그룹(UG1)에 포함된 컬러 필터(R)가 배치된 제2 위상 검출 픽셀(PD2), 및 제1 위상 검출 픽셀(PD1) 상에 배치된 컬러 필터(Gr)와 동일한 제2 단위 그룹(UG2)에 포함된 컬러 필터(Gr)가 배치된 노말 픽셀(NPX)을 예로 들어 설명한다.
도 9를 참조하면, 이미지 센서는 물체(도 1의 101)에서 반사되어 렌즈(103)를 통하여 집광된 빛을 감지할 수 있다. 상기 집광된 빛은 이미지 센서의 제2 마이크로 렌즈(ML2)를 통하여 제1 위상 검출 픽셀(PD1) 및 제2 위상 검출 픽셀(PD2)에 입사될 수 있다. 제1 위상 검출 데이터(A)는 제1 위상 검출 픽셀(PD1)로 입사된 빛으로부터 생성될 수 있고, 제2 위상 검출 데이터(B)는 제2 위상 검출 픽셀(PD2)로 입사된 빛으로부터 생성될 수 있다.
이 때 제1 위상 검출 픽셀(PD1) 상의 컬러 필터(Gr)와 제2 위상 검출 픽셀(PD2) 상의 컬러 필터(R)가 다르기 때문에, 제1 위상 검출 데이터(A) 및 제2 위상 검출 데이터(B)의 디스패리티(D1)는 위상 차 뿐만 아니라 컬러 간의 감도 차에 의해서 발생할 수 있다. 따라서 디스패리티(D1)를 토대로 정확한 오토 포커싱이 어려우므로, 컬러 필터가 다름으로 인한 제1 위상 검출 데이터(A)와 제2 위상 검출 데이터(B)의 보정이 필요하다.
도 10을 참조하면, 이미지 센서는 물체(도 1의 101)에서 반사되어 렌즈(103)를 통하여 집광된 빛을 감지할 수 있다. 상기 집광된 빛은 이미지 센서의 제2 마이크로 렌즈(ML2)를 통하여 제1 위상 검출 픽셀(PD1)로 입사될 수 있고, 제1 마이크로 렌즈(ML1)를 통하여 노말 픽셀(NPX)로 입사될 수 있다.
제1 위상 검출 데이터(A)는 제1 위상 검출 픽셀(PD1)로 입사된 빛으로부터 생성될 수 있고, 이미지 데이터(C)는 노말 픽셀(NPX)로 입사된 빛으로부터 생성될 수 있다. 제1 위상 검출 픽셀(PD1) 상의 컬러 필터(Gr)와 노말 픽셀(NPX) 상의 컬러 필터(Gr)는 서로 동일하다. 제1 위상 검출 데이터(A)와 이미지 데이터(C)의 디스패리티(D2)는 도 8의 디스패리티(D1)의 약 2배일 수 있다. 따라서 이미지 데이터를 이용하여 제1 위상 검출 데이터와 제2 위상 검출 데이터의 디스패리티를 계산할 수 있다. 도 11 내지 도 14를 이용하여 자세히 설명한다.
도 11은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 3 및 도 11을 참조하면, 제2 채널(VC1)을 통해 제1 이미지 데이터(Gi)와 제1 위상 검출 데이터(Li)의 쌍과 제2 위상 검출 데이터(Ri)와 제2 이미지 데이터(Ci)의 쌍이 교대로 제공될 수 있다. 몇몇 실시예에 따른 어플리케이션 프로세서(200)의 계산 모듈(210)은 수학식 1 내지 수학식 3을 이용하여 디스패리티(Dt)를 계산할 수 있다. x는 기준 위치를 의미하고, d는 디스패리티를 의미한다. 수학식 3이 최소가 되는 d가 디스패리티(Dt)가 된다.
[수학식 1]
PD_left =
Figure pat00001
[수학식 2]
PD_right =
Figure pat00002
[수학식 3]
　Dt =
Figure pat00003
구체적으로, 제1 위상 검출 데이터의 총합(
Figure pat00004
)과 제1 이미지 데이터의 총합(
Figure pat00005
)을 합하여 제1 값(PD_left)을 계산할 수 있고, 제2 이미지 데이터의 총합(
Figure pat00006
)과 제2 위상 검출 데이터의 총합(
Figure pat00007
)을 합하여 제2 값(PD_rignt)을 계산할 수 있다(S110).
이어서, 계산 모듈(210)은 제1 값(PD_left)과 제2 값(PD_right)의 디스패리티(Dt)를 계산할 수 있다(S120). 이에 따라 계산 모듈(210)은 이미지 데이터와 위상 검출 데이터에 기초하여 디스패리티(Dt)를 계산할 수 있다. 어플리케이션 프로세서(200)는 계산된 디스패리티(Dt)에 기초하여 오토 포커싱을 수행할 수 있다.
또는 계산 모듈(210)은 수학식 4를 이용하여 위상 검출 데이터제1 값(PD_left)을 계산할 수 있고, 수학식 5를 이용하여 위상 검출 데이터제2 값(PD_right)을 계산할 수 있다
[수학식 4]
PD_left =
Figure pat00008
[수학식 5]
PD_right =
Figure pat00009
구체적으로, 제1 위상 검출 데이터(Li)와 제1 이미지 데이터(Gi)의 합을 총합하여 제1 값(PD_left)를 계산할 수 있고, 제2 이미지 데이터(Ci)와 제2 위상 검출 데이터(Ri)의 합을 총합하여 제2 값(PD_right)를 계산할 수 있다.
제1 이미지 데이터(Gi)와 제2 이미지 데이터(Ci)는 예를 들어 도 4 내지 도 6을 이용하여 설명한 것 중 어느 하나에 따라 생성될 수 있다.도 12는 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 3 및 도 12를 참조하면, 제2 채널(VC1)을 통해 제1 이미지 데이터(Gi)와 제1 위상 검출 데이터(Li)의 쌍과 제2 위상 검출 데이터(Ri)와 제2 이미지 데이터(Ci)의 쌍이 교대로 제공될 수 있다. 몇몇 실시예에 따른 어플리케이션 프로세서(200)의 계산 모듈(210)은 수학식 6 내지 수학식 8을 이용하여 디스패리티(Dt)를 계산할 수 있다. x는 기준 위치를 의미하고, d는 디스패리티를 의미한다. 수학식 4이 최소가 되는 d가 제1 디스패리티(Disparityeven)가 되고, 수학식 5가 최소가 되는 d가 제2 디스패리티(Disparityodd)가 된다.
[수학식 6]
Figure pat00010
=
Figure pat00011
[수학식 7]
Figure pat00012
=
Figure pat00013
[수학식 8]
Dt =
Figure pat00014
구체적으로, 제1 위상 검출 데이터(Li)와 제1 이미지 데이터(Gi)의 디스패리티의 총합인 제1 디스패리티(Disparityeven)를 계산하고, 제2 이미지 데이터(Ci)와 제2 위상 검출 데이터(Ri)의 디스패리티의 총합인 제2 디스패리티(Disparityodd)을 계산할 수 있다(S210).
이어서, 계산 모듈(210)은 제1 디스패리티(Disparityeven)와 제2 디스패리티(Disparityodd)를 합하여 디스패리티(Dt)를 계산할 수 있다(S220).
제1 이미지 데이터(Gi)와 제2 이미지 데이터(Ci)는 예를 들어 도 4 내지 도 6을 이용하여 설명한 것 중 어느 하나에 따라 생성될 수 있다. 도 13은 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 3 및 도 13을 참조하면, 제2 채널(VC1)을 통해 제1 이미지 데이터(Gi)와 제1 위상 검출 데이터(Li)의 쌍과 제2 위상 검출 데이터(Ri)와 제2 이미지 데이터(Ci)의 쌍이 교대로 제공될 수 있다. 몇몇 실시예에 따른 어플리케이션 프로세서(200)의 계산 모듈(210)은 수학식 9 내지 수학식 11을 이용하여 디스패리티(Dt)를 계산할 수 있다. x는 기준 위치를 의미하고, d는 디스패리티를 의미한다.
[수학식 9]
Figure pat00015
(d) = (
Figure pat00016
-
Figure pat00017
[수학식 10]
Figure pat00018
(d) = (
Figure pat00019
-
Figure pat00020
[수학식 11]
Figure pat00021
구체적으로, 제1 위상 검출 데이터(Li)와 제1 이미지 데이터(Gi)의 디스패리티의 총합의 제1 코스트 볼륨(CVeven(d))과, 제2 이미지 데이터(Ci)와 2 위상 검출 데이터(Ri)의 디스패리티의 총합의 제2 코스트 볼륨(CVodd(d))을 계산할 수 있다(S310).
제1 이미지 데이터(Gi)와 제2 이미지 데이터(Ci)는 예를 들어 도 4 내지 도 6을 이용하여 설명한 것 중 어느 하나에 따라 생성될 수 있다.이어서, 계산 모듈(210)은 제1 코스트 볼륨(CVeven(d))과 제2 코스트 볼륨(CVodd(d))의 합의 디스패리티(Dt)를 계산할 수 있다(S320).
도 14는 몇몇 실시예에 따른 디스패리티의 계산 방법을 설명하기 위한 흐름도이다.
도 3 및 도 14를 참조하면, 제2 채널(VC1)을 통해 제1 이미지 데이터(Gi)와 제1 위상 검출 데이터(Li) 의 쌍과 제2 위상 검출 데이터(Ri)와 제2 이미지 데이터(Ci)의 쌍이 교대로 제공될 수 있다. 몇몇 실시예에 따른 어플리케이션 프로세서(200)의 계산 모듈(210)은 수학식 12 및 수학식 13을 디스패리티(Dt)를 계산할 수 있다.
[수학식 12]
Figure pat00022
=
Figure pat00023
/
Figure pat00024
[수학식 13]
Figure pat00025
구체적으로, 제2 이미지 데이터의 총합(
Figure pat00026
)에 대한 제1 이미지 데이터의 총합(
Figure pat00027
)의 비율(
Figure pat00028
)을 계산할 수 있다(S410). 즉, 제2 컬러 필터를 갖는 픽셀로부터 생성된 제2 이미지 데이터를 제1 컬러 필터를 갖는 픽셀로부터 생성될 경우의 이미지 데이터로 변환할 수 있다. 이 때 제1 이미지 데이터는 제1 컬러 필터를 갖는 픽셀로부터 생성된다.
이어서, 계산 모듈(210)은 제2 위상 검출 데이터의 총합(
Figure pat00029
)에 S410에서 계산된 비율(
Figure pat00030
)을 곱하여 보정 데이터(
Figure pat00031
)를 계산할 수 있다(S420).
이어서, 계산 모듈(210)은 S420에서 계산된 보정 데이터(
Figure pat00032
)와 제1 위상 검출 데이터의 총합(
Figure pat00033
)의 디스패리티(Dt)를 계산할 수 있다(S430).
몇몇 실시예에서, 상기 제2 이미지 데이터(Ci)는 그린 컬러 필터가 아닌 컬러 필터가 배치된 노말 픽셀로부터 생성될 수 있고, 상기 제1 이미지 데이터(Gi)는 그린 컬러 필터가 배치된 노말 픽셀로부터 생성될 수 있다. 즉, 상기 비율은 그린 컬러 필터가 아닌 컬러 필터가 배치된 노말 픽셀로부터 생성된 이미지 데이터가 그린 컬러가 배치된 노말 픽셀로부터 생성될 경우의 이미지 데이터로 변환된 값일 수 있다.
제1 이미지 데이터(Gi)와 제2 이미지 데이터(Ci)는 예를 들어 도 4 내지 도 6을 이용하여 설명한 것 중 어느 하나에 따라 생성될 수 있다.도 15 내지 도 18은 몇몇 실시예에 따른 이미지 시스템의 동작을 설명하기 위한 도면들이다. 도 8의 제3 단위 그룹(UG3)과 제4 단위 그룹(UG4)에 포함된 위상 검출 픽셀 그룹(PG)을 예로 들어 설명한다.
도 15를 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Li)와 제1-1 위상 검출 픽셀(PD11)로부터 생성된 제1-1 위상 검출 데이터(Gi) 를 출력할 수 있다. 이미지 데이터(Gi)는 제1-1 위상 검출 픽셀(PD11) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되고, 제1-1 위상 검출 픽셀(PD11)과 이웃하는 노말 픽셀(NPX14, NPX17) 중 어느 하나(NPX17)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제1-2 위상 검출 픽셀(PD12)로부터 생성된 제1-2 위상 검출 데이터(Ri)와, 이미지 데이터(Ci)를 출력할 수 있다. 이미지 데이터(Ci)는 제1-2 위상 검출 픽셀(PD12) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되고 제1-2 위상 검출 픽셀(PD12)과 이웃하는 노말 픽셀(NPX21, NP25) 중 어느 하나(NPX25)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Gi)와 제2-1 위상 검출 픽셀(PD21)로부터 생성된 제2-1 위상 검출 데이터(Li) 를 출력할 수 있다. 이미지 데이터(Gi)는 제2-1 위상 검출 픽셀(PD21) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되고, 제2-1 위상 검출 픽셀(PD21)과 이웃하는 노말 픽셀(NPX20, NPX24) 중 어느 하나(NPX20)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Ci)와 제2-2 위상 검출 픽셀(PD22)로부터 생성된 제2-2 위상 검출 데이터(Ri)를 출력할 수 있다. 이미지 데이터(Ci)는 제2-2 위상 검출 픽셀(PD22) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되고 제2-2 위상 검출 픽셀(PD22)과 이웃하는 노말 픽셀(NPX28, NPX31) 중 어느 하나(NPX28)로부터 생성될 수 있다.
도 16을 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Gi)와 제1-1 위상 검출 픽셀(PD11)로부터 생성된 제1-1 위상 검출 데이터(Li) 를 출력할 수 있다. 이미지 데이터(Gi)는 제1-1 위상 검출 픽셀(PD11) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되는 복수의 노말 픽셀(NPX11~NPX24) 중 어느 하나(NPX15)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제1-2 위상 검출 픽셀(PD12)로부터 생성된 제1-2 위상 검출 데이터(Ri)와, 이미지 데이터(Ci)를 출력할 수 있다. 이미지 데이터(Ci)는 제1-2 위상 검출 픽셀(PD12) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 복수의 노말 픽셀(NPX21~NPX34) 중 어느 하나(NPX23)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 이미지 데이터(Gi)와 제2-1 위상 검출 픽셀(PD21)로부터 생성된 제2-1 위상 검출 데이터(Li)를 출력할 수 있다. 이미지 데이터(Gi)는 제2-1 위상 검출 픽셀(PD21) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되는 복수의 노말 픽셀(NPX11~NPX24) 중 어느 하나(NPX20)로부터 생성될 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제2-2 위상 검출 픽셀(PD22)로부터 생성된 제2-2 위상 검출 데이터(Ri)와, 이미지 데이터(Ci)를 출력할 수 있다. 이미지 데이터(Ci)는 제2-2 위상 검출 픽셀(PD22) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 복수의 노말 픽셀(NPX21~NPX34) 중 어느 하나(NPX28)로부터 생성될 수 있다.
이 때 제1-1 위상 검출 데이터(Li)와 함께 출력되는 이미지 데이터(Gi)는 제2-1 위상 검출 데이터(Li)와 함께 출력되는 이미지 데이터(Gi)와 동일할 수도 있다. 또한 1-2 위상 검출 데이터(Ri)와 함께 출력되는 이미지 데이터(Ci)는 제2-2 위상 검출 데이터(Ri)와 함께 출력되는 이미지 데이터(Ci)와 동일할 수도 있다.
도 16을 참조하면, 몇몇 실시예에서, 이미지 센서(100)는 제2 채널(VC1)을 통해 평균 이미지 데이터(Gi)와 제1-1 위상 검출 픽셀(PD11)로부터 생성된 제1-1 위상 검출 데이터(Li)를 출력할 수 있다. 평균 이미지 데이터(Gi)는 제1-1 위상 검출 픽셀(PD11) 상에 배치된 컬러 필터(Gb)와 동일한 단위 그룹(UG3)에 속하는 컬러 필터(Gb)가 배치되는 복수의 노말 픽셀(NPX11~NPX24) 각각으로부터 생성된 복수의 이미지 데이터들의 평균일 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제1-2 위상 검출 픽셀(PD12)로부터 생성된 제1-2 위상 검출 데이터(Ri)와, 평균 이미지 데이터(Ci)를 출력할 수 있다. 평균 이미지 데이터(Ci)는 제1-2 위상 검출 픽셀(PD12) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 복수의 노말 픽셀(NPX21~NPX34) 각각으로부터 생성된 복수의 이미지 데이터들의 평균일 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 평균 이미지 데이터(Gi)와 제2-1 위상 검출 픽셀(PD21)로부터 생성된 제2-1 위상 검출 데이터(Li) 를 출력할 수 있다. 이미지 센서(100)는 제2 채널(VC1)을 통해 제2-2 위상 검출 픽셀(PD22)로부터 생성된 제2-2 위상 검출 데이터(Ri)와, 평균 이미지 데이터(Ci)를 출력할 수 있다. 평균 이미지 데이터(Ci)는 제2-2 위상 검출 픽셀(PD22) 상에 배치된 컬러 필터(B)와 동일한 단위 그룹(UG4)에 속하는 컬러 필터(B)가 배치되는 복수의 노말 픽셀(NPX21~NPX34) 각각으로부터 생성된 복수의 이미지 데이터들의 평균일 수 있다.
제1-1 위상 검출 픽셀(PD11)로부터 생성된 제1-1 위상 검출 데이터(Li)와 함께 출력되는 평균 이미지 데이터(Gi)는, 제2-1 위상 검출 픽셀(PD21)로부터 생성된 제2-1 위상 검출 데이터(Li)와 함께 출력되는 평균 이미지 데이터(Gi)과 동일할 수 있다. 위상 검출 데이터제2-1 위상 검출 픽셀(PD21)로부터 생성된 제2-1 위상 검출 데이터(Ri)와 함께 출력되는 평균 이미지 데이터(Ci)는, 제2-2 위상 검출 픽셀(PD22)로부터 생성된 제2-2 위상 검출 데이터(Ri)와 함께 출력되는 평균 이미지 데이터(Ci)와 동일할 수 있다.
도 17는 몇몇 실시예에 따른 이미지 센싱 장치를 설명하기 위한 블록도이다. 설명의 편의 상 도 1 내지 도 16을 이용하여 설명한 것과 다른 점을 중심으로 설명한다.
도 17을 참조하면, 몇몇 실시예에 따른 이미지 센싱 장치(2)는 이미지 센서(100)와 어플리케이션 프로세서(200)를 포함할 수 있다. 이미지 센서(100)는 계산 모듈(196)을 더 포함할 수 있다. 계산 모듈(196)은 예를 들어 이미지 센서(100) 상에서 실행되는 소프트웨어 또는 펌웨어, 또는 하드웨어로 구현될 수 있다.
계산 모듈(196)은 도 1 내지 도 16을 이용하여 설명한 계산 모듈(210)과 동일하게 동작할 수 있다. 즉, 몇몇 실시예에서 이미지 센서(100)는 위상 검출 데이터(Li, Ri)와 이미지 데이터(Gi, Ci)를 이용하여 디스패리티(D)를 계산할 수 있다.
어플리케이션 프로세서(200)는 제1 채널(VC0)을 통해 제1 이미지 신호 프로세서(192)가 출력한 이미지 데이터(IDATA)를 제공받을 수 있다. 어플리케이션 프로세서(200)는 제2 채널(VC1)을 통해 계산 모듈(196)이 계산한 디스패리티(D)를 제공받을 수 있다. 어플리케이션 프로세서는 디스패리티(D)에 기초하여 오토 포커싱을 수행할 수 있다.도 18은 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 18을 참조하면, 몇몇 실시예에 따른 이미지 센서(100)는 적층된 제1 칩(10)과 제2 칩(20)을 포함할 수 있다. 제2 칩(20)은 예를 들어, 제1 칩(10) 상에 제3 방향(DR3)으로 적층될 수 있다. 제1 칩(10)과 제2 칩(20)은 전기적으로 연결될 수 있다. 제1 칩(10)으로부터 전달된 픽셀 신호(데이터)는 로직 영역(LC)으로 전달될 수 있다.
제1 칩(10)은 픽셀 어레이(도 1의 112)를 포함할 수 있다. 제2 칩(20)은 로직 영역(LC)과 메모리 영역 등을 포함할 수 있다. 로직 회로 영역(LC)은 픽셀 신호(데이터)를 구동하기 위한 복수의 소자들을 포함할 수 있다. 로직 회로 영역(LC)은 예를 들어, 도 1의 로우 드라이버(120), 상관 이중 샘플링 블록(140), 램프 신호 생성기(150), 타이밍 생성기(160), 제어 레지스터 블록(170), 버퍼(180), 제1 이미지 신호 프로세서(192) 및 제2 이미지 신호 프로세서(194) 등을 포함할 수 있다.
도 19는 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다. 설명의 편의를 위해 도 18을 이용하여 설명한 바와 다른 점을 중심으로 설명한다.
도 19를 참조하면, 이미지 센서(100')는 제3 칩(30)을 더 포함할 수 있다. 제3 칩(30), 제2 칩(20), 및 제1 칩(10)은 제3 방향(DR3)으로 차례로 적층될 수 있다. 제3 칩(30)은 메모리 장치를 포함할 수 있다. 예를 들어, 제3 칩(30)은 DRAM, SRAM 등의 휘발성 메모리 장치를 포함할 수 있다. 제3 칩(30)은 제1 칩(10) 및 제2 칩(20)으로부터 신호를 전달받아, 메모리 장치를 통하여 신호를 처리할 수 있다.
도 20은 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 21은 도 20의 카메라 모듈의 상세 블록도이다.
도 20을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 21을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 21을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 20 및 도 21을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 20을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 이미지 센서 200: 어플리케이션 프로세서
196, 210: 계산 모듈 VC0, VC1: 제1 및 제2 채널

Claims (20)

  1. 복수의 노말 픽셀, 및 서로 이웃하는 제1 위상 검출 픽셀과 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 그룹을 포함하는 픽셀 어레이; 및
    상기 픽셀 어레이 상에, M*N(M 및 N은 자연수) 배열된 동일한 컬러 필터로 구성된 복수의 단위 그룹을 포함하는 컬러 필터 어레이를 포함하고,
    상기 제1 위상 검출 픽셀 상의 컬러 필터는 상기 제2 위상 검출 픽셀 상의 컬러 필터와 다른 컬러의 컬러 필터인 이미지 센서.
  2. 제 1항에 있어서,
    각각의 상기 복수의 노말 픽셀을 덮는 복수의 제1 마이크로 렌즈와,
    각각의 상기 복수의 위상 검출 그룹을 덮는 복수의 제2 마이크로 렌즈를 더 포함하고,
    상기 제1 위상 검출 픽셀 및 상기 제2 위상 검출 픽셀은 상기 제2 마이크로 렌즈를 공유하는 이미지 센서.
  3. 제 1항에 있어서,
    상기 복수의 단위 그룹은,
    서로 제1 방향으로 이웃한 제1 단위 그룹과 제2 단위 그룹, 및
    서로 제1 방향으로 이웃한 제3 단위 그룹과 제4 단위 그룹을 포함하고,
    상기 제1 단위 그룹 및 상기 제3 단위 그룹은 상기 제1 방향과 교차하는 제2 방향으로 서로 이웃하고,
    상기 제2 단위 그룹 및 상기 제4 단위 그룹은 상기 제2 방향으로 서로 이웃하고,
    상기 제1 단위 그룹은 제1 컬러 필터를 포함하고,
    상기 제2 단위 그룹 및 상기 제3 단위 그룹은 제2 컬러 필터를 포함하고,
    상기 제4 단위 그룹은 제3 컬러 필터를 포함하는 이미지 센서.
  4. 제 1항에 있어서,
    상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터를 채널을 통해 함께 출력하지 않는 이미지 신호 프로세서를 더 포함하는 이미지 센서.
  5. 제 1항에 있어서,
    상기 복수의 노말 픽셀은 복수의 제1 노말 픽셀과 복수의 제2 노말 픽셀을 포함하고,
    상기 복수의 단위 그룹은,
    상기 제1 위상 검출 픽셀과 상기 복수의 제1 노말 픽셀 상에 배치된 컬러 필터로 구성된 제1 단위 그룹과,
    상기 제2 위상 검출 픽셀과 상기 복수의 제2 노말 픽셀 상에 배치된 컬러 필터로 구성된 제2 단위 그룹을 포함하고,
    상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 복수의 제1 노말 픽셀 중 어느 하나로부터 생성된 제1 이미지 데이터를 채널을 통해 함께 출력하고,
    상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터와, 상기 복수의 제2 노말 픽셀 중 어느 하나로부터 생성된 제2 이미지 데이터를 상기 채널을 통해 함께 출력하는 이미지 신호 프로세서를 더 포함하는 이미지 센서.
  6. 제 1항에 있어서,
    상기 복수의 노말 픽셀은 복수의 제1 노말 픽셀과 복수의 제2 노말 픽셀을 포함하고,
    상기 복수의 단위 그룹은,
    상기 제1 위상 검출 픽셀과 상기 복수의 제1 노말 픽셀 상에 배치된 컬러 필터로 구성된 제1 단위 그룹과,
    상기 제2 위상 검출 픽셀과 상기 복수의 제2 노말 픽셀 상에 배치된 컬러 필터로 구성된 제2 단위 그룹을 포함하고,
    상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 복수의 제1 노말 픽셀로부터 생성된 복수의 제1 이미지 데이터의 평균 신호를 채널을 통해 함께 출력하고,
    상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터와, 상기 복수의 제2 노말 픽셀로부터 생성된 복수의 제2 이미지 데이터의 평균 신호를 상기 채널을 통해 함께 출력하는 이미지 신호 프로세서를 더 포함하는 이미지 센서.
  7. 복수의 노말 픽셀, 및 서로 이웃하는 제1 위상 검출 픽셀과 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 픽셀 그룹을 포함하는 픽셀 어레이; 및
    상기 위상 검출 픽셀 그룹으로부터 생성된 복수의 위상 검출 데이터 중 어느 하나와 상기 복수의 노말 픽셀로부터 생성된 복수의 이미지 데이터 중 어느 하나를 채널을 통해 함께 출력하는 이미지 신호 프로세서를 포함하는 이미지 센서.
  8. 제 7항에 있어서,
    상기 복수의 위상 검출 데이터는, 상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터를 포함하고,
    상기 이미지 신호 프로세서는, 상기 제1 위상 검출 데이터와 상기 제2 위상 검출 데이터를 상기 채널을 통해 함께 출력하지 않는 이미지 센서.
  9. 제 7항에 있어서,
    상기 복수의 위상 검출 데이터는, 상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터를 포함하고,
    상기 복수의 이미지 데이터는, 상기 제1 위상 검출 픽셀에 인접한 제1 노말 픽셀로부터 생성된 제1 이미지 데이터와, 상기 제2 위상 검출 픽셀에 인접한 제2 노말 픽셀로부터 생성된 제2 이미지 데이터를 포함하고,
    상기 이미지 신호 프로세서는,
    상기 제1 위상 검출 데이터와 상기 제1 이미지 데이터를 상기 채널을 통해 함께 출력하고,
    상기 제2 위상 검출 데이터와 상기 제2 이미지 데이터를 상기 채널을 통해 함께 출력하는 이미지 센서.
  10. 제 9항에 있어서,
    상기 제1 위상 검출 픽셀 상의 컬러 필터는 상기 제1 노말 픽셀 상의 컬러 필터와 동일한 컬러의 컬러 필터이고,
    상기 제2 위상 검출 픽셀 상의 컬러 필터는 상기 제2 노말 픽셀 상의 컬러 필터와 동일한 컬러의 컬러 필터인 이미지 센서.
  11. 제 7항에 있어서,
    상기 복수의 위상 검출 데이터는, 상기 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 데이터와, 상기 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 데이터를 포함하고,
    상기 복수의 이미지 데이터는, 상기 제1 위상 검출 픽셀과 동일한 컬러 필터를 공유하는 복수의 제1 노말 픽셀로부터 생성된 복수의 제1 이미지 데이터와, 상기 제2 위상 검출 픽셀과 동일한 컬러 필터를 공유하는 복수의 제2 노말 픽셀로부터 생성된 복수의 제2 이미지 데이터를 포함하고,
    상기 이미지 신호 프로세서는,
    상기 제1 위상 검출 데이터와 상기 복수의 제1 이미지 데이터의 평균 신호를 상기 채널을 통해 함께 출력하고,
    상기 제2 위상 검출 데이터와 상기 복수의 제2 이미지 데이터의 평균 신호를 상기 채널을 통해 함께 출력하는 이미지 센서.
  12. 이미지 센서로부터 제1 채널을 통해, 제1 컬러 필터가 배치된 제1 위상 검출 픽셀로부터 생성된 제1 위상 검출 신호와, 상기 제1 컬러 필터가 배치된 제1 노말 픽셀로부터 생성된 제1 이미지 데이터를 함께 수신하고,
    상기 이미지 센서로부터 상기 제1 채널을 통해, 제2 컬러 필터가 배치된 제2 위상 검출 픽셀로부터 생성된 제2 위상 검출 신호와, 상기 제2 컬러 필터가 배치된 제2 노말 픽셀로부터 생성된 제2 이미지 데이터를 함께 수신하고,
    상기 제1 위상 검출 신호, 상기 제1 이미지 데이터, 상기 제2 위상 검출 신호 및 상기 제2 이미지 데이터에 기초하여, 상기 제1 위상 검출 신호와 상기 제2 위상 검출 신호의 전체 디스패리티를 계산하는 어플리케이션 프로세서.
  13. 제 12항에 있어서,
    상기 제1 컬러 필터는 상기 제2 컬러 필터와 다른 컬러의 컬러 필터인 어플리케이션 프로세서.
  14. 제 12항에 있어서,
    상기 제1 위상 검출 신호와 상기 제1 이미지 데이터의 합과, 제2 위상 검출 신호와 상기 제2 이미지 데이터의 합의 디스패리티를 계산하여 상기 전체 디스패리티를 계산하는 어플리케이션 프로세서.
  15. 제 12항에 있어서,
    상기 제1 위상 검출 신호와 상기 제1 이미지 데이터의 제1 디스패리티를 계산하고,
    상기 제2 위상 검출 신호와 상기 제2 이미지 데이터의 제2 디스패리티를 계산하고,
    상기 제1 디스패리티와 상기 제2 디스패리티를 합하여 상기 전체 디스패리티를 계산하는 어플리케이션 프로세서.
  16. 제 12항에 있어서,
    상기 제1 위상 검출 신호와 상기 제1 이미지 데이터의 디스패리티의 제1 코스트 볼륨을 계산하고,
    상기 제2 위상 검출 신호와 상기 제2 이미지 데이터의 디스패리티의 제2 코스트 볼륨을 계산하고,
    상기 제1 코스트 볼륨 및 상기 제2 코스트 볼륨을 합하여 전체 디스패리티를 계산하는 어플리케이션 프로세서.
  17. 제 12항에 있어서,
    상기 제1 이미지 데이터에 대한 상기 제2 이미지 데이터의 비율을 계산하고,
    상기 제1 위상 검출 신호에 상기 비율을 곱하여 보정 신호를 계산하고,
    상기 보정 신호와 상기 제2 위상 검출 신호의 디스패리티를 계산하여 상기 전체 디스패리티를 계산하는 어플리케이션 프로세서.
  18. 제1 이미지 데이터 및 제2 이미지 데이터를 생성하는 복수의 노말 픽셀, 및 서로 이웃하고 제1 위상 검출 데이터를 생성하는 제1 위상 검출 픽셀과 제2 위상 검출 데이터를 생성하는 제2 위상 검출 픽셀을 포함하는 복수의 위상 검출 그룹을 포함하는 픽셀 어레이와,
    상기 픽셀 어레이 상에, M*N(M 및 N은 자연수) 배열된 동일한 컬러 필터로 구성된 복수의 단위 그룹을 포함하는 컬러 필터 어레이를 포함하는 이미지 센서; 및
    제1 채널을 통해 상기 제1 이미지 데이터를 제공받고, 제2 채널을 통해 상기 제2 이미지 데이터, 상기 제1 위상 검출 데이터 및 상기 제2 위상 검출 데이터를 제공받고,
    상기 제2 이미지 데이터, 상기 제1 위상 검출 데이터 및 상기 제2 위상 검출 데이터에 기초하여, 상기 제1 위상 검출 데이터 및 상기 제2 위상 검출 데이터의 전체 디스패리티를 계산하는 어플리케이션 프로세서를 포함하는, 이미지 센싱 장치.
  19. 제 18항에 있어서,
    상기 제1 위상 검출 픽셀 상에 배치된 상기 단위 그룹은, 상기 제2 위상 검출 픽셀 상에 배치된 상기 단위 그룹과 다른 컬러의 컬러 필터를 포함하는 이미지 센싱 장치.
  20. 제 18항에 있어서,
    상기 제2 이미지 데이터는,
    상기 노말 픽셀 중 상기 제1 위상 검출 픽셀과 이웃한 노말 픽셀로부터 생성된 제2-1 이미지 데이터와,
    상기 노말 픽셀 중 상기 제2 위상 검출 픽셀과 이웃한 노말 픽셀로부터 생성된 제2-2 이미지 데이터를 포함하는 이미지 센싱 장치.
KR1020220090833A 2021-11-08 2022-07-22 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치 KR20230067491A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/050,270 US20230143333A1 (en) 2021-11-08 2022-10-27 Image sensor, application processor and image sensing device
CN202211392626.2A CN116095525A (zh) 2021-11-08 2022-11-08 图像传感器、应用处理器和图像感测装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210152340 2021-11-08
KR20210152340 2021-11-08
KR1020220004583 2022-01-12
KR20220004583 2022-01-12

Publications (1)

Publication Number Publication Date
KR20230067491A true KR20230067491A (ko) 2023-05-16

Family

ID=86546394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220090833A KR20230067491A (ko) 2021-11-08 2022-07-22 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치

Country Status (1)

Country Link
KR (1) KR20230067491A (ko)

Similar Documents

Publication Publication Date Title
US11889240B2 (en) Image device and operation method of image device
US11425323B2 (en) Image sensor and operating method thereof
US11588988B2 (en) Image sensor and binning method thereof
CN113170061A (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US11412197B2 (en) Electronic device including image sensor
US11700460B2 (en) Image sensing apparatus and image binning method thereof
US20220277423A1 (en) Image signal processing method, image sensing device including an image signal processor
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
US20230143333A1 (en) Image sensor, application processor and image sensing device
US11622093B1 (en) Pixel array for reducing image information loss and image sensor including the same
US20230300481A1 (en) Image sensing device and image processing method of the same
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
US20220293653A1 (en) Image sensors and camera modules including the same
US20220190023A1 (en) Image sensor
EP4096217A1 (en) Image sensor and image signal processing method
US20230138770A1 (en) Image sensor, operating method thereof, and electronic device including the same
KR20240082675A (ko) 이미지 신호 프로세서 및 그 이미지 센싱 장치
KR20230120074A (ko) 이미지 센서, 이미지 센서의 프로세서 및 이미지 처리방법
TW202415085A (zh) 校正串擾的影像感測器、影像感測器的操作方法以及包括影像感測器的電子裝置
CN115225835A (zh) 相机模块和相机模块的操作方法
KR20230041327A (ko) 이미지 신호 프로세서, 이미지 센싱 장치, 이미지 센싱 방법 및 전자 장치
KR20230174127A (ko) 크로스토크를 정정하는 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치
KR20210099490A (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서