KR102441363B1 - Image signal processor, image processing system and binning method of image sensor - Google Patents

Image signal processor, image processing system and binning method of image sensor Download PDF

Info

Publication number
KR102441363B1
KR102441363B1 KR1020170142870A KR20170142870A KR102441363B1 KR 102441363 B1 KR102441363 B1 KR 102441363B1 KR 1020170142870 A KR1020170142870 A KR 1020170142870A KR 20170142870 A KR20170142870 A KR 20170142870A KR 102441363 B1 KR102441363 B1 KR 102441363B1
Authority
KR
South Korea
Prior art keywords
disparity
image data
image
pixels
pixel
Prior art date
Application number
KR1020170142870A
Other languages
Korean (ko)
Other versions
KR20190008057A (en
Inventor
강희
송용준
민동기
유종민
이지홍
강석재
김택선
임준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/984,692 priority Critical patent/US11463677B2/en
Priority to CN201810775028.0A priority patent/CN109257586B/en
Publication of KR20190008057A publication Critical patent/KR20190008057A/en
Application granted granted Critical
Publication of KR102441363B1 publication Critical patent/KR102441363B1/en
Priority to US17/954,471 priority patent/US11956411B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/20—Measuring for diagnostic purposes; Identification of persons for measuring urological functions restricted to the evaluation of the urinary system
    • A61B5/202—Assessing bladder functions, e.g. incontinence assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6808—Diapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029—Humidity sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface

Abstract

이미지 신호 프로세서는 레지스터 및 디스패리티 교정 엔진을 포함한다. 상기 레지스터는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 구비하는 이미지 센서로부터 제1 거리에 위치한 패턴 이미지에 응답하여 상기 이미지 센서가 생성한 패턴 이미지 데이터로부터 획득한 디스패리티 데이터를 저장한다. 상기 디스패리티 교정 엔진은 상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성한 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성한다.The image signal processor includes a register and a disparity correction engine. The register has a plurality of pixels, wherein the plurality of pixels are generated by the image sensor in response to a pattern image located at a first distance from the image sensor each having at least a first photoelectric conversion element and a second photoelectric conversion element. Stores disparity data obtained from pattern image data. The disparity correction engine corrects disparity distortion of image data generated by imaging an object using the image sensor based on the disparity data to generate resultant image data.

Figure R1020170142870
Figure R1020170142870

Description

이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법{IMAGE SIGNAL PROCESSOR, IMAGE PROCESSING SYSTEM AND BINNING METHOD OF IMAGE SENSOR}IMAGE SIGNAL PROCESSOR, IMAGE PROCESSING SYSTEM AND BINNING METHOD OF IMAGE SENSOR

본 발명은 이미지 센서에 관한 것으로, 보다 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법에 관한 것이다. The present invention relates to an image sensor, and more to an image signal processor, an image processing system, and a method for binning an image sensor.

이미지 센서는 피사체에 의해 반사된 광을 감지하여 전기적 신호로 변환하는 반도체 소자로서 디지털 카메라, 휴대폰 등과 같은 전자 기기에 광범위하게 사용되고 있다. 일반적으로, 이미지 센서는 CCD(Charged Coupled Device) 이미지 센서와 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분되는데, 최근에는 제조비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한 CMOS 이미지 센서가 상대적으로 보다 주목을 받고 있다. 최근에는 멀티-포토다이오드 구조를 갖는 이미지 센서들이 사용되고 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2013-0084415호(2013년 7월 25일 공개)에 개시되어 있다.An image sensor is a semiconductor device that detects light reflected by a subject and converts it into an electrical signal, and is widely used in electronic devices such as digital cameras and mobile phones. In general, image sensors are divided into CCD (Charged Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors. CMOS image sensors are receiving relatively more attention. Recently, image sensors having a multi-photodiode structure have been used.
The technology underlying the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2013-0084415 (published on July 25, 2013).

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 품질을 향상시킬 수 있는 이미지 신호 프로세서를 제공하는데 있다. An object of the present invention is to provide an image signal processor capable of improving the quality of an image signal output from an image sensor in which one pixel includes two photoelectric conversion elements.

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 품질을 향상시킬 수 있는 이미지 처리 시스템을 제공하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing system capable of improving the quality of an image signal output from an image sensor in which one pixel includes two photoelectric conversion elements.

본 발명의 일 목적은 하나의 픽셀이 두 개의 광전 변환 소자를 포함하는 이미지 센서의 비닝 방법을 제공하는데 있다.It is an object of the present invention to provide a binning method of an image sensor in which one pixel includes two photoelectric conversion elements.

상기 본 발명의 일 목적을 달성하기 위한 본 발명의 실시예들에 따른 이미지 신호 프로세서는 레지스터 및 디스패리티 교정 엔진을 포함한다. 상기 레지스터는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 구비하는 이미지 센서로부터 제1 거리에 위치한 패턴 이미지에 응답하여 상기 이미지 센서가 생성한 패턴 이미지 데이터로부터 획득한 디스패리티 데이터를 저장한다. 상기 디스패리티 교정 엔진은 상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성한 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성한다.An image signal processor according to embodiments of the present invention for achieving the above object includes a register and a disparity correction engine. The register has a plurality of pixels, wherein the plurality of pixels are generated by the image sensor in response to a pattern image located at a first distance from the image sensor each having at least a first photoelectric conversion element and a second photoelectric conversion element. Stores disparity data obtained from pattern image data. The disparity correction engine corrects disparity distortion of image data generated by imaging an object using the image sensor based on the disparity data to generate resultant image data.

상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 이미지 처리 시스템은 이미지 센서, 디스패리티 처리 모듈 및 이미지 신호 프로세서를 포함한다. 상기 이미지 센서는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비한다. 상기 디스패리티 처리 모듈은 이미지 센서로부터 제1 거리에 위치한 패턴 이미지를 상기 이미지 센서를 이용하여 촬상하여 생성된 패턴 이미지 데이터를 수신하고, 상기 패턴 이미지 데이터에 기초하여 디스패리티 데이터를 제공한다. 상기 이미지 신호 프로세서는 상기 디스패리티 데이터에 기초하여 상기 이미지 센서를 이용하여 대상을 촬상하여 생성된 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성한다.An image processing system according to embodiments of the present invention for achieving the above object includes an image sensor, a disparity processing module, and an image signal processor. The image sensor includes a plurality of pixels, and each of the plurality of pixels includes a pixel array including at least a first photoelectric conversion element and a second photoelectric conversion element. The disparity processing module receives pattern image data generated by imaging a pattern image located at a first distance from the image sensor using the image sensor, and provides disparity data based on the pattern image data. The image signal processor corrects disparity distortion of image data generated by imaging an object using the image sensor based on the disparity data to generate resultant image data.

상기 본 발명의 목적을 달성하기 위한 본 발명의 실시예들에 따른 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비하는 이미지 센서의 비닝(binning) 방법에서는, 상기 픽셀 어레이에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향의 픽셀의 수, 2m은 제2 방향의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들 상기 비닝 윈도우들 각각의 일부 또는 전부의 픽셀들에 상응하는 아날로그 신호에 기초하여 비닝 아날로그 신호를 생성한다. A plurality of pixels arranged in a predetermined pattern according to embodiments of the present invention for achieving the object of the present invention, wherein the plurality of pixels each include at least a first photoelectric conversion element and a second photoelectric conversion element In the binning method of an image sensor having a pixel array, (2n)*(2m) (n is a natural number, m is a natural number greater than n) pixels (2n is a pixel in the first direction) in the pixel array number, 2m is the number of pixels in the second direction), sequentially selecting a plurality of binning windows including the number of pixels in the second direction, and selecting the m pixels in the second direction to overlap in two consecutive binning windows, the binning window and generate a binning analog signal based on an analog signal corresponding to some or all pixels of each of the binning windows.

본 발명에 실시예들에 따르면, 하나의 픽셀의 두 개의 광전 변환 소자를 포함하는 이미지 센서에서 출력되는 이미지 신호의 디스패리티 왜곡을 교정할 수 있고, 무빙 평균을 사용하여 상기 이미지 신호를 비닝함으로써 행 방향의 해상도를 높일 수 있다. According to the embodiments of the present invention, disparity distortion of an image signal output from an image sensor including two photoelectric conversion elements of one pixel can be corrected, and the image signal is binned by using a moving average. The resolution of the direction can be increased.

도 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 픽셀을 설명하기 위한 도면이다.
도 4는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.
도 5a 내지 도 5d는 도 1의 이미지 센서로부터 출력된 제1 이미지 데이터와 제2 이미지 데이터의 차이를 설명하기 위한 개념도이다.
도 6a는 이미지 센서와 패턴 이미지의 배치를 나타내고, 도 6b는 패턴 이미지를 나타내고, 도 6c는 패턴 이미지 데이터의 디스패리티를 나타낸다.
도 7은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.
도 8은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.
도 9a는 도 1의 디스패리티 처리 모듈에서 패턴 이미지 데이터가 복수의 블록들로 분할되는 것을 나타낸다.
도 9b는 도 1의 디스패리티 처리 모듈에서 출력되는 디스패리티 데이터를 나타낸다.
도 10은 본 발명의 실시예들에 따른 도 1의 이미지 신호 프로세서에 포함되는 디스패리티 교정 엔진을 나타내는 블록도이다.
도 11a는 도 10에서 디스패리티 데이터를 나타내고, 도 11b는 디스패리티 맵을 나타내고, 도 11c는 게인 맵을 나타낸다.
도 12는 본 발명의 실시예들에 따른 이미지 처리 시스템의 동작 방법을 나타낸다.
도 13은 본 발명의 실시예들에 따른 도 12의 동작 방법에서, 이미지 데이터의 디스패리티 왜곡을 교정하는 단계를 보다 상세히 나타내는 흐름도이다.
도 14는 본 발명의 실시예들에 따른 도 1의 이미지 센서의 비닝 블록에서 수행되는 비닝 동작을 나타낸다.
도 15는 도 1의 이미지 센서에서 비닝 블록 및 ADC 블록을 나타내는 회로도이다.
도 16 및 도 17은 각각 도 1의 이미지 센서에서 픽셀 어레이의 예들을 나타낸다.
도 18은 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.
도 19는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.
도 20a 및 도 20b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.
도 21a 및 도 21b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.
도 22는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating an example of an image processing system according to embodiments of the present invention.
2 is a block diagram illustrating a pixel array in the image processing system of FIG. 1 according to embodiments of the present invention.
3 is a diagram for explaining one pixel shown in FIG. 2 according to embodiments of the present invention.
FIG. 4 is a cross-sectional view of pixels including photoelectric conversion elements cut in the II-II' direction in the pixel array of FIG. 2 .
5A to 5D are conceptual diagrams for explaining a difference between the first image data and the second image data output from the image sensor of FIG. 1 .
6A shows the arrangement of the image sensor and the pattern image, FIG. 6B shows the pattern image, and FIG. 6C shows the disparity of the pattern image data.
7 is a block diagram illustrating a configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.
8 is a block diagram illustrating a configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.
FIG. 9A shows that pattern image data is divided into a plurality of blocks in the disparity processing module of FIG. 1 .
9B illustrates disparity data output from the disparity processing module of FIG. 1 .
10 is a block diagram illustrating a disparity correction engine included in the image signal processor of FIG. 1 according to embodiments of the present invention.
11A shows disparity data in FIG. 10 , FIG. 11B shows a disparity map, and FIG. 11C shows a gain map.
12 illustrates a method of operating an image processing system according to embodiments of the present invention.
13 is a flowchart illustrating in more detail a step of correcting disparity distortion of image data in the operating method of FIG. 12 according to embodiments of the present invention.
14 illustrates a binning operation performed in the binning block of the image sensor of FIG. 1 according to embodiments of the present invention.
15 is a circuit diagram illustrating a binning block and an ADC block in the image sensor of FIG. 1 .
16 and 17 each show examples of a pixel array in the image sensor of FIG. 1 .
18 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.
19 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.
20A and 20B are diagrams for explaining the effects of embodiments of the present invention.
21A and 21B are diagrams for explaining the effects of embodiments of the present invention.
22 is a block diagram illustrating an electronic system according to embodiments of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.

도 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다. 1 is a block diagram illustrating an example of an image processing system according to embodiments of the present invention.

도 1을 참조하면, 이미지 처리 시스템(10)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.Referring to FIG. 1 , the image processing system 10 may be implemented as a portable electronic device. The portable electronic device includes a laptop computer, a mobile phone, a smart phone, a tablet PC, a personal digital assistant (PDA), an enterprise digital assistant (EDA), and a digital still camera. , a digital video camera, a portable multimedia player (PMP), a mobile internet device (MID), a wearable computer, an internet of things (IoT) device, or the internet of things. everything (IoE)) can be implemented as a device.

이미지 처리 시스템(10)은 광학 렌즈(103), 이미지 센서(100), 디지털 신호 프로세서(digital signal processor(DSP); 200) 및 디스플레이(250)를 포함할 수 있다. 이미지 처리 시스템(10)은 또한 디스패리티(disparity) 처리 모듈(300)을 더 포함할 수 있다.The image processing system 10 may include an optical lens 103 , an image sensor 100 , a digital signal processor (DSP) 200 , and a display 250 . The image processing system 10 may further include a disparity processing module 300 .

이미지 센서(100)는 광학 렌즈(103)를 통하여 입사된 피사체(101, OB)에 대한 이미지 데이터(또는 이미지 신호, IDTA)를 생성할 수 있다. 이미지 데이터(IDTA)는 복수의 광전 변환 소자들로부터 출력된 픽셀 신호들에 상응하는 데이터일 수 있다. 즉 이미지 데이터(IDTA)는 복수의 광전 변환 소자들로부터 출력된 디스패리티 정보를 포함하는 데이터일 수 있다. 예컨대, 상기 광전 변환 소자들 각각은 포토다이오드, 포토트랜지스터, 포토게이트 또는 핀드 포토다이오드로 구현될 수 있다.The image sensor 100 may generate image data (or image signal, IDTA) for the subject 101 or OB incident through the optical lens 103 . The image data IDTA may be data corresponding to pixel signals output from the plurality of photoelectric conversion elements. That is, the image data IDTA may be data including disparity information output from the plurality of photoelectric conversion elements. For example, each of the photoelectric conversion elements may be implemented as a photodiode, a phototransistor, a photogate, or a pinned photodiode.

이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그-디지털 변환기 블록(analog-todigital converter(ADC) block; 125), 비닝 블록(130), 타이밍 생성기(140), 제어 레지스터 블록(150), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)를 포함할 수 있다. 아날로그-디지털 변환기 블록(125) 및 비닝 블록(130)은 아날로그-디지털 변환 회로를 구성할 수 있다.The image sensor 100 includes a pixel array 110 , a row driver 120 , an analog-todigital converter (ADC) block 125 , a binning block 130 , a timing generator 140 , and a control register. It may include a block 150 , a binning controller 155 , a ramp signal generator 160 , and a buffer 170 . The analog-to-digital converter block 125 and the binning block 130 may constitute an analog-to-digital conversion circuit.

픽셀 어레이(110)는 2차원적으로 배열된 복수의 픽셀들을 포함할 수 있다. CMOS 이미지 센서(110)의 픽셀들은 CMOS 제조 공정을 이용하여 제조될 수 있다. 복수의 픽셀들 각각은 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함할 수 있다. The pixel array 110 may include a plurality of two-dimensionally arranged pixels. Pixels of the CMOS image sensor 110 may be manufactured using a CMOS manufacturing process. Each of the plurality of pixels may include at least a first photoelectric conversion element and a second photoelectric conversion element.

픽셀 어레이(110)에 포함된 픽셀들 각각은 포토다이오드를 포함할 수 있다. 상기 포토다이오드들 각각은 광전 변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토트랜지스터(phototransistor), 포토게이트 (photogate), 또는 핀드 포토다이오드(pinned-photodiode)로 대체될 수 있다. 픽셀 어레이(110)는 매트릭스(matrix) 형태로 배열된 픽셀들 포함할 수 있다. 픽셀들 각각은 픽셀 신호를 컬럼 라인으로 전송할 수 있다.Each of the pixels included in the pixel array 110 may include a photodiode. Each of the photodiodes is an example of a photoelectric conversion device, and each of the photodiodes may be replaced with a phototransistor, a photogate, or a pinned-photodiode. The pixel array 110 may include pixels arranged in a matrix form. Each of the pixels may transmit a pixel signal to a column line.

로우 드라이버(120)는, 타이밍 생성기(140)의 제어에 따라, 픽셀들 각각의 동작을 제어하기 위한 제어 신호들을 픽셀 어레이(110)로 드라이빙할 수 있다. 로우 드라이버(120)는 제어 신호들을 생성할 수 있는 제어 신호 생성기의 기능을 수행할 수 있다.The row driver 120 may drive control signals for controlling an operation of each of the pixels to the pixel array 110 under the control of the timing generator 140 . The row driver 120 may perform a function of a control signal generator capable of generating control signals.

타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, 로우 드라이버(120), ADC 블록(125) 및 램프 신호 생성기(160)의 동작을 제어할 수 있다. 실시 예에 따라, 타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, ADC 블록(125)의 동작을 제어할 수 있다.The timing generator 130 may control operations of the row driver 120 , the ADC block 125 , and the ramp signal generator 160 under the control of the control register block 150 . According to an embodiment, the timing generator 130 may control the operation of the ADC block 125 according to the control of the control register block 150 .

비닝 블록(130)은 픽셀 어레이(110)에서 포함된 각 픽셀로부터 출력된 픽셀 신호를 비닝(binning)하고, 비닝된 픽셀 신호를 출력할 수 있다. The binning block 130 may bin a pixel signal output from each pixel included in the pixel array 110 and output the binned pixel signal.

ADC 블록(125)은 컬럼별 ADC와 컬럼별 메모리를 포함할 수 있다. 실시 예에 따라, 상기 ADC는 상관 이중 샘플링(correlated double sampling(CDS))을 수행할 수 있다. 실시 예에 따라, ADC 블록(125)은 복수의 ADC들을 포함할 수 있다. ADC들 각각은 서브 픽셀마다 구현된 광전 변환 소자들에 의해 공유될 수 있다. ADC 블록(125)은 비닝 블록(130)으로부터 출력된 비닝된 픽셀 신호에 상응하는 디지털 이미지 신호를 생성할 수 있다.The ADC block 125 may include an ADC for each column and a memory for each column. According to an embodiment, the ADC may perform correlated double sampling (CDS). According to an embodiment, the ADC block 125 may include a plurality of ADCs. Each of the ADCs may be shared by photoelectric conversion elements implemented for each sub-pixel. The ADC block 125 may generate a digital image signal corresponding to the binned pixel signal output from the binning block 130 .

제어 레지스터 블록(150)은, DSP(200)의 제어에 따라, 타이밍 생성기(130), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)의 작동을 제어할 수 있다. 비닝 제어기(155)는, 제어 레지스터 블록(150)의 제어에 따라, 비닝 블록 (130)을 제어할 수 있다. The control register block 150 may control operations of the timing generator 130 , the binning controller 155 , the ramp signal generator 160 , and the buffer 170 under the control of the DSP 200 . The binning controller 155 may control the binning block 130 according to the control of the control register block 150 .

버퍼(170)는 ADC 블록(125)으로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDTA)를 DSP(200)로 전송할 수 있다. The buffer 170 may transmit image data IDTA corresponding to the plurality of digital image signals output from the ADC block 125 to the DSP 200 .

DSP(200)는 이미지 신호 프로세서(image signal processor(ISP); 300), 센서 컨트롤러(220), 인터페이스(230) 및 스토리지(240)를 포함할 수 있다. The DSP 200 may include an image signal processor (ISP) 300 , a sensor controller 220 , an interface 230 , and a storage 240 .

ISP(300)는 제어 레지스터 블록(150)을 제어하는 센서 컨트롤러(220) 및 인터페이스(230)를 제어할 수 있다. 실시 예에 따라, 이미지 센서(100)와 DSP(200)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다.The ISP 300 may control the sensor controller 220 and the interface 230 that control the control register block 150 . According to an embodiment, the image sensor 100 and the DSP 200 may be implemented in one package, for example, a multi-chip package (MCP).

비록 도 1에서는 이미지 센서(100)와 ISP(300)가 분리된 형태로 도시되어 있으나, ISP(210)는 CMOS 이미지 센서(300)의 일부로서 구현될 수 있다.Although the image sensor 100 and the ISP 300 are illustrated in a separate form in FIG. 1 , the ISP 210 may be implemented as a part of the CMOS image sensor 300 .

ISP(300)는 버퍼(170)로부터 전송된 이미지 데이터(IDTA)를 처리하고, 처리된 이미지 데이터를 인터페이스(230)로 전송할 수 있다. 예를 들어, ISP(300)는 픽셀들부터 출력된 픽셀 신호들에 상응하는 이미지 데이터(IDTA)를 보간(interpolation)하고, 보간된 이미지 신호를 생성할 수 있다. 예를 들어, ISP(300)는 스토리지(240에 저장된 디스패리티 데이터(또는 디스패리티 교정 데이터, CLDTA)에 기초하여 이미지 신호(IDTA)의 디스패리티 왜곡(distortion)을 교정하여 결과 이미지 신호를 생성할 수 있다. The ISP 300 may process the image data IDTA transmitted from the buffer 170 , and transmit the processed image data to the interface 230 . For example, the ISP 300 may interpolate the image data IDTA corresponding to the pixel signals output from the pixels and generate the interpolated image signal. For example, the ISP 300 corrects disparity distortion of the image signal IDTA based on the disparity data (or disparity correction data, CLDTA) stored in the storage 240 to generate the resulting image signal. can

센서 컨트롤러(220)는 ISP(300)의 제어에 따라, 제어 레지스터 블록(150)을 제어하기 위한 다양한 제어 신호들을 생성할 수 있다. 인터페이스(230)는 ISP(210)에서 처리된 이미지 데이터, 예컨대 보간된 이미지 데이터 또는 디스패리티 왜곡이 교정된 이미지 데이터를 디스플레이(240)로 전송할 수 있다.The sensor controller 220 may generate various control signals for controlling the control register block 150 according to the control of the ISP 300 . The interface 230 may transmit image data processed by the ISP 210 , for example, interpolated image data or image data in which disparity distortion is corrected, to the display 240 .

디스플레이(240)는 인터페이스(230)로부터 출력된 보간된 이미지 신호를 디스플레이할 수 있다. 디스플레이(240)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블 디스플레이로 구현될 수 있다.The display 240 may display the interpolated image signal output from the interface 230 . The display 240 may be implemented as a thin film transistor-liquid crystal display (TFT-LCD), a light emitting diode (LED) display, an organic LED (OLED) display, an active-matrix OLED (AMOLED) display, or a flexible display. .

디스패리티 처리 모듈(300)은 상기 이미지 센서(100)로부터 제1 거리에 위치한 패턴 이미지에 응답하여 이미지 센서(100)로부터 출력되는 패턴 이미지 데이터(PDTA)의 디스패리티를 산출하고, 산출된 디스패리티를 디스패리티 데이터(CLDTA)로서 DSP(200)의 스토리지(240)에 저장할 수 있다. 스토리지(240)는 EEPROM, 낸드 플래시 또는 저항성 메모리와 같은 비휘발성 메모리로 구현될 수 있다. The disparity processing module 300 calculates a disparity of the pattern image data PDTA output from the image sensor 100 in response to the pattern image located at a first distance from the image sensor 100 , and the calculated disparity may be stored in the storage 240 of the DSP 200 as disparity data CLDTA. The storage 240 may be implemented as a non-volatile memory such as EEPROM, NAND flash, or resistive memory.

도 1에서 디스패리티 처리 모듈(300)은 ISP(400)와 분리된 형태로 도시되어 있으나, 실시예에 따라서, 디스패리티 처리 모듈(300)은 ISP(400)의 일부로서 구현될 수 있다. In FIG. 1 , the disparity processing module 300 is illustrated in a form separate from the ISP 400 , but according to an embodiment, the disparity processing module 300 may be implemented as a part of the ISP 400 .

도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.2 is a block diagram illustrating a pixel array in the image processing system of FIG. 1 according to embodiments of the present invention.

도 2는 도 1의 픽셀 어레이의 컬러 필터 어레이를 예시적으로 나타낸다.FIG. 2 exemplarily shows a color filter array of the pixel array of FIG. 1 .

도 2에서는 간결한 설명을 위하여, 8*8(*는 본 명세서에서 곱하기임) 구조의 픽셀 어레이가 예시적으로 설명된다. 하지만 본 발명의 범위가 이에 한정되는 것은 아니며, 픽셀 어레이(110)의 배열 또는 컬러 필터 어레이의 배열은 다양하게 변형될 수 있다.In FIG. 2 , for the sake of brevity, an 8*8 (* is a multiplication in this specification) structure of a pixel array is exemplarily described. However, the scope of the present invention is not limited thereto, and the arrangement of the pixel array 110 or the arrangement of the color filter array may be variously modified.

도 2를 참조하면, 픽셀 어레이(110)는 복수의 픽셀들(PX11~PX22)을 포함한다. Referring to FIG. 2 , the pixel array 110 includes a plurality of pixels PX11 to PX22.

예를 들어, 픽셀(PX11)은 제1 컬러 필터(예시적으로, 제1 그린(Gb) 컬러 필터)를 포함할 수 있다. 픽셀(PX11)은 제1 컬러(예시적으로 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다. 픽셀(PX12)은 제2 컬러 필터(예시적으로, 블루(B) 컬러 필터)를 포함할 수 있다. 픽셀(PX12)은 제2 컬러(예시적으로, 청색)의 빛에 반응하여 전기 신호를 생성할 수 있다.For example, the pixel PX11 may include a first color filter (eg, a first green (Gb) color filter). The pixel PX11 may generate an electrical signal in response to light of a first color (eg, green). The pixel PX12 may include a second color filter (eg, a blue (B) color filter). The pixel PX12 may generate an electrical signal in response to light of a second color (eg, blue).

픽셀(PX21)은 제3 컬러 필터(예시적으로, 레드(R) 컬러 필터)를 포함할 수 있다. 픽셀(PX21)은 적색의 빛에 반응하여 전기 신호를 생성할 수 있다. 픽셀(PX22)은 제4 컬러 필터(예시적으로, 제2 그린(Gr) 컬러 필터)를 포함할 수 있다. 픽셀(PX22)은 제4 컬러(예시적으로, 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다.The pixel PX21 may include a third color filter (eg, a red (R) color filter). The pixel PX21 may generate an electrical signal in response to red light. The pixel PX22 may include a fourth color filter (eg, a second green (Gr) color filter). The pixel PX22 may generate an electrical signal in response to light of a fourth color (eg, green).

예시적인 실시예에 있어서, 4개의 픽셀들(PX11~PX22)은 Bayer 패턴을 구성할 수 있다. 도 2를 참조하여 Bayer 패턴이 예시적으로 설명되었으나, 본 발명은 이에 한정되지 아니하고, RGBE 패턴, CYGM 패턴, CYYM 패턴 등과 같이 다양한 컬러 필터 어레이 패턴이 적용될 수 있다.In an exemplary embodiment, the four pixels PX11 to PX22 may constitute a Bayer pattern. Although the Bayer pattern has been exemplarily described with reference to FIG. 2 , the present invention is not limited thereto, and various color filter array patterns such as an RGBE pattern, a CYGM pattern, and a CYYM pattern may be applied.

도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 픽셀을 설명하기 위한 도면이다.3 is a diagram for explaining one pixel shown in FIG. 2 according to embodiments of the present invention.

도 3을 참조하여, 5TR 구조의 픽셀이 설명되나, 본 발명의 범위가 이에 한정되는 것은 아니며, 픽셀은 다양한 픽셀 구조로 변형될 수 있다.Referring to FIG. 3 , a pixel having a 5TR structure is described, but the scope of the present invention is not limited thereto, and the pixel may be modified into various pixel structures.

도 2 및 도 3을 참조하면, 픽셀(PX11)은 2개의 포토다이오드들(PD1과 PD2), 2개의 전송 트랜지스터들(TX1과 TX2), 리셋 트랜지스터 (reset transistor; RX), 소스 팔로워(source follower; SF), 및 선택 트랜지스터 (selection transistor; SX)를 포함한다.2 and 3 , the pixel PX11 includes two photodiodes PD1 and PD2, two transfer transistors TX1 and TX2, a reset transistor RX, and a source follower. SF), and a selection transistor (SX).

제1 전송 트랜지스터(TX1)의 일단은 제1 포토 다이오드(PD1(LP))과 접속되고, 타단은 플로팅 디퓨전 영역(floating diffusion region; FD)에 접속되고, 제어 전극은 제어 신호(TG1)를 수신한다. 제2 전송 트랜지스터(TX2)의 일단은 제2 포토 다이오드(PD2(RP))와 접속되고, 타단은 플로팅 디퓨전 영역(FD)에 접속되고, 제어 전극은 제어 신호(TG2)를 수신한다.One end of the first transfer transistor TX1 is connected to the first photodiode PD1 (LP), the other end is connected to a floating diffusion region FD, and the control electrode receives the control signal TG1 . do. One end of the second transfer transistor TX2 is connected to the second photodiode PD2(RP), the other end is connected to the floating diffusion region FD, and a control electrode receives the control signal TG2.

리셋 트래지스터(RX)의 일단은 전원 전압(VDD)을 수신하고, 타단은 플로팅 디퓨전 영역(FD)과 접속되고, 제어 전극은 제어 신호(RS)를 수신한다. 소스 팔로워(SF)의 일단은 전원 전압(VDD)을 수신하고, 타단은 선택 트랜지스터(SX)의 일단과 접속되고, 제어 전극은 플로팅 디퓨전 영역(FD)와 접속된다. 선택 트랜지스터(SX)의 타단은 컬럼 라인(CL)과 연결되고, 제어 전극은 제어 신호(SEL)를 수신한다. One end of the reset transistor RX receives the power supply voltage VDD, the other end is connected to the floating diffusion region FD, and the control electrode receives the control signal RS. One end of the source follower SF receives the power voltage VDD, the other end is connected to one end of the selection transistor SX, and the control electrode is connected to the floating diffusion region FD. The other end of the selection transistor SX is connected to the column line CL, and the control electrode receives the control signal SEL.

각 트랜지스터(TX1, TX2, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1, TG2, RS, 및 SEL)는 로우 드라이버(120)로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인(CL)으로 공급된다.Each of the control signals TG1 , TG2 , RS, and SEL capable of controlling each of the transistors TX1 , TX2 , RX, and SX may be output from the row driver 120 . The output signal of the selection transistor SX is supplied to the column line CL.

도 3에서는 설명의 편의를 위해 플로팅 디퓨전 영역(FD)이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 픽셀들이 하나의 플로팅 디퓨전 영역(FD)에 각 포토다이오드(PD1과 PD2)에 의해 공유되지 않을 수도 있다.In FIG. 3 , a pixel is shown in which the floating diffusion region FD is shared for convenience of explanation. However, according to the intention of the designer, the pixels are placed in one floating diffusion region FD and each photodiode PD1 and PD2 are connected to each other. may not be shared by

도 4는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.FIG. 4 is a cross-sectional view of pixels including photoelectric conversion elements cut in the II-II' direction in the pixel array of FIG. 2 .

도 2 및 도 4를 참조하면, 제1 픽셀(PX11)은 제1 및 제2 포토다이오드들 (PD1, PD2), 각 포토다이오드(PD1~PD2)의 위에 배치된 제1 컬러 필터들(CF1), 제1 컬러 필터(CF1)의 위에 배치된 제1 마이크로렌즈(ML1) 및 제1 마이크로 렌즈 (ML1)의 위에 배치된 마이크로렌즈(113a)를 포함할 수 있다. 제1 컬러 필터(CF1)는 그린 컬러 필터일 수 있다. 실시예에 따라, 제1 마이크로렌즈(ML1)는 제1 픽셀(PX11)에 포함되지 않을 수 있다. 2 and 4 , the first pixel PX11 includes first and second photodiodes PD1 and PD2 and first color filters CF1 disposed on each of the photodiodes PD1 to PD2. , a first microlens ML1 disposed on the first color filter CF1 and a microlens 113a disposed on the first microlens ML1 . The first color filter CF1 may be a green color filter. In some embodiments, the first microlens ML1 may not be included in the first pixel PX11 .

제2 픽셀(PX12)은 제1 및 제2 포토 다이오드들(PD1, PD2), 포토 다이오드들(PD1, PD2) 위에 배치된 제2 컬러 필터(CF2), 제2 컬러 필터(CF2)의 위에 배치된 제2 마이크로렌즈(ML2) 및 제2 마이크로렌즈 (ML2)의 위에 배치된 마이크로렌즈(113b)를 포함할 수 있다. 제2 컬러 필터(CF2)는 블루 컬러 필터일 수 있다. 실시예에 따라, 제2 마이크로렌즈 (ML2)는 제2 픽셀(PX12)에 포함되지 않을 수 있다.The second pixel PX12 is disposed on the first and second photodiodes PD1 and PD2 , the second color filter CF2 disposed on the photodiodes PD1 and PD2 , and the second color filter CF2 . and a second microlens ML2 and a microlens 113b disposed on the second microlens ML2. The second color filter CF2 may be a blue color filter. In some embodiments, the second microlens ML2 may not be included in the second pixel PX12 .

제1 분리 물질(isolation material; ISM1)은 제1 픽셀(PX11)과 제2 픽셀(PX12)의 사이에 구현될 수 있다. 또한, 제2 분리 물질들(ISM2)은 각 픽셀(PX11 또는 PX12)에 구현된 2개의 포토다이오드들(PD1, PD2) 사이에 구현될 수 있다. 제1 분리 물질(ISM1)과 제2 분리 물질(ISM2) 각각은 DTI(deep trench isolation)로 형성될 수 있다.A first isolation material (ISM1) may be implemented between the first pixel PX11 and the second pixel PX12. In addition, the second separation materials ISM2 may be implemented between the two photodiodes PD1 and PD2 implemented in each pixel PX11 or PX12 . Each of the first isolation material ISM1 and the second isolation material ISM2 may be formed of deep trench isolation (DTI).

도 5a 내지 도 5d는 도 1의 이미지 센서로부터 출력된 제1 이미지 데이터와 제2 이미지 데이터의 차이를 설명하기 위한 개념도이다.5A to 5D are conceptual diagrams for explaining a difference between the first image data and the second image data output from the image sensor of FIG. 1 .

도 5a는 이미지 센서(100)에 대한 출사동(exit pupil) 모양을 나타낸다. 여기서, 출사동이란 일반적으로는 빛이 빠져나가는 구멍을 의미하며, 본 명세서에서는 이미지 센서(100) 측에서 카메라 렌즈(PL)를 바라볼 때 수광부의 모양을 의미한다.5A shows an exit pupil shape for the image sensor 100 . Here, the exit pupil generally refers to a hole through which light exits, and in the present specification, the shape of the light receiving unit when the camera lens PL is viewed from the image sensor 100 side.

도 5a 및 도 5b를 참조하면, 픽셀의 중심축(CA)과 카메라 렌즈(photographic lens(PL))의 광축(OA)이 같은 경우, 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 좌측 끝까지의 거리(R1)와 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 우측 끝까지의 거리(R2)는 서로 같다. 따라서, 제1 광전 변환 소자(LP)로 입사되는 빛의 양과 제2 광전 변환 소자(RP)로 입사되는 빛의 양이 동일하므로, 중심 출사동(EPC) 모양이 만들어진다. 예컨대, 카메라 렌즈(PL)는 도 1의 광학 렌즈(103)를 의미할 수 있다.Referring to FIGS. 5A and 5B , when the central axis CA of the pixel and the optical axis OA of the photographic lens PL are the same, the distance of the camera lens PL from the central axis CA of the pixel The distance R1 to the left end and the distance R2 from the central axis CA of the pixel to the right end of the camera lens PL are equal to each other. Accordingly, since the amount of light incident on the first photoelectric conversion element LP is equal to the amount of light incident on the second photoelectric conversion element RP, the shape of the central exit pupil EPC is created. For example, the camera lens PL may refer to the optical lens 103 of FIG. 1 .

도 5a 및 도 5c를 참조하면, 픽셀의 중심축(CA)이 카메라 렌즈(PL)의 광축 (OA)으로부터 좌측으로 치우쳐져 있는 경우, 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 좌측 끝까지의 거리(R3)보다 상기 픽셀의 중심축(CA)으로부터 카메라 렌즈(PL)의 우측 끝까지의 거리(R4)가 더 길다. 따라서 제1 광전 변환 소자(LP)로 입사되는 빛의 양이 제2 광전 변환 소자(RP)로 입사되는 빛의 양보다 많으므로, 좌측 출사동(EPL) 모양이 만들어진다.Referring to FIGS. 5A and 5C , when the central axis CA of the pixel is biased to the left from the optical axis OA of the camera lens PL, The distance R4 from the central axis CA of the pixel to the right end of the camera lens PL is longer than the distance R3 to the left end. Accordingly, since the amount of light incident on the first photoelectric conversion element LP is greater than the amount of light incident on the second photoelectric conversion element RP, the left exit pupil EPL is formed.

픽셀 어레이(110)에 포함된 복수의 픽셀들 각각에 대해, 각 픽셀의 위치에 따라 제1 이미지 데이터(왼쪽 이미지 데이터)를 생성하는데 이용되는 제1 광전 변환 소자(LP)로 입사되는 빛의 양과 제2 이미지 데이터(오른쪽 이미지 데이터)를 생성하는데 이용되는 제2 광전 변환 소자(RP)로 입사되는 빛의 양이 달라지므로, 출사동 모양은 이미지 센서(100)에 포함된 픽셀의 위치에 따라 서로 달라질 수 있다.For each of the plurality of pixels included in the pixel array 110 , the amount of light incident to the first photoelectric conversion element LP used to generate the first image data (left image data) according to the position of each pixel; Since the amount of light incident to the second photoelectric conversion element RP used to generate the second image data (right image data) varies, the shape of the exit pupil varies depending on the position of the pixel included in the image sensor 100 . may vary.

도 5a, 도 5c 및 도 5d를 참조하면, 좌측 출사동(EPL)은 제1 광전 변환 소자(LP)에 관련되는 제1 부분(EPL_LP)과 제2 광전 변환 소자(RP)에 관련되는 제2 부분(EPL_RP)으로 구분될 수 있다. 디스패리티의 왜곡이 발생하는 이유는 제1 부분(EPL_LP)의 중심 위치(CP1)와 제2 부분(EPL_RP)의 중심 위치(CP2) 사이의 거리(d2)가 픽셀 어레이(110)에 포함된 복수의 픽셀들 각각마다 달라지기 때문이다. 5A, 5C, and 5D , the left exit pupil EPL includes a first portion EPL_LP related to the first photoelectric conversion element LP and a second portion EPL_LP related to the second photoelectric conversion element RP. It can be divided into a part (EPL_RP). Disparity distortion occurs because the distance d2 between the central position CP1 of the first part EPL_LP and the central position CP2 of the second part EPL_RP is a plurality of pixels included in the pixel array 110 . This is because each pixel of

도 6a는 이미지 센서와 패턴 이미지의 배치를 나타내고, 도 6b는 패턴 이미지를 나타내고, 도 6c는 패턴 이미지 데이터의 디스패리티를 나타낸다.6A shows the arrangement of the image sensor and the pattern image, FIG. 6B shows the pattern image, and FIG. 6C shows the disparity of the pattern image data.

도 6a를 참조하면, 이미지 센서(100)는 광학 렌즈(100)로부터 제1 거리(d1)에 위치한 패턴 이미지(PIMG)를 촬상하여, 즉 패턴 이미지(PIMG)에 응답하여 패턴 이미지 데이터(PDTA)를 생성하고, 디스패리티 처리 모듈(300)에 패턴 이미지 데이터(PDTA)를 출력한다. 디스패리티 처리 모듈(300)은 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 제1 패턴 이미지 데이터와 제2 광전 변환 소자(RP)와 관련된 제2 패턴 이미지 데이터의 픽셀 값들(깊이 값들)의 차이 나타내는 디스패리티 데이터(또는 디스패리티 교정 데이터, CBDTA)를 스토리지(240에 저장할 수 있다. Referring to FIG. 6A , the image sensor 100 captures a pattern image PIMG located at a first distance d1 from the optical lens 100 , that is, in response to the pattern image PIMG, pattern image data PDTA. and output the pattern image data PDTA to the disparity processing module 300 . The disparity processing module 300 sets pixel values ( Disparity data (or disparity correction data, CBDTA) indicating a difference between depth values) may be stored in the storage 240 .

도 6b를 참조하면, 패턴 이미지(PIMG)는 다아이몬드 패턴이 제1 방향(D1)과 제2 방향(D2)으로 반복적으로 배치된 이미지일 수 있다.Referring to FIG. 6B , the pattern image PIMG may be an image in which a diamond pattern is repeatedly disposed in a first direction D1 and a second direction D2 .

도 6c를 참조하면, 패턴 이미지 데이터(PDTA)의 픽셀별 위치에 따라 제1 패턴 이미지 데이터와 제2 패턴 이미지 데이터의 깊이 값의 차이가 발생하여 디스패리티의 왜곡이 발생함을 알 수 있다. 이미지 센서(100)의 픽셀들의 위치에 따라 출사동의 모양이 달라지므로 도 6c와 같이 디스패리티의 왜곡이 발생할 수 있다. 이상적으로는, 패턴 이미지 데이터(PDTA)는 이미지 센서(100)로부터 일정한 거리의 패턴 이미지(PIMG)에 응답하여 생성된 것이므로, 패턴 이미지 데이터(PDTA)의 디스패리티는 픽셀별 위치에 관계없이 일정해야 한다. Referring to FIG. 6C , it can be seen that a difference in depth values of the first pattern image data and the second pattern image data occurs according to the pixel-by-pixel position of the pattern image data PDTA, so that the disparity is distorted. Since the shape of the exit pupil is changed according to the positions of the pixels of the image sensor 100 , distortion of disparity may occur as shown in FIG. 6C . Ideally, since the pattern image data PDTA is generated in response to the pattern image PIMG at a predetermined distance from the image sensor 100 , the disparity of the pattern image data PDTA should be constant regardless of the position of each pixel. do.

도 7은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.7 is a block diagram illustrating a configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.

도 7을 참조하면, 디스패리티 처리 모듈(300a)은 이미지 분리 엔진(310) 및 디스패리티 산출 엔진(320)을 포함할 수 있다. Referring to FIG. 7 , the disparity processing module 300a may include an image separation engine 310 and a disparity calculation engine 320 .

이미지 분리 엔진(310)은 패턴 이미지 데이터(PDTA)를 수신하고, 패턴 이미지 데이터(PDTA)를 광전 변환 소자 별로 분리하여 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)를 생성할 수 있다. 제1 패턴 이미지 데이터(PDTAL)는 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 데이터의 집합이고, 제2 패턴 이미지 데이터(PDTAR)는 패턴 이미지 데이터(PDTA)에서 제2 광전 변환 소자(RP)와 관련된 데이터의 집합일 수 있다. The image separation engine 310 receives the pattern image data PDTA, and separates the pattern image data PDTA for each photoelectric conversion element to generate first pattern image data PDTAL and second pattern image data PDTAR. can The first pattern image data PDTAL is a set of data related to the first photoelectric conversion element LP in the pattern image data PDTA, and the second pattern image data PDTAR is a second photoelectric conversion element in the pattern image data PDTA. It may be a set of data related to the conversion element RP.

디스패리티 산출 엔진(320)은 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)를 복수의 블록들로 분할하고, 상기 복수의 블록들 중 상응하는 블록들의 픽셀값들의 차이를 산출하고, 상기 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성할 수 있다. 디스패리티 산출 엔진(320)은 복수의 블록들 각각의 픽셀들의 픽셀값들을 산술 평균하거나 상기 픽셀값들의 중간값을 선택하여 획득한 각 블록의 대푯값의 차이를 블록별로 산출하여 상기 디스패리티 데이터(CLDTA)를 생성할 수 있다.The disparity calculation engine 320 divides the first pattern image data PDTAL and the second pattern image data PDTAR into a plurality of blocks, and calculates a difference between pixel values of corresponding blocks among the plurality of blocks. Then, disparity data CLDTA indicating a difference between the pixel values may be generated. The disparity calculation engine 320 calculates the difference between the representative values of each block obtained by arithmetic average of the pixel values of the respective pixels of the plurality of blocks or by selecting the median value of the pixel values for each block, and the disparity data CLDTA ) can be created.

실시예에 있어서, 디스패리티 산출 엔진(320)은 블록별로 제1 패턴 이미지 데이터(PDTAL)에 대한 제1 픽셀 값(깊이 값) 그래프를 생성하고, 제2 패턴 이미지 데이터(PDTAR)에 대한 제2 픽셀 값 그래프를 생성하고, 제1 픽셀 값 그래프를 고정시키고, 제2 픽셀 값 그래프를 이동시키면서, 제1 픽셀값 그래프와 제2 픽셀 값 그래프의 차이가 최소가 되도록 하는 이동 값을 해당 블록의 디스패리티로 생성할 수 있다. In an embodiment, the disparity calculation engine 320 generates a first pixel value (depth value) graph for the first pattern image data PDTAL for each block, and generates a second graph for the second pattern image data PDTAR. Creating a pixel value graph, fixing the first pixel value graph, and moving the second pixel value graph, a shift value that minimizes the difference between the first pixel value graph and the second pixel value graph It can be created with parity.

도 8은 본 발명의 실시예들에 따른 도 1에서 디스패리티 처리 모듈의 구성을 나타내는 블록도이다.8 is a block diagram illustrating a configuration of a disparity processing module in FIG. 1 according to embodiments of the present invention.

도 8을 참조하면, 디스패리티 처리 모듈(300b)은 이미지 분할 엔진(330), 이미지 분리 엔진(340) 및 디스패리티 산출 엔진(350)을 포함할 수 있다. Referring to FIG. 8 , the disparity processing module 300b may include an image segmentation engine 330 , an image separation engine 340 , and a disparity calculation engine 350 .

이미지 분할 엔진(330)은 패턴 이미지 데이터(PDTA)를 수신하고, 패턴 이미지 데이터(PDTA)를 복수의 서브 패턴 이미지 데이터(PDTA_SUB)로 분할할 수 있다. 이미지 분리 엔진(340)은 복수의 서브 패턴 이미지 데이터(PDTA_SUB) 각각을 광전 변환 소자 별로 분리하여 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR)를 생성할 수 있다. 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL)는 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 데이터의 집합이고, 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR)는 패턴 이미지 데이터(PDTA)에서 제2 광전 변환 소자(RP)와 관련된 데이터의 집합일 수 있다. The image segmentation engine 330 may receive the pattern image data PDTA and divide the pattern image data PDTA into a plurality of sub-pattern image data PDTA_SUB. The image separation engine 340 separates each of the plurality of sub-pattern image data PDTA_SUB for each photoelectric conversion element to generate a plurality of first sub-pattern image data PDTA_SUBL and a plurality of second sub-pattern image data PDTA_SUBR. can The plurality of first sub-pattern image data PDTA_SUBL is a set of data related to the first photoelectric conversion element LP in the pattern image data PDTA, and the plurality of second sub-pattern image data PDTA_SUBR includes pattern image data ( PDTA) may be a set of data related to the second photoelectric conversion element RP.

디스패리티 산출 엔진(350)은 복수의 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR) 중에서 상응하는 제1 서브 패턴 이미지 데이터(PDTA_SUBL) 및 복수의 제2 서브 패턴 이미지 데이터(PDTA_SUBR) 각각의 픽셀값들의 차이를 산출하고, 상기 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성할 수 있다. The disparity calculation engine 350 generates corresponding first sub-pattern image data PDTA_SUBL and a plurality of second sub-patterns from among the plurality of first sub-pattern image data PDTA_SUBL and the plurality of second sub-pattern image data PDTA_SUBR. A difference between pixel values of each of the image data PDTA_SUBR may be calculated, and disparity data CLDTA indicating a difference between the pixel values may be generated.

실시예에 따라서, 디스패리티 산출 엔진(350)은 제1 서브 패턴 이미지 데이터(PDTA_SUBL)의 제1 픽셀 값 그래프를 생성하고, 제2 서브 패턴 이미지 데이터(PDTA_SUBR)에 대한 제2 픽셀 값 그래프를 생성하고, 제1 픽셀 값 그래프를 고정시키고, 제2 픽셀 값 그래프를 이동시키면서, 제1 픽셀값 그래프와 제2 픽셀 값 그래프의 차이가 최소가 되도록 하는 이동 값을 해당 서브 패턴 이미지 데이터의 디스패리티로 생성할 수 있다.According to an embodiment, the disparity calculation engine 350 generates a first pixel value graph of the first sub-pattern image data PDTA_SUBL, and generates a second pixel value graph of the second sub-pattern image data PDTA_SUBR. and fixing the first pixel value graph and moving the second pixel value graph, a shift value that minimizes the difference between the first pixel value graph and the second pixel value graph as the disparity of the sub-pattern image data can create

도 9a는 도 1의 디스패리티 처리 모듈에서 패턴 이미지 데이터가 복수의 블록들로 분할되는 것을 나타낸다. FIG. 9A shows that pattern image data is divided into a plurality of blocks in the disparity processing module of FIG. 1 .

도 9a를 참조하면, 패턴 이미지 데이터(PDTA)가 s(제1 방향(D1)의 픽셀들의 수)*t(제2 방향(D2)의 픽셀들의 수)의 픽셀들을 포함하는 경우, 하나의 블록(BLK)이 M*M의 픽셀들을 포함하도록 설정되면, 블록(BLK)들의 수는 s*t의 픽셀들을 커버하기 위하여 p(p는 s/M 이상의 자연수)*q(q는 t/M 이상의 자연수) 개가 될 수 있다.Referring to FIG. 9A , when the pattern image data PDTA includes pixels of s (the number of pixels in the first direction D1)*t (the number of pixels in the second direction D2), one block If (BLK) is set to include M*M pixels, the number of blocks BLK is p (p is a natural number greater than or equal to s/M)*q (q is greater than or equal to t/M) to cover pixels of s*t natural number) can be a dog.

도 9b는 도 1의 디스패리티 처리 모듈에서 출력되는 디스패리티 데이터를 나타낸다.9B illustrates disparity data output from the disparity processing module of FIG. 1 .

도 9b를 참조하면, 제1 패턴 이미지 데이터(PDTAL) 및 제2 패턴 이미지 데이터(PDTAR)의 블록별 디스패리티가 제3 방향(D3)으로 높이에 의하여 표시될 수 있다. 도 9b에서 제1 방향(D1)의 좌표와 제2 방향(D2)의 좌표는 패턴 이미지 데이터(PDTA)를 구성하는 복수의 블록들의 위치를 나타낼 수 있다. Referring to FIG. 9B , the disparity for each block of the first pattern image data PDTAL and the second pattern image data PDTAR may be indicated by height in the third direction D3 . In FIG. 9B , the coordinates of the first direction D1 and the coordinates of the second direction D2 may indicate positions of a plurality of blocks constituting the pattern image data PDTA.

도 10은 본 발명의 실시예들에 따른 도 1의 이미지 신호 프로세서에 포함되는 디스패리티 교정 엔진을 나타내는 블록도이다.10 is a block diagram illustrating a disparity correction engine included in the image signal processor of FIG. 1 according to embodiments of the present invention.

도 10을 참조하면, 디스패리티 교정 엔진(405)은 제어 엔진(310), 디스패리티 맵 생성 엔진(420), 게인 맵 생성 엔진(430), 결과 이미지 생성 엔진(440) 및 레지스터(450)를 포함할 수 있다.Referring to FIG. 10 , the disparity correction engine 405 includes a control engine 310 , a disparity map generation engine 420 , a gain map generation engine 430 , a result image generation engine 440 , and a register 450 . may include

디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 적어도 크기 및 이미지 데이터(IDTA)에 포함되는 픽셀들 각각의 위치 정보와 관련된 입력 정보(IDINF) 및 디스패리티 데이터(CLDTA)를 수신하고, 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성할 수 있다. 디스패리리 맵 셍성 엔진(420)은 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성함에 있어, 디스패리티 데이터(CLDTA)에 대하여 이미지 데이터(IDTA)의 픽셀들 각각의 위치 정보를 기초로 양선형(bilinear) 인터폴레이션을 수행하여 디스패리티 맵(DM)을 생성할 수 있다. The disparity map generation engine 420 receives input information IDINF and disparity data CLDTA related to at least the size of the image data IDTA and position information of each pixel included in the image data IDTA, The disparity map DM corresponding to the size of the image data IDTA may be generated by performing interpolation on the disparity data CLDTA to correspond to the size of the image data IDTA. When the disparity map compatibility engine 420 generates the disparity map DM corresponding to the size of the image data IDTA, the position of each pixel of the image data IDTA with respect to the disparity data CLDTA A disparity map DM may be generated by performing bilinear interpolation based on the information.

게인 맵 생성 엔진(430)은 디스패리티 맵(DM)을 수신하고, 디스패리티 맵(DM)을 기초로 이미지 데이터(IDTA)에 적용될 게인 맵(GM)을 생성할 수 있다. 게인 맵 생성 엔진(430)은 게인 맵(GM)을 생성함에 있어, 디스패리티 맵(DM)의 디스패리티들 중 최대값과 픽셀들 각각의 디스패리티의 차이를 해당 픽셀의 게인으로 생성할 수 있다. The gain map generation engine 430 may receive the disparity map DM and generate a gain map GM to be applied to the image data IDTA based on the disparity map DM. In generating the gain map GM, the gain map generation engine 430 may generate a difference between a maximum value among the disparities of the disparity map DM and a disparity of each pixel as a gain of the corresponding pixel. .

결과 이미지 생성 엔진(440)은 이미지 데이터(IDTA)와 게인 맵(GM)을 수신하고, 이미지 데이터(IDTA)의 픽셀들 각각에 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. 따라서 결과 이미지 데이터(RIDTA)에서는 디스패리티의 왜곡이 주로 발생하는 부분(이미지 데이터의 주변 부분)에서 디스패리티의 왜곡이 교정될 수 있다. 여기서, 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정한다는 것은 이미지 데이터(IDTA)의 픽셀들 각각에서 제1 광전 변환 소자와 관련된 제1 이미지 데이터와 제2 광전 변환 소자와 관련된 제2 이미지 데이터가 서로 일치되도록 하는 이동 값을 보정하는 것을 의미할 수 있다.The resultant image generation engine 440 receives the image data IDTA and the gain map GM, and refers to the gain for each pixel of the gain map GM for each pixel of the image data IDTA to obtain the image data IDTA. Result image data RIDTA may be generated by correcting a pixel value of each of the pixels of . Accordingly, in the resulting image data RIDTA, the distortion of the disparity may be corrected in a portion (the peripheral portion of the image data) where the distortion of the disparity mainly occurs. Here, correcting the pixel value of each pixel of the image data IDTA means the first image data associated with the first photoelectric conversion element and the second image associated with the second photoelectric conversion element in each of the pixels of the image data IDTA. It may mean correcting the shift value to make the data match each other.

레지스터(450)는 스토리지(240)에 저장된 디스패리티 데이터(CLDTA)를 저장하고 제어 엔진(410)의 제어에 따라 저장된 디스패리티 데이터(CLDTA)를 디스패리티 맵 생성 엔진(420)에 제공할 수 있다. 실시예에 따라서, 레지스터(450)는 디스패리티 교정 엔진(405)에 포함되지 않을 수 있고, 이 경우에 디스패리티 데이터(CLDTA)는 스토리지(240)로부터 디스패리티 맵 생성 엔진(420)에 제공될 수 있다. The register 450 may store the disparity data CLDTA stored in the storage 240 and provide the stored disparity data CLDTA to the disparity map generation engine 420 under the control of the control engine 410 . . According to an embodiment, the register 450 may not be included in the disparity correction engine 405 , and in this case, the disparity data CLDTA may be provided from the storage 240 to the disparity map generation engine 420 . can

제어 엔진(410)은 디스패리티 맵 생성 엔진(420), 게인 맵 생성 엔진(430), 결과 이미지 생성 엔진(440) 및 레지스터(450)를 제어할 수 있다.The control engine 410 may control the disparity map generation engine 420 , the gain map generation engine 430 , the result image generation engine 440 , and the register 450 .

도 11a는 도 10에서 디스패리티 데이터를 나타내고, 도 11b는 디스패리티 맵을 나타내고, 도 11c는 게인 맵을 나타낸다.11A shows disparity data in FIG. 10 , FIG. 11B shows a disparity map, and FIG. 11C shows a gain map.

도 11a를 참조하면, 디스패리티 데이터(CLDTA)는 제1 방향(D1)으로 p 개의 블록들(BLK)을 포함하고, 제2 방향(D2)으로 q 개의 블록들(BLK)을 포함할 수 있다. p*q 개의 블록들(BLK) 각각은 해당하는 디스패리티 값을 가질 수 있다. 상기 디스패리티 값은 해당 블록에서 제1 패턴 이미지 데이터와 제2 패턴 이미지 데이터 각각의 픽셀값들의 대표값의 차이를 나타낼 수 있다.Referring to FIG. 11A , the disparity data CLDTA may include p blocks BLK in the first direction D1 and q blocks BLK in the second direction D2. . Each of the p*q blocks BLK may have a corresponding disparity value. The disparity value may represent a difference between a representative value of each pixel value of the first pattern image data and the second pattern image data in the corresponding block.

도 10 및 도 11b를 참조하면, 디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 디스패리티 맵(DM)을 생성할 수 있다. 디스패리티 맵(DM)은 제1 방향(D1)으로 u(u는 p보다 큰 자연수) 개의 디스패리티 값들을 포함하고, 제2 방향(D2)으로 v(v는 q보다 큰 자연수) 개의 디스패리티 값들을 포함할 수 있다.10 and 11B , the disparity map generation engine 420 may generate the disparity map DM by interpolating the disparity data CLDTA to correspond to the size of the image data IDTA. have. The disparity map DM includes u (u is a natural number greater than p) disparity values in the first direction D1, and v (v is a natural number greater than q) disparity values in the second direction D2. It can contain values.

도 10 및 도 11c를 참조하면, 게인 맵 생성 엔진(430)은 디스패리티 맵(DM)의 디스패리티 값들 중 최대값과 각 픽셀에 해당하는 디스패리티 값들 각각의 차이를 기초로 하는 게인을 가지는 게인 맵(GM)을 생성할 수 있다. 게인 맵(GM)은 이미지 데이터(IDTA)의 픽셀들에 상응하도록 제1 방향(D1)으로 u 개의 게인들을 포함하고, 제2 방향(D2)으로 v 개의 게인들을 포함할 수 있다.Referring to FIGS. 10 and 11C , the gain map generating engine 430 has a gain based on the difference between the maximum value among the disparity values of the disparity map DM and the disparity values corresponding to each pixel. You can create a map (GM). The gain map GM may include u gains in the first direction D1 and v gains in the second direction D2 to correspond to pixels of the image data IDTA.

도 10에서 결과 이미지 생성 엔진(440)은 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. 따라서, 결과 이미지 데이터(RIDTA)에서는 디스패리티 왜곡이 감소될 수 있다.In FIG. 10 , the resultant image generating engine 440 may generate the resultant image data RIDTA by correcting a pixel value of each pixel of the image data IDTA with reference to the gain for each pixel of the gain map GM. Accordingly, disparity distortion may be reduced in the result image data RIDTA.

도 12는 본 발명의 실시예들에 따른 이미지 처리 시스템의 동작 방법을 나타낸다.12 illustrates a method of operating an image processing system according to embodiments of the present invention.

도 1 내지 도 12를 참조하면, 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들은 각각 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)를 포함하는 이미지 처리 시스템(10)의 동작 방법에서는 이미지 센서(100)를 이용하여 상기 이미지 센서(100)로부터 제1 거리(d1)에 위치한 패턴 이미지(PIMG)를 촬상하여 생성된 패턴 이미지 데이터(PDTA)에 기초하여 디스패리티 처리 모듈(300)이 디스패리티 데이터(CLDTA)를 생성한다(S100). 디스패리티 처리 모듈(300)은 패턴 이미지 데이터(PDTA)에서 제1 광전 변환 소자(LP)와 관련된 제1 패턴 이미지 데이터와 제2 광전 변환 소자(RP)와 관련된 제2 패턴 이미지 데이터의 픽셀값들의 차이를 나타내는 디스패리티 데이터(CLDTA)를 생성하여 스토리지(240)에 저장할 수 있다.1 to 12 , an image sensor 100 including a plurality of pixels, each of the plurality of pixels having a pixel array 110 including a first photoelectric conversion element and a second photoelectric conversion element, In the method of operating the image processing system including ), the disparity processing module 300 generates disparity data CLDTA ( S100 ). The disparity processing module 300 performs pixel values of the first pattern image data associated with the first photoelectric conversion element LP and the second pattern image data associated with the second photoelectric conversion element RP in the pattern image data PDTA. Disparity data CLDTA representing the difference may be generated and stored in the storage 240 .

이미지 센서(100)는 대상(101)을 촬상하여 이미지 데이터(IDTA)를 생성하고, 생성된 이미지 데이터(IDTA)를 이미지 신호 프로세서(400)에 제공한다(S200).The image sensor 100 generates image data IDTA by imaging the object 101 , and provides the generated image data IDTA to the image signal processor 400 ( S200 ).

이미지 신호 프로세서(400)는 디스패리티 데이터(CLDTA)를 기초로 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성하고(S300), 생성된 결과 이미지 데이터(RIDTA)를 인터페이스(230)를 통하여 디스플레이(250)에 제공할 수 있다.The image signal processor 400 corrects the disparity distortion of the image data IDTA based on the disparity data CLDTA to generate the result image data RIDTA ( S300 ), and generates the result image data RIDTA. It may be provided to the display 250 through the interface 230 .

도 13은 본 발명의 실시예들에 따른 도 12의 동작 방법에서, 이미지 데이터의 디스패리티 왜곡을 교정하는 단계를 보다 상세히 나타내는 흐름도이다.13 is a flowchart illustrating in more detail a step of correcting disparity distortion of image data in the operating method of FIG. 12 according to embodiments of the present invention.

도 1 내지 도 13을 참조하면, 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성하기 위하여, 디스패리티 맵 생성 엔진(420)은 이미지 데이터(IDTA)의 적어도 크기 및 이미지 데이터(IDTA)에 포함되는 픽셀들 각각의 위치 정보와 관련된 입력 정보(IDINF) 및 디스패리티 데이터(CLDTA)를 수신하고, 이미지 데이터(IDTA)의 크기에 상응하도록 디스패리티 데이터(CLDTA)에 대하여 인터폴레이션을 수행하여 이미지 데이터(IDTA)의 크기에 상응하는 디스패리티 맵(DM)을 생성한다(S310).1 to 13 , in order to generate the result image data RIDTA by correcting the disparity distortion of the image data IDTA, the disparity map generation engine 420 may include at least the size of the image data IDTA and Receive input information IDINF and disparity data CLDTA related to position information of each pixel included in image data IDTA, and receive disparity data CLDTA to correspond to the size of image data IDTA A disparity map DM corresponding to the size of the image data IDTA is generated by performing interpolation (S310).

게인 맵 생성 엔진(430)은 디스패리티 맵(DM)을 수신하고, 디스패리티 맵(DM)을 기초로 이미지 데이터(IDTA)에 적용될 게인 맵(GM)을 생성할 수 있다(S320). 결과 이미지 생성 엔진(440)은 게인 맵(GM)을 기초로 이미지 데이터(IDTA)의 디스패리티 왜곡을 교정하여 결과 이미지 데이터(RIDTA)를 생성한다(S330). 즉, 결과 이미지 생성 엔진(440)은 이미지 데이터(IDTA)와 게인 맵(GM)을 수신하고, 게인 맵(GM)의 픽셀 별 게인을 참조하여 이미지 데이터(IDTA)의 픽셀들 각각의 픽셀값을 보정하여 결과 이미지 데이터(RIDTA)를 생성할 수 있다. The gain map generation engine 430 may receive the disparity map DM and generate a gain map GM to be applied to the image data IDTA based on the disparity map DM ( S320 ). The resultant image generating engine 440 generates the resultant image data RIDTA by correcting the disparity distortion of the image data IDTA based on the gain map GM ( S330 ). That is, the resultant image generation engine 440 receives the image data IDTA and the gain map GM, and refers to the gain for each pixel of the gain map GM and calculates the pixel value of each pixel of the image data IDTA. The resulting image data RIDTA may be generated by calibrating.

도 14는 본 발명의 실시예들에 따른 도 1의 이미지 센서의 비닝 블록에서 수행되는 비닝 동작을 나타낸다.14 illustrates a binning operation performed in the binning block of the image sensor of FIG. 1 according to embodiments of the present invention.

도 14는 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RGB Bayer 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다.FIG. 14 shows a part of the pixel array 110 when the pixel array 110 of the image sensor 100 of FIG. 1 is configured in an RGB Bayer pattern.

도 1 및 도 14를 참조하면, 비닝 블록(130)은 비닝 모드(제2 동작 모드)에서 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들(BWIN1~BWIN4) 각각의 일부 또는 전부의 픽셀들로부터 생성되는 상기 아날로그 신호들(AS)에 대해 비닝을 수행하여 비닝 아날로그 신호(BAS)를 생성할 수 있다. 도 14에서 n은 1이고 m은 2라고 가정한다. 하지만 실시예들에 따라, m은 3 또는 4일수 있다.1 and 14 , the binning block 130 includes (2n)*(2m) (n is a natural number, m is a natural number greater than n) in the pixel array 110 in the binning mode (the second operation mode). A plurality of binning windows BWIN1 to BWIN4 including pixels 2n is the number of pixels in the first direction D1 and 2m is the number of pixels in the second direction D2) are sequentially selected, In the two binning windows, the m pixels in the second direction D2 are selected to overlap, and the analog signals AS are generated from some or all pixels of each of the binning windows BWIN1 to BWIN4. binning may be performed to generate a binning analog signal BAS. 14, it is assumed that n is 1 and m is 2. However, according to embodiments, m may be 3 or 4.

도 14에서 제1 비닝 윈도우(BWIN1)가 선택되는 경우, 제1 비닝 윈도우(BWIN1)에 포함되는 픽셀들 중 그린 컬러 필터에 상응하는 픽셀들을 선택하고, 상기 선택된 픽셀들의 아날로그 신호들을 비닝(평균)하여 제1 비닝 윈도우(BWIN1)의 녹색 컬러값을 산출할 수 있다. 또한 도 14에서 제1 비닝 윈도우(BWIN1)가 선택되는 경우, 제1 비닝 윈도우(BWIN1)에 포함되는 픽셀들 모두의 휘도값을 평균하여 제1 비닝 윈도우(BWIN1)의 휘도값을 산출할 수 있다. When the first binning window BWIN1 is selected in FIG. 14 , pixels corresponding to the green color filter are selected among pixels included in the first binning window BWIN1, and analog signals of the selected pixels are binning (averaging) Thus, the green color value of the first binning window BWIN1 may be calculated. Also, when the first binning window BWIN1 is selected in FIG. 14 , the luminance value of the first binning window BWIN1 may be calculated by averaging the luminance values of all pixels included in the first binning window BWIN1. .

도 14에서 제2 비닝 윈도우(BWIN2)가 선택되는 경우, 제2 비닝 윈도우(BWIN2)는 제1 비닝 윈도우(BWIN1)와 픽셀들(ORP)을 중첩적으로 선택하게 된다. 따라서, 제1 방향(D1)의 공간 해상도가 유지되므로 비닝 수행후 이미지 데이터의 깊이 해상도가 증가될 수 있다. 제3 비닝 윈도우(BWIN3) 및 제4 비닝 윈도우(BWIN4) 각각에 대하여도 제2 제2 비닝 윈도우(BWIN2)에 대한 설명이 실질적으로 동일하게 적용될 수 있다. 14 , when the second binning window BWIN2 is selected, the second binning window BWIN2 overlaps the first binning window BWIN1 and the pixels ORP. Accordingly, since the spatial resolution in the first direction D1 is maintained, the depth resolution of image data after binning may be increased. The description of the second binning window BWIN2 may be substantially identically applied to each of the third binning window BWIN3 and the fourth binning window BWIN4 .

비닝 블록(130)은 논-비닝 모드(제1 동작 모드)에서는 픽셀 어레이(110)의 픽셀들 각각으로부터 입사광에 응답하여 출력되는 아날로그 신호(AS)를 ADC 블록(140)에 제공할 수 있다.The binning block 130 may provide an analog signal AS output in response to incident light from each of the pixels of the pixel array 110 to the ADC block 140 in the non-binning mode (the first operation mode).

도 15는 도 1의 이미지 센서에서 비닝 블록 및 ADC 블록을 나타내는 회로도이다.15 is a circuit diagram illustrating a binning block and an ADC block in the image sensor of FIG. 1 .

도 15를 참조하면, 비닝 블록(130)은 복수의 평균화 회로들(131~13k, k는 2 이상의 자연수) 및 복수의 선택 회로들(SC1~SCj, j는 2 이상의 자연수)을 포함하고, ADC 블록(140)은 복수의 ADC들(141~14j)을 포함할 수 있다.15 , the binning block 130 includes a plurality of averaging circuits 131 to 13k, where k is a natural number greater than or equal to 2) and a plurality of selection circuits SC1 to SCj, where j is a natural number greater than or equal to 2), and an ADC. The block 140 may include a plurality of ADCs 141 to 14j.

평균화 회로들(131~13k) 각각은 컬럼 라인들(CL1~CLj) 중 인접한 두 개의 컬럼 라인들 사이에 연결될 수 있다. 평균화 회로들(131~13k) 각각은 비닝 윈도우들 각각의 픽셀들의 일부 또는 전부에서 출력되는 아날로그 신호들을 평균하여 비닝 아날로그 신호(BAS)를 출력한다. 선택 회로들(SC1~SCj) 각각은 모드 신호(MS)에 응답하여 제1 동작 모드에서는 컬럼 라인들(CL1~CLj) 각각으로부터 출력되는 아날로그 신호(AS)를 ADC들(141~14j) 각각에 제공하고, 제2 동작 모드에서는 비닝 아날로그 신호(BAS)를 ADC들(141~14j) 각각에 제공한다.Each of the averaging circuits 131 to 13k may be connected between two adjacent column lines among the column lines CL1 to CLj. Each of the averaging circuits 131 to 13k outputs a binning analog signal BAS by averaging analog signals output from some or all of the pixels of each of the binning windows. Each of the selection circuits SC1 to SCj transmits the analog signal AS output from each of the column lines CL1 to CLj to each of the ADCs 141 to 14j in the first operation mode in response to the mode signal MS. and provides the binning analog signal BAS to each of the ADCs 141 to 14j in the second operation mode.

ADC들(141~14j)은 각각 제1 동작 모드에서는 아날로그 신호(AS)에 대하여 아날로그-디지털 변환을 수행하여 픽셀 데이터(PDT)를 출력하고, 제2 동작 모드에서는 비닝 아날로그 신호(BAS)에 대하여 아날로그-디지털 변환을 수행하여 비닝 픽셀 데이터(PDT)를 출력할 수 있다. Each of the ADCs 141 to 14j outputs pixel data PDT by performing analog-to-digital conversion on the analog signal AS in the first operation mode, and in the second operation mode for the binning analog signal BAS. By performing analog-to-digital conversion, binning pixel data PDT may be output.

도 16 및 도 17은 각각 도 1의 이미지 센서에서 픽셀 어레이의 예들을 나타낸다.16 and 17 each show examples of a pixel array in the image sensor of FIG. 1 .

16은 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RWB Bayer 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다. 픽셀 어레이(110)가 RWB Bayer 패턴으로 구성되는 경우에도 도 14를 참조하여 설명한 무빙 평균을 적용할 수 있는 비닝 윈도우들을 채용하여 이미지 데이터의 깊이 해상도를 증가시킬 수 있다.16 shows a part of the pixel array 110 when the pixel array 110 of the image sensor 100 of FIG. 1 is configured in an RWB Bayer pattern. Even when the pixel array 110 is configured in the RWB Bayer pattern, the depth resolution of image data can be increased by employing binning windows to which the moving average described with reference to FIG. 14 can be applied.

도 17은 도 1의 이미지 센서(100)의 픽셀 어레이(110)가 RGBW 패턴으로 구성되는 경우에 픽셀 어레이(110)의 일부를 나타낸다. 픽셀 어레이(110)가 RGBW 패턴으로 구성되는 경우에도 도 14를 참조하여 설명한 무빙 평균을 적용할 수 있는 비닝 윈도우들을 채용하여 이미지 데이터의 깊이 해상도를 증가시킬 수 있다.FIG. 17 shows a part of the pixel array 110 when the pixel array 110 of the image sensor 100 of FIG. 1 is configured in an RGBW pattern. Even when the pixel array 110 is configured in an RGBW pattern, the depth resolution of image data can be increased by employing binning windows to which the moving average described with reference to FIG. 14 can be applied.

도 18은 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.18 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.

도 1 내지 도 5d 및 도 14 내지 도 18을 참조하면, 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자(LP) 및 제2 광전 변환 소자(RP)를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)의 비닝 방법에서는, 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택한다(S410).1 to 5D and 14 to 18 , a plurality of pixels are provided in a predetermined pattern, and the plurality of pixels are at least a first photoelectric conversion element LP and a second photoelectric conversion element RP, respectively. In the binning method of the image sensor 100 having the pixel array 110 including A plurality of binning windows BWIN1 to BWIN4 including (2n is the number of pixels in the first direction D1, 2m is the number of pixels in the second direction D2) are sequentially selected, but two consecutive In the binning windows, the m pixels in the second direction D2 are selected to overlap (S410).

비닝 윈도우들(BWIN1~BWIN4) 각각에서 동일한 컬러를 갖는 픽셀들을 선택한다(S420). 선택된 픽셀들에 상응하는 아날로그 신호들을 평균하여 비닝 아날로그 신호를 생성한다(S430). Pixels having the same color are selected from each of the binning windows BWIN1 to BWIN4 (S420). A binning analog signal is generated by averaging analog signals corresponding to the selected pixels (S430).

도 19는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 나타내는 흐름도이다.19 is a flowchart illustrating a binning method of an image sensor according to embodiments of the present invention.

도 1 내지 도 5d, 도 14 내지 도 17 및 도 19를 참조하면, 일정한 패턴으로 배치되는 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자(LP) 및 제2 광전 변환 소자(RP)를 포함하는 픽셀 어레이(110)를 구비하는 이미지 센서(100)의 비닝 방법에서는, 픽셀 어레이(110)에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향(D1)의 픽셀의 수, 2m은 제2 방향(D2)의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들(BWIN1~BWIN4)을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향(D2)의 m 개의 픽셀들의 중복되도록 선택한다(S510).1 to 5D, 14 to 17 and 19 , a plurality of pixels are provided in a predetermined pattern, and the plurality of pixels are at least a first photoelectric conversion element (LP) and a second photoelectric conversion element, respectively. In the binning method of the image sensor 100 having the pixel array 110 including the element RP, (2n)*(2m) in the pixel array 110 (n is a natural number, m is a natural number greater than n) A plurality of binning windows BWIN1 to BWIN4 including pixels (2n is the number of pixels in the first direction D1, 2m is the number of pixels in the second direction D2) are sequentially selected, In the two binning windows, the m pixels in the second direction D2 are selected to overlap (S510).

비닝 윈도우들(BWIN1~BWIN4) 각각에서 픽셀들의 휘도값들을 평균하여 비닝 아날로그 신호(BAS)를 출력한다(S520). 여기서 비닝 아날로그 신호(BAS)는 비닝 윈도우들(BWIN1~BWIN4) 각각의 휘도값일 수 있다. A binning analog signal BAS is output by averaging the luminance values of pixels in each of the binning windows BWIN1 to BWIN4 ( S520 ). Here, the binning analog signal BAS may be a luminance value of each of the binning windows BWIN1 to BWIN4.

도 20a 및 도 20b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다.20A and 20B are diagrams for explaining the effects of embodiments of the present invention.

도 20a는 이미지 신호 프로세서에서 디스패리티의 왜곡에 대한 교정을 수행하지 않은 경우의 이미지 데이터를 나타내고, 도 20b는 이미지 신호 프로세서(400)에서 본 발명의 실시예들에 따라 디스패리티의 왜곡에 대한 교정을 수행한 경우의 이미지 데이터를 나타낸다. FIG. 20A shows image data when the image signal processor does not perform correction for distortion of disparity, and FIG. 20B shows correction for distortion of disparity in the image signal processor 400 according to embodiments of the present invention. It shows image data when .

도 20a와 도 20b에서 알 수 있듯이, 디스패리티의 왜곡에 대한 교정을 수행한 경우에는 이미지 데이터의 주변 영역에서 디스패리이의 왜곡이 감소됨을 알 수 있다.As can be seen from FIGS. 20A and 20B , when the distortion of the disparity is corrected, it can be seen that the distortion of the disparity is reduced in the peripheral region of the image data.

도 21a 및 도 21b는 본 발명의 실시예들의 효과를 설명하기 위한 도면이다. 21A and 21B are diagrams for explaining the effects of embodiments of the present invention.

도 21a는 이미지 센서에서 종래의 비닝을 수행한 경우 이미지 데이터의 깊이 맵을 나타내고, 도 21b는 이미지 센서(100)에서 본 발명의 실시예들에 따라 무빙 평균을 이용하는 비닝을 수행한 경우의 이미지 데이터의 깊이 맵을 나타낸다.21A shows a depth map of image data when conventional binning is performed by the image sensor, and FIG. 21B shows image data when binning using a moving average is performed by the image sensor 100 according to embodiments of the present invention. represents the depth map of

도 21a와 도 21b에서 알 수 있듯이, 무빙 평균을 이용한 비닝을 수행한 경우에, 이미지 신호의 깊이 맵의 해상도가 증가함을 알 수 있다.As can be seen from FIGS. 21A and 21B , it can be seen that the resolution of the depth map of the image signal is increased when binning is performed using the moving average.

도 22는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.22 is a block diagram illustrating an electronic system according to embodiments of the present invention.

도 22를 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 영상 촬상 장치(1040)를 포함하며, 통신부(1020), 저장 장치(1030), 사용자 인터페이스(1050) 및 전력 관리 장치(1060)를 더 포함할 수 있다.Referring to FIG. 22 , the electronic system 1000 includes a processor 1010 and an image capturing device 1040 , and includes a communication unit 1020 , a storage device 1030 , a user interface 1050 , and a power management device 1060 . may further include.

프로세서(1010)는 전자 시스템(1000)의 전반적인 동작을 제어할 수 있다. 영상 촬상 장치(1040)는 프로세서(1010)에 의해 제어되며, 본 발명의 실시예들에 따른 이미지 처리 시스템일 수 있다. 영상 촬상 장치(1040)는 복수의 픽셀(PX)들을 구비하는 픽셀 어레이(1041)를 포함하고, 상기 픽셀(PX)들 각각은 제1 광전 변화 소자(LP) 및 제2 광전 변환 소자(RP)를 구비하는 픽셀 어레이(1041)를 포함할 수 있다. 따라서 영상 촬상 장치(1040)는 디스패리티 데이터에 기초하여 이미지 데이터의 디스패리티 왜곡을 교정할 수 있다. 또한 영상 촬상 장치(1040)는 무빙 평균을 이용하는 비닝을 수행하여 이미지 데이터의 깊이 맵에서 제1 방향(행 방향)의 해상도를 증가시킬 수 있따.The processor 1010 may control the overall operation of the electronic system 1000 . The image capturing apparatus 1040 is controlled by the processor 1010 and may be an image processing system according to embodiments of the present invention. The image capturing apparatus 1040 includes a pixel array 1041 including a plurality of pixels PX, wherein each of the pixels PX is a first photoelectric conversion element LP and a second photoelectric conversion element RP. may include a pixel array 1041 including Accordingly, the image capturing apparatus 1040 may correct the disparity distortion of the image data based on the disparity data. Also, the image capturing apparatus 1040 may increase the resolution in the first direction (row direction) in the depth map of the image data by performing binning using the moving average.

통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 저장 장치(1030)는 전자 시스템(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 사용자 인터페이스(1050)는 키보드, 터치 스크린 등과 같은 입력 장치 및 디스플레이 등과 같은 출력 장치를 포함할 수 있다. 전력 관리 장치(1060)는 구동 전압을 제공할 수 있다.The communication unit 1020 may communicate with an external device. The storage device 1030 may store data necessary for the operation of the electronic system 1000 . The user interface 1050 may include an input device such as a keyboard and a touch screen, and an output device such as a display. The power management device 1060 may provide a driving voltage.

본 발명은 영상 촬상 장치 및 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 예를 들어, 본 발명은 휴대폰(mobile phone), 스마트 폰(smart phone), PDA(personal digital assistant), PMP(portable multimedia player), 디지털 카메라(digital camera), 휴대용 게임 콘솔(portable game console), 웨어러블(wearable) 시스템, IoT(internet of things) 시스템, 3차원 기하 재구성(3D geometry reconstruction) 시스템, 어레이 카메라(array camera) 시스템, VR(virtual reality) 시스템, AR(augmented reality) 시스템 등에 유용하게 적용될 수 있다.The present invention may be applied to an image capturing apparatus and various devices and systems including the same. For example, the present invention includes a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), a digital camera, a portable game console, It can be usefully applied to wearable systems, Internet of things (IoT) systems, 3D geometry reconstruction systems, array camera systems, virtual reality (VR) systems, and augmented reality (AR) systems. can

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.Although the above has been described with reference to the embodiments of the present invention, those of ordinary skill in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. You will understand that you can

Claims (10)

복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 구비하는 이미지 센서가 상기 이미지 센서로부터 제1 거리에 위치한 패턴 이미지를 촬상하여 생성한 패턴 이미지 데이터를 상기 이미지 센서로부터 수신한 디스패리티 처리 모듈이 생성한 디스패리티 데이터를 저장하는 레지스터; 및
상기 이미지 센서가 대상을 촬상하여 생성한 이미지 데이터에 상기 디스패리티 데이터를 적용하여 상기 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성하는 디스패리티 교정 엔진을 포함하고,
상기 디스패리티 데이터는 상기 패턴 이미지 데이터에서 상기 제1 광전 변환 소자들과 관련된 제1 패턴 이미지 데이터의 제1 픽셀 값들과 상기 패턴 이미지 데이터에서 상기 제2 광전 변환 소자들과 관련된 제2 패턴 이미지 데이터의 제2 픽셀 값들의 차이를 나타내는 이미지 신호 프로세서. Pattern image data including a plurality of pixels, wherein the plurality of pixels are generated by imaging a pattern image located at a first distance from the image sensor by an image sensor including at least a first photoelectric conversion element and a second photoelectric conversion element, respectively a register for storing disparity data generated by the disparity processing module received from the image sensor; and
and a disparity correction engine that corrects disparity distortion of the image data by applying the disparity data to image data generated by the image sensor imaging an object to generate resultant image data,
The disparity data includes first pixel values of first pattern image data associated with the first photoelectric conversion elements in the pattern image data and second pattern image data associated with the second photoelectric conversion elements in the pattern image data. An image signal processor representing a difference in second pixel values. 제1항에 있어서,
상기 제1 픽셀값들과 상기 제2 픽셀값들은 해당 픽셀들의 깊이값인 이미지 신호 프로세서. According to claim 1,
The first pixel values and the second pixel values are depth values of corresponding pixels. 제1항에 있어서, 상기 디스패리티 교정 엔진은
상기 디스패리티 데이터 및 상기 이미지 데이터의 입력 정보에 기초하여 상기 이미지 데이터와 관련된 디스패리티 맵을 생성하는 디스패리티 맵 생성 엔진;
상기 디스패리티 맵을 기초로 상기 이미지 데이터에 적용될 게인 맵을 생성하는 게인 맵 생성 엔진; 및
상기 이미지 데이터에 상기 게인 맵을 적용하여 상기 결과 이미지 데이터를 생성하는 결과 이미지 생성 엔진을 포함하는 이미지 신호 프로세서. The method of claim 1, wherein the disparity correction engine
a disparity map generation engine configured to generate a disparity map related to the image data based on the disparity data and input information of the image data;
a gain map generation engine that generates a gain map to be applied to the image data based on the disparity map; and
and a result image generation engine configured to generate the result image data by applying the gain map to the image data. 제3항에 있어서,
상기 디스패리티 맵 생성 엔진은 상기 이미지 데이터의 크기 정보에 기초하여 상기 디스패리티 데이터에 포함되는, 상기 패턴 이미지 데이터를 구성하는 복수의 블록들 각각과 관련된 디스패리티 값들을 보간하여 상기 디스패리티 맵을 생성하고,
상기 게인 맵 생성 엔진은 상기 디스패리티 값들 중 최대값에 기초하여 상기 최대값과 상기 디스패리티 값들 각각의 차이가 상쇄되도록 상기 게인 맵을 생성하는 이미지 신호 프로세서. 4. The method of claim 3,
The disparity map generation engine generates the disparity map by interpolating disparity values associated with each of a plurality of blocks constituting the pattern image data included in the disparity data based on the size information of the image data. do,
The gain map generating engine generates the gain map so that a difference between the maximum value and each of the disparity values is canceled based on a maximum value among the disparity values. 제1항에 있어서,
상기 디스패리티 처리 모듈은,
상기 패턴 이미지 데이터에서 상기 제1 패턴 이미지 데이터와 상기 제2 패턴 이미지 데이터로 분리하는 이미지 분리 엔진; 및
상기 제1 패턴 이미지 데이터를 복수의 제1 블록들로 분할하고, 상기 제2 패턴 이미지 데이터를 복수의 제2 블록들로 분할하고, 상기 제1 블록들과 상기 제2 블록들 중 상응하는 블록들의 픽셀값들의 차이를 산출하여 상기 디스패리티 데이터를 제공하는 디스패리티 산출 엔진을 포함하는 이미지 신호 프로세서. According to claim 1,
The disparity processing module,
an image separation engine that separates the first pattern image data and the second pattern image data from the pattern image data; and
divides the first pattern image data into a plurality of first blocks, divides the second pattern image data into a plurality of second blocks, and divides the first blocks and corresponding blocks among the second blocks. and a disparity calculation engine that calculates a difference between pixel values and provides the disparity data. 제3항에 있어서,
상기 결과 이미지 생성 엔진은 상기 게인 맵의 픽셀 별 게인을 기초로 상기 이미지 데이터의 픽셀들 각각의 픽셀값을 보정하여 상기 결과 이미지를 제공하는 이미지 신호 프로세서.4. The method of claim 3,
The resultant image generating engine provides the resultant image by correcting a pixel value of each of the pixels of the image data based on a gain for each pixel of the gain map. 복수의 픽셀들을 구비하고, 상기 복수의 픽셀들은 각각 적어도 제1 광전 변환 소자 및 제2 광전 변환 소자를 포함하는 픽셀 어레이를 구비하는 이미지 센서;
상기 이미지 센서가, 상기 이미지 센서로부터 제1 거리에 위치한 패턴 이미지를 촬상하여 생성된 패턴 이미지 데이터를 상기 이미지 센서로부터 수신하고, 상기 수신된 패턴 이미지 데이터에 기초하여 디스패리티 데이터를 제공하는 디스패리티 처리 모듈; 및
상기 이미지 센서가 대상을 촬상하여 생성한 이미지 데이터에 상기 디스패리티 데이터를 적용하여 상기 이미지 데이터의 디스패리티 왜곡을 정정하여 결과 이미지 데이터를 생성하는 이미지 신호 프로세서를 포함하고,
상기 디스패리티 데이터는 상기 패턴 이미지 데이터에서 상기 제1 광전 변환 소자들과 관련된 제1 패턴 이미지 데이터의 제1 픽셀 값들과 상기 패턴 이미지 데이터에서 상기 제2 광전 변환 소자들과 관련된 제2 패턴 이미지 데이터의 제2 픽셀 값들의 차이를 나타내는 이미지 처리 시스템. an image sensor having a plurality of pixels, each of the plurality of pixels including a pixel array including at least a first photoelectric conversion element and a second photoelectric conversion element;
Disparity processing in which the image sensor receives pattern image data generated by capturing a pattern image located at a first distance from the image sensor from the image sensor, and provides disparity data based on the received pattern image data module; and
and an image signal processor configured to correct disparity distortion of the image data by applying the disparity data to image data generated by the image sensor imaging an object to generate resultant image data,
The disparity data includes first pixel values of first pattern image data associated with the first photoelectric conversion elements in the pattern image data and second pattern image data associated with the second photoelectric conversion elements in the pattern image data. An image processing system representing a difference in second pixel values. 제7항에 있어서,
상기 이미지 신호 프로세서는 상기 디스패리티 데이터에 기초하여 상기 결과 이미지 데이터를 생성하는 디스패리티 교정 엔진을 포함하고,
상기 디스패리티 교정 엔진은
상기 디스패리티 데이터 및 상기 이미지 데이터의 입력 정보에 기초하여 상기 이미지 데이터와 관련된 디스패리티 맵을 생성하는 디스패리티 맵 생성 엔진;
상기 디스패리티 맵을 기초로 상기 이미지 데이터에 적용될 게인 맵을 생성하는 게인 맵 생성 엔진; 및
상기 이미지 데이터에 상기 게인 맵을 적용하여 상기 결과 이미지 데이터를 생성하는 결과 이미지 생성 엔진을 포함하는 이미지 처리 시스템.8. The method of claim 7,
The image signal processor includes a disparity correction engine that generates the result image data based on the disparity data,
The disparity correction engine
a disparity map generation engine configured to generate a disparity map related to the image data based on the disparity data and input information of the image data;
a gain map generation engine that generates a gain map to be applied to the image data based on the disparity map; and
and a result image generation engine that generates the result image data by applying the gain map to the image data. 제7항에 있어서, 상기 이미지 센서는
제1 동작 모드에서 상기 복수의 픽셀들 각각으로부터 입사광에 응답하여 출력되는 아날로그 신호에 대해 아날로그-디지털 변환을 수행하여 픽셀 데이터를 생성하고, 제2 동작 모드에서 상기 픽셀 어레이에서 (2n)*(2m)(n은 자연수, m은 n보다 큰 자연수) 개의 픽셀들(2n은 제1 방향의 픽셀의 수, 2m은 제2 방향의 픽셀의 수)을 포함하는 복수의 비닝 윈도우들을 순차적으로 선택하되, 연속하는 두 개의 비닝 윈도우들에서 상기 제2 방향의 m 개의 픽셀들의 중복되도록 선택하고, 상기 비닝 윈도우들 각각의 일부 또는 전부의 픽셀들로부터 생성되는 상기 아날로그 신호들에 대해 비닝 및 아날로그-디지털 변환을 수행하여 비닝 픽셀 데이터를 생성하는 아날로그-디지털 변환 회로; 및
상기 픽셀 어레이 및 상기 아날로그-디지털 변환 회로의 동작을 제어하는 타이밍 생성기를 포함하는 이미지 처리 시스템. The method of claim 7, wherein the image sensor
In a first operation mode, analog-to-digital conversion is performed on an analog signal output from each of the plurality of pixels in response to incident light to generate pixel data, and in the pixel array in a second operation mode (2n)*(2m) ) (n is a natural number, m is a natural number greater than n) pixels (2n is the number of pixels in the first direction, 2m is the number of pixels in the second direction) sequentially selecting a plurality of binning windows, In two consecutive binning windows, the m pixels in the second direction are selected to overlap, and binning and analog-to-digital conversion are performed on the analog signals generated from some or all pixels of each of the binning windows. an analog-to-digital conversion circuit for performing binning pixel data; and
and a timing generator for controlling operation of said pixel array and said analog-to-digital conversion circuit. 삭제delete
KR1020170142870A 2017-07-13 2017-10-30 Image signal processor, image processing system and binning method of image sensor KR102441363B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/984,692 US11463677B2 (en) 2017-07-13 2018-05-21 Image signal processor, image processing system and method of binning pixels in an image sensor
CN201810775028.0A CN109257586B (en) 2017-07-13 2018-07-13 Image signal processor, image processing system and method for merging pixels
US17/954,471 US11956411B2 (en) 2017-07-13 2022-09-28 Image signal processor, image processing system and method of binning pixels in image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170089143 2017-07-13
KR20170089143 2017-07-13

Publications (2)

Publication Number Publication Date
KR20190008057A KR20190008057A (en) 2019-01-23
KR102441363B1 true KR102441363B1 (en) 2022-09-07

Family

ID=65323934

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020170142870A KR102441363B1 (en) 2017-07-13 2017-10-30 Image signal processor, image processing system and binning method of image sensor
KR1020170150733A KR102470617B1 (en) 2017-07-13 2017-11-13 Bio-processor, bio-signal detecting system, and method for operating the same
KR1020180001861A KR20190008066A (en) 2017-07-13 2018-01-05 Optics-based fingerprint sensor, electric device including optics-based fingerprint sensor, and operation method of electric device

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020170150733A KR102470617B1 (en) 2017-07-13 2017-11-13 Bio-processor, bio-signal detecting system, and method for operating the same
KR1020180001861A KR20190008066A (en) 2017-07-13 2018-01-05 Optics-based fingerprint sensor, electric device including optics-based fingerprint sensor, and operation method of electric device

Country Status (1)

Country Link
KR (3) KR102441363B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097865A (en) 2019-02-08 2020-08-20 삼성전자주식회사 Image processing system for measurging depth and operating method of the same
KR20210093401A (en) 2020-01-17 2021-07-28 삼성디스플레이 주식회사 Display device and portable terminal
KR20220017015A (en) 2020-08-03 2022-02-11 삼성디스플레이 주식회사 Fingerprint sensor and display device including the same
KR20220031402A (en) 2020-09-04 2022-03-11 삼성전자주식회사 Electronic device
KR20220053067A (en) 2020-10-21 2022-04-29 삼성전자주식회사 Device for improving image resolution in camera system having lens causing distortion and operation method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133747A1 (en) * 2010-11-29 2012-05-31 Sony Corporation Image processing apparatus, display apparatus, image processing method and image processing program
US20150028102A1 (en) * 2011-06-20 2015-01-29 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
US20150164382A1 (en) * 2013-12-16 2015-06-18 Medtronic Minimed, Inc. Use of electrochemical impedance spectroscopy (eis) in continuous glucose monitoring
EP3155812B1 (en) * 2014-06-16 2023-04-05 QUALCOMM Incorporated Simplified shifting merge candidate and merge list derivation in 3d-hevc
US10045738B2 (en) * 2014-11-25 2018-08-14 Medtronic Bakken Research Center B.V. Tissue resistance measurement
KR20160094219A (en) * 2015-01-30 2016-08-09 삼성전자주식회사 Apparatus and method for measuring body composition
KR102523643B1 (en) * 2015-10-26 2023-04-20 삼성전자주식회사 Method for operating image signal processor and method for operating image processing system including the same
KR102420853B1 (en) * 2015-12-21 2022-07-15 삼성전자주식회사 Bio-processor for measuring each of biological signals and wearable device having the same
US10278602B2 (en) * 2016-06-22 2019-05-07 General Electric Company System and method for rapid ECG acquisition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133747A1 (en) * 2010-11-29 2012-05-31 Sony Corporation Image processing apparatus, display apparatus, image processing method and image processing program
US20150028102A1 (en) * 2011-06-20 2015-01-29 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing

Also Published As

Publication number Publication date
KR20190008059A (en) 2019-01-23
KR20190008066A (en) 2019-01-23
KR102470617B1 (en) 2022-11-28
KR20190008057A (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN109257586B (en) Image signal processor, image processing system and method for merging pixels
KR102441363B1 (en) Image signal processor, image processing system and binning method of image sensor
US11477409B2 (en) Image processing device and mobile computing device having the same
US10225495B2 (en) Crosstalk processing module, method of processing crosstalk and image processing system
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
KR102624107B1 (en) Image Sensor for generating Depth Data by a path difference of light generated through Micro Lens covering a plurality of sub-pixels and Electronic Device including the image sensor
US9549166B2 (en) Imaging device and shading correction method
KR102288164B1 (en) Image processing device and mobile computing device having same
US11889240B2 (en) Image device and operation method of image device
KR102632474B1 (en) Pixel array included in image sensor and image sensor including the same
US20160269658A1 (en) Image Sensors and Image Processing Systems Including the Image Sensors
JP2022049671A (en) Image processing device, image processing method and image processing system for color correction
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
US20220294999A1 (en) Image sensing apparatus and image binning method thereof
US20230300481A1 (en) Image sensing device and image processing method of the same
EP4096217A1 (en) Image sensor and image signal processing method
EP4333445A1 (en) Electronic device and control method therefor
US11736812B2 (en) Image sensing device for correcting image using block areas and method of operating the same
KR20220148423A (en) Denoising method and denosing device of reducing noise of image
KR20220077735A (en) Image sensor and pixel array of image sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant