KR102303764B1 - 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 - Google Patents

크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 Download PDF

Info

Publication number
KR102303764B1
KR102303764B1 KR1020170052508A KR20170052508A KR102303764B1 KR 102303764 B1 KR102303764 B1 KR 102303764B1 KR 1020170052508 A KR1020170052508 A KR 1020170052508A KR 20170052508 A KR20170052508 A KR 20170052508A KR 102303764 B1 KR102303764 B1 KR 102303764B1
Authority
KR
South Korea
Prior art keywords
image signals
channel image
crosstalk
image signal
values
Prior art date
Application number
KR1020170052508A
Other languages
English (en)
Other versions
KR20180119050A (ko
Inventor
이다희
김대관
노요환
김경호
김채성
민동기
조성원
최윤석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170052508A priority Critical patent/KR102303764B1/ko
Priority to US15/823,880 priority patent/US10225495B2/en
Priority to CN201810157042.4A priority patent/CN108737751B/zh
Publication of KR20180119050A publication Critical patent/KR20180119050A/ko
Application granted granted Critical
Publication of KR102303764B1 publication Critical patent/KR102303764B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H04N5/359—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0209—Crosstalk reduction, i.e. to reduce direct or indirect influences of signals directed to a certain pixel of the displayed image on other pixels of said image, inclusive of influences affecting pixels in different frames or fields or sub-images which constitute a same image, e.g. left and right images of a stereoscopic display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 신호의 크로스토크 처리 모듈은 교정 요소 생성부, 스토리지, 크로스토크 교정 체크부 및 제어 엔진을 포함한다. 상기 교정 요소 생성부는 상기 이미지 신호 및 적어도 상기 이미지 신호의 크기와 관련된 입력 정보를 수신하고, 상기 입력 정보 및 상기 이미지 신호가 컬러에 따라 분리된 대표 채널 이미지 신호를 기반으로 하여 상기 크로스토크를 교정하는데 이용되는 시드 값들과 교정 파라미터들을 생성한다. 상기 스토리지는 상기 교정 요소 생성부에 연결되어 상기 시드값들과 상기 교정 파라미터들을 저장한다. 상기 교정 체크부는 상기 이미지 신호를 수신하고, 상기 스토리지로부터 상기 대표 채널 이미지 신호를 기반으로 산출된 상기 시드값들과 상기 교정 파라미터들을 제공받아 상기 크로스토크를 교정하여 최종 이미지 신호를 출력하고, 복수의 기준값들에 기초하여 상기 크로스토크 교정의 패스/페일 여부를 나타내는 패스/페일 정보를 출력한다. 상기 제어 엔진은 상기 교정 요소 생성부, 상기 스토리지 및 상기 크로스토크 교정 체크부를 제어한다.

Description

크로스토크 처리 모듈 및 크로스토크를 처리하는 방법{CROSSTALK PROCESSING MODULES AND METHDODS OF PROCESSING CROSSTALK}
본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서에서 출력되는 이미지 신호의 크로스토크 처리 모듈 및 상기 이미지 신호의 크로스토크를 처리하는 방법에 관한 것이다.
이미지 센서는 피사체에 의해 반사된 광을 감지하여 전기적 신호로 변환하는 반도체 소자로서 디지털 카메라, 휴대폰 등과 같은 전자 기기에 광범위하게 사용되고 있다. 일반적으로, 이미지 센서는 CCD(Charged Coupled Device) 이미지 센서와 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분되는데, 최근에는 제조비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한 CMOS 이미지 센서가 상대적으로 보다 주목을 받고 있다. 최근에는 멀티-포토다이오드 구조를 갖는 이미지 센서들이 사용되고 있다.
본 발명의 일 목적은 멀티-포토다이오드 구조의 이미지 센서에서 출력되는 이미지 신호의 크로스토크를 효율적으로 처리할 수 있는 크로스토크 처리 모듈을 제공하는데 있다.
본 발명의 일 목적은 멀티-포토다이오드 구조의 이미지 센서에서 출력되는 이미지 신호의 크로스토크를 효율적으로 처리하는 방법을 제공하는데 있다.
상기 본 발명의 일 목적을 달성하기 위한 본 발명의 실시예들에 따른 복수의 행들 및 복수의 열들을 따라 배열된 복수의 서브 픽셀들을 포함하고, 상기 서브 픽셀들 중 서로 인접한 k(k는 4 이상의 자연수)개의 서브 픽셀들이 하나의 컬러를 표현하는 픽셀 어레이를 구비하는 이미지 센서에서 출력된 이미지 신호의 크로스토크 처리 모듈은 교정 요소 생성부, 스토리지, 크로스토크 교정 체크부 및 제어 엔진을 포함한다. 상기 교정 요소 생성부는 상기 이미지 신호 및 적어도 상기 이미지 신호의 크기와 관련된 입력 정보를 수신하고, 상기 입력 정보 및 상기 이미지 신호가 컬러에 따라 분리된 대표 채널 이미지 신호를 기반으로 하여 상기 크로스토크를 교정하는데 이용되는 시드 값들과 교정 파라미터들을 생성한다. 상기 스토리지는 상기 교정 요소 생성부에 연결되어 상기 시드값들과 상기 교정 파라미터들을 저장한다. 상기 교정 체크부는 상기 이미지 신호를 수신하고, 상기 스토리지로부터 상기 대표 채널 이미지 신호를 기반으로 산출된 상기 시드값들과 상기 교정 파라미터들을 제공받아 상기 크로스토크를 교정하여 최종 이미지 신호를 출력하고, 복수의 기준값들에 기초하여 상기 크로스토크 교정의 패스/페일 여부를 나타내는 패스/페일 정보를 출력한다. 상기 제어 엔진은 상기 교정 요소 생성부, 상기 스토리지 및 상기 크로스토크 교정 체크부를 제어한다.
상기 본 발명의 일 목적을 달성하기 위한 본 발명의 실시예들에 따른 복수의 행들 및 복수의 열들을 따라 배열된 복수의 서브 픽셀들을 포함하고, 상기 서브 픽셀들 중 서로 인접한 k(k는 4 이상의 자연수) 개의 서브 픽셀들이 하나의 컬러를 표현하는 픽셀 어레이를 구비하는 이미지 센서에서 출력된 이미지 신호의 크로스토크를 처리하는 방법에서는, 상기 이미지 신호, 적어도 상기 이미지 신호의 크기와 관련된 입력 정보, 상기 이미지 신호가 컬러에 따라 분리된 대표 채널 이미지 신호 및 상기 이미지 신호가 상기 서브 픽셀별로 분리된 채널 이미지 신호들에 기초하여 상기 크로스토크를 교정하는데 이용되는 시드 값들과 교정 파라미터들을 생성하고, 상기 시드값들과 상기 교정 파라미터들을 스토리지에 저장하고, 상기 이미지 신호, 상기 대표 채널 이미지 신호에 기반으로 산출된 상기 시드값들 및 상기 교정 파라미터들에 기초하여 상기 채널 이미지 신호들 각각의 크로스토크를 정정하고, 복수의 기준값들에 기초하여 상기 크로스토크 정정의 패스/페일 여부를 판단한다.
본 발명에 실시예들에 따르면, 멀티-포토다이오드 구조의 이미지 센서에서 출력되는 이미지 신호의 크로스토크를 처리함에 있어, 이미지 신호를 컬러 필터들에 따른 4k개의 채널 이미지 신호들로 분리하고, k개의 대표 채널 이미지 신호들을 기반으로 하여 4k개의 채널 이미지 신호들 각각의 크로스토크를 정정하는데 사용되는 시드값들을 생성함으로써 시드값들을 저장하는 스토리지의 저장 공간과 스토리지에 대한 액세스 횟수를 감소시킬 수 있다. 따라서 크로스토크 처리 모듈과 방법은 성능을 높일 수 있다.
도 1은 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 서브 픽셀을 설명하기 위한 도면이다.
도 4 및 도 5는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.
도 6은 본 발명의 실시예들에 따른 도 1의 크로스토크 처리 모듈을 나타내는 블록도이다.
도 7은 본 발명의 실시예들에 따른 도 6의 크로스토크 처리 모듈에서 교정 요소 생성부를 나타내는 블록도이다.
도 8은 도 7의 교정 요소 생성부에서 입출력되는 여러 가지 이미지 신호들의 크기를 나타낸다.
도 9는 본 발명의 실시예들에 따른 도 7의 교정 요소 생성부에서 교정 파라미터 산출 엔진을 나타내는 블록도이다.
도 10a와 도 10b는 제1 그린 채널 이미지 신호와 제1 그린 대표 채널 이미지 신호 사이의 제1 방향의 변화 정도와 제2 방향의 변화 정도를 설명하기 위한 도면들이다.
도 11은 도 7의 교정 요소 생성부에서 시드값 산출 엔진의 구성을 나타내는 블록도이다.
도 12는 도 11의 시드값 산출 엔진에서 그리드 이미지 신호와 시드값을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예들에 따른 도 6의 크로스토크 처리 모듈에서 크로스토크 교정 체크부의 구성을 나타내는 블록도이다.
도 14는 도 13에서 하나의 채널 이미지 신호가 복수의 블록들로 분할되는 것을 나타낸다.
도 15는 도 13의 패스/페일 체커에서 출력되는 히스토그램을 나타낸다.
도 16은 본 발명의 실시예들에 따른 이미지 신호의 크로스토크를 처리하는 방법을 나타내는 흐름도이다.
도 17은 도 16의 방법에서 시드값들과 정정 파라미터들을 생성하는 단계를 상세히 나타내는 흐름도이다.
도 18은 도 17에서 시드값들을 산출하는 단계를 보다 상세히 나타내는 흐름도이다.
도 19는 도 16의 방법에서 크로스토크 교정의 패스/페일 여부를 판단하는 단계를 보다 상세히 나타내는 흐름도이다.
도 20은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 1은 본 발명의 실시예들에 따른 이미지 처리 시스템의 예를 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 시스템(10)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
이미지 처리 시스템(10)은 광학 렌즈(103), 이미지 센서(100), 디지털 신호 프로세서(digital signal processor(DSP); 200) 및 디스플레이(240)를 포함할 수 있다. 이미지 처리 시스템(10)은 또한 크로스토크 처리 모듈(300)을 더 포함할 수 있다.
이미지 센서(100)는 광학 렌즈(103)를 통하여 입사된 피사체(101, OB)에 대한 이미지 신호(IDTA)를 생성할 수 있다. 이미지 신호(IDTA)는 복수의 광전 변환 소자들로부터 출력된 픽셀 신호들에 상응하는 데이터일 수 있다. 예컨대, 상기 광전 변환 소자들 각각은 포토다이오드, 포토트랜지스터, 포토게이트 또는 핀드 포토다이오드로 구현될 수 있다.
이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그-디지털 변환기 블록(analog-todigital converter(ADC) block; 125), 비닝 블록 (130), 타이밍 생성기(140), 제어 레지스터 블록(150), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)를 포함할 수 있다.
픽셀 어레이(110)는 2차원적으로 배열된 복수의 서브 픽셀들을 포함할 수 있다. CMOS 이미지 센서(110)의 서브 픽셀들은 CMOS 제조 공정을 이용하여 제조될 수 있다. 복수의 서브 픽셀들 각각은 광전 변환 소자들을 포함할 수 있다. 상기 서브픽셀들은 서로 인접한 k(k는 4 이상의 자연수) 개의 서브 픽셀들이 하나의 컬러를 표현할 수 있는 구조를 가질 수 있다.
픽셀 어레이(110)에 포함된 서브 픽셀들 각각은 포토다이오드를 포함할 수 있다. 상기 포토다이오드들 각각은 광전 변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토트랜지스터(phototransistor), 포토게이트 (photogate), 또는 핀드 포토다이오드(pinned-photodiode)로 대체될 수 있다. 픽셀 어레이(110)는 매트릭스(matrix) 형태로 배열된 서브 픽셀들(P)을 포함할 수 있다. 서브 픽셀들(P) 각각은 픽셀 신호를 컬럼 라인으로 전송할 수 있다.
로우 드라이버(120)는, 타이밍 생성기(140)의 제어에 따라, 서브 픽셀들(P) 각각의 동작을 제어하기 위한 제어 신호들을 픽셀 어레이(110)로 드라이빙할 수 있다. 로우 드라이버(120)는 제어 신호들을 생성할 수 있는 제어 신호 생성기의 기능을 수행할 수 있다.
타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, 로우 드라이버(120), ADC 블록(125) 및 램프 신호 생성기(160)의 동작을 제어할 수 있다. 실시 예에 따라, 타이밍 생성기(130)는, 제어 레지스터 블록(150)의 제어에 따라, ADC 블록(125)의 동작을 제어할 수 있다.
비닝 블록(130)은 픽셀 어레이(110)에서 포함된 각 서브 픽셀로부터 출력된 픽셀 신호를 비닝(binning)하고, 비닝된 픽셀 신호를 출력할 수 있다.
ADC 블록(125)은 컬럼별 ADC와 컬럼별 메모리를 포함할 수 있다. 실시 예에 따라, 상기 ADC는 상관 이중 샘플링(correlated double sampling(CDS))을 수행할 수 있다. 실시 예에 따라, ADC 블록(125)은 복수의 ADC들을 포함할 수 있다. ADC들 각각은 서브 픽셀마다 구현된 광전 변환 소자들에 의해 공유될 수 있다. ADC 블록(125)은 비닝 블록(130)으로부터 출력된 비닝된 픽셀 신호에 상응하는 디지털 이미지 신호를 생성할 수 있다.
제어 레지스터 블록(150)은, DSP(200)의 제어에 따라, 타이밍 생성기(130), 비닝 제어기(155), 램프 신호 생성기(160) 및 버퍼(170)의 작동을 제어할 수 있다. 비닝 제어기(155)는, 제어 레지스터 블록(150)의 제어에 따라, 비닝 블록 (130)을 제어할 수 있다.
버퍼(170)는 ADC 블록(125)으로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 신호(IDTA)를 DSP(200)로 전송할 수 있다.
DSP(200)는 이미지 신호 프로세서(image signal processor(ISP); 210), 센서 컨트롤러(220) 및 인터페이스(230)를 포함할 수 있다.
ISP(210)는 제어 레지스터 블록(150)을 제어하는 센서 컨트롤러(220) 및 인터페이스(230)를 제어할 수 있다. 실시 예에 따라, 이미지 센서(100)와 DSP(200)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다.
비록 도 1에서는 CMOS 이미지 센서(100)와 ISP(210)가 분리된 형태로 도시되어 있으나, ISP(210)는 CMOS 이미지 센서(100)의 일부로서 구현될 수 있다.
ISP(210)는 버퍼(170)로부터 전송된 이미지 신호(IDTA)를 처리하고, 처리된 이미지 데이터를 인터페이스(230)로 전송할 수 있다. 예를 들어, ISP(210)는 서브 픽셀들부터 출력된 픽셀 신호들에 상응하는 이미지 신호(IDTA)를 보간(interpolation)하고, 보간된 이미지 신호를 생성할 수 있다.
센서 컨트롤러(220)는 ISP(210)의 제어에 따라, 제어 레지스터 블록(150)을 제어하기 위한 다양한 제어 신호들을 생성할 수 있다. 인터페이스(230)는 ISP(210)에서 처리된 이미지 데이터, 예컨대 보간된 이미지 데이터를 디스플레이(240)로 전송할 수 있다.
디스플레이(240)는 인터페이스(230)로부터 출력된 보간된 이미지 신호를 디스플레이할 수 있다. 디스플레이(240)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블 디스플레이로 구현될 수 있다.
크로스토크 처리 모듈(300)은 상기 이미지 센서(100)로부터 출력되는 이미지 신호(IDTA)의 크로스토크를 교정하고, 상기 교정된 크로스토크의 패스/페일 여부를 판단하여 상기 패스/페일 여부를 나타내는 패스/페일 정보(PFI)를 DSP(200)에 전송할 수 있다. 크로스토크 처리 모듈(300)은 이미지 신호(IDTA)를 서브 픽셀별로 분리하여 복수의 채널 이미지 신호들을 생성하고, 상기 채널 이미지 신호들 각각의 픽셀값들을 컬러 별로 평균(픽셀값들을 전체적으로 고르게 하는 것)하여 대표 채널 이미지 신호들을 생성하고, 상기 대표 채널 이미지 신호들을 기반으로 하여 채널 이미지 신호들 각각의 크로스토크를 교정하기 위한 시드값들과 교정 파라미터들을 생성할 수 있다.
크로스토크 처리 모듈(300)은 상기 시드값들과 상기 교정 파라미터들을 이용하여 상기 대표 채널 이미지 신호들을 기반으로 상기 채널 이미지 신호들 각각의 크로스토크를 교정하고 상기 크로스토크 교정의 패스/페일 여부를 판단할 수 있다.
도 1에서 크로스토크 처리 모듈(300)은 ISP(210)와 분리된 형태로 도시되어 있으나, 실시예에 따라서, 크로스토크 처리 모듈(300)은 ISP(210)의 일부로서 구현될 수 있다.
도 2는 본 발명의 실시예들에 따른 도 1의 이미지 처리 시스템에서 픽셀 어레이를 나타내는 블록도이다.
도 2는 도 1의 픽셀 어레이의 컬러 필터 어레이를 예시적으로 나타낸다.
도 2에서는 간결한 설명을 위하여, 8*8(*는 본 명세서에서 곱하기임) 구조의 픽셀 어레이가 예시적으로 설명된다. 또한 하나의 픽셀(PX)은 서로 인접한 4개의 서브 픽셀들(SP; sub-pixel)을 포함하는 것으로 가정한다. 하지만 본 발명의 범위가 이에 한정되는 것은 아니며, 픽셀 어레이(110)의 배열 또는 컬러 필터 어레이의 배열은 다양하게 변형될 수 있다.
도 2를 참조하면, 픽셀 어레이(110)는 복수의 픽셀들(PX11~PX22)을 포함한다. 픽셀들(PX11~PX22)은 서브 픽셀들(SP11~SP44)을 포함할 수 있다.
예를 들어, 픽셀(PX11)은 서브 픽셀들(SP11, SP12, SP21, SP22)를 포함할 수 있다. 서브 픽셀들(SP11, SP12, SP21, SP22)은 제1 컬러 필터(예시적으로, 제1 그린(Gr) 컬러 필터)를 포함할 수 있다. 서브 픽셀들(SP11, SP12, SP21, SP22)은 제1 컬러(예시적으로 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다.
픽셀(PX12)은 서브 픽셀들(SP13 SP14 SP23 SP24)를 포함할 수 있다. 서브 픽셀들(SP13, SP14, SP23, SP24)은 제2 컬러 필터(예시적으로, 레드(R) 컬러 필터)를 포함할 수 있다. 서브 픽셀들(SP13, SP14, SP23, SP24)은 제2 컬러(예시적으로, 적색)의 빛에 반응하여 전기 신호를 생성할 수 있다.
픽셀(PX21)은 서브 픽셀들(SP31, SP32, SP41, SP42)를 포함할 수 있다. 서브 픽셀들(SP31, SP32, SP41, SP42)은 제3 컬러 필터(예시적으로, 블루(B) 컬러 필터)를 포함할 수 있다. 서브 픽셀들(SP31, SP32, SP41, SP42)은 청색의 빛에 반응하여 전기 신호를 생성할 수 있다.
픽셀(PX12)은 서브 픽셀들(SP13 SP14 SP23 SP24)를 포함할 수 있다. 서브 픽셀들(SP33, SP34, SP43, SP44)은 제4 컬러 필터(예시적으로, 제2 그린(Gb) 컬러 필터)를 포함할 수 있다. 서브 픽셀들(SP33, SP34, SP43, SP44)은 제4 컬러(예시적으로, 녹색)의 빛에 반응하여 전기 신호를 생성할 수 있다.
하나의 픽셀(PX)은 서로 인접한 4개의 서브 픽셀들을 포함하고, 하나의 픽셀에 포함된 4개의 서브 픽셀들은 동일한 색의 컬러 필터를 포함한다.
예시적인 실시예에 있어서, 4개의 픽셀들(PX11~PX22)은 Bayer 패턴을 구성할 수 있다. 도 2를 참조하여 Bayer 패턴이 예시적으로 설명되었으나, 본 발명은 이에 한정되지 아니하고, RGBE 패턴, CYGM 패턴, CYYM 패턴 등과 같이 다양한 컬러 필터 어레이 패턴이 적용될 수 있다.
도 3은 본 발명의 실시예들에 따른 도 2에 도시된 하나의 서브 픽셀을 설명하기 위한 도면이다.
도 3을 참조하여, 4TR 구조의 서브 픽셀이 설명되나, 본 발명의 범위가 이에 한정되는 것은 아니며, 서브 픽셀은 1TR 구조, 3TR 구조, 또는 다른 다양한 픽셀 구조로 변형될 수 있다.
도 2 및 도 3을 참조하면, 서브 픽셀(SP11)은 리셋 라인(RST), 전송 라인(TF), 및 선택 라인(SEL)을 통해 로우 드라이버(120)와 연결된다. 서브 픽셀(SP11)은 포토 다이오드(PD), 전송 트랜지스터(TR_TF), 리셋 트랜지스터(TR_RST), 선택 트랜지스터(TR_SEL) 및 액세스 트랜지스터(TR_ACC)를 포함한다.
전송 트랜지스터(TR_TF)의 일단은 포토 다이오드(PD)의 캐소드와 접속되고, 타단은 제1 노드(N1)와 접속되고, 제어 전극은 전송 라인(TF)과 접속된다. 리셋 트랜지스터(TR_RST)의 일단은 전원 전압(VDD)을 수신하고, 타단은 제1 노드(N1)와 접속되고, 제어 전극은 리셋 라인(RST)과 접속된다.
액세스 트랜지스터(TR_ACC)의 일단은 전원 전압(VDD)을 수신하고, 타단은 선택 트랜지스터(TR_SEL)의 일단과 접속되고, 제어 전극은 제1 노드(N1)와 접속된다. 선택 트랜지스터(TR_SEL)의 타단은 컬럼 라인(CL)과 연결되고, 제어 전극은 선택 라인(SEL)과 연결된다.
포토 다이오드(PD)는 컬러 필터(CF)를 통과한 빛에 응답하여 전하를 생성할 수 있다. 컬러 필터(CF)는 미리 정해진 컬러의 빛을 투과하도록 구성된다. 예시적으로, 도 2를 참조하여 설명된 바와 같이, 서브 픽셀(sP11)의 컬러 필터(CF)는 제1 그린(Gr) 컬러 필터일 수 있다. 이 경우, 컬러 필터(CF)를 통과한 빛은 녹색 빛이며, 포토 다이오드(PD)는 녹색 빛에 응답하여 전하를 생성할 수 있다.
전송 트랜지스터(TR_TF)는 전송 라인(TF)의 제어 신호에 응답하여 포토 다이오드(PD)로부터 생성된 전하를 제1 노드(N1)로 제공할 수 있다. 리셋 트랜지스터(TR_RST)는 리셋 라인(RST)의 신호에 응답하여 제1 노드(N1)의 전위를 전원 전압(VDD)으로 리셋시킬 수 있다.
선택 트랜지스터(TR_SEL)는 제1 노드(N1)의 전압에 응답하여 전원 전압(VDD)을 엑세스 트랜지스터(TR_ACC)의 드레인으로 제공할 수 있다. 예시적으로, 선택 트랜지스터(TR_SEL)의 동작에 의해, 액세스 트랜지스터(TR_ACC)의 드레인의 전압은 제1 노드(N1)의 전압에 실질적으로 비례하게 변화할 수 있다.
즉, 액세스 트랜지스터(TR_ACC)의 드레인의 전압의 변화량은 포토 다이오드(PD)에 의해 생성된 전하량과 대응될 수 있고, 이는 포토 다이오드(PD)에 의해 캡쳐된 데이터와 대응되는 값일 수 있다. 액세스 트랜지스터(TR_CC)는 선택 라인(SEL)의 신호에 응답하여 데이터(즉, 변화된 전압)를 칼럼 라인(CL)으로 제공할 수 있다.
도 4 및 도 5는 도 2의 픽셀 어레이에서 Ⅱ-Ⅱ'방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도를 나타낸다.
도 2 및 도 4를 참조하면, 제1 픽셀(PX11a)는 4개의 포토다이오드들 (PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(113a)를 포함할 수 있다. 컬러 필터(CF1~CF4)들은 그린 컬러 필터일 수 있다.
제2픽셀(PX12a)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(113b)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 레드 컬러 필터일 수 있다.
제1 분리 물질(isolation material; ISM1)은 제1 픽셀(PX11a)과 제2 픽셀(PX12a)의 사이에 구현될 수 있다. 또한, 제2 분리 물질들(ISM2)은 각 픽셀(PX11a 또는 PX11b)에 구현된 4개의 포토다이오드들(PD1~PD4) 사이에 구현될 수 있다. 제1분리 물질(ISM1)과 제2분리 물질(ISM2) 각각은 DTI(deep trench isolation)로 형성될 수 있다.
도 2 및 도 5를 참조하면, 제1 픽셀(PX11b)는 4개의 포토다이오드들 (PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(113a)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들은 동일한 필터링 특성을 가질 수 있다.
또한, 제2픽셀(PX12b)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈(ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(113b)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들은 동일한 필터링 특성을 가질 수 있다. 제1 분리 물질(ISM1)은 제1픽셀(PX11b)과 제2픽셀(PX12b)의 사이에 구현될 수 있다. 또한, 제2분리 물질들(ISM2)은 각 픽셀(PX11b 또는 PX12b)에 구현된 4개의 포토다이오드들(PD1~PD4) 사이에 구현될 수 있다.
도 6은 본 발명의 실시예들에 따른 도 1의 크로스토크 처리 모듈을 나타내는 블록도이다.
도 6을 참조하면, 크로스토크 처리 모듈(300)은 제어 엔진(303), 스토리지(305), 교정 요소 생성부(310) 및 크로스토크 교정 체크부(500)를 포함할 수 있다.
교정 요소 생성부(310)는 이미지 신호(IDTA) 및 이미지 신호(IDTA)의 적어도 크기와 관련된 입력 정보(IDINF)를 수신하고, 입력 정보(IDINF) 및 이미지 신호(IDTA)가 컬러에 따라 분리된 대표 채널 이미지 신호를 기초로 크로스토크를 교정하는데 이용되는 시드 값들(SV)과 교정 파라미터들(CP)을 생성할 수 있다. 입력 정보(IDINF)는 이미지 신호(IDTA)의 크기 정보 및 페데스탈(pedestal)을 포함할 수 있다.
스토리지(305)는 교정 요소 생성부(310)에 연결되어 시드값(SV)들과 교정 파라미터들(CP)을 저장할 수 있다. 스토리지(305)는 낸드 플래시 또는 저항성 메모리와 같은 비휘발성 메모리 또는 DRAM 및 SRAM과 같은 휘발성 메모리로 구현될 수 있다.
크로스토크 교정 체크부(500)는 이미지 신호(IDTA)를 수신하고, 스토리지(305)로부터 시드값들(SV)과 교정 파라미터들(CP)을 제공받아 상기 크로스토크를 교정하여 최종 이미지 신호(RIMG)를 출력하고, 복수의 기준값들(CRT)에 기초하여 크로스토크 교정의 패스/페일 여부를 나타내는 패스/페일 정보(PFI)를 출력할 수 있다.
제어 엔진(303)은 교정 요소 생성부(310), 크로스토크 교정 체크부(500) 및 스토리지(305)를 제어할 수 있다.
교정 요소 생성부(310) 및 크로스토크 교정 체크부(500)는 하드웨어 또는 소프트웨어 형태로 구현될 수 있다. 교정 요소 생성부(310) 및 크로스토크 교정 체크부(500)가 소프트웨어 형태로 구현되는 경우, 교정 요소 생성부(310) 및 크로스토크 교정 체크부(500) 스토리지(305)에 저장될 수 있다. 스토리지(305)에 저장된 교정 요소 생성부(310) 및 크로스토크 교정 체크부(500)는 제어 엔진(303)에 의하여 구동될 수 있다.
교정 요소 생성부(310)는 시드 값들(SV)과 교정 파라미터들(CP)을 대표 채널 이미지 신호를 기반으로 하여 생성하여 스토리지(305)에 저장함으로써 스토리지(305)의 저장 공간과 스토리지(305)에 대한 액세스 횟수를 감소시킬 수 있다.
도 7은 본 발명의 실시예들에 따른 도 6의 크로스토크 처리 모듈에서 교정 요소 생성부를 나타내는 블록도이다.
도 7을 참조하면, 교정 요소 생성부(310)는 이미지 분리 엔진(320), 대표 채널 이미지 생성 엔진(330), 교정 파라미터 산출 엔진(350) 및 시드값 산출 엔진(400)을 포함할 수 있다.
이미지 분리 엔진(320)은 이미지 신호(IDTA)를 도 2의 컬러 필터들 각각에 대응되는 서브 픽셀들의 채널에 따라 분리하여 4k(k는 4이상의 자연수)개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)을 생성한다.
대표 채널 이미지 생성 엔진(330)은 상기 4k 개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 각각의 픽셀값들을 상기 컬러 필터 별로 평균하여 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)을 생성한다. 대표 채널 이미지 생성 엔진(330)은 4k 개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)을 컬러 필터 별로 상응하는 픽셀값들을 산술 평균하거나 상응하는 픽셀값들의 중간값을 선택하여 상응하는 픽셀값들의 대표값을 가지는 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)을 생성할 수 있다. 교정 파라미터 산출 엔진(350)은 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4)과 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)에 기초하여 상기 교정 파라미터들(CP1, CP2)을 생성한다.
시드값 산출 엔진(400)은 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 및 입력 정보(IDINF)에 기초하여 시드값들(SV)을 산출한다. 도 4 이하에서는 k가 4인 경우를 가정한다.
도 8은 도 7의 교정 요소 생성부에서 입출력되는 여러 가지 이미지 신호들의 크기를 나타낸다.
도 8을 참조하면, 이미지 신호(IDTA)는 제1 방향(D1)의 p(p는 4보다 큰 4의 배수)개의 서브 픽셀들 및 제1 방향(D1)과 수직한 제2 방향(D2)의 q(q는 4보다 큰 4의 배수)개의 서브 픽셀들에 의하여 정의되는 제1 크기를 가질 수 있다.
4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4) 각각은 제1 방향(D1)의 p/k개의 서브 픽셀들 및 제2 방향(D2)의 q/k개의 서브 픽셀들에 의하여 정의되는 제2 크기를 가질 수 있다. 또한 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각도 제1 방향(D1)의 p/k 개의 서브 픽셀들 및 제2 방향(D2)의 q/k개의 서브 픽셀들에 의하여 정의되는 제2 크기를 가질 수 있다.
도 9는 본 발명의 실시예들에 따른 도 7의 교정 요소 생성부에서 교정 파라미터 산출 엔진을 나타내는 블록도이다.
도 9을 참조하면, 교정 파라미터 산출 엔진(350)은 제1 교정 파라미터 산출기(360) 및 제2 교정 파라미터 산출기(370)를 포함할 수 있다.
제1 교정 파라미터 산출기(360)는 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 및 상기 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)에 기초하여 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 픽셀 값들의 합에 대한 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4) 각각의 픽셀값들의 비(ratio)를 상기 채널별로 산출하여 4k개의 제1 교정 파라미터들(CP1)(α_Gr1~α_Gb4)을 산출한다.
제2 교정 파라미터 산출기(370)는 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 및 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)에 기초하여 상기 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각과 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 중 동일한 컬러 필터에 관련된 k개의 동일 컬러 채널의 이미지 신호들 각각의 제1 방향의 변화 정도(shift)와 제1 방향과 수직한 제2 방향의 변화 정도를 나타내는 4k개 쌍의 제2 교정 파라미터들(CP2)((a_GR1, b_GR1)~(a_Gb4, b_Gb4))을 산출한다.
도 10a와 도 10b는 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 사이의 제1 방향의 변화 정도와 제2 방향의 변화 정도를 설명하기 위한 도면들이다.
도 10a을 참조하면, 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 사이의 제1 방향(D1)의 변화 정도를 산출하기 위하여 제1 그린 채널 이미지 신호(IGr1)의 제2 방향(D2)의 중앙 부분(371)과 제1 그린 대표 채널 이미지 신호(IGrM)의 제2 방향(D2)의 중앙 부분(372)에 각각 위치하는 제1 수의 로우들의 픽셀값들의 평균 값을 칼럼 단위로 산출(373, 374)하고, 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 각각의 평균값들의 절대값 차이의 합(sun of absolute difference, 이하 SAD)을 구하면 제1 그린 채널 이미지 신호(IGr1)의 제1 방향의 변화 정도(a_Gr1)를 산출할 수 있다.
도 10b을 참조하면, 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 사이의 제2 방향(D2)의 변화 정도를 산출하기 위하여 제1 그린 채널 이미지 신호(IGr1)의 제1 방향(D1)의 중앙 부분(381)과 제1 그린 대표 채널 이미지 신호(IGrM)의 제1 방향(D1)의 중앙 부분(382)에 각각 위치하는 제2 수의 칼럼들의 픽셀값들의 평균 값을 로우 단위로 산출(383, 384)하고, 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 각각의 평균값들의 SAD를 구하면 제1 그린 채널 이미지 신호(IGr1)의 제2 방향의 변화 정도(b_Gr1)를 산출할 수 있다. 여기서 제1 수와 제2 수는 서로 동일할 수 있다.
실시예에 있어서, 제1 그린 채널 이미지 신호(IGr1)와 제1 그린 대표 채널 이미지 신호(IGrM) 각각의 일부 픽셀값들이 아닌 전체 픽셀값들을 이용하여 제1 방향의 변화 정도(a_Gr1)와 제2 방향의 변화 정도(b_Gr1)를 산출할 수 있다.
다른 채널 이미지 신호들(IGr2~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)에 대한 제2 교정 파라미터들((a_GR2, b_GR2)~(a_Gb4, b_Gb4))도 도 10a 및 도 10b를 참조하여 설명한 방식과 유사하게 산출할 수 있다.
예를 들어, 제2 그린 채널 이미지 신호(IGr2)와 제1 그린 대표 채널 이미지 신호(IGrM) 사이의 제1 방향의 변화 정도(a_Gr2)와 제2 방향의 변화 정도(b_Gr2)도 상술한 방식과 유사하게 산출할 수 있다. 채널 이미지 신호들(IGr1~IGr4)들의 제1 방향의 변화 정도(a_Gr)와 제2 방향의 변화 정도(b_Gr)를 산출하는 경우에 제1 그린 대표 채널 이미지 신호(IGrM)가 공통적으로 사용되고, 이는 채널 이미지 신호들(IR1~IR4, IB1~IB4, IGb1~IGb4)에 대하여도 마찬가지로 적용될 수 있다. 따라서 스토리지(305)에서의 저장 공간 및 스토리지(305)에 대한 액세스 횟수를 감소시킬 수 있다.
실시예에 따라서, 채널 이미지 신호들(IGr1~IGr4)들의 제1 방향의 변화 정도(a_Gr)와 제2 방향의 변화 정도(b_Gr)는 SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 등을 이용하여 산출할 수 있다.
도 11은 도 7의 교정 요소 생성부에서 시드값 산출 엔진의 구성을 나타내는 블록도이다.
도 11을 참조하면, 시드값 산출 엔진(400)은 그리드 이미지 생성기(410), 시드값 생성기(430) 및 비트 패커(450)를 포함할 수 있다.
그리드 이미지 생성기(410)는 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)을 수신하고, 입력 정보(IDINF)에 기초하여 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 r*r(r은 2이상의 자연수) 픽셀들을 하나의 교차점으로 샘플링하여 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM')을 생성할 수 있다. 따라서, 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM') 각각에 포함되는 픽셀들의 수는 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 1/r^2일 수 있다.
시드값 생성기(430)는 상기 k개의 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM') 각각의 외곽에 위치하는 경계 교차점들을 제외한 내부 교차점들 각각에 대하여 필터링을 수행하여 상기 k개의 대표 채널 이미지 신호(IGrM, IRM, IBM, IGbM)들 각각에 대한 중간 시드값들(MSV)을 생성할 수 있다. 실시예에 있어서, 상기 필터링은 미디언 필터링일 수 있으나, 중간값을 산출하기 위한 다른 기법이 사용될 수 있다.
예를 들어, 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각이 s(s= p/k)*t(t=p/k) 개의 서브 픽셀들을 포함하는 경우, 그리드 이미지 생성기(410)는 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 단위 그리드가 u*u 개의 서브 픽셀들을 포함하도록 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM')을 생성할 수 있다. 그리드 사이의 간격이 u이므로 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM') 각각은 F(F는 s/u 이상의 자연수)*G(G는 t/u 이상의 자연수) 개의 그리드들을 포함할 수 있다.
시드값 생성기(430)는 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM') 각각의 내부 교차점들의 픽셀값들을 기초로 중간값 필터링을 수행하여 대표 채널 이미지 신호(IGrM, IRM, IBM, IGbM)들 각각에 대한 중간 시드값들(MSV)을 생성할 수 있다. 시드값 생성기(430)가 v*v(v는 2이상의 자연수) 미디언 필터링을 수행하는 경우, 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM')중 하나에 대한 중간 시드값들(MSV)의 수는 F*G이고 전체 중간 시드값들의 수는 F*G의 4배에 해당한다.
하나의 중간 시드값이 w(w는 2이상의 자연수)바이트를 포함한다면, 전체 중간 시드값들은 w*F*G 바이트를 포함하게 된다. 전체 중간 시드값들의 데이터 양을 감소시키기 위하여 비트 패커(450)는 중간 시드값들(MSV)의 비트들을 저장하고 압축하여 시드값들(SV)을 제공한다.
도 12는 도 11의 시드값 산출 엔진에서 그리드 이미지 신호와 시드값을 설명하기 위한 도면이다.
도 12에서는 설명의 편의를 위하여, 대표 채널 이미지 신호(IGrM)에 대한 그리드 이미지 신호(IGrM')와 그리드 이미지 신호(IGrM')를 이용한 시드값들(SV)에 대하여 설명하지만, 다른 그리드 이미지 신호들(RM', IBM', IGbM')에 대하여도 동일한 설명이 적용될 수 있다.
도 12를 참조하면, 대표 채널 이미지 신호(IGrM)가 s*t의 서브 픽셀들을 포함하고, 하나의 그리드(411)가 u*u의 서브 픽셀들을 포함한다고 가정하면, 그리드 이미지 신호(IGrM')는 F*G개의 교차점들을 포함하게 된다.
시드값 산출기(430)는 상기 교차점들 중 그리드 이미지 신호(IGrM')의 외곽에 위치하는 경계 교차점들을 제외한 내부 교차점들에 대하여 v*v 미디언(median) 필터링을 수행하여 v^2개의 픽셀값들 중 중간값을 해당 교차점의 중간 시드값으로 출력한다. 이렇게 미디언 필터링을 수행하면, v^2개의 픽셀들 중 배드 픽셀들을 필터링할 수 있다.
시드값 산출기(430)는 상기 경계 교차점들 중 모서리 교차점(412)의 중간 시드값은 인접하는 교차점들(413, 414)의 중간 시드값들을 평균하여 산출할 수 있다.
또한 시드값 산출기(430)는 상기 경계 교차점들 중 모서리 교차점들을 제외한 나머지 경계 교차점(417)들의 중간 시드값들은 나머지 경계 교차점(417)에 상응하는 대표 채널 이미지 신호(IGrM)의 픽셀의 값(416) 및 나머지 경계 교차점(417)에 제1 방향으로 인접한 교차점(415)의 중간 시드값에 기초하여 산출할 수 있다. 예를 들어, 교차점(415)의 중간 시드값이 A이고, 픽셀(416)의 픽셀값이 B인 경우, 나머지 경계 교차점(417)의 중간 시드값(C)=2B-A에 의하여 산출할 수 있다. 이 경우에, 교차점(415), 픽셀(416) 및 경계 교차점(147) 사이의 간격은 실질적으로 동일한 것으로 가정한다.
도 11 및 도 12를 참조하여 설명한 바와 같이, 시드값들(SV)은 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 픽셀들을 샘플링하여 산출되므로 연산량 및 스토리지(305)의 저장 공간을 감소시킬 수 있다.
도 13은 본 발명의 실시예들에 따른 도 6의 크로스토크 처리 모듈에서 크로스토크 교정 체크부의 구성을 나타내는 블록도이다.
도 13을 참조하면, 크로스토크 교정 체크부(500)는 게인 맵 생성 엔진(510), 이미지 분리 엔진(520), 결과 이미지 생성 엔진(530), 이미지 병합 엔진(540), 패스/페일 체커(550) 및 레지스터(560)를 포함할 수 있다.
이미지 분리 엔진(520)은 이미지 신호(IDTA)를 도 2의 컬러 필터들 각각에 대응되는 서브 픽셀들의 채널에 따라 분리하여 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4)을 생성한다.
게인 맵 생성 엔진(510)은 시드값들(SV), 제1 교정 파라미터들(CP1) 및 제2 교정 파라미터들(CP2)에 응답하여 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 각각의 크로스토크를 교정하기 위한 4k개의 게인 맵들(GM_IGr1~GM_IGb4)을 생성한다.
결과 이미지 생성 엔진(530)은 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4) 각각의 픽셀들에 4k개의 게인 맵들(GM_IGr1~GM_IGb4) 중 상응하는 게인 맵의 픽셀 별 게인을 곱하여 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4)을 생성한다. 이미지 병합 엔진(540)은 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4)을 병합하여 최종 이미지 신호(RIDTA)를 출력한다.
패스/페일 체커(550)는 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4), 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4) 및 기준값들(CRT1~CRT3)에 기초하여 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4) 각각과 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4) 각각 사이의 차이 비를 나타내는 히스토그램들(HST)과 상기 패스/페일 정보(PFI)를 출력한다. 레지스터(560)는 기준값들(CRT1~CRT3)을 저장하고, 저장된 기준값들(CRT1~CRT3)을 패스/페일 체커(550)에 제공한다.
게인 맵 생성 엔진(510)은 시드값들(SV)에 대하여 인터폴레이션을 수행하여 k개의 중간 게인 맵들을 생성하고, 상기 k개의 중간 게인 맵들에 제1 교정 파라미터들(CP1)과 제2 교정 파라미터들(CP2)을 적용하여 4k개의 게인 맵들(GM_IGr1~GM_IGb4)을 생성한다. 실시예에 있어서, 게인 맵 생성 엔진(510)은 시드값들(SV)에 대하여 양선형(bilinear) 인터폴레이션을 수행할 수 있다.
패스/페일 체커(550)는 4k개의 채널 이미지 신호들((IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4) 각각과 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4) 각각을 복수의 블록들로 분할하고, 상응하는 블록들 각각에 대하여 상기 차이비가 제1 기준값(CRT1)보다 큰 블록들의 제1 수를 카운팅한다. 패스/페일 체커(550)는 상기 제1 수가 제2 기준값(CRT2)보다 큰지 여부를 판단하고, 상기 상응하는 블록들 각각의 차이비 중 적어도 하나의 차이비가 제3 기준값(CRT3)보다 큰 경우, 상기 크로스토크의 교정을 페일로 판단한다. 패스/페일 체커(550)는 적어도 하나의 채널에 대하여 제1 수가 제2 기준값(CRT2)보다 큰 경우에 상기 크로스토크의 교정을 페일로 판단한다.
도 14는 도 13에서 하나의 채널 이미지 신호(IGr1)가 복수의 블록들로 분할되는 것을 나타내고 도 15는 패스/페일 체커에서 출력되는 히스토그램을 나타낸다.
도 14를 참조하면, 채널 이미지 신호(IGr1)가 s*t의 서브 픽셀들을 포함하는 경우, 하나의 블록(BLK)이 M*M의 서브 픽셀들을 포함하도록 설정되면, 블록(BLK)들의 수는 s*t의 서브 픽셀들을 커버하기 위하여 J(J는 s/M 이상의 자연수)*K(K는 t/M 이상의 자연수)=w개가 된다.
도 15를 참조하면, 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4)과 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4) 중 상응하는 이미지 신호 쌍의 차이비(different ratio)를 복수의 범위들 각각에 대하여 표시하고, 각 채널별로 기준값들(CRT1~CRT3)과 비교하여 채널별 크로스토크 교정의 패스/페일 여부를 판단한다. 적어도 하나의 채널에 대하여 크로스토크 교정이 페일로 판단되면 결과 이미지 신호(RIDTA)의 크로스토크 교정도 페일로 판단된다.
도 16은 본 발명의 실시예들에 따른 이미지 신호의 크로스토크를 처리하는 방법을 나타내는 흐름도이다.
도 1 내지 도 16을 참조하면, 복수의 행들 및 복수의 열들을 따라 배열된 복수의 서브 픽셀들을 포함하고, 상기 서브 픽셀들 중 서로 인접한 k(k는 4 이상의 자연수) 개의 서브 픽셀들이 하나의 컬러를 표현하는 픽셀 어레이를 구비하는 이미지 센서(10)에서 출력된 이미지 신호(IDTA)의 크로스토크를 처리하는 방법에서는, 이미지 신호(IDTA), 이미지 신호(IDTA)의 적어도 크기와 관련된 입력 정보(IDINF), 이미지 신호(IDTA)가 컬러에 따라 분리된 대표 채널 이미지 신호 및 이미지 신호(IDTA)가 서브 픽셀별로 분리된 채널 이미지 신호들에 기초하여 상기 크로스토크를 교정하는데 이용되는 대표 채널 이미지 신호를 기반으로 한 시드 값들(SV)과 교정 파라미터들(CP)을 생성한다(S100). 시드 값들(SV)과 교정 파라미터들(CP)을 스토리지(305)에 저장한다(S500).
이미지 신호(IDTA), 시드 값들(SV)과 교정 파라미터들(CP)에 기초하여 채널 이미지 신호들 각각의 크로스토크를 정정하고, 복수의 기준값들(CRT1~CRT3)에 기초하여 크로스토크 정정의 패스/페일 여부를 판단한다(S600).
도 17은 도 16의 방법에서 시드값들과 정정 파라미터들을 생성하는 단계를 상세히 나타내는 흐름도이다.
도 1 내지 도 17을 참조하면, 시드값들과 정정 파라미터들을 생성하기 위하여(S100), 이미지 신호(IDTA)를 컬러 필터들 각각의 서브 픽셀별로 분리하여 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)을 생성하고(S110), 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 각각의 픽셀값을 컬러 필터 별로 평균하여 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)을 생성하고(S130), 4k개의 채널 이미지 신호들IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)과 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM)에 기초하여 교정 파라미터들(CP1, CP2)을 산출하고(S200), k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 및 입력 정보(IDINF)에 응답하여 상기 시드값들을 산출한다(S400).
도 18은 도 17에서 시드값들을 산출하는 단계를 보다 상세히 나타내는 흐름도이다.
도 1 내지 도 18을 참조하면, 시드값들을 산출하기 위하여(S400), 입력 정보(IDINF)에 기초하여 k개의 대표 채널 이미지 신호들(IGrM, IRM, IBM, IGbM) 각각의 r*r(r은 2 이상의 자연수) 픽셀들을 하나의 교차점으로 샘플링하여 k개의 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM')을 생성한다(S410). k개의 그리드 이미지 신호들(IGrM', IRM', IBM', IGbM') 각각의 경계 교차점들을 제외한 내부 교차점들 각각에 대하여 미디언(median) 필터링을 수행하여 k개의 대표 채널 이미지 신호들IGrM, IRM, IBM, IGbM) 각각에 대한 중간 시드값들(MSV)을 생성한다(S430). 상기 중간 시드값들(MSV)의 비트들을 저장하고 압축하여 시드값들(SV)을 제공한다(S450).
도 19는 도 16의 방법에서 크로스토크 교정의 패스/페일 여부를 판단하는 단계를 보다 상세히 나타내는 흐름도이다.
도 1 내지 도 16 및 도 19를 참조하면, 크로스토크 교정의 패스/페일 여부를 판단하기 위하여(S600), 이미지 신호IDTA)를 컬러 필터들 각각의 서브 픽셀별로 분리하여 4k개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGB1~IGb4)을 생성한다(S610). 시드값들(SV), 제1 교정 파라미터들(CP1) 및 제2 교정 파라미터들(CP)에 기초하여 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 각각의 크로스토크를 교정하기 위한 4k개의 게인 맵들(GM_IGr1~GM_IGb4)을 생성한다(S620). 4k 개의 채널 이미지 신호들(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4) 각각의 픽셀값들에 게인 맵들(GM_IGr1~GM_IGb4) 중에서 상응하는 게인 맵의 픽셀 별 게인을 곱하여 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4)을 생성한다(S630). 4k개의 채널 이미지 신호들 각각(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)과 4k개의 결과 채널 이미지 신호들(RIGr1~RIGr4, RIR1~RIR4, RIB1~RIB4, RIGb1~RIGb4) 각각 사이의 차이 비를 산출하고, 차이비 및 기준값들(CRT1~CRT2)에 기초하여 4k개의 채널 이미지 신호들 각각(IGr1~IGr4, IR1~IR4, IB1~IB4, IGb1~IGb4)의 크로스토크 교정의 패스/페일 여부를 채널별로 판단한다(S640).
도 20은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 20을 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 영상 촬상 장치(1040)를 포함하며, 통신부(1020), 저장 장치(1030), 사용자 인터페이스(1050) 및 전력 관리 장치(1060)를 더 포함할 수 있다.
프로세서(1010)는 전자 시스템(1000)의 전반적인 동작을 제어할 수 있다. 영상 촬상 장치(1040)는 프로세서(1010)에 의해 제어되며, 본 발명의 실시예들에 따른 이미지 처리 시스템일 수 있다. 영상 촬상 장치(1040)는 서로 인접한 k개의 서브 픽셀들이 하나의 컬러를 나타내는 픽셀 어레이를 포함할 수 있고, 이미지 신호가 컬러에 따라 분리된 k 개의 대표 채널 이미지 신호들을 기반으로 하여 4k개의 채널 이미지 신호들 각각의 크로스토크를 교정하고, 크로스토크 교정의 패스/페일 여부를 판단하여 스토리지(1030)의 저장 공간과 스토리지(1030)에 대한 액세스 횟수를 감소시킬 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 저장 장치(1030)는 전자 시스템(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 사용자 인터페이스(1050)는 키보드, 터치 스크린 등과 같은 입력 장치 및 디스플레이 등과 같은 출력 장치를 포함할 수 있다. 전력 관리 장치(1060)는 구동 전압을 제공할 수 있다.
본 발명은 영상 촬상 장치 및 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 예를 들어, 본 발명은 휴대폰(mobile phone), 스마트 폰(smart phone), PDA(personal digital assistant), PMP(portable multimedia player), 디지털 카메라(digital camera), 휴대용 게임 콘솔(portable game console), 웨어러블(wearable) 시스템, IoT(internet of things) 시스템, 3차원 기하 재구성(3D geometry reconstruction) 시스템, 어레이 카메라(array camera) 시스템, VR(virtual reality) 시스템, AR(augmented reality) 시스템 등에 유용하게 적용될 수 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 복수의 행들 및 복수의 열들을 따라 배열된 복수의 서브 픽셀들을 포함하고, 상기 서브 픽셀들 중 서로 인접한 k(k는 4 이상의 자연수)개의 서브 픽셀들이 하나의 컬러를 표현하는 픽셀 어레이를 구비하는 이미지 센서에서 출력된 이미지 신호의 크로스토크 처리 모듈로서,
    상기 이미지 신호 및 적어도 상기 이미지 신호의 크기와 관련된 입력 정보를 수신하고, 상기 입력 정보 및 상기 이미지 신호가 컬러에 따라 분리된 대표 채널 이미지 신호를 기반으로 하여 상기 크로스토크를 교정하는데 이용되는 시드 값들과 교정 파라미터들을 생성하는 교정 요소(correction element) 생성부;
    상기 교정 요소 생성부에 연결되어 상기 시드값들과 상기 교정 파라미터들을 저장하는 스토리지;
    상기 이미지 신호를 수신하고, 상기 스토리지로부터 상기 대표 채널 이미지 신호를 기반으로 산출된 상기 시드값들과 상기 교정 파라미터들을 제공받아 상기 크로스토크를 교정하여 최종 이미지 신호를 출력하고, 복수의 기준값들에 기초하여 상기 크로스토크 교정의 패스/페일 여부를 나타내는 패스/페일 정보를 출력하는 크로스토크 교정 체크부; 및
    상기 교정 요소 생성부, 상기 스토리지 및 상기 크로스토크 교정 체크부를 제어하는 제어 엔진을 포함하는 크로스토크 처리 모듈.
  2. 제1항에 있어서,
    상기 서브 픽셀들은 상기 인접한 k개의 서브 픽셀들 단위로 제1 컬러 필터, 제2 컬러 필터, 제3 컬러 필터 및 제4 필터를 포함하고,
    상기 교정 요소 생성부는,
    상기 이미지 신호를 상기 컬러 필터들 각각에 대응되는 서브 픽셀들의 채널에 따라 분리하여 4k개의 제1 채널 이미지 신호들을 생성하는 제1 이미지 분리 엔진;
    상기 4k개의 제1 채널 이미지 신호들 각각의 픽셀값들을 상기 컬러 필터 별로 상응하는 픽셀값들의 대표값을 산출하여 k개의 대표 채널 이미지 신호들을 생성하는 대표 채널 이미지 생성 엔진;
    상기 4k개의 제1 채널 이미지 신호들과 상기 k개의 대표 채널 이미지 신호들에 기초하여 상기 교정 파라미터들을 산출하는 교정 파라미터 산출 엔진; 및
    상기 k개의 대표 채널 이미지 신호들 및 상기 입력 정보에 응답하여 상기 시드값들을 산출하는 시드값 산출 엔진을 포함하고,
    상기 이미지 신호는 제1 방향의 서브 픽셀들의 수(p, p는 4보다 큰 4의 배수) 및 상기 제1 방향과 수직하는 제2 방향의 서브 픽셀들의 수(q는 4보다 큰 4의 배수)에 의하여 정의되는 제1 크기를 가지고,
    상기 제1 채널 이미지 신호들 각각 및 상기 대표 채널 이미지 신호들 각각은 상기 제1 방향의 p/k개의 서브 픽셀들의 수 및 상기 제2 방향의 q/k개의 서브 픽셀들의 수에 의하여 정의되는 제2 크기를 가지는 크로스토크 처리 모듈.
  3. 제2항에 있어서, 상기 교정 파라미터 산출 엔진은
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 제1 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각의 픽셀 값들의 합에 대한 상기 4k 개의 제1 채널 이미지 신호들 각각의 픽셀 값들의 합의 비(ratio)를 상기 채널별로 산출하여 4k개의 제1 교정 파라미터들을 산출하는 제1 교정 파라미터 산출기; 및
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 제1 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각과 상기 4k개의 제1 채널 이미지 신호들 중 동일한 컬러 필터에 관련된 k개의 동일 컬러 채널의 이미지 신호들 각각의 제1 방향의 변화 정도(shift)와 상기 제1 방향과 수직한 제2 방향의 변화 정도를 나타내는 4k개 쌍의 제2 교정 파라미터들을 산출하는 제2 교정 파라미터 산출기를 포함하고,
    상기 제2 교정 파라미터 산출기는
    상기 k개의 대표 채널 이미지 신호들 각각과 k개의 동일 컬러 채널 이미지 신호들 각각의 상기 제2 방향의 제1 수의 픽셀 값들의 절대값 및, 상기 제1 방향의 제2 수의 픽셀 값들의 절대값에 기초하여 상기 4k개 쌍의 제2 교정 파라미터들을 출력하는 크로스토크 처리 모듈.
  4. 제2항에 있어서, 상기 시드값 산출 엔진은
    상기 입력 정보에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각의 r*r(r은 2 이상의 자연수) 픽셀들을 하나의 교차점으로 샘플링하여 k개의 그리드 이미지 신호들을 생성하는 그리드 이미지 생성기;
    상기 k개의 그리드 이미지 신호들 각각의 외각에 위치하는 경계 교차점들을 제외한 내부 교차점들 각각에 대하여 필터링을 수행하여 상기 k개의 대표 채널 이미지 신호들 각각에 대한 중간 시드값들을 생성하는 시드 값 산출기; 및
    상기 중간 시드값들의 비트들을 저장하고, 상기 비트들을 압축하여 상기 시드값들을 제공하는 패커를 포함하고,
    상기 시드값 산출기는
    상기 경계 교차점들 중 모서리의 교차점들 각각에 대하여는 인접하는 두 교차점의 픽셀값들을 합산하여 상응하는 중간 시드값을 산출하고,
    상기 경계 교차점들 중 모서리의 교차점들을 제외한 나머지 교차점들의 중간 시드값들은 각각 나머지 교차점들 각각에 상응하는 대표 채널 이미지 신호의 픽셀값 및 나머지 교차점들 각각에 제1 방향으로 인접한 교차점의 픽셀값에 기초하여 산출하는 크로스토크 처리 모듈.
  5. 제2항에 있어서,
    상기 교정 파라미터들은,
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 제1 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각의 픽셀 값들의 합에 대한 상기 4k 개의 제1 채널 이미지 신호들 각각의 픽셀 값들의 합의 비(ratio)를 상기 채널별로 산출한 4k개의 제1 교정 파라미터들; 및
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 제1 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각과 상기 4k개의 제1 채널 이미지 신호들 중 동일한 컬러 필터에 관련된 k개의 동일 컬러 채널의 이미지 신호들 각각의 제1 방향의 변화 정도(shift)와 상기 제1 방향과 수직한 제2 방향의 변화 정도를 나타내는 4k개 쌍의 제2 교정 파라미터들을 포함하고,
    상기 크로스토크 교정 체크부는
    상기 시드값들, 상기 제1 교정 파라미터들 및 상기 제2 교정 파라미터들에 응답하여 상기 채널 이미지 신호들 각각의 크로스토크를 교정하기 위한 4k개의 게인 맵들을 생성하는 게인 맵 생성 엔진;
    상기 이미지 신호를 상기 컬러 필터들 각각에 대응되는 서브 픽셀들의 채널에 따라 분리하여 상기 제1 채널 이미지 신호들과 동일한 4k개의 제2 채널 이미지 신호들을 생성하는 제2 이미지 분리 엔진;
    상기 4k개의 제2 채널 이미지 신호들 각각의 픽셀들에 상기 게인 맵들 중에서 상응하는 게인 맵의 픽셀 별 게인을 곱하여 4k개의 결과 채널 이미지 신호들을 생성하는 결과 이미지 생성 엔진;
    상기 4k개의 결과 채널 이미지 신호들을 병합하여 상기 최종 이미지 신호를 출력하는 이미지 병합 엔진; 및
    상기 4k개의 제2 채널 이미지 신호들, 상기 4k개의 결과 채널 이미지 신호들 및 상기 기준값들에 기초하여 상기 4k개의 제2 채널 이미지 신호들 각각과 상기 4k개의 결과 채널 이미지 신호들 각각 사이의 차이 비를 나타내는 히스토그램들과 상기 패스/페일 정보를 출력하는 패스/페일 체커를 포함하는 크로스토크 처리 모듈.
  6. 제5항에 있어서,
    상기 게인 맵 생성 엔진은 상기 시드값들에 대하여 인터폴레이션을 수행하여 k개의 중간 게인 맵들을 생성하고, 상기 k개의 중간 게인 맵들에 상기 제1 교정 파라미터들과 상기 제2 교정 파라미터들을 적용하여 상기 4k개의 게인 맵들을 생성하고,
    상기 패스/페일 체커는,
    상기 4k개의 제2 채널 이미지 신호들 각각과 상기 4k개의 결과 채널 이미지 신호들 각각을 복수의 블록들로 분할하고,
    상기 블록들 각각에 대하여 상기 차이비가 상기 복수의 기준값들 중 제1 기준값보다 큰 블록들의 제1 수를 카운팅하고.
    상기 제1 수가 상기 복수의 기준값들 중 제2 기준값보다 큰지 여부를 판단하고,
    상기 블록들 각각의 차이비 중 적어도 하나의 차이비가 상기 기준값들 중 제3 기준값보다 큰 경우, 상기 크로스토크의 교정을 페일로 판단하는 크로스토크 처리 모듈.
  7. 제6항에 있어서,
    상기 패스/페일 체커는 적어도 하나의 채널에 대하여 상기 제1 수가 상기 제2 기준값보다 큰 경우에 상기 크로스토크의 교정을 페일로 판단하는 크로스토크 처리 모듈.
  8. 복수의 행들 및 복수의 열들을 따라 배열된 복수의 서브 픽셀들을 포함하고, 상기 서브 픽셀들 중 서로 인접한 k(k는 4 이상의 자연수) 개의 서브 픽셀들이 하나의 컬러를 표현하는 픽셀 어레이를 구비하는 이미지 센서에서 출력된 이미지 신호의 크로스토크를 처리하는 방법으로서,
    상기 이미지 신호, 적어도 상기 이미지 신호의 크기와 관련된 입력 정보, 상기 이미지 신호가 컬러에 따라 분리된 대표 채널 이미지 신호 및 상기 이미지 신호가 상기 서브 픽셀별로 분리된 채널 이미지 신호들에 기초하여 상기 크로스토크를 교정하는데 이용되는 시드 값들과 교정 파라미터들을 생성하는 단계;
    상기 시드값들과 상기 교정 파라미터들을 스토리지에 저장하는 단계; 및
    상기 이미지 신호, 상기 대표 채널 이미지 신호에 기반으로 산출된 상기 시드값들 및 상기 교정 파라미터들에 기초하여 상기 채널 이미지 신호들 각각의 크로스토크를 정정하고, 복수의 기준값들에 기초하여 상기 정정된 크로스토크의 패스/페일 여부를 판단하는 단계를 포함하는 크로스토크를 처리하는 방법.
  9. 제8항에 있어서,
    상기 서브 픽셀들은 상기 인접한 k개의 서브 픽셀들 단위로 제1 컬러 컬러 필터, 제2 컬러 필터, 제3 컬러 필터 및 제4 컬러 필터를 포함하고,
    상기 시드 값들과 상기 교정 파라미터들을 생성하는 단계는
    상기 이미지 신호를 상기 컬러 필터들 각각에 대응되는 서브 픽셀들의 채널에 따라 분리하여 4k 개의 상기 채널 이미지 신호들을 생성하는 단계;
    상기 4k 개의 채널 이미지 신호들 각각의 픽셀값을 상기 컬러 필터 별로 상응하는 픽셀값들의 대표값을 산출하여 k개의 대표 채널 이미지 신호들을 생성하는 단계;
    상기 4k 개의 채널 이미지 신호들과 상기 k개의 대표 채널 이미지 신호들에 기초하여 상기 교정 파라미터들을 산출하는 단계; 및
    상기 k개의 대표 채널 이미지 신호들 및 상기 입력 정보에 응답하여 상기 시드값들을 산출하는 단계를 포함하고,
    상기 시드값들을 산출하는 단계는
    상기 입력 정보에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각의 r*r(r은 2 이상의 자연수) 픽셀들을 하나의 교차점으로 샘플링하여 그리드 이미지 신호들을 생성하는 단계;
    상기 k개의 그리드 이미지 신호들 각각의 경계 교차점들을 제외한 내부 교차점들 각각에 대하여 필터링을 수행하여 상기 k개의 대표 채널 이미지 신호들 각각에 대한 중간 시드값들을 생성하는 단계; 및
    상기 중간 시드값들의 비트들을 저장하고, 상기 비트들을 압축하여 상기 시드값들을 제공하는 단계를 포함하는 크로스토크를 처리하는 방법.
  10. 제9항에 있어서,
    상기 교정 파라미터들은,
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각의 픽셀 값들의 합에 대한 상기 4k 개의 채널 이미지 신호들 각각의 픽셀 값들의 합의 비(ratio)를 상기 채널별로 산출한 4k개의 제1 교정 파라미터들; 및
    상기 k개의 대표 채널 이미지 신호들 및 상기 4k개의 채널 이미지 신호들에 기초하여 상기 k개의 대표 채널 이미지 신호들 각각과 상기 4k개의 채널 이미지 신호들 중 동일한 컬러 필터에 관련된 k개의 동일 컬러 채널의 이미지 신호들 각각의 제1 방향의 변화 정도(shift)와 상기 제1 방향과 수직한 제2 방향의 변화 정도를 나타내는 4k개 쌍의 제2 교정 파라미터들을 포함하고,
    상기 크로스토크 교정의 패스/페일 여부를 판단하는 단계는
    상기 이미지 신호를 상기 컬러 필터들 각각의 서브 픽셀별로 분리하여 4k 개의 상기 채널 이미지 신호들을 생성하는 단계;
    상기 시드값들, 상기 제1 교정 파라미터들 및 상기 제2 교정 파라미터들에 응답하여 상기 채널 이미지 신호들 각각의 크로스토크를 교정하기 위한 4k개의 게인 맵들을 생성하는 단계;
    상기 4k개의 채널 이미지 신호들 각각의 픽셀들에 상기 4k개의 게인 맵들 중에서 상응하는 게인 맵의 픽셀 별 게인을 곱하여 4k개의 결과 채널 이미지 신호들을 생성하는 단계; 및
    상기 4k개의 채널 이미지 신호들, 상기 4k개의 결과 채널 이미지 신호들 및 상기 기준값들에 기초하여 상기 4k개의 채널 이미지 신호들 각각과 상기 4k개의 결과 채널 이미지 신호들 각각 사이의 차이비를 나타내는 히스토그램들과 상기 패스/페일 정보를 출력하는 단계를 포함하는 크로스토크를 처리하는 방법.
KR1020170052508A 2017-04-24 2017-04-24 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 KR102303764B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170052508A KR102303764B1 (ko) 2017-04-24 2017-04-24 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법
US15/823,880 US10225495B2 (en) 2017-04-24 2017-11-28 Crosstalk processing module, method of processing crosstalk and image processing system
CN201810157042.4A CN108737751B (zh) 2017-04-24 2018-02-24 串扰处理模块、处理串扰的方法和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052508A KR102303764B1 (ko) 2017-04-24 2017-04-24 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Publications (2)

Publication Number Publication Date
KR20180119050A KR20180119050A (ko) 2018-11-01
KR102303764B1 true KR102303764B1 (ko) 2021-09-17

Family

ID=63854308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052508A KR102303764B1 (ko) 2017-04-24 2017-04-24 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Country Status (3)

Country Link
US (1) US10225495B2 (ko)
KR (1) KR102303764B1 (ko)
CN (1) CN108737751B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019028537A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置および画像処理方法
CN109740644A (zh) * 2018-12-19 2019-05-10 惠科股份有限公司 用于确定画面相邻行相似度的方法
KR20200141345A (ko) 2019-06-10 2020-12-18 삼성전자주식회사 Af 픽셀을 포함하는 이미지 센서
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
TWI736112B (zh) * 2020-01-20 2021-08-11 瑞昱半導體股份有限公司 像素值校正方法以及像素值校正裝置
KR20210094253A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 이미지 센서의 캘리브레이션 모듈, 이미지 센서 및 크로스토크를 캘리브레이션하는 방법
CN111429540B (zh) * 2020-04-22 2020-12-08 清华大学 温度场和变形场同步测量装置和方法
KR20210151316A (ko) 2020-06-04 2021-12-14 삼성전자주식회사 멀티-컬러 필터 어레이를 갖는 이미지 센서의 크로스토크를 보상하는 전자 장치 및 방법
JP2022046189A (ja) * 2020-09-10 2022-03-23 キヤノン株式会社 放射線撮影装置及びその制御方法、並びに、プログラム
KR20220079123A (ko) 2020-12-04 2022-06-13 삼성전자주식회사 이미지 장치 및 이미지 장치의 동작 방법
WO2023035207A1 (zh) * 2021-09-10 2023-03-16 深圳市立体通科技有限公司 3d排图显示优化方法、系统及电子设备
WO2023062976A1 (ja) * 2021-10-14 2023-04-20 ソニーセミコンダクタソリューションズ株式会社 表示装置及び電子機器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105488A (ja) 2007-10-19 2009-05-14 Canon Inc 信号処理装置及びその制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
US6563509B1 (en) * 2000-02-25 2003-05-13 Adobe Systems Incorporated Seeding map having intermediate seed values
US20040130546A1 (en) * 2003-01-06 2004-07-08 Porikli Fatih M. Region growing with adaptive thresholds and distance function parameters
US7561194B1 (en) * 2003-10-17 2009-07-14 Eastman Kodak Company Charge diffusion crosstalk reduction for image sensors
US7639874B2 (en) * 2006-08-03 2009-12-29 Tandent Vision Science, Inc. Methods for discriminating moving objects in motion image sequences
KR101324198B1 (ko) * 2007-10-05 2013-11-06 삼성전자주식회사 고체 촬상 장치, 고체 촬상 장치의 픽셀 배열 방법 및 고체촬상 장치의 신호 처리 방법
KR101474311B1 (ko) * 2008-01-15 2014-12-18 삼성전자주식회사 노이즈 저감용 분산 또는 표준편차 데이터 획득 방법과,상기 방법에 따라 획득한 노이즈 저감용 분산 또는표준편차 데이터를 저장한 기록매체를 구비한 디지털촬영장치
US8471921B1 (en) 2008-06-23 2013-06-25 Marvell International Ltd. Reducing optical crosstalk and radial fall-off in imaging sensors
JP5163319B2 (ja) * 2008-06-30 2013-03-13 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US8643742B2 (en) 2010-10-15 2014-02-04 Cisco Technology, Inc. Crosstalk filter in a digital image processing pipeline
US8787662B2 (en) * 2010-11-10 2014-07-22 Tandent Vision Science, Inc. Method and system for identifying tokens in an image
JP5496922B2 (ja) 2011-01-13 2014-05-21 日本放送協会 クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法
KR101223046B1 (ko) * 2011-02-08 2013-01-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
JP2012169830A (ja) 2011-02-14 2012-09-06 Sony Corp 画像処理装置、画像処理方法、および電子機器
JP5100873B1 (ja) * 2011-08-31 2012-12-19 株式会社東芝 クロストーク補正量評価装置及びクロストーク補正量評価方法
US9224782B2 (en) 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
JP6104049B2 (ja) 2013-05-21 2017-03-29 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理用プログラム
US9154750B2 (en) 2013-05-28 2015-10-06 Omnivision Technologies, Inc. Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
KR102292136B1 (ko) * 2014-04-28 2021-08-20 삼성전자주식회사 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
US9479745B2 (en) 2014-09-19 2016-10-25 Omnivision Technologies, Inc. Color filter array with reference pixel to reduce spectral crosstalk
US9736405B2 (en) * 2015-01-29 2017-08-15 Altasens, Inc. Global shutter image sensor having extremely fine pitch
US9563962B2 (en) * 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
KR102374112B1 (ko) * 2015-07-15 2022-03-14 삼성전자주식회사 오토 포커싱 픽셀을 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105488A (ja) 2007-10-19 2009-05-14 Canon Inc 信号処理装置及びその制御方法

Also Published As

Publication number Publication date
US20180309944A1 (en) 2018-10-25
US10225495B2 (en) 2019-03-05
CN108737751A (zh) 2018-11-02
KR20180119050A (ko) 2018-11-01
CN108737751B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102303764B1 (ko) 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법
US11956411B2 (en) Image signal processor, image processing system and method of binning pixels in image sensor
US10652485B2 (en) Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
CN102137237A (zh) 图像传感器、数据读出方法、电子系统
KR20190008057A (ko) 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
US11889240B2 (en) Image device and operation method of image device
KR20150063010A (ko) 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
CN115280766B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
KR20220036630A (ko) 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
JP2006147824A (ja) 固体撮像素子
US11700460B2 (en) Image sensing apparatus and image binning method thereof
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
US9584722B2 (en) Electronic device, method for generating an image and filter arrangement with multi-lens array and color filter array for reconstructing image from perspective of one group of pixel sensors
EP4096217A1 (en) Image sensor and image signal processing method
US11736812B2 (en) Image sensing device for correcting image using block areas and method of operating the same
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
KR20230152387A (ko) 이미지 처리 시스템 및 이미지 처리 방법
KR20220009849A (ko) 포화 픽셀을 이용하는 이미지 압축 방법, 인코더, 및 전자 장치
CN113949878A (zh) 使用饱和像素的图像压缩方法、编码器和电子装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant