KR20170035411A - 영상 캡처 장치 - Google Patents

영상 캡처 장치 Download PDF

Info

Publication number
KR20170035411A
KR20170035411A KR1020150134070A KR20150134070A KR20170035411A KR 20170035411 A KR20170035411 A KR 20170035411A KR 1020150134070 A KR1020150134070 A KR 1020150134070A KR 20150134070 A KR20150134070 A KR 20150134070A KR 20170035411 A KR20170035411 A KR 20170035411A
Authority
KR
South Korea
Prior art keywords
pixel
digital signal
pair
photoelectric conversion
pixels
Prior art date
Application number
KR1020150134070A
Other languages
English (en)
Other versions
KR102437588B1 (ko
Inventor
정성영
경규민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150134070A priority Critical patent/KR102437588B1/ko
Priority to US15/225,089 priority patent/US10362279B2/en
Publication of KR20170035411A publication Critical patent/KR20170035411A/ko
Application granted granted Critical
Publication of KR102437588B1 publication Critical patent/KR102437588B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/23222—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명에 따른 영상 캡처 장치는, 행렬 형태로 배치되는 복수의 픽셀들을 포함하고 상기 픽셀들 각각은 병렬로 배치된 한 쌍의 광전 변환 소자들을 포함하는 픽셀 어레이, 상기 픽셀들 각각에 포함된 상기 한 쌍의 광전 변환 소자들에 축적된 전하에 대응된 한 쌍의 픽셀 신호들을 한 쌍의 디지털 신호들로 변환하는 아날로그-디지털 변환회로, 상기 픽셀들 각각에서 출력되는 상기 한 쌍의 디지털 신호들을 수신하고 포화 전류를 출력하는 광전 변환 소자를 포함하는 픽셀을 검출하고 상기 검출된 픽셀에 포함된 상기 포화 전류를 출력하는 광전 변환 소자에 대응된 디지털 신호를 정정하여 보정 신호를 출력하는 거짓 색 제거회로를 포함한다.

Description

영상 캡처 장치{IMAGE CAPTURING DEVICE}
본 발명은 영상 기술에 관한 것으로, 좀 더 구체적으로는 거짓 색을 제거(False Color Cancelation)하기 위한 영상 캡처 장치에 관한 것이다.
근래 다양한 전자 장치들이 이용되고 있다. 전자 장치를 형성하는 전자 회로는 전기 신호에 의해 제어되어 고유의 기능을 수행한다. 전자 회로 고유의 기능의 수행에 따른 결과를 얻기 위해, 다양한 회로 제어 방법이 이용된다.
예로서, 영상 정보를 생성하기 위해 이미지 센서(Image Sensor)가 이용된다. 일반적으로, 이미지 센서를 형성하는 각각의 픽셀(Pixel)은 빛을 제공받고, 제공받은 빛의 세기에 따라 다른 세기를 갖는 전류를 생성한다. 그리고, 각각의 픽셀에 대응하는 디지털 신호가 생성된다. 생성된 디지털 신호에 대응하는 디지털 값은 생성된 전류의 세기에 따라 달라진다. 생성된 디지털 신호에 기초하여, 영상 정보가 생성될 수 있다. 이미지 센서에 의해 영상 정보를 생성하는 과정에서, 아날로그 신호인 전류를 디지털 신호로 변환하기 위한 회로 동작이 수행된다.
일반적으로 사용되는 이미지 센서로는 전하 결합 소자(CCD: Charge Coupled Device) 및 CMOS 이미지 센서가 있다. 이 중, CMOS 이미지 센서는 구동 방식이 간편하고, 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 가능하다. CMOS 이미지 센서는 전력 소모 또한 매우 낮아 배터리 용량이 제한적인 제품에 적용이 용이하다. 또한, CMOS 이미지 센서는 CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가를 낮출 수 있다.
본 발명의 목적은 향상된 정확도를 갖는 영상 캡처 장치를 제공하는데 있다.
본 발명의 실시 예에 따른 영상 캡처 장치는 픽셀 어레이, 아날로그-디지털 변환회로 및 거짓 색 제거회로를 포함할 수 있다. 픽셀 어레이는 행렬 형태로 배치되는 복수의 픽셀들을 포함하고, 픽셀들 각각은 병렬로 배치된 한 쌍의 광전 변환 소자들을 포함한다. 아날로그-디지털 변환회로는 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들에 축적된 전하에 대응된 한 쌍의 픽셀 신호들을 한 쌍의 디지털 신호들로 변환한다. 거짓 색 제거회로는 픽셀들 각각에서 출력되는 한 쌍의 디지털 신호들을 수신하고, 포화 전류를 출력하는 광전 변환 소자를 포함하는 픽셀을 검출하고, 검출된 픽셀에 포함된 포화 전류를 출력하는 광전 변환 소자에 대응된 디지털 신호를 정정하여 보정 신호를 출력한다.
본 발명의 실시 예에 따르면, 복수개의 픽셀을 구성하는 복수개의 광 다이오드(Photo Diode)의 수량광 차이에 따라 발생하는 거짓 색을 제거할 수 있다. 따라서, 향상된 정확도를 갖는 영상 캡처 장치가 제공된다.
도 1은 본 발명의 실시 예에 따른 영상 캡처 장치에 관한 블록도이다.
도 2는 본 발명의 실시 예가 더 구체화된 영상 캡처 장치에 관한 블록도이다.
도 3는 본 발명의 실시 예에 따른 멀티 픽셀 어레이의 세부적 배치 구조를 보여준다.
도 4은 도 2의 멀티 픽셀 어레이의 단위 픽셀의 예시적 상세 회로도를 보여준다.
도 5는 본 발명의 실시 예에 따른 멀티 픽셀 어레이의 단위 픽셀들이 베이어 패턴에 따라 배열된 개념도를 보여준다.
도 6는 단위 픽셀에 포함된 제 1 형 및 제 2 형 포토 다이오드의 수광량 차이에 따라 발생하는 비선형성에 관한 개념도를 보여준다.
도 7은 본 발명의 실시 예에 따른 거짓 색 제거 회로의 내부 블록도를 도시한다.
도 8은 본 발명의 실시 예에 따른 영상 캡처 장치의 영상 캡처 방법에 관한 순서도이다.
도 9은 본 발명의 실시 예에 따른 디스패리티(Disparity)에 관한 개념도를 보여준다.
도 10은 본 발명이 적용된 카메라의 구성 블록도이다.
도 11은 디지털 카메라에 적용된 본 발명의 응용한 예를 도시한다.
도 12는 컴퓨팅 시스템에 적용된 본 발명의 응용한 예를 보여준다.
도 13은 셀룰러 폰에 적용된 본 발명의 응용한 예를 보여준다.
도 14 내지 도 18은 본 발명의 실시 예에 따른 영상 캡처 장치가 적용된 멀티미디어 장치의 다른 예들을 보여준다.
전술한 특성 및 이하 상세한 설명은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 발명은 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서, 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자들이 일반으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 발명의 실시 예가 설명된다.
도 1은 본 발명의 실시 예에 따른 영상 캡처 장치(100)에 관한 블록도이다.
도 1을 참조하면, 영상 캡처 장치(100)는 멀티 픽셀 어레이(Multi Pixel Array, 110), 행 드라이버(Row Driver, 120), 아날로그-디지털 변환회로(Analog Digital Converter, 130), 컬럼 디코더(Column Decoder, 140), 타이밍 발생기(Timing Generator, 150), 거짓 색 제거회로(False Color cancelation Circuit, 160)을 포함할 수 있다.
멀티 픽셀 어레이(110)는 복수의 단위 픽셀들을 포함할 수 있다. 예를 들어, 멀티 픽셀 어레이(100)의 복수의 단위 픽셀들은 M개의 행과 N개의 열을 갖는 행렬 형태로 배치될 수 있다.
복수의 단위 픽셀들 각각은 특정한 빛의 파장들을 통과시키기 위해 컬러 필터를 포함할 수 있다. 예를 들어, 컬러 필터는 가시광 영역의 파장들 중에서 레드 영역의 파장들을 통과시키는 레드 필터, 가시광 영역의 파장들 중에서 그린 영역의 파장들을 통과시키는 그린 필터, 또는 가시광 영역의 파장들 중에서 블루 영역의 파장들을 통과시키는 블루 필터 중 적어도 하나일 수 있다. 또 다른 경우에, 컬러 필터는 사이언 필터(cyan filter), 옐로우 필터(yellow filter) 및 마젠타 필터(magenta filter) 중에서 적어도 하나일 수 있다.
또한, 복수의 단위 픽셀들 각각은 한 쌍의 광전 변환 소자를 포함할 수 있다. 따라서, 복수의 단위 픽셀들 각각은 빛의 파장들에 상응하는 한 쌍의 픽셀 신호들(L_D1, R_D1~L_DN, R_DN)을 아날로그-디지털 변환회로(130)로 출력할 수 있다.
예를 들어, 한 쌍의 광전 변환 소자는 한 쌍의 포토 다이오드(photo-diode)일 수 있다. 예를 들어, 포토 다이오드는 PN접합 사이에 진성(intrinsic) 반도체 층이 삽입된 구조인 PIN 포토 다이오드일 수 있다. 또한, 포토 다이오드는 PN접합 사이에 사태(avalanche) 층이 존재하는 APD 포토 다이오드일 수 있다.
멀티 픽셀 어레이(110)의 멀티 픽셀 어레이의 세부적 배치 구조에 관하여는 도 3를 참고하여 더 상세하게 설명된다.
행 드라이버(120)는 행 디코더(미도시)에서 디코딩된 결과에 따라 다수의 단위 픽셀들을 구동하기 위한 다수의 구동 신호들(RX, TX, SEL)을 멀티 픽셀 어레이(110)로 제공할 수 있다. 예를 들어, 단위 픽셀들이 행렬 형태로 배열된 경우 각 행별로 구동 신호들(RX, TX, SEL)이 제공될 수 있다.
아날로그-디지털 변환회로(130)는 단위 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들에 축적된 전하에 대응된 한 쌍의 픽셀 신호들(L_D1, R_D1~L_DN, R_DN)을 한 쌍의 디지털 신호들로 변환할 수 있다. 아날로그-디지털 변환회로(130)는 램프 신호 발생기(미도시)로부터 생성된 램프 신호에 기준하여 멀티 픽셀 어레이(110)로부터 출력되는 한 쌍의 픽셀 신호들(L_D1, R_D1~L_DN, R_DN)을 각기 비교할 수 있다. 또한 아날로그-디지털 변환회로(130)는 비교 결과에 따라 얻어진 각각의 비교 출력을 클럭 신호로써 카운트하고, 카운트 값을 아날로그-디지털 변환회로(130) 내부의 버퍼(미도시)에 저장할 수 있다. 즉, 아날로그-디지털 변환회로(130)의 비교 결과에 따라 얻어진 한 쌍의 카운트 값은 한 쌍의 픽셀 신호들(L_D1, R_D1~L_DN, R_DN)에 대응된 한 쌍의 디지털 데이터(L_dD1, R_dD1~L_dDN, R_dDN )에 해당할 수 있다.
또한, 아날로그-디지털 변환회로(130)는 타이밍 발생기의 출력신호에 따라 한 쌍의 디지털 데이터(L_dD1, R_dD1~L_dDN, R_dDN)를 제 1 및 제 2 라인 데이터(L_dD, R_dD) 형태로 출력할 수 있다. 예를 들어, 제 1 라인 데이터(L_dD)는 복수의 단위 픽셀들 각각의 제 1 광전 변환 소자들의 출력 신호들(L_D1~L_DN)을 포함할 수 있다. 예를 들어, 제 2 라인 데이터(R_dD)는 복수의 단위 픽셀들 각각의 제 2 광전 변환 소자들의 출력 신호들(R_D1~R_DN)을 포함할 수 있다.
타이밍 발생기(150)는 타이밍 발생을 위한 제어신호에 응답하여 타이밍 신호를 생성한다. 예를 들어, 타이밍 신호에 응답하여 행 드라이버(120)와 아날로그-디지털 변환회로(130)가 구동될 수 있다.
거짓 색 제거회로(160)는 제 1 및 제 2 라인 데이터(L_dD R_dD)를 기반으로 보정 신호(SUM_D)를 이미지 신호 프로세서(200)로 출력할 수 있다. 거짓 색(false color)이 발생하는 원인은 도 4를 참고하여 상세하게 설명된다. 또한, 거짓 색 제거회로(160)의 동작은 도 7 및 도 8을 참고하여 상세하게 설명된다.
도 2는 본 발명의 실시 예가 더 구체화된 영상 캡처 장치(100)에 관한 블록도이다.
도 2를 참고하면, 필터 회로(160, Filter)는 한 쌍의 디지털 데이터(L_dD1, R_dD1~L_dDN, R_dDN)에 포함될 수 있는 노이즈를 제거(Static Bad Pixel Correction, Static BPC)할 수 있다. 예시적으로 한 쌍의 디지털 데이터(L_dD1, R_dD1~L_dDN, R_dDN)에 포함되는 노이즈는 아날로그-디지털 변환 과정에서 발생될 수 있다.
증폭 회로(170, AMP)는 노이즈가 제거된 한 쌍의 디지털 데이터(L_dD1, R_dD1~L_dDN, R_dDN)를 수신하여 렌즈 통과시 빛의 파장에 따라 달라진 신호들의 전압 이득을 일정한 전압 레벨로 조정(Channel Balance)할 수 있다.
간결한 설명을 위하여, 도 1에 표현된 구성요소 중 도 2의 구성요소와 참조번호가 동일한 구성요소에 대해서는 구체적인 설명은 생략한다.
도 3는 본 발명의 실시 예에 따른 멀티 픽셀 어레이(110)의 세부적 배치 구조를 보여준다.
예시적으로, 도 3의 멀티 픽셀 어레이(110)는 제 1 단위 픽셀(1101) 내지 제 30 단위 픽셀(1130)를 포함할 수 있다. 즉 도 3의 멀티 픽셀 어레이(100)의 복수의 단위 픽셀들(1101~1130)은 행 드라이버(120)와 연결된 다섯 행(RL_1~RL_5) 및 아날로그-디지털 변환회로(130)와 연결된 여섯 쌍의 열(L_CL1, R_CL1~L_CL6, R_CL6)을 갖는 행렬 형태로 배치될 수 있다.
그리고 멀티 픽셀 어레이(110)의 단위 픽셀들 각각은 한 쌍의 광전 변환 소자를 포함할 수 있다. 예시적으로 한 쌍의 광전 변환 소자는 한 쌍의 포토 다이오드(Photo-Diode)일 수 있다.
예를 들어, 제 1 단위 픽셀(1101)은 제 1 형 포토 다이오드(1101a)와 제 2 형 포토 다이오드(1101b)를 포함할 수 있다. 마찬가지로 제 30 단위픽셀(1130)는 제 1 형 포토 다이오드(1130a)와 제 2 형 포토 다이오드(1130b)를 포함할 수 있다. 제 1 단위 픽셀(1101)의 제 1 형 포토 다이오드(1101a), 제 7 단위 픽셀(1107)의 제 1 형 포토 다이오드(1107a), 제 13 단위 픽셀(1113)의 제 1 형 포토 다이오드(1113a), 제 19 단위 픽셀(1119)의 제 1 형 포토 다이오드(1119a) 및 제 25 단위 픽셀(1125)의 제 1 형 포토 다이오드(1125a)의 축적된 전하에 대응한 픽셀 신호들은 제 1 열의 제 1 형 라인(L_CL1)을 통해 출력 될 수 있다. 또한, 제 1 단위 픽셀(1101)의 제 2 형 포토 다이오드(1101b), 제 7 단위 픽셀(1107)의 제 2 형 포토 다이오드(1107b), 제 13 단위 픽셀(1113)의 제 2 형 포토 다이오드(1113b), 제 19 단위 픽셀(1119)의 제 2 형 포토 다이오드(1119b) 및 제 25 단위 픽셀(1125)의 제 2 형 포토 다이오드(1125b)의 축적된 전하에 대응한 픽셀 신호들은 제 1 열의 제 2 형 라인(R_CL1)을 통해 출력 될 수 있다.
마찬가지로, 제 6 단위 픽셀(1106)의 제 1 형 포토 다이오드(1106a), 제 12 단위 픽셀(1112)의 제 1 형 포토 다이오드(1112a), 제 18 단위 픽셀(1118)의 제 1 형 포토 다이오드(1118a), 제 24 단위 픽셀(1124)의 제 1 형 포토 다이오드(1124a) 및 제 30 단위 픽셀(1130)의 제 1 형 포토 다이오드(1130a)의 축적된 전하에 대응한 픽셀 신호들은 제 6 열의 제 1 형 라인(L_CL6)을 통해 출력될 수 있다. 또한, 제 6 단위 픽셀(1106)의 제 2 형 포토 다이오드(1106b), 제 12 단위 픽셀(1112)의 제 2 형 포토 다이오드(1112b), 제 18 단위 픽셀(1118)의 제 2 형 포토 다이오드(1118b), 제 24 단위 픽셀(1124)의 제 2 형 포토 다이오드(1124b) 및 제 30 단위 픽셀(1130)의 제 2 형 포토 다이오드(1130b)의 축적된 전하에 대응한 픽셀 신호들은 제 6 열의 제 2 형 라인(R_CL6)을 통해 출력될 수 있다.
도 4는 도 3의 멀티 픽셀 어레이(110)의 단위 픽셀의 예시적 상세 회로도를 보여준다.
도 1 내지 도 4를 참조하여, 도 4에 도시된 단위 픽셀은 제 1 단위 픽셀(1101)의 상세 회로도라고 가정한다. 영상 캡처 장치(100)의 픽셀 또는 단위 화소는 한 쌍의 포토 다이오드(PD_L1, PD_R1)와 같은 광전 변환부, 한 쌍의 전송 트랜지스터(M11a, M11b), 한 쌍의 리셋 트랜지스터(M12a, M12b), 한 쌍의 소스 폴로워 트랜지스터(M13a, M13b) 및 한 쌍의 선택 트랜지스터(M14a, M14b)를 포함하는 4쌍의 트랜지스터로 구성될 수 있다. 다만, 도 4에는 일 예로서 4 쌍의 트랜지스터 구조를 도시하고 있으나, 영상 캡처 장치(110)의 단위 픽셀은 3쌍의 트랜지스터 구조, 5쌍의 트랜지스터 구조, 복수의 픽셀들이 일부 트랜지스터를 공유하는 구조 등도 가능하다.
도 4에서, 한 쌍의 리셋 트랜지스터(M12a, M12b)의 게이트 전압(RX)이 상승하여 한 쌍의 리셋 트랜지스터(M12a, M12b)가 턴-온(Turn-On)되면, 센싱 노드인 플로팅 확산 노드(FD1a, FD1b)의 전위가 전원 전압(VDD)으로 리셋된다. 광 집적 구간 동안에 외부에서 수광된 빛이 한 쌍의 포토 다이오드(PD_L1, PD_R1)에 입사되면 이에 비례하여 전자-전공쌍(EHP: Electron Hole Pair)이 생성된다.
광 집적 구간이 끝난 다음에, 한 쌍의 전송 트랜지스터(M11a, M11b)의 게이트 전압(TX)이 상승하면 한 쌍의 포토 다이오드(PD_L1, PD_R1)의 영역에 축적된 전하는 한 쌍의 플로팅 확산 노드(FD1a, FD1b)로 전달되며 전달된 신호 전하량에 비례하여 한 쌍의 플로팅 확산 노드의 전위가 하강하면 한 쌍의 소스 플로워 트랜지스터(M13a, M13b) 의 소스 전위가 변화된다.
또한, 한 쌍의 선택 트랜지스터(M14a, M14b)의 게이트 전압이 상승하여 한 쌍의 선택 트랜지스터가 턴-온되면서 한 쌍의 소스 플로어 트랜지스터(M13a, M13b)의 소스 전위들(V_LO1, V_RO1)이 각각 제 1 열의 제 1 형 라인(L_CL1) 및 제 2 형 라인(R_CL1)을 통해 출력될 수 있다. 여기서, 제 1 단위 픽셀(1101)의 구조와 멀티 픽셀 어레이(110)를 구성하는 나머지 단위 픽셀들의 구조는 서로 동일한 구조를 가질 수 있다.
한편, 도 4에서 광전 변환부로서 포토 다이오드(PD_L1, PD_R1)가 사용되었으나, 이에 한정됨이 없이 포토트랜지스터(Photo Transistor), 포토 게이트(Photo GATE), 핀드 포토다이오드(Pinned Photo Diode(PPD)), 및 이들의 조합 중 적어도 하나가 이용될 수 있다.
또한, 단위 픽셀에 포함되는 광전 변환부는 도 4와 같이 2개의 광전 변환부를 갖는 경우뿐만 아니라 3개 또는 4개의 광전 변환부를 포함할 수도 있다.
도 5는 본 발명의 실시 예에 따른 멀티 픽셀 어레이(110)의 단위 픽셀들이 베이어 패턴(Bayer Pattern)에 따라 배열된 개념도를 예시적으로 보여준다.
도 1 내지 도 5를 참조하면, 도 5는 도 3의 단위 픽셀들의 일부인 제 1 내지 제 24 단위 픽셀(1101~1124)를 도시한다고 가정한다. 그리고, 도 3와 같이 각각의 단위 픽셀들은 제 1 형 및 제 2 형 포토 다이오드를 포함한다고 가정한다. 예를 들어, 제 1 단위 픽셀(1101)은 제 1 형 포토 다이오드(1101a)와 제 2 형 포토 다이오드(1101b)를 포함한다. 마찬가지로, 제 24 단위픽셀(1124)은 제 1 형 포토 다이오드(1124a)와 제 2 형 포토 다이오드(1124b)를 포함한다.
도 5의 단위 픽셀들은 베이어 패턴에 따라 두 개의 Green 픽셀(G), 한 개의 Red 픽셀(R), 한 개의 Blue 픽셀(B)이 기본 그룹을 구성한다. 도 56의 경우 제 1 내지 제 6 기본 그룹(Group1~Group6)을 도시한다.
예를 들어, 제 1 그룹(Group1)의 경우 그린 필터(G)와 결합된 제 1 단위 픽셀(1101), 레드 필터(R)와 결합된 제 2 단위 픽셀(1102), 블루 필터(B)와 결합된 제 7 단위 픽셀(1107) 및 그린 ??터(G)와 결합된 제 8 단위픽셀(1108, G)을 포함할 수 있다.
예를 들어, 제 2 그룹 제 1 그룹(Group2)의 경우 그린 필터(G)와 결합된 제 3 단위 픽셀(1103), 레드 필터(R)와 결합된 제 4 단위 픽셀(1104), 블루 필터(B)와 결합된 제 9 단위 픽셀(1109) 및 그린 ??터(G)와 결합된 제 10 단위픽셀(1110)을 포함할 수 있다.
예를 들어, 제 3 그룹(Group3)의 경우 그린 필터(G)와 결합된 제 5 단위 픽셀(1105), 레드 필터(R)와 결합된 제 6 단위 픽셀(1106), 블루 필터(B)와 결합된 제 11 단위 픽셀(1111) 및 그린 필터(G)와 결합된 제 12 단위픽셀(1112)을 포함할 수 있다.
예를 들어, 제 4 그룹(Group4)의 경우 그린 필터(G)와 결합된 제 13 단위 픽셀(1113), 레드 필터(R)와 결합된 제 14 단위 픽셀(1114), 블루 필터(B)와 결합된 제 19 단위 픽셀(1119) 및 그린 필터(G)와 결합된 제 20 단위픽셀(1120)을 포함할 수 있다.
예를 들어, 제 5 그룹(Group5)의 경우 그린 필터(G)와 결합된 제 15 단위 픽셀(1115), 레드 필터(R)와 결합된 제 16 단위 픽셀(1116), 블루 필터(B)와 결합된 제 21 단위 픽셀(1121) 및 그린 필터(G)와 결합된 제 22 단위픽셀(1122)을 포함할 수 있다.
예를 들어, 제 6 그룹(Group6)의 경우 그린 필터(G)와 결합된 제 17 단위 픽셀(1117), 레드 필터(R)와 결합된 제 18 단위 픽셀(1118), 블루 필터(B)와 결합된 제 23 단위 픽셀(1123) 및 그린 필터(G)와 결합된 제 24 단위픽셀(1124)을 포함할 수 있다.
도 6은 단위 픽셀에 포함된 제 1 형 및 제 2 형 포토 다이오드의 수광량 차이에 따라 발생하는 비선형성(Non-Linearity)에 관한 개념도를 보여준다.
도 6의 가로축은 단위 픽셀에 포함된 제 1 형 및 제 2 형 포토 다이오드들이 빛에 노출되는 시간(s)을 의미하고, 세로축은 단위 픽셀에 포함된 제 1 형 및 제 2 형 포토 다이오드들의 출력 전류 값(A)을 의미한다.
도 1, 도 4 및 도 6을 참고하면, 본 발명의 단위 픽셀들은 한 쌍의 포토 다이오드를 포함할 수 있다. 예를 들어, 카메라 렌즈의 위치에 따라 상의 초점(Focus)가 맞지 않는 경우 멀티 픽셀 어레이(110)의 단위 픽셀들 각각에 포함된 제 1 형 및 제 2 형 포토 다이오드에 도달하는 빛의 수량광 차이가 발생할 수 있다.
멀티 픽셀 어레이(110)의 복수의 단위 픽셀들 중에서 어느 하나의 단위 픽셀에 포함된 제 1 형 포토 다이오드의 그래프(Left), 제 2 형 포토 다이오드의 그래프(Right)라고 가정한다. 이 경우, 제 1 형 포토 다이오드의 수량광이 제 2 형 포토 다이오드의 수량광보다 크기 때문에 제 1 형 포토 다이오드의 포화 시간(T1)이 제 2 형 포토 다이오드의 포화 시간(T2)보다 짧게 된다. 이어, 제 1 형 포토 다이오드에서 출력되는 픽셀 신호와 제 2 형 포토 다이오드에서 출력되는 픽셀 신호의 합한 신호가 최종 신호가 된다. 이 경우 최종 신호의 그래프(Sum)은 비선형성이 나타나는 구간(T1~T2)를 갖게 된다. 도 6과 같이 비선형성 구간을 갖는 최종 신호를 이용해 디모자이크(Demosaicing) 및 화이트 밸런스(White balance) 과정을 수행하는 경우 잘못된 색(False color)이 발생하게 된다.
도 7은 본 발명의 실시 예에 따른 거짓 색 제거 회로(150)의 내부 블록도를 도시한다.
도 1, 도 3, 도 5 및 도 7을 참조하면, 거짓 색 제거 회로(150)는 제 1 판단회로(151, 1st Determination Circuit), 단순 합 회로(152, Summation Circuit), 제 2 판단회로(153, 2st Determination Circuit), 동 위치 보정회로(154, Phase Circuit), 인접 보정회로(155, Neighbor Circuit), 최대신호생성기(156, Max Value Generator), 제 1 멀티플렉서(MUX1) 및 제 2 멀티플렉서(MUX2)를 포함할 수 있다.
제 1 판단회로(151)는 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 수신하여 복수의 단위 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 하나의 광전 변환 소자가 포화 전류를 출력하는 픽셀을 검출할 수 있다.
예를 들어, 제 1 판단회로(151)는 도 5와 같이 베이터 패턴(Bayer pattern) 방식으로 배열된 5x5 픽셀들 또는 7x7 픽셀들을 검출단위로 하여 검출단위에 대응된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)의 포화 전류 출력 여부를 검출할 수 있다.
예를 들어, 검출단위의 단위 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 하나의 광전 변환 소자에서 포화 전류를 출력하는 픽셀이 검출된 경우, 제 1 판단회로(151)는 검출단위의 픽셀들에 대응된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 제 2 판단회로(153), 동 위치 보정회로(154) 및 인접 보정회로(155)로 출력할 수 있다.
검출단위의 픽셀들에서 출력되는 포화 전류가 검출된 경우, 제 1 판단회로(151)는 제 1 멀티플렉서(MUX1)의 출력 신호인 보정 신호(CPD_S)가 가중되어 출력되도록 제 2 선택신호(SEL2)를 조절할 수 있다.
예를 들어, 검출단위의 픽셀들에서 출력되는 포화 전류가 검출되지 않은 경우, 제 1 판단회로(151)는 검출단위의 픽셀들에 대응된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 단순 합 회로(152)로 출력할 수 있다.
검출단위의 픽셀들에서 출력되는 포화 전류가 검출되지 않은 경우, 제 1 판단회로(151)는 단순 합 회로(152)의 출력 신호(SIMPLE_S)가 가중되어 출력되도록 제 2 선택신호(SEL2)를 조절할 수 있다. 또한, 검출단위의 단위 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 하나의 광전 변환 소자가 포화 전류가 출력하는 픽셀이 기본 그룹 내에 2개 이상 존재하는 경우, 제 1 판단회로(151)는 최대신호생성기(156)의 출력신호(Max_V)가 가중되어 출력되도록 제 2 선택신호(SEL2)를 출력할 수 있다.
단순 합 회로(152)는 검출단위의 픽셀들에서 출력되는 포화 전류가 검출되지 않은 경우, 수신된 검출단위의 픽셀들에 대응된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 합한 단순 합 신호(SIMPLE_S)를 제 2 멀티플렉서(MUX2)로 출력할 수 있다.
제 2 판단회로(153)는 검출단위에 대응된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 수신하여 검출된 픽셀이 속하는 기본 그룹 내의 인접 픽셀들의 디지털 신호들의 비를 판단할 수 있다.
간결한 설명을 위해 도 5의 제 1 픽셀(1101)의 제 1 형 포토 다이오드(1101a)에서 포화 전류가 검출된 경우를 가정한다. 또한, 제 1 픽셀(1101)의 제 2 형 포토 다이오드(1101b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1102, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다.
예시적으로, 제 2 판단회로(153)는 제 2 픽셀(1102)의 제 1 형 포토 다이오드(1102a)에 대응된 디지털 신호값를 제 7 픽셀(1107)의 제 1 형 포토 다이오드(1107a)에 대응된 디지털 신호값으로 나눈 제 1 형의 비(Ratio_RBa)와 제 2 픽셀(1102)의 제 2 형 포토 다이오드(1102b)에 대응된 디지털 신호값를 제 7 픽셀(1107)의 제 2 형 포토 다이오드(1107b)에 대응된 디지털 신호값으로 나눈 제 2 형의 비(Ratio_RBb)가 일치하는지 여부를 판단할 수 있다. 또한, 제 2 판단회로(153)는 제 1 형의 비(Ratio_RBa)와 제 2 형의 비(Ratio_RBb)가 일치하는지 여부에 따라 제 1 선택신호(SEL1)를 제 1 멀티플렉서(MUX1) 및 제 2 멀티플렉서(MUX2)로 출력할 수 있다.
예를 들어, 제 2 판단회로(153)는 제 1 형의 비(Ratio_RBa)와 제 2 형의 비(Ratio_RBb)가 일치하는 경우, 제 2 판단회로(153)는 동 위치 보정회로(154) 및 인접 보정회로(155) 중에서 동 위치 보정회로(154)의 출력신호가 가중되어 반영되도록 제 1 멀티플렉서(MUX1)에 제 1 선택 신호(SEL1)를 출력할 수 있다. 반대로, 제 2 판단회로(153)는 제 1 형의 비(Ratio_RBa)와 제 2 형의 비(Ratio_RBb)가 일치하지 않는 경우, 제 2 판단회로(153)는 동 위치 보정회로(154) 및 인접 보정회로(155) 중에서 인접 보정회로(155)의 출력신호가 가중되어 출력되도록 제 1 멀티플렉서(MUX1)에 제 1 선택신호(SEL1)를 출력할 수 있다.
또한, 제 2 판단회로(153)는 제 1 선택신호(SEL1)를 제 2 멀티플렉서(MUX2)에 출력함으로써, 보정 신호(CPD_S)가 제 2 멀티플렉서(MUX2)를 통해 출력되는 가중 정도를 조절할 수 있다.
동 위치 보정회로(154)는 제 1 판단회로(151)에 의해 검출된 단위 픽셀에 포함된 포화 전류를 출력하는 광전 변환 소자와 한 쌍을 이루는 광전 변화 소자의 출력 전류에 대응된 디지털 신호를 이용해 포화 전류에 대응된 디지털 신호를 정정하여 동위치 정정 신호를 출력할 수 있다.
예시적으로, 제 1 픽셀(1101)의 제 1 형 포토다이오드(1101a)에 대응된 디지털 신호값을 제 1-1 디지털 신호(1101a_GD), 제 1 픽셀(1101)의 제 2 형 포토다이오드(1101b)에 대응된 디지털 신호값을 제 1-2 디지털 신호(1101b_GD)라고 정의한다. 또한, 제 2 픽셀(1102)의 제 1 형 포토다이오드(1102a)에 대응된 디지털 신호값을 제 2-1 디지털 신호(1102a_RD), 제 2 픽셀(1102)의 제 2 형 포토다이오드(1102b)에 대응된 디지털 신호값을 제 2-2 디지털 신호(1102b_RD)라고 정의한다. 제 7 픽셀(1107)의 제 1 형 포토다이오드(1107a)에 대응된 디지털 신호값을 제 7-1 디지털 신호(1107a_BD), 제 7 픽셀(1107)의 제 2 형 포토다이오드(1107b)에 대응된 디지털 신호값을 제 7-2 디지털 신호(1107b_BD)라고 정의한다. 제 8 픽셀(1108)의 제 1 형 포토다이오드(1108a)에 대응된 디지털 신호값을 제 8-1 디지털 신호(1108a_GD), 제 8 픽셀(1108)의 제 2 형 포토다이오드(1108b)에 대응된 디지털 신호값을 제 8-2 디지털 신호(1108b_GD)라고 정의한다.
간결한 설명을 위해 도 5의 제 1 픽셀(1101)의 제 1 형 포토 다이오드(1101a)에서 포화 전류가 검출된 경우를 가정한다. 또한, 제 1 픽셀(1101)의 제 2 형 포토 다이오드(1101b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1102, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다.
이 경우 동 위치 보정회로(154)는 제 1-1 디지털 신호(1101a_GD)를 정정하기 위해, 제 1-2 디지털 신호(1101b_GD)를 제 2-2 디지털 신호(1102b_RD)로 나눈 비를 연산할 수 있다. 또한, 제 1-2 디지털 신호(1101b_GD)를 제 7-2 디지털 신호(1107b_BD)로 나눈 비를 연산할 수 있다.
[수학식 1]
Figure pat00001
동 위치 보정회로(154)는 수학식 1과 같이 제 1-2 디지털 신호(1101b_GD)를 제 2-2 디지털 신호(1102b_RD)로 나눈 비에 제 2-1 디지털 신호(1102a_RD)를 곱하여 동 위치 정정 제 1 신호(1101a_GD1)를 연산할 수 있다.
[수학식 2]
Figure pat00002
이어, 동 위치 보정회로(154)는 수학식 2와 같이 제 1-2 디지털 신호(1101b_GD)를 제 7-2 디지털 신호(1107b_BD)로 나눈 비에 제 7-1 디지털 신호(1107a_BD)를 곱하여 동 위치 정정 제 2 신호(1101a_GD2)을 연산할 수 있다.
이어, 동 위치 보정회로(154)는 제 1-1 디지털 신호(1101a_GD)를 동 위치 정정 제 1 신호(1101a_GD1) 및 동 위치 정정 제 2 신호(1101a_GD2)를 가중 평균한 값으로 정정할 수 있다.
다른 경우를 간결하게 설명하기 위해, 도 5의 제 2 픽셀(1102)의 제 1 형 포토 다이오드(1102a)에서 포화 전류가 검출된 경우를 가정한다. 또한, 제 2 픽셀(1102)의 제 2 형 포토 다이오드(1102b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1101, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다.
이 경우 동 위치 보정회로(154)는 제 1-1 디지털 신호(1101a_GD)와 제 8-1 디지털 신호(1108a_GD)의 평균값과 제 1-2 디지털 신호(1101b_GD)와 제 8-2 디지털 신호(1108b_GD)의 평균값을 연산할 수 있다.
이어, 동 위치 보정회로(154)는 제 2-1 디지털 신호(1102a_RD)를 정정하기 위해 제 2-2 디지털 신호(1102b_RD)를 제 1-2 디지털 신호(1101b_GD)와 제 8-2 디지털 신호(1108b_GD)의 평균값으로 나눈 비를 연산할 수 있다. 또한, 제 2-2 디지털 신호(1102b_RD)를 제 7-2 디지털 신호(1107b_BD)로 나눈 비를 연산할 수 있다.
[수학식 3]
Figure pat00003
이어, 동 위치 보정회로(154)는 수학식 3과 같이 제 2-2 디지털 신호(1102b_RD)를 제 1-2 디지털 신호(1101b_GD)와 제 8-2 디지털 신호(1108b_GD)의 평균값으로 나눈 비에 제 1-1 디지털 신호(1101a_GD)와 제 8-1 디지털 신호(1108a_GD)의 평균값을 곱하여 동 위치 정정 제 1 신호(1102b_RD1)를 연산할 수 있다.
[수학식 4]
Figure pat00004
이어, 동 위치 보정회로(154)는 수학식 4과 같이 제 2-2 디지털 신호(1102b_RD)를 제 7-2 디지털 신호(1107b_BD)로 나눈 비에 제 7-1 디지털 신호(1107a_BD)를 곱하여 동 위치 정정 제 2 신호(1102b_RD2)를 연산할 수 있다.
또한, 동 위치 보정회로(154)는 제 2-1 디지털 신호(1102a_RD)를 동 위치 정정 제 1 신호(1102b_RD1) 및 동 위치 정정 제 2 신호(1102b_RD2)를 가중 평균한 값으로 정정할 수 있다.
인접 보정회로(155)는 제 1 판단회로(151)에 의해 검출된 단위 픽셀이 속하는 기본 그룹과 인접한 다른 기본 그룹 내의 광전 변환 소자들 중에서 검출된 픽셀의 포화 전류를 출력하는 광전 변환 소자의 주변 위치의 광전 변환 소자의 디지털 신호값을 이용해 포화전류에 대응된 디지털 신호를 정정하여 인접 정정 신호를 출력할 수 있다.
예시적으로, 제 1 픽셀(1101)의 제 1 형 포토다이오드(1101a)에 대응된 디지털 신호값을 제 1-1 디지털 신호(1101a_GD), 제 1 픽셀(1101)의 제 2 형 포토다이오드(1101b)에 대응된 디지털 신호값을 제 1-2 디지털 신호(1101b_GD)라고 정의한다. 또한, 제 2 픽셀(1102)의 제 1 형 포토다이오드(1102a)에 대응된 디지털 신호값을 제 2-1 디지털 신호(1102a_RD), 제 2 픽셀(1102)의 제 2 형 포토다이오드(1102b)에 대응된 디지털 신호값을 제 2-2 디지털 신호(1102b_RD)라고 정의한다. 제 7 픽셀(1107)의 제 1 형 포토다이오드(1107a)에 대응된 디지털 신호값을 제 7-1 디지털 신호(1107a_BD), 제 7 픽셀(1107)의 제 2 형 포토다이오드(1107b)에 대응된 디지털 신호값을 제 7-2 디지털 신호(1107b_BD)라고 정의한다. 제 8 픽셀(1108)의 제 1 형 포토다이오드(1108a)에 대응된 디지털 신호값을 제 8-1 디지털 신호(1108a_GD), 제 8 픽셀(1108)의 제 2 형 포토다이오드(1108b)에 대응된 디지털 신호값을 제 8-2 디지털 신호(1108b_GD)라고 정의한다.
예시적으로, 제 3 픽셀(1103)의 제 1 형 포토다이오드(1103a)에 대응된 디지털 신호값을 제 3-1 디지털 신호(1103a_GD), 제 3 픽셀(1103)의 제 2 형 포토다이오드(1103b)에 대응된 디지털 신호값을 제 3-2 디지털 신호(1103b_GD)라고 정의한다. 또한, 제 4 픽셀(1104)의 제 1 형 포토다이오드(1104a)에 대응된 디지털 신호값을 제 4-1 디지털 신호(1104a_RD), 제 4 픽셀(1104)의 제 2 형 포토다이오드(1104b)에 대응된 디지털 신호값을 제 4-2 디지털 신호(1104b_RD)라고 정의한다. 제 9 픽셀(1109)의 제 1 형 포토다이오드(1109a)에 대응된 디지털 신호값을 제 9-1 디지털 신호(1109a_BD), 제 9 픽셀(1109)의 제 2 형 포토다이오드(1109b)에 대응된 디지털 신호값을 제 9-2 디지털 신호(1109b_BD)라고 정의한다. 제 10 픽셀(1110)의 제 1 형 포토다이오드(1110a)에 대응된 디지털 신호값을 제 10-1 디지털 신호(1110a_GD), 제 10 픽셀(1110)의 제 2 형 포토다이오드(1110b)에 대응된 디지털 신호값을 제 10-2 디지털 신호(1110b_GD)라고 정의한다.
예시적으로, 제 13 픽셀(1113)의 제 13 형 포토다이오드(1113a)에 대응된 디지털 신호값을 제 13-1 디지털 신호(1113a_GD), 제 13 픽셀(1103)의 제 2 형 포토다이오드(1113b)에 대응된 디지털 신호값을 제 13-2 디지털 신호(1113b_GD)라고 정의한다. 또한, 제 14 픽셀(1114)의 제 1 형 포토다이오드(1114a)에 대응된 디지털 신호값을 제 14-1 디지털 신호(1114a_RD), 제 14 픽셀(1114)의 제 2 형 포토다이오드(1114b)에 대응된 디지털 신호값을 제 14-2 디지털 신호(1114b_RD)라고 정의한다. 제 19 픽셀(1119)의 제 1 형 포토다이오드(1119a)에 대응된 디지털 신호값을 제 19-1 디지털 신호(1119a_BD), 제 19 픽셀(1119)의 제 2 형 포토다이오드(1119b)에 대응된 디지털 신호값을 제 19-2 디지털 신호(1119b_BD)라고 정의한다. 제 20 픽셀(1120)의 제 1 형 포토다이오드(1120a)에 대응된 디지털 신호값을 제 20-1 디지털 신호(1120a_GD), 제 20 픽셀(1120)의 제 2 형 포토다이오드(1120b)에 대응된 디지털 신호값을 제 20-2 디지털 신호(1120b_GD)라고 정의한다.
간결한 설명을 위해 도 5의 제 1 픽셀(1101)의 제 1 형 포토 다이오드(1101a)에서 포화 전류가 검출된 경우를 가정한다. 그리고, 제 1 픽셀(1101)의 제 2 형 포토 다이오드(1101b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1102, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다. 또한, 제 2 그룹(Group2)의 픽셀들(1103, 1104, 1109, 1110)은 포화 전류를 출력하지 않고, 제 4 그룹(Group4)의 픽셀들 중에서 하나 이상의 픽셀들이 포화 전류를 출력한다고 가정한다.
이 경우 인접 보정회로(155)는 포화 전류를 출력하지 않는 픽셀들로 구성된 다른 기본 그룹을 이용해 정정을 수행할 수 있다. 예를 들어, 제 1-1 디지털 신호(1101a_GD)와 대응되는 위치에 배열된 제 2 그룹(Group2)의 제 3 픽셀(1103)의 제 1 형 포토다이오드(1103a)의 디지털 신호인 제 3-1 디지털 신호(1103a_GD)를 이용해 제 1-1 디지털 신호(1101a_GD)를 정정할 수 있다.
또한, 인접 보정회로(155)는 포화 전류를 출력하지 않는 픽셀들로 구성된 다른 기본 그룹들간의 보간(Interpolation)을 통한 정정을 수행할 수 있다. 예를 들어, 제 1-1 디지털 신호(1101a_GD)와 대응되는 위치에 배열된 제 2 그룹(Group2)의 제 3 픽셀(1103)의 제 1 형 포토다이오드(1103a)의 디지털 신호인 제 3-1 디지털 신호(1103a_GD) 및 제 4 그룹(Group4)의 제 13 픽셀(1113)의 제 1 형 포토다이오드(1113a)의 디지털 신호를 보간하여 제 1-1 디지털 신호(1101a_GD)를 정정할 수 있다.
다른 경우를 간결하게 설명하기 위해, 도 5의 제 1 픽셀(1101)의 제 1 형 포토 다이오드(1101a)에서 포화 전류가 검출된 경우를 가정한다. 그리고, 제 1 픽셀(1101)의 제 2 형 포토 다이오드(1101b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1102, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다. 또한, 제 2 그룹(Group2)의 픽셀들(1103, 1104, 1109, 1110)과 제 4 그룹(Group4)의 픽셀들(1113, 1114, 1119, 1120)은 포화 전류를 출력하지 않는다고 가정한다.
마찬가지로, 인접 보정회로(155)는 포화 전류를 출력하지 않는 픽셀들로 구성된 다른 기본 그룹을 이용해 정정을 수행할 수 있다. 예를 들어, 제 1-1 디지털 신호(1101a_GD)와 대응되는 위치에 배열된 제 2 그룹(Group2)의 제 3 픽셀(1103)의 제 1 형 포토다이오드(1103a)의 디지털 신호인 제 3-1 디지털 신호(1103a_GD) 및 제 4 그룹(Group4)의 제 13 픽셀(1113)의 제 1 형 포토다이오드(1113a)의 디지털 신호인(1113a_GD)의 평균값을 이용해 제 1-1 디지털 신호(1101a_GD)를 정정할 수 있다.
제 1 멀티플렉서(MUX1)는 제 1 선택신호(SEL1)에 따라 동 위치 보정회로(154)의 출력 신호 및 인접 보정회로(155)의 출력 신호를 기반으로 보상 신호(CPD_S)를 출력할 수 있다.
예를 들어, 보상 신호(CPD_S)는 동 위치 보정회로(154)의 출력 신호 및 인접 보정회로(155)의 출력 신호의 가중 평균에 해당하는 신호일 수 있다.
제 2 멀티플렉서(MUX2)는 제 1 선택신호(SEL1) 및 제 2 선택신호(SEL2)에 따라 최대 신호(Max_V), 보상 신호(CPD_S) 및 단순 합 신호(SIMPLE_S)를 기반으로 보정 신호(SUM_D)를 출력할 수 있다.
예를 들어, 보정 신호(SUM_D)는 최대 신호(Max_V), 보상 신호(CPD_S) 및 단순 합 신호(SIMPLE_S)의 가중 평균에 해당하는 신호일 수 있다.
도 8은 도 1에 도시된 본 발명의 실시 예에 따른 영상 캡처 장치(100)의 영상 캡처 방법에 관한 순서도이다.
도 1, 도 4, 도 7 및 도 8을 참조하면, S110단계에서, 영상 캡처 장치(100)는 복수의 픽셀 각각의 내부에 배치된 한 쌍의 광전 변환 소자들로부터 출력된 한 쌍의 디지털 신호들을 수신할 수 있다. 예를 들어, 한 쌍의 디지털 신호들은 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)일 수 있다.
S120단계에서, 영상 캡처 장치(100)는 수신된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 기반으로 비선형성(Non-Linearity) 발생 여부를 판단할 수 있다. 예를 들어, 영상 캡처 장치(100)는 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 기반으로 포화 전류가 흐르는 픽셀을 검출할 수 있다. 구체적으로, 영상 캡처 장치(100)는 복수개의 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 하나의 광전 변환 소자가 포화 전류를 출력하는 픽셀을 검출할 수 있다.
복수개의 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 포화 전류를 출력하는 픽셀이 검출되지 않은 경우, S130단계에서, 영상 캡처 장치(100)는 수신된 제 1 라인 데이터(L_dD) 및 제 2 라인 데이터(R_dD)를 합한 단순 합 신호(SIMPLE_S)를 출력할 수 있다.
복수개의 픽셀들 각각에 포함된 한 쌍의 광전 변환 소자들 중에서 포화 전류를 출력하는 픽셀이 검출된 경우, S140단계에서, 영상 캡처 장치(100)는 검출된 픽셀이 속하는 기본 그룹 내의 인접 픽셀들의 한 쌍의 광전 변환 소자들에서 각각 출력되는 전류들에 대응된 디지털 신호들의 비(Ratio)가 일치하는지 여부를 판단할 수 있다.
S150단계에서, 검출된 픽셀이 속하는 기본 그룹 내의 인접 픽셀들의 한 쌍의 광전 변환 소자들에서 각각 출력되는 전류들에 대응된 디지털 신호들의 비(Ratio)가 일치하는 경우, 영상 캡처 장치(100)는 검출된 픽셀의 포화 전류를 출력하는 광전 변환 소자와 한 쌍을 이루는 광전 변환 소자의 출력 전류의 디지털 신호를 이용해 제 1 정정을 수행할 수 있다. 이어, S170단계에서, 영상 캡처 장치(100)는 검출된 픽셀의 포화 전류에 대응된 디지털 신호를 제 1 정정을 통해 얻어진 디지털 신호로 갱신할 수 있다.
S160단계에서, 검출된 픽셀이 속하는 기본 그룹 내의 인접 픽셀들의 한 쌍의 광전 변환 소자들에서 각각 출력되는 전류들에 대응된 디지털 신호들의 비(Ratio)가 일치하지 않는 경우, 영상 캡처 장치(100)는 검출된 픽셀이 속하는 기본 그룹과 인접한 다른 기본 그룹내의 광전 변환 소자들 중에서 검출된 픽셀의 포화 전류를 출력하는 광전 변환 소자와 대응되는 위치의 광전 변환 소자의 디지털 신호값을 이용하여 제 2 정정을 수행한다. 이어, 이어, S170단계에서, 영상 캡처 장치(100)는 검출된 픽셀의 포화 전류에 대응된 디지털 신호를 제 2 정정을 통해 얻어진 디지털 신호로 갱신할 수 있다.
도 9는 본 발명의 실시 예에 따른 디스패리티(Disparity)에 관한 개념도를 보여준다. 도 9의 디스패리티는 기존의 하나의 픽셀에 대응되는 하나의 광전 변환 소자가 배열되지 않고, 하나의 픽셀에 대응하는 한 쌍의 광전 변환 소자를 이용하는 본 발명의 물리적 특성에 기인한다. 본 발명에 의할 때, 단위 픽셀들 각각에 포함된 한 쌍의 다이오드들은 간격을 두고 단위 픽셀 내에 배열된다. 위의 간격에 따른 차이로 인해 도 9와 같이 상(Phase)이 두 개로 나뉘어 보일 수 있다.
도 1, 도 3 및 도 9를 참조하면, 멀티 픽셀 어레이(110)의 단위 픽셀들 각각의 제 1 형 포토 다이오드들(1101a~1130a)의 출력신호들에 대응되는 상은 실선으로 표현된 제 1 상(Phase1)일 수 있다. 또한, 픽셀 어레이(110)의 단위 픽셀들 각각의 제 2 형 포토 다이오드들(1101b~1130b)의 출력신호들에 대응되는 상은 점선으로 표현된 제 2 상(Phase2)일 수 있다.
본 발명의 영상 캡처 장치(100)는 제 1 상(Phase1)과 제 2 상(Phase2)의 차이(D1)를 반영하는 방식으로 블록 매칭(Block matching)을 수행하여 디스패리티를 보정한 영상을 생성할 수 있다.
도 1, 도 3, 도 5, 도 7, 도 8 및 도 9를 참조하여, 영상 캡처 장치(100)가 디스패리티를 반영하여 도 8의 S140단계 및 S150단계를 수행하는 방법을 설명한다. 다시 말해, 디스패리티를 반영하는 경우 도 8의 S110단계, S120단계, S130단계, S160단계 및 S170단계는 도 8의 내용에 서술된 내용과 동일하게 수행될 수 있다.
간결한 설명을 위하여, 제 1 라인 데이터(L_dD)들에 대응된 상이 도 9의 실선으로 표현된 제 1 상(Phase1)이고, 제 2 라인 데이터(R_dD)들에 대응된 상이 도 6의 점선으로 표현된 제 2 상(Phase2)이라 가정한다.
앞서 언급한 바와 같이, 영상 캡처 장치(100)는 제 1 상(Phase1)과 제 2 상(Phase2)의 차이를 구하는 블록 매칭(Block matching)을 수행하여 디스패리티(Disparity) 값을 판단할 수 있다.
도 5 및 도 9를 참조하여, 제 1 상(Phase1)의 잘못된 색이 발생한 영역(False Color Region)은 제 1 그룹(Group1)의 제 1 라인 데이터(L_dD)에 대응되고, 정정 영역(Correction Region)은 제 1그룹(Group1)의 제 2 라인 데이터(R_dD)에 대응된다고 가정한다.
예를 들어, 제 1 그룹(Group1) 내의 제 1 라인 데이터(L_dD)는 제 1-1 디지털 신호(1101a_GD), 제 2-1 디지털 신호(1102a_RD), 제 7-1 디지털 신호(1107a_BD)및 제 8-1 디지털 신호(1108a_GD)일 수 있다. 예를 들어, 제 1그룹(Group1) 내의 제 2 라인 데이터(R_dD)는 제 1-2 디지털 신호(1101b_GD), 제 2-2 디지털 신호(1102b_RD), 제 7-2 디지털 신호(1107b_BD) 및 제 8-2 디지털 신호(1108b_GD)일 수 있다. 또한, 영상 캡처 장치(100)에서 판단된 디스패리티 값(D1)이 반영된 정정 영역(Correction Region)은 제 2 그룹(Group2)의 제 2 라인 레이터(R_dD)에 대응된다고 가정한다. 예를 들어, 제 2 그룹(Group2) 내의 제 2 라인 데이터(R_dD)는 제 3-2 디지털 신호(1103b_GD), 제 4-2 디지털 신호(1104b_RD), 제 9-2 디지털 신호(1109b_BD) 및 제 10-2 디지털 신호(1110b_GD)일 수 있다.
또한, 도 5의 제 1 픽셀(1101)의 제 1 형 포토 다이오드(1101a)에서 포화 전류가 검출된 경우를 가정한다. 또한, 제 1 픽셀(1101)의 제 2 형 포토 다이오드(1101b) 및 제 1 그룹(Group1) 내의 나머지 픽셀들(1102, 1107, 1108)은 포화 전류를 출력하지 않는다고 가정한다. 또한, 제 2 그룹(Group2)의 픽셀들(1103, 1104, 1109, 1110)은 포화 전류를 출력하지 않는다고 가정한다.
디스패리티를 반영한 S140단계의 경우, 제 2 판단회로(153)는 제 2 픽셀(1102)의 제 1 형 포토 다이오드(1102a)에 대응된 디지털 신호값를 제 7 픽셀(1107)의 제 1 형 포토 다이오드(1107a)에 대응된 디지털 신호값으로 나눈 제 1 형의 비(Ratio_RBa)와 디스패리티 값(D1)를 반영한 제 4 픽셀(1104)의 제 2 형 포토 다이오드(1104b)에 대응된 디지털 신호값를 제 9 픽셀(1109)의 제 2 형 포토 다이오드(1109b)에 대응된 디지털 신호값으로 나눈 제 2 형의 비(Ratio_RBb)가 일치하는지 여부를 판단할 수 있다. 또한, 제 2 판단회로(163)는 제 1 형의 비(Ratio_RBa)와 제 2 형의 비(Ratio_RBb)가 일치하는지 여부에 따라 제 1 선택신호(SEL1)를 제 1 멀티플렉서(MUX1) 및 제 2 멀티플렉서(MUX2)로 출력할 수 있다.
디스패리티를 반영한 S150단계의 경우, 동 위치 보정회로(154)는 제 1-1 디지털 신호(1101a_GD)를 정정하기 위해, 제 3-2 디지털 신호(1103b_GD)를 제 4-2 디지털 신호(1104b_RD)로 나눈 비를 연산할 수 있다. 또한, 제 3-2 디지털 신호(1103b_GD)를 제 9-2 디지털 신호(1109b_BD)로 나눈 비를 연산할 수 있다.
[수학식 5]
Figure pat00005
동 위치 보정회로(154)는 수학식 5와 같이 제 3-2 디지털 신호(1103b_GD)를 제 4-2 디지털 신호(1104b_RD)로 나눈 비에 제 4-1 디지털 신호(1104a_RD)를 곱하여 동 위치 정정 제 1 신호(1103b_GD1)를 연산할 수 있다.
[수학식 6]
Figure pat00006
이어, 동 위치 보정회로(154)는 수학식 6과 같이 제 3-2 디지털 신호(1103b_GD)를 제 9-2 디지털 신호(1109b_BD)로 나눈 비에 제 9-1 디지털 신호(1109a_BD)를 곱하여 동 위치 정정 제 2 신호(1103a_GD2)를 연산할 수 있다.
이어, 동 위치 보정회로(154)는 제 1-1 디지털 신호(1101a_GD)를 동 위치 정정 제 1 신호(1103b_GD1) 및 동 위치 정정 제 2 신호(1103a_GD2)를 가중 평균한 값으로 정정할 수 있다.
도 10은 본 발명이 적용된 카메라의 구성 블록도이다.
도 10을 참조하면, 카메라는 본 발명의 실시 예에서와 같은 잘못된 색 제거(False Color Cancelation, FCC) 기능을 갖는 영상 캡처 장치(100), 디지털 신호 프로세서 (200, DSP), 및 디스플레이부(300)를 포함한다.
영상 캡처 장치 (100)는 디지털 신호 프로세서(200)의 제어에 따라 렌즈(10)를 통해 촬영된 객체(2)를 센싱한다. 상기 DSP(200)는 이미지 센서(100)에 의해 센싱된 이미지 신호들을 처리하여 디스플레이 유닛(300)으로 출력할 수 있다.
DSP(200)는 카메라 컨트롤러(210), 이미지 신호 프로세서(image signal processor(ISP); 220), 및 인터페이스부(interface; 230)를 포함한다. 실시 예에 따라, DSP(200)는 메모리를 더 포함할 수 있다.
디스플레이 유닛(300)은 상기 이미지 신호들을 출력 또는 디스플레이할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(300)은 컴퓨터, 이동 통신 장치, 및 기타 영상 출력 단말을 의미할 수 있다. 상기 디스플레이 유닛(300)는 백라이트를 갖는 액정이나 LED 광원을 갖는 액정 또는 OLED 등의 소자로서 터치 스크린을 가질 수 있다.
도 10의 구성에 따르면, 본 발명의 실시 예에서와 같은 잘못된 색 제거 기능을 갖는 영상 캡처 장치(100)가 카메라에 구비되므로, 카메라 영상의 정확도가 증가될 수 있다.
도 11은 디지털 카메라에 적용된 본 발명의 응용한 예를 도시한다.
도 11을 참조하면, DSLR 등과 같은 디지털 카메라(800)는 렌즈(810), 영상 캡처 장치(820), 모터부(830), 및 엔진부(840)를 포함할 수 있다.
렌즈(810)는 영상 캡처 장치(820)의 수광 영역으로 입사광을 집광시킨다. 영상 캡처 장치(820)는 렌즈(810)를 통하여 입사된 광에 기초하여 베이어 패턴(Bayer pattern)의 RGB 데이터(RGB)를 생성할 수 있다. 영상 캡처 장치(820)는 클럭 신호 (CLK)에 기초하여 RGB 데이터(RGB)를 제공할 수 있다.
실시 예에 따라, 영상 캡처 장치(820)는 MIPI(Mobile Industry Processor Interface) 또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다. 모터부(830)는 엔진부(840)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈 (810)의 포커스를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다. 엔진부(840)는 이미지 센서(820) 및 모터부(830)를 제어한다. 또한, 엔진부(840)는 영상 캡처 장치(820)로부터 수신된 RGB 데이터(RGB)에 기초하여 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 상기 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다.
엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클럭(MCLK)에 기초하여 YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.
도 11의 카메라 구성에 따르면, 본 발명의 실시 예에서와 같은 잘못된 색 제거 기능을 갖는 영상 캡처 장치(820)가 카메라에 구비되므로, 카메라 영상의 정확도가 향상될 수 있다.
도 12는 컴퓨팅 시스템에 적용된 본 발명의 응용한 예를 보여준다. 도 12를 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치 (1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 영상 캡처 장치(1060)를 포함할 수 있다.
영상 캡처 장치(1060)는 본 발명의 실시 예에 따른 잘못된 색 제거(FCC) 기능을 수행한다. 한편, 도 12에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.
프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.
실시예에 따라, 프로세서(1010)는 주변 구성요소 상호 연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 DRAM, 모바일 DRAM, SRAM, 또는 불휘발성 메모리 장치로 구성될 수 있다.
상기 불휘발성 메모리는, 예를 들면, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(flash memory), Conductive bridging RAM(CBRAM), FeRAM (Ferroelectric RAM), OUM(Ovonic Unified Memory)라고도 불리는 PRAM(Phase change RAM), 저항성 메모리 (Resistive RAM: RRAM 또는 ReRAM), 나노튜브 RRAM (Nanotube RRAM), 폴리머 RAM(Polymer RAM: PoRAM), 나노 부유 게이트 메모리(Nano Floating Gate Memory: NFGM), 홀로그래픽 메모리 (holographic memory), 분자 전자 메모리 소자(Molecular Electronics Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
상기 메모리들의 칩은 각기 혹은 함께 다양한 형태들의 패키지를 이용하여 실장될 수 있다. 예를 들면, 칩은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등의 패키지로서 패키지화될 수 있다.
스토리지 장치(1030)는 솔리드 스테이트 드라이브(Solid State Drive(SSD)), 하드 디스크 드라이브(Hard Disk Drive(HDD)), CD-ROM 등을 포함할 수 있다.
입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단, 및 프린터와 디스플레이 등과 같은 출력 유닛들을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
영상 캡처 장치(1060)는 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 이미지 센서(1060)는 한 쌍의 포토 다이오드의 출력신호를 이용한 정정을 수행하여 잘못된 색을 제거함으로써 높은 정확도를 갖는 고화질의 이미지 데이터를 생성할 수 있다. 영상 캡처 장치(1060)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(1000)은 영상 캡처 장치를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 스마트폰(Smart Phone), 태블릿 PC 등을 포함할 수 있다.
도 13은 셀룰러 폰에 적용된 본 발명의 응용한 예를 보여준다.
도 13을 참조하면, 셀룰러 폰(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 영상 캡처 장치(1140) 및 디스플레이(1150) 등을 포함할 수 있다.
어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface;CSI)를 통하여 영상 캡처 장치(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서 (1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 셀룰러 폰 (1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 셀룰러 폰(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다.
또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다. 한편, 셀룰러 폰(1100)은 지피에스(Global Positioning System;GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다.
또한, 셀룰러 폰(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access;WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 셀룰러 폰(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
도 13의 경우에도 상기 영상 캡처 장치(1140)는 본 발명의 실시 예에서와 같이, 한 쌍의 포토 다이오드의 수량광 차이에 따른 비선형성을 정정하여 잘못된 색을 제거하는 기능을 가지므로, 셀룰러 폰 시스템 내에서의 카메라 영상의 정확도가 증가한다.
도 14 내지 도 18은 본 발명의 실시 예에 따른 영상 캡처 장치가 적용된 멀티미디어 장치의 다른 예들을 보여준다.
도 14 내지 도 18은 본 발명의 실시 예들에 따른 영상 캡처 장치가 적용된 멀티미디어 장치의 예들을 보여준다. 본 발명의 실시 예들에 따른 영상 캡처 장치는 이미지 촬영 기능을 구비한 다양한 멀티미디어 장치들에 적용될 수 있다. 예를 들어, 본 발명의 실시 예들에 따른 영상 캡처 장치는, 도 14에 도시된 바와 같이 모바일 폰 또는 스마트 폰(1200)에 적용될 수 있고, 도 15에 도시된 바와 같이 태블릿 또는 스마트 태블릿(1300)에 적용될 수 있다. 또한, 본 발명의 실시 예들에 따른 영상 캡처 장치는 도 16에 도시된 바와 같이 노트북 컴퓨터(1400)에 적용될 수 있고, 도 17에 도시된 바와 같이 텔레비전 또는 스마트 텔레비전(1500)에 적용될 수 있다. 본 발명의 실시 예들에 따른 영상 캡처 장치는 도 18에 도시된 바와 같이 디지털 카메라 또는 디지털 캠코더(1600)에 적용될 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
2: 객체 10: 렌즈
100: 영상 캡처 장치 110: 멀티 픽셀 어레이
120: 행 드라이버 130: 아날로그-디지털 변환회로
140: 타이밍 발생기 150: 거짓 색 제거회로
151: 제 1 판단회로 152: 단순 합 회로
153: 제 2 판단회로 154: 동 위치 보정회로
155: 인접 보정회로 156: 최대신호생성기
160: 필터 회로 170: 증폭 회로
200: 디시털 신호 프로세서 210: 카메라 컨트롤러
220: 이미지 신호 프로세서 230: 인터페이스부
300: 디스플레이 유닛 800: 디지털 카메라
810: 렌즈 820: 영상 캡처 장치
830: 모터부 840: 엔진부
850: 호스트/어플리케이션 1000: 컴퓨팅 시스템
1010: 프로세서 1020: 메모리 장치
1030: 저장 장치 1040: 입출력 장치
1050: 파워 서플라이 1060: 영상 캡처 장치
1100: 셀룰러 폰 1200: 스마트 폰
1300: 스마트 태블릿 1400: 노트북 컴퓨터
1500: 스마트 텔레비전 1600: 디지털 카메라

Claims (10)

  1. 행렬 형태로 배치되는 복수의 픽셀들을 포함하고, 상기 픽셀들 각각은 병렬로 배치된 한 쌍의 광전 변환 소자들을 포함하는 픽셀 어레이;
    상기 픽셀들 각각에 포함된 상기 한 쌍의 광전 변환 소자들에 축적된 전하에 대응된 한 쌍의 픽셀 신호들을 한 쌍의 디지털 신호들로 변환하는 아날로그-디지털 변환회로; 및
    상기 픽셀들 각각에서 출력되는 상기 한 쌍의 디지털 신호들을 수신하고, 포화 전류를 출력하는 광전 변환 소자를 포함하는 픽셀을 기본 그룹 단위로 검출하고, 상기 검출된 픽셀에 포함된 상기 포화 전류를 출력하는 광전 변환 소자에 대응된 디지털 신호를 정정하여 보정 신호를 출력하는 거짓 색 제거회로를 포함하는 영상 캡처 장치.
  2. 제 1 항에 있어서,
    상기 거짓 색 제거회로는,
    상기 포화 전류를 출력하는 광전 변환 소자를 포함하는 픽셀을 상기 기본 그룹 단위로 검출하여 제 1 선택신호를 출력하는 제 1 판단회로;
    상기 검출된 픽셀이 속하는 상기 기본 그룹 내의 인접 픽셀들의 디지털 신호들의 비(Ratio)에 따라 제 2 선택신호를 출력하는 제 2 판단회로;
    상기 검출된 픽셀의 상기 포화 전류를 출력하는 광전 변환 소자와 한 쌍을 이루는 광전 변환 소자의 출력 전류의 디지털 신호를 이용해 상기 포화 전류에 대응된 디지털 신호를 정정하여 동 위치 정정 신호를 출력하는 동 위치 보정회로; 및
    상기 검출된 픽셀이 속하는 상기 기본 그룹과 인접한 다른 기본 그룹내의 광전 변환 소자들 중에서 상기 검출된 픽셀의 상기 포화 전류를 출력하는 광전 변환 소자와 대응되는 위치의 광전 변환 소자의 디지털 신호를 이용해 상기 포화 전류에 대응된 디지털 신호를 정정하여 인접 정정 신호를 출력하는 인접 보정회로를 포함하는 영상 캡처 장치.
  3. 제 2 항에 있어서,
    상기 제 2 선택 신호에 따라 상기 동 위치 정정 신호 및 상기 인접 정정 신호를 기반으로 보상 신호를 출력하는 제 1 멀티플렉서를 더 포함하는 영상 캡처 장치.
  4. 제 3 항에 있어서,
    상기 포화 전류를 출력하는 픽셀이 검출되지 않는 경우, 상기 복수의 픽셀에서 출력되는 상기 한 쌍의 디지털 신호들을 합한 단순 합 신호를 출력하는 단순 합 회로를 더 포함하는 영상 캡처 장치.
  5. 제 4 항에 있어서,
    상기 제 1 선택 신호 및 제 2 선택 신호에 따라 상기 보상 신호 및 상기 단순 합신호를 기반으로 상기 보정 신호를 출력하는 제 2 멀티플렉서를 더 포함하는 영상 캡처 장치.
  6. 제 2 항에 있어서,
    상기 제 2 판단회로는,
    상기 한 쌍의 디지털 신호들의 차이를 이용한 블록 매칭(Block matching)을 통해 디스패리티(Disparity)를 판단하는 영상 캡처 장치.
  7. 제 6 항에 있어서,
    상기 제 2 선택신호 및 상기 동 위치 정정 신호는 상기 제 2 판단회로에서 판단된 상기 디스패리티를 반영한 신호인 영상 캡처 장치.
  8. 제 1 항에 있어서,
    상기 기본 그룹은 행렬 형태로 배치된 상기 복수의 픽셀들 중에서 두 개의 Green 픽셀, 한 개의 Red 픽셀과 한 개의 Blue 픽셀로 구성되는 영상 캡처 장치.
  9. 영상 캡처 장치의 영상 캡처 방법에 있어서,
    복수의 픽셀 각각의 내부에 배치된 한 쌍의 광전 변환 소자들로부터 출력된 한 쌍의 디지털 신호들을 수신하여 포화 전류가 흐르는 픽셀을 검출하는 단계;
    상기 검출된 픽셀이 속하는 기본 그룹 내의 인접 픽셀들 내의 한 쌍의 광전 변환 소자들에서 각각 출력되는 전류들에 대응된 디지털 신호들의 비(Ratio)를 판단하는 단계; 및
    상기 인접 픽셀들의 상기 디지털 신호들의 비의 유사도가 임계값 이상인 경우, 상기 검출된 픽셀의 상기 포화 전류를 출력하는 광전 변환 소자와 한 쌍을 이루는 광전 변환 소자의 출력 전류의 디지털 신호값을 이용하여 제 1 정정을 수행하는 단계;
    상기 검출된 픽셀의 포화 전류의 디지털 신호를 상기 제 1 정정을 수행한 결과로 갱신하는 단계를 포함하는 영상 캡처 방법.
  10. 제 9 항에 있어서,
    상기 인접 그룹들의 상기 디지털 신호들의 비가 유사도가 임계값 미만인 경우, 상기 검출된 픽셀이 속하는 상기 기본 그룹과 인접한 다른 기본 그룹내의 광전 변환 소자들 중에서 상기 검출된 픽셀의 상기 포화 전류를 출력하는 광전 변환 소자와 대응되는 위치 의 광전 변환 소자의 디지털 신호값을 이용하여 제 2 정정을 수행하는 단계를 더 포함하는 영상 캡처 방법.
KR1020150134070A 2015-09-22 2015-09-22 영상 캡처 장치 KR102437588B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150134070A KR102437588B1 (ko) 2015-09-22 2015-09-22 영상 캡처 장치
US15/225,089 US10362279B2 (en) 2015-09-22 2016-08-01 Image capturing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134070A KR102437588B1 (ko) 2015-09-22 2015-09-22 영상 캡처 장치

Publications (2)

Publication Number Publication Date
KR20170035411A true KR20170035411A (ko) 2017-03-31
KR102437588B1 KR102437588B1 (ko) 2022-08-30

Family

ID=58283598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134070A KR102437588B1 (ko) 2015-09-22 2015-09-22 영상 캡처 장치

Country Status (2)

Country Link
US (1) US10362279B2 (ko)
KR (1) KR102437588B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3732876B1 (en) * 2017-12-28 2023-04-19 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method
CN109309799B (zh) * 2018-11-20 2020-11-03 京东方科技集团股份有限公司 像素感应电路及其驱动方法、图像传感器、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190471A (ja) * 2012-03-12 2013-09-26 Canon Inc 画像処理装置、焦点検出装置、および、画像処理プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123387A (ja) 1982-12-29 1984-07-17 Canon Inc 撮像装置
US5457477A (en) 1994-02-02 1995-10-10 Industrial Technology Research Institute Image data processing system with false color suppression signal generator utilizing luminance and edge threshold suppression methods
US7742088B2 (en) 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
JP4500574B2 (ja) 2004-03-30 2010-07-14 富士フイルム株式会社 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
US7969488B2 (en) * 2005-08-03 2011-06-28 Micron Technologies, Inc. Correction of cluster defects in imagers
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US8199230B2 (en) 2007-06-28 2012-06-12 Fujifilm Corporation Signal processing apparatus, image pickup apparatus and computer readable medium
JP5250315B2 (ja) 2007-06-28 2013-07-31 富士フイルム株式会社 信号処理装置、撮像装置、及び同時化処理プログラム
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置，其訊號處理方法，及電子設備
JP5401191B2 (ja) * 2009-07-21 2014-01-29 富士フイルム株式会社 撮像装置及び信号処理方法
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
KR101600312B1 (ko) 2009-10-20 2016-03-07 삼성전자주식회사 영상처리장치 및 영상처리방법
US8345971B2 (en) 2010-06-28 2013-01-01 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
US8493573B2 (en) 2011-03-09 2013-07-23 The United States Of America As Represented By The Secretary Of The Army High-resolution optical position sensing with sparse, low-resolution detectors
US8532373B2 (en) 2011-11-04 2013-09-10 Texas Instruments Incorporated Joint color channel image noise filtering and edge enhancement in the Bayer domain
JP2014027526A (ja) 2012-07-27 2014-02-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5997541B2 (ja) * 2012-08-10 2016-09-28 キヤノン株式会社 画像信号処理装置およびその制御方法
JP2014106476A (ja) 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP6509018B2 (ja) * 2015-04-17 2019-05-08 キヤノン株式会社 固体撮像装置、撮像システム及び信号処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190471A (ja) * 2012-03-12 2013-09-26 Canon Inc 画像処理装置、焦点検出装置、および、画像処理プログラム

Also Published As

Publication number Publication date
KR102437588B1 (ko) 2022-08-30
US20170085849A1 (en) 2017-03-23
US10362279B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
US9762821B2 (en) Unit pixel of image sensor, image sensor, and computing system having the same
US10211245B2 (en) Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9210330B2 (en) Image sensor and electronic device including the same
KR101900273B1 (ko) 시모스 이미지 센서
US9584742B2 (en) Method of binning pixels in an image sensor and an image sensor for performing the same
US20140146210A1 (en) Solid state imaging devices and methods using single slope adc with adjustable slope ramp signal
US20140118582A1 (en) Image processing method, image signal processor, and image processing system including the same
US10015423B2 (en) Image sensor and a method of operating the same
US9860460B2 (en) Image sensors, image acquisition devices and electronic devices utilizing overlapping shutter operations
CN111277776B (zh) 图像传感器
KR102072359B1 (ko) 이미지 센서
US9191599B2 (en) Correlated double sampling circuit and image sensor including the same
KR101965631B1 (ko) Ｃｄｓ 회로, 이를 포함하는 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
US9413991B2 (en) Linear-logarithmic image sensors and electronic devices including the same
KR102437588B1 (ko) 영상 캡처 장치
US10200645B2 (en) Image sensor for performing coupling-free readout, and device having the same
US20120075478A1 (en) Image Sensor, Method Thereof And Devices Having The Same
US20150334323A1 (en) Solid-state imaging device
US9264633B2 (en) Image sensor and computing system having the same
KR102136851B1 (ko) 컬럼 미스매치를 보상하는 이미지 센서 및 이의 이미지 처리 방법
KR20210012555A (ko) 이미지 센서 및 이의 동작 방법
US11330201B2 (en) Light sensing circuit and image sensor including the same
US20160021318A1 (en) Image sensor
TW202345093A (zh) 影像信號處理器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant