KR102301620B1 - 빛 샘 보정을 위한 촬영 장치 및 방법 - Google Patents

빛 샘 보정을 위한 촬영 장치 및 방법 Download PDF

Info

Publication number
KR102301620B1
KR102301620B1 KR1020150016019A KR20150016019A KR102301620B1 KR 102301620 B1 KR102301620 B1 KR 102301620B1 KR 1020150016019 A KR1020150016019 A KR 1020150016019A KR 20150016019 A KR20150016019 A KR 20150016019A KR 102301620 B1 KR102301620 B1 KR 102301620B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
read
charge value
value
Prior art date
Application number
KR1020150016019A
Other languages
English (en)
Other versions
KR20160094696A (ko
Inventor
문재준
김일도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150016019A priority Critical patent/KR102301620B1/ko
Priority to US15/001,606 priority patent/US9900531B2/en
Priority to EP16153573.7A priority patent/EP3051798B1/en
Priority to CN201610073372.6A priority patent/CN105847712B/zh
Publication of KR20160094696A publication Critical patent/KR20160094696A/ko
Application granted granted Critical
Publication of KR102301620B1 publication Critical patent/KR102301620B1/ko

Links

Images

Classifications

    • H04N5/3594—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/3595—
    • H04N5/37455—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

빛 샘 보정을 위한 촬영 장치 및 방법이 개시된다. 본 발명에 따른 촬영 장치는 복수의 픽셀을 포함하며, 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃하는 이미지 센서 및 제1 리드아웃된 전하값 및 제2 리드아웃된 전하값 중 적어도 하나에 기초하여 복수의 픽셀 중 빛 샘 영역이 발생한 픽셀을 검출하고, 상기 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성하는 이미지 처리부를 포함한다. 이에 따라, 촬영 장치는 이미지 센서에서 복수의 픽셀에 저장된 전하를 리드아웃 하는 과정에서 빛 샘 현상이 발생하는 영역에 대한 검출 및 보정을 수행할 수 있다.

Description

빛 샘 보정을 위한 촬영 장치 및 방법{Photographing apparatus and method for the light leakage correction}
본 발명은 빛 샘 보정을 위한 촬영 장치 및 방법에 관한 것으로, 더욱 상세하는 글로벌 셔터에서 발생되는 빛 샘 현상을 보정하기 위한 촬영 장치 및 방법에 관한 것이다.
일반적으로, 촬영 장치에서 렌즈로 입사된 빛을 전기적으로 변환하여 이미지를 생성하는 센서는 CCD(Charge-coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)로 크게 구분될 수 있다.
두 센서 모두 노광 개시와 노광 종료에 의한 빛의 양을 조절하는 셔터의 동작으로 적정 노출을 유지한다. 이 같은 빛의 양을 조절하는 셔터는 동작 방식에 따라 롤링 셔터와 글로벌 셔터로 구분된다.
롤링 셔터 방식은 이미지 센서에 픽셀 별 포토 다이오드의 전하를 저장할 수 있는 저장부가 없기 때문에, 각 픽셀별로 순차적으로 노광을 개시 및 종료하는 방식이다. 글로벌 셔터 방식은 이미지 센서의 전체 픽셀에서 동시에 노광을 개시하며, 적정 노광 시간 후에 각 픽셀별로 구비된 저장부를 이용하여 전체 픽셀에서 동시에 노광을 종료하는 방식이다.
그러나, CMOS 형 글로벌 셔터의 경우, 글로벌 셔터 동작 시, 모든 픽셀에 저장된 전하를 각 픽셀별 저장부에 일괄 저장한 후, 각 픽셀의 저장부에 저장된 전하를 리드아웃하는 시간 동안 고휘도 피사체 영역과 관련된 주변 픽셀로 빛이 새어 나가는 빛 샘 현상이 발생한다. 특히, 가장 늦게 리드아웃을 수행하는 픽셀의 경우, 해당 픽셀에는 리드아웃을 수행하는 시간에 비례하여 빛 샘 현상이 더욱 크게 발생하는 문제가 있다.
본 발명은 상술한 문제점을 감안하여 안출된 것으로서, 본 발명의 목적은 글로벌 셔터 방식을 이용하는 촬영 장치의 이미지 센서에서 각 픽셀의 저장부에 저장된 전하를 리드아웃 시, 발생하는 빛 샘 현상에 의한 화질 열화를 보정하기 위함을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 촬영 장치는 복수의 픽셀을 포함하며, 상기 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 상기 복수의 픽셀에 저장된 전하를 제2 리드아웃하는 이미지 센서 및 상기 제1 리드아웃된 전하값 및 상기 제2 리드아웃된 전하값 중 적어도 하나의 값에 기초하여 상기 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 상기 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성하는 이미지 처리부를 포함한다.
그리고, 상기 이미지 처리부는, 상기 일부 픽셀 각각의 제2 리드아웃된 전하값과 기설정된 임계값을 비교하여, 상기 기설정된 임계값을 초과하는 적어도 하나의 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다.
또한, 상기 이미지 처리부는,
상기 빛 샘 픽셀에 인접한 주변 픽셀의 제2 리드아웃된 전하값과 상기 빛 샘 픽셀의 제1 리드아웃된 전하값으로 차분값을 산출하고, 상기 산출된 차분값과 상기 빛 샘 픽셀의 제2 리드아웃된 전하값에 기초하여 상기 주변 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출할 수 있다.
그리고, 상기 이미지 처리부는, 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 차분값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하거나 또는 상기 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 빛 샘 픽셀의 제2 리드아웃된 빛샘 전하값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출할 수 있다.
또한, 상기 이미지 처리부는, 상기 주변 빛 샘 픽셀의제2 리드아웃된 전하값이 기설정된 임계값 이상이면, 상기 빛 샘 픽셀의 제1 리드아웃된 전하값을 기초하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출할 수 있다.
그리고, 상기 이미지 처리부는, 상기 일부 픽셀의 제1 리드아웃된 전하값, 상기 주변 빛 샘 픽셀의 보정 전하값 및 상기 일부 픽셀 및 상기 주변 빛 샘 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성할 수 있다.
또한, 상기 이미지 처리부는, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값이 기설정된 임계값 미만이면, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값 및 상기 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성할 수 있다.
그리고, 피사체의 조도를 측정하는 조도 센서부를 더 포함하며, 상기 이미지 처리부는, 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 상기 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다.
또한, 상기 이미지 처리부는, 상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 빛 샘 영역으로 판단 가능한 광원 영역의 존재 여부를 판단하여 상기 광원 영역이 존재하는 경우, 크롭 방식으로 상기 일부 픽셀을 결정하고, 상기 광원 영역이 존재하지 않는 경우, 상기 크롭 방식 또는 상기 크롭 방식과 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀을 결정할 수 있다.
그리고, 상기 이미지 처리부는, 상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 복수의 스킵 방식 중 하나의 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀에 대한 다중 리드아웃을 결정할 수 있다.
한편, 본 발명의 또다른 실시 예에 따른 촬영 장치의 빛 샘 보정 방법은 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃하는 단계, 상기 복수의 픽셀에 저장된 전하를 제2 리드아웃하는 단계, 상기 제1 리드아웃된 전하값 및 상기 제2 리드아웃된 전하값 중 적어도 하나에 기초하여 상기 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하는 단계, 상기 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하는 단계 및 상기 빛 샘 현상이 발생된 것으로 검출된 픽셀 및 나머지 픽셀의 전하값을 이용하여 이미지를 생성하는 단계를 포함한다.
그리고, 상기 검출하는 단계는, 상기 일부 픽셀 각각의 제2 리드아웃된 전하값과 기설정된 임계값을 비교하여, 상기 기설정된 임계값을 초과하는 적어도 하나의 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다.
또한, 상기 검출하는 단계는,
상기 빛 샘 픽셀에 인접한 주변 픽셀의 제2 리드아웃된 전하값과 상기 빛 샘 픽셀의 제1 리드아웃된 전하값으로 차분값을 산출하고, 상기 산출된 차분값과 상기 빛 샘 픽셀의 제2 리드아웃된 전하값에 기초하여 상기 주변 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출할 수 있다.
그리고, 상기 보정을 수행하는 단계는, 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 차분값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하거나 또는 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 빛 샘 픽셀의 제2 리드아웃된 전하값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출할 수 있다.
또한, 상기 보정을 수행하는 단계는, 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값이 기설정된 임계값 이상이면, 상기 빛 샘 픽셀의 제1 리드아웃된 전하값에 기초하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출할 수 있다.
그리고, 상기 이미지를 생성하는 단계는, 상기 일부 픽셀의 제1 리드아웃된 전하값, 상기 주변 빛 샘 픽셀의 보정 전하값 및 상기 일부 픽셀 및 상기 주변 빛 샘 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성할 수 있다.
또한, 상기 이미지를 생성하는 단계는, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값이 기설정된 임계값 미만이면, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값 및 상기 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성할 수 있다.
그리고, 라이브 영상 및 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 상기 제1 리드아웃을 수행할 일부 픽셀 및 리드아웃 방식을 결정하는 단계를 더 포함할 수 있다.
또한, 상기 결정하는 단계는, 상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 빛 샘 영역으로 판단 가능한 광원 영역의 존재 여부를 판단하여 상기 광원 영역이 존재하는 경우, 크롭 방식으로 상기 일부 픽셀을 결정하고, 상기 광원 영역이 존재하지 않는 경우, 상기 크롭 방식 또는 상기 크롭 방식과 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀을 결정할 수 있다.
그리고, 상기 결정하는 단계는, 상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 복수의 스킵 방식 중 하나의 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀에 대한 다중 리드아웃을 결정할 수 있다.
이상과 같이, 본 발명에 따르면, 촬영 장치는 이미지 센서에서 복수의 픽셀에 저장된 전하를 리드아웃 하는 과정에서 빛 샘 현상이 발생한 영역을 보다 신속히 검출할 수 있다. 나아가, 본 발명에 따른 촬영 장치는 검출된 빛 샘 현상에 대한 보정을 수행함으로써, 화질 열화를 개선할 수 있다.
도 1은 일반적인 글로벌 셔터의 이미지 센서를 나타내는 예시도,
도 2는 글로벌 셔터의 이미지 센서에서 전하를 리드아웃하는 동작을 나타내는 예시도,
도 3는 본 발명의 일 실시예에 따른 촬영 장치의 개략적인 블록도,
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 블록도,
도 5는 본 발명의 일 실시예에 따른 이미지 센서에서 복수의 픽셀에 저장된 전하를 리드아웃하는 예시도,
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 세부 블록도,
도 7은 본 발명의 일 실시예에 따른 촬영 장치에서 스킵 방식에 따라 이미지 센서에 저장된 전하를 리드아웃하는 예시도,
도 8은 본 발명의 일 실시예에 따른 촬영 장치에서 크롭 방식에 따라 이미지 센서에 저장된 전하를 리드아웃하는 예시도,
도 9는 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 리드아웃시 전하의 이동을 나타내는 예시도,
도 10은 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 스킵 방식에 기초하여 빛 샘 현상이 발생된 영역을 나타내는 제1 예시도,
도 11은 본 발명의 또다른 실시예에 따른 촬영 장치의 이미지 센서에서 스킵 방식에 기초하여 빛 샘 현상이 발생된 영역을 나타내는 제2 예시도,
도 12는 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 빛 샘 영역에 대한 보정 영역을 판단하는 예시도,
도 13은 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 빛 샘 영역이 존재하지 않는 경우 리드아웃을 수행하는 예시도,
도 14는 본 발명의 일 실시예에 따른 촬영 장치에서 빛 샘 보정을 수행하는 방법의 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일반적인 글로벌 셔터의 이미지 센서를 나타내는 예시도이다.
도 1에 도시된 바와 같이, 일반적으로, 글로벌 셔터의 이미지 센서(100)는 복수의 픽셀로 구성되며, 복수의 픽셀 각각은 포토 다이오드(Photo Diode : PD)(110), 스토리지 다이오드(Stroage Diode : SD)(120) 및 플로팅 확산부(Floating Diffusion)(130)를 포함한다.
오버 플로우 게이트(Over Flow Gate)(140)의 리셋 동작에 의해 각 픽셀의 포토 다이오드(110)에 노광이 개시되면, 각 픽셀별 포토 다이오드(110)는 입사된 광을 전하로 변환시켜 누적시킨다. 이후, 제1 타이밍 게이트(Timing Gate)(150)의 스위치가 온 되면, 각 픽셀별 포토 다이오드(110)에 누적된 전하는 각 픽셀별 스토리지 다이오드(120)에 일괄적으로 저장된다. 각 픽셀별 플로팅 확산부(130)는 리드아웃 타이밍(Readout Timing)에 따라 제2 타이밍 게이트(Timing Gate)(160)의 스위치가 온 되면, 각 픽셀별 스토리지 다이오드(120)에 저장된 전하를 순차적으로 리드아웃한다.
도 2는 글로벌 셔터의 이미지 센서에서 전하를 리드아웃하는 동작을 나타내는 예시도이다.
도 2에 도시된 바와 같이, 픽셀별 플로팅 확산부(130)는 픽셀 어레이(210)의 라인 단위로 스토리지 다이오드(120)에 저장된 전하를 순차적으로 리드아웃한다.
최초, 제1 라인의 플로팅 확산부(130)는 스토리지 다이오드(120)에 저장된 전하를 리드아웃하며, 제1 라인의 픽셀별 스토리지 다이오드(120)에 저장된 전하가 모두 리드아웃되면, 제2 라인의 픽셀별 플로팅 확산부(130)는 제2 라인의 픽셀의 스토리지 다이오드(120)에 저장된 전하를 리드아웃한다.
이와 같은 순서로 스토리지 다이오드(120)에 저장된 전하를 리드아웃함에 따라, n 라인의 픽셀별 플로팅 확산부(130)는 n-1 라인의 픽셀별 스토리지 다이오드(120)에 저장된 전하가 모두 리드아웃된 후, n 라인의 픽셀별 스토리지 다이오드(120)에 저장된 전하를 리드아웃할 수 있다.
한편, 각 픽셀별 스토리지 다이오드(120)는 포토 다이오드(110)에 누적된 전하(SI) 뿐만 아니라, 포토 다이오드(110)로 입사되는 광의 회절 및 난반사에 의한 빛의 누출로 인하여 발생된 누설 전하(Leakage)(SLR)가 유입될 수 있다.
도 2에 도시된 바와 같이, 픽셀 어레이(210) 상에 배치된 복수의 픽셀 중 제5 라인의 플로팅 확산부(130)는 제1 라인의 플로팅 확산부(130)에서 리드아웃을 수행하는 시간을 기준으로 T1(220) 시간이 지난 후 리드아웃 동작을 수행한다. 이에 따라, 제5 라인의 스토리지 다이오드(120)에는 포토 다이오드(110)로부터 전달된 전하와 T1(220) 시간 동안 누설 전하가 저장됨으로써, 플로팅 확산부(130)는 T1(220) 시간 동안 스토리지 다이오드(120)에 유입된 누설 전하를 포함하는 전하값을 리드아웃하게 된다.
그리고, 제16 라인의 플로팅 확산부(130)는 제1 라인의 플로팅 확산부(130)에서 리드아웃을 수행하는 시간을 기준으로 T2(230) 시간이 지난 후 리드아웃 동작을 수행한다. 이에 따라, 제16 라인의 스토리지 다이오드(120)에는 포토 다이오드(110)로부터 전달된 전하와 T2(230) 시간 동안 누설 전하가 저장됨으로써, 플로팅 확산부(130)는 T2(230) 시간 동안 스토리지 다이오드(120)에 유입된 누설 전하를 포함하는 전하값을 리드아웃하게 된다.
그리고, 제28 라인의 플로팅 확산부(130)는 제1 라인의 플로팅 확산부(130)에서 리드아웃을 수행하는 시간을 기준으로 T3(240) 시간이 지난 후 리드아웃 동작을 수행한다. 이에 따라, 제18 라인의 스토리지 다이오드(120)에는 포토 다이오드(110)로부터 전달된 전하와 T3(240) 시간 동안 누설 전하가 저장됨으로써, 플로팅 확산부(130)는 T3(240) 시간 동안 스토리지 다이오드(120)에 유입된 누설 전하를 포함하는 전하값을 리드아웃하게 된다.
이와 같이, 각 픽셀별 스토리지 다이오드(120)에 유입되는 누설 전하량은 리드아웃하는 시간에 비례하여 증가하게 된다. 이에 따라, 동일한 조도 환경에서 화이트 영상을 촬영할 경우, 각 픽셀별 스토리지 다이오드(120)에 저장된 전하를 리드아웃하는 시간에 비례하는 누설 전하 차이에 의하여 이미지의 상부와 하부 사이에 그라데이션 현상이 발생하는 문제가 있다.
지금까지, 일반적인 글로벌 셔터의 이미지 센서(100)에서 각 픽셀별 스토리지 다이오드(120)에 저장된 전하를 리드아웃하는 동작에 대해서 설명하였다. 이하에서는, 본 발명에 따른 촬영 장치(300)의 각 구성에 대해서 상세히 설명하도록 한다.
도 3는 본 발명의 일 실시예에 따른 촬영 장치의 개략적인 블록도이다.
도 3에 도시된 바와 같이, 촬영 장치(300)는 이미지 센서(310) 및 이미지 처리부(320)를 포함한다.
이미지 센서(310)는 복수의 픽셀을 포함하며, 복수의 픽셀은 픽셀 어레이 상 각각 배치될 수 있다. 이 같은 복수의 픽셀을 포함하는 이미지 센서(310)는 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃한다. 이 같은 이미지 센서(310)는 글로벌 셔터 방식의 이미지 센서로써, CCD(Charge-coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)가 될 수 있다.
이미지 처리부(320)는 제1 리드아웃된 일부 픽셀의 전하값 및 제2 리드아웃된 복수의 픽셀의 전하값 중 적어도 하나에 기초하여 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성한다. 구체적으로, 하나의 이미지와 관련하여 이미지 센서(310)로부터 출력된 제1 리드아웃된 일부 픽셀의 전하값 및 제2 리드아웃된 복수의 픽셀의 전하값은 적절한 크기의 아날로그 신호로 증폭된 후, ADC(Analog to Digital Converter)(미도시)를 통해 디지털 신호로 변환된 값이 될 수 있다.
따라서, 이미지 처리부(320)는 하나의 이미지와 관련하여 이미지 센서(310)로부터 출력된 전하에 대한 디지털 신호를 입력받아 빛 샘 영역을 검출하고, 검출된 빛 샘 영역에 대한 보정 및 합성 등의 이미지 처리를 수행하여 촬영된 이미지에 대한 전체 이미지 신호를 생성할 수 있다.
한편, 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃하는 이미지 센서(310)는 도 4와 같이 구성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 블록도이다.
도 4에 도시된 바와 같이, 이미지 센서(310)는 글로벌 셔터 방식의 이미지 센서로써, CCD(Charge-coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)가 될 수 있다. 이 같은 이미지 센서(310)는 복수의 픽셀을 포함하며, 복수의 픽셀 각각은 포토 다이오드(311), 스토리지 다이오드(313) 및 플로팅 확산부(315)를 포함한다. 또한, 이미지 센서(310)를 구성하는 복수의 픽셀 각각은 복수의 픽셀 각각에 저장된 전하와 관련하여 스토리지 다이오드(313) 및 플로팅 확산부(315)로의 전송 및 전송 차단을 스위칭하는 복수의 스위치를 더 포함할 수 있다.
복수의 픽셀 각각의 포토 다이오드(311)는 렌즈(10)를 통해 입사된 노광을 수광하여 전기적인 신호로 변환하고, 전기적인 신호로 변환된 전하를 축적한다. 그리고, 복수의 픽셀 각각의 스토리지 다이오드(313)는 각 포토 다이오드(311)에 축적된 전하를 저장한다.
구체적으로, 각 포토 다이오드(311)에 전하가 축적된 상태에서 하나의 이미지에 대한 촬영 명령이 입력되면, 제어부(330)는 일괄 저장 신호를 생성하도록 신호 생성부(340)를 제어한다. 이 같은 제어 명령에 따라, 신호 생성부(340)는 일괄 저장 신호를 생성하여 이미지 센서(310)로 인가한다. 이에 따라, 각 포토 다이오드(311)는 각 포토 다이오드(311)에 축적된 전하를 스토리지 다이오드(313)로 일괄 전송함으로써, 각 픽셀별 포토 다이오드(311)에 누적된 전하는 각 픽셀별 스토리지 다이오드(313)에 일괄적으로 저장된다.
이 같이, 각 픽셀별 스토리지 다이오드(313)에 전하가 저장되면, 복수의 픽셀 각각의 플로팅 확산부(315)는 각 스토리지 다이오드(313)에 저장된 전하를 리드아웃한다. 구체적으로, 복수의 픽셀 중 일부 픽셀의 플로팅 확산부(314)는 일부 픽셀의 스토리지 다이오드(313)에 저장된 전하를 제1 리드아웃한다. 일부 픽셀의 스토리지 다이오드(313)에 저장된 전하에 대한 제1 리드아웃이 모두 수행되면, 복수의 픽셀 각각의 플로팅 확산부(315)는 각 스토리지 다이오드(313)에 저장된 전하를 제2 리드아웃한다.
따라서, 이미지 처리부(320)는 일부 픽셀별 플로팅 확산부(315)로부터 제1 리드아웃된 일부 픽셀에 대한 전하값과 복수의 픽셀 각각의 플로팅 확산부(315)로부터 제2 리드아웃된 복수의 픽셀에 대한 전하값에 기초하여 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 센서에서 복수의 픽셀에 저장된 전하를 리드아웃하는 예시도이다.
도 5에 도시된 바와 같이, 제1 구간(510)은 인가된 리셋 신호 및 일괄 전송 신호에 따라, 이미지 센서(310)에서 복수의 픽셀 각각의 포토 다이오드(311)에 축적된 전하를 스토리지 다이오드(313)에 일괄적으로 저장하는 구간이다.
그리고, 제2 구간(520)은 이미지 센서(310)에서 복수의 픽셀 중 일부 픽셀의 스토리지 다이오드(313)에 저장된 전하를 순차적으로 제1 리드아웃하는 구간이다. 이 같은 제2 구간(520)에서, 이미지 센서(310)는 기설정된 리드아웃 방식에 따라 일부 픽셀의 스토리지 다이오드(313)에 저장된 전하를 라인별로 순차적으로 제1 리드아웃을 수행한다. 여기서, 기설정된 리드아웃 방식은 스킵(Skip) 방식 또는 크롭(Crop) 방식 중 하나가 될 수 있다. 따라서, 이미지 센서(310)는 스킵 방식 또는 크롭 방식 중 하나의 방식을 통해 일부 픽셀의 스토리지 다이오드(313)에 저장된 전하를 라인별로 순차적으로 제1 리드아웃을 수행할 수 있다. 이 같은 제1 리드아웃을 수행하기 위한 스킵 방식 또는 크롭 방식에 대해서는 하기에서 상세히 설명하도록 한다.
그리고, 제3 구간(530)은 복수의 픽셀의 스토리지 다이오드(313)에 저장된 전하를 순차적으로 제2 리드아웃하는 구간이다. 이 같은 제3 구간(530)에서, 이미지 센서(310)는 복수의 픽셀 각각의 스토리지 다이오드(313)에 저장된 전하를 라인별로 순차적으로 제1 리드아웃한다.
따라서, 이미지 처리부(320)는 제2 구간(520)에서 이미지 센서(310)에 의해 제1 리드아웃된 일부 픽셀의 전하값과 제3 구간(530)에서 이미지 센서(310)에 의해 제2 리드아웃된 복수의 픽셀의 전하값에 기초하여 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 세부 블록도이다.
도 6에 도시된 바와 같이, 촬영 장치(300)는 전술한 이미지 센서(310) 및 이미지 처리부(320) 구성 외에 추가로 제어부(330), 신호 생성부(340), 디스플레이부(350), 입력부(360), 통신부(370), 조도 센서부(380) 및 저장부(390)를 더 포함할 수 있다.
제어부(330)는 촬영 장치(300)를 구성하는 구성들의 동작을 전반적으로 제어한다. 특히, 제어부(330)는 이미지 센서(310)로 리셋 신호 및 일괄 전송 신호를 인가하도록 신호 생성부(340)를 제어한다. 이 같은 제어 명령에 따라, 신호 생성부(340)는 리셋 신호 및 일괄 전송 신호를 생성하여 이미지 센서(310)로 인가한다. 따라서, 이미지 센서(310)는 신호 생성부(340)로부터 인가된 리셋 신호 및 일괄 전송 신호에 따라, 각 픽셀별 포토 다이오드(313)에 축적된 전하를 스토리지 다이오드(315)로 인가하거나 혹은 플로팅 확산부(315)를 통해 스토리지 다이오드(315)에 저장된 전하를 리드아웃할 수 있다.
디스플레이부(350)는 제어부(330)의 제어 명령에 따라, 이미지 처리부(320)에서 이미지 처리되어 생성된 이미지 및 OSD 정보 중 적어도 하나를 화면상에 디스플레이한다. 여기서, 이미지는 촬영된 이미지 또는 라이브 이미지 중 적어도 하나가 될 수 있다. 이 같은 디스플레이부(350)는 사용자의 터치 명령을 입력받는 터치 패널(미도시)과 일체형으로 구현될 수 있다.
입력부(360)는 사용자 명령을 입력받기 위한 수단으로써, 적어도 하나의 버튼(미도시)을 포함할 수 있다. 뿐만 아니라, 입력부(360)는 디스플레이부(350) 상에 위치하는 터치 패널(미도시)을 포함할 수 있다. 따라서, 입력부(360)는 버튼(미도시) 및 터치 패널(미도시) 중 적어도 하나를 통해 사용자로부터 촬영 명령 또는 촬영된 이미지에 대한 편집 명령 등의 사용자 명령을 입력받을 수 있다.
통신부(370)는 외부 단말 장치와 무선 혹은 유선으로 데이터 통신을 수행하기 위한 수단이다. 무선 통신 방식으로 외부 단말 장치와 데이터 통신을 수행할 경우, 통신부(370)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
한편, 유선 통신 방식으로 외부 단말 장치와 데이터 통신을 수행할 경우, 통신부(370)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 이미지 데이터를 송수신하거나 혹은 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수 있다.
조도 센서부(380)는 촬영할 피사체의 조도를 측정하여 측정한 조도값을 이미지 처리부(320)로 출력한다. 이에 따라, 이미지 처리부(320)는 조도 센서부(380)에서 측정된 조도값에 기초하여 촬영할 피사체의 밝기에 상응하는 휘도값을 산출한다. 이후, 이미지 처리부(320)는 산출된 휘도값을 분석하여 복수의 픽셀 중 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다.
저장부(390)는 촬영된 이미지 및 촬영 장치(300)의 제어를 위해 필요한 정보 등을 저장한다. 뿐만 아니라, 저장부(390)는 이미지 센서(310)를 구성하는 복수의 픽셀 중 일부 픽셀의 제1 리드아웃된 전하값 및 복수의 픽셀의 제2 리드아웃된 전하값을 임시 저장할 수 있다. 이 같은 저장부(390)는 휘발성 메모리(가령, 플래시 메모리, EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.한편, 전술한 이미지 처리부(320)는 일부 픽셀 각각의 제2 리드아웃된 전하값(PL)과 기설정된 임계값(이하 제1 임계값이라 함)을 비교하여 기설정된 제1 임계값을 초과하는 적어도 하나의 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다. 구체적으로, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀 중 적어도 하나의 일부 픽셀(이하 제1 픽셀이라 함)의 제2 리드아웃된 전하값(PL)이 기설정된 제1 임계값을 초과하면, 제1 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다. 예를 들어, 제1 픽셀은 빛 샘 현상에 대한 발생 가능성이 높은 고휘도 피사체 영역에 포함될 수 있다. 이 경우, 제1 리드아웃되어 스토리지 다이오드(313)에 전하가 비워진 제1 픽셀의 스토리지 다이오드(313) 내에는 누설 전하가 유입될 수 있다. 따라서, 이미지 센서(310)를 통해 제1 리드아웃된 제1 픽셀에 대한 제2 리드아웃이 수행되면, 이미지 처리부(320)는 제1 픽셀의 스토리지 다이오드(313)에 유입된 누설 전하에 대한 전하값(PL)을 입력받을 수 있다.
이 같은 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)이 입력되면, 이미지 처리부(320)는 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)과 기설정된 제1 임계값을 비교하여 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)이 제1 임계값을 초과하면 제1 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다.
이와 같이, 제1 픽셀이 빛 샘 현상이 발생한 빛 샘 픽셀로 검출되면, 이미지 처리부(320)는 빛 샘 픽셀로 검출된 제1 픽셀에 인접한 주변 픽셀(이하 제2 픽셀이라 함)의 제2 리드아웃된 전하값(PI)과 제1 픽셀의 제1 리드아웃된 전하값(PR)의 차분값을 산출한다. 이후, 이미지 처리부(320)는 산출된 차분값과 제1 픽셀의 제2 리드아웃된 전하값(PL)을 비교하여 제2 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출할 수 있다. 실시예에 따라, 이미지 처리부(320)는 빛 샘 픽셀로 검출된 제1 픽셀과 인접한 제2 픽셀의 제2 리드아웃된 전하값(PI)과, 제1 픽셀의 제1 리드아웃된 전하값(PR)으로부터 차분값이 산출되면, 산출된 차분값과 제1 픽셀의 제2 리드아웃된 전하값(PL)의 차이가 기설정된 임계값(이하 제2 임계값이라 함) 미만인지 여부를 판단한다. 판단 결과, 산출된 차분값과 제1 픽셀의 제2 리드아웃된 전하값(PL)의 차이가 기설정된 제2 임계값 미만이면, 이미지 처리부(320)는 제1 픽셀과 인접한 제2 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출할 수 있다.
예를 들어, 제1 픽셀과 인접한 제2 픽셀은 빛 샘 현상에 대한 발생 가능성이 높은 고휘도 피사체 영역에 포함될 수 있다. 이 경우, 제2 픽셀의 스토리지 다이오드(313)에는 포토 다이오드(311)에서 이동된 전하 및 제2 리드아웃 동안 유입된 누설 전하가 저장될 수 있다. 따라서, 이미지 센서(310)를 통해 제2 픽셀에 대한 제2 리드아웃이 수행되면, 이미지 처리부(320)는 제2 픽셀의 스토리지 다이오드(313)에 저장된 전하에 대한 전하값(PR) 및 제2 픽셀의 스토리지 다이오드(313)에 유입된 누설 전하에 대한 전하값(PL)을 포함하는 전하값(PI)을 입력받을 수 있다.
이 같은 제2 픽셀의 제2 리드아웃된 전하값(PI)이 입력되면, 이미지 처리부(320)는 제2 픽셀의 제2 리드아웃된 전하값(PI)과 제1 픽셀의 제1 리드아웃된 전하값(PR)의 차분값을 산출하고, 산출된 차분값과 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)이 차이가 기설정된 제2 임계값 미만이면, 제2 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출할 수 있다. 제2 픽셀이 주변 빛 샘 픽셀로 검출되면, 이미지 처리부(320)는 주변 빛 샘 픽셀로 검출된 제2 픽셀을 보정하기 위한 보정 전하값을 산출할 수 있다.
일 실시예에 따라, 이미지 처리부(320)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 픽셀값(PI)에서 기산출된 차분값을 차감하여 제2 픽셀의 보정 전하값을 산출할 수 있다. 여기서, 기산출된 차분값은 전술한 바와 같이, 빛 샘 픽셀로 검출된 제1 픽셀과 인접한 제2 픽셀의 제2 리드아웃된 전하값(PI)에서 제1 픽셀의 제1 리드아웃된 전하값(PR)을 차감한 값이 될 수 있다.
또다른 실시예에 따라, 이미지 처리부(320)는 빛 샘 픽셀로 검출된 제1 픽셀과 인접하며, 주변 빛 샘 픽셀로 검출된 제2 픽셀의 픽셀값(PI)에서 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)을 차감하여 제2 픽셀을 보정 전하값을 산출할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 이미지 처리부(320)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)이 기설정된 임계값(이하 제3 임계값이라 함) 이상이면, 제2 픽셀과 인접한 제1 픽셀의 제1 리드아웃된 전하값(PR)을 이용하여 제2 픽셀의 보정 전하값을 산출할 수 있다. 예를 들어, 빛 샘 현상이 발생된 영역으로 검출된픽셀 중 제2 픽셀에 대응되는 영역이 빛 샘 영역으로 검출된 주변 픽셀보다 많은 양의 누설 전하가 유입될 수 있다. 이 경우, 이미지 처리부(320)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)과 기설정된 제3 임계값을 비교하여 제3 임계값 이상이면, 제2 픽셀과 인접한 제1 픽셀의 제1 리드아웃된 전하값(PR)을 제2 픽셀의 보정 전하값으로 산출할 수 있다.
이와 같이, 주변 빛 샘 픽셀에 대한 보정 전하값이 산출되면, 이미지 처리부(320)는 복수의 픽셀 중 일부 픽셀의 제1 리드아웃된 전하값(PR), 주변 빛 샘 픽셀의 보정 전하값 및 일부 픽셀 및 주변 빛 셈 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성한다. 여기서, 나머지 픽셀의제2 리드아웃된 전하값(PI)은 나머지 픽셀 각각의 스토리지 다이오드(313)에 누설 전하가 유입되지 않고, 포토 다이오드(311)에서 이동되어 저장된 전하의 값이 될 수 있다. 즉, 나머지 픽셀 각각의 제2 리드아웃된 전하값(PI)은 전하값(PR)이 될 수 있다.
한편, 이미지 처리부(320)는 일부 픽셀의 제1 리드아웃된 전하값(PR)이 기설정된 임계값(이하 제4 임계값이라 함) 미만이면, 일부 픽셀 각각의 제1 리드아웃된 전하값(PR) 및 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성할 수 있다. 여기서, 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)은 나머지 픽셀각각의 스토리지 다이오드(313)에 포토 다이오드(311)에서 이동되어 저장된 전하의 값이 될 수 있다. 즉, 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)은 전하값(PR)이 될 수 있다.
구체적으로, 이미지 처리부(320)는 일부 픽셀의 제1 리드아웃된 전하값(PR)이 기설정된 제4 임계값 미만이면, 복수의 픽셀 각각의 스토리지 다이오드(313)에 누설 전하가 저장되지 않은 것으로 판단한다. 이에 따라, 이미지 처리부(320)는 전술한 일부 픽셀 각각에 인접한 주변 픽셀에 빛 샘 현상 발생 여부에 대한 검출 과정을 수행하지 않고, 일부 픽셀의 제1 리드아웃된 전하값(PR) 및 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 이미지 처리부(320)는 촬영할 피사체에 대한 라이브 영상 또는 조도 센서부(380)로부터 측정된 조도값 중 적어도 하나를 분석하여 복수의 픽셀 중 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다. 구체적으로, 이미지 처리부(320)는 촬영할 피사체에 대한 라이브 영상 또는 조도 센서부(380)로부터 측정된 조도값 중 적어도 하나를 분석하여 광원 영역이 존재하는지 여부를 판단한다. 판단 결과, 촬영할 피사체의 특정 영역에 광원이 존재하면, 이미지 센서(310)는 크롭 방식 또는 크롭 방식과 스킵 방식으로 제1 리드아웃할 일부 픽셀을 결정한다. 여기서, 크롭 방식은 픽셀 어레이 상에 배치된 픽셀 중 특정 라인에 속하는 픽셀의 전하를 리드아웃하는 방식이다.
예를 들어, 촬영할 피사체의 제1 영역에 광원이 존재하는 것으로 판단될 수 있다. 이 경우, 이미지 처리부(320)는 복수의 픽셀 중 촬영할 피사체의 제1 영역에 대응되는 적어도 하나의 픽셀을 크롭 방식으로 제1 리드아웃하도록 결정한다. 즉, 이미지 처리부(320)는 복수의 픽셀 중 광원이 존재하는 제1 영역에 대응되는 적어도 하나의 픽셀 및 해당 픽셀과 동일한 라인에 포함된 나머지 픽셀을 제1 리드아웃할 일부 픽셀로 결정할 수 있다.
이에 따라, 이미지 센서(310)는 광원이 존재하는 제1 영역에 대응되는 적어도 하나의 픽셀 및 해당 픽셀과 동일한 라인에 포함된 나머지 픽셀에 저장된 전하를 순차적으로 제1 리드아웃한 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 이미지 센서(310)는 광원이 존재하는 제1 영역에 대응되는 적어도 하나의 픽셀 및 해당 픽셀과 동일한 라인에 포함된 나머지 픽셀 중 후술할 스킵 방식에 대응되는 픽셀에 저장된 전하만을 제1 리드아웃할 수 있다
한편, 촬영할 피사체의 특정 영역에 광원이 존재하지 않으면, 이미지 처리부(320)는 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정한다. 여기서, 스킵 방식은 복수의 픽셀에 대한 리드아웃과 스킵을 교번하여 수행하는 방식으로써, 여러 종류의 리드 스킵(1R3S, 1R5S, … / 1R2S, 1R4S, … / 2R2S, 2R4S, …) 방식으로 구현될 수 있다. 예를 들어, 1 리드/1 스킵 방식은 픽셀 어레이 상에서 짝수 라인 또는 홀수 라인의 제1 픽셀의 전하를 제1 리드아웃하고, 제1 픽셀과 인접한 1 개의 주변 픽셀의 리드아웃을 스킵하는 방식이다.
그리고, 1 리드/3 스킵 방식은 픽셀 어레이 상에서 제1 라인에 포함된 제1 픽셀의 전하를 제1 리드아웃하고, 제1 픽셀과 인접한 3 개의 주변 픽셀의 리드아웃을 스킵하며, 제1 라인에 대한 제1 리드아웃이 완료되면, 제1 라인 후 연속된 3 개의 라인에 포함된 픽셀의 리드아웃을 스킵한 후, 다름 라인에 포함된 제1 픽셀의 전하를 제1 리드아웃하고, 제1 픽셀과 인접한 3 개의 주변 픽셀의 리드아웃을 스킵하는 방식이다.
그리고, 2 리드/4 스킵 방식은 픽셀 어레이 상에서 연속된 제1 및 제2 라인에 포함된 제1 픽셀과, 제1 픽셀과 인접한 제2 픽셀의 전하를 제1 리드아웃하고, 제2 픽셀과 인접한 4 개의 주변 픽셀의 리드아웃을 스킵하며, 제1 및 제2 라인에 대한 제1 리드아웃이 완료되면, 제2 라인 후 연속된 4 개의 라인에 포함된 픽셀의 리드아웃을 스킵하고, 다름 연속된 2 개의 라인에 포함된 제1 픽셀과, 제1 픽셀과 인접한 제2 픽셀의 전하를 제1 리드아웃한 후, 제2 픽셀과 인접한 4 개의 주변 픽셀의 리드아웃을 스킵하는 방식이다.
이 같은 이미지 처리부(320)는 촬영할 피사체에 대한 라이브 영상 및 조도 센서부(380)로부터 측정된 조도값 중 적어도 하나를 분석하여 1 리드/1 스킵, 1 리드/3 스킵, 2 리드/4 스킵 중 하나의 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다. 예를 들어, 조도 센서부(380)로부터 측정된 조도값의 분석 결과, 촬영할 피사체에 대한 휘도가 기설정된 값 이상이면, 1 리드/1 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정하고, 촬영할 피사체에 대한 휘도가 기설정된 값 미만이면, 2 리드/4 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 이미지 처리부(320)는 촬영할 피사체에 대한 휘도에 따라, 전술한 스킵 방식 외의 또다른 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다.
한편, 라이브 영상 또는 조도 센서부(380)로부터 측정된 조도값 분석이 불가능하면, 이미지 처리부(320)는 복수의 스킵 방식 중 기설정된 하나의 스킵 방식으로 제1 리드아웃을 수행할 일부 픽셀을 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 촬영 장치에서 스킵 방식에 따라 이미지 센서에 저장된 전하를 리드아웃하는 예시도이다.
도 7의 (a)에 도시된 바와 같이, 이미지 센서(310)는 기설정된 스킵 방식에 따라 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃하여 이미지 처리부(320)로 출력할 수 있다. 예를 들어, 1 리드/3 스킵 방식으로 픽셀 어레이 상에서 제1 라인에 포함된 제1 픽셀의 전하를 제1 리드아웃하고, 제1 픽셀과 인접한 3 개의 주변 픽셀의 리드아웃을 스킵하며, 제1 라인에 대한 제1 리드아웃이 완료되면, 제1 라인 후 연속된 3 개의 라인에 포함된 픽셀의 리드아웃을 스킵한 후, 다름 라인에 포함된 제1 픽셀의 전하를 제1 리드아웃하고, 제1 픽셀과 인접한 3 개의 주변 픽셀의 리드아웃을 스킵하는 방식이다.
이 같은 스킵 방식을 통해 이미지 센서(310)는 복수의 픽셀 중 일부 픽셀(710)에 저장된 전하를 제1 리드아웃하여 이미지 처리부(320)로 출력한다. 이에 따라, 이미지 처리부(320)는 일부 픽셀(710)의 제1 리드아웃된 전하값(PR)을 입력받을 수 있다. 여기서, 일부 픽셀(710)의 제1 리드아웃된 전하값(PR)은 일부 픽셀(710)의 포토 다이오드(311)에서 스토리지 다이오드(313)로 이동되어 저장된 전하의 값이다.
한편, 제1 리드아웃된 일부 픽셀(710) 중 적어도 하나의 픽셀은 제2 리드아웃 기간 동안 유입된 누설 전하가 저장될 수 있으며, 나머지 픽셀(720)는 포토 다이오드(311)에서 스토리지 다이오드(313)로 이동되어 저장된 전하와 제2 리드아웃 기간 동안 유입된 누설 전하가 모두 저장되거나 혹은 될 수 있다.
따라서, 도 7의 (b)와 같이, 이미지 센서(310)는 일부 픽셀(710)에 저장된 전하의 제1 리드아웃 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃한다. 이에 따라, 이미지 처리부(320)는 나머지 픽셀(720)에 저장된 누설 전하를 포함하는 모든 전하에 대한 전하값(PI)과 일부 픽셀(730)에 저장된 순수한 누설 전하에 대한 전하값(PL)을 입력받을 수 있다. 따라서, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀(720)의 전하값(PR), 제2 리드아웃된 일부 픽셀(730)의 전하값(PL) 및 제2 리드아웃된 나머지 픽셀(720)의 전하값(PI)에 기초하여 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 촬영 장치에서 크롭 방식에 따라 이미지 센서에 저장된 전하를 리드아웃하는 예시도이다.
도 8의 (a)에 도시된 바와 같이, 이미지 처리부(320)는 촬영할 피사체에 대한 라이브 이미지 또는 조도 센서부(380)에 의해 산출된 조도값을 분석하여 광원 영역이 존재하는지 여부를 판단한다. 판단 결과, 촬영할 피사체의 제1 영역(810)에 광원이 존재하면, 이미지 센서(310)는 크롭 방식으로 제1 리드아웃할 일부 픽셀을 결정한다. 도시된 바와 같이, 촬영할 피사체의 제1 영역(810)에 광원이 존재하면, 이미지 처리부(320)는 광원이 존재하는 제1 영역(810)에 대응되는 적어도 하나의 픽셀 및 해당 픽셀과 동일한 라인에 포함된 나머지 픽셀을 제1 리드아웃할 일부 픽셀로 결정할 수 있다.이 같은 일부 픽셀이 결정되면, 이미지 센서(310)는 일부 픽셀에 저장된 전하를 라인별로 순차적으로 제1 리드아웃 한 후, 복수의 픽셀에 저장된 전하를 라인별로 순차적으로 제2 리드아웃하여 이미지 처리부(320)로 출력한다. 이에 따라, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀(의 전하값(PR), 제2 리드아웃된 일부 픽셀의 전하값(PL) 및 제2 리드아웃된 나머지 픽셀의 전하값(PI)에 기초하여 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행할 수 있다.
한편, 도 8의 (b)에 도시된 바와 같이, 이미지 센서(310)는 광원이 존재하는 제1 영역(820)에 대응되는 적어도 하나의 픽셀 및 해당 픽셀과 동일한 라인에 포함된 나머지 픽셀 중 스킵 방식에 대응되는 픽셀에 저장된 전하만을 제1 리드아웃할 수 있다. 예를 들어, 1 리드/3 스킵 방식으로 픽셀에 저장된 전하를 제1 리드아웃 할 경우, 이미지 센서(310)는 제1 영역(820)에 대응되는 픽셀 중 1 리드/3 스킵 방식에 적합한 일부 픽셀(821)의 전하만을 제1 리드아웃하여 이미지 출력부(320)로 출력한다. 리드/3 스킵 방식에 적합한 일부 픽셀(821)의 전하에 대한 제1 리드아웃이 완료되면, 이미지 센서(310)는 복수의 픽셀에 저장된 전하를 라인별로 순차적으로 제2 리드아웃하여 이미지 처리부(320)로 출력한다. 이에 따라, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀(의 전하값(PR), 제2 리드아웃된 일부 픽셀의 전하값(PL) 및 제2 리드아웃된 나머지 픽셀의 전하값(PI)에 기초하여 빛 샘 현상이 발생이 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 리드아웃시 전하의 이동을 나타내는 예시도이다.
도 9의 (a)에 도시된 바와 같이, 복수의 픽셀 중 제1 리드아웃을 수행할 제1 픽셀의 스토리지 다이오드(313)는 포토 다이오드(311)에서 이동된 전하(910)를 저장한다. 이후, 크롭 및 스킵 방식으로 빠른 제1 리드아웃이 수행되면, 제1 픽셀의 스토리지 다이오드(313)는 스토리지 다이오드(313)에 저장된 전하(910)를 플로팅 확산부(315)로 전송한다. 이에 따라, 스토리지 다이오드(313)에 저장된 전하(920)는 플로팅 확산부(315)로 전송 후 빠르게 리드아웃됨으로써, 이미지 센서(310)는 누설 전하가 없는 이미지 전하에 대한 전하값(PR)을 이미지 처리부(320)로 출력할 수 있다.
한편, 제1 픽셀의 스토리지 다이오드(313)는 도 9의 (b)에 도시된 바와 같이, 제2 리드아웃이 수행되는 동안 유입된 누설 전하(930)만 저장된다. 이후, 제2 리드아웃이 수행되면, 제1 픽셀의 스토리지 다이오드(313)는 누설 전하(930)를 플로팅 확산부(315)로 전송한다. 이에 따라, 스토리지 다이오드(313)에 저장된 전하(940)는 플로팅 확산부(315)로 전송 후 리드아웃됨으로써, 이미지 센서(310)는 누설 전하에 대한 전하값(PL)만을 이미지 처리부(320)로 출력할 수 있다.
한편, 복수의 픽셀 중 제1 리드아웃을 수행하지 않는 제2 픽셀의 스토리지 다이오드(313)는 도 9의 (c)에 도시된 바와 같이, 포토 다이오드(311)에서 이동된 전하 및 제2 리드아웃이 수행되는 동안 유입된 누설 전하를 포함하는 전하(950)를 저장한다. 이후, 제2 리드아웃이 수행되면, 제2 픽셀의 스토리지 다이오드(313)는 누설 전하를 포함하는 전하(950)를 플로팅 확산부(315)로 전송한다. 이에 따라, 스토리지 다이오드(313)에 저장된 전하(940)는 플로팅 확산부(315)로 전송 후 리드아웃됨으로써, 이미지 센서(310)는 이미지 전하 및 누설 전하를 포함하는 전하값(PI)을 이미지 처리부(320)로 출력할 수 있다.
도 10은 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 스킵 방식에 기초하여 빛 샘 현상이 발생된 영역을 나타내는 제1 예시도이다.
도 10의 (a)에 도시된 바와 같이, 이미지 센서(310)는 1 리드/3 스킵 방식에 따라, 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한다. 도시된 바와 같이, 제1 및 제2 픽셀(1010,1030)은 제1 리드아웃을 수행하는 픽셀이며, 제1 및 제2 픽셀(1010,1030)과 각각 인접한 제3 및 제4 픽셀(1020,1040)은 제2 리드아웃만을 수행하는 픽셀이 될 수 있다. 이 경우, 이미지 처리부(320)는 이미지 센서(310)에 의해 제1 리드아웃된 제1 픽셀(1010)에 대한 제1 전하값(PR)과 제2 픽셀(1030)에 대한 제2 전하값(PR)을 입력받을 수 있다.
한편, 제1 및 제2 픽셀(1010,1030)을 포함하는 모든 일부 픽셀에 대한 제1 리드아웃이 완료되면, 이미지 센서(310)는 도 10의 (b)에 도시된 바와 같이, 복수의 픽셀에 저장된 전하를 제2 리드아웃한다. 이 경우, 이미지 처리부(320)는 이미지 센서(310)에 의해 제2 리드아웃된 제1 픽셀(1010')에 대한 제1-1 전하값(PL)과 제2 픽셀(1030')에 대한 제2-1 전하값(PL)을 입력받을 수 있다. 여기서, 제1-1 전하값(PL)과 제2-1 전하값(PL)은 제1 리드아웃에 따라 전하가 모두 비워진 제1 및 제2 픽셀(1010',1030')에 제2 리드아웃 동안 유입된 누설 전하에 대한 값이 될 수 있다.
따라서, 이미지 처리부(320)는 제1 픽셀(1010')에 대한 제1-1 전하값(PL)과 제2 픽셀(1030')에 대한 제2-1 전하값(PL) 각각이 기설정된 제1 임계값을 초과하는지 여부를 판단한다. 판단 결과, 제2 픽셀(1030')에 대한 제2-1 전하값(PL)이 제1 임계값을 초과하면, 이미지 처리부(320)는 제1 및 제2 픽셀(1010',1030') 중 제2 픽셀(1030')을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출한다.
한편, 이미지 처리부(320)는 이미지 센서(310)에 의해 제2 리드아웃된 제3 픽셀(1020')에 대한 제3 전하값(PI)과 제4 픽셀(1040')에 대한 제4 전하값(PI)을 입력받을 수 있다. 여기서, 제3 전하값(PI)은 제3 픽셀(1020')에 저장된 이미지 전하에 대한 값이 될 수 있으며, 제4 전하값(PI)은 제4 픽셀(1040')에 저장된 이미지 전하와 제2 리드아웃 동안 유입된 누설 전하를 포함하는 전하에 대한 값이 될 수 있다.
이 경우, 이미지 처리부(320)는 제4 픽셀(1040')의 제4 전하값(PI)과 제4 픽셀(1040')과 인접한 제2 픽셀(1030')의 제1 리드아웃된 제2 전하값(PR)에 기초하여 제4 픽셀(1040')이 빛 샘 현상이 발생한 주변 픽셀인지 여부를 판단할 수 있다. 이 같은 방식을 통해 이미지 처리부(320)는 복수의 픽셀 중 빛 샘 현상이 발생한 주변 픽셀을 검출할 수 있으며, 전술한 바와 같이, 빛 샘 현상이 발생한 주변 픽셀에 대한 보정 전하값을 산출할 수 있다.
도 11은 본 발명의 또다른 실시예에 따른 촬영 장치의 이미지 센서에서 스킵 방식에 기초하여 빛 샘 현상이 발생된 영역을 나타내는 제2 예시도이다.
도 11의 (a)에 도시된 바와 같이, 이미지 센서(310)는 2 리드/ 4 스킵 방식에 따라, 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한다. 도시된 바와 같이, 제1 내지 제4 픽셀을 포함하는 제1 그룹(1110)은 2 리드/ 4 스킵 방식에 따라 제1 리드아웃을 수행하는 픽셀이 될 수 있다. 이 경우, 이미지 처리부(320)는 이미지 센서(310)에 의해 제1 리드아웃된 제1 그룹(1110)의 제1 내지 제4 픽셀 각각에 대한 제1 내지 제4 전하값(PR)을 각각 입력받을 수 있다.
한편, 제1 그룹(110)의 제1 내지 제4 픽셀을 포함하는 모든 일부 픽셀에 대한 제1 리드아웃이 완료되면, 이미지 센서(310)는 도 11의 (b)에 도시된 바와 같이, 복수의 픽셀에 저장된 전하를 제2 리드아웃한다. 이 경우, 이미지 처리부(320)는 이미지 센서(310)에 의해 제2 리드아웃된 제1 그룹(1110')의 제1 내지 제4 픽셀 각각에 대한 전하값(PL)을 각각 입력받을 수 있다. 여기서, 제1 그룹(1110')의 제1 내지 제4 픽셀 각각에 대한 전하값(PL)은 제1 리드아웃에 따라 전하가 모두 비워진 제1 그룹(1110')의 제1 내지 제4 픽셀에 제2 리드아웃 동안 유입된 누설 전하에 대한 값이 될 수 있다.
따라서, 이미지 처리부(320)는 제1 그룹(1110')의 제1 내지 제4 픽셀 각각의 제2 리드아웃된 전하값(PL)이 기설정된 제1 임계값을 초과하는지 여부를 판단한다. 판단 결과, 제1 그룹(1110')의 제1 내지 제4 픽셀 각각의 제2 리드아웃된 전하값(PL)이 제1 임계값을 초과하면, 이미지 처리부(320)는 제1 그룹(1110')의 제1 내지 제4 픽셀을 빛 샘 현상이 발생한 픽셀 픽셀로 검출할 수 있다.
제1 그룹(1110')의 제1 내지 제4 픽셀이 빛 샘 픽셀로 검출되면, 이미지 처리부(320)는 제1 그룹(1110')의 제1 내지 제4 픽셀과 인접한 주변 픽셀의 제2 리드아웃된 전하값(PI)과, 제1 그룹(1110')의 제1 내지 제4 픽셀 각각의 제1 리드아웃된 제1 내지 제4 전하값(PR)에 기초하여 주변 픽셀이 빛 샘 현상이 발생한 픽셀인지 여부를 판단할 수 있다. 이 같은 방식을 통해 이미지 처리부(320)는 복수의 픽셀 중 빛 샘 현상이 발생한 주변 픽셀을 검출할 수 있으며, 전술한 바와 같이, 빛 샘 현상이 발생한 주변 픽셀에 대한 보정 전하값을 산출할 수 있다.
도 12는 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 빛 샘 영역에 대한 보정 영역을 판단하는 예시도이다.
도 11의 (a)에 도시된 바와 같이, 이미지 처리부(320)는 조도 센서부(380)로부터 측정된 조도값을 분석하여 촬영할 피사체 영역(1210)에서 광원 영역이 존재하는지 여부를 판단할 수 있다. 판단 결과, 촬영할 피사체 영역(1210) 중 광원 영역이 존재하는 것으로 판단되면, 이미지 센서(310)는 복수의 픽셀 중 광원 영역이 존재하는 영역과 대응되는 제1 영역(1211)을 빛 샘 현상이 발생하는 영역으로 판단한다. 이후, 이미지 센서(310)는 크롭 방식에 따라 제1 영역(1211)의 각 픽셀에 저장된 전하를 라인별로 순차적으로 제1 리드아웃하여, 제1 영역(1211)의 각 픽셀에 대한 전하값(PR)을 이미지 처리부(320)로 출력한다.
이후, 이미지 센서(310)는 복수의 픽셀에 저장된 전하를 라인별로 순차적으로 제2 리드아웃하여, 복수의 픽셀에 대한 전하값(PI)을 이미지 처리부(320)로 출력한다. 제2 리드아웃된 복수의 픽셀에 대한 전하값(PI)이 입력되면, 이미지 처리부(320)는 입력된 복수의 픽셀에 대한 전하값(PI) 중 제2 리드아웃된 제1 영역(1311)의 픽셀에 대한 전하값(PI)과 제1 리드아웃된 제1 영역(1311)의 각 픽셀에 대한 전하값(PR)에 기초하여 제1 영역(1311)의 각 픽셀에 대한 보정 전하값을 산출할 수 있다.
한편, 도 11의 (b)에 도시된 바와 같이, 이미지 처리부(320)는 촬영할 피사체에 대한 라이브 이미지(1250)를 분석하여 촬영할 피사체 영역(1250)에서 광원 영역이 존재하는지 여부를 판단할 수 있다. 판단 결과, 촬영할 피사체 영역(1250) 중 광원 영역이 존재하는 것으로 판단되면, 이미지 센서(310)는 복수의 픽셀 중 광원 영역이 존재하는 영역과 대응되는 제1 영역(1351)을 빛 샘 현상이 발생하는 영역으로 판단한다. 이후, 이미지 센서(310)는 크롭 방식에 따라 제1 영역(1251)의 각 픽셀에 저장된 전하를 라인별로 순차적으로 제1 리드아웃하여, 제1 영역(1251)의 각 픽셀에 대한 전하값(PR)을 이미지 처리부(320)로 출력한다.
이후, 이미지 센서(310)는 복수의 픽셀에 저장된 전하를 라인별로 순차적으로 제2 리드아웃하여, 복수의 픽셀에 대한 빛샘전하값(PI)을 이미지 처리부(320)로 출력한다. 제2 리드아웃된 복수의 픽셀에 대한 전하값(PI)이 입력되면, 이미지 처리부(320)는 입력된 복수의 픽셀에 대한 전하값(PI) 중 제2 리드아웃된 제1 영역(1251)의 픽셀에 대한 전하값(PI)과 제1 리드아웃된 제1 영역(1251)의 각 픽셀에 대한 전하값(PR)에 기초하여 제1 영역(1251)의 각 픽셀에 대한 보정 전하값을 산출할 수 있다.
도 13은 본 발명의 일 실시예에 따른 촬영 장치의 이미지 센서에서 빛 샘 영역이 존재하지 않는 경우 리드아웃을 수행하는 예시도이다.
도 13의 (a)에 도시된 바와 같이, 복수의 픽셀 중 적어도 하나의 픽셀에 빛 샘 영역이 검출되는 경우, 이미지 센서(310)는 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 복수의 픽셀에 저장된 전하를 제2 리드아웃한다.
한편, 복수의 픽셀 중 적어도 하나의 픽셀에 빛 샘 영역이 검출되지 않는 경우, 도 13의 (b)에 도시된 바와 같이, 이미지 센서(310)는 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한 후, 제1 리드아웃한 일부 픽셀을 제외한 나머지 픽셀에 저장된 전하를 제2 리드아웃한다.
구체적으로, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀의 전하값(PR)이 입력되면, 입력된 일부 픽셀의 전하값(PR) 각각이 기설정된 제3 임계값 미만인지 여부를 판단한다. 판단 결과, 제1 리드아웃된 일부 픽셀의 전하값(PR) 각각이 기설정된 제3 임계값 미만이면, 이미지 처리부(320)는 촬영할 피사체 영역에 광원이 존재하지 않는 것으로 판단한다. 이 같이, 촬영할 피사체 영역이 광원이 존재하지 않는 것으로 판단되면, 이미지 센서(310)는 복수의 픽셀 중 제1 리드아웃된 일부 픽셀을 제외한 나머지 픽셀에 저장된 전하를 제2 리드아웃함으로써, 도 13의 (a)에 비해 복수의 픽셀에 저장된 전하를 제2 리드아웃 하는 시간을 단축할 수 있다. 한편, 이미지 처리부(320)는 제1 리드아웃된 일부 픽셀의 전하값(PR)과 제2 리드아웃된 나머지 픽셀의 전하값(PI)을 이용하여 이미지를 생성한다.
이하에서는, 본 발명에 따른 촬영 장치(300)에서 빛 샘 보정을 수행하는 방법에 대해서 상세히 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 촬영 장치에서 빛 샘 보정을 수행하는 방법의 흐름도이다.
도 14에 도시된 바와 같이, 촬영 장치(300)는 라이브 영상 및 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 이미지 센서에 포함된 복수의 픽셀 중 제1 리드아웃을 수행할 일부 픽셀 및 일부 픽셀에 대한 리드아웃 방식을 결정한다(S1410).
이를 위해, 촬영 장치(300)는 라이브 영상 및 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 빛 샘 영역으로 판단 가능한 광원 영역이 존재하는지 여부를 판단한다. 판단 결과, 빛 샘 영역으로 판단 가능한 광원 영역이 존재하면, 촬영 장치(300)는 크롭 방식으로 복수의 픽셀 중 제1 리드아웃할 일부 픽셀을 결정한다. 한편, 빛 샘 영역으로 판단 가능한 광원 영역이 존재하지 않으면, 촬영 장치(300)는 스킵 방식으로 복수의 픽셀 중 제1 리드아웃할 일부 픽셀을 결정한다. 이때, 촬영 장치(300)는 촬영할 피사체에 대한 라이브 영상 및 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 여러 종류의 리드 스킵(1R3S, 1R5S, … / 1R2S, 1R4S, … / 2R2S, 2R4S, …)방식 중 하나의 방식으로 제1 리드아웃할 일부 픽셀을 결정할 수 있다.
제1 리드아웃할 일부 픽셀이 결정되면, 촬영 장치(300)는 크롭 방식 또는 스킵 방식에 따라 복수의 픽셀 중 일부 픽셀에 저장된 전하를 제1 리드아웃한다(S1420). 일부 픽셀에 대한 제1 리드아웃이 완료되면, 촬영 장치(300)는 복수의 픽셀에 저장된 전하를 제2 리드아웃한다(S1430). 이후, 촬영 장치(300)는 제1 리드아웃된 일부 픽셀의 전하값(PR), 제2 리드아웃된 복수의 픽셀의 전하값(PI) 및 제2 리드아웃된 일부 픽셀의 전하값(PL) 중 적어도 하나에 기초하여 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 그 검출된 픽셀에 대응되는 영역에 대한 보정을 수행한다(S1440,S1450).
이후, 촬영 장치(300)는 빛 샘 현상이 발생한 빛 샘 픽셀 및 나머지 픽셀의 전하값을 이용하여 촬영할 피사체에 대한 이미지를 생성한다(S1460).
구체적으로, 촬영 장치(300)는 제1 리드아웃된 일부 픽셀 각각의 제2 리드아웃된 전하값(PL)과 기설정된 제1 임계값을 비교한다. 비교 결과, 일부 픽셀 중 적어도 하나의 일부 픽셀의 제2 리드아웃된 전하값(PL)이 기설정된 제1 임계값을 초과하면, 해당 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출할 수 있다. 적어도 하나의 일부 픽셀이 빛 샘 픽셀(이하 제1 픽셀이라 함)로 검출되면, 촬영 장치(300)는 빛 샘 픽셀로 검출된 제1 픽셀과 인접한 주변 픽셀(이하 제2 픽셀이라 함)의 제2 리드아웃된 전하값(PI)과, 제1 픽셀의 제1 리드아웃된 전하값(PR)의 차분값을 산출한다. 이후, 촬영 장치(300)는 산출된 차분값과 제1 픽셀의 제2 리드아웃된 빛샘 전하값(PL)의 차이가 기설정된 제2 임계값 미만인지 여부를 판단하여, 제2 임계값 미만이면, 제1 픽셀과 인접한 제2 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 판단한다.
제1 픽셀과 인접한 제2 픽셀이 빛 샘 현상이 발생한 픽셀로 검출되면, 촬영 장치(300)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)에서 기산출된 차분값을 차감하여 제2 픽셀의 보정 전하값을 산출할 수 있다. 뿐만 아니라, 촬영 장치(300)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)에서 제1 픽셀의 제2 리드아웃된 전하값(PL)을 차감하여 제2 픽셀을 보정 전하값을 산출할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 촬영 장치(300)는 주변 빛 샘 픽셀로 영역 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)이 기설정된 제3 임계값 이상이면, 제2 픽셀과 인접한 제1 픽셀의 제1 리드아웃된 전하값(PR)을 제2 픽셀의 보정 전하값으로 산출할 수 있다. 예를 들어, 주변 빛 샘 픽셀로 검출된 픽셀 중 제2 픽셀에 대응되는 영역이 빛 샘 픽셀로 검출된 주변 픽셀보다 많은 양의 누설 전하가 유입될 수 있다. 이 경우, 이미지 처리부(320)는 주변 빛 샘 픽셀로 검출된 제2 픽셀의 제2 리드아웃된 전하값(PI)과 기설정된 제3 임계값을 비교하여 제3 임계값 이상이면, 제2 픽셀과 인접한 제1 픽셀의 제1 리드아웃된 전하값(PR)을 제2 픽셀의 보정 전하값으로 산출할 수 있다.
이후, 촬영 장치(300)는 복수의 픽셀 중 일부 픽셀의 제1 리드아웃된 전하값(PR), 주변 빛 샘 픽셀의 보정 전하값 및 일부 픽셀 및 주변 빛 샘 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성한다. 여기서, 나머지 픽셀의 제2 리드아웃된 전하값(PI)은 나머지 픽셀 각각의 스토리지 다이오드(313)에 누설 전하가 유입되지 않고, 포토 다이오드(311)에서 이동되어 저장된 전하의 값이 될 수 있다.
한편, 촬영 장치(300)는 일부 픽셀의 제1 리드아웃된 전하값(PR)이 기설정된 제4 임계값 미만이면, 일부 픽셀 각각의 제1 리드아웃된 전하값(PR) 및 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성할 수 있다. 여기서, 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)은 나머지 픽셀의 스토리지 다이오드(313)에 포토 다이오드(311)에서 이동되어 저장된 전하의 값이 될 수 있다. 즉, 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)은 전하값(PR)이 될 수 있다.
구체적으로, 촬영 장치(300)는 일부 픽셀 각각의 제1 리드아웃된 전하값(PR)이 기설정된 제4 임계값 미만이면, 복수의 픽셀 각각의 스토리지 다이오드(313)에 누설 전하가 저장되지 않은 것으로 판단한다. 이에 따라, 촬영 장치(300)는 전술한 빛 샘 현상 발생 여부에 대한 검출 과정을 수행하지 않고, 일부 픽셀의 제1 리드아웃된 전하값(PR) 및 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값(PI)을 이용하여 이미지를 생성할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
300 : 촬영 장치 310 : 이미지 센서
311 : 포토 다이오드 313 : 스토리지 다이오드
315 : 플로팅 확산부 320 : 이미지 처리부
330 : 제어부 340 : 신호 생성부
350 : 디스플레이부 360 : 입력부
370 : 통신부 380 : 조도 센서부
390 : 저장부

Claims (20)

  1. 촬영 장치에 있어서,
    복수의 픽셀을 포함하며, 제1 시간 구간에 상기 복수의 픽셀의 전체 부분보다 적은 일부 픽셀에 저장된 전하에 대해 제1 리드아웃을 수행하고, 상기 제1 시간 구간의 후속 시간 구간인 제2 시간 구간에 상기 일부 픽셀을 포함하는 상기 복수의 픽셀에 저장된 전하에 대해 제2 리드아웃을 수행하는 이미지 센서; 및
    상기 제1 리드아웃된 전하값 및 상기 제2 리드아웃된 전하값 중 적어도 하나에 기초하여 상기 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하고, 상기 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하여 이미지를 생성하는 이미지 처리부;
    를 포함하는 촬영 장치.
  2. 제 1 항에 있어서,
    상기 이미지 처리부는,
    상기 일부 픽셀 각각의 제2 리드아웃된 전하값과 기설정된 임계값을 비교하여, 상기 기설정된 임계값을 초과하는 적어도 하나의 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출하는 것을 특징으로 하는 촬영 장치.
  3. 제 2 항에 있어서,
    상기 이미지 처리부는,
    상기 빛 샘 픽셀에 인접한 주변 픽셀의 제2 리드아웃된 전하값과 상기 빛 샘 픽셀의 제1 리드아웃된 전하값으로 차분값을 산출하고,
    상기 산출된 차분값과 상기 빛 샘 픽셀의 제2 리드아웃된 전하값에 기초하여 상기 주변 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출하는 것을 특징으로 하는 촬영 장치.
  4. 제 3 항에 있어서,
    상기 이미지 처리부는,
    상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 차분값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하거나 또는 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 빛 샘 픽셀의 제2 리드아웃된 전하값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하는 것을 특징으로 하는 촬영 장치.
  5. 제 3 항에 있어서,
    상기 이미지 처리부는,
    상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값이 기설정된 임계값 이상이면, 상기 빛 샘 픽셀의 제1 리드아웃된 전하값을 상기 주변 빛 샘 픽셀의 보정 전하값으로 산출하는 것을 특징으로 하는 촬영 장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 이미지 처리부는,
    상기 일부 픽셀의 제1 리드아웃된 전하값, 상기 주변 빛 샘 픽셀의 보정 전하값 및 상기 일부 픽셀 및 상기 주변 빛 샘 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성하는 것을 특징으로 하는 촬영 장치.
  7. 제 3 항에 있어서,
    상기 이미지 처리부는,
    상기 일부 픽셀 각각의 제1 리드아웃된 전하값이 기설정된 임계값 미만이면, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값 및 상기 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성하는 것을 특징으로 하는 촬영 장치.
  8. 제 2 항에 있어서,
    피사체의 조도를 측정하는 조도 센서부;를 더 포함하며,
    상기 이미지 처리부는,
    라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 상기 제1 리드아웃을 수행할 일부 픽셀을 결정하는 것을 특징으로 하는 촬영 장치.
  9. 제 8 항에 있어서,
    상기 이미지 처리부는,
    상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 빛 샘 영역으로 판단 가능한 광원 영역의 존재 여부를 판단하여 상기 광원 영역이 존재하는 경우, 크롭 방식으로 상기 일부 픽셀을 결정하고, 상기 광원 영역이 존재하지 않는 경우, 상기 크롭 방식 또는 상기 크롭 방식과 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀을 결정하는 것을 특징으로 하는 촬영 장치.
  10. 제 9 항에 있어서
    상기 이미지 처리부는,
    상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 복수의 스킵 방식 중 하나의 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀에 대한 다중 리드아웃을 결정하는 것을 특징으로 하는 촬영 장치.
  11. 촬영 장치의 빛 샘 보정 방법에 있어서,
    제1 시간 구간에 복수의 픽셀의 전체 부분보다 적은 일부 픽셀에 저장된 전하에 대해 제1 리드아웃을 수행하는 단계;
    상기 제1 시간 구간의 후속 시간 구간인 제2 시간 구간에 상기 일부 픽셀을 포함하는 상기 복수의 픽셀에 저장된 전하에 대해 제2 리드아웃을 수행하는 단계;
    상기 제1 리드아웃된 전하값 및 상기 제2 리드아웃된 전하값 중 적어도 하나에 기초하여 상기 복수의 픽셀 중 빛 샘 현상이 발생한 픽셀을 검출하는 단계;
    상기 검출된 픽셀에 대응되는 영역에 대한 보정을 수행하는 단계; 및
    상기 빛 샘 현상이 발생된 것으로 검출된 픽셀 및 나머지 픽셀의 전하값을 이용하여 이미지를 생성하는 단계;
    를 포함하는 빛 샘 보정 방법.
  12. 제 11 항에 있어서,
    상기 검출하는 단계는,
    상기 일부 픽셀 각각의 제2 리드아웃된 전하값과 기설정된 임계값을 비교하여, 상기 기설정된 임계값을 초과하는 적어도 하나의 일부 픽셀을 빛 샘 현상이 발생한 빛 샘 픽셀로 검출하는 것을 특징으로 하는 빛 샘 보정 방법.
  13. 제 12 항에 있어서,
    상기 검출하는 단계는,
    상기 빛 샘 픽셀에 인접한 주변 픽셀의 제2 리드아웃된 전하값과 상기 빛 샘 픽셀의 제1 리드아웃된 전하값으로 차분값을 산출하고,
    상기 산출된 차분값과 상기 빛 샘 픽셀의 제2 리드아웃된 전하값에 기초하여 상기 주변 픽셀을 빛 샘 현상이 발생한 주변 빛 샘 픽셀로 검출하는 것을 특징으로 하는 빛 샘 보정 방법.
  14. 제 13 항에 있어서,
    상기 보정을 수행하는 단계는,
    상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 차분값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하거나 또는 상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값에서 상기 빛 샘 픽셀의 제2 리드아웃된 전하값을 차감하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하는 것을 특징으로 하는 빛 샘 보정 방법.
  15. 제 13 항에 있어서,
    상기 보정을 수행하는 단계는,
    상기 주변 빛 샘 픽셀의 제2 리드아웃된 전하값이 기설정된 임계값 이상이면, 상기 빛 샘 픽셀의 제1 리드아웃된 전하값에 기초하여 상기 주변 빛 샘 픽셀의 보정 전하값을 산출하는 것을 특징으로 하는 빛 샘 보정 방법.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 이미지를 생성하는 단계는,
    상기 일부 픽셀의 제1 리드아웃된 전하값, 상기 주변 빛 샘 픽셀의 보정 전하값 및 상기 일부 픽셀 및 상기 주변 빛 샘 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성하는 것을 특징으로 하는 빛 샘 보정 방법.
  17. 제 13 항에 있어서,
    상기 이미지를 생성하는 단계는,
    상기 일부 픽셀 각각의 제1 리드아웃된 전하값이 기설정된 임계값 미만이면, 상기 일부 픽셀 각각의 제1 리드아웃된 전하값 및 상기 일부 픽셀을 제외한 나머지 픽셀의 제2 리드아웃된 전하값을 이용하여 이미지를 생성하는 것을 특징으로 하는 빛 샘 보정 방법.
  18. 제 12 항에 있어서,
    라이브 영상 및 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 상기 제1 리드아웃을 수행할 일부 픽셀 및 리드아웃 방식을 결정하는 단계;
    를 더 포함하는 것을 특징으로 하는 빛 샘 보정 방법.
  19. 제 18 항에 있어서,
    상기 결정하는 단계는,
    상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 빛 샘 영역으로 판단 가능한 광원 영역의 존재 여부를 판단하여 상기 광원 영역이 존재하는 경우, 크롭 방식으로 상기 일부 픽셀을 결정하고, 상기 광원 영역이 존재하지 않는 경우, 상기 크롭 방식 또는 상기 크롭 방식과 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀을 결정하는 것을 특징으로 하는 빛 샘 보정 방법.
  20. 제 19 항에 있어서
    상기 결정하는 단계는,
    상기 라이브 영상 및 상기 조도 센서부로부터 측정된 조도값 중 적어도 하나를 분석하여 복수의 스킵 방식 중 하나의 스킵 방식으로 상기 제1 리드아웃할 일부 픽셀에 대한 다중 리드아웃을 결정하는 것을 특징으로 하는 빛 샘 보정 방법.
KR1020150016019A 2015-02-02 2015-02-02 빛 샘 보정을 위한 촬영 장치 및 방법 KR102301620B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150016019A KR102301620B1 (ko) 2015-02-02 2015-02-02 빛 샘 보정을 위한 촬영 장치 및 방법
US15/001,606 US9900531B2 (en) 2015-02-02 2016-01-20 Photographing apparatus and method for the light leakage correction
EP16153573.7A EP3051798B1 (en) 2015-02-02 2016-02-01 Photographic apparatus and method for the light leakage correction
CN201610073372.6A CN105847712B (zh) 2015-02-02 2016-02-02 拍摄设备以及用于漏光校正的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016019A KR102301620B1 (ko) 2015-02-02 2015-02-02 빛 샘 보정을 위한 촬영 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160094696A KR20160094696A (ko) 2016-08-10
KR102301620B1 true KR102301620B1 (ko) 2021-09-14

Family

ID=55315313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016019A KR102301620B1 (ko) 2015-02-02 2015-02-02 빛 샘 보정을 위한 촬영 장치 및 방법

Country Status (4)

Country Link
US (1) US9900531B2 (ko)
EP (1) EP3051798B1 (ko)
KR (1) KR102301620B1 (ko)
CN (1) CN105847712B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550584B1 (ko) * 2015-05-19 2023-06-30 매직 립, 인코포레이티드 세미-글로벌 셔터 이미저
JP2020061605A (ja) * 2018-10-05 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置と駆動方法および電子機器
CN113938677B (zh) * 2021-12-16 2022-03-11 深圳市海瑞洋科技有限公司 一种微创内窥镜摄像模组成像标准自动化测试系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312169A (ja) 2007-06-18 2008-12-25 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2009141583A (ja) 2007-12-05 2009-06-25 Canon Inc 撮像装置
JP2011029835A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置とその駆動方法、及び電子機器
JP2012169830A (ja) * 2011-02-14 2012-09-06 Sony Corp 画像処理装置、画像処理方法、および電子機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328421A (ja) 2004-05-17 2005-11-24 Sony Corp 撮像装置および撮像方法
JP5045380B2 (ja) * 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
EP2587794B1 (en) 2008-04-07 2022-05-04 Cmosis NV Pixel and pixel array with global shutter
JP5268448B2 (ja) * 2008-06-26 2013-08-21 キヤノン株式会社 撮像装置、その画像処理方法及びプログラム
US8971659B2 (en) * 2008-08-05 2015-03-03 Qualcomm Incorporated Bad pixel cluster detection
US8130289B2 (en) * 2008-09-25 2012-03-06 Aptima Imaging Corporation System, method, and apparatus for correction of dark current error in semiconductor imaging devices
TWI433307B (zh) * 2008-10-22 2014-04-01 Sony Corp 固態影像感測器、其驅動方法、成像裝置及電子器件
JP5254762B2 (ja) * 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
KR101703746B1 (ko) 2010-06-04 2017-02-08 삼성전자주식회사 빛 샘 보상을 하는 단위이미지센서, 상기 단위이미지센서로 구현된 이미지센서어레이 및 상기 이미지센서어레이의 빛 샘 보상방법
US9473714B2 (en) 2010-07-01 2016-10-18 Semiconductor Energy Laboratory Co., Ltd. Solid-state imaging device and semiconductor display device
JP5126305B2 (ja) * 2010-07-02 2013-01-23 株式会社ニコン 固体撮像素子
JP5306298B2 (ja) * 2010-09-01 2013-10-02 株式会社東芝 画像処理装置
JP2013077945A (ja) * 2011-09-30 2013-04-25 Sony Corp 画像処理装置、補正方法、並びに、撮像装置
JP5987326B2 (ja) 2012-01-23 2016-09-07 ソニー株式会社 固体撮像素子および信号処理方法、並びに電子機器
JP2014023114A (ja) 2012-07-23 2014-02-03 Nikon Corp 撮像装置およびプログラム
KR20140024707A (ko) * 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
WO2014087808A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
CN103716603A (zh) * 2013-12-24 2014-04-09 北京淳中视讯科技有限公司 图像融合处理的相机辅助校正方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312169A (ja) 2007-06-18 2008-12-25 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2009141583A (ja) 2007-12-05 2009-06-25 Canon Inc 撮像装置
JP2011029835A (ja) * 2009-07-23 2011-02-10 Sony Corp 固体撮像装置とその駆動方法、及び電子機器
JP2012169830A (ja) * 2011-02-14 2012-09-06 Sony Corp 画像処理装置、画像処理方法、および電子機器

Also Published As

Publication number Publication date
KR20160094696A (ko) 2016-08-10
EP3051798B1 (en) 2017-07-19
CN105847712B (zh) 2019-07-26
US9900531B2 (en) 2018-02-20
EP3051798A1 (en) 2016-08-03
US20160227136A1 (en) 2016-08-04
CN105847712A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
US9948879B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
KR102121531B1 (ko) 초점검출 가능한 이미지 센서 제어장치 및 방법.
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
US20180089811A1 (en) Image processing apparatus, and image processing method
US10134787B2 (en) Photographing apparatus for preventing light leakage and image sensor thereof
US20160006925A1 (en) Image pickup element, method for controlling image pickup element, and image pickup apparatus
JPWO2012057277A1 (ja) 撮像装置及びその暗電流補正方法
KR102301620B1 (ko) 빛 샘 보정을 위한 촬영 장치 및 방법
US8155472B2 (en) Image processing apparatus, camera, image processing program product and image processing method
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6482318B2 (ja) 光学式変位計
KR20160019215A (ko) 촬영 장치 및 그 촬영 방법
US20180115728A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5640316B2 (ja) 撮像装置
US11212440B2 (en) Image pickup apparatus, image pickup method, and recording medium by performing alignment and combining processing
US9692981B2 (en) Image pickup apparatus with emission unit, control method therefor, and storage medium storing control program therefor
US9185310B2 (en) Solid-state imaging device, illuminance measuring method performed by solid-state imaging device, and camera module
JP2020031259A (ja) 撮像装置及びその制御方法
JP2009124421A (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP2016126046A (ja) 焦点検出装置及び焦点検出方法
US20180184029A1 (en) Image capturing apparatus and control method therefor
JP4886473B2 (ja) 撮像装置および撮像方法
JP2010199893A (ja) 撮像装置及びプログラム
JP2007096535A (ja) 撮影装置及び欠陥画素検出方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant