KR100574890B1 - 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법 - Google Patents

이미지센서 및 이미지센서의 플리커 노이즈 검출 방법 Download PDF

Info

Publication number
KR100574890B1
KR100574890B1 KR1020040029016A KR20040029016A KR100574890B1 KR 100574890 B1 KR100574890 B1 KR 100574890B1 KR 1020040029016 A KR1020040029016 A KR 1020040029016A KR 20040029016 A KR20040029016 A KR 20040029016A KR 100574890 B1 KR100574890 B1 KR 100574890B1
Authority
KR
South Korea
Prior art keywords
value
exposure time
flicker noise
pixel
minimum
Prior art date
Application number
KR1020040029016A
Other languages
English (en)
Other versions
KR20050103733A (ko
Inventor
김기용
김찬기
Original Assignee
매그나칩 반도체 유한회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매그나칩 반도체 유한회사 filed Critical 매그나칩 반도체 유한회사
Priority to KR1020040029016A priority Critical patent/KR100574890B1/ko
Priority to US10/879,556 priority patent/US7420595B2/en
Priority to JP2004349956A priority patent/JP4632766B2/ja
Publication of KR20050103733A publication Critical patent/KR20050103733A/ko
Application granted granted Critical
Publication of KR100574890B1 publication Critical patent/KR100574890B1/ko
Priority to US12/874,820 priority patent/USRE44062E1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B1/00—Border constructions of openings in walls, floors, or ceilings; Frames to be rigidly mounted in such openings
    • E06B1/70—Sills; Thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2800/00—Details, accessories and auxiliary operations not otherwise provided for
    • E05Y2800/45—Manufacturing
    • E05Y2800/455—Extrusion
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B1/00—Border constructions of openings in walls, floors, or ceilings; Frames to be rigidly mounted in such openings
    • E06B1/04—Frames for doors, windows, or the like to be fixed in openings
    • E06B1/26—Frames of plastics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Facsimile Heads (AREA)
  • Image Input (AREA)

Abstract

본 발명은 플리커 노이즈가 생기는 모든 경우에 대해서 플리커를 자동으로 제거할 수 있는 향상된 자동 플리커 제거 기능을 갖는 이미지센서와 이미지센서의 플리커 노이즈 검출 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 빛에 반응하는 성질을 극대화시키도록 화소를 행(row) N개, 열(column) M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 화소 배열부; 플리커 노이즈 검출을 위해 상기 화소 배열부의 행이 확장된 구조로 행 X개(X는 짝수), 열 M개로 화소를 배치하며, 각각 한쌍의 행이 동일한 노출 시간을 갖도록 배치된 플리커 노이즈 검출용 화소부; 및 상기 플리커 노이즈 검출용 화소부에 대한 노출 시점을 제어하며, 상기 플리커 노이즈 검출용 화소부의 출력을 통해 플리커 노이즈를 검출하기 위한 플리커 노이즈 검출부를 포함하는 이미지센서를 제공한다.
또한, 본 발명은 이미지센서의 플리커 노이즈 검출 방법을 제공한다.
이미지센서, 플리커 노이즈, 노출 시간, 노출 시기, 광원.

Description

이미지센서 및 이미지센서의 플리커 노이즈 검출 방법{IMAGE SENSOR AND METHOD FOR DETECTION OF FLICKER NOISE OF THE SAME}
도 1은 종래기술에 따른 일반적인 이미지센서의 구성을 개략적으로 도시한 블럭도.
도 2는 플리커 현상이 나타나는 다양한 경우의 예를 도시한 그래프.
도 3은 본 발명의 이미지센서를 도시한 블럭도.
도 4는 프레임의 길이가 광원의 주파수의 정수배가 될 시에 노출시기를 다르게 할 경우의 플리커 검출 예를 도시한 그래프.
도 5는 본 발명의 일실시예에 따른 플리커 검출을 위한 알고리즘을 도시한 플로우 챠트.
* 도면의 주요부분에 대한 부호의 설명 *
30 : 화소 배열부 31 : 노이즈 검출용 화소부
32 : 플리커 노이즈 검출부 33 : 제어 및 외부 시스템 인터페이스부
34 : 아날로그 라인 버퍼부 35 : 아날로그 버스
36 : 칼럼 디코더 37 : 아날로그 신호 처리부
38 : 디지털 신호 처리부
본 발명은 이미지센서(Image sensor)에 관한 것으로, 특히 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서에 관한 것으로, 더욱 상세하게는 자동적으로 플리커 노이즈(Flicker noise)를 제거하기 위해 더욱 향상된 기능을 추가한 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법에 관한 것이다.
이미지센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 재생해내는 장치를 나타내는 바, 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 감지하여 전기적인 값을 읽어내는 장치이다, 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 이미지센서의 역할이다.
즉, 이미지센서라 함은 광학 영상(Optical image)을 전기 신호로 변환시키는 반도체 소자로서, 이 중 전하결합소자(CCD; Charge Coupled Device)는 개개의 MOS 캐패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 캐패시터에 저장되고 이송되는 소자이며, CMOS 이미지센서는 제어회로(Control circuit) 및 신호처리회로(Signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력(Output)을 검출하 는 스위칭 방식을 채용하는 소자이다, CMOS 이미지센서는 저전력 소비라는 큰 장점을 가지고 있기 때문에 휴대폰 등 개인휴대용 시스템에 매우 유용하다. 따라서, 이미지센서는 PC(Personal Computer)용 카메라, 의학용, 완구용 등 다양하게 그 응용이 가능하다.
도 1은 종래기술에 따른 일반적인 이미지센서의 구성을 개략적으로 도시한 블럭도이다.
도 1을 참조하면, 이미지센서는 제어 및 외부시스템 인터페이스부(10)와, 화소 배열부(Pixel array, 11)와, 아날로그 라인 버퍼부(12)와, 칼럼 디코더(13)와, 아날로그버스(14)와, 아날로그 신호 처리부(Analog Signal Processor; 이하 ASP라 함, 15)와, 디지털 신호 처리부(Digital Signal Processor; 이하 DSP라 함, 16)를 구비하여 구성된다.
ASP(15)는 가변증폭부와, 아날로그-디지털 변환부(Analog to Digital Converter; 이하 ADC라 함) 등을 포함하고, DSP(16)는 오류 보정(Error correction), 색상 보간(Color interpolation), 감마 보정(Gamma correction), 색 공간 변환(Color space conversion) 등의 기능을 수행한다.
이하, 전술한 이미지센서를 구성하는 각 구성 요소들의 동작을 자세히 살펴본다.
화소 배열부(11)는 빛에 반응하는 성질을 극대화시키도록 화소(Pixel)를 행(row) N개, 열(column) M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체적인 이미지센서의 가장 핵심적인 부분이며, 제어 및 외부시스템 인터페이스부(10)는 FSM(Finite State Machine)을 이용하여 이미지센서의 이미지센서의 전체적인 동작을 제어하며, 외부 시스템에 대한 인터페이스 동작을 담당하는 바, 배치 레지스터(도시하지 않음)를 갖고 있어 여러가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어하는 역할을 한다.
아날로그 라인 버퍼부(12)는 선택된 한 행의 화소들의 전압을 감지하여 저장하는 역할을 하며, 아날로그 라인 버퍼부(12)에 저장된 아날로그 데이터는 열 디코더(13)의 제어에 의해 선택된 열 데이터 값이 아날로그 버스(14)를 통해 ASP(15)의 가변증폭부로 전송된다.
가변증폭부 예컨대, PGA(Programmable Gain Amplifier)는 아날로그 라인 버퍼부(12)에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 하며, 가변증폭부를 거친 아날로그 데이터는 색상 보정 등의 과정을 거친 후, ADC를 통해 디지털 값으로 변환되며, 다시 DSP(16)에서 전술한 과정을 거친 후 4:2:2 또는 4:4:4 등의 비디오 규격에 맞게 변환한다.
한편, 이미지센서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압(Offset voltage)에 의한 고정 패턴 잡음(Fixed pattern noise)이 발생한다. 이러한 고정 패턴 잡음을 보상하기 위해 이미지센서는 화소 배열부(11)의 각 화소에서 리셋 신호(Reset voltage signal)를 읽고 데이터 신호(Data voltage signal)를 읽은 후 그 차를 출력하는 상호 연관된 이중 샘플링(Correlated Double Sampling; 이하 CDS라 함) 방식을 사용한다.
이미지센서의 응용분야는 스틸 카메라(Still-camera), PC 카메라(Personal computer camera), 의학용, 완구용, 휴대용 단말기 등 다양하다. 광원이 다르면 플리커 노이즈가 나타나게 되는데, 대부분의 경우 광원에 상관없이 사용하기를 요구하므로 자동적으로 플리커 노이즈를 제거하는 기능을 필요하다.
CMOS 이미지센서의 경우 센서가 빛에 노출되는 시간을 조절함으로 인해 이미지를 얻어내게 되어 있다. 문제는 이 노출 시간이 광원의 주파수와 비교하여 정수배로 노출 시간을 가져가면, 아무런 문제가 생기지 않으나, 광원의 주파수와 상이한 노출 시간을 가지게 되면, 라인별로 데이터를 가져가는 CMOS 이미지센서의 경우 각 라인별로 받아 들이는 빛의 양이 틀리게 되어서, 결국 최종 이미지는 줄이 가 있는 것처럼 보이게 되는데 이를 플리커 노이즈라고 한다.
도 2는 플리커 현상이 나타나는 다양한 경우의 예를 도시한 그래프이다. 도 2에서 '노출시간'은 프레임 내의 한 라인(행 라인)이 빛을 받는 시간을 의미하며, '프레임'은 이미지 센서로 촬영된 하나의 이미지에 해당하는 것으로 복수의 행 및 열 라인으로 이루어진다.
도 2의 (a)를 참조하면, 입력받는 빛의 양(즉, 에너지)과 센서의 노출시간이 동일한 주파수를 가질 경우의 시간에 따른 빛 에너지의 변화가 도시되어 있다. 이 경우에는 각 라인마다 받아들이는 에너지의 양이 동일하게 되므로 출력되는 이미지가 정상적으로 나타나게 된다.
도 2의 (b)를 참조하면, 에너지와 노출시간이 틀린 주파수를 가지는 경우로, 노출시간이 광원의 주파수보다 작은 경우를 나타내고 있다. 여기서, 에너지의 주파수가 노출시간의 주파수보다 클 경우, 즉 시간으로 보면 더 작은 시간 주기로 변하는 경우를 보여 준다.
도 2의 (c)를 참조하면, 반대로 에너지의 주파수가 노출시간의 주파수보다 작을 경우 즉, 시간으로 보면 더 긴 시간 주기로 변하는 경우를 나타내고 있다. 어떠한 경우든 이미지에는 플리커가 나타나게 된다. 특히, 플리커 노이즈가 생길 때 이미지에 생기는 줄이 위 또는 아래로 흘러가는 경우가 있는가 하면, 이미지에 생기는 줄이 고정되어 있는 경우가 생기기도 한다. 이러한 고정된 플리커 노이즈가 발생하게 되면 실제 이미지와 노이즈를 구분하기가 어렵다.
도 2의 (d)와 도 2의 (e)를 참조하면, 이미지에 고정된 플리커 노이즈가 나타나는 경우를 나타내고 있다. 이러한 경우 첫번째 프레임과 두번째 프레임에 나타나는 플리커 노이즈의 크기는 노출 시간과 광원의 주파수 사이의 관계가 어떻든 간에 같은 크기가 된다. 이러한 경우 고정된 플리커 이미지가 생기는 경우가 되며 통상의 알고리즘과 같이 프레임 마다 다른 양의 플리커 노이즈 크기를 이용하여 플리커 검출을 한다면, 이러한 경우에는 플리커 노이즈를 검출할 수 없게 되는 것이다.
따라서, 전술한 바와 같이 플리커가 생기는 모든 경우에 대해서 플리커를 제거해야 할 필요가 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 플리커 노이즈가 생기는 모든 경우에 대해서 플리커를 자동으로 제거할 수 있는 향상된 자동 플리커 제거 기능을 갖는 이미지센서와 이미지센서의 플리커 노이즈 검출 방법을 제공하는 것을 그 목적으로 한다.
상기의 목적을 달성하기 위해 본 발명은, 빛에 반응하는 성질을 극대화시키도록 화소를 행
행 N개, 열 M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 화소 배열부; 플리커 노이즈 검출을 위해 상기 화소 배열부의 행이 확장된 구조로 행 X개(X는 짝수), 열 M개로 화소를 배치하며, 각각 한쌍의 행이 동일한 노출 시간을 갖도록 배치된 플리커 노이즈 검출용 화소부; 및 상기 플리커 노이즈 검출용 화소부에 대한 노출 시점을 제어하며, 상기 플리커 노이즈 검출용 화소부의 출력을 통해 플리커 노이즈를 검출하기 위한 플리커 노이즈 검출부를 포함하는 이미지센서를 제공한다.
또한, 상기의 목적을 달성하기 위해 본 발명은, 제1노출 시간을 갖는 한 쌍의 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하며, 제2노출 시간을 갖는 다른 복수의 한 쌍의 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하는 단계; 각 화소 행의 각 1회의 이미지에 대한 정보의 평균값을 각각 산출하는 단계; 상기 각 화소 행의 복수회에서의 각 평균값을 비교하여 최대값과 최소값을 산출하는 단계; 제1노출 시간을 갖는 화소 행에서의 최대값에서 최소값을 뺀 제1감산값을 산출하고, 상기 제1노출 시간을 갖는 다른 각 화소 행에서의 최대값에서 최소값을 뺀 제2감산값을 비교하여 그 중 작은 제1최소 감산값을 출력하는 단계; 제2노출 시간을 갖는 화소 행에서의 최대값에서 최소값을 뺀 제3감산값을 산출하고, 상기 제2노출 시간을 갖는 다른 각 화소 행에서의 최대값에서 최소값을 뺀 제4감산값을 비교하여 그 중 작은 제2최소 감산값을 출력하는 단계; 및 상기 제1최소 감산값과 상기 제2최소 감산값의 대소를 비교하여 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계를 포함하는 이미지센서의 플리커 노이즈 검출 방법을 제공한다.
또한, 상기의 목적을 달성하기 위하여 본 발명은, 제1노출 시간을 갖는 제1 및 제2 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하며, 제2노출 시간을 갖는 제3 및 제4 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하는 단계; 상기 제1 내지 제4 화소 행의 각 1회의 이미지에 대한 정보의 평균값을 각각 산출하는 단계; 상기 제1 내지 제4 화소 행의 복수회에서의 각 평균값을 비교하여 최대값과 최소값을 산출하는 단계; 상기 제1화소 행에서의 최대값에서 최소값을 뺀 제1감산값을 산출하고, 상기 제2 화소 행에서의 최대값에서 최소값을 뺀 제2감산값을 비교하여 그 중 작은 제1최소 감산값을 출력하는 단계; 상기 제3 화소 행에서의 최대값에서 최소값을 뺀 제3감산값을 산출하고, 상기 제4 화소 행에서의 최대값에서 최소값을 뺀 제4감산값을 비교하여 그 중 작은 제2최소 감산값을 출력하는 단계; 및 상기 제1최소 감산값과 상기 제2최소 감산값의 대소를 비교하여 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계를 포함하는 이미지센서의 플리커 노이즈 검출 방법을 제공한다.
본 발명은 플리커 노이즈가 발생하는 모든 경우에 대해서 자동적으로 플리커를 제거해 주는 기능을 할 수 있게 하였다. 이를 위한 본 발명의 가장 큰 특징은 각 라인 마다 노출 시간의 온/오프를 조절할 수 있다는 것이다. 플리커 검출을 위한 전용 라인을 기존 화소부에 추가한 뒤, 화소 배열부의 기능에 상관없이 독립적인 동작을 수행할 수 있도록 하면서, 각 검출을 위한 전용라인의 노출 시간을 인위적으로 온/오프시켜 특정한 플리커 노이즈만을 검출할 수 있었던 기존의 방식들을 보완하여 거의 모든 경우에 해당하는 플리커 노이즈를 검출할 수 있도록 하였다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
플리커가 일어나는 현상은 광원의 주파수와 센서의 노출시간의 주파수가 다르기 때문에 일어나는 현상이라 하였다. 광원이란 우리가 일상생활에서 사용하는 빛 발생체를 말한다. 태양도 광원이며 형광등 역시 광원이 된다. 태양광의 경우 그 주파수가 상당히 높아서 노출시간이 항상 태양광 주기의 수천배 이상이 되므로, 태양광 아래에서는 플리커 현상이 발생하지 않는다. 그러나, 형광등의 경우 주파수가 50Hz 또는 60Hz이기 때문에 보통 수십 ms의 노출시간을 갖는 이미지센서에 있어서 플리커 현상의 원인이 된다.
CMOS 이미지센서에서 플리커를 제거하기 위해서 여러가지 방법을 사용하는 이유는 화소로부터 데이터를 추출하는 방법이 한 라인씩 읽어가는 방법을 취하기 때문이다. 각 라인마다 동일한 노출시간을 적용하기 때문에 노출시간이 광원의 주파수와 틀리게 되면, 각각의 라인마다 광원에 의해서 형성된 에너지의 양이 노출시간과 틀리게 되어 같은 양의 에너지가 입력되는 것이 아니라 다른 양의 에너지가 입력되어 플리커가 나타나게 되는 것이다.
본 발명에서는 기본적인 플리커 현상에 더하여 특정한 경우의 플리커 현상도 자동적으로 검출할 수 있다. 플리커 현상이란 이미지에 줄이 가는 현상이라고 하였다. 일반적인 경우 이미지에 형성된 줄은 아래나 위로 흘러가게 되므로, 이미지에 맺힌 상과는 화연히 구분이 가게 된다. 그러나, 프레임의 길이가 광원의 주파수와 정수배가 될 경우에는 이미지에 형성된 줄이 가는 현상은 아래나 위로 흐르지 않고, 마치 체크 무늬를 비출 때와 동일한 이미지가 되어서 플리커를 검출하는 것이 어려웠다. 본 발명에서는 이 현상까지도 검출할 수 있다.
도 3은 본 발명의 이미지센서를 도시한 블럭도이다.
도 3을 참조하면, 본 발명의 이미지센서는 빛에 반응하는 성질을 극대화시키도록 화소를 행 N개, 열 M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 화소 배열부(30)와, 플리커 노이즈 검출을 위해 화소 배열부(30)의 행이 확장된 구조로 행 X개(X는 짝수), 열 M개로 화소를 배치하며, 각각 한쌍의 행이 동일한 노출 시간을 갖도록 배치된 플리커 노이즈 검출용 화소부(31)와, 플리커 노이즈 검출용 화소부(31)에 대한 노출 시점을 제어하며, 플리커 노이즈 검출용 화소부(31)의 출력을 통해 플리커 노이즈를 검출하기 위한 플리커 노이즈 검출부(32)와, 제어 및 외부시스템 인터페이스부(33)와, 아날로그 라인 버퍼부(34)와, 칼럼 디코더(36)와, 아날로그 버스(35)와, 아날로그 신호 처리부(이하 ASP라 함, 37)와, 디지털 신호 처리부(이하 DSP라 함, 38)를 구비하여 구성된다.
ASP(37)는 가변증폭부와, 아날로그-디지털 변환부(이하 ADC라 함) 등을 포함하고, DSP(38)는 오류 보정, 색상 보간, 감마 보정, 색 공간 변환 등의 기능을 수행한다.
이하, 전술한 이미지센서를 구성하는 각 구성 요소들의 동작을 자세히 살펴본다.
화소 배열부(30)는 빛에 반응하는 성질을 극대화시키도록 화소(Pixel)를 가행 N개, 세로 M개(N,M은 정수)로 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체적인 이미지센서의 가장 핵심적인 부분이며, 플리커 노이즈 검출용 화소부(31)는, 각 한쌍의 행이 서로 다른 노출 시점을 갖도록 하나의 프레임 동안 이미지에 대한 정보를 감지하며, 다음 프레임에서는 상기 각 한쌍의 행의 노출 시점을 달리하여 이미지에 대한 정보를 감지하는 바, 복수의 프레임 동안 노출 시점을 변경하며 동작한다.
제어 및 외부시스템 인터페이스부(33)는 FSM(Finite State Machine)을 이용하여 이미지센서의 이미지센서의 전체적인 동작을 제어하며, 외부 시스템에 대한 인터페이스 동작을 담당하는 바, 배치 레지스터(도시하지 않음)를 갖고 있어 여러가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어하는 역할을 한다.
아날로그 라인 버퍼부(34)는 선택된 한 행의 화소들의 전압을 감지하여 저장하는 역할을 하며, 아날로그 라인 버퍼부(34)에 저장된 아날로그 데이터는 칼럼 디코더(36)의 제어에 의해 선택된 열 데이터 값이 아날로그 버스(35)를 통해 ASP(37)의 가변증폭부로 전송된다.
가변증폭부 예컨대, PGA는 아날로그 라인 버퍼부(34)에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 하며, 가변증폭부를 거친 아날로그 데이터는 색상 보정 등의 과정을 거친 후, ADC를 통해 디지털 값으로 변환되며, 다시 DSP(38)에서 전술한 과정을 거친 후 4:2:2 또는 4:4:4 등의 비디오 규격에 맞게 변환한다.
한편, 이미지센서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압에 의한 고정 패턴 잡음이 발생한다. 이러한 고정 패턴 잡음을 보상하기 위해 이미지센서는 화소 배열부(30)의 각 화소에서 리셋 신호를 읽고 데이터 신호를 읽은 후 그 차를 출력하는 CDS 방식을 사용한다.
전술한 도 3의 구성에서 알 수 있듯이 본 발명에서 사용한 이미지센서는 실제적으로 이미지로 맺혀지는 화소 배열부(30) 외에 동일한 화소이지만, 플리커 검출 만을 위한 플리커 노이즈 검출용 화소부(31)의 일예로 화소를 4라인 만들었다.
이 플리커 노이즈 검출용 화소부(31)의 값을 받아 플리커 여부를 확인하는 플리커 노이즈 검출부(32)를 두었으며, 이를 통해 서로 상이한 노출 시기를 주게 된다.
도 4는 프레임의 길이가 광원의 주파수의 정수배가 될 시에 노출시기를 다르게 할 경우의 플리커 검출 예를 도시한 그래프이다. 도 4에서 '노출시간'은 프레임 내의 한 라인(행 라인)이 빛을 받는 시간을 의미하며, '프레임'은 이미지 센서로 촬영된 하나의 이미지에 해당하는 것으로 복수의 행 및 열 라인으로 이루어진다.
도 4의 (a)에서는 프레임(Frame)의 길이가 광원의 주파수의 정수배와 같은 경우 왜 플리커 검출을 할 수 없는 지를 나타내고 있다. 플리커가 형성된 2개의 프레임을 비교하여, 프레임의 길이가 광원의 주파수의 정수배가 아닌 경우에는 광원과 상이한 노출시간에 의해 첫번째 프레임이 두번째 프레임의 에너지 양이 다르게 된다.
따라서, 서로 다른 두개의 에너지 양을 비교하여 플리커인지 아닌지를 구분하는 것이다. 그러나, 프레임의 길이가 광원의 주파수의 정수배가 되는 경우에는 첫번째 프레임과 두번째 프레임에서 같은 위치에 있는 라인의 노출시기(노출시작점)을 동일하게 할 경우 실제 각 라인에 센서가 노출되는 동안 입력되는 에너지 양이 똑같게 되어서 플리커인지 구별할 수가 없는 것이다.
이러한 플리커를 검출하기 위해서는 서로 상이한 노출 시기를 적용하여야 한다. 도 4의 (b)는 상이한 노출 시기를 적용한 예를 보여주고 있다. 노출 시기를 각 라인 마다 다르게 설정하면, 프레임의 길이가 광원의 정수배가 된다고 해도 플리커를 검출할 수가 있다.
이하에서는, 본 발명에서 제시하는 플리커 노이즈 알고리즘을 살펴 보는 바, 본 발명에서는 노출 시점을 조절함으로써 기존의 방법과는 달리 프레임의 길이가 광원 주파수의 정수배에 해당하는 경우에서도 플리커 노이즈를 검출할 수 있도록 한다.
먼저, 동일한 광원 A를 사용하는 즉, 광원 A에 해당하는 노출 시간 't1'을 갖는 A1,A2의 한 쌍의 화소 행이 있으며, 동일한 광원 B를 사용하는 즉, 광원 B에 해당하는 노출 시간 't2'을 갖는 B1,B2의 한 쌍의 화소 행이 있다고 가정한다.
먼저, A1과 A2의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지한다. 예컨대, A1의 노출 시점이 광원의 파장의 1/4시점이라면, A2는 3/4이점으로 한다. 이어서, 이를 반복 실시하며, 반복 실시하는 단계에서 각 화소의 노출 시점을 변경하여 실시한다.
이 때, B1과 B2의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지한다. 예컨대, B1의 노출 시점이 광원의 파장의 1/4시점이라면, B2는 3/4이점으로 한다. 이어서, 이를 반복 실시하며, 반복 실시하는 단계에서 각 화소의 노출 시점을 변경하여 실시한다.
이어서, 각 화소 행의 각 1회의 이미지에 대한 정보의 평균값을 각각 산출하고, 각 화소 행의 복수회에서의 각 평균값을 비교하여 최대값과 최소값을 산출한 다음, 노출 시간 't1'을 갖는 화소 행 A1에서의 최대값에서 최소값을 뺀 제1감산값을 산출하고, 노출 시간 't1'을 갖는 다른 각 화소 행 A2에서의 최대값에서 최소값을 뺀 제2감산값을 비교하여 그 중 작은 제1최소 감산값을 출력한다.
또한, 노출 시간 't2'를 갖는 화소 행 B1에서의 최대값에서 최소값을 뺀 제3감산값을 산출하고, 노출 시간 't2'를 갖는 화소 행 B2에서의 최대값에서 최소값을 뺀 제4감산값을 비교하여 그 중 작은 제2최소 감산값을 출력한다.
이어서, 제1최소 감산값과 제2최소 감산값의 대소를 비교하여 플리커 노이즈 에 해당하는 노출 시간을 결정하게 된다.
플리커 노이즈에 해당하는 노출 시간을 결정할 때, 제1최소 감산값과 제2최소 감산값 중 큰 값을 갖는 노출 시간이 플리커 노이즈에 해당하며, 제1최소 감산값과 제2최소 감산값 중 작은 값을 갖는 노출 시간에 해당하는 광원이 실제 광원에 해당한다.
제1최소 감산값과 제2최소 감산값은, 미세한 외부 환경의 변화에 반응하는 오류 동작을 방지하기 위한 신호 변환 최저값 보다는 크며, 각 화소 행에서의 하나의 노출 시점에서의 이미지에 대한 정보를 감지한 다음, 각 화소 행의 평균값을 각각 산출한다.
한편, 전술한 각 1회는 이미지센서의 화소 배열부의 1 프레임에 해당한다.
도 5는 본 발명의 일실시예에 따른 플리커 검출을 위한 알고리즘을 도시한 플로우 챠트이다.
도 5에서는 A와 B의 두 광원을 각각 두 쌍의 화소 행을 이용하여 즉 4개의 화소 행을 이용하여 실제 광원을 찾아가는 과정이 도시되어 있는 바, 이를 참조하여 플리커 노이즈 검출 과정을 살펴 본다.
먼저, 동일한 광원 A를 사용하는 즉, 광원 A에 해당하는 노출 시간을 갖는 한 쌍의 화소 행이 있으며, 동일한 광원 B를 사용하는 즉, 광원 B에 해당하는 노출 시간을 갖는 한 쌍의 화소 행 즉, 플리커 노이즈 검출을 위한 총 4개의 화소 행이 화소 배열부의 행이 확장된 형태로 배치되어 있다고 가정한다.
플리커 노이즈 검출을 위한 4개의 화소 행은 화소 배열부 전체의 데이터를 읽는 1프레임에 각각 하나의 데이터를 출력하고, 이를 총 4개의 프레임 동안 반복함으로써, 16개의 데이터가 출력된다.
'S501' 단계에서는 프레임이 '0'으로 세팅되어 첫번째 프레임에 대한 화소 데이터의 출력이 시작되며, 'S502'단계에서는 현재 출력되는 데이터가 4번째 프레임인지의 여부를 판별하여 4번째 프레임이 안되었을 때에는 다음 프레임에 대한 노출이 시작되고, 4번째 프레임일 경우에는 다시 'S501' 단계로 가서 프레임 '0'으로 세팅하게 된다.
'S502' 단계의 결과 현재 출력되는 데이터가 4번째 프레임이 안되었으므로 다음 프레임에 대한 노출이 시작된다. 따라서, 'S503' 단계에서는, '*Astart1<=*A/4' 즉, 광원 A를 사용하는 화소 행 'A1'에 대해서는 광원 A의 파장의 1/4이 되는 지점을 노출 시점으로 하고, 'Astart2<=*A' 즉, 광원 A를 사용하는 화소 행 'A2'에 대해서는 광원 A의 파장의 4/4이 되는 지점을 노출 시점으로 하고, '*Bstart1<=*B/4' 즉, 광원 B를 사용하는 화소 행 'B1'에 대해서는 광원 B의 파장의 1/4이 되는 지점을 노출 시점으로 하고, 'Bstart2<=*B' 즉, 광원 B를 사용하는 화소 행 'B2'에 대해서는 광원 B의 파장의 4/4이 되는 지점을 노출 시점으로 하여 해당 행의 이미지에 대한 정보를 감지한다.
'S504' 단계에서는 'S503' 단계에 해당하는 프레임 동안의 각 4개의 화소 행의 이미지에 대한 정보의 평균값을 계산한다.
즉, A1에 대한 첫번째 프레임의 평균값인 '$AF11<=AFrameavg1'과, A2에 대한 첫번째 프레임의 평균값인 '$AF12<=AFrameavg2'와, B1에 대한 첫번째 프레임의 평 균값인 '$BF11<=BFrameavg1'과, B2에 대한 첫번째 프레임의 평균값인 '$BF12<=BFrameavg2'을 각각 산출한다.
'S505' 단계에서는 '*Astart1<=*A/3' 즉, 광원 A를 사용하는 화소 행 'A1'에 대해서는 광원 A의 파장의 3/4이 되는 지점을 노출 시점으로 하고, 'Astart2<=*A/2' 즉, 광원 A를 사용하는 화소 행 'A2'에 대해서는 광원 A의 파장의 2/4이 되는 지점을 노출 시점으로 하고, '*Bstart1<=*B/3' 즉, 광원 B를 사용하는 화소 행 'B1'에 대해서는 광원 B의 파장의 3/4이 되는 지점을 노출 시점으로 하고, 'Bstart2<=*B/2' 즉, 광원 B를 사용하는 화소 행 'B2'에 대해서는 광원 B의 파장의 2/4이 되는 지점을 노출 시점으로 하여 해당 행의 이미지에 대한 정보를 감지한다.
'S506' 단계에서는 'S505' 단계에 해당하는 프레임 동안의 각 4개의 화소 행의 이미지에 대한 정보의 평균값을 계산한다.
즉, A1에 대한 두번째 프레임의 평균값인 '$AF21<=AFrameavg1'과, A2에 대한 첫번째 프레임의 평균값인 '$AF22<=AFrameavg2'와, B1에 대한 첫번째 프레임의 평균값인 '$BF21<=BFrameavg1'과, B2에 대한 첫번째 프레임의 평균값인 '$BF22<=BFrameavg2'을 각각 산출한다.
'S507' 단계에서는 '*Astart1<=*A/2' 즉, 광원 A를 사용하는 화소 행 'A1'에 대해서는 광원 A의 파장의 2/4이 되는 지점을 노출 시점으로 하고, 'Astart2<=*A/3' 즉, 광원 A를 사용하는 화소 행 'A2'에 대해서는 광원 A의 파장의 3/4이 되는 지점을 노출 시점으로 하고, '*Bstart1<=*B/2' 즉, 광원 B를 사용하는 화소 행 'B1'에 대해서는 광원 B의 파장의 2/4이 되는 지점을 노출 시점으로 하고, 'Bstart2<=*B/3' 즉, 광원 B를 사용하는 화소 행 'B2'에 대해서는 광원 B의 파장의 3/4이 되는 지점을 노출 시점으로 하여 해당 행의 이미지에 대한 정보를 감지한다.
'S508' 단계에서는 'S507' 단계에 해당하는 프레임 동안의 각 4개의 화소 행의 이미지에 대한 정보의 평균값을 계산한다.
즉, A1에 대한 세번째 프레임의 평균값인 '$AF31<=AFrameavg1'과, A2에 대한 첫번째 프레임의 평균값인 '$AF32<=AFrameavg2'와, B1에 대한 첫번째 프레임의 평균값인 '$BF31<=BFrameavg1'과, B2에 대한 첫번째 프레임의 평균값인 '$BF32<=BFrameavg2'을 각각 산출한다.
'S509' 단계에서는 '*Astart1<=*A' 즉, 광원 A를 사용하는 화소 행 'A1'에 대해서는 광원 A의 파장의 1/4이 되는 지점을 노출 시점으로 하고, 'Astart2<=*A/4' 즉, 광원 A를 사용하는 화소 행 'A2'에 대해서는 광원 A의 파장의 4/4이 되는 지점을 노출 시점으로 하고, '*Bstart1<=*B' 즉, 광원 B를 사용하는 화소 행 'B1'에 대해서는 광원 B의 파장의 1/4이 되는 지점을 노출 시점으로 하고, 'Bstart2<=*B/4' 즉, 광원 B를 사용하는 화소 행 'B2'에 대해서는 광원 B의 파장의 4/4이 되는 지점을 노출 시점으로 하여 해당 행의 이미지에 대한 정보를 감지한다.
'S510' 단계에서는 'S509' 단계에 해당하는 프레임 동안의 각 4개의 화소 행의 이미지에 대한 정보의 평균값을 계산한다.
즉, A1에 대한 네번째 프레임의 평균값인 '$AF41<=AFrameavg1'과, A2에 대한 첫번째 프레임의 평균값인 '$AF42<=AFrameavg2'와, B1에 대한 첫번째 프레임의 평균값인 '$BF41<=BFrameavg1'과, B2에 대한 첫번째 프레임의 평균값인 '$BF42<=BFrameavg2'을 각각 산출한다.
'S511' 단계에서는 현재 출력되는 데이터가 4번째 프레임인지의 여부를 판별하여 네번째 프레임일 경우에는 다시 'S501' 단계로 가서 프레임 '0'으로 세팅하게 된다.
'S512' 단계에서는 각 화소 행에 대해 출력된 4개의 평균값들을 이용하여 최소 및 최대값을 산출한다.
이 때, A1에 대한 평균값의 최대값은 'MaxA1 <= Max($AF11,$AF21,$AF31,$AF41)'이고, A1에 대한 평균값의 최소값은 'MinA1 <= Min($AF11,$AF21,$AF31,$AF41)'이다.
A2에 대한 평균값의 최대값은 'MaxA2 <= Max($AF12,$AF22,$AF32,$AF42)'이고, A2에 대한 평균값의 최소값은 'MinA2 <= Min($AF12,$AF22,$AF32,$AF42)'이다.
B1에 대한 평균값의 최대값은 'MaxB1 <= Max($BF11,$BF21,$BF31,$BF41)'이고, B1에 대한 평균값의 최소값은 'MinB1 <= Min($BF11,$BF21,$BF31,$BF41)'이다.
B2에 대한 평균값의 최대값은 'MaxB2 <= Max($BF12,$BF22,$BF32,$BF42)'이고, B2에 대한 평균값의 최소값은 'MinB2 <= Min($BF12,$BF22,$BF32,$BF42)'이다.
이어서, 'S513' 단계에서는, 화소 행 A1에서의 최대값에서 최소값을 뺀 제1감산값을 'MaxA1-MinA1'와 같이 산출하고, 화소 행 A2에서의 최대값에서 최소값을 뺀 제2감산값을 'MaxA2-MinA2'와 같이 산출한 다음, 'FlkA <= Min((MaxA1-MinA1), (MaxA2-MinA2))'와 같이 제1 및 제2 감산값을 비교하여 그 중 작은 제1최소 감산값 'FlkA'를 출력한다.
또한, 화소 행 B1에서의 최대값에서 최소값을 뺀 제3감산값을 'MaxB1-MinB1'와 같이 산출하고, 화소 행 B2에서의 최대값에서 최소값을 뺀 제4감산값을 'MaxB2-MinB2'와 같이 산출한 다음, 'FlkB <= Min((MaxB1-MinB1), (MaxB2-MinB2))'와 같이 제3 및 제4 감산값을 비교하여 그 중 작은 제2최소 감산값 'FlkB'를 출력한다.
이어서, 제1최소 감산값 'FlkA'와 제2최소 감산값 'FlkB'의 대소를 비교하여 플리커 노이즈에 해당하는 노출시간을 결정하게 된다(S515).
이 때, 제1최소 감산값 'FlkA'와 제2최소 감산값 'FlkB' 중 큰 값을 갖는 노출 시간 즉, 광원이 플리커 노이즈에 해당하며, 반대로 작은 값을 갖는 노출 시간에 해당하는 광원이 실제 광원이 된다. 여기서, 실제 광원이라 함은 어느 정도의 전기 주파수(Hz)를 갖는 광원으로서, 예컨대 50Hz(일본이나, 유럽) 또는 60Hz(한국)를 갖는 형광등을 말한다. 즉, 단계 S515는 현재 광원이 50Hz에 해당하는지, 아님 60Hz에 해당하는지를 판단하게 된다.
한편, 단계 S515에서 노출시간을 결정하기 전에 미세한 외부 환경의 변화에 반응하는 오류 동작을 방지하기 위한 단계로서, 단계 S514가 수행된다. 단계 S514는 제1최소 감산값 'FlkA'와 제2최소 감산값 'FlkB'와 신호 변환 최저값 '(Th)'을 비교하는 단계로서, 제1최소 감산값 'FlkA'과 제2최소 감산값 'FlkB'이 차값의 절대값은 신호 변환 최저값 '(Th)'보다는 커야 한다. 여기서, '(Th)는 사용자에 의해 임으로 설정될 수 있다.
전술한 도 5의 동작을 부연 설명하면, 먼저 4개의 플리커 검출 전용 라인중 각 한 쌍에 서로 다른 주파수(예컨대, 50Hz, 60Hz)의 노출 시간을 적용한다. 그리고, 동일한 노출 시간을 갖는 화소 행로는 서로 다른 노출 시기를 적용하고, 다음 프레임에는 이전 프레임과는 다르게 상이한 노출 시기를 적용한다. 이 때, 노출 시간은 변하지 않는다.
이렇게 노출 시간과 노출 시기를 적용하게 되면, 광원의 주파수와 노출 시간이 다르게 된다면 각각의 프레임에서 나오는 각 라인의 출력값은 반드시 틀리게 되어 정확히 플리커인지를 검출할 수 있게 된다.
보다 정확한 검출을 위해서 4개의 라인에서 2개의 라인씩 틀린 노출 시간을 적용하였는 바, 한 라인에 4개의 결과값을 얻을 수 있고, 총 16개의 결과값을 얻게 된다.
먼저, 4개의 프레임의 첫번째 라인값들을 비교하여 가장 큰 값과 가장 작은 값을 얻는다. 마찬가지로, 두번째 라인끼리, 세번째 라인끼리, 네번째 라인끼리 각각 가장 큰 값과 작은 값을 추출하고, 광원 A를 적용한 두 라인 중 작은 값을 'FlkA'라 하고, 광원 B를 적용한 두 라인중 작은 값을 'FlkB'라 한다. 'FlkA'와 'FlkB'를 비교하여 작은 값을 나타내는 것이 현재 광원을 나타내는 것이다,
이와 같이, 현재 광원이 50Hz 또는 60Hz 광원인지를 판단하여 플리커 여부를 판정하게 되면, 현재 검출된 현재 광원에 맞는 노출 시간(즉, 광원의 전기 주파수(50Hz, 60Hz)에 대응하여 미리 설정된 노출 시간)을 적용하여 플리커 현상을 제거하게 된다.
전술한 바와 같이 이루어지는 본 발명은, 광원의 차이에 의하여 생기는 플리커 노이즈를 자동적으로 제거해 주는 화소 라인을 각각 다른 광원을 가지는 화소 라인 쌍으로 구분하고, 그 각 쌍에는 서로 다른 노출 시기를 적용함으로써, 프레임의 길이가 광원의 주파수의 정수배에 해당하는 경우에도 플리커 노이즈를 검출할 수 있음을 실시예를 통해 알아 보았다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
상술한 바와 같은 본 발명은, 이미지에 나타난 플리커의 종류에 상관없이 자동으로 광원의 주파수를 판별하여 노출시간을 적용함으로써, 플리커를 제거할 수 있어 이미지를 향상시킬 수 있는 효과가 있다.

Claims (15)

  1. 제1노출 시간을 갖는 한 쌍의 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하며, 제2노출 시간을 갖는 다른 복수의 한 쌍의 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하는 단계;
    각 화소 행의 각 1회의 이미지에 대한 정보의 평균값을 각각 산출하는 단계;
    상기 각 화소 행의 복수회에서의 각 평균값을 비교하여 최대값과 최소값을 산출하는 단계;
    제1노출 시간을 갖는 화소 행에서의 최대값에서 최소값을 뺀 제1감산값을 산출하고, 상기 제1노출 시간을 갖는 다른 각 화소 행에서의 최대값에서 최소값을 뺀 제2감산값을 비교하여 그 중 작은 제1최소 감산값을 출력하는 단계;
    제2노출 시간을 갖는 화소 행에서의 최대값에서 최소값을 뺀 제3감산값을 산출하고, 상기 제2노출 시간을 갖는 다른 각 화소 행에서의 최대값에서 최소값을 뺀 제4감산값을 비교하여 그 중 작은 제2최소 감산값을 출력하는 단계; 및
    상기 제1최소 감산값과 상기 제2최소 감산값의 대소를 비교하여 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계
    를 포함하는 이미지센서의 플리커 노이즈 검출 방법.
  2. 제 1 항에 있어서,
    상기 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계에서,
    상기 제1최소 감산값과 상기 제2최소 감산값 중 큰 값을 갖는 노출 시간이 플리커 노이즈에 해당하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계에서,
    상기 제1최소 감산값과 상기 제2최소 감산값 중 작은 값을 갖는 노출 시간에 해당하는 광원을 상기 플리커 노이즈가 발생되지 않는 광원으로 결정하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  4. 제 3 항에 있어서,
    상기 제1최소 감산값과 상기 제2최소 감산값은, 미세한 외부 환경의 변화에 반응하는 오류 동작을 방지하기 위한 신호 변환 최저값 보다는 큰 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  5. 제 1 항에 있어서,
    상기 각 화소 행에서의 하나의 노출 시점에서의 이미지에 대한 정보를 감지한 다음, 각 화소 행의 평균값을 각각 산출하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  6. 제 1 항에 있어서,
    상기 각 1회는 1 프레임에 해당하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  7. 제1노출 시간을 갖는 제1 및 제2 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하며, 제2노출 시간을 갖는 제3 및 제4 화소 행에 대해 두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고, 이를 반복 실시함에 있어서 각 실시 단계에서 각 화소의 노출 시점을 변경하여 실시하는 단계;
    상기 제1 내지 제4 화소 행의 각 1회의 이미지에 대한 정보의 평균값을 각각 산출하는 단계;
    상기 제1 내지 제4 화소 행의 복수회에서의 각 평균값을 비교하여 최대값과 최소값을 산출하는 단계;
    상기 제1화소 행에서의 최대값에서 최소값을 뺀 제1감산값을 산출하고, 상기 제2 화소 행에서의 최대값에서 최소값을 뺀 제2감산값을 비교하여 그 중 작은 제1최소 감산값을 출력하는 단계;
    상기 제3 화소 행에서의 최대값에서 최소값을 뺀 제3감산값을 산출하고, 상기 제4 화소 행에서의 최대값에서 최소값을 뺀 제4감산값을 비교하여 그 중 작은 제2최소 감산값을 출력하는 단계; 및
    상기 제1최소 감산값과 상기 제2최소 감산값의 대소를 비교하여 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계
    를 포함하는 이미지센서의 플리커 노이즈 검출 방법.
  8. 제 7 항에 있어서,
    상기 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계에서,
    상기 제1최소 감산값과 상기 제2최소 감산값 중 큰 값을 갖는 노출 시간이 플리커 노이즈에 해당하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 플리커 노이즈에 해당하는 노출 시간을 결정하는 단계에서,
    상기 제1최소 감산값과 상기 제2최소 감산값 중 작은 값을 갖는 노출 시간에 해당하는 광원을 상기 플리커 노이즈가 발생되지 않는 광원으로 결정하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  10. 제 9 항에 있어서,
    상기 제1최소 감산값과 상기 제2최소 감산값은, 미세한 외부 환경의 변화에 반응하는 오류 동작을 방지하기 위한 신호 변환 최저값 보다는 큰 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  11. 제 7 항에 있어서,
    상기 각 화소 행에서의 하나의 노출 시점에서의 이미지에 대한 정보를 감지한 다음, 각 화소 행의 평균값을 각각 산출하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  12. 제 7 항에 있어서,
    상기 각 1회는 1 프레임에 해당하는 것을 특징으로 하는 이미지센서의 플리 커 노이즈 검출 방법.
  13. 제 12항에 있어서,
    두 화소 행의 노출 시점을 달리하여 각각 해당 행의 이미지에 대한 정보를 감지하고 이를 반복 실시함에 있어서, 4 프레임 동안 실시하는 것을 특징으로 하는 이미지센서의 플리커 노이즈 검출 방법.
  14. 빛에 반응하는 성질을 극대화시키도록 화소를 행 N개, 열 M개(N,M은 정수)행 배치하여 외부에서 들어오는 이미지에 대한 정보를 감지하는 화소 배열부;
    플리커 노이즈 검출을 위해 상기 화소 배열부의 행이 확장된 구조로 행 X개(X는 짝수), 열 M개로 화소를 배치하며, 각각 한쌍의 행이 동일한 노출 시간을 갖도록 배치된 플리커 노이즈 검출용 화소부; 및
    상기 플리커 노이즈 검출용 화소부에 대한 노출 시점을 제어하며, 상기 플리커 노이즈 검출용 화소부의 출력을 통해 플리커 노이즈를 검출하기 위한 플리커 노이즈 검출부
    를 포함하는 이미지센서.
  15. 제 14 항에 있어서,
    상기 플리커 노이즈 검출용 화소부는,
    상기 각 한쌍의 행이 서로 다른 노출 시점을 갖도록 하나의 프레임 동안 이미지에 대한 정보를 감지하며, 다음 프레임에서는 상기 각 한쌍의 행의 노출 시점을 달리하여 이미지에 대한 정보를 감지하는 바, 복수의 프레임 동안 노출 시점을 변경하며 동작하는 것을 특징으로 하는 이미지센서.
KR1020040029016A 2004-04-27 2004-04-27 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법 KR100574890B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040029016A KR100574890B1 (ko) 2004-04-27 2004-04-27 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법
US10/879,556 US7420595B2 (en) 2004-04-27 2004-06-28 Image sensor for detecting flicker noise and method thereof
JP2004349956A JP4632766B2 (ja) 2004-04-27 2004-12-02 イメージセンサ及びイメージセンサのフリッカノイズ検出方法
US12/874,820 USRE44062E1 (en) 2004-04-27 2010-09-02 Image sensor for detecting flicker noise and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040029016A KR100574890B1 (ko) 2004-04-27 2004-04-27 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법

Publications (2)

Publication Number Publication Date
KR20050103733A KR20050103733A (ko) 2005-11-01
KR100574890B1 true KR100574890B1 (ko) 2006-04-27

Family

ID=35136487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040029016A KR100574890B1 (ko) 2004-04-27 2004-04-27 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법

Country Status (3)

Country Link
US (2) US7420595B2 (ko)
JP (1) JP4632766B2 (ko)
KR (1) KR100574890B1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7408682B2 (en) * 2003-03-20 2008-08-05 Kabushiki Kaisha Toshiba Image reading apparatus
JP4329617B2 (ja) * 2004-05-19 2009-09-09 ソニー株式会社 撮像装置および撮像方法
JP4377840B2 (ja) * 2005-03-31 2009-12-02 イーストマン コダック カンパニー デジタルカメラ
JP4539449B2 (ja) * 2005-06-10 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP2007174537A (ja) * 2005-12-26 2007-07-05 Victor Co Of Japan Ltd 撮像装置
JP4353223B2 (ja) * 2006-09-07 2009-10-28 ソニー株式会社 画像データ処理装置、画像データ処理方法および撮像システム
JP5188275B2 (ja) * 2008-06-06 2013-04-24 キヤノン株式会社 固体撮像装置、その駆動方法及び撮像システム
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
US8462229B2 (en) * 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
TWI423657B (zh) 2011-01-25 2014-01-11 Pixart Imaging Inc 影像系統及其干擾消除方法
TWI459800B (zh) 2011-10-18 2014-11-01 Pixart Imaging Inc 影像系統及其干擾消除方法
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
KR102174192B1 (ko) * 2014-01-14 2020-11-04 에스케이하이닉스 주식회사 프로세서 기반의 타이밍 생성 장치 및 그 방법과 그를 이용한 씨모스 이미지 센서
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP2016134695A (ja) * 2015-01-16 2016-07-25 株式会社Ｊｖｃケンウッド 撮像処理装置及び撮像処理方法
JP6700763B2 (ja) * 2015-12-11 2020-05-27 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
US10658419B2 (en) 2016-09-23 2020-05-19 Apple Inc. Stacked backside illuminated SPAD array
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10801886B2 (en) 2017-01-25 2020-10-13 Apple Inc. SPAD detector having modulated sensitivity
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
CN112532888B (zh) * 2019-09-19 2022-10-04 杭州海康慧影科技有限公司 一种抑制图像横纹现象的方法及装置
KR20210112948A (ko) * 2020-03-06 2021-09-15 삼성전자주식회사 상관 이중 샘플링 회로를 포함하는 이미지 센서
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN112383718A (zh) * 2020-11-16 2021-02-19 维沃移动通信（杭州）有限公司 图像曝光方法、装置和电子设备
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3106720B2 (ja) * 1992-09-16 2000-11-06 株式会社ニコン カメラの測光制御装置
JPH08294058A (ja) * 1995-04-24 1996-11-05 Sony Corp 固体撮像装置及びこれを搭載したビデオカメラ
US6295085B1 (en) * 1997-12-08 2001-09-25 Intel Corporation Method and apparatus for eliminating flicker effects from discharge lamps during digital video capture
JP3892172B2 (ja) * 1998-07-24 2007-03-14 松下電器産業株式会社 固体撮像装置
US6271884B1 (en) * 1999-09-28 2001-08-07 Conexant Systems, Inc. Image flicker reduction with fluorescent lighting
CA2322593C (en) * 1999-10-08 2004-02-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detection and correction of illumination flicker
JP3685686B2 (ja) * 2000-06-12 2005-08-24 三菱電機株式会社 撮像エリアセンサおよび撮像装置
GB0020857D0 (en) * 2000-08-25 2000-10-11 Vlsi Vision Ltd Method of detecting flicker and video camera using the method
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP3522674B2 (ja) * 2000-09-08 2004-04-26 三菱電機株式会社 撮像装置および自動レベル調整方法
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
JP4416959B2 (ja) * 2001-04-26 2010-02-17 富士通マイクロエレクトロニクス株式会社 Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
US20030090587A1 (en) * 2001-10-30 2003-05-15 Hofer Gregory V. Method and apparatus for auto-focus control in the presence of artificial illumination
JP4337353B2 (ja) * 2002-03-25 2009-09-30 セイコーエプソン株式会社 フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
KR100460755B1 (ko) * 2002-10-10 2004-12-14 매그나칩 반도체 유한회사 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
US8045017B2 (en) * 2004-05-20 2011-10-25 Omnivision Technologies, Inc. Methods and systems for detecting flash rate of surrounding lights for controlling camcorder frame rate

Also Published As

Publication number Publication date
JP4632766B2 (ja) 2011-02-16
KR20050103733A (ko) 2005-11-01
JP2005318504A (ja) 2005-11-10
USRE44062E1 (en) 2013-03-12
US20050238259A1 (en) 2005-10-27
US7420595B2 (en) 2008-09-02

Similar Documents

Publication Publication Date Title
KR100574890B1 (ko) 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법
KR100460755B1 (ko) 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법
KR100715932B1 (ko) 플리커 검출장치
CN110753192B (zh) 一种集成电路图像传感器
KR100578647B1 (ko) 이미지센서의 인티그레이션 방법
CN111343396A (zh) 具有可控转换增益的图像传感器
CA2347526A1 (en) Optical imager using a method for adaptive real-time expanding of the dynamic range
US20050248666A1 (en) Image sensor and digital gain compensation method thereof
CN109819184A (zh) 图像传感器及减少图像传感器固定图像噪声的方法
JPH11317666A (ja) デジタル自動利得制御回路
KR20170132385A (ko) 아날로그-디지털 변환 장치 및 그 동작 방법
TWI552604B (zh) 圖像傳感器及其去除太陽黑斑方法和去除太陽黑斑裝置
KR20170124668A (ko) 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
KR20180031842A (ko) 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
US20120256079A1 (en) Circuit and method for an active image sensor
KR20170137971A (ko) 아날로그-디지털 변환 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
Lai et al. A 1.2-V 0.25-/spl mu/m clock output pixel architecture with wide dynamic range and self-offset cancellation
Cheng et al. A high-dynamic-range integrating pixel with an adaptive logarithmic response
KR100355146B1 (ko) 씨모스 이미지 센서
CN112118402B (zh) 影像传感器及其列并列式模拟数字转换电路及转换方法
US7667172B2 (en) Image sensor with expanding dynamic range
JP2019176467A (ja) ルックアップテーブル
KR20040058806A (ko) 시모스 이미지센서의 플리커 노이즈 제거방법 및 이를적용한 시모스 이미지센서
KR101163174B1 (ko) Ｌｅｄ광량을 조절할 수 있는 이미지 픽업 장치의 자동 노출 제어 회로와 이를 포함하는 장치들
KR100341572B1 (ko) 이미지 센서에서의 이미지 개선 장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120329

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee