KR100721664B1

KR100721664B1 - 이미지 센서의 플리커 검출 회로 및 방법

Info

Publication number: KR100721664B1
Application number: KR1020050127857A
Authority: KR
Inventors: 이평우; 김채성; 이정국
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2005-12-22
Filing date: 2005-12-22
Publication date: 2007-05-23
Also published as: JP4979369B2; TWI345734B; TW200731165A; US20070146500A1; US20110242359A1; US8520094B2; US7965323B2; JP2007174678A

Abstract

본 발명은 반도체 구현 면적을 최소화하고, 하드웨어 자원을 최소화하면서 플리커 존재 유무를 판단할 수 있는 이미지 센서의 플리커 검출 회로 및 방법을 제공하기 위한 것으로, 이를 위해 본 발명은 이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 값을 추출하여 제1 평균값을 생성하는 제1 밝기 평균값 생성부와, 상기 제1 밝기 평균값 생성부로부터 생성된 상기 제1 평균값을 저장하는 제1 저장부와, 상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 값을 추출하여 제2 평균값을 생성하는 제2 밝기 평균값 생성부와, 상기 제2 밝기 평균값 생성부로부터 생성된 상기 제2 평균값을 저장하는 제2 저장부와, 상기 제1 저장부에 저장된 제1 평균값과 상기 제2 저장부에 저장된 제2 평균값을 감산하여 플리커를 검출하는 플리커 검출부를 포함하는 이미지 센서의 플리커 검출 회로를 제공한다.

이미지 센서, 이미지 촬상 장치, CMOS 이미지 센서, 플리커, 밝기 값, 채도 값, 평균값, 히스토그램, SAD

Description

이미지 센서의 플리커 검출 회로 및 방법{CIRCUIT AND METHOD FOR DETECTING FLICKER OF IMAGE SENSOR}

도 1은 일반적인 롤딩 셔터(rolling shutter) 방식을 적용하는 이미지 촬상 장치에서 나타나는 로우 라인(row line)별 광량 차이를 설명하기 위하여 도시한 도면.

도 2는 일반적인 롤딩 셔터 방식을 적용하는 이미지 촬상 장치에서 로우 라인별 광량 차이를 동일하게 유지시키기 위한 노출 시간을 조정하는 방법을 설명하기 위하여 도시한 도면.

도 3은 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 회로의 매카니즘(mechanism)을 설명하기 위하여 도시한 개념도.

도 4는 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 회로의 구성을 도시한 블럭도.

도 5는 도 4에 도시된 움직임 추정부의 동작 특성을 설명하기 위하여 도시한 흐름도.

도 6 및 도 7은 움직임 추정 방법을 설명하기 위하여 도시한 도면.

도 8은 도 4에 도시된 플리커 곡선 추출부의 동작 특성을 설명하기 위하여 도시한 도면.

도 9는 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 방법을 설명하기 위하여 도시한 흐름도.

도 10은 도 9에 도시된 밝기, 채도 값의 평균값 계산 및 저장 타이밍을 설명하기 위한 타이밍도.

도 11은 도 4에 도시된 플리커 곡선 추출부를 통해 추출된 플리커 곡선을 도시한 도면.

도 12는 움직임 보정 처리를 통해 추출된 플리커 곡선을 도시한 도면.

도 13은 도 4에 도시된 필터링부를 통해 필터링된 플리커 곡선을 도시한 도면.

도 14는 필터링된 플리커 곡선의 최소값(골부분)이 나타나는 지점과 다음 최소값이 나타나는 지점과의 거리를 산출하기 위한 도면.

도 15는 히스토 그램 방식을 사용하여 플리커 빈도 수를 계수화한 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 제1 밝기 및 채도 평균값 생성부

20 : 제1 메모리부

30 : 제2 밝기 및 채도 평균값 생성부

40 : 제2 메모리부

50 : 움직임 추정부

60 : 플리커 검출부

본 발명은 반도체 설계 기술에 관한 것으로, 특히 롤링 셔터(rolling shutter) 방식으로 촬상되는 이미지 센서에서 밴드(band) 형태로 나타나는 플리커(flicker) 성분을 검출하기 위한 이미지 센서의 플리커 검출 회로 및 방법에 관한 것이다.

최근들어 디지털 카메라(digital camera)는 인터넷을 이용한 영상통신의 발전과 더불어 그 수요가 폭발적으로 증가하고 있는 추세에 있다. 더욱이, 카메라가 장착된 PDA(Personal Digital Assistant), IMT-2000(International Mobile Telecommunications-2000), CDMA(Code Division Multiple Access) 단말기 등과 같은 이동통신단말기의 보급이 증가됨에 따라 소형 카메라 모듈의 수요가 증가하고 있다.

카메라 모듈은 기본적으로 이미지 센서를 포함한다. 일반적으로, 이미지 센서라 함은 광학 영상(optical image)을 전기 신호로 변환시키는 소자를 말한다. 이러한 이미지 센서로는 전하 결합 소자(Charge Coupled Device, 이하, CCD라 함)와 시모스(CMOS; Complementary Metal-Oxide-Semiconductor) 이미지 센서가 널리 사용되고 있다.

CCD는 구동 방식이 복잡하고, 전력 소모가 많으며, 제조공정시 마스크 공정 수가 많아 공정이 복잡하고, 시그날 프로세싱 회로(signal processing circuit)를 칩 내에 구현할 수 없어 원 칩(one chip)화가 어렵다는 등의 여러 단점이 있다. 이에 반해, 시모스 이미지 센서는 하나의 단일 칩 상에 제어, 구동 및 신호 처리 회로의 모놀리식 집적화가 가능하기 때문에 최근에 보다 주목을 받고 있다. 게다가, 시모스 이미지 센서는 저전압 동작 및 저전력 소모, 주변기기와의 호환성 및 표준 CMOS 제조 공정의 유용성으로 인하여 기존의 CCD에 비해 잠재적으로 적은 비용을 제공한다.

그러나, 시모스 이미지 센서에서 수광 소자, 예컨대 포토 다이오드(photo diode)에 의해 생성된 아날로그 신호는 기생 캐패시턴스, 저항, 암전류 누설 또는 반도체 소자 특성의 불일치 등에 의해 야기되는 다양한 기생 효과(parasitic effect)를 갖는다. 이러한 기생 효과는 반도체 소자에서는 필수적으로 발생되는 것으로서, 이미지 데이터의 신호대 잡음비(Signal to Noise Ratio)의 저하를 가져온다. 따라서, 잡음은 시모스 이미지 센서의 성능을 제한하는 중요한 요인으로 작용하고 있다.

시모스 이미지 센서에서 잡음이 발생되는 원인은 이미지 데이터의 샘플링과 관련되는 kT/C 잡음, 이미지 신호를 증폭하기 위해 사용되는 회로와 관련되는 1/f 잡음 및 센서의 신호 처리 회로의 불일치와 관련되는 고정 패턴 잡음(Fixed Pattern Noise, 이하, FPN이라 함) 등이 있다. 이중 FPN은 이미지 안에 세로선 또는 스트립(strip)으로 나타나서 사람의 눈에 쉽게 발견되므로 시각적으로 매우 좋 지 않다.

이러한 시모스 이미지 센서는 롤링 셔터(rolling shutter) 방식으로 데이터를 독출(readout)하고 있다. 롤딩 셔터 방식은 화소 어레이에 배열된 화소로부터 로우 라인(row line)별로 데이터를 순차적으로 독출하는 방식으로서, 주파수 규격(50Hz, 60Hz)에 따라 매 라인마다 광량이 차이가 발생되어 플리커의 생성을 유발시킨다.

롤링 셔터 방식을 적용하는 이미지 센서에서의 플리커 생성원인을 설명하면 다음과 같다.

도 1에 도시된 바와 같이, 플리커는 롤링 셔터를 사용하는 이미지 촬상 장치에서 매 라인의 광량 차이에 기인하여 발생된다. 이는 국가별 전기 주파수 규격이 50Hz 혹은 60Hz(일본의 경우 50Hz와 60Hz 모두 사용)로 정의되어 있어 시간에 따른 발광 장치의 밝기가 바뀌기 때문인데, 대표적인 예로 실생활에서 많이 사용되는 형광등이 있다. 형광등에 비추어진 피사체를 롤링 셔터 방식의 이미지 촬상장치를 이용하여그 이미지를 촬영하게 되면, 이미지 상에 가로 방향 띠, 즉 밴드 형태로 플리커가 생성된다.

이러한 플리커의 생성을 방지하기 위해서는 플리커 생성원인인 매 라인의 광량 차이를 동일하게 유지하면 된다. 도 2는 매 라인의 광량 차이를 동일하게 유지시키기 위한 방식으로, 도 2에 도시된 바와 같이 이미지 촬상 장치의 노출시간을 전기 주파수 규격, 예컨대 50Hz 혹은 60Hz에 맞추어 준다. 즉, 전기 주파수 규격의 정수 배의 시간을 노출 시간으로 유지시켜 주면, 매 라인 마다 수광되는 광량을 동 일하게 가져갈 수 있다. 따라서, 국가별 전기 주파수 규격에 따라 이미지 촬상 장치의 노출 시간의 최소 공배수 값을 조절해주는 작업이 필요하게 되며, 일본과 같이 50Hz와 60Hz가 혼용되어 사용되는 환경에서는 자동으로 조절해 주는 회로가 필요하다.

이와 같이, 전기 주파수 규격에 따라 이미지 촬상 장치의 노출시간의 최소 공배수 값을 자동 조절하기 위해서는 현재 환경에서 플리커가 존재하는지를 판단하는 플리커 검출부가 요구되며, 플리커 검출부를 통해 현재 노출시간이 전기 주파수 규격과 다름으로 인해 플리커가 생성된다면, 자동 노출 보정회로를 통해 이를 보정해야 할 것이다.

플리커 검출회로는 구현 방법에 있어 크게 두 가지로 분류될 수 있는데, 별도의 특수 화소 어레이를 사용하여 플리커 존재 유무를 판단하는 방법과, 순수 디지털 신호처리(Digital Signal Processing)를 이용하여 플리커 존재 유무를 판단하는 방법이 있다.

전자인 별도의 특수 화소 어레이(메인 화소 어레이와는 별도로 구성됨)를 사용하여 플리커 존재 유무를 판단하는 방법은 특수 화소 어레이를 통해 현재 조도 환경의 플리커 존재 유무를 판단하여 촬상 이미지의 플리커 존재 유무를 유추하는 방법이다. 이 방식은 정확한 플리커 검출 결과를 얻을 수는 있지만, 특수 화소 어레이를 추가로 구성해야 함에 따라 하드웨어(hardware) 자원의 낭비와, 특수 화소 어레이의 설계 및 제어에 따른 시간과 재정에 따른 비용(cost)이 높아지는 단점이 있다.

후자인 순수 디지털 신호처리를 이용하여 플리커 존재 유무를 판단하는 방법은 단일 혹은 복수의 이미지를 통해 이미지 내에 나타나는 플리커 밴드의 경향성을 정보화하여 플리커 곡선을 생성한 후 플리커 곡선의 주기성을 판단하여 플리커 존재 유무를 유추하는 방법이다. 이 방식은 별도의 하드웨어 자원이 필요하지 않고, FPGA(Field Programable Gate Array) 를 통한 충분한 모의 실험이 가능하기 때문에 설계에 따른 비용이 전자에서 기술한 특수 화소 어레이를 사용하는 방식에 비해 상대적으로 낮다.

그러나, 종래 순수 디지털 신호처리를 이용하여 플리커 존재 유무를 판단하는 방식에서는 플리커 곡선의 주기성을 판단하기 위해 DFT(Discrete-Fourier Transform) 연산기를 사용하기 때문에 복잡한 DFT 연산을 위해 하드웨어 자원이 소요된다.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 반도체 구현 면적을 최소화하고, 하드웨어 자원을 최소화하면서 플리커 존재 유무를 판단할 수 있는 이미지 센서의 플리커 검출 회로 및 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 일 측면에 따른 본 발명은, 이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 값을 추출하여 제1 평균값을 생성하는 제1 밝기 평균값 생성부와, 상기 제1 밝기 평균값 생성부로부터 생성된 상기 제1 평균값을 저장하는 제1 저장부와, 상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 값을 추출하여 제2 평균값을 생성하는 제2 밝기 평균값 생성부와, 상기 제2 밝기 평균값 생성부로부터 생성된 상기 제2 평균값을 저장하는 제2 저장부와, 상기 제1 저장부에 저장된 제1 평균값과 상기 제2 저장부에 저장된 제2 평균값을 감산하여 플리커를 검출하는 플리커 검출부를 포함하는 이미지 센서의 플리커 검출 회로를 제공한다.

또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은, 이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제1 및 제2 평균값을 생성하는 제1 밝기 및 채도 평균값 생성부와, 상기 제1 밝기 및 채도 평균값 생성부로부터 생성된 상기 제1 및 제2 평균값을 각각 저장하는 제1 및 제2 저장부와, 상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제3 및 제4 평균값을 생성하는 제2 밝기 및 채도 평균값 생성부와, 상기 제2 밝기 및 채도 평균값 생성부로부터 생성된 상기 제3 및 제4 평균값을 각각 저장하는 제3 및 제4 저장부와, 상기 제1 저장부에 저장된 상기 제1 평균값과 상기 제3 저장부에 저장된 상기 제3 평균값을 감산하여 플리커를 검출하는 플리커 검출부를 포함하는 이미지 센서의 플리커 검출 회로를 제공한다.

또한, 상기한 목적을 달성하기 위한 또 다른 측면에 따른 본 발명은, 이미지 를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 값을 추출하여 제1 평균값을 생성하는 단계와, 상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 값을 추출하여 제2 평균값을 생성하는 단계와, 상기 제1 평균값과 상기 제2 평균값을 감산하여 플리커를 검출하는 단계를 포함하는 이미지 센서의 플리커 검출 방법을 제공한다.

또한, 상기한 목적을 달성하기 위한 또 다른 측면에 따른 본 발명은, 이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제1 및 제2 평균값을 생성하는 단계와, 상기 제1 및 제2 평균값을 제1 및 제2 저장부에 각각 저장하는 단계와, 상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제3 및 제4 평균값을 생성하는 단계와, 상기 제3 및 제4 평균값을 제3 및 제4 저장부에 각각 저장하는 단계와, 상기 제1 저장부에 저장된 상기 제1 평균값과 상기 제3 저장부에 저장된 상기 제3 평균값을 감산하여 플리커를 검출하는 단계를 포함하는 이미지 센서의 플리커 검출 방법을 제공한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분은 동일한 기능을 수행하는 동일 요소들을 나타낸다.

실시예

도 3은 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 방법의 매카니즘(mechanism)을 설명하기 위한 개념도이고, 도 4는 그 구성을 도시한 블럭도(block diagram)이다.

도 3을 참조하면, 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 방법의 매카니즘은 동일한 이미지(Frame1, Frame2)를 연속적으로 촬영한 후 첫 번째 촬영된 이미지(이하, 제1 프레임이라 함)(Frame1)의 데이터 밝기(luminance) 값으로부터 두 번째 촬영된 이미지(이하, 제2 프레임이라 함)(Frame2)의 데이터 밝기 값을 빼서 플리커를 검출한다. 즉, 제2 프레임(Frame2)으로부터 검출된 라인 별 밝기 값으로부터 제1 프레임(Frame1)으로부터 검출된 라인 별 밝기 값을 빼면 피사체에 대한 정보는 상쇄되고, 두 프레임 간의 차이, 즉 플리커 흐름의 잔상만이 남게 된다.

도 4를 참조하면, 본 발명의 실시예에 따른 이미지 센서의 플리커 검출 회로는, 제1 프레임(Frame1)의 매 로우 라인(row line)별 화소 데이터 RGB(1)의 밝기와 채도(chrominance)를 검출하여 그 평균값을 계산하는 제1 밝기 및 채도 평균값 생성부(10)와, 제1 밝기 및 채도 평균값 생성부(10)로부터 출력된 밝기와 채도의 평균값을 로우 라인별로 저장하는 제1 메모리부(20)와, 제2 프레임(Frame2)의 매 로우 라인별 화소 데이터 RGB(2)의 밝기와 채도의 평균값을 계산하는 제2 밝기 및 채도 평균값 생성부(20)와, 제2 밝기 및 채도 평균값 생성부(20)로부터 출력된 밝기 와 채도의 평균값을 로우 라인별로 저장하는 제2 메모리부(40)와, 제1 및 제2 메모리부(20, 40)에 각각 저장된 제1 및 제2 프레임(Frame1, Frame2)의 채도의 평균값 비교하여 제2 프레임(Frame2)의 움직임을 추정하는 움직임 추정부(50)와, 움직임 추정부(50)의 추정 결과에 따라 제2 저장부(40)에 저장된 제2 프레임(Frame2)의 밝기의 평균값을 보정하고, 보정된 밝기 평균값과 제1 저장부(20)에 저장된 제1 프레임(Frame1)의 밝기 평균값을 감산하여 플리커를 검출하는 플리커 검출부(60)를 포함한다.

제1 밝기 및 채도 평균값 생성부(10)는 제1 프레임(Frame1)으로부터 단위 화소 별로 밝기 값을 검출하는 제1 검출부(11)와, 제1 프레임(Frame2)으로부터 단위 화소 별로 채도 값(Cb/Cr)을 검출하는 제2 검출부(14)와, 제1 검출부(11)로부터 검출되어 출력된 밝기 값을 누적하는 제1 누산부(12)와, 제2 검출부(14)로부터 검출되어 출력된 채도 값을 누적하는 제2 누산부(15)와, 제1 누산부(12)로부터 누산된 밝기 값을 로우 라인별로 평균값을 계산하는 제1 평균값 계산부(13)와, 제2 누산부(15)로부터 누산된 채도 값을 로우 라인별로 평균값을 계산하는 제2 평균값 계산부(16)를 포함한다.

제1 저장부(20)는 제1 평균값 계산부(13)로부터 출력된 밝기의 라인별 평균값을 저장하는 제1 저장부(21)와, 제2 평균값 계산부(16)로부터 출력된 채도의 라인별 평균값을 저장하는 제2 저장부(22)를 포함한다. 제1 및 제2 저장부(21, 22)는 각각 제1 프레임(Frame1)의 전 라인별 밝기와 채도의 평균값을 순차적으로 저장하게 된다.

제2 밝기 및 채도 평균값 생성부(30)는 제2 프레임(Frame2)으로부터 단위 화소 별로 밝기 값을 검출하는 제3 검출부(31)와, 제2 프레임(Frame2)으로부터 단위 화소 별로 채도 값(Cb/Cr)을 검출하는 제4 검출부(34)와, 제3 검출부(31)로부터 검출되어 출력된 밝기 값을 누적하는 제3 누산부(32)와, 제4 검출부(34)로부터 검출되어 출력된 채도 값을 누적하는 제4 누산부(35)와, 제3 누산부(32)로부터 누산된 밝기 값을 로우 라인별로 평균값을 계산하는 제3 평균값 계산부(33)와, 제4 누산부(35)로부터 누산된 채도 값을 로우 라인별로 평균값을 계산하는 제4 평균값 계산부(36)를 포함한다.

제2 저장부(40)는 제3 평균값 계산부(33)로부터 출력된 밝기의 라인별 평균값을 저장하는 제3 저장부(41)와, 제4 평균값 계산부(36)로부터 출력된 채도의 라인별 평균값을 저장하는 제4 저장부(42)를 포함한다. 제3 및 제4 저장부(41, 42)는 각각 제2 프레임(Frame1)의 전 라인별 밝기와 채도의 평균값을 순차적으로 저장하게 된다.

상기에서 설명한 제1 및 제2 메모리부(20, 40)로는 이미지 센서에서 아날로그-디지털 컨버터(analog-digital converter)를 통해 디지털화된 코드가 저장되는 메모리 장치, 예컨대 SRAM(Static Random Access Memory) 소자를 그대로 사용할 수 있다.

움직임 추정부(50)는 손 떨림에 의해 제1 프레임(Frame1)과 제2 프레임(Frame2)에 표시된 피사체가 서로 동일하지 않게 되는 경우 제2 프레임(Frame2)에 포함된 옵셋(offset)을 보정하기 위하여 제2 프레임(Frame2)의 옵셋을 추정하게 된 다.

즉, 이미지 촬상 장치를 통해 제1 프레임(Frame1)을 촬영한 후 제2 프레임(Frame2)을 촬영하는 경우 손 떨림에 의해 피사체가 이동하게 되어 제2 프레임(Frame2)에 나타난 피사체와 제1 프레임(Frame1)에 나타난 피사체가 서로 동일하지 않게 된다. 결국, 제2 프레임(Frame2)에 옵셋이 포함되게 되는데, 이러한 옵셋을 보정하기 위해서는 제2 프레임(Frame2)을 제1 프레임(Frame1)과 근접시킴으로써 가능하다.

상기에서 설명한 바와 같이, 제1 및 제2 프레임(Frame1, Frame2)의 라인 별 밝기 값의 차를 구할 때, 두 프레임(Frame1, Frame2) 간의 차이가 플리커 흐름뿐만 아니라, 피사체의 움직임이 발생할 경우, 플리커 곡선에서는 피사체의 움직임에 대한 잔상(lag)도 함께 존재하게 된다. 따라서, 플리커 곡선에는 순수 플리커에 대한 정보만이 아닌, 피사체의 움직임에 대한 정보도 함께 존재하게 된다. 실제 생활에서 이러한 현상은 대개 촬상 장치를 손으로 들고 있을 때 비롯되는 손 떨림에 기인한 것으로 이에 대한 보상 후 플리커 곡선의 추출이 있어야 정확한 플리커 곡선 추출이 가능하다.

움직임 추정부(50)는 제2 및 제2 저장부(22, 42)에 각각 저장된 각 프레임(Frame1, Frame2)의 채도 평균값을 이용하여 손 떨림으로 인한 피사체의 이동을 보상한다. 보통, 손 떨림에 기인한 피사체의 이동은 상하방향으로 나타나기 때문에 움직임 추정은 제2 프레임(Frame2)의 채도의 평균값이 저장된 메모리의 어드레스를 상하로 이동시키는 방법을 이용한다.

움직임 추정부(50)를 이용한 움직임(이하, 옵셋(offset)이라 함) 추정 방법의 일례가 도 5에 도시되었다.

도 5를 참조하면, 두 프레임(Frame1, Frame2)의 일정 영역에 대하여 한 개의 프레임(Frame1)은 고정시킨 상태에서 다른 하나의 프레임(Frame2)의 기준값을 바꾸어 가며 계속 SAD(Sum of Absolute Difference)값을 반복적으로 구한다. 이때, 기준값이 바뀜에 따라 특정 기준값에서 최소(minimum)의 SAD를 갖는 지점을 발견하고, 발견된 지점에서의 기준값을 메모리에 저장한다. 그런 다음, 기준값 범위를 모두 탐색한 결과 기준값 중 최소의 값을 갖는 기준값을 움직임 기준값으로 판단하고 적용한다.

일례를 들어 설명하면 다음과 같다.

도 6에 도시된 바와 같이, 제2 저장부(22)에는 제1 프레임(Frame1)으로부터 추출된 채도의 평균값이 라인 별(라인0~라인N)(여기서, N은 정수)로 순차적으로 저장되고, 제4 저장부(42)에는 제2 프레임(Frame2)으로부터 추출된 채도의 평균값이 라인 별(라인0~라인N)로 순차적으로 저장되는 것으로 가정한다. 이는 설명의 편의를 위한 것이다.

이렇게 각 저장부(22, 42)에 저장된 채도의 평균값을 서로 어드레스(address) 별로 저장된 값으로 비교하는 것이 아니라, 제2 저장부(22)에 저장된 제1 프레임(Frame1)의 채도의 평균값을 고정시킨 상태에서 제4 저장부(42)에 저장된 제2 프레임(Frame2)의 채도의 평균값을 가변적으로 변동시킨 후 서로 비교 감산하여 옵셋을 추정하게 된다. 이때, 가변적으로 변동되는 범위는 사용자에게 일정 크 기로 설정된다. 예컨대, 그 변동 범위는 어드레스 add0~add3 범위 내로 설정될 수 있다.

구체적으로 설명하면, 도 7에 도시된 바와 같이, 제2 저장부(22)는 'add0'를 비교 어드레스의 시작점으로 하여 'addN'까지 순차적으로 증가시키고, 제4 저장부(42)는 'add0'를 비교 어드레스의 시작점으로 하여 'addN'까지 순차적으로 증가시켜 제1 및 제2 프레임(Frame1, Frame2)의 채도 평균값을 감산하고, 감산된 값의 총합(SAD)을 계산한다.

먼저, 제1 프레임(Frame1)의 어드레스 'add0'에 저장된 채도 평균값과 제2 프레임(Frame2)의 어드레스 'add0'에 저장된 채도 평균값, 제1 프레임(Frame1)의'add1'의 채도 평균값과 제2 프레임(Frame2)의 'add1'의 채도 평균값, 제1 프레임(Frame1)의'add2'의 채도 평균값과 제2 프레임(Frame2)의 'add2'의 채도 평균값, ...(중략), 제1 프레임(Frame1)의'addN'의 채도 평균값과 제2 프레임(Frame2)의 'addN'의 채도 평균값을 각각 감산하고, 이렇게 얻어진 감산값을 총합(SAD0)을 계산한다.

그런 다음, 제2 프레임(Frame2)의 어드레스값을 하나 증가시킨 후 제1 및 제2 프레임(Frame1, Frame2)의 각 어드레스의 채도 평균값에 대한 감산 동작을 수행한다. 즉, 제1 프레임(Frame1)의 어드레스 'add0'에 저장된 채도 평균값과 제2 프레임(Frame2)의 어드레스 'add1'에 저장된 채도 평균값, 제1 프레임(Frame1)의'add1'의 채도 평균값과 제2 프레임(Frame2)의 'add2'의 채도 평균값, 제1 프레임(Frame1)의'add2'의 채도 평균값과 제2 프레임(Frame2)의 'add3'의 채도 평균값, ...(중략), 제1 프레임(Frame1)의'addN-1'의 채도 평균값과 제2 프레임(Frame2)의 'addN'의 채도 평균값을 각각 감산하고, 이렇게 얻어진 감산값을 총합(SAD1)을 계산한다.

이러한 과정은 설정된 변동 범위, 즉 어드레스 add0~add3 범위까지 수행된다. 이때, 변동 범위는 화질의 왜곡이 발생되지 않는 범위 내에서 적절히 선택될 수 있다.

상기한 과정을 통해 제4 저장부(42)에 저장된 제2 프레임(Frame2)의 채도의 평균값이 제2 저장부(22)에 저장된 제1 프레임(Frame1)의 채도의 평균값에 가장 근접할 경우 그 지점의 평균값에 해당하는 밝기의 평균값을 최종 기준값으로 설정한다.

예컨대, SAD0~SAD3(변동 범위가 add3인 경우)에서 가장 최소값이 SAD1인 경우 이 기준값을 최종 기준값으로 설정한다. 따라서, 플리커 검출부(60)에서는 제1 저장부(21)에 저장된 제1 프레임(Frame1)의 밝기의 평균값과 제3 저장부(41)에 저장된 제2 프레임(Frame2)의 밝기의 평균값을 감산하는데 있어서 SAD1을 기준값으로 설정한다.

플리커 검출부(60)는 움직임 추정부(50)로부터 추정된 옵셋 정보를 기반으로 보정된 제2 프레임(Frame2)의 최종 기준값을 토대로 플리커 곡선을 추출하는 플리커 곡선 추출부(61)와, 플리커 곡선 추출부(61)를 통해 추출된 플리커 곡선을 필터링하는 필터링부(62)를 포함한다.

플리커 곡선 추출부(61)는 제1 저장부(21)에 저장된 제1 프레임(Frame1)의 밝기의 평균값과 제3 저장부(41)에 저장된 제2 프레임(Frame2)의 밝기의 평균값을 감산하여 플리커 곡선을 추출한다. 이때, 제1 프레임(Frame1)의 밝기의 평균값과 감산되는 제2 프레임(Frame2)의 밝기의 평균값은 움직임 추정부(50)를 통해 추정된 옵셋을 기초로 보정된 최종 기준값(SAD1)이 된다.

일례로, 상기에서 설명한 SAD1이 최종 기준값일 경우에 대해 설명한다.

도 8에 도시된 바와 같이, 제1 저장부(21)는 'add0'를 감산 어드레스의 시작점으로 하고, 제3 저장부(41)는 'add1'를 감산 어드레스의 시작점으로 한다. 즉, 제1 프레임(Frame1)의 어드레스 'add0'에 저장된 밝기 평균값과 제2 프레임(Frame2)의 어드레스 'add1'에 저장된 밝기 평균값, 제1 프레임(Frame1)의'add1'의 밝기 평균값과 제2 프레임(Frame2)의 'add2'의 밝기 평균값, 제1 프레임(Frame1)의 'add2'의 밝기 평균값과 제2 프레임(Frame2)의 'add3'의 밝기 평균값, ...(중략), 제1 프레임(Frame1)의 'addN'의 밝기 평균값과 제2 프레임(Frame2)의 'add0'의 밝기 평균값을 각각 감산한다.

필터링부(62)는 플리커 곡선 추출부(61)로부터 추출된 플리커 곡선을 저대역으로 필터링한다. 플리커 곡선 추출부(61)로부터 추출된 플리커 곡선은 이미지 촬상 장치의 수광 감도 및 비균일성 및 회로 잡음으로 인해 정확한 플리커 정보만을 포함하지 않는다. 따라서, 저대역 통과 필터를 이용하여 순수한 플리커 곡선 정보만을 추출한다.

이하, 도 4에 도시된 플리커 검출 회로의 구성 및 동작특성을 기반으로 본 발명의 실시예에 따른 플리커 검출방법을 설명하기로 한다.

도 9는 본 발명의 실시예에 따른 플리커 검출방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 먼저, 단계 'S91'에서는, 도 3에 도시된 제1 프레임(Frame1)으로부터 도 4에 도시된 제1 밝기 및 채도 평균값 생성부(10)를 통해 제1 프레임(Frame1)의 RGB(1) 데이터의 라인 별 밝기 및 채도의 평균값을 계산한 후 제1 및 제2 저장부(21, 22)에 각각 저장한다. 롤링 셔터 방식에서는 각 로우 라인별로 이미지의 데이터 값이 순차적으로 출력하게 된다. 따라서, 도 10에 도시된 바와 같이 라인 데이터 동기 신호, 즉 수평 동기 신호(HSYC)에 응답하여 각 라인별로 출력되는 단위 화소별 데이터 값에서 밝기 및 채도값을 계산하여 누적한 후 라인(라인0)과 라인(라인1) 사이의 이미지 값 출력 공백기에 라인별 밝기 값의 평균값을 계산하여 제1 저장부(21)에 저장한다. 즉, 라인 사이의 공백기에 이전 라인의 각 화소로부터 추출되어 누적된 밝기 및 채도값의 평균값을 계산하여 각각 제1 및 제2 저장부(21, 22)에 저장한다. 이어서, 상기한 방법으로 제2 프레임(Frame2)으로부터 제2 밝기 및 채도 평균값 생성부(30)를 통해 제2 프레임(Frame2)의 RGB(2) 데이터의 라인 별 밝기 및 채도의 평균값을 계산한 후 제3 및 제4 저장부(41, 42)에 각각 저장한다.

그런 다음, '단계 S92'에서는, 손 떨림에 기인한 움직임 보정을 수행한다. 움직임 보정은 제1 프레임(Frame1) 촬영 후 연속적으로 제2 프레임(Frame2)을 촬영하는 경우에도 손 떨림에 의해 제1 프레임(Frame1)과 제2 프레임(Frame2)이 서로 일치하지 않는 것을 보정하기 위함이다. 움직임 보정을 수행하지 않은 상태에서 제 2 프레임(Frame2)으로부터 추출된 라인별 밝기 값과 제1 프레임(Frame1)으로부터 추출된 밝기 값의 차이를 구하는 경우 옵셋이 포함된 플리커 곡선이 추출되게 된다.

움직임 보정은 도 5 내지 도 7을 통해 설명된 방법과 동일한 방법으로 이루어진다.

한편, 제2 프레임(Frame2)에 옵셋이 포함되지 않는 경우, 즉 움직임이 없는 경우에는 움직임 보정을 수행하지 않고, 도 4에 도시된 플리커 곡선 추출부(61)를 통해 제1 저장부(21)에 저장된 제1 프레임(Frame1)의 밝기 값과 제3 저장부(41)에 저장된 제2 프레임(Frame2)의 밝기 값을 감산하여 플리커 곡선을 추출하게 된다. 이렇게 추출한 플리커 곡선이 도 11에 도시되었다. 즉, 제2 프레임(Frame2)의 밝기 값으로부터 제1 프레임(Frame1)의 밝기 값의 차이를 구하게 되면, 피사체 대한 정보는 상쇠되고, 두 프레임(Frame1, Frame2) 간의 차이, 즉 플리커 흐름의 잔상만이 남게 된다. 이러한 두 프레임 간의 차이에 의한 결과물인 잔상이 플리커 곡선이 되는 것이다.

도 12는 움직임 보정을 수행하지 않은 후 추출된 플리커 곡선과 움직임 보정을 수행한 후 추출된 플리커 곡선을 비교하기 위하여 도시한 도면으로서, 도면 상에서 상측에 배치된 파형은 움직임 보정을 수행하지 않은 후 추출된 플리커 곡선을 나타내고, 하측에 배치된 파형은 움직임 보정을 수행한 후 추출된 플리커 곡선을 나타낸다.

도 12에 도시된 바와 같이, 움직임 보정을 수행한 후 추출된 플리커 곡선은 이 움직임 보정을 수행하지 않은 후 추출된 플리커 곡선보다 세로(상하) 방향 손 떨림에 대해 정확한 추정 결과로 움직임이 보정되어 정확한 플리커 곡선을 얻을 수 있음을 알 수 있다.

그런 다음, 단계 'S93'에서와 같이 제1 저장부(21)에 저장된 제1 프레임(Frame1)의 밝기 값과 제3 저장부(41)에 저장된 제2 프레임(Frame2)의 밝기 값을 감산하여 플리커 곡선을 추출하게 된다. 이렇게 추출한 플리커 곡선이 도 11에 도시되었다.

그런 다음, 단계 'S94'에서와 같이, 추출된 플리커 곡선에 대해 필터링을 수행한다. 플리커 곡선 추출부(61)를 통해 추출된 플리커 곡선은 이미지 촬상 장치의 수광 감도 비 균일성 및 회로 잡음으로 인해 정확한 플리커 정보만을 포함하지 않는다. 이를 위해 저대역 통과 필터를 통과하도록 하여 플리커 정보만을 추출하게 된다.

도 13은 저대역 필터링을 수행하지 않은 플리커 곡선과 저대역 필터링을 수행한 플리커 곡선을 비교하기 위하여 도시한 도면으로서, 도면 상에서 상측에 배치된 파형은 저대역 필터링 전의 플리커 곡선이고, 하측에 배치된 파형은 저대역 필터링 후의 플리커 곡선이다.

그런 다음, 단계 'S95'에서 플리커를 판단한다. 이 단계에서는 다음과 같은 방법으로 이루어진다. 먼저, 저대역 필터링된 최종 플리커 곡선에서 주기성을 판단하여 플리커 밴드에 의한 것인지, 회로 잡음 및 피사체의 움직임에 의한 것인지를 판단한다.

플리커 곡선의 주기성을 판단하는 방법은 다음과 같다. 도 14에 도시된 바와 같이 플리커 곡선의 최소 값(골부분)이 나타나는 지점과 다음 최소 값이 나타나는 지점과의 거리(distance, Dist)를 산출한다. 즉, 플리커 곡선의 최소 값이 나타나는 지점과, 지점 간의 거리를 모두 계산한 후 임의 특정 거리 값이 나타나는 빈도가 임의 문턱 값보다 높을 경우 본 플리커 곡선이 플리커 밴드로 인한 곡선으로 판단한다.

도 15에 도시된 바와 같이 임의의 특정 거리 값이 나타나는 빈도를 산출하기 위해 플리커 곡선의 최소 값이 나타나는 지점과, 지점 간의 거리를 히스토그램의 형태로 SRAM과 같은 저장 매체에 계수하며 기록하게 된다. 히스토그램에 기록된 계수(갯수)가 최대 값을 갖는 거리 값이 빈도가 가장 많이 나타나는 거리 값이 된다. 따라서, 빈도가 가장 많이 나타나는 거리 값과 계수 값을 곱하면, 화면 상에 나타나는 플리커 정도를 대표하게 되며, 임의의 문턱 값을 넘을 경우 플리커 이미지로 판단한다.

상기에서 설명한 플리커 곡선의 추출과 판단은 사용자가 정의한 임의의 이미지(프레임) 수에 대해 반복 실행되며, 각 이미지가 플리커 이미지인지 아닌지를 판단하여 플리커 이미지의 수를 판단한다. 사용자가 정의한 임의의 이미지 수 중에서 플리커 이미지가 나타나는 빈도를 계산한 후 임의의 문턱 값 이상이면 현재 상태가 플리커가 나타나는 상태로 판단하고, 이를 자동 노출 장치에 알린다. 이후, 자동 노출 장치는 현재 노출 시간을 보정하여 다른 최소 공배수의 값을 가지고 노출 시간을 재 계산하게 된다.

상기와 같이 본 발명의 기술 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 즉, 본 발명은 롤링 셔터 방식으로 촬상되는 이미지를 사용하는 시스템에 모두 적용하여 플리커 존재 유무를 판단할 수 있다. 또한, 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 다음과 같은 효과들을 얻을 수 있다.

먼저, 본 발명은 적어도 두 개의 이미지의 차이 값을 이용하여 플리커 곡선을 추출함으로써 피사체에 의존적이지 않으며, 순수 디지털 회로만으로 구현되기 때문에 별도의 화소 어레이를 구현할 필요가 없어 반도체 구현 면적 면에서도 효율이 저하되지 않는다.

또한, 본 발명은 플리커 곡선의 주기성 판단에 있어 히스토그램 방식을 사용하여 이미지 센서에 내장된 저장 매체(SRAM)를 재사용함으로써 종래기술에서와 같이 별도의 연산 회로가 추가되지 않아 반도체 구현 면적 효율의 저하를 방지할 수 있다.

Claims

이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 값을 추출하여 제1 평균값을 생성하는 제1 밝기 평균값 생성부;

상기 제1 밝기 평균값 생성부로부터 생성된 상기 제1 평균값을 저장하는 제1 저장부;

상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 값을 추출하여 제2 평균값을 생성하는 제2 밝기 평균값 생성부;

상기 제2 밝기 평균값 생성부로부터 생성된 상기 제2 평균값을 저장하는 제2 저장부; 및

상기 제1 저장부에 저장된 제1 평균값과 상기 제2 저장부에 저장된 제2 평균값을 감산하여 플리커를 검출하는 플리커 검출부를 포함하되,

상기 플리커 검출부는,

상기 제1 평균값과 상기 제2 평균값을 감산하여 플리커 곡선을 추출하는 플리커 곡선 추출부; 및

상기 플리커 곡선 추출부로부터 추출된 상기 플리커 곡선을 필터링하는 필터링부

를 포함하는 이미지 센서의 플리커 검출 회로.
제 1 항에 있어서, 상기 제1 밝기 평균값 생성부는,

상기 제1 프레임의 각 화소별로 밝기 값을 검출하는 제1 검출부;

상기 제1 검출부로부터 출력된 상기 화소별 밝기 값을 라인별로 누적하는 제1 누산부; 및

상기 제1 누산부로부터 출력된 상기 라인별 누적값을 평균하여 상기 제1 평 균값을 생성하는 제1 평균값 계산부

를 포함하는 이미지 센서의 플리커 검출 회로.
제 2 항에 있어서, 상기 제2 밝기 평균값 생성부는,

상기 제2 프레임의 각 화소별로 밝기 값을 검출하는 제2 검출부;

상기 제2 검출부로부터 출력된 화소별 밝기 값을 라인별로 누적하는 제2 누산부; 및

상기 제2 누산부로부터 출력된 라인별 누적값을 평균하여 상기 제2 평균값을 생성하는 제2 평균값 계산부

를 포함하는 이미지 센서의 플리커 검출 회로.
삭제
제 1 항에 있어서,

상기 플리커 곡선 추출부는 상기 제1 평균값과 상기 제2 평균값을 라인별로 감산하는 이미지 센서의 플리커 검출 회로.
제 1 항 또는 제 5 항에 있어서,

상기 필터링부는 저대역 필터로 이루어진 이미지 센서의 플리커 검출 회로.
제 6 항에 있어서,

상기 제1 저장부는 라인별로 상기 제1 평균값을 저장하는 이미지 센서의 플리커 검출 회로.
제 7 항에 있어서,

상기 제2 저장부는 라인별로 상기 제2 평균값을 저장하는 이미지 센서의 플리커 검출 회로.
제 8 항에 있어서,

상기 제1 및 제2 저장부는 SRAM인 이미지 센서의 플리커 검출 회로.
이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제1 및 제2 평균값을 생성하는 제1 밝기 및 채도 평균값 생성부;

상기 제1 밝기 및 채도 평균값 생성부로부터 생성된 상기 제1 및 제2 평균값을 각각 저장하는 제1 및 제2 저장부;

상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제3 및 제4 평균값을 생성하는 제2 밝기 및 채도 평균값 생성부;

상기 제2 밝기 및 채도 평균값 생성부로부터 생성된 상기 제3 및 제4 평균값을 각각 저장하는 제3 및 제4 저장부;

상기 제1 저장부에 저장된 상기 제1 평균값과 상기 제3 저장부에 저장된 상기 제3 평균값을 감산하여 플리커를 검출하는 플리커 검출부; 및

상기 제2 및 제4 저장부에 각각 저장된 상기 제2 평균값과 상기 제4 평균값을 비교하여 상기 제2 프레임의 움직임을 추정하는 움직임 추정부를 포함하되,

상기 플리커 검출부는,

상기 제1 평균값과, 상기 움직임 추정부로부터 설정된 기준값에 응답하여 새로 설정된 상기 제3 평균값을 감산하여 플리커 곡선을 추출하는 플리커 곡선 추출부; 및

상기 플리커 곡선 추출부로부터 추출된 상기 플리커 곡선을 필터링하는 필터링부

를 포함하는 이미지 센서의 플리커 검출 회로.
제 10 항에 있어서, 상기 제1 밝기 및 채도 평균값 생성부는,

상기 제1 프레임의 각 화소별로 밝기 및 채도 값을 검출하는 제1 검출부;

상기 제1 검출부로부터 출력된 화소별 밝기 및 채도 값을 라인별로 누적하는 제1 누산부; 및

상기 제1 누산부로부터 출력된 상기 라인별 누적값을 평균하여 상기 제1 및 제2 평균값을 생성하는 제1 평균값 계산부

를 포함하는 이미지 센서의 플리커 검출 회로.
제 11 항에 있어서, 상기 제2 밝기 및 채도 평균값 생성부는,

상기 제2 프레임의 각 화소별로 밝기 및 채도 값을 검출하는 제2 검출부;

상기 제2 검출부로부터 출력된 화소별 밝기 및 채도 값을 라인별로 누적하는 제2 누산부; 및

상기 제2 누산부로부터 출력된 라인별 누적값을 평균하여 상기 제3 및 제4 평균값을 생성하는 제2 평균값 계산부

를 포함하는 이미지 센서의 플리커 검출 회로.
삭제
제 10 항에 있어서,

상기 움직임 추정부는 상기 제2 평균값을 고정시킨 상태에서 상기 제4 평균값을 변동시켜 상기 제2 평균값과 상기 제4 평균값을 비교하는 이미지 센서의 플리커 검출 회로.
제 14 항에 있어서,

상기 움직임 추정부는 상기 제2 평균값이 저장된 상기 제2 저장부의 비교되는 어드레스 시작점을 고정시킨 상태에서 상기 제4 평균값이 저장된 상기 제4 저장부의 비교되는 어드레스 시작점을 순차적으로 변동시켜 상기 제2 평균값과 상기 제4 평균값을 각각 감산한 후 감산된 값의 총합을 계산하는 이미지 센서의 플리커 검출 회로.
제 15 항에 있어서,

상기 움직임 추정부는 상기 제4 평균값 중 상기 감산된 값의 총합에서 가장 낮은 값을 갖는 제4 평균값을 상기 제2 평균값에 가장 근접한 값으로 추정하여 상 기 제2 프레임의 움직임을 보정하는 기준값으로 설정하는 이미지 센서의 플리커 검출 회로.
삭제
제 17 항에 있어서,

상기 플리커 곡선 추출부는 상기 제1 평균값과 상기 제3 평균값을 라인별로 감산하는 이미지 센서의 플리커 검출 회로.
제 18 항에 있어서,

상기 필터링부는 저대역 필터로 이루어진 이미지 센서의 플리커 검출 회로.
제 19 항에 있어서,

상기 제1 저장부는 라인별로 상기 제1 평균값을 저장하는 이미지 센서의 플리커 검출 회로.
제 20 항에 있어서,

상기 제2 저장부는 라인별로 상기 제2 평균값을 저장하는 이미지 센서의 플리커 검출 회로.
제 21 항에 있어서,

상기 제3 저장부는 라인별로 상기 제3 평균값을 저장하는 이미지 센서의 플리커 검출 회로.
제 22 항에 있어서,

상기 제4 저장부는 라인별로 상기 제4 평균값을 저장하는 이미지 센서의 플 리커 검출 회로.
제 23 항에 있어서,

상기 제1 내지 상기 제2 저장부는 SRAM인 이미지 센서의 플리커 검출 회로.
제 24 항에 있어서,

상기 이미지의 촬영은 롤링 셔터 방식으로 이루어진 이미지 센서의 플리커 검출 회로.
이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 값을 추출하여 제1 평균값을 생성하는 단계;

상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 값을 추출하여 제2 평균값을 생성하는 단계; 및

상기 제1 평균값과 상기 제2 평균값을 감산하여 플리커를 검출하는 단계를 포함하되,

상기 플리커를 검출하는 단계는,

상기 제1 평균값과 상기 제2 평균값을 감산하여 플리커 곡선을 추출하는 단계; 및

상기 플리커 곡선을 필터링하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
제 26 항에 있어서, 상기 제1 평균값을 생성하는 단계는,

상기 제1 프레임의 각 화소별로 밝기 값을 검출하는 단계;

상기 화소별 밝기 값을 라인별로 누적하는 단계; 및

상기 라인별 누적값을 평균하여 상기 제1 평균값을 계산하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
제 27 항에 있어서, 상기 제2 평균값을 생성하는 단계는,

상기 제2 프레임의 각 화소별로 밝기 값을 검출하는 단계;

상기 화소별 밝기 값을 라인별로 누적하는 단계; 및

상기 라인별 누적값을 평균하여 상기 제2 평균값을 계산하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
삭제
제 26 항에 있어서,

상기 플리커 곡선을 추출하는 단계는 상기 제1 평균값과 상기 제2 평균값을 라인별로 감산하는 이미지 센서의 플리커 검출 방법.
제 26 항 또는 제 30 항에 있어서,

상기 플리커 곡선을 필터링하는 단계는 저대역 필터로 실시하는 이미지 센서의 플리커 검출 방법.
이미지를 촬영하여 얻어진 제1 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제1 및 제2 평균값을 생성하는 단계;

상기 제1 및 제2 평균값을 제1 및 제2 저장부에 각각 저장하는 단계;

상기 이미지를 연속적으로 촬영하여 얻어진 제2 프레임의 데이터로부터 밝기 및 채도 값을 추출하여 각각에 대한 제3 및 제4 평균값을 생성하는 단계;

상기 제3 및 제4 평균값을 제3 및 제4 저장부에 각각 저장하는 단계;

상기 제1 저장부에 저장된 상기 제1 평균값과 상기 제3 저장부에 저장된 상기 제3 평균값을 감산하여 플리커를 검출하는 단계; 및

상기 제2 및 제4 저장부에 각각 저장된 상기 제2 평균값과 상기 제4 평균값을 비교하여 상기 제2 프레임의 움직임을 추정하는 단계를 포함하되,

상기 플리커를 검출하는 단계는,

상기 제1 평균값과, 상기 움직임을 추정하는 단계를 통해 설정된 기준값에 응답하여 새로 설정된 상기 제3 평균값을 감산하여 플리커 곡선을 추출하는 단계; 및

상기 플리커 곡선을 필터링하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
제 32 항에 있어서, 상기 제1 및 제2 평균값을 생성하는 단계는,

상기 제1 프레임의 각 화소별로 밝기 및 채도 값을 검출하는 단계;

상기 화소별 밝기 및 채도 값을 라인별로 누적하는 단계; 및

상기 라인별 누적값을 평균하여 상기 제1 및 제2 평균값을 계산하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
제 33 항에 있어서, 상기 제3 및 제4 평균값을 생성하는 단계는,

상기 제2 프레임의 각 화소별로 밝기 및 채도 값을 검출하는 단계;

상기 화소별 밝기 및 채도 값을 라인별로 누적하는 단계; 및

상기 라인별 누적값을 평균하여 상기 제3 및 제4 평균값을 계산하는 단계

를 포함하는 이미지 센서의 플리커 검출 방법.
삭제
제 32 항에 있어서,

상기 움직임을 추정하는 단계는 상기 제2 평균값을 고정시킨 상태에서 상기 제4 평균값을 변동시켜 상기 제2 평균값과 상기 제4 평균값을 순차적으로 감산한 후 감산된 값의 총합을 산출하는 이미지 센서의 플리커 검출 방법.
제 36 항에 있어서,

상기 움직임을 추정하는 단계는 상기 제2 평균값이 저장된 상기 제2 저장부의 비교되는 어드레스 시작점을 고정시킨 상태에서 상기 제4 평균값이 저장된 상기 제4 저장부의 비교되는 어드레스 시작점을 순차적으로 변동시켜 상기 제2 평균값과 상기 제4 평균값을 순차적으로 감산한 후 감산된 값의 총합을 산출하는 이미지 센서의 플리커 검출 방법.
제 37 항에 있어서,

상기 움직임을 추정하는 단계는 상기 제4 평균값 중 상기 감산된 값의 총합에서 가장 낮은 값을 갖는 제4 평균값을 상기 제2 평균값에 가장 근접한 값으로 추정하여 상기 제2 프레임의 움직임을 보정하는 기준값으로 설정하는 이미지 센서의 플리커 검출 방법.
삭제
제 32 항에 있어서,

상기 플리커 곡선을 추출하는 단계는 상기 제1 평균값과 상기 제3 평균값을 라인별로 감산하는 이미지 센서의 플리커 검출 회로.
제 40 항에 있어서,

상기 필터링하는 단계는 저대역 필터를 이용하는 이미지 센서의 플리커 검출 방법.
제 41 항에 있어서,

상기 필터링하는 단계 후, 필터링된 상기 플리커 곡선이 플리커 밴드에 의한 것인지, 회로 잡음 및 피사체의 움직임에 의한 것인지를 판단하기 위하여 상기 플리커 곡선의 주기성을 판단하는 단계를 더 포함하는 이미지 센서의 플리커 검출 방법.
제 42 항에 있어서,

상기 플리커 곡선의 주기성을 판단하는 단계는 상기 플리커 곡선의 최소 값이 나타나는 지점과 다음 최소 값이 나타나는 지점과의 거리를 산출하는 이미지 센서의 플리커 검출 방법.
제 42 항에 있어서,

상기 플리커 곡성의 주기성을 판단하는 단계는 상기 플리커 곡선의 최소 값이 나타나는 지점과, 상기 지점 간의 거리를 모두 계산한 후 임의 특정 거리 값없이 나타나는 빈도가 임의 문턱 값보다 높을 경우 상기 플리커 곡선이 플리커 밴드로 인한 곡선으로 판단하는 이미지 센서의 플리커 검출 방법.
제 44 항에 있어서,

상기 임의 특정 거리 값이 나타나는 빈도를 산출하기 위해 상기 플리커 곡선의 최소 값이 나타는 지점과, 상기 지점 간의 거리를 히스토그램 형태로 저장 매체에 계수하여 기록하고, 상기 히스토그램에 기록된 계수 중 최대 값을 갖는 계수는 거리 값의 빈도가 가장 많이 나타나는 거리 값이 되며, 상기 빈도가 가장 많이 나타나는 거리 값과 상기 계수 값을 곱하면 화면 상에 나타나는 플리커 정도를 대표하게 되고, 상기 곱해진 값이 임의의 문턱 값을 넘을 경우 플리커 이미지로 판단하는 이미지 센서의 플리커 검출 방법.
제 45 항에 있어서,

상기 제1 저장부는 라인별로 상기 제1 평균값을 저장하는 이미지 센서의 플리커 검출 방법.
제 46 항에 있어서,

상기 제2 저장부는 라인별로 상기 제2 평균값을 저장하는 이미지 센서의 플리커 검출 방법.
제 47 항에 있어서,

상기 제3 저장부는 라인별로 상기 제3 평균값을 저장하는 이미지 센서의 플리커 검출 방법.
제 48 항에 있어서,

상기 제4 저장부는 라인별로 상기 제4 평균값을 저장하는 이미지 센서의 플리커 검출 방법.
제 49 항에 있어서,

상기 제1 내지 상기 제4 저장부는 SRAM으로 구성된 이미지 센서의 플리커 검출 방법.
제 50 항에 있어서,

상기 이미지의 촬영은 롤링 셔터 방식으로 이루어진 이미지 센서의 플리커 검출 방법.