KR100715932B1

KR100715932B1 - 플리커 검출장치

Info

Publication number: KR100715932B1
Application number: KR1020050100339A
Authority: KR
Inventors: 이성수
Original assignee: (주) 픽셀플러스
Priority date: 2005-10-24
Filing date: 2005-10-24
Publication date: 2007-05-08
Also published as: WO2007049900A1; KR20070044258A

Abstract

CMOS 이미지 센서에 있어서 플리커 노이즈를 검출하기 위한 플리커 검출장치가 개시되어 있다.

플리커 검출 화소부는 1×1의 단일화소로 구성되어 일정한 집광시간 동안 이미지 센싱을 실시하여 위치 고정된 플리커 검출 화소에서 시간변화에 따른(또는 형광등 밝기변화에 따른) 신호를 읽어서 비교한다. 아날로그/디지털 변환부는 플리커 검출 화소부의 아날로그 출력값을 디지탈 값으로 변환한다. 메모리는 아날로그/디지털 변환부로부터 출력된 샘플링된 홀수 번째 디지털 데이터를 일시적으로 저장한다. 홀/짝 비교기는 아날로그 디지털 변환부로부터 출력된 샘플링된 짝수 번째 디지털 데이터와 메모리의 샘플링된 홀수 번째 데이터 출력과 비교하고, 그 비교 결과를 출력한다. 쉬프트 레지스터는 홀/짝 비교기의 비교결과에 따라 결과 값을 쉬프트 시킨다. 비교기는 쉬프트 레지스터의 결과값을 비교하여, 일정한 교류 패턴인지 아니면 플리커가 검출되었는지를 판단한다.

플리커 노이즈

Description

플리커 검출장치{Flicker Detecting Apparatus}

도 1 및 도 2는 형광등에 사용되는 상용 교류전원의 시간 대비 전압 및 시간 대비 밝기(명암)를 나타낸 파형도 이다.

도 3 및 도 4는 종래 기술에 따른 전기적인 롤러 셔터(Electrical rolling shutter) 방식을 이용한 노출제어 방법을 도시한 도이다.

도 5는 종래 기술에 따른 노출제어 방법을 사용할 경우에 발생되는 플리커 현상을 설명하기 위한 도이다.

도 6는 플리커 현상을 없애기 위하여 노출시간을 형광등 주기(T)의 정수배로 맞추는 과정을 설명하기 위한 도이다.

도 7 및 8은 특정한 주기를 갖는 조명이 존재하는지의 여부를 판단하기 위한 샘플링 파형도 이다.

도 9 및 도 10은 종래기술에 따른 문제점을 해결하기 위하여 제안된 특정 샘플링 주기를 갖는 파형도 및 그 샘플링된 짝수/홀수 샘플의 크기와 명암을 함께 도시한 파형도 이다.

도 11은 본 발명에 따른 플리커 검출회로를 나타낸 구성도이다.

도 12는 본 발명에 적용된 16 샘플수를 갖는 관측 윈도우를 나타낸 예시 파형도이다.

< 도면의 주요 부분에 대한 부호 설명>

1: 플리커 검출 화소부 2: 아날로그 디지털 변환부

3: 플리커 시간 제어부 4: 메모리

5: 홀/짝 비교기 6: 쉬프트레지스터

7: 비교기

본 발명은 CMOS 이미지 센서에 관한 것으로서, 특히 CMOS 이미지 센서에 있어서 플리커 노이즈를 검출하기 위한 플리커 검출장치 및 그 방법에 관한 것이다.

일반적으로, 이미지센서라 함은 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자로서, 이중에서 전하결합소자(CCD : charge coupled device)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이며, CMOS(Complementary MOS) 이미지센서는 제어회로(control circuit) 및 신호처리회로(signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소수 만큼의 MOS트랜지스터를 만들고 이것을 이용하여 차례차례 출력(output)을 검출하는 스위칭 방식을 채용하는 소자이다.

이러한 이미지센서의 응용분야는 디지털 스틸-카메라(still camera), 의학용 카메라, 휴대용 이동통신장비 등 다양하며, 대부분의 응용분야에서는 광원에 관계 없이 플리커(flicker) 노이즈(noise)가 없는 이미지센서가 요구되고 있다.

CMOS 이미지센서의 촬영에 사용되는 광원은 크게 태양광과 인공광으로 나눌 수 있는데, 인공광은 또한 형광등과 백열등으로 나눌 수 있다. 이중에서 형광등에 사용되는 교류 전원의 주파수는 나라별로 다르나, 도 1 및 도 2에 도시된 바와 같이, 대부분의 나라에서는 50Hz 와 60Hz의 주파수를 갖는 교류전원을 사용하고 있으며, 따라서 형광등의 밝기는 100Hz 또는 120Hz가 된다.

도 3 및 도 4는 종래기술에 따른 전기적인 롤러 셔터(Electrical rolling shutter) 방식을 이용한 노출제어 방법을 도시한 도이다.

도 3에 도시된 바와 같이, 상기 방법은 프리-리셋 라인(Pre-reset line)과 독출 라인(Read-out line)이 아래 방향으로 이동하면서 노출시간을 조절하게 되는바, 상기 프리-리셋 라인(Pre-reset line)에 속한 픽셀들은 모두 리셋되고, 상기 독출 라인에 속한 픽셀의 데이터는 외부로 출력된다. 특정 라인의 입장에서 볼 때, 프리-리셋 포인터(Pre-reset pointer)가 자신을 지나가고, 즉 라인에 속한 픽셀이 모두 리셋되고 나서 독출 포인터(Read-out pointer)가 자신을 지정, 즉 그 라인의 데이터를 읽어낼 때까지 걸리는 시간이 바로 그 라인에 속한 픽셀들의 노출시간이 된다. 일반적으로, CMOS 이미지 센서가 노출제어를 수행하는 방식은 상기한 바와 같다.

도 4에 도시된 바와 같이, 형광등 아래에서 롤링 셔터 방식의 센서로 영상을 촬영하게 되면 문제가 발생하는 바, 라인 A와 라인 B를 보면, 라인 A는 시점 t0에서 리셋되고 시점 t1에서 읽혀지고, 라인 B는 시점 t2에서 리셋되고 시점 t3에서 읽혀진다. 여기서 노출시간은 (t1-t0) = (t3-t2)이다.

그런데, 라인 A와 라인 B에 입사되는 광량이 다르기 때문에 라인 A의 픽셀과 라인 B의 픽셀의 출력 크기가 서로 다르다. 즉, 라인 A와 라인 B는 동일시간 노출을 하였음에도 밝기가 다른 영상을 출력하게 된다. 그 결과, 도 5에 도시된 바와 같이, 플리커 노이즈 또는 플리커 현상이 발생하게 된다. 태양광이나 백열등 아래에서 이미지센서를 이용하여 촬영을 하는 경우에는 플리커 노이즈가 발생하지 않지만, 형광등 아래에서 이미지센서로 촬영을 하는 경우에는 동일한 이미지를 촬영하더라도 줄무늬의 굴곡이 이미지에 발생하는 경우가 있다. 이와 같이 형광등 아래에서 이미지센서를 사용할 경우, 이미지에 발생하는 줄무늬의 굴곡을 플리커 노이즈라 한다.

일반적으로 이런 문제를 해결하는 방법은, 도 6에 도시된 바와 같이, 명암의 주기 T의 정수 배로만 노출을 하는 것이다. Sine 파를 한 주기 동안 적분하면 항상 일정한 값을 얻기 때문이다. 해결은 이렇게 할 수 있지만, 현재 조명이 50Hz 인지 60Hz 인지 아니면 항상 일정한 태양광 인지 알 수 없으면 어떤 주기의 배수로 노출을 해야 하는지 알 수 없다. 따라서, 현재 50Hz 또는 60Hz 조명이 존재하는지 알아내는 방법이 필요하다.

도 7 및 도 8은 특정한 주기를 갖는 조명이 존재하는지의 여부를 판단하기 위한 샘플링 파형도이다.

도 7에 도시된 바와 같이, 주기적인 밝기를 가진 조명이 존재한다면 그 존재를 확인할 수 있다. 조명 밝기의 주기가 T 라고 하면 T/2의 주기로 샘플링을 한다. 만약 위의 그림처럼 샘플링이 되었다면 홀수 번째 샘플이 항상 짝수 번째 샘플의 값보다 크고, 이 사실을 확인한다면 특정 주기의 조명이 존재한다고 말할 수 있다.

그러나, 도 8에서 보듯이, Ts = Tf/2의 주기로 샘플링을 하였지만, 짝수 번째 샘플과 홀수 번째 샘플 사이에 대소관계가 명확하지 않을 수도 있다(우연히 명암과 샘플링 시간이 위 그림처럼 일치한 경우 ).

따라서, 본 발명은 상기한 종래 기술의 제반 문제점을 해결하기 위한 것으로서, 별도의 플리커 검출 픽셀을 이용하여 플리커를 검출함으로써 플리커의 유무에 상관없이 항상 최적화된 이미지를 제공하도록 하기 위한 CMOS 이미지 센서에 있어서 플리커 노이즈를 검출하기 위한 플리커 검출장치를 제공함에 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명에 따른 플리커 검출장치는, 1×1의 단일화소로 구성되어 일정한 집광시간 동안 이미지 센싱을 실시하여 상기 단일화소에 입사되는 조명의 시간적 밝기 주파수를 검출하는 플리커 검출 화소부; 상기 플리커 검출 화소부의 아날로그 출력값을 디지탈 값으로 변환하는 아날로그/디지털 변환부; 상기 아날로그/디지털 변환부로부터 출력된 샘플링된 홀수 번째 디지털 데이터를 일시적으로 저장하는 메모리; 상기 아날로그/디지털 변환부로부터 출력된 샘플링된 짝수 번째 디지털 데이터와 상기 메모리의 샘플링된 홀수 번째 데이터 출력과 비교하고, 그 비교 결과를 출력하는 홀/짝 비교기; 상기 홀/짝 비교기의 비교결과에 따라 결과값을 쉬프트 시키는 쉬프트 레지스터; 및 상기 쉬프트 레지스터의 결과값을 비교하여, 일정한 교류 패턴인지 아니면 플리커가 검출되었는지를 판단하는 비교기를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면에 의거하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하도록 한다.

도 9 및 도 10은 종래기술에 따른 문제점을 해결하기 위하여 제안된 특정 샘플링 주기를 갖는 파형도 및 그 샘플링된 짝수/홀수 샘플의 크기와 명암을 함께 도시한 파형도이다.

본원 발명에서는 종래기술에 따른 문제점을 해결하기 위하여 샘플링 주기를 Tf/2와 조금 다르게 잡는다. 도 9는 Ts ＜ Tf/2의 경우에 대해서만 도시하였지만 Ts ＞ Tf/2일 경우에도 그 결과는 유사하므로, Ts ＜ Tf/2의 경우에 한해서만 설명하기로 한다.

도 10은 상기 파형에 대하여, 샘플링된 짝수/홀수 샘플의 크기와 명암을 함께 도시한 도로서, 샘플링 주파수(2*명암 주파수)와의 차이에 해당하는 주파수를 갖는 비트를 볼 수 있다.

이에 도시된 바와 같이, 상기 플리커 검출회로는, 플리커 검출 화소부(1), 아날로그/디지털 변환부(2), 플리커 시간 제어부(3), 메모리(4), 홀/짝 비교기(5), 쉬프트 레지스터(6) 및 비교기(7)로 구성된다.

여기서, 상기 플리커 검출 화소부(1)는 일종의 추가 화소부로서, 1×1의 단일화소로 구성되어 있으며(즉, 하나의 라인), 라인의 길이는 주 화소부(미도시)에 있는 라인의 길이와 같다. 상기 플리커 검출 픽셀부(1)의 일실시 예에서는, 1×1의 단일화소로 구성된다. 상기 플리커 검출 픽셀부(1)는 일정한 집광 시간동안 이미지 센싱을 실시하며, 상기 단일화소에 입사되는 조명의 시간적 밝기 주파수를 검출해 낸다.

상기 아날로그/디지털 변환부(2)는 상기 플리커 검출 화소부(1)의 아날로그 출력인 아날로그 값을 디지탈 값으로 변환한 후 상기 메모리(4) 및 상기 홀/짝 비교기(5)로 출력한다.

상기 플리커 시간 제어부(3)는 주기적으로 상기 플리커 검출 화소부(1)의 데이터를 읽어내기 위해 노출을 제어하고, 그 읽어낸 데이터(b)를 상기 홀/짝 비교기(5)에 의해 상기 메모리(4)의 샘플링된 홀수 번째 데이터 출력과 비교하거나, 그 비교 결과를 상기 쉬프트 레지스터(6)로 출력시켜 쉬프팅 시키는 모든 타이밍을 제어한다.

상기 메모리(4)는, 전술한 바와 같이, 상기 아날로그 디지털 변환부(2)로부터 출력된 샘플링된 홀수 번째 디지털 데이터(예컨대, 8비트 데이터)를 일시적으로 저장한다. 예컨대, 상기 메모리(4)는 플립플롭으로 구현되는 것이 바람직하다.

상기 홀/짝 비교기(5)는 상기 아날로그 디지털 변환부(2)로부터 출력된 샘플링된 짝수 번째 디지털 데이터(b)와 상기 메모리(4)의 샘플링된 홀수 번째 데이터 출력과 비교하고, 그 비교 결과를 상기 쉬프트 레지스터(6)로 출력한다.

상기 홀/짝 비교기(5)는, 상기 비교과정에서, 상기 짝수 번째 디지털 데이터(b)와 상기 홀수 번째 데이터가 다음의 비교 조건(1. 2. 3)를 만족하는지 검사한 다.

1. 짝 > (홀 + 문턱값(threshold))

2. (짝 + 문턱값(threshold)) < 홀

3. 위의 1 및 2를 둘 다 만족하지 않음

상기 비교결과가 1의 조건을 만족하면 상기 쉬프트 레지스터(6)로 '1'을 입력하고, 상기 2의 조건을 만족하면, '0'을 입력하며, 상기 1 및 2 조건을 모두 만족하지 않으면 바로 직전에 상기 쉬프트 레지스터(6)로 입력되었던 데이터(c)의 반전된 값을 쉬프트시킨다. 이는 상기 비교기(7)의 결과를 네가티브(negative)로 만들기 위함이다.

상기 쉬프트 레지스터(6)는 소정의 샘플수(sample size)를 갖는 관측 윈도우에 있어서, 관측 윈도우 내부의 모든 짝수 샘플과 홀수 샘플의 크기를 비교하여 상기 홀/짝 비교기(5)의 비교 결과에 따라 결과값을 쉬프트 시키는 기능을 수행한다. 즉 하나의 짝수 샘플과 하나의 홀수 샘플의 쌍의 비교값이 하나의 쉬프트레지스터에 입력된다. 따라서 상기 쉬프트 레지스터(6)는 1bit × (샘플링된 짝수번째 데이터와 홀수번째 데이터를 비교하기 위한 관측 윈도우의 샘플수/2)의 크기로 구현되는 것이 바람직하다.

상기 비교기(7)는 상기 쉬프트 레지스터(6)의 결과값을 비교하여, 일정한 교류 패턴인지 아니면 플리커가 검출되었는지를 판단하게 된다.

상기와 같이 구성된 본 발명에 따른 플리커 검출회로의 동작 및 작용효과에 대하여 도 11을 참조하여 설명하면 다음과 같다.

먼저, 상기 플리커 검출 화소부(1)는 일정한 집광시간 동안 이미지 센싱을 실시하며, 단일화소에 입사되는 조명의 시간적 밝기 주파수를 검출한다.

이후, 아날로그/디지털 변환부(2)는 상기 플리커 검출 화소부(1)의 아날로그 출력인 아날로그 값을 디지탈 값으로 변환한 후 상기 메모리(4) 및 상기 홀/짝 비교기(5)로 출력한다.

이후, 상기 메모리(4)는 상기 아날로그/디지털 변환부(2)로부터 출력된 샘플링된 홀수 번째 디지털 데이터(예컨대, 8비트 데이터)를 일시적으로 저장한다.

이후, 상기 홀/짝 비교기(5)는 상기 아날로그/디지털 변환부(2)로부터 출력된 샘플링된 짝수 번째 디지털 데이터(b)와 상기 메모리(4)의 샘플링된 홀수 번째 데이터 출력과 비교하고, 그 비교 결과를 상기 쉬프트 레지스터(6)로 출력한다.

이후, 상기 쉬프트 레지스터(6)는 상기 홀/짝 비교기(5)의 비교결과에 따라 결과값을 쉬프트시킨다.

이후, 상기 비교기(7)는 상기 쉬프트 레지스터(6)의 결과값을 비교하여, 일정한 교류 패턴인지 아니면 플리커가 검출 되었는 지를 판단하게 된다.

이를테면, 상기 쉬프트레지스터(6) 내의 모든 값이 '0'　 또는 '1' 로 동일하다면 일정한 교류 패턴이 검출된 것으로 판단하고, 일정한 시간 안에 50Hz 및 60Hz 검출신호가 몇 차례 이상 뜨면 플리커가 검출되었다고 판단하게 된다.

이후, 상기 플리커 시간 제어부(3)는 50Hz, 60Hz 에 대한 검출시도를 교대로 반복한다.

도 12는 본 발명에 적용된 16 샘플수를 갖는 관측 윈도우를 나타낸 예시 파형도로서, 이에 도시된 바와 같이, 윈도우 내부에서 모든 짝수 샘플과 홀수 샘플의 크기가 동시에 같은 비교조건을 가진다면, 즉 모든 홀수 번째 샘플이 다음에 오는 짝수 번째 샘플 보다 문턱값(threshold) 이상 크다(또는 적다)면 교류조명의 존재 를 확인할 수 있게 된다.

다시 말하면, 관측 윈도우 1 내의 모든 데이터에서, 짝수 번째 샘플이 바로 앞의 홀수 번째 샘플값 + 문턱값(threshold) 보다 크기 때문에 플리커가 검출되었다고 판단한다.

반면에, 관측 윈도우 2 내의 모든 (홀, 짝) 쌍이 상기 비교조건을 만족하는 것이 아니기 때문에 플리커가 검출되었다고 판단할 수 없게 된다.

예컨대, 상기 관측 윈도우의 크기는 비트의 반주기 보다 작게 잡는 것이 바람직하다. 또한 상기 쉬프트레지스터(6)는 1bit × (관측 윈도우의 샘플수/2)의 크기인 1bit × 8 의 크기로 구현되는 것이 바람직하다.

종래의 이미지 센서에서는, 주로 영상 이미지를 보고 이미지 상에 가로로 띠가 보이는지를 판단함으로써 플리커를 판단하기 때문에 문제가 있었다. 즉, 플리커가 있다고 판단하여 플리커 캔설레이션(Flicker cancellation)을 동작시키면 이미지상에서 플리커를 더 이상 볼 수 없었다. 따라서 플리커 조건이 사라지더라도 사라진 원인이 조명이 바뀌어서 그런지, 상기 플리커 캔설레이션이 동작해서 그런지 알 수 없었다.

그러나, 본 발명의 실시예에 의하면, 본 출원은 별도의 화소(pixel)을 사용하여 플리커(flicker)를 검출하기 때문에 영상에 플리커가 보이든 보이지 않든, 플리커의 유무에 따라 항상 최적화된 이미지를 제공할 수 있다.

이상에서는 본 발명을 특정의 바람직한 실시예로서 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구 든지 다양한 변형이 가능할 것이다.

상기한 바와 같이, 본 발명은 별도의 플리커 검출 픽셀을 이용하여 플리커를 검출함으로써 플리커의 유무에 상관없이 항상 최적화된 이미지를 제공하도록 하기 위한 CMOS 이미지 센서에 있어서 플리커 노이즈를 검출할 수 있다.

또한, 본 발명은 별도의 화소(pixel)을 사용하여 플리커(flicker)를 검출(detection)하기 때문에 영상에 플리커가 보이든 보이지 않든, 플리커의 유무에 따라 항상 최적화된 이미지를 제공할 수 있다.

Claims

1×1의 단일화소로 구성되어 일정한 집광시간 동안 이미지 센싱을 실시하여 상기 단일화소에 입사되는 조명의 시간적 밝기 주파수를 검출하는 플리커 검출 화소부;

상기 플리커 검출 화소부의 아날로그 출력값을 디지탈 값으로 변환하는 아날로그/디지털 변환부;

상기 아날로그/디지털 변환부로부터 출력된 샘플링된 홀수 번째 디지털 데이터를 일시적으로 저장하는 메모리;

상기 아날로그/디지털 변환부로부터 출력된 샘플링된 짝수 번째 디지털 데이터와 상기 메모리의 샘플링된 홀수 번째 데이터 출력과 비교하고, 그 비교 결과를 출력하는 홀/짝 비교기;

상기 홀/짝 비교기의 비교결과에 따라 결과값을 쉬프트 시키는 쉬프트레지스터; 및

상기 쉬프트 레지스터의 결과값을 비교하여, 일정한 교류 패턴인지 또는 플리커가 검출되었는지를 판단하는 비교기;를 포함하는 것을 특징으로 하는 플리커 검출장치.

제1항에 있어서,

주기적으로 상기 플리커 검출 화소부의 데이터를 독출하기 위하여 노출을 제 어하고, 상기 독출된 데이터를 상기 홀/짝 비교기에 의해 상기 메모리의 샘플링된 홀수 번째 데이터 출력과 비교하거나, 그 비교 결과를 상기 쉬프트 레지스터로 출력시켜 쉬프팅 시키는 모든 타이밍을 제어하는 플리커 시간 제어부를 더 포함하는 것을 특징으로 하는 플리커 검출장치.

제1항 또는 제2항에 있어서, 상기 메모리는

플립플롭으로 구현되는 것을 특징으로 하는 플리커 검출장치 .

제1항 또는 제2항에 있어서, 상기 쉬프트레지스터는

1 bit × (샘플링된 짝수번째 데이터와 홀수번째 데이터를 비교하기 위한 관측 윈도우의 샘플수/2)의 크기로 구현되는 것을 특징으로 하는 플리커 검출장치 .