KR20050107959A - 플리커 노이즈 검출방법 - Google Patents

Abstract

본 발명은 시모스이미지 센서등에서 발생하는 플리커 노이즈를 신뢰성있으면서도 간단한 감지하는 방법을 제공하기 위한 것으로, 이를 위해 본 발명은 플리커노이즈 감지방법에 있어서,프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지하는 단계; 상기 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화하는 단계; 그룹화된 로우라인별로 선택된 이미지정보의 평균값을 구하는 단계; 및 상기 평균값을 프레임별로 비교하여 소정의 같은 범위의 값을 가지면 플리커노이즈로 판단하는 단계를 포함하는 플리커노이즈 감지방법을 제공한다.

Description

플리커 노이즈 검출방법{DETECTING METHOD FOR FLICKER NOISE}

본 발명은 시모스 이미지 센서에 관한 것으로, 특히 시모스 이미지 센서의 플리커노이즈 감지하는 방법에 관한 것이다.

최근, 고체 촬상장치는 다지털 스틸카메라나 디지털 비디오 카메라 혹은 휴대 전화기 등의 여러가지 제품에 내장되어 대량으로 사용되어 지고 있다. 고체 촬상장치는 크게 나누어, 전하 전송형 이미지 센서로 구성된 CCD(Charge Coupled Device, 전하결합소자) 고체 촬상소자와, 시모스 트랜지스터로 이미지 센서를 구성한 시모스 이미지 센서가 있다.

시모스 이미지 센서는 모스트랜지스터의 제조 프로세서와 동일한 기술로 센서를 제조할 수 있고, 또 단일 전원으로 구동하여 소비전력도 작으며, 또한 각종신호처리 회로를 동일 칩상에 탑재할 수 있으므로, CCD 고체 촬상장치를 대신할 수 있는 것으로 유망시되고 있다.

시모스 이미지 센서는 매트릭스형으로 배치된 복수의 화소 영역을 갖고 있으며, 각 화소영역에는 포토다이오드등의 광전 변환소자가 형성되어 있다. 각 광전 변환 소자는 입사한 빛에 대응하는 전하를 축적하고, 축적된 전하는 화소내에 구비된 회로에 의해 전압으로 변환되어, 데이터 처리부로 전달되어 처리된다.

한편, 시모스 이미지 센서를 야외에서 사용할 때에는 상관이 없으나, 사용하는 환경이 실내인 경우는 플리커 노이즈라는 고유의 노이즈가 생기게 되는데, 이를 제거하는 것이 쉽지 않은 실정이다.

플리커노이즈라는 것은 시모스 이미지 센서를 실내에서 사용하게 될 때, 광원이 되는 형광등이 고유의 주파수를 가지고 있기 때문에 생기는 것으로, 화면상에 일정한 간격을 가지면서 움직이는 라인으로 표시된다.

통상적으로 형광등은 주파수가 50Hz나 120Hz인 전원을 사용하게 되는데 반하여, 시모스 이미지 센서가 빛을 받아들이는 노출주기가 형광등이 사용하는 전원주파수와 맞이 않기 때문에 플리커노이즈가 발생하는 것이다.

도1과 도2는 형광등의 발광주파수와 시모스 이미지센서의 신호축적 시간과의 관계를 나타내는 파형도이다. 도1과 도2에는 시간에 따라 n번째 프레임과 n+1번째 프레임에서의 형광등같은 광원과 그에 따라 이미지 정보를 받아들이는 축적시간을 나타내는 것이다.

도3은 시모스이미지 센서의 플리커노이즈를 나타내는 도면이다.

도3에서 나타내는 플리커노이즈는 시모스 이미지 센서의 이미지 정보 입력시간이 광원의 주파수에 대응하게 되면 생기지 않는다.

그러나, 시모스 이미지 센서의 동작 특성상 그렇게 하기 어려워 플리커노이즈는 항상 발생하고, 이를 감지하여 제거하는 것이 항상 문제가 되고 있다.

시모스 이미지 센서의 동작에서 플리커노이즈를 감지하는 것은 매우 쉽지 않으며, 이미지 신호를 플리커노이즈라고 잘못판단하여 제거해 버리면, 이미지에 왜곡이 발생하는 문제가 생기게 된다.

본 발명은 상기의 문제점을 해결하기 위한 것으로, 시모스이미지 센서등에서 발생하는 플리커 노이즈를 신뢰성 있으면서도 간단히 감지하는 방법을 제공하는 것을 목적으로 한다.

상기의 과제를 해결하기 위하여 본 발명은 플리커노이즈 감지방법에 있어서,프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지하는 단계; 상기 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화하는 단계; 제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 구하여 비교하는 단계; 상기 제1 프레임의 그룹화된 다수의 평균값과 그에 대응하는 상기 제2 프레임의 그룹화된 다수의 평균값이 같지 않을 경우, 다수의 플래그에 각각 저장하는 단계; 및 상기 플래그에 저장된 평균값이 일정한 패턴을 형성하면, 플리커노이즈로 판단하는 단계를 포함하는 플리커노이즈 감지방법을 제공한다.

또한, 본 발명은 시모스 이미지 센서의 플리커노이즈 감지방법에 있어서, 프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지하는 단계; 상기 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화하는 단계; 제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 구하여 비교하는 단계; 상기 제1 프레임의 그룹화된 다수의 평균값과 그에 대응하는 상기 제2 프레임의 그룹화된 다수의 평균값이 같지 않을 경우, 다수의 플래그에 각각 저장하는 단계; 및 상기 플래그에 저장된 평균값이 일정한 패턴을 형성하면, 플리커노이즈로 판단하는 단계를 포함하는 시모스 이미지 센서의 플리커노이즈 감지방법를 제공한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시 할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

도4는 본 발명의 바람직한 실시예에 따른 플리커노이즈를 감지하는 방법을 나타내는 흐름도이다. 본 실시예에 따른 플리커노이즈를 감지하는 방법은 다양한 고체촬상소자에 적용될 수 있으나, 본 명세서에서는 시모스 이미지 센서에 특별히 적용하여 설명한다.

도4를 참조하여 살펴보면, 본 실시예에 따른 플리커노이즈를 감지하는 방법은 먼저 현재 동작중인 시모스이미지 프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지한다.(S1) 이 때에 감지되는 플리커노이즈의 갯수는 수학식1에 의해서 정해진다.

한 프레임에서의 플리커노이즈의 수 = 플리커 주파수 / 프레임 레이트(fps)

여기서 프레임 레이트(frame rate)는 초당 표시되는 프레임의 수를 말하고, 플리커 주파수는 형광등 같은 광원의 주파수를 나타낸다. 따라서 예를 들어 형광등의 주파수가 120Hz이고, 프레임 레이트가 30fps이면, 120/30= 4가 되어 한 프레임에서의 플리커노이즈는 4개가 된다.

이어서, 수학식1에 의해 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화한다.(S2) 여기서 그룹화하는 로우라인의 수는 한 프레임에서의 플리커노이즈의 수의 2배이상이 되도록 한다. 즉, 위의 예에서는 로우라인의 그룹화를 8개 이상으로 하면 되는 것이다. 이는 시그널을 샘플링할 때에 두배의 주파수로 하여야 한다는 이론에 근거한 것이다.

예를 들어 시모스이미지 센서에서 한 프레임이 총 480개의 로우로 구성되어 있다면, 480개의 로우라인을 8개 이상으로 그룹화하면 되는 것이다.

이어서 프레임별로 그룹화된 로우라인의 선택된 이미지정보의 평균값을 구한다.(S3) 여기서 선택된 이미지정보는 아래의 휘도(Y)정보를 이용한다.

통상적으로 시모스 이미지 센서는 각각의 화소에 의해 입력된 RGB 값을 아래의 수학식2와 같이 YCrCb로 변환하여 처리하게 되는데, 본 실시예에 따른 플리커노이즈 감지방법은 휘도(Y)에 관한 이미지 정보를 이용하게 되는 것이다. Cr과 Cb는 칼라정보를 나타낸다.

Y= (66R + 129G + 25B) / 256 + 16, 범위 : 16 ~ 235

Cb = ( -38R -74G + 112B)/256 + 128, 범위 : 16 ~ 240

Cr = (112R - 94G - 18B) / 256 + 128, 범위 : 16 ~ 240

이어서,

그룹화된 로우라인의 평균값을 프레임간 비교하여 다를 경우 플레그에 저장한다.(S4)

이어서 트리비교법에 의해 플리커노이즈를 판단하게 되는데(S5), 소정의 같은 범위의 값을 가지면 플리커노이즈로 판단한다. 플래그에 저장된 평균값이 일정한 패턴을 형성하면, 플리커노이즈로 판단하게 된다. 즉, 일정간격으로 그룹화된 로우라인 이미지정보의 평균값이 소정의 같은 범위의 값을 가지면, 플리커노이즈로 판단하게 된다.

이를 자세히 설명하면, 만일 시모스 이미지 센서가 VGA인 경우에는 480개의 로우라인인 존재한다. 각 프레임별로 480개의 로우라인을 각각 평균값을 계산하여 비교한다면 많은 리소스가 존재한다. 그리고 또한 노이즈에도 민감하게 반응하여 오류를 발생할 수가 있다.

이를 방지하기 위해서 임의의 개수에 해당되는 로우라인별로 그룹화한 다음 그룹화한 로우라인의 휘도에 관한 이미지 정보를 대응하는 플래그 메모리에 저장한다.

이에 관한 도면이 도5로서, 도5는 도4에 도시된 플리커노이즈 감지방법에 따른 프레임별 로우별로 평균값을 구하는 것을 나타내는 도면이다. 여기서 480개의 로우라인을 그룹화하는 방식은 전술한 바와 같이 수학식1에 의해 한 프레임에서의 플리커노이즈의 수를 계산한 다음 그 2배이상의 수로 로우그룹화하는 방식으로 하면 된다.

도5에는 2개의 프레임간에 그룹화한 로우라인별의 평균값과 그 차이값이 도시되어 있다. 한 프레임에서 그룹화된 로우라인별로 n개가 존재하고, 다음 비교대상의 프레임에서 그룹화된 평균값도 n개가 존재한다. 그리고 각 프레임의 평균값을 비교한 결과값을 저장하는 플래그가 N개가 있다.

플리커노이즈가 발생하면, 플래그에 저장된 값에 변화가 생기는데, 평균값이 계속 소정범위의 일정한 값을 유지하게 된다. 만약 플리커노이즈가 아니라면, 평균값은 소정범위의 일정한 값을 유지하는 것이 아니라 상당히 큰 변화폭을 가질 것이다.

도6은 광원에 따른 프레임별 플리커노이즈가 발생했을 때를 나타내는 도면이다.

도6에서 1/2 사인파형태로 도시된 부분은 형광등의 광원의 일정한 주파수를 나타낸다. 예를 들어 100Hz,120Hz로 형광등이 깜박거리고 있는데, 이것은 센서에 음영으로 나타나게 된다.

이 때 나타내는 음영은 도6에 도시된 바와 같이, 각 프레임별로 나타나는 위치가 다를 수 있다. 도5에 도시된 프레임은 이해를 돕기 위해 음영을 서로 다른 위체에 나타낸 것으로 화면을 나타내는 것이 아니라 광원에 의해 감지되는 이미지 정보를 시간별로 나타낸 것이다.

플리커노이즈를 나타내는 음영은 도5에 도시된 바와 같이 서로 다른 위치에 나타나게 되나, 항상 일정한 간격으로 움직이게 된다. 이는 플리커노이즈의 원인이 되는 형광등의 주파수가 일정하기 때문이다.

따라서 전술한 바와 같이 그룹화한 로우라인별로 저장된 평균값을 프레임별로 비교하되, 일정간격에 있는 평균값이 소정의 범위내에 들어간다면 플리커노이즈라고 판별하는 것이다.

여기서 일정간격까지 각 프레임별로 평균값의 비교가 가능한 것은 첫번째 단계에서 현재 입력되는 광원의 주파수와 프레임의 속도를 비교하여, 한 프레임에서 가능한 플리커노이즈의 수를 알 수 있기 때문이다.

한 프레임에서 가능한 플리커노이즈의 수에 따라 각 프레임별로 비교하게 되는 평균값의 간격을 정할 수 있게 되는 것이다.

만약 수직으로 고정되어 일정한 이미지 정보를 가지는 경우에도 프레임간 비교되는 평균값이 소정범위내에 들수 있다. 그러나, 플리커노이즈가 아니라 이미지라면 소정범위내에 드는 평균값이 일정한 로우라인 위치에 계속 나타날 것이다. 플리커노이즈라면, 일정한 로우라인 위치에 소정범위내에 드는 평균값이 나타나는 것이 아니라 계속해서 일정한 간격으로 소정범위내에 드는 평균값이 나타날 것이다.

일정간격으로 평균값을 구할 때에는 도7에 도시된 트리비교법을 이용하게 된다.

도7은 도4에 도시된 플리커노이즈 감지방법에 따른 트리비교법을 나타내는 도면이다.

트리 비교법이란 도7에 도시된 바와 같이, 각 프레임별로 각각 그룹화된 로우라인의 평균값을 비교하여 소정범위에 드는 로우라인의 값을 1로, 소정범위에 들지 않는 로우라인을 0으로 표기한다. 이 때 1로 표기되는 간격이 일정하다면 플리커노이즈라고 판단하는 것이다.

이상에서 살펴본 바와 같이, 본 실시예에 따라 플리커노이즈를 판단하게 되면 쉽게 플리커노이즈를 감지할 수 있다. 이어서 감지된 플리커노이즈를 제거하면 되는 데, 통상적으로 플리커노이즈를 감지하는 것이 매우 어렵지, 일단 감지되면 제거하는 것은 매우 쉽다.

플리커 노이즈라고 일단 검출이 되면, 광원에 대한 이미지를 받아들이기 위한 노출시간을 변경하면 되는 것이다.(도4의 S7) 만약 플리커 노이즈라고 검출이 안되면, 노출시간을 유지한 체로 다시 프레임별로 그룹화한 로우라인의 평균값을 계산하고 전술한 방식대로 진행한다.(S8)

본 실시예에 따른 플리커노이즈 감지방법을 시모스 이미지 센서등의 고체촬상소자에 적용하게 되면, 상당히 감지하여 제거하기 어려우면서도, 형광등같은 광원에 의해서 반드시 발생되는 플리커 노이즈를 쉽게 제거할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

본 발명에 의해 시모스 이미지 센서등에서 발생하는 플리커노이즈를 쉽고 편리하게 감지할 수 있게 되어 시모스 이미지 센서의 플리커노이즈를 쉽게 제거할 수 있다.

따라서 시모스 이미지 센서의 플리커노이즈를 쉽게 제거할 수 있게 되어 시모스 이미지 센서등의 동작상의 신뢰성을 향상시킬 수 있다.

도1과 도2는 형광등의 발광주파수와 시모스 이미지센서의 신호축적 시간과의 관계를 나타내는 파형도.

도3은 시모스이미지 센서의 플리커노이즈를 나타내는 도면.

도4는 본 발명의 바람직한 실시예에 따른 플리커노이즈를 감지하는 방법을 나타내는 흐름도.

도5는 도4에 도시된 플리커노이즈 감지방법에 따른 시모스이미지 센서의 프레임별 로우별로 평균값을 구하는 것을 나타내는 도면.

도6은 광원에 따른 프레임별 플리커노이즈가 발생했을 때를 나타내는 도면.

도7은 도4에 도시된 플리커노이즈 감지방법에 따른 트리비교법을 나타내는 도면.

Claims (9)

1. 플리커노이즈 감지방법에 있어서,

   프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지하는 단계;

   상기 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화하는 단계;

   제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 구하여 비교하는 단계;

   상기 제1 프레임의 그룹화된 다수의 평균값과 그에 대응하는 상기 제2 프레임의 그룹화된 다수의 평균값이 같지 않을 경우, 다수의 플래그에 각각 저장하는 단계; 및

   상기 플래그에 저장된 평균값이 일정한 패턴을 형성하면, 플리커노이즈로 판단하는 단계

   를 포함하는 플리커노이즈 감지방법.
2. 제 1 항에 있어서,

   상기 플리커노이즈로 판단하는 단계에서 플리커노이즈로 판단되었을 경우 상기 광원에 상기 이미지를 노출시키는 시간을 변경하는 단계를 더 포함하는 것을 특징으로 하는 플리커노이즈 감지방법.
3. 제 2 항에 있어서,

   상기 플리커노이즈로 판단하는 단계에서 플리커노이즈로 판단되지 않았을 경우에, 상기 광원에 상기 이미지를 노출시키는 시간을 유지하는 단계; 및

   제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 다시 구하여 비교하는 단계를 더 포함하는 것을 특징으로 하는 플리커노이즈 감지방법.
4. 제 1 항에 있어서,

   상기 그룹화된 로우별로 선택된 이미지정보의 평균값을 구하는 단계에서 사용되는 이미지정보는 휘도(Y)정보인 것을 특징으로 하는 플리커노이즈 감지방법.
5. 제 1 항에 있어서,

   상기 한 프레임에 발생되는 플리커노이즈의 갯수는 수학식1에 의해 정해지는 것을 특징으로 하는 플리커노이즈 감지방법.
6. 제 1 항에 있어서,

   상기 한 프레임을 임의의 로우라인별로 그룹화하는 단계에서 그룹화하는 수는 상기 수학식1에 의해 정해지는 한 프레임에 발생되는 플리커노이즈의 갯수의 2배이상인 것을 특징으로 하는 플리커노이즈 감지방법.
7. 시모스 이미지 센서의 플리커노이즈 감지방법에 있어서,

   프레임 속도 및 광원에 대응하여 한 프레임에 발생되는 플리커노이즈의 갯수를 감지하는 단계;

   상기 감지된 플리커노이즈의 갯수에 대응하여 한 프레임을 임의의 로우라인별로 그룹화하는 단계;

   제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 구하여 비교하는 단계;

   상기 제1 프레임의 그룹화된 다수의 평균값과 그에 대응하는 상기 제2 프레임의 그룹화된 다수의 평균값이 같지 않을 경우, 다수의 플래그에 각각 저장하는 단계; 및

   상기 플래그에 저장된 평균값이 일정한 패턴을 형성하면, 플리커노이즈로 판단하는 단계

   를 포함하는 시모스 이미지 센서의 플리커노이즈 감지방법.
8. 제 7 항에 있어서,

   상기 플리커노이즈로 판단하는 단계에서 플리커노이즈로 판단되었을 경우 상기 광원에 상기 이미지를 노출시키는 시간을 변경하는 단계를 더 포함하는 것을 특징으로 하는 시모스 이미지 센서의 플리커노이즈 감지방법.
9. 제 8 항에 있어서,

   상기 플리커노이즈로 판단하는 단계에서 플리커노이즈로 판단되지 않았을 경우에, 상기 광원에 상기 이미지를 노출시키는 시간을 유지하는 단계; 및

   제1 프레임과 제2 프레임간에, 그룹화된 로우라인의 선택된 이미지정보 평균값을 다시 구하여 비교하는 단계를 더 포함하는 것을 특징으로 하는 시모스 이미지 센서의 플리커노이즈 감지방법.