KR100891434B1 - 플리커 노이즈 검출 장치, 방법 및 그 기록매체 - Google Patents

Abstract

본 발명에서 개시되는 플리커 노이즈 검출장치는, 플리커 노이즈를 검출하는 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준데이터를 산출하는 산출부; 상기 기준데이터가 산출된 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출부; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단부를 포함한다.

상기 본 발명에 의하면, 연산시간의 단축과 최소 메모리의 사용으로 획득된 영상에서 피사체의 특성에 강인함을 가지는 플리커 노이즈 검출방법을 실현할 수 있다.

플리커, flicker, 기준, 영상 데이터 처리, 프레임 메모리

Description

플리커 노이즈 검출 장치, 방법 및 그 기록매체{Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method}

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.

도 1은 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 장치를 도시한 블럭도,

도 2는 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 방법의 과정을 도시한 흐름도,

도 3은 대상영상과 상기 대상영상에 대응되는 라인별 밝기정보의 통계적 산출값을 도시한 도면,

도 4는 대상영상의 라인별 밝기정보의 통계적 산출값을 좌표계에 나타낸 도면,

도 5a 및 도 5b는 상기 통계적 산출값에 대한 저대역 필터링과정을 도시한 도면,

도 6a 및 도 6b는 저대역 필터링된 제2데이터의 기준데이터를 도시하는 도면,

도 7은 본 발명에 의하여 플리커 노이즈 영상 여부가 판단된 결과영상을 도시한 도면이다.

<도면의 주요 참조부호에 대한 설명>

100 : 플리커 노이즈 검출 장치 102 : 입력부

103 : 산출부 104 : 제1산출부

106 : 필터링부 108 : 기준데이터산출부

110 : 플리커라인검출부 112 : 판단부

본 발명은 영상의 플리커 노이즈 검출장치 및 방법에 관한 것으로 영상 픽셀 정보 중 밝기정보의 통계적 규칙성을 통하여 단순하면서도 효과적인 플리커 노이즈를 검출하는 장치 및 방법에 관한 것이다.

플리커 노이즈(flicker)는 상용 교류 전원에 의해 점등되는 형광등의 조명상태에서 카메라 등의 광학영상장치를 통해 피사체가 촬영되는 경우 발생하는 일종의 주파수 불일치에 의한 노이즈로서, 형광등의 휘도 변화의 주파수와 카메라의 수직 동기 주파수의 차이에 의해 출력된 영상 신호에 시간적인 명암의 변화가 발생하게 되는 노이즈를 의미한다.

예를 들면, 상용 교류 전원 주파수가 50Hz인 지역에서, 비인버터 방식의 형광등의 광원에서 NTSC 방식(수직 동기 주파수는 60Hz)의 CCD 카메라에 의해 피사체를 촬영하는 경우, 1 주기가 1/60초인 데 반하여, 형광등의 휘도 변화의 주기가 1/100초로 되기 때문에, 형광등의 휘도 변화에 대하여 각 필드의 노광 타이밍이 어긋나게 되며, 이러한 현상에 의하여 각 화소의 노광량이 달라지게 된다.

즉, 광학장치에 이용되는 센서인 CM0S 이미지 센서는 구조가 간단하여 저비용화가 가능하고 고화질로 저소비 전력이지만, 화소 또는 라인마다 광전을 변환시키는 타이밍이 다르기 때문에, 형광등 조명 아래에서와 같이 밝기가 주기적으로 변하는 환경에서 촬영하면 촬상 화상에 명암의 가로 줄무늬가 발생한다. 이 촬영된 화상에 포함되는 가로 줄무늬를 플리커 또는 플리커 노이즈라고 칭한다.

이러한 플리커를 검출하는 방법은 많이 제시되고 있는데 주로 공간적인 영역에서 처리하는 방법과 주파수 영역에서 처리하는 방법들이 이용된다. 공간적인 영역에서 처리하는 방법은 이웃화소, 줄간격 또는 프레임과의 상관관계를 이용하여 검출하는 방법들이 개시되고 있고, 주파수 영역에서 검출하는 방법은 FFT(Fast Fourier Transform), 캡스트럼(Cepstrum)과 같은 변환을 이용하여 플리커 노이즈 성분을 검출한다.

주파수 영역에서 플리커를 검출하는 방법은 상기 공간 영역에서 검출하는 방법과 대비하여 비교적 더 정확하게 검출할 수는 있으나, 임베디드 장치나 칩 등으로 구현하기에는 너무나 많은 하드웨어 리소스와 메모리가 필요하다는 단점을 가지고 있다.

반면, 공간 영역에서 검출하는 방법으로 이웃화소들, 줄간격 또는 프레임과의 상관관계를 이용하는 방법은 영상정보에 포함되어 있는 노이즈에 노출되게 되어 노이즈 성분에 따라 플리커 노이즈의 검출이 잘못될 확률이 높아지는 문제점이 있으며, 이 방법 또한, 현재 라인과 다음 라인의 정보를 비교하기 위하여 라인별 또는 프레임별 메모리가 필요하다는 문제점이 있다.

본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로, 프레임 메모리 또는 라인 메모리를 사용하지 않고 정확하고 간단하게 플리커 노이즈 영상 여부를 검출할 수 있는 장치와 방법을 제공하는 데 목적이 있다.

또한, 상기와 같은 방법을 컴퓨터에서 구현하기 위하여 컴퓨터로 인식가능하고 실행되는 프로그램을 기록한 기록매체를 제공하는 데 목적이 있다.

본 발명에 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 구성의 조합에 의해 실현될 수 있다.

상기한 목적을 달성하기 위하여 본 발명에 따른 플리커 노이즈 검출장치는, 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출하는 산출부; 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출부; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단부를 포함한다.

상기의 구성을 통하여 라인별 또는 프레임별 메모리의 요구가 필요하지 않은 간단한 플리커 영상 여부를 검출할 수 있는 장치를 구현할 수 있다.

또한, 상기 산출부는 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출하는 제1산출부; 및 상기 제1데이터 중 이전 라인의 제1데이터보다 크고 이후 라인의 제1데이터보다 큰 제1데이터인 기준데이터를 산출하는 기준데이터산출부를 더 포함할 수 있다.

상기의 구성을 통하여 실질적인 플리커 라인의 통계적 의미를 가지는 라인을 중심으로 더욱 정교한 플리커 노이즈 영상을 판단할 수 있다.

한편, 상기 산출부는, 상기 라인별 제1데이터를 저대역 필터링하는 필터링부를 더 포함하고, 상기 기준데이터산출부는, 상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터인 기준데이터를 산출하도록 구성하는 것이 더욱 바람직하다.

상기의 구성을 통하여, 영상의 피대상체 특성에 따른 오류를 사전에 배제시켜 더욱 정밀한 플리커 노이즈 영상을 판단할 수 있는 기술사상을 실현할 수 있다.

또한, 상기 제1산출부는 상기 통계적 산출값인 제1데이터를 한 라인에 해당하는 모든 픽셀의 밝기정보를 이용하여 산출하도록 구성하는 것이 바람직하다.

상기와 같은 구성에 의하여 영상데이터 내 피검사체의 특성으로부터 받게되는 영향을 최소화할 수 있는 장치를 실현할 수 있다.

또한, 상기 통계적 산출값은 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값으로 구성할 수 있다.

상기의 구성을 통하여 플리커를 검출함에 있어 통계적 산출값을 라인별로 대별되도록 유연하게 조정할 수 있는 발명을 실현할 수 있다.

더욱이, 상기 필터링부는, 상기 라인별 제1데이터 6 내지 8개를 이용하여 저대역 필터링하는 것이 바람직하다. 이러한 필터링에 대한 구성을 통하여 연산속도와 메모리 사용에 대비하여 플리커 검출률에서 가장 바람직한 효율을 가지는 구성을 실현할 수 있다.

또한, 상기 기준개수는, 상기 입력영상의 높이를 상기 플리커 라인의 간격의 크기로 나눈값의 60%이상으로 구성함으로써, 이상적인 실질적인 광학적 특성과 영상처리과정을 반영한 플리커 노이즈 검출에 대한 구성을 실현할 수 있다.

한편, 상기 간격의 크기는, 상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 각각의 간격 크기의 평균값으로 구성하거나, 상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수의 플리커 라인에 해당하는 간격의 크기로 구성할 수 있다.

아울러, 상기 기준개수와 비교되는 상기 플리커라인의 개수는, 상기 플리커 라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 각각의 개수의 합 또는 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수로 구성할 수 있다.

한편, 본 발명의 다른 측면에 의한 플리커 노이즈 검출 방법은, 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출하는 산출단계; 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출단계; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단단계를 포함한다.

상기의 구성을 통하여 간단하면서도 시간, 공간의 최소화를 실현할 수 있는 플리커 노이즈 검출방법을 실현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 장치를 도시한 블럭도이다.

도 1을 참조하는 경우, 본 발명에 의한 플리커 노이즈 검출 장치(100)는 입력부(102), 산출부(103), 플리커라인검출부(110) 및 판단부(112)를 포함한다. 또한, 상기 산출부(103)는 제1산출부(104), 필터링부(106) 및 기준데이터산출부(108)를 포함할 수 있다.

본 발명의 상기 입력부(102)는 플리커 노이즈 검출 대상이 되는 영상인 대상영상을 입력받는다. 통상적으로 이미지 센서 등의 광학장치로 촬영되는 영상의 이미지 시그널 프로세스에서는 감마 보정, 칼라 보정 등을 거친 후, 필요에 따라 YCbCr 변환을 거친 후 상기와 같이 입력부(102)에 대상영상이 입력된다.

상기 입력부(102)는 본 발명에 의한 장치와 외부장치 또는 외부에 존재하는 또 다른 장치 또는 장치 등과의 인터페이스 기능을 구현하는 구성요소이다.

하나의 색공간으로 표현되는 영상정보는 간단한 수학적 변환식에 의하여 다른 다양한 색공간으로의 변환이 가능함은 주지의 사실에 해당하므로 본 발명의 설명에 있어 구체적인 예로 설명되는 밝기정보(YCbCr 중 Y)에 대한 내용은, 다른 색공간으로 표현되는 다양한 영상정보에도 동일하게 적용가능하다고 이해되어야 한다.

영상은 행과 렬로 표현되는 소정의 매트릭스 구조로 되어 있으며, 영상처리과정에서 상기 영상은 좌상단 픽셀에서 우하단 픽셀에 이르기까지 시계열적인 특성을 가지며 입력되게 되며, 적용가능한 영상 프레임의 하나의 예로서 320×240 영상을 예로 설명하도록 한다.

이하 본 발명의 설명에서 라인이라고 표현되는 구성은 상기 영상에서 동일한 행에 해당하는 것으로 상기 320×240 영상의 경우 240개의 라인으로 표현될 수 있다.

상기와 같이 상기 입력부(102)를 통하여 입력된 대상 영상은 산출부(103)로 전송되며, 상기 산출부(103)는 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출한다.

플리커 노이즈가 형성된 영상은 픽셀 밝기에 대한 영상의 라인별 특성이 두드러지게 되고 이러한 물리적 현상이 영상에 반영되므로 상기와 같이 산출부(103)는 대상영상의 각 라인별 픽셀의 밝기정보를 이용하여 통계적 산출값을 연산하게 되고, 이러한 통계적 산출값을 각각의 라인마다 구별하여 산출하게 된다.

이렇게 산출된 라인별 통계적 산출값들은 원래 영상의 피 대상체의 특성이 반영될 수도 있으므로 이를 선별하여 플리커 노이즈 여부가 판단될 수 있도록 특정 밝기 이상이 되며 밝기 정보가 주기적인 특성을 가지는 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출한다.

상기와 같이 산출된 기준데이터는 후술되는 플리커라인검출부(110) 및 판단부(112)의 후속 과정을 거쳐 플리커 노이즈 영상 유무를 판단하게 되는 기준이 된다. 상기 플리커라인검출부(110) 및 판단부(112) 등의 상세한 설명은 상기 산출부(103)의 구체적인 구성요소에 대한 구체적인 설명을 기술하고 해당되는 부분에 후술하여 기술하도록 한다.

상기와 같은 방식에 의하여 입력부(102)를 통하여 입력된 대상영상을 대상으로 상기 산출부(103)의 제1산출부(104)는 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출한다.

상기 예에서 240개의 라인은 각각 320개의 픽셀을 가지고 있으며, 각각의 픽셀은 다양한 색공간으로 표현되는 영상정보를 가지고 있다. 색공간인 YCbCr인 경우, Y, Cb, Cr 각각의 정보를 가지고 있으며, 상기 제1산출부(104)는 상기 영상정보 중 Y에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값을 산출하게 된다.

앞서 설명한 바와 같이 예를 들어, 색공간이 RGB로 표현되는 경우, 간단한 수학적 방정식에 의하여 YCbCr로 변환될 수 있으므로 상기 제1산출부(104)는 형상화되는 색공간에 제한됨 없이 적용가능하다고 이해되어야 한다.

즉, 제1산출부(104)는 240개 라인 마다 각각의 통계적 산출값을 산출한다. 산출하는 과정에서 한 라인을 구성하는 320개 픽셀의 모든 밝기정보를 이용할 수도 있으며, 선택된 영역에 해당하는 픽셀을 중심으로 연산할 수도 있다. 영상의 특징적인 부분만을 추출하고 이에 해당되는 픽셀을 기초로 연산하는 경우, 메모리의 사용이나 연산속도 등에서는 효율적일 수 있으나, 영상에 담긴 피사체의 전반적인 특 징과 플리커 노이즈의 특성을 그대로 반영할 수 없는 단점 또한 존재할 수 있다.

그러므로 사용환경이나 영상특성 등에 따라 한 라인에 해당하는 특정 픽셀구간을 선택하여 적용할 수 있으나, 피사체의 특성에 대비한 플리커의 검출의 효율성의 차원에서 한 라인에 해당하는 모든 픽셀을 선택하여 산출하는 것이 바람직하다.

상기 통계적 산출값은 평균값이 일반적일 수 있으며, 각각의 픽셀 중 선택된 픽셀에 가중치가 곱하여진 가중치 평균 등 다양한 변형례가 가능함은 물론이다.

또한, 상기 통계적 산출값은 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값으로 결정될 수 있다.

라인에 해당하는 픽셀의 밝기정보의 합산된 값을 상기 통계적 산출값인 제1데이터로 사용할 수 있으며, 이러한 경우는 각 라인마다의 통계적 산출값의 상호간의 차이를 가장 두드러지게 할 수 있다. 상기 합산된 값을 나누는 수가 커질수록 라인별 특이성이 조금씩 완화될 수 있다.

상기의 구성은 산출되는 결과에 따라 사용자 또는 장치에서 수동적 또는 자동적으로 조정할 수 있도록 구성되는 것이 바람직하며, 한 라인에 해당하는 픽셀의 개수가 선택되는 경우에는 한 라인의 밝기정보의 평균값이 된다.

도 3은 대상영상과 상기 대상영상에 대응되는 라인별 밝기정보의 통계적 산출값을 도시한 도면으로서 도 3을 참조하면, 첫번째 라인에서부터 마지막 라인까지 각각 라인의 밝기값의 통계적 산출값(평균값)을 대상영상의 우측에 병기하여 도시하고 있다.

도 4는 도 3의 입력영상의 라인별 밝기정보의 통계적 산출값을 회전시켜 직교 좌표계로 나타낸 도면으로서 상기 도 3에서 구한 바와 같이 제1데이터값들로 이루어진 결과를, x축을 영상의 라인의 축(원점을 기준으로 상위 라인에서 하위라인으로 전개)으로 y축을 통계적 산출값(제1데이터)의 축으로 2차원적으로 나타내었으며 영상의 라인별 특성에 해당한다.

상기 도 4의 부분 확대도와 같이 상기 평균값은 이산적인 값에 해당하며 시각적인 인지성을 높이기 위하여 각각의 통계적 산출값에 해당하는 명암정보로 나타내었으며 결과적으로 일종의 물결형상으로 표현된다.

본 발명의 필터링부(106)는 상기 라인별 제1데이터를 저대역 필터링한다. 도 5a 및 5b는 필터링 전의 제1데이터와 필터링 후의 제1데이터를 동순으로 나타내고 있다.

도 5a에 도시된 바와 같이 필터링 전의 제1데이터는 다양한 원인에 의하여 발생하는 노이즈 등의 영향으로 연속적인 분포를 가지지 못하며, 영상의 통계적 특성을 발현하지 못한다. 그러므로, 상기 필터링과 같이 영상의 전반적인 통계적 특성을 부각하기 위하여 저대역 필터링(low pass filtering)을 수행한다.

저대역 필터링에 적용되는 방식은 다양하게 이용할 수 있으나, 각각의 라인별 영상특징을 가장 효과적으로 반영하기 위하여 mean필터링이 바람직하다. 즉, 라인별 제1데이터의 평균값으로 해당 라인의 제1데이터를 치환하는 방식의 필터링을 취하게 된다.

평균값에 의한 필터링을 구체적으로 설명하면, n-1번째 라인의 제1데이터, n 번째 라인의 제1데이터 및 n+1번째 라인의 제1데이터의 평균값을 n번째 라인의 제1데이터값으로 치환하게 된다. 영상의 특성과 연산에 요구되는 시간 또는 메모리 소모 등과의 관계에서 가장 바람직한 필터링은 상기 제1데이터 6개 내지 8개를 이용하여 필터링하는 방식이다.

상기와 같은 방식에 의하여 필터링 후의 제1데이터가 도 5b에 도시되어 있다.

상기의 과정을 수행한 후, 기준데이터산출부(108)는 상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터인 기준데이터를 산출한다.

상기 기준데이터는 도 4 등에서 도시된 상기 제1데이터의 곡선에서 접선의 기울기가 양에서 음으로 변화하는 부분에 해당하는 데이터로서, n번째 라인의 제1데이터 값과 n+1번째 라인의 제1데이터 값의 차를 이용하여 연산한다.

도 6a 및 도 6b는 저대역 필터링된 제2데이터의 기준데이터가 존재하는 라인을 선으로 도시하고 있다.

그 후, 플리커라인검출부(110)는 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출한다.

상기 소정 오차범위는 사용자 또는 기 저장된 값 등에 의하여 설정되는 범위로서 물리적으로 완벽하게 동일한 간격은 불가능하므로 오차범위를 설정하게 되며, 장치 환경, 영상 특성 등에 따라 다양한 응용례가 가능함은 물론이다.

앞서 설명한 바와 같이 플리커 노이즈는 피사체에 대한 광원의 주기적인 특 성과 빛감각 센서의 빛 감각 주기의 불일치에 의한 물리적 현상으로 발생되는 것이므로 플리커 노이즈인 경우 일정한 주기적인 특성을 가지게 된다.

플리커 노이즈가 존재하는 부분에서는 노이즈가 존재하지 않는 영역에 대비하여 더 낮은 밝기값을 가지게 되므로, 노이즈가 사라지는 지점에서는 다시 밝기값이 높아지는 주기적인 현상이 촬영영상에 나타나는 광학적 특성에 기초한다.

예를 들어, 첫번째부터 열번째까지의 기준데이터가 나타난 라인이 20, 40, 60, 81, 100, 122, 125, 132, 140, 160이고, 오차범위가 ±2라고 가정하면, 1라인(20), 2라인(40), 3라인(81),4라인(100), 5라인(100), 6라인(122), 9라인(140) 및 10라인(160)이 플리커 라인이 되며, 그 외의 라인은 영상의 피사체 특성에 따라 나타난 라인에 해당된다.

플리커 라인을 검출한 후, 상기 판단부(112)는 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단한다.

상기 플리커 노이즈 판단의 기준이 되는 기준개수는 입력되는 영상의 크기와 광원 및 이미지 센서의 주파수 등을 기준으로 절대적인 값으로 설정하여 결정될 수 있으며, 다양한 실험 예를 통하여 플리커 노이즈가 존재하는 경우 발생되는 플리커 라인의 통계적 값을 기준으로 설정될 수 있음은 물론이다.

또한, 상기 기준개수는 상기 입력영상의 높이를 상기 플리커라인의 간격의 크기로 나눈값의 60%이상이 되도록 입력영상의 높이에 따른 상대적인 값으로 설정할 수도 있다.

앞선 예에서 플리커라인의 간격은 20이며, 영상의 높이(height)가 240이라면, 이상적인 경우, 240/20=12를 기준 개수로 하여 플리커라인의 개수가 12개 이상인 경우 플리커 노이즈가 존재하는 영상으로 판단할 수 있으나, 영상처리장치의 다양한 factor가 반영되는 실질적인 환경에서는 상기값(12)의 60%(7.2개)이상의 값으로 설정되는 것이 바람직하다.

영상의 특성상 라인간 간격이 소정 오차범위 내에서 일정하나, 일정한 간격이 서로 동일하지 않는 플리커라인이 존재할 수 있다. 도 6b에 도시된 바와 같이 제1플리커라인군, 제2플리커라인군 및 제3플리커라인군으로 나타날 수 있게 된다.

상기와 같은 경우, 상기 기준개수를 구함에 있어, 입력영상의 높이값을 나누는 상기 플리커라인의 간격의 크기는, 상기 간격이 동일하지 않은 플리커 라인 각각의 간격 크기의 평균값으로 설정할 수 있으며, 또한, 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수의 플리커라인에 해당하는 간격의 크기로 설정할 수도 있다.

실질적인 플리커라인의 의미를 반영하는 것은 후자에 해당하나, 크기별로 정렬하는 연산이 요구되므로, 더욱 실질적인 의미를 반영할 수 있다는 장점이 있는 반면, 전자에 비하여 다소 많은 연산시간 등이 소요될 수 있으며, 전자의 경우, 후자의 반대적인 장점을 가질 수 있다.

상기된 내용과 유사한 관점에서, 플리커 노이즈 판단의 기준이 되는 기준개수와 비교되는 상기 플리커라인의 개수는 앞서 설명한 바와 같이 상기 플리커 라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 플리커라인 각각의 개 수의 합으로 정할 수 있으며, 또한, 상기 간격이 동일하지 않은 플리커라인 중 가장 많은 개수로 설정할 수도 있다.

도 7a는 본 발명의 방법에 의하여 검출된 플리커 노이즈가 존재하는 영상의 예가 되며, 도 7b는 플리커 노이즈가 존재하지 않는 영상이다.

본 발명에 따른 플리커 노이즈 검출 장치 및 방법에 의하는 경우, 입력되는 영상의 라인별 데이터 또는 프레임 데이터를 저장하는 라인메모리, 프레임메모리가 요구되는 기존의 방법과는 달리, 라인의 통계적 산출값(평균값)을 기초로 모든 연산이 이루어지므로, 모든 라인별 데이터를 저장할 필요가 없게 된다.

픽셀의 집합체인 라인과 라인간의 비교, 프레임간 프레임간의 비교가 연산의 기초가 되는 것이 아니라, 라인별 통계적 산출값만으로 연산할 수 있어 저장공간을 최소화할 수 있게 되므로 칩 등으로 구현하는 경우에 비용적, 공간적 활용성을 높일 수 있다.

즉, 라인 하나의 평균값을 산출하기 위한 메모리 공간 정도가 요구되며, 평균값이 산출되고 나면 먼저 라인의 값이 저장되었던 공간에 다음 라인 픽셀의 값을 저장하여 작업을 수행하는 구조로 운용하면 가능하므로 기존의 플리커 검출방법과 대비하여 현저한 경제적 활용성을 가질 수 있게 된다.
도 2는 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 방법의 과정을 도시한 흐름도이다.
이하에서는 첨부된 도 2를 참조하여 본 발명의 바람직한 실시예에 의한 따른 플리커 노이즈 검출 방법의 과정을 설명하도록 한다. 앞서 설명된 본 발명의 따른 플리커 노이즈 검출 장치와 관련하여 중복된 설명은 생략하나 본 발명의 플리커 노이즈 검출 방법에도 그대로 적용될 수 있음은 자명하다.
본 발명의 플리커 노이즈 검출 방법은 도 2에 도시된 바와 같이 플리커 노이즈 검출의 대상이 되는 대상 영상을 입력받는다(S200).
상기 입력된 대상 영상은 소정 크기의 행(라인, line)과 열(컬럼, column)로 구성되는 영상으로서, 플리커 노이즈는 영상 특성 상 행과 관련된 요소이며, 특히 주기적으로 변화되는 밝기의 특성을 가지게 되므로 본 발명은 이러한 플리커 노이즈의 특성을 반영하기 위하여 상기 대상 영상에 속하는 각 라인의 밝기정보를 기초로 생성된 통계적 산출값을 활용하여 플리커 라인의 검출을 위한 기준 데이터를 산출한다(S205).
상기 기준데이터의 산출과정을 구체적으로 설명하면 다음과 같다.
우선 입력된 대상 영상의 라인을 연산의 대상으로 하여 각 라인에 해당하는 픽셀값들의 밝기정보에 대한 통계적 산출값인 제1데이터를 산출한다(S210). 상기 제1데이터는 상기 대상 영상의 각 라인마다 산출되므로 예를 들어 대상 영상의 라인이 240개 이면 240개의 제1데이터가 생성된다.
앞서 설명된 바와 같이 연산의 효율성 및 연산의 정밀성 등의 차원에서 상기 제1데이터 산출의 기초가 되는 한 라인에 해당하는 픽셀의 개수는 조정될 수 있으며, 또한, 통상적으로 플리커 노이즈와 관련된 영상 특성을 반영하기 위하여 상기 통계적 산출값은 평균값이 바람직하나, 실시형태에 따라 가중치 평균 등 변형 가능한 다양한 통계적 산출값을 적용할 수 있다.
상기와 같이 각 라인마다의 통계적 산출값인 제1데이터가 산출되면, 불필요한 노이즈 등을 제거하고 연산의 정확성 등을 높이기 위하여 인접된 라인에 해당하는 제1데이터들을 대상으로 저대역 필터링을 수행할 수 있다(S220).
상기 저대역 필터링은 불필요한 노이즈를 제거함으로써 상기 제1데이터 간의 연속적인 분포를 부각시킴으로써 영상의 특성이 더욱 부각되도록 하기 위하여 수행된다.
상기와 같이 저대역 필터링이 수행되고 나면, 상기 제1데이터들은 영상 특성이 더욱 부각되어 연속적인 분포를 가지게 된다. 상기와 같이 저대역 필터링이 수행된 제1데이터를 설명의 효율성을 높이기 위하여 제2데이터로 칭하도록 한다.
상기의 과정이 수행되면, 상기 제2데이터를 대상으로 플리커 라인을 검출하기 위한 기준데이터를 산출하게 되는데(S230), 상기 기준데이터는 다양한 방식이 존재할 수 있으나, 본 발명의 바람직한 실시예에서는 플리커 라인의 영상적 특성을 더욱 활용하기 위하여 상기 제2데이터 상호 간의 관련성을 이용하여 기준데이터를 산출한다.
상기 제2데이터들은 도 5 및 도 6에 도시된 바와 같이 실제로는 제2데이터의 개수가 유한적으로 존재하므로 이산된(discrete) 분포를 가지게 되며, 상기 제2데이터들이 형성하는 분포에는 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터가 존재한다.
설명의 편의성을 위해 상기 이산된 분포를 연속(continuous)된 분포로 설명하면, 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터는 연속된 분포 상에서는 일종의 마루(정상)에 해당하는 데이터가 된다.
즉, 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터는 플리커 라인의 영상 특성에 대응되는 특성을 가지는, 즉 인접 라인과 대비하여 밝기정보에 대한 통계적 산출값이 두드러지는 데이터에 해당하므로 이를 기준데이터로 산출한다.
앞서 살펴본 바와 같이 플리커 라인은 피사체에 대한 광원의 주기적인 특성과 빛감각 센서의 빛 감각 주기의 불일치에 의하여 발생하는 물리적 현상이므로 플리커 라인은 영상의 특성상 밝기정보의 특이성과 그 주기적 반복성을 가지게 된다.
그러므로 상기 기준데이터는 플리커 라인의 밝기정보의 특이성을 만족하는 데이터라고 할 수 있다. 상기와 같이 플리커 라인의 밝기정보에 부합될 수 있는 기준데이터가 산출되면, 플리커 라인의 또 다른 특성인 주기성에 대한 요건의 부합여부를 판단한다.
즉, 상기 기준데이터가 존재하는 라인 간 간격이 소정 오차범위 내에서 일정한 기준데이터가 플리커 노이즈에 해당하는 라인으로 판단할 수 있으므로 상기 제2데이터들에 해당하는 라인 간 간격이 일정한 라인인 플리커 라인을 검출한다(S240).
상기와 같이 플리커 라인이 검출되면, 통상적으로 플리커 노이즈 영상은 대상 영상의 전반적인 부분에 플리커 노이즈가 존재하므로 상기 검출된 플리커 라인의 개수와 플리커 노이즈 영상인지 여부를 판단할 수 있는 소정 기준개수를 비교하여(S250), 상기 검출된 플리커 라인의 개수가 기준개수보다 큰 경우 플리커 노이즈가 존재하는 영상으로 판단하게 된다.

상술한 본 발명에 따른 플리커 노이즈 검출방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 플리커 노이즈 검출방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상기 본 발명에 의한 플리커 노이즈 검출장치 및 방법은 플리커 노이즈가 존재하는 영상인지 여부를 간단하고 신속하게 검출할 수 있는 효과를 창출한다.

또한, 프레임 영상정보 또는 라인별 영상 정보전체를 통합적으로 판단하는 방식을 지양하고, 라인별 데이터의 밝기정보를 이용한 평균값 등의 통계적 산출값만을 이용하므로 라인 메모리 또는 프레임 메모리의 사용이 필요없게 되므로, 더욱 경제적이면서도 효과적인 플리커 노이즈 영상 판단방법을 실현할 수 있다.

Claims (23)

1. 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 이전 및 이후 라인의 라인별 통계적 산출값보다 큰 값으로 플리커 노이즈 판단의 기준데이터를 산출하는 산출부;

   상기 기준데이터가 산출된 라인간 간격이 소정 오차범위 내에서 일정한 플리커라인을 검출하는 플리커라인검출부; 및

   상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단부를 포함하는 것을 특징으로 하는 플리커 노이즈 검출장치.
2. 제 1항에 있어서, 상기 산출부는,

   상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출하는 제1산출부; 및

   상기 제1데이터 중 이전 라인의 제1데이터보다 크고 이후 라인의 제1데이터보다 큰 제1데이터를 상기 기준데이터로 산출하는 기준데이터산출부를 포함하는 것을 특징으로 하는 플리커 노이즈 검출장치.
3. 제 2항에 있어서, 상기 산출부는,

   상기 라인별 제1데이터 중 소정 개수의 제1데이터를 저대역 필터링하는 필터링부를 더 포함하고,

   상기 기준데이터산출부는,

   상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터를 상기 기준데이터로 산출하는 것을 특징으로 하는 플리커 노이즈 검출장치.
4. 삭제
5. 제 1항에 있어서, 상기 통계적 산출값은,

   상기 대상영상의 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값인 것을 특징으로 하는 플리커 노이즈 검출장치.
6. 삭제
7. 제 1항에 있어서, 상기 기준개수는,

   상기 대상영상의 높이를 상기 플리커라인 간격의 크기인 제1값으로 나눈값의 소정 비율 이상인 것을 특징으로 하는 플리커 노이즈 검출장치.
8. 제 7항에 있어서, 상기 제1값은,

   상기 플리커라인 간 간격이 동일하지 않은 경우 동일하지 않은 각 간격의 평균값인 것을 특징으로 하는 플리커 노이즈 검출장치.
9. 제 7항에 있어서, 상기 제1값은,

   상기 플리커라인 간격이 동일하지 않은 경우 동일한 플리커라인 간격을 가지는 플리커라인군 중 가장 많은 플리커라인의 개수를 가지는 플리커라인군에 해당하는 간격의 크기인 것을 특징으로 하는 플리커 노이즈 검출장치.
10. 제 1항에 있어서, 상기 기준개수와 비교되는 상기 플리커라인의 개수는,

    상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 플리커라인 각각의 개수의 합인 것을 특징으로 하는 플리커 노이즈 검출장치.
11. 제 1항에 있어서, 상기 기준개수와 비교되는 상기 플리커라인의 개수는,

    상기 플리커라인 간격이 동일하지 않은 경우 동일한 플리커라인 간격을 가지는 플리커라인군 중 가장 많은 플리커라인의 개수를 가지는 플리커라인군의 플리커라인 개수인 것을 특징으로 하는 플리커 노이즈 검출장치.
12. 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 이전 및 이후 라인의 라인별 통계적 산출값보다 큰 값으로 플리커 노이즈 판단의 기준데이터를 산출하는 산출단계;

    상기 기준데이터가 산출된 라인간 간격이 소정 오차범위 내에서 일정한 플리커라인을 검출하는 플리커라인검출단계; 및

    상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단단계를 포함하는 것을 특징으로 하는 플리커 노이즈 검출방법.
13. 제 12항에 있어서, 상기 산출단계는,

    상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출하는 제1산출단계; 및

    상기 제1데이터 중 이전 라인의 제1데이터보다 크고 이후 라인의 제1데이터보다 큰 제1데이터를 상기 기준데이터로 산출하는 기준데이터산출단계를 포함하는 것을 특징으로 하는 플리커 노이즈 검출방법.
14. 제 13항에 있어서, 상기 산출단계는,

    상기 라인별 제1데이터 중 소정 개수의 제1데이터를 저대역 필터링하는 필터링단계를 더 포함하고,

    상기 기준데이터산출단계는,

    상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터를 상기 기준데이터를 산출하는 것을 특징으로 하는 플리커 노이즈 검출방법.
15. 삭제
16. 제 12항에 있어서, 상기 통계적 산출값은,

    상기 대상영상의 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값인 것을 특징으로 하는 플리커 노이즈 검출방법.
17. 삭제
18. 제 12항에 있어서, 상기 기준개수는,

    상기 대상영상의 높이를 상기 플리커라인 간격의 크기인 제1값으로 나눈값의 소정 비율이상인 것을 특징으로 하는 플리커 노이즈 검출방법.
19. 제 18항에 있어서, 상기 제1값은,

    상기 플리커라인 간 간격이 동일하지 않은 경우 동일하지 않은 각 간격의 평균값인 것을특징으로 하는 플리커 노이즈 검출방법.
20. 제 18항에 있어서, 상기 제1값은,

    상기 플리커라인 간격이 동일하지 않은 경우 동일한 플리커라인 간격을 가지는 플리커라인군 중 가장 많은 플리커라인의 개수를 가지는 플리커라인군에 해당하는 간격의 크기인 것을 특징으로 하는 플리커 노이즈 검출방법.
21. 제 12항에 있어서, 상기 기준개수와 비교되는 상기 플리커라인의 개수는,

    상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 플리커라인 각각의 개수의 합인 것을 특징으로 하는 플리커 노이즈 검출방법.
22. 제 12항에 있어서, 상기 기준개수와 비교되는 상기 플리커라인의 개수는,

    상기 플리커라인 간격이 동일하지 않은 경우 동일한 플리커라인 간격을 가지는 플리커라인군 중 가장 많은 플리커라인의 개수를 가지는 플리커라인군의 플리커라인 개수인 것을 특징으로 하는 플리커 노이즈 검출방법.
23. 제 12항 내지 제 14항, 제16항 또는 제 18항 내지 제 22항 중 어느 한 항에 기재된 방법을 컴퓨터에게 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images