KR101119268B1 - 영상의 컬러 잡음 제거 방법 및 장치 - Google Patents

Abstract

본 발명은 영상의 각 화소에 대해 중심 화소로부터의 거리에 따른 거리 가중치, 상기 중심 화소와의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 이용하여 영상의 컬러 잡음을 제거하는 장치 및 방법에 관한 것으로서, 본 발명에 따르면 밝기와 컬러 성분과의 상호 관계 및 에지의 특성을 이용하여 영상의 컬러 잡음을 효과적으로 제거할 수 있다.

Description

영상의 컬러 잡음 제거 방법 및 장치{METHOD AND DEVICE FOR REDUCTION IMAGE COLOR NOISE}

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 특히 이미지 센서에 의해 획득된 영상에 대해 컬러 잡음을 제거하는 방법 및 장치에 관한 것이다.

일반적으로, 디지털 카메라나 캠코더는 필름 대신에 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서(image sensor)를 이용한다. CCD는 화소에 맺히는 컬러의 수에 따라서 다판식(multiple) CCD 및 단판식(single) CCD로 나뉜다. 다판식 CCD는 단판식 CCD에 비하여 각 화소마다 정확한 밝기와 원색과의 정확한 매칭을 가능하게 한다. 그러나, 다판식 CCD는 사용되는 컬러 포맷에 따라 각 컬러 성분을 검출하기 위하여, 단판식 CCD에 비하여 세 배 이상의 센서를 사용해야 하므로 하드웨어의 구조가 복잡해지고 하드웨어의 크기가 증가하는 문제점이 있다. 이러한 이유로 다판식 CCD에 비하여 단판식 CCD가 일반적으로 많이 사용되고 있다.

단판식 CCD의 경우, 각 화소는 여러 채널의 컬러 정보 중에서 하나의 컬러 정보만을 저장하게 된다. 따라서, 완전한 영상의 정보를 얻기 위해서는 화소에 저장되지 않은 다른 채널의 컬러 정보를 그 화소의 주변 화소 정보로부터 보간(interpolation)해야 한다. 그러나, 보간 과정에서 원하지 않는 잘못된 정보가 보간될 경우, 결과적인 영상에는 시각적으로 크게 거슬리는 잡음(noise or artifact)이 야기된다.

따라서, 이러한 잡음을 제거하기 위하여 오래전부터 영상 처리 분야에서 많은 연구가 이루어져 왔다. 잡음 제거 알고리즘은 복원(restoration) 개념을 사용한 기법과 필터링 기법을 이용한 방법 등으로 나누어 볼 수 있다. 복원 기법은 잡음에 대한 정확한 모델링을 기반으로 하고 있기 때문에 우수한 결과를 산출하지만, 하드웨어적으로 큰 부담이 된다. 따라서, 실질적으로는 국부 영역의 확률적 특성을 이용한 방법, 예를 들어 LLMMSE(Local Linear Minimum Mean Square Error) 등이 많이 사용된다. 이러한 LLMMSE와 유사하면서 비교적 간단한 bilateral 필터 등도 많이 사용된다. 다음의 수학식 1은 LLMMSE의 일반적인 형태이다.

여기에서 mean[r][c]는 (r,c) 지점의 평균을, var(in[r][c])는 r,c 지점의 분산을, var_noise는 잡음의 분산을 의미한다. 수학식 1에서 잡음의 분산 (var_noise)이 상대적으로 신호의 분산 (var(in[r][c]))보다 클 경우에는, var(in[r][c])/(var_noise+var(in[r][c]))이 "0"에 가까워지므로 출력 (out[r][c])이 평균에 가깝게 되어 잡음이 제거된다. 반면, 에지(edge) 영역과 같이 신호의 분산이 잡음의 분산보다 커지는 경우에는, var(in[r][c])/(var_noise+var(in[r][c]))이 "1"에 가까워지게 되어 출력 (out[r][c])이 원래의 신호 in[r][c]에 가깝게 되어 잡음이 덜 제거된다.

다른 컬러 잡음 제거 필터로는 평균 필터(Mean Filter, 이하 "MF"라 함), 벡터 메디언 필터(Vector Median Filter, 이하 "VMF"라 함) 및 벡터 디렉셔널 필터(Vector Directional Filter, 이하 "VDF"라 함) 등이 있다.

도 1은 종래 기술에 따른 MF, VMF 및 VDF의 예를 설명하기 위한 도면이다. MF는 국부 영역(local region) 내부 화소 값들의 평균을 취하는 방법이다. 도 1에서 서로 다른 방향과 위상을 갖는 세 화소에 대한 MF 결과는,

이다.

그러나, MF는 LPF(Low Pass Filtering)이기 때문에 잡음뿐 아니라 에지와 같이 영상에 필요한 고주파 성분도 제거되어 영상의 세밀한 부분이 제거되는 문제점이 있다.

메디언 필터는 라플라시안 잡음(laplacian noise)을 제거하는 데 효율적인 필터로서 색이 비주얼하게 튀는 화소를 효과적으로 제거할 수 있다. 메디언 필터의 하나인 VMF는 국부적인 영역 내의 컬러 벡터 중 크기가 중간인 것을 결과로 출력한다. 예를 들어 도 1을 참조하면, VMF는 세 개의 화소를 나타내는 컬러 벡터들(

) 중에서 크기가 중간인

에 대응되는 컬러 값을 결과로서 출력한다. 즉,

을 결과로서 출력한다.

VDF는 국부적인 영역 내의 컬러 벡터 중 위상이 중간인 컬러 벡터를 결과로서 출력하는 필터이다. 예를 들어 도 1을 참조하면, VDF는 세 개의 화소를 나타내는 컬러 벡터들(

) 중에서 위상이 중간인

에 대응되는 컬러 값을 결과로서 출력한다. 즉,

을 결과로서 출력한다.

앞서 설명한 종래의 MF, VMF 및 VDF 등의 컬러 잡음 제거 방법들은 영상의 밝기 성분(luminance, Y)과 색상 성분(chrominance, Cb, Cr)과의 상호 관계와 에지(edge)의 특성을 정확하게 고려하지 못하고 일률적으로 동일한 정도로 컬러 잡음을 제거하는 문제점이 있었다.

본 발명의 목적은 선명한 화질의 영상을 제공할 수 있도록 밝기 성분 및 컬러 성분 사이의 상호 관계와 에지의 특성을 이용하여 이미지 센서에 의해 발생한 컬러 잡음을 제거함으로써 에지와 같은 영상에 필요한 고주파 성분을 잘 유지하여 생동감 있는 영상을 출력하는 컬러 잡음 제거 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 예에 따른 영상의 컬러 잡음 제거 방법은, 입력된 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소로부터 상기 마스크 내의 각 화소까지의 거리에 따른 거리 가중치를 계산하는 단계, 상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 계산하는 단계, 상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산하는 단계, 및 상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시 예에 따른 영상의 컬러 잡음 제거 장치는, 입력된 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소로부터 상기 마스크 내의 각 화소까지의 거리에 따른 거리 가중치를 계산하는 거리 가중치 계산부, 상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 계산하는 에지 가중치 계산부, 상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산하는 가중치 평균 계산부, 및 상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 컬러 잡음 제거부를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 영상 촬영 장치는, 영상을 촬영하여 영상 신호로 변환하는 영상 촬영부, 상기 영상 신호를 밝기 성분 및 색상 성분을 포함하는 영상 신호로 변환하는 영상 신호 처리부, 입력된 영상의 중심 화소로부터 각 화소까지의 거리에 따른 거리 가중치와 상기 영상의 중심 화소와 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 컬러 잡음 제거 장치, 상기 컬러 잡음이 제거된 영상 신호를 출력하는 디스플레이부, 및 상기 컬러 잡음이 제거된 영상 신호를 저장하는 저장부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 밝기 성분 및 컬러 성분 사이의 상호 관계와 에지의 특성을 이용하여 이미지 센서에 의해 발생한 컬러 잡음을 제거하기 때문에 주변 화소와의 관계에서 일률적으로 평균값에 의해 컬러 잡음을 제거하는 방법에 비하여 에지와 같은 영상에 필요한 고주파 성분을 유지하여 세밀한 부분을 더욱 생동감 있게 표현할 수 있도록 하는 이점이 있다.

도 1은 서로 다른 방향과 위상을 갖는 세 화소의 컬러 벡터들을 도시한 도표;
도 2는 본 발명의 일 실시 예에 따른 컬러 잡음 제거 방법의 각 단계를 도시한 순서도;
도 3은 본 발명에 따른 거리 가중치를 나타내는 도면;
도 4는 본 발명의 일 실시 예에 따른 컬러 잡음 제거 장치를 도시한 도면;
도 5는 본 발명의 일 실시 예에 따른 영상 촬영 장치를 도시한 도면.

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 2는 본 발명의 일 실시 예에 따른 컬러 잡음 제거 방법의 각 단계를 도시한 순서도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 컬러 잡음 제거 방법은 거리 가중치 계산 단계(S21), 에지 가중치 계산 단계(S22), 가중치 평균 계산 단계(S23) 및 밝기 성분 및 색상 성분 보정 단계(S24)를 포함하며, 밝기 성분 및 컬러 성분 사이의 상호 관계와 에지의 특성을 이용하여 이미지 센서에 의해 발생한 컬러 잡음을 효과적으로 제거할 수 있다.

구체적으로, 거리 가중치 계산 단계에서(S21), 상기 거리 가중치는 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소의 좌표를 기준으로 계산된다. 상기 소정의 크기란 5×5 또는 7×7 등의 화소 배열을 의미한다. 상기 소정의 크기를 갖는 마스크 내에서 중심 화소의 좌표를 (r_c,c_c)이라 하고, 계산할 대상이 되는 화소의 좌표를 (r,c)라고 할 때, 상기 거리 가중치는 상기 중심 화소의 좌표로부터 상기 계산 대상이 되는 각 화소의 좌표 사이의 거리에 반비례하도록 결정한다. 따라서, 상기 중심 화소의 좌표와 계산 대상이 되는 각 화소의 좌표 사이의 거리가 멀어질수록 상기 거리 가중치의 값은 작아지게 된다.

상기 중심 화소의 좌표와 상기 각 화소의 좌표 사이의 거리에 따른 거리 가중치 W_d(r,c)에 대한 하나의 예를 다음의 수학식 2에서 설명하기로 한다.

수학식 2에서와 같이 상기 중심 화소의 좌표와 상기 계산할 대상이 되는 화소의 좌표 즉, 상기 각 화소에 대한 좌표 사이의 거리에 반비례하도록 상기 거리 가중치 W_d(r,c)를 결정할 수 있으며, 이외에도 다양한 형태로 이들 사이의 관계를 표현할 수 있다.

상기 거리 가중치를 컬러 잡음 제거 방법에 도입하는 이유는, 중심 화소를 기준으로 밝기 성분인 Y 및 색상 성분인 Cb와 Cr이 동일한 비율로 변화된 임의의 두 화소에 대해서, 상기 중심 화소로부터의 거리에 따라 차등적으로 컬러 잡음 제거 비율을 적용하기 위함이다.

도 3에서 영상(3) 내의 하나의 마스크(3-1, 5×5 크기)에서, 중심 화소(30)로부터 거리가 서로 상이한 두 개의 화소(31, 32)에 대해서 예를 들어 설명하기로 한다. 상기 중심 화소(30)으로부터 거리가 d1인 곳에 위치한 제1화소(31)에 대한 거리 가중치를 W_d1이라 하고, 상기 중심 화소(30)으로부터 거리가 d2인 곳에 위치한 제2화소(32)에 대한 거리 가중치를 W_d2라 할 때, W_d1은 W_d2에 비하여 더 작은 값이 된다. 따라서, 상기 제1화소(31) 및 제2화소(32)의 YCbCr이 상기 중심 화소(30)와 비교하여 동일한 비율로 변화된 경우 서로 다른 거리 가중치에 의해서 컬러 잡음 제거 비율이 상이하게 된다.

상기 에지(edge) 가중치를 계산하는 단계(S22)에서, 상기 중심 화소에 대한 밝기 성분 및 색상 성분과 상기 각 화소에 대한 밝기 성분 및 색상 성분과의 차이의 크기에 따른 에지 가중치를 계산한다. 에지(edge)란 상기 마스크(3-1) 내의 인접하는 화소들 사이에서 밝기 성분 또는 색상 성분이 급격하게 변하는 부분 즉, 피사체에 대응하여 상기 프레임(3)에 형성된 객체(예를 들어, 사람, 동물 또는 건물 등)의 윤곽에 해당하는 부분을 지칭한다.

상기 에지 가중치를 계산하기 위해 먼저 상기 중심 화소와 상기 각 화소를 이루는 YCbCr 성분들 사이의 크기 차이에 대한 절대값을 계산한다. 상기 중심 화소에 대한 밝기 성분을 Y_in(r_c,c_c), 색상 성분을 Cb_in(r_c,c_c) 및 Cr_in(r_c,c_c)라고 하고, 상기 각 화소에 대한 밝기 성분을 Y_in(r,c), 색상 성분을 Cb_in(r,c) 및 Cr_in(r,c)라고 가정한다. 그러면, 상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 대한 절대값(D_Y, D_Cb 및 D_Cr)은 다음의 수학식 3으로 표현된다.

다음으로 상기 계산된 YCbCr 신호의 크기 차이에 따른 절대값 D_Y, D_Cb 및 D_Cr을 이용하여 밝기 성분인 Y에 대한 에지 가중치인 W_{e _Y}(r,c), 색상 성분인 Cb에 대한 에지 가중치인 W_{e _ Cb}(r,c) 및 색상 성분인 Cr에 대한 에지 가중치인 W_{e _ Cr}(r,c)를 계산한다. 본 발명의 일 실시 예에 따르면, 에지 가중치들인 상기 W_{e _Y}(r,c), W_{e_Cb}(r,c) 및 W_{e _ Cr}(r,c)은 미리 설정된 문턱값 th_{e _Y}, th_{e _ Cb} 및 th_{e _ Cr}에 따른 다음의 수학식 4를 통해 계산된다.

상기 수학식 4에서, 절대값 D_Y가 문턱값 th_{e _Y} 이하이면 0≤D_Y/th_{e _Y}≤1이 되고, 상기 에지 가중치인 W_{e _Y}(r,c)의 값의 범위는 0≤W_{e _Y}(r,c)≤1이 된다. 즉, D_Y=th_{e_Y}일 때 W_{e _Y}(r,c)=0이며, D_Y=0일 때 W_{e _Y}(r,c)=1이 된다.

마찬가지로, 절대값 D_Cb가 문턱값 th_{e _ Cb} 이하이면 0≤D_Cb/th_{e _ Cb}≤1이 되고, 상기 에지 가중치인 W_{e _ Cb}(r,c)의 값의 범위는 0≤W_{e _ Cb}(r,c)≤1이 된다. 즉, D_Cb=th_{e _ Cb}일 때 W_{e _ Cb}(r,c)=0이며, D_Cb=0일 때 W_{e _ Cb}(r,c)=1이 된다.

또한, 절대값 D_Cr이 문턱값 th_{e _ Cr} 이하이면 0≤D_Cr/th_{e _ Cr}≤1이 되고, 상기 에지 가중치인 W_{e _ Cr}(r,c)의 값의 범위는 0≤W_{e _ Cr}(r,c)≤1이 된다. 즉, D_Cr=th_{e _ Cr}일 때 W_{e_Cr}(r,c)=0이며, D_Cr=0일 때 W_{e _ Cr}(r,c)=1이 된다.

상기 가중치 평균을 계산하는 단계(S23)에서는 상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산한다.

본 발명의 일 실시 예에 따른 상기 가중치 평균은 다음의 수학식 5에 의해 계산된다.

수학식 5에서와 같이 상기 가중치 평균은 4가지로 계산되며 각각 에지의 가중치를 어느 것을 이용하였는지에 따라 달라진다. 수학식 5에서 R_N 및 C_N에서의 N은 하나의 마스크 내에서 중심 화소 이외의 각 화소들의 연번을 나타낸다. 예를 들어, 마스크의 크기가 5×5 화소 배열로 이루어진 경우, 중심 화소를 제외한 상기 각 화소는 총 24개가 될 것이다. 수학식 5는 이들 24개의 각 화소들을 정수 표현으로 연번을 붙여서 표현한 것이다. 수학식 5로부터 상기 4가지의 가중치 평균인 Y_{wm _y}, Y_{wm_ycbcr}, Cb_{wm _ ycbcr} 및 Cr_{wm _ ycbcr}을 계산할 수 있다.

상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 단계(S24)에서 상기 S23 단계에서 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 YCbCr성분을 보정함으로써 상기 영상의 컬러 잡음을 제거한다.

일반적으로 영상 신호가 RGB 포맷으로 이루어져 있을 때, 유사 영역 내의 임의의 세 화소가 갖는 RGB 성분을 각각 (R1, G1, B1), (R2, G2, B2) 및 (R3, G3, B3)라고 하면, 상기 화소들의 R, G, B 성분 사이에는 다음의 수학식 6과 같은 관계가 성립한다.

수학식 6에서 K', K'', K'''은 임의의 상수를 나타낸다. 또한, 상기 수학식 6을 변형함으로써 다음의 수학식 7과 같은 관계를 유도할 수 있다.

수학식 7에서 K"", K""', K"""은 임의의 상수를 나타낸다. 또한, YCbCr 포맷은 RGB 포맷을 이용하여 변환한 것이고, 상기 수학식 7과 같은 관계는 YCbCr 포맷에서 각 성분에 대해서도 적용될 수 있다. YCbCr 포맷에서 각 성분에 대한 관계를 나타내면 다음의 수학식 8과 같다.

수학식 8에서 K₁ 및 K₂는 임의의 상수를 나타낸다. 수학식 8에 따른 세 화소 사이의 YCbCr 성분들 상호간의 관계는 상기 세 화소가 유사 영역에 있다는 전제 하에 유도된 것이다. 그러나 실제로 영상 내에서는 에지(edge)가 존재하고 실제로 다른 특성을 갖는 영역의 화소가 있을 수 있기 때문에 에지의 특성을 고려하면 다음의 수학식 9와 같은 관계를 유도할 수 있다.

수학식 9를 Cb_out과 Cr_out에 따라 정리하면 다음의 수학식 10과 같다.

수학식 10에서 Y_out을 Y_{wm _y}로 대체하고, (Y_{wm _ ycbcr}-Y_out)에 가중치를 주어 정리하면 다음의 수학식 11과 같다.

수학식 11에서 W_Cb 및 W_Cr은 미리 정한 가중치이다. 상기 수학식 11을 통해서 최종적으로 컬러 잡음이 제거된 Cb 성분 및 Cr 성분을 획득하게 된다.

상기한 바와 같이, 단계 S21 내지 S24를 통해 거리 가중치 및 에지 가중치를 반영하여 영상에 대한 컬러 잡음을 제거하는 방법을 구현할 수 있다. 본 발명에 따르면 종래의 색상 정보(Cb, Cr)만을 사용하는 방법보다 영상의 컬러 잡음을 효과적으로 제거할 수 있는 방법을 제공함으로써 특히, 저조도 환경에서 영상 촬영 시 더욱 효과가 있다.

도 4는 본 발명의 일 실시 예에 따른 컬러 잡음 제거 장치를 도시한 도면이다.

도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 영상의 컬러 잡음 제거 장치는 거리 가중치 계산부(41), 에지(edge) 가중치 계산부(42), 가중치 평균 계산부(43) 및 컬러 잡음 제거부(44)를 포함한다.

상기 거리 가중치 계산부(41)는 입력된 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소로부터 상기 마스크 내의 각 화소까지의 거리에 따른 거리 가중치를 계산한다. 상기 소정의 크기란 5×5 또는 7×7 등의 화소 배열을 의미한다. 상기 소정의 크기를 갖는 마스크 내에서 중심 화소의 좌표를 (r_c,c_c)이라 하고, 계산할 대상이 되는 화소의 좌표를 (r,c)라고 할 때, 상기 거리 가중치는 상기 중심 화소의 좌표로부터 상기 계산 대상이 되는 각 화소의 좌표 사이의 거리에 반비례하도록 결정한다. 따라서, 상기 중심 화소의 좌표와 계산 대상이 되는 각 화소의 좌표 사이의 거리가 멀어질수록 상기 거리 가중치의 값은 작아지게 된다.

상기 중심 화소의 좌표와 상기 각 화소의 좌표 사이의 거리에 따른 거리 가중치 W_d(r,c)에 대한 하나의 예는 앞서 수학식 2에서 설명한 바 있다.

수학식 2에서와 같이 상기 중심 화소의 좌표와 상기 계산할 대상이 되는 화소의 좌표 즉, 상기 각 화소에 대한 좌표 사이의 거리에 반비례하도록 상기 거리 가중치 W_d(r,c)를 결정할 수 있으며, 이외에도 다양한 형태로 이들 사이의 관계를 표현할 수 있다.

상기 거리 가중치를 컬러 잡음 제거 방법에 도입하는 이유는, 중심 화소를 기준으로 밝기 성분인 Y 및 색상 성분인 Cb와 Cr이 동일한 비율로 변화된 임의의 두 화소에 대해서, 상기 중심 화소로부터의 거리에 따라 차등적으로 컬러 잡음 제거 비율을 적용하기 위함이다.

상기 에지(edge) 가중치 계산부(42)는 상기 중심 화소에 대한 밝기 성분 및 색상 성분과 상기 각 화소에 대한 밝기 성분 및 색상 성분과의 차이의 크기에 따른 에지 가중치를 계산한다.

상기 에지 가중치를 계산하기 위해 먼저 상기 중심 화소와 상기 각 화소를 이루는 YCbCr 성분들 사이의 크기 차이에 대한 절대값을 계산한다. 상기 중심 화소에 대한 밝기 성분을 Y_in(r_c,c_c), 색상 성분을 Cb_in(r_c,c_c) 및 Cr_in(r_c,c_c)라고 하고, 상기 각 화소에 대한 밝기 성분을 Y_in(r,c), 색상 성분을 Cb_in(r,c) 및 Cr_in(r,c)라고 가정한다. 상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 대한 절대값(D_Y, D_Cb 및 D_Cr)은 앞서 수학식 3에서 설명한 바 있다.

다음으로 상기 계산된 YCbCr 신호의 크기 차이에 따른 절대값 D_Y, D_Cb 및 D_Cr을 이용하여 밝기 성분인 Y에 대한 에지 가중치인 W_{e _Y}(r,c), 색상 성분인 Cb에 대한 에지 가중치인 W_{e _ Cb}(r,c) 및 색상 성분인 Cr에 대한 에지 가중치인 W_{e _ Cr}(r,c)를 계산한다.

앞서 수학식 4에서 에지 가중치들인 상기 W_{e _Y}(r,c), W_{e _ Cb}(r,c) 및 W_{e _ Cr}(r,c)이 미리 설정된 문턱값 th_{e _Y}, th_{e _ Cb} 및 th_{e _ Cr}에 따라 계산되는 것을 설명한 바 있다.

상기 수학식 4에서, 절대값 D_Y가 문턱값 th_{e_Y} 이하이면 0≤D_Y/th_{e_Y}≤1이 되고, 상기 에지 가중치인 W_{e_Y}(r,c)의 값의 범위는 0≤W_{e_Y}(r,c)≤1이 된다. 즉, D_Y=th_{e_Y}일 때 W_{e_Y}(r,c)=0이며, D_Y=0일 때 W_{e_Y}(r,c)=1이 된다.

마찬가지로, 절대값 D_Cb가 문턱값 th_{e _ Cb} 이하이면 0≤D_Cb/th_{e _ Cb}≤1이 되고, 상기 에지 가중치인 W_{e _ Cb}(r,c)의 값의 범위는 0≤W_{e _ Cb}(r,c)≤1이 된다. 즉, D_Cb=th_{e _ Cb}일 때 W_{e _ Cb}(r,c)=0이며, D_Cb=0일 때 W_{e _ Cb}(r,c)=1이 된다.

또한, 절대값 D_Cr이 문턱값 th_{e _ Cr} 이하이면 0≤D_Cr/th_{e _ Cr}≤1이 되고, 상기 에지 가중치인 W_{e _ Cr}(r,c)의 값의 범위는 0≤W_{e _ Cr}(r,c)≤1이 된다. 즉, D_Cr=th_{e _ Cr}일 때 W_{e_Cr}(r,c)=0이며, D_Cr=0일 때 W_{e _ Cr}(r,c)=1이 된다.

상기 가중치 평균 계산부(43)는 상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산한다.

본 발명의 일 실시 예에 따른 상기 가중치 평균은 앞서 수학식 5에 의해 계산될 수 있음을 설명한 바 있다. 수학식 5에서와 같이 상기 가중치 평균은 4가지로 계산되며 각각 에지의 가중치를 어느 것을 이용하였는지에 따라 달라진다. 수학식 5에서 R_N 및 C_N에서의 N은 하나의 마스크 내에서 중심 화소 이외의 각 화소들의 연번을 나타낸다. 예를 들어, 마스크의 크기가 5×5 화소 배열로 이루어진 경우, 중심 화소를 제외한 상기 각 화소는 총 24개가 될 것이다. 수학식 5는 이들 24개의 각 화소들을 정수 표현으로 연번을 붙여서 표현한 것이다. 수학식 5로부터 상기 4가지의 가중치 평균인 Y_{wm _y}, Y_{wm _ ycbcr}, Cb_{wm _ ycbcr} 및 Cr_{wm _ ycbcr}을 계산할 수 있다.

상기 컬러 잡음 제거부(44)는 상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분(Y) 및 색상 성분(Cb, Cr)을 보정함으로써 영상의 컬러 잡음을 제거한다.

유사 영역 내의 RGB 포맷의 각 성분들 사이의 관계로부터, YCbCr 포맷의 각 성분들 사이의 관계를 앞서 수학식 6 내지 수학식 8에서 유도한 바 있다. 그러나 실제로 영상 내에서는 에지(edge)가 존재하고 실제로 다른 특성을 갖는 영역의 화소가 있을 수 있기 때문에 에지의 특성을 고려한 YCbCr의 각 성분의 관계를 수학식 9 및 수학식 10을 통해서 유도하였고, 수학식 10에서 Y_out을 Y_{wm _y}로 대체하고, (Y_{wm_ycbcr}-Y_out)에 가중치를 주어 정리함으로써 최종적인 수학식 11을 유도했다.

즉, 수학식 11에서 미리 정한 가중치 W_Cb 및 W_Cr을 이용하여 최종적으로 컬러 잡음이 제거된 Cb 성분 및 Cr 성분을 획득하게 된다.

상기한 바와 같이, 본 발명의 일 실시 예에 따른 영상의 컬러 잡음 제거 장치는 종래의 색상 정보(Cb, Cr)만을 사용하는 방법보다 영상의 컬러 잡음을 효과적으로 제거할 수 있는 장치를 제공함으로써 특히, 저조도 환경에서 영상 촬영 시 더욱 효과가 있다.

도 5는 본 발명의 일 실시 예에 따른 영상 촬영 장치를 도시한 도면이다.

도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 영상 촬영 장치는 영상 촬영부(51), 영상 신호 처리부(52), 컬러 잡음 제거 장치(40), 디스플레이부(53) 및 저장부(54)를 포함한다.

상기 영상 촬영부(51)는 피사체에 대한 영상을 촬영하여 영상 신호로 변환한다. 상기 영상 촬영부는 렌즈부, 적외선 차단 필터부 및 이미지 센서를 포함한다.

상기 렌즈부는 복수의 렌즈들을 포함한다. 또한, 상기 복수의 렌즈들의 각각은 광축에 대해 회전 대칭성을 갖고, 상기 복수의 렌즈들의 광축이 일축 상에 배열된다. 상기 복수의 렌즈는 구면 또는 비구면 형상으로 이루어질 수 있다. 상기 렌즈부는 플라스틱 재질로 형성된 3개의 렌즈로 이루어질 수 있다.

상기 적외선 차단 필터부는 인간의 눈이 민감하게 반응하지 않는 적외선 대역의 입사광을 차단시키는 기능을 갖는다. 이미지 센서는 인간의 눈으로는 인식하기 어려운 적외선 대역(파장이 약 750nm이상인 광선)의 입사광에도 민감하게 반응한다. 따라서, 이들 적외선 대역의 입사광에 의해서 상기 이미지 센서에 촬영된 영상은 피사체의 자연색과 비교하여 색상 차이가 있기 때문에, 적외선 대역의 입사광을 차단하기 위해 적외선 차단 필터가 사용된다.

상기 이미지 센서는 동일한 구성을 갖는 픽셀들(pixels)이 N×M 매트릭스(matrix) 구조로 배치된 구조를 갖는다. 상기 이미지 센서로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등을 사용할 수 있다. 상기 이미지 센서는 상기 이미지 센서 앞에 빛의 3원색 필터를 놓고 이를 통과한 정보를 저장했다가 이미지 센서에서 저장된 명암 정보와 합해 컬러 이미지를 만드는 원리로 동작한다.

상기 영상 신호 처리부(52)(Image Signal Processor, ISP)는 이미지 센서에서 변환된 전기적 신호를 영상신호로 변환하는 장치이다. 상기 영상 신호 처리부는 상기 이미지 센서가 CMOS인 경우 하나의 칩으로 구현이 가능하며, 기능이 확대되는 경우에는 DSP와 SoC 형태로 칩에 배치될 수 있다. 상기 영상 신호 처리부에 의해서 손 떨림 방지 기능, 저조도 보상 기능 등 특별한 기능이 구현될 수 있다.

상기 컬러 잡음 제거 장치(40)는 거리 가중치 계산부, 에지 가중치 계산부, 가중치 평균 계산부 및 컬러 잡음 제거부를 포함하며, 도 4에 따른 컬러 잡음 제거 장치와 동일한 구성요소를 포함한다.

상기 디스플레이부(53)는 영상 촬영 시 촬영될 피사체의 영상을 표시하거나, 저장된 영상을 재생 시 재생되는 영상을 표시한다. 상기 디스플레이부(53)는 LCD(Liquid Crystal Display), LED(Light Emitting Diodes) 또는 OLED(Organic Light Emitting Diodes) 등으로 이루어질 수 있다.

상기 저장부(54)는 상기 영상 촬영부(51)에 의해 촬영된 영상 신호 데이터를 저장한다. 또한, 상기 저장부(54)는 상기 영상 촬영 장치의 구동을 위한 일반적인 프로그램 및 어플리케이션들을 저장할 수 있다. 특히, 상기 영상 촬영 장치에 포함된 컬러 잡음 제거 장치의 구동에 필요한 상기의 수학식을 저장할 수 있으며, 상기 수학식에 대응되는 입출력 룩업 테이블(look-up table)을 저장하여 입력값에 대응되는 출력값을 상기 룩업 테이블을 참조할 수도 있다.

상기한 바와 같이, 본 발명의 일 실시 예에 따른 영상 촬영 장치는 종래의 색상 정보(Cb, Cr)만을 사용하는 방법보다 영상의 컬러 잡음을 효과적으로 제거할 수 있는 장치를 제공함으로써 특히, 저조도 환경에서 영상 촬영 시 더욱 효과가 있다.

한편 이상에서는 본 발명의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

1. 입력된 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소로부터 상기 마스크 내의 각 화소까지의 거리에 따른 거리 가중치를 계산하는 단계;
   상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 계산하는 단계;
   상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산하는 단계; 및
   상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 단계를 포함하는 것을 특징으로 하는 영상의 컬러 잡음 제거 방법.
   
2. 제1항에 있어서,
   상기 거리 가중치는,
   상기 중심 화소의 좌표를 (r_c,c_c)라고 하고, 상기 각 화소의 좌표를 (r,c)라고 하며, 상기 각 화소에 대한 거리 가중치를 W_d(r,c)라고 할 때, 다음의 수학식

   

   을 통해 계산하는 것을 특징으로 하는 영상의 컬러 잡음 제거 방법.
   
3. 제1항에 있어서,
   상기 에지 가중치는,
   상기 중심 화소에 대한 밝기 성분을 Y_in(r_c,c_c), 색상 성분을 Cb_in(r_c,c_c) 및 Cr_in(r_c,c_c)라고 하고, 상기 각 화소에 대한 밝기 성분을 Y_in(r,c), 색상 성분을 Cb_in(r,c) 및 Cr_in(r,c)라고 하며,
   상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 대한 절대값을

   

   라고 하고, 문턱값 th_{e _Y}, th_{e _ Cb} 및 th_{e _ Cr}에 대해, 밝기 성분의 에지 가중치를 W_{e _Y}(r,c), 색상 성분의 에지 가중치를 W_{e_Cb}(r,c) 및 W_{e _ Cr}(r,c)라고 할 때, 다음의 수학식

   

   를 통해 계산하는 것을 특징으로 하는 영상의 컬러 잡음 제거 방법.
   
4. 제3항에 있어서,
   상기 가중치 평균인 Y_{wm_y}, Y_{wm_ycbcr}, Cb_{wm_ycbcr} 및 Cr_{wm_ycbcr}은,
   다음 수학식

   

   를 통해 계산하는 것을 특징으로 하는 영상의 컬러 잡음 제거 방법.
   
5. 제4항에 있어서,
   상기 계산된 Y_{wm _y}을 상기 각 화소에 대한 밝기 성분으로 출력하며,
   상기 각 화소에 대한 색상 성분인 Cb_out 및 Cr_out은,
   미리 설정된 가중치를 W_Cb 및 W_Cr라고 할 때, 다음의 수학식

   

   를 통해 계산하여 출력하는 것을 특징으로 하는 영상의 컬러 잡음 제거 방법.
   
6. 입력된 영상에서 소정의 크기를 갖는 마스크 내의 중심 화소로부터 상기 마스크 내의 각 화소까지의 거리에 따른 거리 가중치를 계산하는 거리 가중치 계산부;
   상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 계산하는 에지 가중치 계산부;
   상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산하는 가중치 평균 계산부; 및
   상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 컬러 잡음 제거부를 포함하는 것을 특징으로 하는 영상의 컬러 잡음 제거 장치.
   
7. 제6항에 있어서,
   상기 거리 가중치는,
   상기 중심 화소의 좌표를 (r_c,c_c)라고 하고, 상기 각 화소의 좌표를 (r,c)라고 하며, 상기 각 화소에 대한 거리 가중치를 W_d(r,c)라고 할 때, 다음의 수학식

   

   을 통해 계산되는 것을 특징으로 하는 영상의 컬러 잡음 제거 장치.
   
8. 제6항에 있어서,
   상기 에지 가중치는,
   상기 중심 화소에 대한 밝기 성분을 Y_in(r_c,c_c), 색상 성분을 Cb_in(r_c,c_c) 및 Cr_in(r_c,c_c)라고 하고, 상기 각 화소에 대한 밝기 성분을 Y_in(r,c), 색상 성분을 Cb_in(r,c) 및 Cr_in(r,c)라고 하며,
   상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 대한 절대값을

   

   라고 하고, 문턱값 th_{e _Y}, th_{e _ Cb} 및 th_{e _ Cr}에 대해, 밝기 성분의 에지 가중치를 W_{e _Y}(r,c), 색상 성분의 에지 가중치를 W_{e_Cb}(r,c) 및 W_{e _ Cr}(r,c)라고 할 때, 다음의 수학식

   

   를 통해 계산되는 것을 특징으로 하는 영상의 컬러 잡음 제거 장치.
   
9. 제8항에 있어서,
   상기 가중치 평균인 Y_{wm_y}, Y_{wm_ycbcr}, Cb_{wm_ycbcr} 및 Cr_{wm_ycbcr}은,
   다음 수학식

   

   를 통해 계산되는 것을 특징으로 하는 영상의 컬러 잡음 제거 장치.
   
10. 제9항에 있어서,
    상기 계산된 Y_{wm _y}을 상기 각 화소에 대한 밝기 성분으로 출력하며,
    상기 각 화소에 대한 색상 성분인 Cb_out 및 Cr_out은,
    미리 설정된 가중치를 W_Cb 및 W_Cr라고 할 때, 다음의 수학식

    

    를 통해 계산하여 출력하는 것을 특징으로 하는 영상의 컬러 잡음 제거 장치.
    
11. 영상을 촬영하여 영상 신호로 변환하는 영상 촬영부;
    상기 영상 신호를 밝기 성분 및 색상 성분을 포함하는 영상 신호로 변환하는 영상 신호 처리부;
    입력된 영상의 중심 화소로부터 각 화소까지의 거리에 따른 거리 가중치와 상기 영상의 중심 화소와 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 컬러 잡음 제거 장치;
    상기 컬러 잡음이 제거된 영상 신호를 출력하는 디스플레이부; 및
    상기 컬러 잡음이 제거된 영상 신호를 저장하는 저장부를 포함하는 영상 촬영 장치.
    
12. 제11항에 있어서,
    상기 컬러 잡음 제거 장치는,
    입력된 영상의 중심 화소로부터 각 화소까지의 거리에 따른 거리 가중치를 계산하는 거리 가중치 계산부;
    상기 영상의 중심 화소와 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 따른 에지(edge) 가중치를 계산하는 에지 가중치 계산부;
    상기 계산된 거리 가중치 및 에지 가중치를 이용하여 상기 각 화소에 대한 가중치 평균을 계산하는 가중치 평균 계산부; 및
    상기 계산된 가중치 평균을 이용하여 상기 각 화소에 대한 밝기 성분 및 색상 성분을 보정하는 컬러 잡음 제거부를 포함하는 것을 특징으로 하는 영상 촬영 장치.
    
13. 제11항에 있어서,
    상기 거리 가중치는,
    상기 중심 화소의 좌표를 (r_c,c_c)라고 하고, 상기 각 화소의 좌표를 (r,c)라고 하며, 상기 각 화소에 대한 거리 가중치를 W_d(r,c)라고 할 때, 다음의 수학식

    

    을 통해 계산되는 것을 특징으로 하는 영상 촬영 장치.
    
14. 제12항에 있어서,
    상기 에지 가중치는,
    상기 중심 화소에 대한 밝기 성분을 Y_in(r_c,c_c), 색상 성분을 Cb_in(r_c,c_c) 및 Cr_in(r_c,c_c)라고 하고, 상기 각 화소에 대한 밝기 성분을 Y_in(r,c), 색상 성분을 Cb_in(r,c) 및 Cr_in(r,c)라고 하며,
    상기 중심 화소와 상기 각 화소 사이의 밝기 성분 및 색상 성분의 차이에 대한 절대값을

    

    라고 하고, 문턱값 th_{e_Y}, th_{e_Cb} 및 th_{e_Cr}에 대해, 밝기 성분의 에지 가중치를 W_{e_Y}(r,c), 색상 성분의 에지 가중치를 W_{e_Cb}(r,c) 및 W_{e_Cr}(r,c)라고 할 때, 다음의 수학식

    

    를 통해 계산되는 것을 특징으로 하는 영상 촬영 장치.
    
15. 제14항에 있어서,
    상기 가중치 평균인 Y_{wm_y}, Y_{wm_ycbcr}, Cb_{wm_ycbcr} 및 Cr_{wm_ycbcr}은,
    다음 수학식

    

    를 통해 계산되는 것을 특징으로 하는 영상 촬영 장치.
    
16. 제15항에 있어서,
    상기 계산된 Y_{wm _y}을 상기 각 화소에 대한 밝기 성분으로 출력하며,
    상기 각 화소에 대한 색상 성분인 Cb_out 및 Cr_out은,
    미리 설정된 가중치를 W_Cb 및 W_Cr라고 할 때, 다음의 수학식

    

    를 통해 계산하여 출력하는 것을 특징으로 하는 영상 촬영 장치.

Images