KR100778924B1 - 차등 적용 필터부를 가지는 영상 처리 장치 및 방법 - Google Patents

Abstract

차등 적용 필터부를 가지는 영상 처리 장치 및 방법이 개시된다. 본 발명의 실시예에 따르면 각기 상이한 차단 주파수를 갖는 N개의 저역 통과 필터와, 영상 데이터의 구분 영역별로 N개의 저역 통과 필터 중 어느 하나의 저역 통과 필터에 대응되는 미리 설정된 레지스터 값을 저장하는 영역 지정 레지스터와, 입력된 영상 데이터의 임의의 픽셀의 위치에 상응하는 구분 영역에 대한 레지스터 값을 영역 지정 레지스터로부터 추출하고, 임의의 픽셀 데이터가 N개의 저역 통과 필터에 의해 차등 필터링되어 생성된 N개의 결과 픽셀 데이터 중 추출된 레지스터 값에 대응되는 저역 통과 필터에 의한 결과 픽셀 데이터를 선택하여 출력하는 선택부를 포함하는 차등 적용 필터부를 가지는 영상 처리 장치가 제공된다. 본 발명에 의하면 영상 처리를 함에 있어 영상 데이터의 영역별 중요도를 고려할 수 있고, 압축률 대비 화질의 양호도를 향상시킬 수 있는 효과가 있다.

영상 처리 장치, 차등 적용 필터부, 영상 압축

Description

차등 적용 필터부를 가지는 영상 처리 장치 및 방법{Image processing device}

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 블록 구성도.

도 2는 도 1에 도시된 영상 처리 장치에서의 차등 적용 필터부를 나타낸 도면.

도 3은 본 발명의 바람직한 일 실시예에 따른 차등적인 영상 필터링을 수행하기 위한 영상 데이터의 영역 구분 방법을 예시한 도면.

도 4는 도 3의 경우에 있어 구분 영역별로 미리 설정된 레지스터 값을 예시한 도면.

도 5는 도 2에 도시된 차등 적용 필터부에서의 영상 필터링 과정을 나타낸 흐름도.

도 6 내지 도 8은 본 발명의 일 실시예에 따른 차등 적용 필터부를 통한 영상 필터링을 거친 경우와 종래의 방식에 의한 영상 필터링을 거친 경우의 압축률 대비 화질의 양호도를 비교한 도면.

<도면의 주요부분에 대한 부호의 설명>

100 : 영상 처리 장치

110 : 전처리부

115 : 차등 적용 필터부

120 : 압축부

130 : 저장부

211 : 약한 저역 통과 필터

212 : 강한 저역 통과 필터

220 : 선택부

230 : 영역 지정 레지스터

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 차등 적용 필터부를 가지는 영상 처리 장치 및 방법에 관한 것이다.

영상 처리 장치는 디지털 카메라, 휴대폰, 컴퓨터 등 다양한 디지털 처리 장치에서 이용되며, 특히 영상 압축 기술과 관련된다. 최근 무선 통신 기술의 발달과 함께 정지 영상이나 동영상을 이용한 통신 환경이 급속히 확산됨에 따라 사용자들은 고화질의 영상을 원하는 반면, 이를 실현하기 위해 전송해야 하는 데이터의 양 은 더욱 증가하고 있다. 이와 같은 문제점을 해결하기 위해 JPEG(Joint Photographic Experts Group), MPEG(Moving Picture Experts Group)을 비롯한 여러 가지 영상 압축 방법이 제안되었으며, 이러한 영상 압축 기술들은 국제적으로 표준화되어 사용되고 있다. 따라서, 영상 처리 장치는 일반적으로 영상 데이터를 압축 또는 복원하기 위한 코덱(codec)을 필수적으로 포함하게 된다.

다만, 영상 처리 장치는 입력된 영상 데이터를 곧바로 영상 압축시키는 것은 아니며, 영상 압축을 수행하기에 앞서 영상 데이터를 영상 처리(이하, 이를 '전처리'라 함)함이 일반적이다. 예를 들어, 영상 처리 장치는 전처리부를 통해 영상 데이터의 크기를 조정(scaling)하거나 또는 영상 데이터에 포함된 잡음(noise)을 제거하는 등의 영상 데이터의 전처리 과정을 수행한다. 따라서, 영상 처리 장치의 전처리부에는 영상 데이터의 크기 조정을 위한 스케일러(scaler) 또는 잡음 제거를 위한 필터부 등이 포함된다. 이때, 필터부는 일반적으로 고주파 성분으로 이루어지는 잡음의 특성을 고려하여 저역 통과 필터(low pass filter)를 이용하여 구현하게 된다.

그러나 종래의 영상 처리 장치에 포함되는 필터부는 하나의 저역 통과 필터만으로 구현되고 있다. 저역 통과 필터의 강도가 강한 경우(즉, 저역 통과 필터의 차단 주파수가 상대적으로 작은 경우)에는 고주파인 잡음의 제거 능력은 향상되지만, 동시에 영상 데이터 중 저역 통과 필터의 차단 주파수보다 큰 주파수 성분을 갖는 영상 정보도 함께 제거되므로 영상의 왜곡이 심해지는 문제점이 있다. 이와 달리, 저역 통과 필터의 강도가 약한 경우(즉, 저역 통과 필터의 차단 주파수가 상 대적으로 큰 경우)에는 영상 데이터를 큰 왜곡 없이 보존할 수 있지만, 잡음 제거 능력이 저하되며 후속하는 영상 압축 과정을 통해 생성되는 압축 영상 데이터의 압축률이 떨어지는 문제점이 있다.

또한, 종래와 같은 하나의 저역 통과 필터를 통한 영상 필터링(filtering) 방식은 영상 데이터에서의 영역별 중요도를 고려할 수 없는 한계가 있었다. 예를 들어, 촬영 대상인 인물은 보통 촬영된 이미지의 중앙에 존재하게 되는 것과 같이 일반적으로 사용자는 화면의 중앙 부분에 표시되는 영상 데이터에 주목을 하며, 화면 중 주변 부분의 이미지에 대한 중요도는 낮다. 따라서, 영상 데이터에서 중요도가 높은 영역에 대해서는 중요도가 낮은 영역보다 가능한 한 왜곡 없이 보존할 필요가 있다 할 것이다. 그러나, 종래 방식에서는 영상 데이터의 모든 영역이 하나의 필터에 의해 동일한 강도로 필터링되었기 때문에 영상 데이터의 영역별 중요도를 고려할 수 없었다.

따라서, 본 발명의 목적은 영상 데이터의 영역별 중요도에 따라 차등적으로 필터링을 수행할 수 있는 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 다른 목적은 영역별 중요도를 고려한 필터링을 수행함으로써 압축률 대비 화질의 양호도를 향상시킬 수 있는 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 영역별로 차등 필터링을 수행함으로써 영상에서 주제가 되는 대상을 부각시키는 등과 같은 다양한 영상 효과를 만들어낼 수 있는 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 기존의 영상 처리 장치에 단순히 1개 이상의 저역 통과 필터 및 선택부만을 더 추가하는 방법으로 간단하게 구현할 수 있고, 영상 압축률을 향상시킴으로써 영상 저장 장치의 부담을 줄일 수 있는 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 각기 상이한 차단 주파수를 갖는 N개의 저역 통과 필터-여기서, N은 2 이상의 자연수임-; 영상 데이터의 구분 영역별로 N개의 저역 통과 필터 중 어느 하나의 저역 통과 필터에 대응되는 미리 설정된 레지스터 값을 저장하는 영역 지정 레지스터-여기서, 구분 영역은 영상 데이터를 구성하는 부분 영역으로서 소정의 수평 픽셀수 및 소정의 수직 픽셀수를 갖는 영역들을 의미함-; 및 입력된 영상 데이터의 임의의 픽셀의 위치에 상응하는 구분 영역에 대한 레지스터 값을 영역 지정 레지스터로부터 추출하고, 임의의 픽셀 데이터가 N개의 저역 통과 필터에 의해 차등 필터링되어 생성된 N개의 결과 픽셀 데이터 중 추출된 레지스터 값에 대응되는 저역 통과 필터에 의한 결과 픽셀 데이터를 선택하여 출력하는 선택부를 포함하는 차등 적용 필터부를 가지는 영상 처리 장치가 제공될 수 있다.

여기서, 저역 통과 필터는 FIR(Finite Impulse Response) 필터로 구현될 수 있고, 저역 통과 필터의 차단 주파수는 FIR 필터의 계수의 조정을 통해 상이해질 수 있다.

여기서, 선택부는 수평 픽셀 카운터(Horizontal pixel counter) 및 수직 픽셀 카운터(Vertical pixel counter)를 포함하되, 수평 픽셀 카운터 및 수직 픽셀 카운터를 통한 연산을 통해 픽셀의 위치를 계산할 수 있다.

본 발명에 따른 차등 적용 필터부를 가지는 영상 처리 장치는 2개의 저역 통과 필터를 포함하되, 영역 지정 레지스터에 저장된 레지스터 값은 영상 데이터 중 제1 영역의 레지스터 값과 제2 영역의 레지스터 값이 상이하고, 제1 영역의 레지스터 값은 2개의 저역 통과 필터 중 상대적으로 큰 차단 주파수를 갖는 저역 통과 필터와 대응되며, 제2 영역의 레지스터 값은 2개의 저역 통과 필터 중 상대적으로 작은 차단 주파수를 갖는 저역 통과 필터와 대응될 수 있다.

여기서, 제1 영역은 영상 데이터의 중앙 부분에 형성되고, 제2 영역은 영상 데이터의 중앙 부분 이외의 영역에 형성될 수 있다.

여기서, 제1 영역 및 제2 영역을 각각 구성하는 구분 영역의 개수는 영역 지정 레지스터의 개수 및 각 레지스터의 비트 수에 의해 결정될 수 있다.

본 발명의 다른 측면에 따르면, (a) 입력되는 영상 데이터의 임의의 1개 픽셀 데이터에 대하여 N개의 저역 통과 필터에 의해 차등 필터링된 N개의 결과 픽셀 데이터를 생성하는 단계-여기서, N개의 저역 통과 필터는 각기 상이한 차단 주파수 를 갖음-; (b) 임의의 픽셀의 위치에 상응하는 구분 영역에 대한 미리 설정된 레지스터 값을 영역 지정 레지스터로부터 추출하는 단계; 및 (c) N개의 저역 통과 필터 중 추출된 레지스터 값에 대응되는 저역 통과 필터에 의한 결과 픽셀 데이터를 선택하는 단계-여기서, 레지스터 값은 N개의 저역 통과 필터 중 어느 하나의 저역 통과 필터와 대응됨-를 포함하되, 영상 데이터의 모든 픽셀에 대하여 단계 (a) 내지 단계 (c)가 반복적으로 수행되는 차등 적용 필터부를 가지는 영상 처리 장치에서의 영상 처리 방법이 제공될 수 있다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 따라서, 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 방법 및 이를 사용하는 장치를 발명할 수 있는 것이다. 즉, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 블록 구성도 이다. 본 발명에 따른 영상 처리 장치(100)는 휴대폰을 비롯한 이동 통신 단말기, 디지털 카메라, 컴퓨터, 게임 단말기 등 디지털 영상의 처리를 필요로 하는 장치이면 어느 것에나 이용될 수 있다.

도 1을 참조하면, 본 발명에 따른 영상 처리 장치(100)는 차등 적용 필터부(115)를 포함하는 전처리부(110), 압축부(120) 및 저장부(130)를 포함한다.

전처리부(110)는 영상 데이터를 압축하기에 앞서 이미지 센서(미도시)로부터 입력된 원시 영상 데이터에 대한 영상 처리를 수행한다. 전처리부(110)에 의해 영상 처리된 데이터는 저장부(130)에 저장될 수 있다.

여기서, 전처리부(110)로 입력되는 원시 영상 데이터는 CCD 센서와 같은 이미지 센서에 의해 촬상된 원시 영상으로부터 변환된 형태인 디지털 영상 신호일 수 있다.

전처리부(110)는 차등 적용 필터부(115)를 포함한다. 차등 적용 필터부(115)는 원시 영상 데이터의 영역별 중요도에 따라 영상 필터링의 강도를 달리함으로써 후속하는 압축 과정을 통해 생성되는 압축 영상 데이터의 압축률을 높일 수 있다. 차등 적용 필터부(115)에 관하여는 도 2에서 상세히 설명하기로 한다.

도 1에서는 차등 적용 필터부(115)를 전처리부(110)에 포함시켰지만, 전처리부(110)와 별도로 구비될 수 있음은 물론이다.

압축부(120)는 전처리부(110)를 통해 영상 처리된 영상 데이터를 압축(encoding)하거나, 압축된 영상 데이터를 원래의 영상 데이터로 복원(decoding)한다. 압축부(120)는 영상 데이터를 압축 또는 복원하기 위한 영상 코덱(codec)을 구 비할 수 있으며, 영상 코덱으로는 JPEG, MPEG 등의 다양한 영상 코덱 중 어느 것이든 선택 가능하다. 압축부(120)에 의해 압축된 영상 데이터는 저장부(130)에 저장될 수 있다. 이처럼 압축부(120)는 저장할 영상 데이터의 저장 용량을 작게 함으로써 저장부(130)의 부담을 줄일 수 있다.

저장부(130)는 복수의 메모리로 구성되며, 전처리부(110) 또는 압축부(120)에 의해 처리된 영상 데이터를 저장한다. 전처리부(110) 또는 압축부(120)에 의해 영상 처리된 각각의 데이터는 저장부(130) 내에서 어드레스(address)가 다른 별도의 저장 공간에 저장될 수 있다.

도 1에 도시한 구성부 이외에도 본 발명에 따른 영상 처리 장치(100)에는 영상 처리를 위한 다양한 구성부가 더 포함될 수 있음은 자명하다. 예를 들어, 영상 처리 장치(100)에는 영상 데이터의 크기 조정을 위한 스케일러(Scaler), 영상 데이터를 베이어 패턴으로 배열하는 베이어 필터(Bayer filter), 영상 데이터의 픽셀간 보간을 수행하는 보간부(Interpolation), 영상 데이터에 대한 감마 보정 및 색채/휘도 보정을 수행하는 감마 보정부(Gamma Correction) 및 색채 보정부(Color Correction), RGB 영상 데이터를 YUV 영상 데이터로 변환하는 포맷 변환부(RGB to YCbCr Converter) 등이 더 포함될 수 있다. 이러한 구성부의 전부 또는 일부는 전처리부(110)에 포함되어 구비되거나 또는 전처리부(110)와는 별도로 영상 처리 장치(100) 내에 구비될 수 있다. 물론, 이러한 구성부의 기능을 수행하는 프로그램의 형태로 영상 처리 장치(100) 내에 저장될 수 있다.

상술한 영상 처리 과정의 수행을 위하여 영상 처리 장치(100)는 디지털 처리 장치 전체의 동작을 제어하는 제어부의 제어를 받을 수 있다. 물론, 영상 처리 장치(100) 내부에 별도의 영상 제어부를 구비함으로써 영상 처리 과정을 제어할 수도 있을 것이다.

도 2는 도 1에 도시된 영상 처리 장치에서의 차등 적용 필터부를 나타낸 도면이다. 도 2 이하의 모든 도면에 관한 설명에서는 도 2가 도시하는 바와 같이 차등 적용 필터부(115)내에 차단 주파수가 상이한 저역 통과 필터가 2개 구비된 경우를 중심으로 설명하지만, 필요에 따라서 각기 상이한 차단 주파수를 갖는 3개 이상의 저역 통과 필터를 포함하는 형태로 구현될 수 있음을 당업자는 이하의 설명을 통해서 쉽게 알 수 있을 것이다. 이하의 설명에서 저역 통과 필터(Low pass filter) 및 멀티 플렉서(Multiplexer)의 구성 및 기능은 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.

도 2를 참조하면, 본 발명에 따른 차등 적용 필터부(115)는 2개의 저역 통과 필터(211, 212), 선택부(220) 및 영역 지정 레지스터(230)를 포함한다.

2개의 저역 통과 필터(211, 212)는 각기 상이한 차단 주파수(cut-off frequency)를 갖는다. 약한 저역 통과 필터(211)는 2개의 저역 통과 필터 중 상대적으로 큰 차단 주파수를 갖는 저역 통과 필터를 의미하며, 강한 저역 통과 필터(212)는 상대적으로 작은 차단 주파수를 갖는 저역 통과 필터를 의미한다. 영상 데이터가 강한 저역 통과 필터(212)를 통과하게 되면 약한 저역 통과 필터(211)를 통과하는 경우보다 영상 데이터에 포함된 고주파 성분을 더 많이 차단시키게 된다.

보다 상세히 설명하면, 저역 통과 필터는 그 필터가 갖는 차단 주파수 이상의 주파수 성분을 통과시키지 않고 차단하므로, 차단 주파수가 작을수록 영상 데이터에서 차단되는 영상 정보(즉, 그 차단 주파수 이상의 주파수 성분에 해당하는 영상 정보)의 양이 많아지게 된다. 따라서, 강한 저역 통과 필터를 사용할수록 제거되는 고주파 영상 정보 및 잡음의 양이 많아지며, 후속하는 압축 과정을 통해 생성되는 압축 영상 데이터의 크기가 작아진다. 즉, 강한 저역 통과 필터를 사용하는 경우 영상 데이터의 압축률을 높일 수 있게 된다. 다만, 원래의 영상 데이터에서 제거되는 영상 정보의 양이 많다는 것은 그만큼 영상 처리된 데이터가 원래 영상 데이터로부터 왜곡이 심해진다는 것을 의미하기도 한다. 이와 반대로, 약한 저역 통과 필터를 사용하는 경우에는 영상 왜곡의 정도는 줄일 수 있지만, 그 압축률 및 잡음 제거 효율이 떨어지게 된다. 이러한 이유로 1개의 저역 통과 필터만을 사용하는 경우 영상 데이터의 압축률 향상 및 영상 왜곡의 방지라는 2가지 요구를 동시에 달성할 수 없다. 이는 결국 제조자가 영상 처리 장치의 제조 시에 이러한 요구를 최대한 절충시킬 수 있는 차단 주파수를 선택할 수 밖에 없다는 것을 의미한다.

그러나, 본 발명에 따른 차등 적용 필터부(115)는 2개의 저역 통과 필터(211,212)를 이용함으로써 영상 데이터의 영역별 중요도에 따라 영역별로 보다 더 요구되는 영상 특성을 선택할 수 있다. 차등 적용 필터부(115)는 전체 영상 데이터 중 정보의 중요도가 높은 영역에 대해서는 영상의 왜곡 방지를 위해 약한 저역 통과 필터(211)에 의한 결과 영상을 선택하고, 정보의 중요도가 낮은 영역에 대해서는 영상의 왜곡 방지가 크게 요구되지 않으므로 압축률의 향상을 위해 강한 저역 통과 필터(212)에 의한 결과 영상을 선택할 수 있다.

예를 들면, 촬영 대상인 인물은 보통 촬영된 이미지의 중앙에 존재하게 됨이 일반적이다. 이는 사용자가 카메라 등을 이용한 촬상시 화면의 중앙 부분에 촬영 대상을 위치시키기 때문이다. 이러한 이유로 촬영된 이미지에서 주변 부분보다 그 중앙 부분에 중요 정보가 많이 위치하게 된다. 또한, 사람들은 촬영된 이미지를 바라볼 때 상술한 정보의 중요도를 불문하고서라도 이미지의 중앙 부분을 그 주변 부분보다 더욱 주목함이 일반적이다. 사용자는 영상의 중앙 부분에 위치하는 영상 데이터에 더욱 비중을 두어 바라보므로, 사용자에게 있어서 영상의 중앙 부분의 영상 데이터는 정보의 중요도가 높고 주변 부분의 영상 데이터는 정보의 중요도가 낮다고 할 수 있다. 따라서, 본 발명에 따른 차등 적용 필터부(115)는 정보의 중요도가 높은 영상의 중앙 부분에 대해서는 약한 저역 통과 필터(211)를 통해 필터링된 결과 영상을 선택함으로써 영상의 왜곡 방지를 할 수 있다. 또한, 정보의 중요도가 낮은 영상의 주변 부분에 대해서는 강한 저역 통과 필터(212)를 통해 필터링된 결과 영상을 선택함으로써 압축률을 향상시킬 수 있다. 이처럼 차등 적용 필터부(115)를 이용한 차등 필터링 과정을 통하여 사용자는 동일한 압축률을 갖는 영상 데이터라도 하나의 저역 통과 필터를 이용하여 영상 필터링한 것에 비해 영상 데이터의 화질이 보다 양호하다고 느끼게 된다(도 6 내지 도 8 참조).

여기서, 저역 통과 필터(211,212)는 FIR(Finite Impulse Response) 필터를 비롯한 다양한 디지털 필터에 의해 구현될 수 있다. 특히, FIR 필터의 경우 그 출력이 현재 및 과거의 입력에만 의존하며, 귀환 루프(feedback loop)가 필요없어 필 터의 안정성이 보장된다. 동일한 진폭 특성을 얻기 위해 IIR(Infinite Impulse Response) 필터에 비해 그 차수가 증가하는 단점이 있음에도 불구하고, FIR 필터는 그 구현의 간편성 및 필터의 안정성 측면에서 저역 통과 필터의 설계에 이용되기에 적당하다고 할 수 있다.

또한, FIR 필터에서는 그 필터의 특성을 나타내는 임펄스 응답(Impulse response)의 계수(weight coefficient)의 간단한 조정만으로도 구현되는 저역 통과 필터의 강도를 변경시킬 수 있는 이점이 있다. 여기서, 저역 통과 필터의 강도는 그 필터의 차단 주파수와 관련된다.

예를 들어, 차수가 3차인 FIR 필터의 임펄스 응답은 아래의 수학식 1과 같이 되며, 임펄스 응답의 각 계수 값을 달리 조정함으로써 간단하게 저역 통과 필터의 차단 주파수의 크기를 선택해낼 수 있게 된다. FIR 필터의 임펄스 응답의 계수 조정은 필터의 구성의 변경없이 영상 처리 장치(100)에 별도로 구비된 레지스터(미도시)의 설정 값의 변경을 통하여 쉽게 할 수 있다.

y[n] = {A x[n] + B x[n-1] + C x[n-2]}/(A+B+C)

여기서, x[n], x[n-1] 및 x[n-2] 는 FIR 필터로 순차 입력되는 각 픽셀을 의미하며, A, B 및 C는 임펄스 응답의 계수임.

선택부(220)는 수평 픽셀 카운터(horizontal pixel counter)(221), 수직 픽 셀 카운터(vertical pixel counter)(222) 및 3개의 멀티 플렉서(이하, 도 2에 도시된 바와 같이'MUX1','MUX2','MUX3'라 약칭함)를 포함한다.

수평 픽셀 카운터(221)는 입력된 임의의 픽셀이 영상 데이터 전체에서 위치하는 수평 방향의 순서를 계산하며, 수직 픽셀 카운터(222)는 수평 픽셀 카운터(221)를 거친 동일한 픽셀이 영상 데이터 전체에서 위치하는 수직 방향의 순서를 계산한다. 선택부(220)는 수평 픽셀 카운터(221) 및 수직 픽셀 카운터(222)를 이용하여 입력된 임의의 픽셀이 전체 영상 데이터 내에 존재하는 위치를 확인해 낼 수 있다. 또한, 선택부(220)는 MUX1 및 MUX2을 이용하여 앞서 확인된 픽셀의 위치에 상응하는 미리 설정된 레지스터 값을 영역 지정 레지스터(230)로부터 추출해낼 수 있다. 추출된 레지스터 값에 따라 선택부(220)는 MUX3을 이용하여 약한 저역 통과 필터(211) 및 강한 저역 통과 필터(212)를 각각 거친 결과 영상 중 어느 하나를 선택할 수 있다.

도 2가 도시하는 차등 적용 필터부(115)의 기능 및 그 구성 요소간의 유기적 연결관계는 이하의 도 3 내지 도 5의 설명을 통해 더욱 분명해질 것이다.

도 3은 본 발명의 바람직한 일 실시예에 따른 차등적인 영상 필터링을 수행하기 위한 영상 데이터의 영역 구분 방법을 예시한 도면이고, 도 4는 도 3의 경우에 있어 구분 영역별로 미리 설정된 레지스터 값을 예시한 도면이다.

도 3이 도시하는 바와 같이, 전체 영상 데이터는 수평 픽셀수 640개 및 수직 픽셀수 480개(640×480)의 크기를 갖는 것으로 가정한다. 이를 위해 영상 데이터는 영상 처리 장치(100)의 스케일러(미도시) 등을 통해 640×480의 크기를 갖도록 그 영상 데이터의 크기가 조정될 수 있다. 또한, 수평 픽셀수 32개 및 수직 픽셀수 32개(32×32)의 크기에 해당하는 영역을 영상 데이터의 영역 구분을 위한 단위 영역으로 선택한 것으로 가정한다. 이하의 설명에서 (m, n)은 영상 데이터의 원점(0, 0)을 기준으로 한 픽셀의 위치를 나타낸다. 여기서, m은 0 내지 639 사이의 값을 갖는 수평 픽셀수를 의미하고, n은 0 내지 479 사이의 값을 갖는 수직 픽셀수를 의미한다.

도 3이 예시하는 전체 영상 데이터는 수평 방향으로 총 20개(640(총 수평 픽셀수)/32(단위 수평 픽셀수))의 영역으로 구분(이하, 이를 '수평 라인'이라 함)되고, 수직 방향으로 총 15개(480(총 수직 픽셀수)/32(단위 수직 픽셀수))의 영역으로 구분(이하, 이를 '수직 라인'이라 함)된다. 따라서, 영상 데이터는 총 300개(20개의 수평 라인×15개의 수직 라인)의 구분 영역으로 나뉠 수 있다. 구분 영역은 단위 영역의 크기(32×32)를 갖는 영상 데이터의 부분 영역들을 의미한다.

영상 데이터의 총 15개의 수직 라인(제1 수직 라인부터 제15 수직 라인까지)에 해당되는 모든 픽셀은 각각 별개의 레지스터에 할당된다. 즉, 영상 데이터의 원점을 기준으로 제1 수직 라인에 해당하는 모든 픽셀(즉, 0번(m, 0) ~ 31번(m, 31) 픽셀)은 AREA_SEL_00[19:0] 레지스터에 할당되고, 제2 수직 라인에 해당하는 모든 픽셀(즉, 32번(m, 32) ~ 63번(m, 63) 픽셀)은 AREA_SEL_01[19:0] 레지스터에 할당되며, 최종적으로 제15 수직 라인에 해당하는 모든 픽셀(즉, 448번(m, 448) ~ 479번(m, 479) 픽셀)은 AREA_SEL_14[19:0] 레지스터에 할당된다.

여기서, AREA_SEL_00[19:0] 내지 AREA_SEL_14[19:0] 레지스터는 각각 20 비트(bit)로 구성되며, 하나의 레지스터를 구성하는 각 1 비트에는 영상 데이터의 각각의 수평 라인(제1'수평 라인 내지 제20'수평 라인)이 할당된다. AREA_SEL_00[19:0] 레지스터의 경우를 예로 들면, AREA_SEL_00[0] 비트에는 제1 수직 라인에 속하는 것으로서 영상 데이터의 원점을 기준으로 제1'수평 라인에 해당하는 모든 픽셀(즉, 0번(0, k) ~ 31번(31, k) 픽셀)이 할당되고, AREA_SEL_00[1] 비트에는 제1 수직 라인에 속하는 것으로서 제2'수평 라인에 해당하는 모든 픽셀(즉, 32번(32, k) ~ 63번(63, k) 픽셀)이 할당되며, 최종적으로 AREA_SEL_00[19] 비트에는 제1 수직 라인에 속하는 것으로서 제20'수평 라인에 해당하는 모든 픽셀(즉, 608번(608, k) ~ 639번(639, k) 픽셀)이 할당된다. 여기서, k는 0 내지 31 사이의 값을 갖는 수직 픽셀수를 의미한다.

도 4가 예시하는 바와 같이 영상 데이터의 각 구분 영역별로 할당되는 AREA_SEL_00[19:0] 내지 AREA_SEL_14[19:0] 레지스터의 각각의 비트에는 미리 설정된 "0" 또는 "1"의 값이 저장된다.

예를 들어, 도 4의 AREA_SEL_02[19:0] 레지스터를 구성하는 AREA_SEL_02[0] 내지 AREA_SEL_02[19] 비트에는 미리 설정된 "1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1"와 같은 값이 비트별로 하나씩 순서대로 저장되고 있다. 각각의 비트에 저장되는 "0" 또는 "1"의 값(이하, 이를 '레지스터 값'이라 함)은 약한 저역 통과 필터(211)와 강한 저역 통과 필터(212) 중 어느 하나와 각각 대응된다. 이와 같은 레지스터 값의 설정을 통해 차등 적용 필터부(115)는 영상 데이터의 구분 영역별로 차 등적인 영상 필터링의 수행을 할 수 있게 된다. 영역별 차등 영상 필터링 방법에 대해서는 이하 도 5의 흐름도를 참조하여 상세히 설명하기로 한다.

도 3 및 도 4에서 영상 데이터의 크기는 640×480로, 단위 영역의 크기는 32×32인 것으로 가정하여 설명하였지만, 이에 한정되지 않으며 다양한 응용이 가능함은 물론이다. 즉, 영상 데이터의 크기 및 설정한 단위 영역의 크기를 달리함에 따라 요구되는 레지스터의 개수 및 크기가 상이해질 수 있다. 만일, 상용 레지스터의 개수 및 크기가 제한적이라면 단위 영역의 크기를 더 크게 함으로써(즉, 영상 데이터의 각 구분 영역을 보다 크게 나눔으로써) 필요한 레지스터의 개수 및 크기를 줄일 수 있을 것이다.

또한, 도 3 및 도 4에서는 2개의 저역 통과 필터만을 이용하였으므로 해당 레지스터 값("0" 또는 "1")의 설정을 위해 1 비트만이 필요하였지만, 3개 이상의 저역 통과 필터를 이용하는 경우에는 그 저역 통과 필터의 개수에 상응하여 해당 레지스터 값의 설정을 위해 2 비트 이상이 필요할 수도 있음은 물론이다.

도 5는 도 2에 도시된 차등 적용 필터부에서의 영상 필터링 과정을 나타낸 흐름도이다. 도 5의 차등 적용 필터부를 통한 영상 필터링 과정(단계 S501 내지 단계 S505)은 영상 데이터를 구성하는 모든 픽셀이 필터링될 때까지 픽셀별로 하나씩 순차 입력되는 방식으로 진행되는 것이나, 이하에서는 설명의 편의를 위하여 임의의 1개 픽셀의 데이터(이하, '원시 픽셀 데이터'라 함)에 대한 필터링 과정만을 설명한다. 차등 적용 필터부(115)에 입력되는 영상 데이터는 영상 처리 장치(100)의 전처리 과정을 통해 RGB 형태의 컬러 영상 데이터로부터 변환 처리된 YCrCb 형태를 가질 수 있다.

S501에서, 원시 픽셀 데이터는 약한 저역 통과 필터(211) 및 강한 저역 통과 필터(212) 각각에 입력되며, 이와 동시에 선택부(220) 내의 수평 픽셀 카운터(221)에도 입력된다.

원시 픽셀 데이터는 2개의 저역 통과 필터(211, 212)를 거치면서 각각 상이한 차단 주파수에 의해 필터링된다. 입력된 하나의 원시 픽셀 데이터에 대해 필터링된 2개의 상이한 픽셀 데이터(이하, '결과 픽셀 데이터'이라 함)가 생성된다. 생성된 2개의 결과 픽셀 데이터는 후술할 단계 S504 및 단계 S505를 거치면서 해당 레지스터 값에 따라 그 중 어느 하나의 결과 픽셀 데이터만이 선택될 것이다.

이와 동시에, 원시 픽셀 데이터는 수평 픽셀 카운터(221)를 거치게 되며, 수평 픽셀 카운터(221)는 영상 데이터 전체에서 원시 픽셀 데이터가 위치하는 수평 방향의 순서를 계산한다. 수평 픽셀 카운터(221)를 거친 원시 픽셀 데이터는 다시 수직 픽셀 카운터(222)를 거치게 되며, 수직 픽셀 카운터(222)는 영상 데이터 전체에서 원시 픽셀 데이터가 위치하는 수직 방향의 순서를 계산한다. 이처럼 수평 픽셀 카운터(221) 및 수직 픽셀 카운터(222)를 거치면서 선택부(220)는 전체 영상 데이터 내에 존재하는 원시 픽셀 데이터의 위치를 확인할 수 있게 된다.

단계 S502에서, 원시 픽셀 데이터의 위치가 확인되면 선택부(220)는 그 픽셀의 위치에 상응하여 미리 설정된 해당 레지스터 값을 영역 지정 레지스터(230)로부터 추출해낸다.

예를 들어, 선택부(220)가 입력된 원시 픽셀 데이터가 전체 영상 데이터의 원점(0, 0)을 기준으로 하여 수평 방향으로 620번째 그리고 수직 방향으로 70번째에 위치하는 것(즉, (620, 70))으로 확인하였다고 가정한다. 이때, 원시 픽셀 데이터(620, 70)는 제20'수평 라인(즉, 608번 ~ 639번 픽셀) 및 제3 수직 라인(즉, 64번 ~ 95번 픽셀) 내에 속한다. 따라서, 선택부(220)는 제3 수직 라인에 속하는 것(즉, AREA_SEL_02[19:0] 레지스터에 해당함)으로서 제20'수평 라인에 포함되는 레지스터 내 해당 비트가 AREA_SEL_02[19] 비트인 것으로 결정할 수 있다(도 4 참조). 결국, 선택부(220)는 MUX1 및 MUX2를 이용하여 확인된 원시 픽셀 데이터의 위치에 상응하는 해당 레지스터의 해당 비트에서 미리 설정되어 저장된 레지스터 값(도 4의 경우에는 "1")을 추출해낼 수 있게 된다.

단계 S503에서, 선택부(220)는 추출된 레지스터 값이 "1"인지 여부를 판단한다. 선택부(220)는 추출된 레지스터 값이 "1"인 경우에는 MUX3을 이용하여 강한 저역 통과 필터(212)에 의한 결과 픽셀 데이터를 선택하고(단계 S504), 추출된 레지스터 값이 "1"이 아닌 경우(즉, "0"인 경우)에는 약한 저역 통과 필터(211)에 의한 결과 픽셀 데이터를 선택한다(단계 S505).

즉, 일반적으로 화상 통화를 위한 영상 데이터는 중앙에 인물이 위치하고, 동영상에서도 중앙 부분에 중심 정보가 존재함을 고려할 때, 화면 중앙 부분에 위치한 픽셀 데이터들은 약한 저역 통과 필터(211)에 의해 처리되도록 하고, 주변부에 위치한 픽셀 데이터들은 강한 저역 통과 필터(212)에 의해 처리되도록 할 수 있을 것이다. 이러한 방법에 의해 사진 촬영시 조리개를 열어 심도를 얇게 함으로써 주제를 부각시킨 사진과 유사한 효과를 생성할 수도 있을 것이다. 물론, 이외에도 각 필터가 처리할 이미지 영역을 다양하게 설정함으로써 보다 다양한 효과가 나타나도록 할 수도 있을 것이다.

도 6 내지 도 8은 본 발명의 일 실시예에 따른 차등 적용 필터부를 통한 영상 필터링을 거친 경우와 종래의 방식에 의한 영상 필터링을 거친 경우의 압축률 대비 화질의 양호도를 비교한 도면이다. 도 6은 원시 영상을 나타내고, 도 7은 종래의 방식에 의한 영상 필터링을 거친 경우의 처리 영상을 나타내며, 도 8은 본 발명에 따른 차등 적용 필터부(115)를 통한 영상 필터링을 거친 경우의 처리 영상을 나타낸다. 여기서, 도 8은 차등 적용 필터부(115)를 통한 영상 필터링에 있어 도 4에서 예시하는 영상 데이터의 영역별 레지스터 값을 적용한 것이다. 또한, 도 7 및 도 8에 도시된 처리 영상은 모두 영상 필터링 과정 및 후속하는 JPEG 압축 처리 과정까지 거친 뒤에 생성된 것이다.

도 6에 도시된 원시 영상의 크기는 31KB(Kilo Byte)이며, 도 7 및 도 8의 처리 영상은 각각 24KB(Kilo Byte)의 크기를 갖는다. 즉, 도 7 및 도 8의 처리 영상은 JPEG 압축 처리 후 동일한 영상 데이터 크기를 갖고 있다.

그러나, 도 7의 경우에는 원시 영상 데이터 전체가 하나의 저역 통과 필터에의해 동일한 강도(즉, 동일한 차단 주파수)로 영상 필터링된 것으로서, 처리 영상이 도 6의 원시 영상에 비해 전체적으로 흐릿해 보임을 알 수 있다.

도 8의 경우에는 원시 영상 데이터가 도 4에서 예시된 영역별 레지스터 값에 의해 영역별로 차등적인 영상 필터링을 거친 것으로서, 처리 영상의 중앙 부분이 도 7의 경우보다 한결 선명해 보임을 알 수 있다.

즉, 도 7과 도 8은 그 압축 효율에 대해서는 동일한 비율을 갖고 있지만, 사용자는 도 8의 처리 영상이 도 7의 처리 영상에 비해 훨씬 화질이 좋다고 느끼게 되는 것이다. 따라서, 본 발명에 따른 차등 적용 필터부를 이용한 영상 필터링 방법은 사용자가 느끼는 압축률 대비 화질 양호도의 개선을 가져오는 효과가 있다. 이와 같은 압축률 대비 화질 양호도의 개선 효과는 초당 24 프레임(frame) 이상의 영상이 순간적으로 바뀌게 되는 동영상의 경우에 더욱 확연히 나타나게 될 것이다.

또한, 본 발명에 따른 영상 필터링 방법은 전체 영상 중 중앙 부분의 대상을 그 주변 부분 보다 부각시키는 것과 같은 영상 효과(예를 들어, 카메라의 조리개를 개방한 상태에서 대상 물체를 촬상하였을 때, 인화된 사진 전체의 심도가 얇아지는 것과 같이 전체 영상 중 주변 부분이 흐릿하게 보이는 효과 등)를 만들어내는 것을 알 수 있다.

상술한 바와 같이, 본 발명에 따른 차등 적용 필터부를 가지는 영상 처리 장치 및 방법에 의하면 영상 처리를 함에 있어 영상 데이터의 영역별 중요도를 고려할 수 있는 효과가 있다.

또한, 본 발명은 영역별 중요도를 고려한 필터링을 수행함으로써 압축률 대비 화질의 양호도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명은 영역별로 차등 필터링을 수행함으로써 영상에서 주제가 되는 대상을 부각시키는 등과 같은 다양한 영상 효과를 만들어낼 수 있는 효과가 있다.

또한, 본 발명은 기존의 영상 처리 장치에 단순히 1개 이상의 저역 통과 필터 및 선택부만을 더 추가하는 방법으로 간단하게 구현가능하며, 영상 압축률을 향상시킴으로써 영상 저장 장치의 부담을 줄일 수 있는 효과가 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

1. 입력 영상을 각기 상이한 차단 주파수에 따라 필터링하는 N(N은 2 이상의 자연수)개의 저역 통과 필터;

   상기 입력 영상을 소정의 수평 픽셀수 및 수직 픽셀수 단위로 나눈 각 구분 영역별로 해당 구분 영역의 영상 정보의 중요도에 따라 상기 N개의 저역 통과 필터 중 어느 하나와 대응되도록 미리 할당된 레지스터 값을 저장하는 영역 지정 레지스터; 및

   상기 입력 영상을 구성하는 임의의 픽셀 데이터의 위치에 상응하는 해당 구분 영역에 대한 할당 레지스터 값을 상기 영역 지정 레지스터로부터 추출하고, 상기 임의의 픽셀 데이터가 상기 N개의 저역 통과 필터에 의해 각각 필터링된 N개의 결과 픽셀 데이터 중 상기 추출된 레지스터 값에 대응되는 저역 통과 필터에 의한 결과 픽셀 데이터를 선택하여 출력하는 선택부

   를 포함하는 차등 적용 필터부를 가지는 영상 처리 장치.
2. 제1항에 있어서,

   상기 저역 통과 필터는 FIR(Finite Impulse Response) 필터로 구현되는 것을 특징으로 하는 차등 적용 필터부를 가지는 영상 처리 장치.
3. 제2항에 있어서,

   상기 저역 통과 필터의 상기 차단 주파수는 상기 FIR 필터의 계수 조정을 통하여 설정되는 것을 특징으로 하는 차등 적용 필터부를 가지는 영상 처리 장치.
4. 제1항에 있어서,

   상기 선택부는 수평 픽셀 카운터(Horizontal pixel counter) 및 수직 픽셀 카운터(Vertical pixel counter)를 포함하되,

   상기 수평 픽셀 카운터 및 상기 수직 픽셀 카운터를 통한 연산을 통해 상기 픽셀 데이터의 위치를 계산하는 것을 특징으로 하는 차등 적용 필터부를 가지는 영상 처리 장치.
5. 제1항에 있어서,

   상기 저역 통과 필터가 2개 구비되는 경우,

   상기 입력 영상의 중앙 부분에 속하는 각 구분 영역들에는 상기 2개의 저역 통과 필터 중 큰 차단 주파수를 갖는 저역 통과 필터에 대응되는 레지스터 값이 할당되고, 상기 중앙 부분 이외의 부분에 속하는 각 구분 영역들에는 상기 2개의 저역 통과 필터 중 작은 차단 주파수를 갖는 저역 통과 필터에 대응되는 레지스터 값이 할당되는 것을 특징으로 하는 차등 적용 필터부를 가지는 영상 처리 장치.
6. 삭제
7. 제1항에 있어서,

   상기 입력 영상을 소정의 수평 픽셀수 및 수직 픽셀수 단위로 나눈 상기 구분 영역의 개수는 상기 영역 지정 레지스터의 개수 및 각 레지스터의 비트 수에 의해 결정되는 것을 특징으로 하는 차등 적용 필터부를 가지는 영상 처리 장치.
8. (a) 입력 영상을 구성하는 임의의 1 픽셀 데이터가 각기 상이한 주파수를 갖는 N(N은 2 이상의 자연수)개의 저역 통과 필터에 의해 각각 필터링되는 단계;

   (b) 상기 입력 영상을 소정의 수평 픽셀수 및 수직 픽셀수로 나눈 각 구분 영역별로 해당 구분 영역의 영상 정보의 중요도에 따라 상기 N개의 저역 통과 필터 중 어느 하나와 대응되도록 할당된 레지스터 값을 저장하는 영역 지정 레지스터로부터 상기 임의의 1 픽셀 데이터의 위치에 상응하는 해당 구분 영역에 대한 할당 레지스터 값을 추출하는 단계;

   (c) 상기 임의의 1 픽셀 데이터가 상기 N개의 저역 통과 필터에 의해 각각 필터링된 N개의 결과 픽셀 데이터 중 상기 추출된 레지스터 값에 대응되는 저역 통과 필터에 의한 결과 픽셀 데이터를 선택하는 단계; 및

   (d) 상기 입력 영상을 구성하는 모든 픽셀 데이터에 대하여 각각의 결과 픽셀 데이터가 선택될 때까지 상기 단계 (a) 내지 상기 단계 (c)를 반복하는 단계

   를 포함하는 차등 적용 필터부를 가지는 영상 처리 장치에서의 영상 처리 방법.

Images