KR100203695B1 - 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치 - Google Patents

Abstract

본 발명은 물체 기반 부호화에 있어서, 분리된 텍스쳐 정보의 분류를 위해 텍스쳐의 영상 특성을 유지하면서도 계산량과 그 소요되는 메모리를 절감할 수 있도록 한 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치에 관한 것으로, 이를 위하여 본 발명은, 텍스쳐 정보를 이루는 각 픽셀들에 대해 소정 크기의 마스크 기법을 통한 주변 픽셀값들을 이용하여 분리된 텍스쳐 정보에 포함되는 노이즈 성분을 제거하는 메디안 필터; 필터링된 텍스쳐 영상의 픽셀값들에 대한 히스토그램상에서 그 최소값과 최대값을 찾아 동적 영역을 검출하는 동적 영역 검출 블록; 검출된 동적 영역을 기설정된 복수의 구간으로 설정하고, 설정된 복수의 각 구간에서 발생가능한 봉우리 영역을 검출하며, 검출된 봉우리 영역의 폭이 기설정된 임계치보다 적으면 검출된 봉우리 영역을 갖는 해당 구간을 하나의 양자화 구간으로 결정하고, 봉우리 영역을 갖지 않는 다른 구간을 균일 양자화 구간으로 결정하는 샤프니스 검출 블록; 각각 결정된 양자화 구간 정보에 의거하여 동적 영역내의 설정된 복수의 각 구간에 대해 단일 또는 균일 양자화를 적응적으로 수행하는 양자화 블록; 및 복수의 각 구간에 상응하는 단일 또는 균일 양자화된 동적 영역내에 존재하는 복수의 출력값들을 노멀라이징하여 전체 그레이 레벨값으로 분포되도록 보정하는 양자화 보정 블록을 포함한다.

Description

물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치

제1도는 본 발명의 바람직한 실시예에 따른 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치에 대한 블록구성도.

제2도는 일반 영상과 텍스쳐 영상의 양자화시의 양자화 오차를 예시적으로 보여주는 도면.

제3도는 본 발명에 따라 텍스쳐의 히스토리램상에 그려지는 동적 영역과 동적 영역이 다수개의 양자화 구간으로 구분되는 예를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

102 : 메디안 필터 104 : 동적 영역 검출 블록

106 : 샤프니스 검출 블록 108 : 양자화 블록

110 : 양자화 보정 블록

본 발명은 디지탈 영상신호를 저전송율로 압축 부호화하는 물체 기반 부호화 기법에 관한 것으로, 프레임에 나타나는 물체에 포함되는 텍스쳐(texture) 정보를 분류하는데 있어서의 그 전처리를 수행하는데 적합한 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비전(HDTV)의 경우 상당한 양의 전송 데이타가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송하고자 하는 데이타를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이타량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 여기에서, 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 에측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Steffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와 같이, 소정크기(예를 들면, 8×8 크기)의 블록단위로 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수가 있을 것이다.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와 같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와 같이 저장된 부호화된 영상데이타는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT) 등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.

통상적으로, 상술한 바와 같은 DPCM/DCT 하이브리드 부호화기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계표준화기구에 의해 표준안이 이미 완성된, 영상내에 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1, 2 및 H.261 부호화 알고리즘 등에 주로 관련된다.

한편, 최근 들어 PC의 급격한 성능 향상과 보급 확산, 디지탈 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이타를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를 들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이타의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있다.

그러나, 상술한 바와 같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(global motion) 등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이타의 고압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4 의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를 들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Cobing)의 일종에 속하는 동양상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화(Segmentation-Based Coding), 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.

본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis - synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, Object - Oriented Analysis - Synthesis Coding Based on Moving Two - Dimentioanl Objects, Signal Processing : Image Communication 2, pp,409-428(December, 1990)에 개시되어 있다.

상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임(motion), 윤곽(contour) 및 텍스쳐(화소 데이터 또는 결 : texture)는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 각 정보들은, 예를 들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 실질적으로 프레임내 물체에서 분리된(또는 추출된) 텍스쳐 정보에 대해 부호화를 위해 전처리하는 기법에 관련된다.

본 발명은 상술한 바와 같은 물체 기반 부호화에 있어서, 분리된 텍스쳐 정보의 분류를 위해 텍스처의 영상 특성을 유지하면서도 계산량과 그 소요되는 메모리를 절감할 수 있는 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 물체 기반 부호화시에 연속하는 각 프레임에 나타나는 물체에서 분리되는 텍스쳐 정보를 분류하기 위해 전처리를 수행하는 전처리 장치에 있어서, 상기 텍스쳐 정보를 이루는 각 픽셀들에 대해 소정 크기의 마스크 기법을 통한 주변 픽셀값들을 이용하여 상기 분리된 텍스쳐 정보에 포함되는 노이즈 성분을 제거하는 메디안 필터; 상기 필터링된 텍스쳐 영상의 픽셀값들에 대한 히스토그램상에서 그 최소값과 최대값을 찾아 동적 영역을 검출하는 동적 영역 검출 수단; 상기 검출된 동적 영역을 기설정된 복수의 구간으로 설정하고, 상기 설정된 복수의 각 구간에서 발생가능한 봉우리 영역을 검출하며, 검출된 봉우리 영역의 폭이 기설정된 임계치보다 적으면 상기 검출된 봉우리 영역을 갖는 해당 구간을 하나의 양자화 구간으로 결정하고, 봉우리 영역을 갖지 않는 다른 구간을 균일 양자화 구간으로 결정하는 샤프니스 검출 수단; 상기 각각 결정된 양자화 구간 정보에 의거하여 상기 동적 영역내의 설정된 복수의 각 구간에 대해 단일 또는 균일 양자화를 적응적으로 수행하는 양자화 수단; 및 상기 복수의 각 구간에 상응하는 상기 단일 또는 균일 양자화된 상기 동적 영역내에 존재하는 복수의 출력값들을 노멀라이징하여 전체 그레이 레벨값으로 분포되도록 보정하는 양자화 보정 수단으로 이루어진 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치를 제공한다.

본 발명의 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

이 기술분야에 잘 알려진 바와 같이, 본 발명에서 다루고자 하는 텍스쳐 정보는 다음과 같은 특성을 갖는다. 즉, 텍스쳐는 대부분의 정보가 국부적인 극대값 또는 극소값의 픽셀들을 포함하며, 또한 비교적 좁은 영역에서 다른 일반적인 영상들에 비해 명암도(밝기)의 변화가 크다. 일예로서, 제2도를 참조하면, 일반 영상의 경우, 동도 (a)에 도시된 바와 같이, 원영상(A)과 양자화된 영상(B)의 비교로부터 명백한 바와 같이 그 밝기의 변화가 작고 양자화 오차(동도에서 사선으로 채워진 부분)가 두드러지는 반면, 텍스춰의 경우, 동도(b)에 도시된 바와 같이, 원영상(A')과 양자화된 영상(B')의 비교로 부터 명백한 바와 같이 그 밝기의 변화가 크고 양자화 오차(동도에서 사선으로 채워진 부분)가 미세하다. 따라서, 텍스쳐 정보의 경우 양자화로 인한 특성정보의 손실이 일반 영상에 비해 매우 적음을 알 수 있으며, 이것은 텍스쳐 정보가 통계적 방식으로 접근할 경우 그 계산량이나 메모리면에서의 이득이 매우 크다는 것을 의미한다. 그러므로, 텍스쳐가 갖는 고유한 특성들을 이용하여 텍스쳐 정보를 전처리하며 텍스쳐 정보의 효과적인 분류가 가능할 것이다.

따라서, 본 발명에 따라 상술한 바와 같은 특성을 갖는 텍스쳐 정보를 분류하는 데 필요로 하는 전처리 과정에 대하여 설명한다.

제1도는 본 발명의 바람직한 실시예에 따른 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 본 발명의 텍스쳐 분류를 위한 전처리 장치는 메디안 필터(102), 동적 영역 검출 블록(104), 샤프니스 검출 블록(106), 양자화 블록(108) 및 양자화 보정 블록(110)을 포함한다.

제1도를 참조하면, 메디안 필터(102)는, 공간 영역적인 영상 평활화 기법의 일종으로써, N×M 마스크를 이용하여 입력 텍스쳐 정보에 포함된 고립점이나 임펄스성 노이즈 성분을 제거하는데 효과적인 것으로, 해당 픽셀 주위의 국소영역(N×M 마스크에 대응) 집합에 대합에 대한 픽셀값(즉, 명암도)들에서 중위수(중간값)를 선택하여 해당 픽셀값으로 대체하는 것이다. 이러한 메디안 필터는 노이즈 성분일 가능성이 큰 고립점이나 물체의 에지부분에서 관측되는 명암도 변화의 보존에 매우 효과적이다. 특히, 본 발명에서는 메디안 필터로서, 제2도에 도시된 바와 같은 십자형 메디안 필터를 채용하며, 이러한 십자형 메디안 필터는 특히 에지의 보존 능력에서 탁월한 성능을 갖는다. 따라서, 입력되는 텍스쳐 정보는 이와 같은 십자형 메디안 필터를 통해 임펄스성 노이즈 성분이 제거되어 평활화된 다음, 다음단의 동적 영역 검출 블록(104)으로 제공된다.

다음에, 동적 영역 검출 블록(104)에서는, 일예로서 제3a도에 도시된 바와 같이, 평활화된 텍스쳐 영상의 픽셀값들에 대한 히스토그램(돗수분포)을 그린 다음, 그 히스토그램상의 최소값(min)과 최대값(max)을 찾아 그 동적 영역(x)을 추출하며, 이와 같이 추출된 히스토그램상의 동적 영역(x) 정보는 다음단의 샤프니스 검출 블록(106)으로 제공된다.

이때, 일예로서 제3a도에 도시된 바와 같이, 히스토그램상의 동적 영역(x)에 샤프한 봉우리가 포함되는 경우가 발생할 수 있는데, 이러한 봉우리 영역을 포함하는 그레이 레벨값은 실질적으로 텍스쳐의 특성에 좋지 못한 영향을 미치므로 봉우리 영역을 포함하는 그레이 레벨값은 양자화시에 통상의 동적 영역(봉우리 영역을 포함하지 않는 동적 영역)과는 달리 처리해야 할 필요가 있다.

따라서, 본 발명의 샤프니스 검출 블록(106)에서는, 예를 들어 제3a도에 도시된 바와 같은 히스토그램상의 동적 영역(x)에 봉우리 영역이 포함되어 있는지를 판단, 즉 동적 영역에 발생가능한 봉우리 영역을 검출한 다음, 그 검출결과에 의거하여 다음단에서의 양자화를 위한 양자화 구간을 선택적으로 결정한다. 즉, 샤프니스 검출 블록(106)에서는 일예로서 제3b도에 도시된 바와 같이 동적 영역(X)에 봉우리 영역(x)가 포함되는 경우 그 구간(a)을 하나의 양자화 구간으로 결정하고, 나머지 구간(b,c,d)은 균일 양자화 구간으로 결정한다. 이때, 동적 영역(X)에 포함되는 봉우리 영역(x)에 대한 독자적인 양자화 구간 결정은 존재하는 봉우리의 폭이 기설정된 임계치(TH)보다 작을 경우에 해당되며, 임계치(TH)와의 비교결과 해당 봉우리의 폭이 임계치(TH)보다 큰 경우 해당 구간(a)은 다른 구간들(b,c,d)과 마찬가지로 균일 양자화 구간으로 결정될 것이다. 상기와 같이 동적 영역상에 포함가능한 봉우리 영역의 검출결과에 따라 양자화 구간을 결정하는 기법은, 예를 들면 Fumiaki Tomita 등에 의해 제안되어 공표된 Descriptpon of Textures by a Structural Analysis PAMI-4 NO. 2, March 1982에 개시되어 있다.

그 결과, 양자화 블록(108)에서는 상기한 바와 같이 샤프니스 검출 블록(106)에서의 봉우리 영역의 검출결과에 의거하여 결정되는 양자화 구간에 따라 봉우리 영역을 포함하는 동적 영역(X)의 해당 구간(a)을 하나의 양자화 구간으로 할당하여 양자화하고, 동적 영역(X)의 나머지 구간(b,c,d)들에 대해서는 균일한 양자화를 수행하며, 이와 같이 양자화된 텍스쳐 정보들을 양자화 보정 블록(110)으로 제공한다.

한편, 본 발명에 따른 양자화 보정 블록(110)에서는, 실질적으로 입력영상의 밝기(명암도), 즉 텍스쳐 정보의 밝기에 무관한 텍스쳐 분류를 수행할 수 있도록, 양자화 블록(108)으로부터 제공되는 4개의 양자화된 텍스쳐 출력값들(즉, 일예로서 제3b도 에 도시된 히토그램상의 동적 영역(X)내의 구간 a,b,c,d 에 대응하는 양자화값)에 대해 노멀라이징을 수행함으로써, 제한된 범위의 동적영역내에 존재하는 4개의 양자화된 텍스쳐 출력값들의 레벨을 0에서 255 레벨의 그레이 레벨값으로 보정한다. 여기에서, 4개의 양자화된 텍스쳐 정보들을 0에서 255 레벨의 노멀화된 그레이 레벨값으로 대체시키는 이유는 영상의 주위환경이 전체적으로 어두워지거나 밝아져서 동적 영역이 변하는 경우일지라도 원활하게 대처하여 실질적으로 동일한 출력 레벨값을 얻을 수 있도록 하기 위함이다. 그런 다음, 최종적으로 양자화 보정 블록(110)에서 출력되는 양자화 보정된 각 그레이 레벨값들을 도시 생략된 텍스쳐 분류 시스템으로 제공될 것이다.

이상 설명한 바와 같이 본 발명에 따르면, 십자형 메디안 필터를 이용하여 텍스쳐 정보를 평활화하고, 해당 텍스쳐 정보의 히스토그램상의 동적 영역에 나타나는 봉우리 영역을 참조하여 단독 양자화 또는 균일 양자화를 수행하며, 양자화 보정된 텍스쳐 정보들을 노멀화하여 레벨 0에서 255 사이의 그레이 레벨값들로 보정함으로써, 분리된 텍스쳐 정보의 전처리시에 텍스쳐의 영상 특성을 유지하면서도 계산량과 그 소요되는 메모리를 절감할 수 있다.

Claims (2)

1. 물체 기반 부호화시에 연속하는 각 프레임에 나타나는 물체에서 분리되는 텍스쳐 정보를 분류하기 위해 전처리를 수행하는 전처리 장치에 있어서, 상기 텍스쳐 정보를 이루는 각 픽셀들에 대해 소정 크기의 마스크 기법을 통한 주변 픽셀값들을 이용하여 상기 분리된 텍스쳐 정보에 포함되는 노이즈 성분을 제거하는 메디안 필터; 상기 필터링된 텍스쳐 영상의 픽셀값들에 대한 히스토그램상에서 그 최소값과 최대값을 찾아 동적 영역을 검출하는 동적 영역 검출 수단; 상기 검출된 동적 영역을 기설정된 복수의 구간으로 설정하고, 상기 설정된 복수의 각 구간에서 발생가능한 봉우리 영역을 검출하며, 검출된 봉우리 영역의 폭이 기설정된 임계치보다 적으면 상기 검출된 봉우리 영역을 갖는 해당 구간을 하나의 양자화 구간으로 결정하고, 봉우리 영역을 갖지 않는 다른 구간을 균일 양자화 구간으로 결정하는 샤프니스 검출 수단; 상기 각각 결정된 양자화 구간 정보에 의거하여 상기 동적 영역내의 설정된 복수의 각 구간에 대해 단일 또는 균일 양자화를 적응적으로 수행하는 양자화 수단; 및 상기 복수의 각 구간에 상응하는 상기 단일 또는 균일 양자화된 상기 동적 영역내에 존재하는 복수의 출력값들을 노멀라이징하여 전체 그레이 레벨값으로 분포되도록 보정하는 양자화 보정 수단으로 이루어진 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치.
2. 제1항에 있어서, 상기 메디안 필터는, 십자형 메디안 필터인 것을 특징으로 하는 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치.