KR100209415B1 - 패딩 기법 및 윤곽선 정보를 이용한 영상 신호처리방법 - Google Patents

Abstract

본 발명에 따른 패딩 기법 및 물체의 윤곽선 정보를 이용하여 비트 발생율을 감소시킬 수 있는 개선된 영상신호 처리 방법은, 입력되는 상기 물체와 윤곽선을 포함하는 윤곽선 데이타 블럭을 기설정된 부호화 기법에 의해 부호화하고, 부호화된 데이타를 윤곽선 정보로서 제공하며, 부호화된 윤곽선 정보를 다시 복호화하여, 재구성된 윤곽선 데이타 블럭을 제공하며, 상기 재구성된 윤곽선 데이타 블럭을 이용하여, 상기 데이타 블럭내의 각각의 8 ×8화소 블럭내에서 복호화된 윤곽선을 둘러싸는 최소 사각형 블럭을 구현하여 이 최소 사각형 블럭의 가로 길이(LM), 세로 길이(LN) 및 위치 정보를 검출하여 메모리로 어드레스하며, 입력되는 윤곽선 데이타 블럭을 부호화되기전의 원래의 윤곽선 데이타를 이용하여 전체적으로 패딩하여 이 패딩 블럭을 메모리로 전송하고, 메모리로 입력되는 정보에 따라 메모리에 저장된 패딩 블럭을 순차적으로 전송하며, 전송되는 패딩블럭에 대하여 LM ×LN 2차원 DCT 및 양자화를 수행하여, 양자화된 계수 데이타 블럭을 제공하고, 제공되는 양자화된 계수 데이타 블럭에 대하여 앞단의 LM ×LN 영역에의 양자화된 계수 데이타만을 스캐닝하여 가변길이 부호화를 수행한다.

Description

패딩 기법 및 윤곽선 정보를 이용한 영상 신호 처리 방법

제1도는 본 발명에 따른 물체의 영상 신호 처리 장치의 동작을 예시적으로 설명하기 위한 블럭도.

제2도는 각각의 8 × 8 블럭에서 복호화된 윤곽선 데이타를 둘러싸는 최소 사각형 블럭을 구현하는 일예를 도시한 도면.

제3도는 패딩 기법의 일 예를 도시한 도면.

제4도는 제2도에서 구현된 LM × LN 내의 지그 재그 스캐닝을 구현한 일 예를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

10 : 윤곽선 처리부 20 : 텍스처 처리부

100 : 휘도 윤곽선 부호화부 150 : 부호화된 윤곽선 정보

200 : 휘도 윤곽선 복호화부

300 : LM,LN 및 위치 정보 검출부

350 : 메모리 400 : 패딩부

500 : DCT 양자화기

600 : 변형 지그 재그 스캐너 및 VLC 부

본 발명은 낮은 비트레이트의 영상 신호 처리 방법에 관한 것으로, 특히 패딩 기법 및 윤곽선 정보를 이용하여 보다 효율적으로 영상신호를 부호화 할 수 있는 영상신호 처리 방법에 관한 것이다.

잘 알려 진 바와 같이, 영상 전화, 고선명 텔레비전 또는 영상회의 시스템과 같은 디지탈로 방송되는 시스템에 있어서, 비디오 프레임 신호의 각 라인이 화소라 지칭되는 일련의 디지탈 데이타를 포함하기 때문에 각 비디오 프레임을 규정하는데는 상당량의 디지탈 데이타가 필요하다.

그러나, 통상의 전송 채널의 유효 주파수 대역폭은 제한되기 때문에, 특히 영상 전화 및 영상 회의 시스템과 같은 저 전송 영상 신호 부호화 시스템에서, 상당량의 디지탈 데이타를 전송하기 위해서는 여러 가지 데이타 압축 기술을 이용하여 데이타 량을 압축 또는 줄이는 것이 필요하다.

한편, 저 전송 영상신호 부호화 시스템에서 영상신호 부호화하는 방법 중의 하나는 물체별 분석-합성 부호화 방법(Michael Hlotter, Object-Oriented Analysis-Synthesis Coding Based Moving Two-Dimensional Objects, Signal Processing: Image Communication, 2,409-428(1990) 을 참조) 이다.

이러한 물체별 분석-합성 부호화 방법에 따르면, 움직임 물체들을 갖는 입력 영상 신호는 물체에 따라 분할되며, 각 물체의 움직임, 윤곽 및 화소 데이타를 규정하는 3가지 파라미터는 그 특성상 각기 상이한 부호화 경로를 통해 처리된다.

한편, 물체 내의 영상 데이타 또는 화소들을 처리하는데 있어서, 물체별 분석-합성 부호화 기법에서는 영상 데이타에 포함된 공간적 리던던시 만을 제거하는 변환 부호화 기법이 주로 이용된다. 영상 데이타 압축을 위해 가장 흔히 사용되는 변환 부호화 기법들 중 하나는 블럭 단위 이산 코사인 변환(DCT: Discrete Cosine Transform) 부호화로서, 이 부호화 기법은 한 블럭의 디지탈 영상 데이타, 예를 들어, 8 ×8 개의 화소 블럭을 한 세트의 변환 계수 데이타로 변환한다. 이 방법은, 예를 들어, Chen and Pratt, Scene Adaptive Coder, IEEE Transaction on Communication, COM-32, No, 3, pp, 225-232(March 1984)에 개시되어 있다. DCT만큼 자주 이용되지는 않지만 DST(Discrete Sine Transform), 하트리(Hartley) 변환 또는 다른 변환도 블럭 변환 부호화와 관련하여 사용될 수 있다.

이때, 블럭 단위 DCT 부호화 방법에 있어서, 블럭내의 배경 또는 물체 이외의 영역은 0, 블럭내 물체 부분 화소의 평균값 또는 미러 영상(mirror image)으로 채워진 다음에 변환된다. 이때 , 배경 영역은 0 으로 채워지거나 물체 영역의 화소 값들의 평균값으로 채워질 수 있다.

비록 이러한 방법은 통상의 코딩 방법(예를 들어, Joint Photographic Experts Group: JPEG, Moving Pictures Experts Group: MPEG, H26l 등)에 사용되는 2차원 DCT 블럭을 이용할 수 있지만, 영상의 물체 내부와 외부 영역의 화소값의 차가 크기 때문에 DCT부호화를 통한 데이타 압축을 수행하더라도 데이타 압축 효율이 저하된다. 따라서, 이러한 문제점을 해결하기 위해 복호화된 윤곽선 정보를 이용하여 DCT를 수행하기 전에 이들 두 입력간의 픽셀 값의 차를 줄이기 위하여, 물체 외부 영역을 물체 내부 영역의 값과 유사한 값으로 패딩을 수행하는 방법을 고려해 볼 수 있다. 그러나, 원 윤곽선 정보와 상이한 복호된 윤곽선 정보가 얻어질 수 있으며, 이러한 편차를 갖는 복호화된 윤곽선으로 패딩을 수행할 경우, 물체 외부 영역의 값을 물체 내부 값으로 판단하는 오류를 범하게 되며, 물체 외부 영역값으로 동일한 물체 외부 영역을 패딩하는 등의 문제가 발생하게 된다.

따라서, 본 발명의 목적은 복호화된 윤곽선 정보를 이용하여 DCT 를 수행하되, 패딩은 원래의 윤곽선 정보를 이용하여 수행하므로써 전술한 텍스처 에러를 해결할 수 있는 개선된 영상 신호 처리 방법을 제공하는데 있다.

이러한 영상신호 처리 방법은, 입력되는 상기 물체의 윤곽선을 포함하는 윤곽선 데이타 블럭을 기설정된 부호화 기법에 의해 부호화하고,부호화된 데이타를 윤곽선 정보로서 제공하는 제1단계; 상기 제1단계에서 제공된 윤곽선 정보를 다시 복호화하여, 재구성된 윤곽선 데이타 블럭을 제공하는 제2단계; 상기 재구성된 윤곽선 데이터 블럭을 이용하여, 상기 데이타 블럭내의 각각의 화소 블럭내에서 복호화된 윤곽선을 둘러싸는 최소 사각형 블럭을 구현하여 이 최소 사각형 블럭의 가로 길이(LM),세로 길이(LN) 및 상기 최소 사각형이 상기 블럭에서 위치하는 위치 정보를 검출하여 메모리로 어드레스하는 제3단계; 상기 제1단계로 입력되는 윤곽선 데이타 블럭을 부호화되기 전의 원래의 윤곽선 데이타를 이용하여 전체적으로 패딩하여 이 패딩 블럭을 메모리로 전송하는 제4단계; 상기 제3단계에서 입력되는 정보에 따라 메모리에 저장된 패딩 블럭을 순차적으로 전송하는 제5단계; 상기 제5단계에서 얻어진 패딩 블럭에 대하여 LM ×LN 2차원 DCT(DST, 하트리 변환 다른 변환도 가능함) 및 양자화를 수행하여, 양자화된 계수 데이타 블럭을 제공하는 제6단계; 상기 제6단계에서 제공되는 양자화된 계수 데이터 블럭에 대하여 앞단의 LM ×LN 영역에의 양자화된 계수 데이타만을 스캐닝하여 가변길이 부호화를 수행하는 제7단계를 포함한다.

이하, 첨부된 도면을 참조로 하여 본 발명의 실시예를 상세히 설명하기로 한다.

제1도는 본 발명에 따른 패딩 기법 및 물체의 윤곽선 정보(SHAPE INFORMATION)를 이용한 영상 신호 처리장치의 바람직한 실시예를 도식적으로 설명하기 위한 블럭도로서, 윤곽선 처리부(10) 및 텍스처(TEXTURE)처리부(20)로 구성된다. 여기서, 윤곽선 처리부(10)는 윤곽선 부호화부(100) 및 윤곽선 복호화부(200)를 가지며, 텍스처 처리부(20)는 LM,LN 및 위치정보 검출부(300), 패딩부(400), 메모리(350), 2차원 DCT(DST, 하트리 변환 혹은 다른 변환도 가능함) 및 양자화 수행부(500) 및 변형 지그-재그 스캐닝 및 VLC 수행부(600)를 갖는다.

비디오 신호의 한 프레임에 포함된 물체의 윤곽선을 포함하는 윤곽선 데이타 블럭은 윤곽선 처리부(10) 및 텍스처 처리부(20)로 입력된다. 이때, 윤곽선을 포함하는 데이타 블록은(M ×N)의 개수로 제공된다(여기서, M,N은 각각 가로,세로의 크기를 나타내는 정수이고, 본 실시예에서는 M=N=8로 하여 설명한다).

윤곽선 부호화부(100)는 기설정된 부호화 과정을 통해 입력된 윤곽선 데이타를 부호화하고, 그 결과로 부호화된 윤곽선 정보를 출력한다. 이 윤곽선 정보는 전송기(도시 안됨) 및 윤곽선 복호화부(200)로 제공된다.

윤곽선 복호화부(200)는 윤곽선 부호화부(100)에서 수행되었던 윤곽선 부호화의 역과정을 수행함으로서, 입력된 윤곽선 정보를 복호화하여 텍스처 처리부(20)로 제공한다. 따라서, 텍스처 처리부(20)로 제공되는 윤곽선 정보는 윤곽선 처리부(10)에서 부호화된 후, 다시 복호화된 후의 정보를 이용하게 되는 것이다. 이러한 부호화 및 복호화 과정을 거치는 것은 복호화단(도시 안됨)에서도 동일한 정보를 이용하여 윤곽선 성분을 알 수 있게 하기 위해서이다.

텍스처 처리부(20)로 입력된 데이타는 먼저 , LM,LN 및 위치정보 검출부(300)로 제공된다. LM,LN 및 위치정보 검출부(300)에서는 윤곽선 복호화부(200)로 부터 8×8 블럭 단위로 제공되는 윤곽선 정보에 응답하여, 상기 8 ×8블럭내의 윤곽선을 둘러싸는 최소 사각형 블럭을 구현한다. 즉, 입력되는 각각의 8 ×8 블럭내에서 가로, 세로 양방향에 대한 스캐닝을 수행하여 윤곽선과 만나는 두 지점을 검출하고 이들 두 지점을 연장하여 생성되는 상기 두 지점을 포함하는 사각형을 구현한다. 이때 이 사각형의 가로축의 길이가 LM이 되고, 세로축의 길이가 LN이 된다. 상기 최소 사각형 블럭이 8 ×8블럭과 만나는 점을 구하고 이들 지점을 X, Y로하여 이들 X,Y 정보를 메모리(350)로 어드레스한다. 복호화된 윤곽선 정보의 모든 경계부분에서 이와 같은 동작을 수행한다.

한편, 패딩부(400)에는 원래의 휘도 윤곽선 정보가 입력되어, 입력되는 블럭 전체에 대한 패딩을 수행하며, 패딩된 입력 블럭이 메모리(350)로 입력된다. 이러한 패딩을 수행하는 방법은 윤곽선 데이타로서 전체 블럭을 패딩한다는 조건만을 만족시킨다면 종래의 평균값 패딩기법, 제로 패딩 기법 및 반복 패딩 기법의 어느 기법을 사용하더라도 무방하며, 이러한 패딩 기법의 일예가 제3도에 도시된다.

메모리(350)는 패딩부(400)로부터 패딩 블럭을 수신하여 이를 순차적으로 저장하며, 상기 검출부(300)로부터 LM, LN 및 위치정보의 어드레스 정보를 수신하여 이들 어드레스 정보에 따라 패딩부(400)에서 입력된 블럭상에서 LM ×LN 크기의 패딩 블럭을 구현하여 이를 DCT 및 양자화 장치로 전송한다. 따라서 메모리(350)는 패딩부(400)와 검출부(300)의 제어에 따라 동작하는 수동적인 역할만을 한다.

LM ×LN 2차원 DCT 및 양자화부(500)는 메모리(350)로 부터 제공되는 패딩 블럭에 대하여 LM ×LN 2차원 DCT를 수행한다. 그 결과, LM × LN개의 DCT 계수가 얻어지는데, 이 계수들은 종래 동일한 방법으로 양자화하여, 변형 지그-재그 스캐닝 및 VLC부(600)로 제공한다. 지그-재그 스캐닝 및 VLC부(600)는 앞단의 LM ×LN 2차원 DCT 및 양자화부(500)로 부터 제공된 양자화된 계수 데이타 블럭의 LM ×LN 영역에서만 지그-재그 스캐닝을 수행한다.

제2도는 각각의 8 × 8 블럭에서 복호화된 윤곽선 데이타를 둘러싸는 최소 사각형 블럭을 구현하는 일예를 도시한 도면이다. 여기서 빗금친 부분은 복호화된 물체 화소의 영역을 나타낸 부분이며, 점선으로 표기된 영역은 원래 물체의 윤곽선 정보이고, D 영역은 상기 두 영역이 겹친 부분이다. 이 실시예에서 알 수 있는 바와 같이 복호화된 윤곽선 정보로서 패딩을 수행하면 D 영역의 값이 8 ×8 블럭 패딩하는데 하나의 기준 패딩값으로 사용된다. 그러나 상기 D 영역은 원래의 윤곽선의 값과는 연관되지 않은 값이므로 이 영역의 값을 기준값으로 패딩하면 원하지 않는 패딩값으로 화소 블럭이 채워지게 되어 영상에 심각한 영향을 끼치게 된다. 따라서, 본 실시예에서는 전술한 바와 같이 원래의 윤곽선 데이타(D)로서 미리 패딩을 수행한 후 [패딩부(400)], 복호화된 윤곽선 데이타로는 단지 LM, LN을 구하는데만 이용하므로써 이러한 문제점을 해결하게 된다. 또한, LM,LN 영역에서만 DCT를 수행하므로써 DCT 수행 범위를 감소시켜 발생하는 비트 양을 큰 폭으로 감소시킨다.

여기서, LM,LN 은 상기 물체 화소를 둘러싸는 최소 사각형 블럭을 구현하였을 때의 가로축 및 세로축의 길이를 나타낸다. 이 실시예에서 B 와 C 지점의 값을 메모리로 전송하면 메모리에서 이들 지점을 포함하는 최소 사각형 블럭을 구현하여 그 블럭에 대한 정보를 장치(500)로 전송하여 장치(500) 및 장치(600)에서 전술한 동작을 수행하게 된다.

제3도는 패딩 기법의 일예를 도시한 도면이다. 먼저, 그림 제3a도의 윤곽선 바깥에 있는 화소값은 모두 0 으로 채운다. 다음, 그림 제3b도와 같이 수평 방향으로 스캔하면서 윤곽선 값을 보면 한 라인의 형태가 두가지 종류 라인 세그먼트로 구분되는데 하나는 모든 형태 값이 0 인 경우(0 세그먼트)와 모든 윤곽선 값이 0 이 아닌 경우로 구분된다. 이 때 0 이 아닌 값으로만 구성된 부분에 대하여는 아무런 동작을 수행하지 않는다. 그러나, 모두 0 으로 구성된 부분에 대하여는 패딩을 실시한다. 타원의 안쪽이 객체의 내부, 바깥쪽이 패딩해야 할 부분이다. 이 경우에, 바깥부분의 데이타는 윤곽선 값이 연장되어 동일한 값이 된다. 그러나 윤곽선이 오목하거나 볼록하여 두 부분에서 연장된 값이 중복될 경우에는 두 값을 평균하여 이용한다. 이는 수평 방향으로 스캔하면서 수행하는 과정이다. 다음, 그림 제3c도에 도시된 바와 같이, 수직 방향으로 스캔하면서 제3b도의 수평 방향과 마찬가지로 패딩을 수행한다. 만일 처음에 0 이었던 값이 제3b도와 제3c도의 과정에서 동시에 패딩이 되었다면 그림 제3d도와 같이 패딩된 평균값을 이용한다. 다음, 제3d도의 부분까지 패딩하여 채워지지 않는 값은 그림 제3e도와 같이 채워지지 않은 한 화소값에서 수평 수직 방향으로 스캔하여 처음으로 만나는 값을 이용하여 이 값들의 평균값으로 채운다.

이와 같은 패딩 방법은 영상 신호의 바깥 영역을 안 영역과 비슷한 특성을 같은 값으로 채움으로서 패딩 되는 값의 통계적 특성이 윤곽선 안의 특성과 가능한 일치하도록 하는 것이다. 따라서 텍스처 부호화시의 DCT를 수행하여 양자화하는 경우에 비트 발생양을 줄일 수 있다는 것이다. 또한, 움직임 추정시에도 에러 신호의 값이 작아질 수 있다.

그러나, 이러한 패딩 방법이 최선의 실시형태는 아니며, 0 패딩(윤곽선 바깥의 데이타를 모두 0으로 채우는 방법)및 평균값 패딩(윤곽선 바깥의 데이타를 윤곽선 안의 평균값으로 채우는 방법)보다는 계산양이 많지만 성능이 향상된다는 장점이 있다.

제4도는 제2도에서 구현된 LM ×LN 내의 지그 재그 스캐닝을 구현한 일예이다. 여기서, 제4a도는 입력되는 8 ×8 블럭을 나타낸다. P 는 원래의 윤곽선 정보를 이용하여 패딩을 수행하여 구현된 패딩 값이고, LM ×LN은 제2도에 도시된 바와 같이 복호화된 윤곽선 정보를 이용하여 구현한 DCT를 수행할 수 있는 최소 영역이다. 제4b도는 상기 LM ×LN 영역내에서 지그 재그 스캐닝을 수행한 일예이다.

본 발명에서는 종래의 방법과는 달리 LM × LN의 최소 영역에 대해서만 2차원 DCT 및 지그-재그 스캐닝을 수행하므로써 발생되는 비트의 양을 최소한으로 감소시키는 효과가 있다. 전술한 바와 같이, 종래에는 물체의 형태에 관련없이 필요하지 않는 블럭의 부분까지도 포함하는 L ×L DCT를 수행하였으나, 본 발명은 원래의 물체의 윤곽선 데이타를 이용하여 미리 입력되는 물체를 포함하는 블럭을 패딩한 후, 복호화된 윤곽선 정보로서 최소한의 LM ×LN 범위의 DCT 영역을 구현하여 DCT를 수행하므로써, 즉 입력되는 윤곽선 정보에 따라서 DCT되는 영역을 제어해줌으로서 DCT 수행 시간 뿐만 아니라 전송되는 데이타의 양도 큰 폭으로 줄일 수 있게 되어, 영상 신호 처리의 효율을 크게 향상시킬 수 있는 장점을 가지게 된다.

Claims (3)

1. 패딩 기법 및 물체의 윤곽선 정보를 이용하여 비트 발생율을 감소시킬 수 있는 개선된 영상 신호 처리 방법에 있어서, 입력되는 상기 물체의 윤곽선을 포함하는 윤곽선 데이타 블럭을 기설정된 부호화 기법에 의해 부호화하고, 부호화된 데이타를 윤곽선 정보로서 제공하는 제1단계; 상기 제1단계에서 제공된 윤곽선 정보를 다시 복호화 하여, 재구성된 윤곽선 데이타 블럭을 제공하며, 상기 재구성된 윤곽선 데이타 블럭을 이용하여, 상기 데이타 블럭내의 각각의 N ×M 화소 블럭내에서 복호화된 윤곽선을 둘러싸는 최소 사각형 블럭을 구현하여 상기 최소 사각형에 관한 정보를 검출하여 메모리로 어드레스하는 제3단계; 상기 제1단계로 입력되는 윤곽선 데이타 블럭을 부호화되기 전의 원래의 윤곽선 데이타를 이용하여 전체적으로 패딩하여 이 패딩 블럭을 메모리로 전송하는 제4단계; 상기 제3단계에서 입력되는 정보에 따라 메모리에 저장된 패딩 블럭을 순차적으로 전송하는 제5단계; 상기 제5단계에서 얻어진 패딩 블럭에 대하여 상기 최소 사각형 블럭의 가로 길이 및 세로 길이의 곱인 LM ×LN 2차원 DCT 및 양자화를 수행하여, 양자화된 계수 데이타 블럭을 제공하는 제6단계; 및 상기 제6단계에서 제공되는 양자화된 계수 데이타 블럭에 대하여 상기 LM ×LN 영역에의 양자화된 계수 데이타만을 스캐닝하여 가변 길이 부호화를 수행하는 제7단계를 포함하는 것을 특징으로 하는 영상 신호 처리 방법.
2. 제1항에 있어서, 상기 최소 사각형에 관한 정보는, 상기 최소 사각형 블럭의 가로 길이, 세로 길이 및 상기 최소 사각형이 상기 화소 블럭에서 위치하는 위치 정보인 것을 특징으로 하는 영상 신호 처리 방법.
3. 제1항에 있어서, 상기 LM ×LN 2차원 DCT 대신 DST, 하트리 변환 혹은 또 다른 방법을 사용할 수 있는 것을 특징으로 하는 영상 신호 처리 방법.