KR100359819B1

KR100359819B1 - 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법

Info

Publication number: KR100359819B1
Application number: KR1020000002368A
Authority: KR
Inventors: 정영안
Original assignee: 엘지전자 주식회사
Priority date: 2000-01-19
Filing date: 2000-01-19
Publication date: 2002-11-07
Also published as: KR20010073608A

Abstract

본 발명은 동영상을 블럭(Block) 기반으로 압축 부호화함에 있어, I프레임(Intra-Frame)을 부호화할 때 인접한 블럭과의 상관성을 이용해서 인접 블럭에 적절한 가중치를 부여하고, 그 가중치에 근거하여 경사방향(45도를 비롯한 대각선 방향)으로의 엣지 예측을 수행할 수 있도록 한 엣지 예측 방법에 관한 것이다.

본 발명은 현재 부호화할 화소블럭을 포함한 주변 블럭들 중에서, 대각선 방향으로 위치하는 이미 부호화된 블럭들을 고려하여 엣지 예측을 수행할 때, 45도 방향에 위치하는 블럭에 대해서는 가중치를 부여하고, 45도 방향에 위치하는 참조블럭에 인접하는 블럭들을 상기 가중치를 부여한 45도 방향의 블럭과 함께 고려하여 현재 부호화할 블럭에 대한 예측을 수행함으로써, 0도 내지 90도 사이의 엣지를 가진 영상에 대해서 보다 효율적인 엣지 예측이 가능하도록 하였다.

Description

압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법{An Efficient Edge Prediction Methods In Spatial Domain Of Video Coding}

특히, 본 발명은 현재 부호화할 화소블럭을 포함한 주변 블럭들 중에서, 대각선 방향으로 위치하는 이미 부호화된 블럭들을 고려하여 엣지 예측을 수행할 때, 45도 방향에 위치하는 블럭에 대해서는 가중치를 부여하고, 45도 방향에 위치하는참조블럭에 인접하는 블럭들을 상기 가중치를 부여한 45도 방향의 블럭과 함께 고려하여 현재 부호화할 블럭에 대한 예측을 수행함으로써, 0도 내지 90도 사이의 엣지를 가진 영상에 대해서 보다 효율적인 엣지 예측이 가능하도록 하였다.

본 발명의 엣지 예측 방법이 적용되는 기술은 특히, 공중전화망(PSTN)을 통한 영상 전화 시스템용 저전송율 영상전송의 표준으로서 ITU-T에서 제안하는 H.26L을 위한 테스트 모델(TML-1) 중, 인트라 예측(Intra Prediction)의 성능을 향상시킬 수 있도록 하는 엣지 예측 방법이며, 이 중에서도 특히 I프레임(Intra-Frame) 및 P프레임(Predictive-Frame)의 인트라 매크로 블럭(Intra Macro Block)의 효율적인 부호화를 목적으로 공간 도메인(Spatial Domain) 상에서의 대각성분에 대한 효율적인 예측 방법을 이용하여 인트라 부호화(Intra Coding)의 효율을 높일 수 있도록 한다.

동영상이나 정지영상을 압축 부호화하기 위한 다양한 기술들과 표준안들이 제시되고 있으며, 동영상이나 정지영상을 압축 부호화하기 위한 표준안 들에서는 보다 효율적이고 높은 성능으로 영상을 압축 부호화하는 것을 궁극의 목적으로 두고 있다.

현재 동영상 혹은 정지영상 등의 영상 부호화에 관련된 표준안으로 MPEG-1, MPEG-2, MPEG-4 및 H.261, H.263, H.26L 등이 제안되었거나 제안(채택)되고 있다.

이와같은 영상 부호화에 있어서는 블럭 기반으로 영상을 부호화하고 있는데, 예를 들어 영상입력(INPUT)에 대하여 시/공간적 변환(예를 들어 DCT 변환 등)을 수행하고, 이 변환계수들을 양자화(Quantization)하며, 양자화된 변환계수들을 단일스캔 혹은 이중 스캔 등의 적절한 기법으로 스캐닝하여 가변장 부호화(VLC)를 수행함으로써 압축 부호화된 영상신호를 출력(OUTPUT)하고 있다.

즉, 동영상 부호화기(부호화 방법)는 영상의 전처리, 움직임 추정과 보상, 변환(Transform), 양자화, 가변장 부호화(VLC), 부호화 모드의 결정, 전송율 제어 등의 과정으로 이루어지며, 현재 표준화 되었거나 혹은 표준화 되고 있는 거의 모든 블럭기반 동영상 부호화에 있어서는, 정수 화소 단위의 움직임을 추정한 후에, 각각의 매크로 블럭(Macro Blcok)에 대하여 인트라 모드로 부호화할 것인지, 혹은 인터모드로 부호화할 것인지를 결정하게 된다.

인트라 모드에서, 매크로 블럭은 일반적으로 변환과 양자화 및 가변장 부호화 과정을 거쳐 부호화되며, 이 경우에 움직임 추정 및 보상은 필요없다.

반면에, 인터모드는 현재 블럭에 대하여 움직임 추정이 이루어지며, 현재 블럭에 대한 예측된 블럭과의 변위로서 움직임 벡터를 구한다.

이 움직임 벡터(MV)로부터 움직임 보상 후, 현재 블럭으로부터 예측된 블럭의 화소값을 빼줌으로써 차블럭(즉,Residual Block)을 만든 다음, 차블럭에 대하여 인트라 매크로 블럭과 같은 방법으로 부호화가 이루어지게 되며, 움직임 벡터(MV) 및 차블럭의 텍스쳐(Texture) 정보가 복호기에 전송되게 된다.

이러한 정보를 가지고 복호기는 움직임 벡터에 의한 예측 블럭에 양자화된 차블럭을 더함으로써 현재 블럭에 대한 재구성 영상을 얻을 수 있게 된다.

국제 표준화 기구인 ITU-T는 공중망(PSTN)을 통한 영상전화 시스템용 저전송율 영상압축 표준으로서 H.261, H.263, H.263+, H.263++ 규격을 제정해 왔으며, 또한 보다 더 다양한 기능을 제공하면서 높은 압축 성능을 갖는 차세대 압축표준으로서 H.26L을 고려하고 있다.

이 표준안에서는 Telenor의 제안을 H.26L제정의 기본골격(Basic Framework)으로 결정하고 TML-1(Test Model for H.26L version1)을 기반으로 성능 향상을 도모하는 과정에 있다.

앞에서 설명한 다양한 동영상 압축표준안 들에 의하면 동영상 부호화는 크게 나누어 I프레임 부호화 및 P프레임 부호화로 나뉘어 지며, 기본적으로 첫번째 프레임은 영상 자체의 공간적인 상관성을 이용해서 I프레임을 부호화하고, 잇따르는 프레임들(P프레임)의 부호화는 인접 프레임(I프레임)과의 시간적인 상관성을 이용해서 움직임 추정 및 보상을 한 후 부호화 한다.

따라서, I프레임의 부호화 결과는 후속되는 프레임들의 부호화 효율을 크게 좌우하게 되며, 더욱이 영상의 배경 부분인 경우 I프레임 부호화 이후에 장면(scene)의 전환이 일어나기 전까지는 잇따르는 P프레임에서 배경부분의 부호화가 거의 이루어지지 않기 때문에 I프레임의 부호화 결과가 계속해서 객관적 및 주관적 화질에 영향을 미치게 된다.

이러한 점을 고려하여, TML-1 에서도 I프레임 부호화 방법을 따로 정해놓고 있는데, 그 부호화의 방법은 16×16 매크로 블럭을 4×4 서브블럭(sub-block)으로 나눈 후에, 현재 부호화할 블럭을 기준으로 왼쪽, 윗쪽, 대각선 방향으로 인접한 4개의 화소들(pixels)을 이용해서 예측치를 구하고, 그 예측치와의 차(error)값을 압축하는 부호화 방법을 쓰고 있다.

그런데, 효율적인 인트라 예측 방법은 원영상과의 차이(residual error)의 양을 줄이게 되며, 따라서 인트라 부호화 효율을 크게 좌우하게 된다.

TML-1의 인트라 부호화 기법은 모드0 에서 모드4 까지의 5가지 방법이 있는데, 모드0은 현재 부호화할 화소의 왼쪽 및 오른쪽 각 4개의 화소의 평균을 예측치로 이용하며, 모드1은 현재 부호화할 화소의 윗쪽 4개 화소의 복사값(reptition)으로, 모드2는 현재 부호화할 화소의 왼쪽 4개 화소의 복사값으로, 모드3은 현재 부호화할 화소로부터 135도 방향의 엣지 예측치로, 모드4는 현재 부호화할 화소에 대하여 45도 방향의 엣지 예측을 위해서 사용된다.

도1은 종래의 TML-1의 모드4에서 이루어지는 45도 방향의 엣지 예측기법의 한가지 예를 나타낸 도면이다.

도1에서 영문 소문자(a∼p)는 현재 부호화할 4×4 블럭의 화소들이고, 영문 대문자(A∼I)는 이미 부호화된 블럭에 속하는 화소들이다.

현재 부호화할 화소(블럭)에 대하여 윗쪽과 왼쪽 블럭에 속하는 1줄의 화소를 이용해서 45도 방향의 추정을 행한다.

즉, 화소 a의 경우에는 45도 대각선 방향으로 인접한 화소 B,F 를 고려하여 a=(B+F)/2, 화소 b,e의 경우에는 45도 대각선 방향으로 인접한 화소 C,G를 고려하여 b,e=(C+G)/2, 나머지 화소들(c,f,i,d,g,j,m,h,k,n,l,o,p)의 경우에는 45도 재각선 방향으로 인접한 화소 D,H를 고려하여 (D+H)/2 로 예측하고 있다.

이 방법은 현재 블럭을 포함한 주변 블럭의 영상의 수평축에 대하여 45도 방향의 엣지 성분을 가진다는 것을 가정하고 현재 블럭을 예측하는 기법이다.

그러나, 화소 a,b,e를 제외한 나머지 13개의 화소들은 오직 D와 H만을 이용한 동일한 예측치를 가지게 되고, 이 것은 영상의 현재 부호화할 블럭이 45도 방향의 엣지를 가진다는 가정에 위배되어, 예측치의 신뢰성이 떨어지고, 예측 효율 또한 저하된다.

즉, 도1에서 살펴보면 실제로 화소 p의 경우 인접블럭의 D와 H는 45도 방향이 아니라 수직과 수평방향에 놓이게 되므로 이 값을 45도 엣지 예측치로 사용한다는 것은 그 신뢰성을 보장하기 어렵게 되고, 또한 a,b,e를 제외한 나머지 13개의 화소들이 무조건 모두 동일한 예측치를 가지게 된다는 것도 그 신뢰성을 보장하기 어렵게 된다.

도2에 나타낸 종래의 엣지 예측기법은 이 점을 고려하여, 이미 부호화가 이루어진 윗쪽 우측의 1개 블럭을 더 고려하는 경우이다.

즉, a∼p(4×4 서브블럭)에 대하여 왼쪽으로 인접한 블럭에 속하는 이미 부호화된 화소(E,F,G,H)와, 윗쪽으로 인접한 블럭에 속하는 이미 부호화된 화소(A,B,C,D)에 더하여, 윗쪽 우측으로 인접한 블럭에 속하는 이미 부호화딘 화소(J,K,L,M)를 더 고려하였다.

도2에 의한 엣지 예측방법은 a,b,e 는 도1과 같고, c,f,i의 경우에는 45도 방향의 D,H를 고려하여 c,f,i=(D+H)/2, d,g,j,m의 경우에는 J,H를 고려하여 d,g,j,m=(J+H)/2, h,k,n의 경우에는 K,H를 고려하여 h,k,n=(K+H)/2, l,o의 경우에는 L,H를 고려하여 l,o=(L+H)/2, p의 경우에는 M,H를 고려하여 p=(M+H)/2 로 엣지를 예측하고 있다.

그러나, 이 방법 또한 영상이 45도의 엣지를 포함하고 있다는 가정하에서 이루어지는 추정기법이므로, 만일 영상이 수평축을 기준으로 할 때, 45도가 아닌 0도 에서 90도 사이의 엣지를 가지는 경우 그 예측효율이 떨어지게 되는 점을 극복할 수 없다.

실제로, 영상은 45도 방향의 엣지만을 가진다고 가정할 수 없으며, 보다 동적이고 다양하게 변화되는 영상일 경우에 위와같은 45도 엣지 예측 기법은 그 효율이나 신뢰성이 더욱 떨어질 수 밖에 없었다.

본 발명은 현재 부호화할 화소블럭을 포함한 주변 블럭들 중에서, 대각선 방향으로 위치하는 이미 부호화된 블럭들을 고려하여 엣지 예측을 수행할 때, 45도 방향에 위치하는 블럭에 대해서는 가중치를 부여하고, 45도 방향에 위치하는 참조블럭에 인접하는 블럭들을 상기 가중치를 부여한 45도 방향의 블럭과 함께 고려하여 현재 부호화할 블럭에 대한 0도 내지 90도 사이의 엣지를 반영하는 예측을 수행함으로써, 0도 내지 90도 사이의 엣지를 가진 영상에 대해서 보다 효율적인 엣지 예측이 가능하도록 한다.

도1은 종래의 엣지 예측 방법1을 설명하기 위한 도면

도2는 종래의 엣지 예측 방법2를 설명하기 위한 도면

도3은 본 발명의 제1실시예로서 엣지 예측 방법을 설명하기 위한 도면

도4는 본 발명의 제2실시예로서 엣지 예측 방법을 설명하기 위한 도면

본 발명의 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법은;

(a). 블럭기반의 영상 압축 부호화를 수행할 때, 현재 부호화할 화소에 인접한 이미 부호화된 화소를 고려하여, (b). 현재 부호화할 화소에 대하여 45도 방향에 위치한 이미 부호화된 화소에 대하여 가중치를 부여하고, (c). 상기 45도 방향에 위치한 이미 부호화된 화소와 인접한 화소를 함께 고려하여, (d). 상기 가중치를 부여한 화소와, 그에 인접한 화소로부터 현재 부호화할 화소의 예측치를 구하는 것을 특징으로 한다.

또한 본 발명에서, 상기 현재 부호화할 화소에 대하여 45도 방향에 위치한 이미 부호화되고 가중치를 부여할 화소는 현재 부호화할 화소에 대하여 상우측 방향으로의 대각선상에 위치하는 화소만을 고려하거나, 하좌측 방향으로의 대각선상에 위치하는 화소만을 고려하는 것을 특징으로 한다.

또한 본 발명에서, 상기 현재 부호화할 화소에 대하여 45도 방향에 위치한 이미 부호화되고 가중치를 부여할 화소는, 현재 부호화할 화소의 블럭내의 위치에 따라 상우측 방향으로의 대각선상에 위치하는 화소와 하좌측 방향으로의 대각선상에 위치하는 화소를 각각 고려하는 것을 특징으로 한다.

또한 본 발명에서, 상기 현재 부호화할 화소가 4×4 서브블럭의 구획에 속하고, 이 블럭에 대하여 좌측으로 인접한 이미 부호화된 4개의 화소를 고려하고, 이 블럭에 대하여 상측 및 상우측으로 인접한 8개의 화소를 고려하는 것을 특징으로 한다.

또한 본 발명에서, 상기 가중치는 45도 대각선상에 위치하는 화소(P_ref)에 대하여 2배수로 가중처리하고, 이 화소에 대하여 인접한 화소(P_ref-1,P_ref+1) 또는 인접한 화소중에서 결여되는 화소가 있는 경우에는 자기 자신의 화소를 포함하여 P_predict= (P_ref-1+ 2P_ref+ P_ref+1)//4 (//는 반올림 연산자)로서 예측되는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 상기한 바와같이 이루어지는 본 발명의 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법을 설명한다.

도3은 본 발명의 제1실시예로서, 현재 부호화할 4×4 서브블럭에 속하는 화소(P_predictive= a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p)에 대하여, 이미 부호화된 블럭에 속하는 좌측으로 인접한 화소(E,F,G,H)와 상측 및 상우측으로 인접한 화소(A,B,C, D,J,K,L,M) 중에서 45도 대각선상에서 상우측으로 위치하는 화소(A,B,C,D,J,K,L,M) 만을 고려하는 경우에 대한 실시예 이다.

즉, 현재 부호화할 화소 a에 대해서는 45도 대각선상에서 상우측으로 위치하는 화소 B를 가중 고려하고(2B), 이 화소 B와 전후로 인접한 화소 A,C를 함께 고려하여, a=(A+2B+C)//4 로 엣지 예측치를 구한다.

즉, 화소 a의 예측시에 45도 엣지인 경우에는 보다 더 많은 가중치(2B)를 두었고, 화소A와 화소C의 경우는 엣지가 기울어져 있는 경우를 보완하는 인자로 사용한 것이다.

같은 방법에 따라,

b,e=(B+2C+D)//4, c,f,i=(C+2D+J)//4, d,g,j,m=(D+2J+K)//4,

h,k,n=(J+2K+L)//4, l,o=(K+2L+M)//4, p=(L+2M+M)//4 (이 경우는 자기 자신M을 한번 더 고려하였다).

으로 예측하였다.

일반적으로, 영상에서 엣지는 한 블럭에만 있는 것이 아니라 대부분 여러 블럭에 걸쳐 존재하는데, 특히 영상의 수평 방향을 기준으로 0도 내지 90도의 각을 가지는 엣지의 경우는 윗쪽과 오른쪽의 윗 블럭에 걸쳐 있으며, 앞에서 설명한 TML-1의 모드4의 방법과는 달리, 각도에 따라서는 45도를 기준으로 그 양쪽 화소의 값을 이용하므로 엣지의 예측 효율을 높일 수 있게 되는 것이다.

도4는 본 발명의 제2실시예로서, 현재 부호화할 4×4 서브블럭에 속하는 화소(P_predictive= a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p)에 대하여, 이미 부호화된 블럭에 속하는 좌측으로 인접한 화소(E,F,G,H)와 상측 및 상우측으로 인접한 화소(A,B,C, D,J,K,L,M) 중에서 45도 대각선상에서 좌측으로 인접한 화소(E,F,G,H)와 상우측으로 위치하는 일부 화소(D,J,K,L,M) 만을 현재 부호화할 화소의 위치에 따라 각각 다르게 고려하는 경우에 대한 실시예 이다.

즉, 현재 부호화할 화소 a에 대해서는 45도 대각선상에서 좌측 아래로 위치하는 화소 F를 가중 고려하고(2F), 이 화소 F와 전후로 인접한 화소 E,G를 함께 고려하여, a=(E+2F+G)//4 로 엣지 예측치를 구한다.

즉, 화소 a의 예측시에 45도 엣지인 경우에는 보다 더 많은 가중치(2F)를 화소 F에 두었고, 화소E와 화소G의 경우는 엣지가 기울어져 있는 경우를 보완하는 인자로 사용한 것이다.

같은 방법에 따라,

b,e=(F+2G+H)//4, c,f,i=(G+2H+H)//4 (이 경우는 자기 자신H를 한번 더 고려하였다) 을 예측하였다.

그리고, 화소 d,g,j,m,h,k,n,l,o,p 에 대해서는 도3과 같은 방법을 적용하여 d,g,j,m=(D+2J+K)//4, h,k,n=(J+2K+L)//4, l,o=(K+2L+M)//4, p=(L+2M+M)//4 (이 경우는 자기 자신M을 한번 더 고려하였다).

으로 예측하였다.

이 방법은 엣지가 현재 블럭까지만 걸쳐있는 경우에 특히 효율이 높아질 수 있다.

한편, 본 발명의 변형 가능한 또다른 실시예로서, 도2와 같이 윗쪽 8개 화소를 고려하는 엣지 예측방법을 좌측으로 인접하는 8개 화소를 고려하는 엣지 예측 방법으로 변형하여 실시할 수 있으며, 도3과 같이 현재 부호화할 화소의 위치에 따라 고려되는 인접 화소의 선택이나 조합의 변형도 가능할 것이다.

또한, 가중치를 부여하는 기법에 따라 보다 더 효율적이고 높은 신뢰성의 엣지 예측 결과를 가져올 수도 있을 것이다.

본 발명은 동영상 압축 부호화에 있어, I프레임 및 P프레임의 효율적인 부호화를 위하여 공간 도메인 상에서 대각 성분에 대한 효율적인 예측 방법을 제공하므로, 인트라 부호화의 효율을 높일 수 있고, 수평을 기준으로 할 때 45도 방향 뿐만 아니라 0도 내지 90도에 걸치는 엣지 성분을 효과적으로 반영하는 예측이 가능하게 되어, 예측치에 대한 신뢰도의 향상은 물론, 영상의 주관적 및 객관적 화질 향상에도 기여할 수 있다.

Claims

N*N(N은 자연수) 픽셀로 구성된 매크로 블록을 n*n(n2) 픽셀로 구성된 블록 단위로 나눈 후 이미 부호화된 인접 블록의 화소를 참조하여 부호화를 수행하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법에 있어서,

현재 부호화할 블록의 화소에 대하여 45도 방향에 위치한 이미 부호화된 블록의 화소에 대하여 가중치를 부여하는 단계;

상기 가중치가 부여된 화소와, 상기 가중치가 부여된 화소에 인접하는 이미 부호화된 화소들을 이용하여 현재 부호화할 블록의 화소의 예측치를 구하는 단계를 포함하여 이루어지는 것을 특징으로 하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법.
제 1 항에 있어서, 상기 가중치 부여 단계는

현재 부호화할 화소에 대하여 상우측 방향으로의 대각선상에 위치하는 이미 부호화된 블록의 화소에만 가중치를 부여하거나, 또는 하좌측 방향으로의 대각선상에 위치하는 이미 부호화된 블록의 화소에만 가중치를 부여하는 것을 특징으로 하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법.
제 1 항에 있어서, 상기 가중치 부여 단계는

현재 부호화할 화소의 블록내의 위치에 따라, 현재 부호화할 화소에 대하여 상우측 방향으로의 대각선상에 위치하는 화소와 하좌측 방향으로의 대각선상에 위치하는 화소의 가중치를 각각 다르게 적용하는 것을 특징으로 하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법.
제 1 항에 있어서,

상기 가중치가 부여된 화소가 현재 부호화할 화소에 대해 상우측에 위치하는 경우에는 상기 가중치가 부여된 화소와 수평 방향으로 인접한 이미 부호화된 화소들을 이용하여 현재 부호화할 화소의 예측을 수행하고,

상기 가중치가 부여된 화소가 현재 부호화할 화소에 대해 좌하측에 위치하는 경우에는 상기 가중치가 부여된 화소와 수직 방향으로 인접한 이미 부호화된 화소들을 이용하여 현재 부호화할 화소의 예측을 수행하는 것을 특징으로 하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법.
제 1 항에 있어서,

현재 부호화할 화소에 대하여 45도 대각선상에 위치하는 이미 부호화된 화소(Pref)에 대하여 2배수로 가중 처리하고, 이 가중 처리된 화소에 대하여 인접한 이미 부호화된 화소(Pref-1,Pref+1) 또는, 인접한 이미 부호화된 화소 중에서 결여되는 화소가 있는 경우에는 45도 대각선상에 위치하는 자기 자신의 화소를 포함하여 Ppredict = (Pref-1+2Pref +Pref+1)//4(//는 반올림 연산자)로서 현재 부호화할 화소의 예측을 수행하는 것을 특징으로 하는 압축 영상의 공간 도메인에서의 효율적인 엣지 예측 방법.