KR20140129424A - 인트라 예측 방법 및 장치 - Google Patents

Abstract

본 발명의 인트라 예측을 수행하는 방법 및 장치에 관한 것으로, 그 방법은 영상의 에지 정보를 확인하는 단계; 에지 정보에 기초하여 필터링 탭 수(N)를 결정하는 단계; 인트라 예측 방향에 따라 인접한 두 참소 화소들을 포함하는 N개의 참조 화소들을 이용해 보간을 수행하여 예측 화소를 생성하는 단계; 및 생성된 예측 화소를 이용하여 잔차 신호를 생성하는 단계를 포함한다.

Description

인트라 예측 방법 및 장치{Method for intra-prediction, and apparatus thereof}

본 발명은 영상 부호화/복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 부호화 및 복호화 시 보간 필터링을 이용하여 인트라 예측을 수행하는 방법에 관한 것이다.

일반적으로 비디오 코딩 시, 인트라 예측과 인터 예측을 이용하여 잔차 신호(residual signal)를 만든다. 잔차 신호를 구하는 이유는 잔차 신호를 가지고 코딩을 했을 때 데이터의 양이 작아서 데이터 압축률이 높아지고, 예측이 좋을수록 잔차 신호의 값이 작게 된다.

인트라 예측 방법은 현재 블록의 주변의 픽셀을 이용하여 현재 블록의 데이터를 예측한다. 실제 값과 예측 값의 차이를 잔차 신호 블록이라고 한다. HEVC의 경우는 인트라 예측 방법이 기존 H.264/AVC에서 사용되던 9개의 예측모드에서 도 1과 같이 35개의 예측모드로 증가하여 더욱 세분화하여 예측을 한다(단 Planar 예측모드 및 DC예측모드는 도 1에서 안보임).

인터 예측 방법의 경우는 현재 블록을 주변의 픽쳐들 내의 블록들과 비교하여 가장 비슷한 블록을 찾는다. 이때 찾은 블록에 대한 위치정보(Vx, Vy)를 모션 벡터라고 한다. 현재블록과 모션 벡터에 의하여 예측된 예측블록간의 블록내 화소 값들의 차이를 잔차 신호(residual signal) 블록이라고 한다 (motion-compensated residual block).

이와 같이 인트라 예측과 인터 예측이 더 세분화 되어 잔차 신호의 데이터 양이 줄어들고 있으며, 효율적인 트랜스폼(transform)을 사용하여 코덱 성능이 떨어지지 않으면서 연산량이 적은 비디오 부호화 및 복호화 방법이 필요하다.

본 발명의 실시 예는 비디오 코덱의 트랜스폼 코딩과정에서 적은 연산량으로 좋은 성능을 가지는 비디오 부호화 및 복호화 방법과, 이를 위한 장치를 제공한다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 인트라 예측 방법은 영상의 에지 정보를 확인하는 단계; 상기 확인된 에지 정보에 기초하여 필터링 탭 수(N)를 결정하는 단계; 인트라 예측 방향에 따라 인접한 두 참소 화소들을 포함하는 N개의 참조 화소들을 이용해 보간을 수행하여 예측 화소를 생성하는 단계; 및 상기 생성된 예측 화소를 이용하여 잔차 신호를 생성하는 단계를 포함한다.

또한, 본 발명의 실시예에 따른 인트라 예측 장치는, 영상의 에지 정보를 확인하는 에지 확인부; 상기 확인된 에지 정보에 기초하여 필터링 탭 수(N)를 결정하는 탭 수 결정부; 인트라 예측 방향에 따라 인접한 두 참소 화소들을 포함하는 N개의 참조 화소들을 이용해 보간을 수행하여 예측 화소를 생성하는 예측 화소 생성부; 및 상기 생성된 예측 화소를 이용하여 잔차 신호를 생성하는 잔차 신호 생성부를 포함한다.

한편, 상기 인트라 예측 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

본 발명에 따르면, 각 예측 방향(모드)에 따라 잔차(residual) 신호를 생성을 위한 예측을 수행할 때, 최적의 필터링 방법을 결정하여 예측 값을 얻음으로써 잔차 신호의 크기를 최소화하여 압축 성능을 향상시킬 수 있다.

또한, 인트라 예측 방법에서 적용되는 다양한 방향에 따른 예측에서, 각 예측 방향(Prediction mode)에 따라 잔차(residual) 신호를 생성을 위한 예측을 할 때, 정확한 예측 값을 얻기 위해, Sync 필터링을 적용하여 정확한 예측 값을 얻음으로써 압축 성능을 향상시킬 수 있다.

도 1은 인트라 예측 모드들에 대한 예들을 나타내는 도면이다.
도 2는 영상 부호화 단위들에 대한 일예를 설명하기 위한 도면이다.
도 3은 인트라 예측을 위해 수행되는 보간 방법에 대한 일예를 나타내는 도면이다.
도 4는 본 발명에 따른 인트라 예측 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 인트라 예측 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 인트라 예측 방법에 대한 제2 실시예를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 인트라 예측 방법에 대한 제3 실시예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 인트라 예측 방법에 대한 제4 실시예를 설명하기 위한 도면이다.
도 8 및 도 9는 싱크(Sync) 필터링에 대한 일에를 설명하기 위한 도면이다.
도 10 내지 도 12는 필터링 탭(tab) 수를 조정하여 인트라 예측을 수행하는 구성에 대한 실시예들을 나타내는 블록도이다.
도 13은 본 발명의 일실시예에 따른 부호화 장치의 구성을 나타내는 블록도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 “이들의 조합”의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다.

본 발명은 영상 부호화/복호화 방법 및 장치의 인트라 예측 방법에 관한 것으로, 동영상 부호화/복호화에서 수행하는 각 방향에 따른 인트라 예측(Intra Prediction)시, 각 예측 방향(모드)에 따라 잔차(residual) 신호를 생성을 위한 예측을 수행할 때, 정확한 예측 값을 얻기 위해, 최적의 필터링 방법을 결정하여 예측 값을 얻음으로써 잔차 신호의 크기를 최소화하여 압축 성능을 향상시킨다.

구체적으로, 인트라 예측 방법에서 적용되는 다양한 방향에 따른 예측에서, 각 예측 방향(Prediction mode)에 따라 잔차(residual) 신호를 생성을 위한 예측을 할 때, 정확한 예측 값을 얻기 위해, DCT 기반 또는 싱크(Sync) 함수 기반 필터링을 적용하여 정확한 예측 값을 얻음으로써 압축 성능을 향상시키는 방법이다.

도 2는 영상 부호화 단위들에 대한 일예를 설명하기 위한 도시한 것이다.

HEVC에서는 동영상 부호화 단위로 CTB (Coding Tree Block)을 사용하며, 이 때 CTB는 다양한 정사각형 모양으로 정의된다. CTB는 코딩단위 CU(Coding Unit)라고 부른다.

도 2를 참조하면, 코딩단위(CU)는 쿼드트리(Quad Tree)의 모습을 하고 있으며, 크기가 64×64인 최대 코딩단위 LCU(Largest Coding Unit)일 때 깊이(Depth)를 0으로 하여 깊이가 3이 될 때까지, 즉 8×8크기의 코딩단위(CU)까지 재귀적(Recursive)으로 최적의 예측단위를 찾아 부호화를 수행한다.

예측을 수행하는 예측단위는 PU(Prediction Unit)로 정의되며, 각 코딩단위(CU)는 다수개의 블록으로 분할된 단위의 예측이 수행되며, 정사각형과 직사각형의 형태로 나뉘어 예측을 수행한다.

동영상 데이터를 부호화/복호화 하기 위해 마련된 HEVC 표준에 따르면, 인터/인트라 예측(Inter/Intra Prediction)을 수행한 후 블록 내 잔차 신호의 공간적 상관성을 줄이고 에너지의 압축률을 높이기 위한 방법으로 다양한 크기의 변환단위(Transform Unit)에 대한 변환 방법이 사용된다. 변환단위에 따라 변환된 신호는 엔트로피코딩(Entropy Coding)을 통해 최종적으로 비트스트림으로 생성된다.

한편, 인트라 예측은 총 34가지의 방향성을 고려하며 최소 예측단위인 4x4부터 최대 예측 단위인 64x64의 정사각형 PU에 모두 적용된다. 각 예측에 사용되는 블록 경계의 예측 값은 각 방향에 따라 예측을 위한 두 화소의 거리에 대비해 1/32 선형 interpolation (보간) 예측 화소를 생성하며, 이는 두 화소의 값만 고려하므로 예측 샘플이 boundary블록의 edge 인 여러 화소의 변화는 전혀 고려되지 않는 문제점을 가진다.

특히, 영상의 변화가 심한 경우나 객체의 경계에 위치하는 화소일 경우 이러한 두개의 화소를 이용한 예측 방법은 기존의 방법은 효율이 더욱 떨어지는 문제점을 가진다.

도 3은 인트라 예측을 위해 수행되는 보간 방법에 대한 일예를 도시한 것으로, 34가지 예측 방법 중 방향성을 가지는 2~34번까지의 예측 모드에 대해서 a 화소를 예측하는 방법을 나타낸다.

도 3을 참조하면, 각각의 방향에 따라 왼쪽의 복원 픽셀과 상단의 복원 픽셀의 사이에 방향이 위치하게 되며, 이 방향에 적용되는 위치의 값을 두 픽셀의 값을 이용해서 예측 화소를 생성한다.

예를 들어, 32번 모드는 A와 B의 화소를 거리에 따른 가중치 계산을 통해서 a 화소에 대한 예측을 수행할 수 있다. 이 경우, 2개의 화소를 통해서 예측을 수행하기 때문에 영상의 값이 급격이 변화는 경계에서는 효율적이지 않다.

본 발명의 실시예에 따르면, 인트라 예측 방법에서 적용되는 다양한 방향에 따른 예측에서, 각 예측 방향(Prediction mode)에 따라 잔차(residual) 신호를 생성을 위한 예측을 할 때, 정확한 예측 값을 얻기 위해, DCT-IF 필터링을 적용하여 정확한 예측 값을 얻음으로써 압축성능을 향상시킬 수 있다.

이러한 문제점을 해결하기 위해서 도 4와 같이 주변의 4개 화소, 예를 들어 Q, A, B, C 화소들을 이용하여 DCT 기반 (DCT-based) 필터링을 통해 예측 화소를 생성할 수 있다.

예를 들어, DCT-based 필터링 계수는 다음의 수학식 1과 같은 type-2 DCT를 이용하여 나타낼 수 있다.

이 경우, 먼저 DCT를 수행하고 DCT의 역변환을 통해서 각각의 위치에 따른 계수 f(x)를 생성한다. 도 4에 도시된 경우를 참조하면, f(0)=Q, f(1)=A, f(2)=B, f(3)=C, N=4 이다.

N: sample(샘플)의 수 (만약 N=4 인 경우 4-point Inverse DCT f(x)가 됨)

N=4이면 (즉, 4-point DCT, IDCT를 사용하면), 도 4에서 30번 예측모드의 경우, x = 1+1/2 (= N/2 + 1/2) 이고, 그에 따라 위 수학식 1의 (2)번 식을 이용하여 1+1/2 sample position의 interpolation(보간) 값을 생성할 수 있다.

한편, 도 4에서 29번 예측모드의 경우, x = 1+13/32 (= N/2 + 13/32)이고, 그에 따라 위 수학식 1의 (2)번 식을 이용하여 1+13/32 sample position의 interpolation(보간) 값을 생성할 수 있다.

그리고, 도 4에서 32번 예측모드의 경우, x = 1+26/32(= N/2 + 26/32)이고, 그에 따라 수학식 1의 (2)번 식을 이용하여 1+26/32 sample position의 interpolation(보간) 값을 생성할 수 있다.

한편, 상기 DTC 기반 interpolation시 사용되는 필터 Tap의 수는 4개 뿐 아니라 다양한 개수로 설정될 수도 있으며, 상기 Tap의 수는 복호화기로 Signaling 되거나, 혹은 주변의 정보(예를 들어, 에지정보 또는 모드정보 등)을 통해서 결정 될 수 있다.

본 발명의 예는 type-2 DCT, Inverse DCT (IDCT)를 이용하였지만, 다른 type의 DCT, IDCT도 이용이 가능하고, 각종 다른 type의 DST (Discrete Sine Transform), IDST 쌍을 (pairs) 이용 가능한 방법을 모두 포함한다.

도 5는 34가지 예측 방향에 관한 예측 모드에 대해서 k를 예측하는 3가지 방향 모드의 예측 화소 생성의 예를 나타낸다.

도 5를 참조하면, 특정 인트라 예측 모드에 대응되는 방향에 적용되는 값이 정확한 방향에 값이 존재하지 않는 경우는 양 옆의 두 픽셀의 값을 이용해 선형 필터링 방법을 통해 예측 화소를 생성할 수 있다.

예를 들어, k의 28번 모드는 C와 D의 화소를 거리에 따른 가중치 계산을 통해서 28번 모드에 대한 예측을 수행한다. 19번 모드인 경우는 Q와 A, 8번 모드인 경우는 M과 N을 동일하게 적용 되어 k 의 예측 화소를 결정한다.

이와 같은 양 옆의 2개만의 화소를 통해서 예측을 수행하기 때문에 영상의 값이 급격이 변화는 경계에서는 효율적이지 않다. 이러한 문제점을 해결하기 위해서 (B,C,D,E), (L,M,N,O)와 같이 주변의 4개 화소를 이용해 각각의 예측 화소를 DCT 기반 (DCT-based) 필터링을 통한 예측화소를 생성할 수 있다.

도 6은 4-Tap DCT-IF 필터링을 이용하여 예측 화소를 생성하는 방법에 대한 일예를 도시한 것이다.

도 6을 참조하면, 4-Tap DCT-IF 필터를 이용해 i의 4번 방향의 모드 예측인 경우와 32번 방향 모드 예측인 경우를 Q,A,B,C 4개 화소를 이용해 A와 B 사이의 4번 모드 예측 화소를 생성, L,M,N,O 4개 화소를 이용해 C와 D 사이의 32번 모드 예측 화소를 생성하는 2가지 화소 예측의 예를 나타내며, 여기서 필터링 방법을 4-Tap DCT-IF필터를 사용하는 방법을 말한다.

여기서 Tap의 수는 4개 뿐만 아니라 N-Tap의 크기로 변환이 가능하며 이는 복호화기로 Signaling을 하거나, 혹은 주변의 정보를(에지정보, 모드정보 등)을 통해서 Tap의 크기가 결정 될 수 있다.

도 7은 가로 방향과 세로 방향에 대하여 Tap수가 다른 필터를 이용하여 인트라 예측을 수행하는 방법에 대한 일예를 설명하기 위한 도면으로서, 가로 방향은 8-Tap, 세로 방향은 4-Tap DCT-IF 필터링을 이용하여 예측 화소를 생성하는 방법을 나타낸 것이다.

도 7의 경우는 도 6과 달리, 영상의 특징에 맞추어 상단에는 8-Tap, 좌측은 4-Tap의 필터링을 사용하는 것과 같이 Tap의 수를 다르게 결정 할 수 있으며, 이는 N-Tap으로 다양한 Tap이 모두 가능할 수 있다.

도 7에 도시된 바와 같이, 화소의 예측을 수행할 경우 좌측 4번 모드를 수행할 경우 예측 화소는 M과 N사이에 위치하며 이는 4-Tap DCT-IF 필터링을 통해 4번 모드의 예측 화소에 해당하는 예측 화소를 예측 할 수 있으며, i 위치에 화소에 예측모드가 32번 방향의 모드인 경우는 상단의 8-Tap DCT-IF 필터링을 통한 예측 화소의 값을 통해 예측할 수 있는 예를 나타낸다.

또한, 상기한 바와 같은 필터 관련 정보는 주변의 정보를 통해 Signaling 없이 가능한 방법 혹은 Signaling을 통해서 Tap의 수를 다르게 필터링 화소를 복호화 할 수 있는 방법을 모두 포함한다.

이렇게 생성된 interpolation 계수 값은 소수점으로 구성되기 때문에, 다음과 같이 정수형 값으로 정규화 시킨 좌우 대칭인 interpolation 필터링 계수 값을 얻을 수 있다.

아래의 표 1은 4-point (4-tap) 필터링의 인트라 예측 방법에 따른 interpolation 계수 값들에 대한 일예를 나타낸다.

예를 들어, 도 4에서 a의 예측 화소를 위해 32번 예측모드가 결정 되었을 때, 그 위치의 값은 위의 테이블의 필터링 계수 값을 적용하여 다음의 수학식 2와 같이 계산될 수 있다.

이와 같이, 각 모드의 위치별로 DCT-기반 interpolation의 계수를 통해서 예측화소를 생성하면, 기존의 주변 두 화소만을 고려하여 각 위치별 예측 화소를 생성하는 것보다 더욱 정확한 예측 화소를 생성할 수 있는 방법이다.

여기서, DCT-기반 interpolation필터는 하나의 예를 나타내며 여러 가지 필터링을 선택적으로 적용 가능한 방법을 모두 포함한다.

성능 향상을 가져오는 필터링 방법을 통해 각 예측에 사용되는 신호를 여러 개의 주변의 복원 신호를 이용한 필터링을 통해 주변의 영상의 변화를 고려하는 잔차 신호를 생성함으로써 압축률을 더 높인 동영상 부호화/복호화 방법 및 장치이다.

위의 예에서는 N=4인 경우로부터 interpolation 필터계수를 유도하여 예측샘플로 이용하는 방법을 예로 들었지만 N=2n,n=1,2,3,4,…이 되는 모든 경우에도 interpolation 필터를 유도하여 사용할 수 있다.

또한, 본 예에서는 type-2 DCT, Inverse DCT (IDCT)를 이용하였지만, 다른 type의 DCT, IDCT도 이용이 가능하고, 각종 다른 type의 DST (Discrete Sine Transform), IDST 쌍을 (pairs) 사용해도 성능향상을 가져 올 수 있다.

한편, 상단에서 예측화소를 가져오는 경우 상단에 위치한 두 화소간의 에지가 있는 경우(예를 들어, 값의 변화가 큰 경우)는 적은 필터링 Tap 수를 사용하는 것이 효과적일 수 있다.

반대로, 에지가 없는 경우(예를 들어, 값의 변화가 적은 경우)는 주변의 화소의 영향을 많이 가져 올 수 있도록 많은 필터링 Tap 수를 사용하는 것이 효과적일 수 있으며, 이는 상단과 좌측에 화소 값의 예측에 모두 동일하게 적용될 수 있다.

즉, 주변 화소의 변화(예를 들어, 에지 정보 또는 화소간의 크기)에 따라 Tap의 수를 증가 혹은 감소시키는 방법을 적응적으로 적용시킴으로써 정확한 예측 화소를 생성하여 전체 부호화/복호화 성능을 가져올 수 있다.

본 발명의 또 다른 실시예에 따르면, 인트라 예측 방법에서 적용되는 다양한 방향에 따른 예측에서, 각 예측 방향(Prediction mode)에 따라 잔차(residual) 신호를 생성을 위한 예측을 할 때, 정확한 예측 값을 얻기 위해, Sync 필터링을 적용하여 Interpolation을 통한 정확한 예측 값을 얻음으로써 압축 성능을 향상시킬 수 있다.

예를 들어, 도 4 내지 도 7을 참조하여 설명한 바와 같은 인트라 예측 방법에 있어서, DCT 기반 필터를 대신하여, 또는 DCT 기반 필터에 추가하여 Sync 필터를 이용해 보간을 수행함으로써 예측 화소를 생성할 수 있다.

도 8 및 도 9는 싱크(Sync) 필터링에 대한 일에를 설명하기 위한 도면이다.

도 8은 정규화된 싱크 함수(Sync function)를 나타내며, 도시된 바와 같은 Sync 함수를 통해 각 4-tap의 계수를 구할 수 있다.

이를 통해 interpolation을 수행함에 따라 도 4 내지 도 7을 참조하여 설명한 바와 같은 방법에 따라 각 예측 화소를 구할 수 있다. 또한, 4-tap뿐만 아니라 N-tap으로 적용이 가능한 방법을 모두 포함할 수 있다.

현재 영상기기를 통해 보는 모든 영상은 샘플링-복원 정리를 통해 아날로그신호를 디지털신호로 변환된 값들이다. 그렇기 때문에 디지털신호 x[k]가 무한대로 존재한다면, 다음의 수학식 3을 통해 가장 이상적인 아날로그신호로 복원할 수 있다.

위의 수학식 3에서 t는 시간, Ts는 샘플링 주기, x[kTs]는 디지털신호를 나타낸다. 샘플링 주기(Ts)를 1로 정의하였을 때 그래프는 도 8과 같을 수 있다.

위의 수학식 3에 디지털신호의 값을 대입하면 아날로그신호 x(t)를 복원할 수 있다.

예를 들어, 복원된 아날로그신호 x(t)를 이용하여 정수 화소 사이의 예측 화소를 구할 수 있다. 참조되는 정수 화소의 개수와 예측 화소의 위치에 따라 다음의 수학식 4를 통해 필터 계수를 구할 수 있다.

위의 수학식 4에서 α는 예측 화소 위치, N은 참조되는 정수 화소 개수이다.

예를 들어, 참조되는 정수 화소 개수가 8인 경우(N = 8) 다음 표와 같이 예측 화소 위치에 따라 필터 계수를 구할 수 있다.

위의 필터 계수는 소수점 연산으로 계산복잡도가 높기 때문에 스케일링 하여 다음의 표 3과 같이 정수 필터 계수를 구할 수 있다.

유사한 방법으로 α와 N의 값에 따라 모든 필터 계수를 구할 수 있다.

본 발명의 일실시예에 따르면, Interpolation을 수행할 때 영상의 에지(edge) 정보를 통해 가로와 세로의 Interpolation에 사용하는 필터링 tap수를 달리함으로써 성능 향상을 가져오는 방법으로 tap 수를 선택함에 있어서는 Signaling을 통해 복호화에 전달하거나 혹은 주변 정보를 활용하여 복호화를 함에 있어서 tap 개수를 예측해 낼 수 있다.

상기한 바와 같이, 움직임 벡터(MV)를 찾는 방법에 있어서, Interpolation은 성능에 큰 영향을 줄 수 있다. 특히, 정확한 Interpolation을 통한 예측을 할 경우 이어지는 변환 및 양자화, 스캐닝, 엔트로피 부호화/복호화에 계속되는 성능에 영향을 미치게 된다. 즉, Interpolation을 통해 정확한 보간을 한다면 전체 코덱의 성능 향상에 매우 큰 영향을 가진다.

본 발명의 실시예는 기존의 보간법(Interpolation)보다 효과적인 방법을 위해 영상의 에지 방향에 따른 정보에 따라 필터링 tap의 수를 다르게 함으로써 전체 부호화/복호화에 성능향상을 가져오는 Interpolation 방법이다.

이하, 도 10 내지 도 12를 참조하여 필터링 탭(tab) 수를 조정하여 인트라 예측을 수행하는 구성에 대한 실시예들을 상세히 설명하기로 한다.

도 10은 필터링의 tap 수를 결정하는 방법에 대한 일예를 설명하기 위한 도면으로서, 영상의 에지를 분석하고 Horizontal, Vertical 방향의 tap 수를 결정짓는 방법을 나타낸 것이다.

도 10을 참조하면, 영상의 에지가 분석되어 검출되고, 검출된 에지에 따라 필터의 Tap 크기(Tap의 수)가 결정된 후, 상기 결정된 Tap 수에 따라 수직 방향과 수평 방향에 대해 서로 다른 Tap 수의 필터를 이용하여 보간이 수행될 수 있다.

예를 들어, 도 7에 도시된 바와 같이, 수평 방향에 대해서는 4-tap의 필터를 이용한 보간이 수행되고, 수직 방향에 대해서는 8-tap 필터를 이용한 보간이 수행될 수 있다.

여기서, 필터링 tap의 수는 복호화 하기 위해 부호화기로부터 복호화기로 Signaling하여 보내어 질 수도 있고, 일정한 특성을 이용해 Signaling없이 구분 할 수 있는 방법을 모두 포함할 수도 있다.

도 11은 4-tap 필터와 8-tap 필터을 사용한 2배 확장 Interpolation의 예를 도시한 것으로, Reference로 사용되는 영상을 Frame 혹은 Picture를 1/2 화소 예측을 할 경우의 예를 나타낸 것이다.

도 10을 참조하여 설명한 바와 같은 방법에 의해 결정된 tap의 크기로 Horizontal과 Vertical의 edge에 따른 tap 크기로 Interpolation을 수행한다.

Step 1은 가로 방향의 Interpolation 할 경우는 4-tap 필터링을 통해 예측하고, Step 2는 세로방향의 Interpolation 할 경우는 8-tap을 이용한 화소 예측을 수행할 수 있다.

본 발명의 tap의 크기는 상기한 수에 제한되지 않으며 N-tap으로 구성하는 방법을 모두 포함하며, tap의 계수는 가로와 세로의 크기에 상관없이 적용 가능하다. 이는 영상의 에지(edge) 특성에 따라서 달리 적용된다.

또한, Signaling을 통해서 tap의 크기와 방향에 따른 tap의 크기를 모두 결정 가능하거나 Signaling없이도 에지 방향 및 영상의 변화(MV의 변화, 화소의 변화량 등) 주변정보를 복합적인 결정 방법을 통해서도 tap의 계수를 예측 가능한 방법을 모두 포함한다.

도 12는 다양한 방법의 Interpolation이 적용 가능한 예를 나타낸 것으로, 4배 Interpolation의 적용인 경우 가능한 다양한 Interpolation 방법을 설명하기 위해 도시한 것이다.

도 12를 참조하면. 총 Step 4를 거치면서 4개의 Interpolation방법이 Horizontal, Vertical 방향으로 모두 적용 될 수 있다.

이와 같이, 본 발명은 1개의 Interpolation 기술뿐만 아니라 N개의 Interpolation 방법이 N-Tap의 수로 영상의 특징 및 성능향상에 따라 적응적으로 변화가 가능한 Interpolation 방법을 말하며, 이는 영상의 변화에 따라 Signaling 없이 복호화가 가능한 방법 혹은 경우에 따라 Signaling을 통해서 복호화가 가능한 방법을 모두 포함하는 방법이다.

한편, 에지가 있거나 크게 영상이 변화가 있는 경우는 적은 필터링의 Tap 개수를 사용하는 것이 에지를 살리는 interpolation방법이 되고, 에지가 거의 없이 화소의 변화가 적은 경우는 필터링 Tap 개수를 사용하는 것이 효과적일 수 있다.

예를 들어, 에지가 수평으로 많이 분포한 경우는 Horizontal 필터링의 Tap 개수를 늘리고 Vertical 필터링의 Tap개수를 줄이는 것이 효과적이며, 에지가 수직으로 많이 분포한 경우는 Vertical 필터링의 tap 개수를 늘리고 Horizontal 필터링의 Tap 개수를 줄이는 것이 효과적이다.

혹은, 두 가지 방법을 모두 사용해 보고, Signaling을 통해 성능이 높은 방법을 선택하는 방법을 포함한다.

그리고 Inter 예측에서 MV를 찾아서 예측하는 경우, 2배 interpolation이라 함은 1/2 픽셀 위치에 예측하는 방법과 4배 interpolation이라 함은 1/4 픽셀 위치의 예측하는 방법을 말한다.

도 13은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 블록도로 도시한 것이다.

통상, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일하다. 따라서, 이하에서는 부호화 장치를 위주로 설명하기로 한다.

도 13에서와 같이, 본 발명의 일실시예에 따른 영상 부호화 장치에는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

도 13을 참조하면, 영상 부호화 장치는 부호화 모드 결정부(110), 인트라 예측부(120), 움직임 보상부(130), 움직임 추정부(131), 변환부호화/양자화부(140), 엔트로피 부호화부(150), 역양자화/변환복호화부(160), 디블록킹 필터링부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(200)를 포함한다.

부호화 모드 결정부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 소정 크기의 부호화 블록으로 분할하고, 분할된 소정 크기의 부호화 블록에 대한 부호화 모드를 결정한다. 상기 부호화 모드는 인트라 예측 부호화 및 인터 예측 부호화를 포함한다.

픽쳐는 복수의 슬라이스로 구성되고, 슬라이스는 복수개의 최대 부호화 단위(Largest coding unit: LCU)로 구성된다. 상기 LCU는 복수개의 부호화 단위(CU)로 분할될 수 있고, 부호기는 분할여부를 나타내는 정보(flag)를 비트스트림에 추가할 수 있다. 복호기는 LCU의 위치를 어드레스(LcuAddr)를 이용하여 인식할 수 있다. 분할이 허용되지 않는 경우의 부호화 단위(CU)는 예측 단위(Prediction unit: PU)로 간주되고, 복호기는 PU의 위치를 PU 인덱스를 이용하여 인식할 수 있다.

예측 단위(PU)는 복수개의 파티션으로 나뉠 수 있다. 또한 예측 단위(PU)는 복수개의 변환 단위(Transform unit: TU)로 구성될 수 있다.

부호화 모드 결정부(110)는 결정된 부호화 모드에 따른 소정 크기의 블록 단위(예를 들면, PU 단위 또는 TU 단위)로 영상 데이터를 감산부(190)로 보낸다.

변환부호화/양자화부(140)는 감산부(190)에 의해 산출된 잔차 블록을 공간 영역으로부터 주파수 영역으로 변환 한다. 예를 들면, 잔차 블록에 대해서 2차원의 이산 코사인 변환(DCT) 또는 이산 사인 변환(DST) 기반의 변환을 실행한다.

또한, 변환부호화/양자화부(140)는 변환 계수를 양자화하기 위한 양자화 스텝 사이즈를 결정하고, 결정된 양자화 스텝 사이즈를 이용하여 변환 계수를 양자화한다. 결정된 양자화 스텝 사이즈 및 부호화 모드에 따라 양자화 매트릭스가 결정될 수 있다.

양자화된 2차원의 변환 계수는 미리 정해진 스캐닝 방법 중 하나에 의해 1차원의 양자화 변환 계수로 변환된다. 상기 변환된 1차원의 양자화 변환 계수의 시퀀스는 엔트로피 부호화부(150)로 공급된다.

역양자화/변환복호화부(160)는 변환부호화/양자화부(140)에 의해 양자화된 양자화 계수를 역양자화한다. 또한, 역양자화에 의해 얻어지는 역양자화 계수를 역변환한다. 이에 따라, 주파수 영역으로 변환된 잔차 블록을 공간 영역의 잔차 블록으로 복원할 수 있다.

디블록킹 필터링부(170)는 역양자화/변환부호화부(160)로부터 역양자화 및 역변환된 영상 데이터를 입력 받아 블록킹(blocking) 효과를 제거하기 위한 필터링을 수행한다.

픽쳐 저장부(180)는 필터링된 영상 데이터를 디블록킹 필터링부(170)로부터 입력 받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다. 버퍼에 저장된 다수의 픽쳐는 인트라 예측 및 움직임 추정을 위해 제공된다.

인트라 예측 또는 움직임 추정을 위해 제공되는 상기 픽쳐들은 참조 픽쳐로 불리운다.

움직임 추정부(131)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나의 참조 픽쳐를 제공받아 움직임 추정을 수행하여 움직임 벡터, 참조 픽쳐를 나타내는 인덱스 및 블록 모드를 포함한 모션 데이터(Motion Data)를 출력한다.

예측 정밀도를 최적화하기 위해서, 소수 화소 정밀도, 예를 들면, 1/2 또는 1/4 화소 정밀도로 움직임 벡터를 결정한다. 움직임 벡터가 소수 화소 정밀도를 가질 수 있으므로, 움직임 보상부(130)는 소수 화소 위치의 화소 값을 산출하기 위한 보간 필터를 참조 픽쳐에 적용함으로써, 정수 화소 위치의 화소값으로부터 소수 화소 위치의 화소값을 산출한다.

움직임 보상부(130)는 움직임 추정부(131)로부터 입력된 모션 데이터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 블록에 대응하는 예측 블록을 추출하여 출력한다.

움직임 보상부(130)는 소수 정밀도의 움직임 보상에 필요한 적응적 보간 필터의 필터 특성을 결정한다. 필터 특성은, 예를 들면, 적응적 보간 필터의 필터 타입을 나타내는 정보, 및, 적응적 보간 필터의 사이즈를 나타내는 정보 등이다.

필터의 사이즈는, 예를 들면, 적응적 보간 필터의 필터 계수의 수인 탭 수 등이다.

구체적으로, 움직임 보상부(130)는 적응적 보간 필터로서, 분리형 및 비분리형 적응적 필터 중 어느 하나를 결정할 수 있다. 그리고 나서, 결정된 적응적 보간 필터의 탭 수, 및, 각 필터 계수의 값을 결정한다. 필터 계수의 값은, 정수 화소와의 상대적인 소수 화소의 위치마다 다르게 결정될 수 있다. 또한, 움직임 보상부(130)는, 필터 계수가 고정인 복수개의 비적응적 보간 필터를 이용할 수도 있다.

움직임 보상부(130)는, 보간 필터의 특성을 소정의 처리 단위로 설정할 수 있다. 예를 들면, 소수 화소 단위, 부호화 기본 단위(부호화 유닛), 슬라이스 단위, 픽쳐 단위, 또는, 시퀀스 단위로 설정할 수 있다. 또한, 1개의 영상 데이터에 대해서, 1개의 특성을 설정해도 된다.

따라서, 소정의 처리 단위 내에서는, 동일한 필터 특성을 이용하므로, 움직임 보상부(130)는 필터 특성을 일시적으로 유지하는 메모리를 구비한다. 이 메모리는 필요에 따라, 필터 특성 및 필터 계수 등을 유지한다. 예를 들면, 움직임 보상부(130)는, Ｉ픽쳐마다 필터 특성을 결정하고, 슬라이스 단위로 필터 계수를 결정할 수 있다.

움직임 보상부(130)는, 픽쳐 저장부(180)로부터 참조 픽쳐를 수신하고, 결정된 적응적 보간 필터를 이용하여 필터 처리를 적용함으로써, 소수 정밀도의 예측 참조 화상을 생성한다.

그리고, 생성된 참조 화상과, 움직임 추정부(131)에 의해 결정된 움직임 벡터에 의거하여 소수 화소 정밀도의 움직임 보상을 행함으로써, 예측 블록을 생성한다.

감산부(190)는 부호화하고자 하는 입력 블록을 픽쳐 간 예측 부호화하는 경우, 움직임 보상부(130)로부터 입력 블록에 대응하는 참조 픽쳐 내의 블록을 입력받아 입력 매크로 블록과의 차분 연산을 수행하여 잔차 신호(residue signal)를 출력한다.

인트라 예측부(120)는 예측이 수행되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부는 예측 부호화할 현재 블록을 입력 받아 현재 블록의 크기에 따라 미리 설정된 복수개의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부(120)는 현재 블록에 인접한 이전에 부호화된 화소들을 이용해 현재 블록의 인트라 예측 모드를 결정하고, 상기 결정된 모드에 대응하는 예측 블록을 생성한다.

현재 픽처에 포함된 영역 중에서 이전에 부호화된 영역은 인트라 예측부(120)가 이용할 수 있도록 다시 복호화되어 픽쳐 저장부(180) 에 저장되어 있다. 인트라 예측부(120)는 픽쳐 저장부(180)에 저장되어 있는 현재 픽처의 이전에 부호화된 영역에서 현재 블록에 인접한 화소 또는 인접하지 않지만 적용 가능한 화소들을 이용하여 현재 블록의 예측 블록을 생성한다.

인트라 예측부(120)는 인트라 블록을 예측하기 위하여 인접 화소를 적응적으로 필터링할 수 있다. 복호기에서의 동일한 동작을 위해 부호기에서 필터링 여부를 알려주는 정보를 전송할 수 있다. 또는 현재 블록의 인트라 예측 모드 및 현재 블록의 크기 정보에 기초하여 필터링 여부를 결정할 수 있다.

영상 부호화 장치에 의해 사용되는 예측 타입은 상기 부호화 모드 결정부에 의해 입력 블록이 인트라 모드 또는 인터 모드로 부호화되는지 여부에 의존한다.

인트라 모드와 인터 모드의 전환은, 인트라/인터 전환 스위치에 의해 제어된다.

엔트로피 부호화부(150)는 변환부호화/양자화부(140)에 의해 양자화된 양자화 계수와 움직임 추정부(131)에 의해 생성된 움직임 정보를 엔트로피 부호화한다. 또한, 인트라 예측 모드, 제어 데이터(예를 들면, 양자화 스텝 사이즈 등) 등도 부호화될 수 있다. 또한, 움직임 보상부(130)에 의해 결정된 필터 계수도 부호화되어 비트 스트림으로서 출력한다.

상기한 바와 같이, 본 발명의 일실시예에 따른 영상 복호화 장치의 구성은 도 13에 도시된 영상 부호화 장치의 구성으로부터 도출될 수 있으며, 예를 들어 도 13을 참조하여 설명한 바와 같은 부호화 과정의 역과정을 수행함으로써 영상을 복호화할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (10)

1. 인트라 예측을 수행하는 방법에 있어서,
   영상의 에지 정보를 확인하는 단계;
   상기 확인된 에지 정보에 기초하여 필터링 탭 수(N)를 결정하는 단계;
   인트라 예측 방향에 따라 인접한 두 참소 화소들을 포함하는 N개의 참조 화소들을 이용해 보간을 수행하여 예측 화소를 생성하는 단계; 및
   상기 생성된 예측 화소를 이용하여 잔차 신호를 생성하는 단계를 포함하는 인트라 예측 방법.
2. 제1항에 있어서, 상기 필터링 탭 수(N)는
   상기 참소 화소들이 수직 방향으로 배열된 경우와 수평 방향으로 배열된 경우 각각에 대해 서로 상이하게 결정되는 인트라 예측 방법.
3. 제1항에 있어서,
   상기 필터링의 종류 및 탭 수 중 적어도 하나는 부호화 장치로부터 복호화 장치로 전달되는 인트라 예측 방법.
4. 제1항에 있어서,
   상기 인접한 두 화소들 사이에 에지가 존재하는 경우, 상기 필터링의 탭 수는 상기 인접한 두 화소들 사이에 에지가 존재하는 경우보다 작게 결정되는 인트라 예측 방법.
5. 제1항에 있어서,
   에지가 수직 방향보다 수평 방향으로 더 많이 존재하는 경우, 수평 방향의 필터링 탭 수가 수직 방향의 필터링 탭 수보다 크게 결정되는 인트라 예측 방법.
6. 인트라 예측을 수행하는 장치에 있어서,
   영상의 에지 정보를 확인하는 에지 확인부;
   상기 확인된 에지 정보에 기초하여 필터링 탭 수(N)를 결정하는 탭 수 결정부;
   인트라 예측 방향에 따라 인접한 두 참소 화소들을 포함하는 N개의 참조 화소들을 이용해 보간을 수행하여 예측 화소를 생성하는 예측 화소 생성부; 및
   상기 생성된 예측 화소를 이용하여 잔차 신호를 생성하는 잔차 신호 생성부를 포함하는 인트라 예측 장치.
7. 제6항에 있어서, 상기 필터링 탭 수(N)는
   상기 참소 화소들이 수직 방향으로 배열된 경우와 수평 방향으로 배열된 경우 각각에 대해 서로 상이하게 결정되는 인트라 예측 장치.
8. 제6항에 있어서,
   상기 필터링의 종류 및 탭 수 중 적어도 하나는 부호화 장치로부터 복호화 장치로 전달되는 인트라 예측 장치.
9. 제6항에 있어서,
   상기 인접한 두 화소들 사이에 에지가 존재하는 경우, 상기 필터링의 탭 수는 상기 인접한 두 화소들 사이에 에지가 존재하는 경우보다 작게 결정되는 인트라 예측 장치.
10. 제6항에 있어서,
    에지가 수직 방향보다 수평 방향으로 더 많이 존재하는 경우, 수평 방향의 필터링 탭 수가 수직 방향의 필터링 탭 수보다 크게 결정되는 인트라 예측 장치.

Images