KR20150105347A - 잔차 변환을 이용한 인트라 예측 방법 및 장치 - Google Patents

Abstract

본 발명의 인트라 예측을 수행하는 방법 및 장치에 관한 것으로, 그 방법은 인트라 예측 모드에 따라 잔차 신호를 생성하는 단계, 잔차 신호에 대해 제1 방향의 화소 단위 DPCM을 적용하여 잔차 변환을 수행하는 단계 및 잔차 변환된 잔차 신호에 대해 제2 방향의 화소 단위 DPCM을 적용하여 교차 잔차 변환을 수행하는 단계를 포함하고, 잔차 변환 및 교차 잔차 변환은 특정 객체 또는 블록에 기반하여 선택된 영역에 대해 수행된다.

Description

잔차 변환을 이용한 인트라 예측 방법 및 장치{INTRA PREDICTION METHOD AND INTRA PREDICTION APPARATUS USING RESIDUAL TRANSFORM}

본 발명은 영상 부호화/복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 부호화 및 복호화 시 잔차 변환을 이용하여 인트라 예측을 수행하는 방법에 관한 것이다.

일반적으로 비디오 코딩 시, 인트라 예측과 인터 예측을 이용하여 잔차 신호(residual signal)를 만든다. 잔차 신호를 구하는 이유는 잔차 신호를 가지고 코딩을 했을 때 데이터의 양이 작아서 데이터 압축률이 높아지고, 예측이 좋을수록 잔차 신호의 값이 작게 된다.

인트라 예측 방법은 현재 블록의 주변의 픽셀을 이용하여 현재 블록의 데이터를 예측한다. 실제 값과 예측 값의 차이를 잔차 신호 블록이라고 한다. HEVC의 경우는 인트라 예측 방법이 기존 H.264/AVC에서 사용되던 9개의 예측모드에서 도 1과 같이 35개의 예측모드로 증가하여 더욱 세분화하여 예측을 한다(단 Planar 예측모드 및 DC예측모드는 도 1에서 안보임).

인터 예측 방법의 경우는 현재 블록을 주변의 픽쳐들 내의 블록들과 비교하여 가장 비슷한 블록을 찾는다. 이때 찾은 블록에 대한 위치정보(Vx, Vy)를 모션 벡터라고 한다. 현재블록과 모션 벡터에 의하여 예측된 예측블록간의 블록내 화소 값들의 차이를 잔차 신호(residual signal) 블록이라고 한다 (motion-compensated residual block).

이와 같이 인트라 예측과 인터 예측이 더 세분화 되어 잔차 신호의 데이터 양이 줄어들고 있으며, 효율적인 트랜스폼(transform)을 사용하여 코덱 성능이 떨어지지 않으면서 연산량이 적은 비디오 부호화 및 복호화 방법이 필요하다.

본 발명의 실시 예는 비디오 코덱의 트랜스폼 코딩과정에서 적은 연산량으로 좋은 성능을 가지는 비디오 부호화 및 복호화 방법과, 이를 위한 장치를 제공한다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 인트라 예측 방법은 인트라 예측 모드에 따라 잔차 신호를 생성하는 단계, 상기 잔차 신호에 대해 제1 방향의 화소 단위 DPCM을 적용하여 잔차 변환을 수행하는 단계 및 상기 잔차 변환된 잔차 신호에 대해 제2 방향의 화소 단위 DPCM을 적용하여 교차 잔차 변환을 수행하는 단계를 포함하고, 상기 잔차 변환 및 교차 잔차 변환은 특정 객체 또는 블록에 기반하여 선택된 영역에 대해 수행된다.

또한, 본 발명의 실시예에 따른 인트라 예측 장치는, 인트라 예측 모드에 따라 잔차 신호를 생성하는 잔차 신호 생성부, 상기 잔차 신호에 대해 제1 방향의 화소 단위 DPCM을 적용하여 잔차 변환을 수행하는 잔차 변환 수행부 및 상기 잔차 변환된 잔차 신호에 대해 제2 방향의 화소 단위 DPCM을 적용하여 교차 잔차 변환을 수행하는 교차 잔차 변환 수행부를 포함하고, 상기 잔차 변환 및 교차 잔차 변환은 특정 객체 또는 블록에 기반하여 선택된 영역에 대해 수행된다.

한편, 상기 인트라 예측 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

본 발명의 실시예에 따르면, 선택 영역에 대하여 기존의 인트라 예측을 대신해 잔차 변환(Residual transform) 및 교차 잔차 변환(Crossed residual transform)을 선택적으로 수행함으로써, 선택 영역에 대한 잔차 신호의 크기를 최소화하여 압축 성능을 향상시킬 수 있다.

도 1은 인트라 예측 모드들에 대한 예들을 나타내는 도면이다.
도 2는 잔차 변환을 수행하는 방법에 대한 일 실시예를 나타내는 도면이다.
도 3은 인트라 예측이 수행된 잔차 신호에 대한 일 실시예를 나타내는 도면이다.
도 4는 잔차 변환이 수행된 결과에 대한 일 실시예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 부호화 장치의 구성을 나타내는 블록도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 “이들의 조합”의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다.

본 발명의 실시예는 영상 부호화/복호화 방법 및 그 장치에 대한 것으로, 블록기반 무손실 인트라 예측방식의 부호화/복호화에서 잔차 신호를 줄여서 코딩 성능을 향상시키는 동영상 부호화/복호화 방법 및 그 장치에 대한 것이다.

본 발명의 실시예에 따르면, 기존의 인트라 예측을 대신하여 잔차 변환(Residual transform) 및 교차 잔차 변환(Crossed residual transform)을 선택적으로 수행한다. 본 발명은 수직 또는 수평 방향에만 적용이 되며 이외의 방향에는 기존의 예측이 적용될 수 있다.

여기서 잔차 변환이란, 인트라 예측의 결과인 잔차 신호를 이용하여 예측방향대로 화소 단위 DPCM을 수행하는 것으로 도 2를 참조하여 설명하기로 한다.

도 2는 잔차 신호에 대해 화소 단위 DPCM을 수행하는 방법에 대한 일실시예를 설명하기 위해 도시한 것으로, HEVC(High Efficiency Video Coding)의 수직방향(26번 모드) 인트라 예측의 경우를 나타낸 것이다.

도 2를 참조하면, 현재 블록 내의 화소 p를 예측하기 위해 참조 화소로 l과 q를 활용한다.

예측 방향에 맞춰 현재 블록 내의 화소와 참조 화소 간의 차를 구하여 잔차 신호를 얻게 되는데 첫번째 열의 잔차 신호를 구하는 식은 다음의 수학식 1과 같다.

위의 수학식 1에서 r은 잔차 신호를 뜻하며, 도 3에 도시된 바와 같이 나타낼 수 있다.

무손실 인트라 예측에서는 위와 같이 기존의 예측 방식을 적용시 변환과 양자화를 거치지 않기 때문에 잔차 신호의 크기가 커져서 압축률이 떨어지게 된다.

이를 해결하기 위하여 현재 블록 내의 화소도 참조 화소로 사용하는 화소 단위 DPCM을 사용할 수 있으며 다음의 수학식 2와 같이 표현될 수 있다.

즉, 본 발명에서의 잔차 변환이란, 인트라 예측의 결과인 잔차 신호를 이용하여 예측 방향대로 화소 단위 DPCM을 수행하면서 복호화 시 블록기반 처리 구조를 유지하는 방법으로, HEVC(High Efficiency Video Coding)의 블록기반의 예측과 달리 현재 예측하려는 블록 내부의 화소를 참조 화소로 활용하여 예측 방향(인트라 예측 모드)에서 가장 인접한 화소 간의 차로 잔차 신호를 생성하는 방법으로 잔차 신호의 최소화라는 이점을 가지고 있다.

한편, 화소 단위 DPCM의 경우 화소 단위로 복원을 해야하기 때문에 블록 단위 처리에 위배될 수 있다. 그러나, 아래의 수학식 3과 같이 잔차 변환을 이용하여 복원을 하는 경우, 블록 단위 처리를 유지하면서도 화소 단위 DPCM이 사용 가능하다.

구체적인 예로, 부호화기 측에서 기존 HEVC에서의 인트라 예측 방향과 동일하게 화소 단위 DPCM을 적용(잔차 변환의 적용)한 후, 복호화기 측에서 잔차 신호를 복호화 하기 위해 잔차 신호를 수학식 3와 같이 계산(역 잔차 변환, Inverse residual transform)을 하게 되면, 블록기반의 처리 구조를 유지하면서 복호화가 가능하다.

무손실 인트라 압축에서는 손실 인트라 압축과 달리 변환과 양자화를 거치지 않기 때문에 잔차 신호의 크기가 코딩효율에 가장 큰 부분을 차지 하기 때문에 확률적으로 현재 화소와 가장 유사한 값을 가지고 있는 인접 화소를 참조 화소로 활용하는 것이 압축에 유리하다.

또한 본 발명은 화소 단위 DPCM의 단점인 복원지연이 없이 부호화기에서 복호화기로 전송된 이미 알고 있는 정보인 잔차 신호 r’을 이용하여 복원이 되기 때문에 기존 HEVC의 블록기반 구조에 위배되지 않는 장점을 가지고 있다.

부호화시, 수학식 2와 같이 잔차 변환(화소 단위 DPCM)이 적용되어 얻은 잔차 신호는 r'로 표현이 되며 도 4와 같이 나타낼 수 있다.

잔차 변환은 기존의 인트라 예측에서 수평방향(10번 모드). 수직방향(26번 모드)에 위 설명과 같은 방식으로 적용이 가능하며, 기타 모든 모드에서 적용이 가능하다.

본 발명의 일실시예에 따르면, 상기한 바와 같은 잔차 변환이 수행된 후 교차 잔차 변환이 선택적으로 수행될 수 있다.

본 발명에서의 교차 잔차 변환이란, 부호화 시 위에서 설명한 잔차 변환을 인트라 예측 방향대로 적용을 하여 잔차 신호 r’을 구한 후, 잔차 신호 r’에 대해 인트라 예측 방향과 교차되는 방향으로 잔차 변환을 재차 적용하여 잔차 신호 r”을 구하는 것을 말한다.

위 잔차 변환의 과정 후, 예측방향과 반대로 잔차 변환을 수행하는 것이 교차 잔차 변환(Crossed residual transform)이며 다음의 수학식 4로 표현이 가능하다.

한편, 상기와 같은 교차 잔차 변환은 선택적으로 적용이 가능하다. 예를 들어, 잔차 변환이 수직방향인 경우 교차 잔차 변환은 수평으로 적용되며, 만약 잔차 변환이 수평방향이면 교차 잔차 변환은 수직으로 적용될 수 있다.

위 교차 잔차 변환 수행 후, 변환(frequency domain transform) 및 양자화 과정(Quantization Process)은 무손실 압축방식이기 때문에 생략이 되며, 엔트로피 과정은 기존의 (HEVC등의) 인트라 동영상 압축 방식과 동일할 수 있다.

복호화 과정에서는 위의 과정을 반대로 수행하게 되는데, 부호화 과정에서 수직방향의 예측을 수행한 후, 잔차변환과 교차 잔차 변환을 수행한 블록에 경우 복호화기로 전송된 r" 에 대해서 블록기반 역 교차 잔차 변환(Inverse crossed residual transform)을 적용하게 되며 다음과 같이 수학식 5로 표현될 수 있다.

위의 수학식 5에서 나온 역 교차 잔차 변환 (수평방향)을 수행 후 얻은 결과인 r'은 앞서 설명한 블록기반 잔차 변환의 복원과정과 동일하게 수직방향으로 예측 복원시 복호화가 가능하다.

본 발명의 잔차 변환과 교차 잔차 변환은 선택적으로 적용이 가능하며, 부호화 시 잔차 변환이 적용되었을 경우에는 복호화 시에 역 잔차 변환이 적용되며, 부호화 시 교차 잔차 변환이 적용되었을 경우에는 복호화 시에 역 교차 잔차 변환이 적용되게 된다.

본 발명의 실시예에 따르면, 상기한 바와 같은 잔차 변환(Residual transform) 및 교차 잔차 변환(Crossed residual transform)의 선택적으로 수행은 수직 또는 수평 방향에만 적용이 되며, 이외의 방향에 대해서는 기존의 예측 방법이 적용될 수 있다.

본 발명에서의 잔차 변환과 교차 잔차 변환의 선택은 율-왜곡 최적화(RDO)(인코더에서 두 방법을 미리 해보고 비트율 및 왜곡된 정도를 계산한 후 (RD-Optimization) 최고의 성능을 내는 것을 선택)를 통해 이루어지는 경우와 header에서의 옵션 설정을 통해 한 가지 방법만을 사용하는 경우로 나누어 질 수 있다.

율-왜곡 최적화(RDO) 과정의 경우, 잔차 변환과 교차 잔차 변환의 두가지 방법을 모두 적용한 후, 율-왜곡 최적화의 계산을 통해 더 적은 결과값(cost)을 가지는 방법을 선택하게 된다.

이렇게 선택된 방법을 디코더에서 구분을 하기위해, 인코더에서는 모드 전송시 0 또는 1의 signaling bit를 추가하게 된다.

한편, Header에서의 옵션 설정의 경우, 교차 잔차 변환의 사용에 관한 on/off를 결정할 bit를 추가로 header에 포함시킨다. On을 나타내는 경우 위에서 설명한 율-왜곡 최적화를 거쳐 두 방법에 대한 선택이 이루어지게 되며, off를 나타내는 경우 추가적인 signaling bit없이 잔차 변환만 사용하게 된다.

본 발명의 또 다른 실시예에 따르면, 선택 영역에 대하여 기존의 인트라 예측을 대신하여 잔차 변환(Residual transform) 및 교차 잔차 변환(Crossed residual transform)을 선택적으로 수행할 수 있다.

여기서 선택 영역이란, 특정한 목적 혹은 영상의 특성에 따라 객체(object), 블록 등의 구분된 영역(region)을 지정한 것을 의미한다.

또한 선택 영역에 잔차 변환 또는 교차 잔차 변환이 적용되는 것을 복호화 하기 위해 부호화 시 선택 영역에 대해서 signaling bit를 전송하게 된다.

복호화를 위한 signaling bit 전송의 경우 n개의 bit가 사용될 수 있다. 또한 선택 영역에 대해 잔차 변환만 적용되는 방법, 교차 잔차 변환만 적용되는 방법, 잔차 변환과 교차 잔차 변환이 선택적으로 적용되는 방법 등 다양한 방법이 적용될 수 있다.

한편, 상기 선택 영역은 기존의 객체구분, 추출 방식 또는 segmentation, ROI 등에 근거하여 구분이 지어진 영역으로, 상기한 방법 이외에 다양한 방식으로 구분될 수 있다.

그리고 블록의 선택영역 지정의 경우 임의로 선택 혹은 특정 알고리즘을 통한 선택이 가능하다.

예를 들어, 본 발명에서의 선택 영역의 지정은 객체(object) 지정과 블록 지정으로 나눌 수 있다.

먼저, 상기 객체 지정의 경우, object map 등을 통해 객체의 구분이 이루어진 상태에서 object map이 표시하는 특정부분에 대해서만 잔차 변환 및 교차 잔차 변환을 적용하는 것으로, 여기서의 object map은 객체를 구분하기 위해 0과 1로 영상을 표현하는 것을 의미한다.

즉, object map에서 객체를 1로 표시하는 경우, 추가적인 signaling bit 없이 본 발명에서의 기술을 적용하는 것이 가능하다.

이 외에도 start position, end position에 의해 결정된 내부 영역에 대해서만 본 발명의 기술을 적용할 경우 추가적인 signaling bit를 필요로 하지 않는다.

그리고 블록 지정의 경우 임의로 선택한 LCU, CU, PU의 블록에 대해 본 발명의 기술에 대한 on/off signal bit를 전송한다.

예를 들어, 0의 경우 일반적인 부호화가 적용되며 1의 경우 잔차 변환 및 교차 잔차 변환이 적용되는 것을 의미할 수 있다.

도 5는 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 블록도로 도시한 것이다.

통상, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일하다. 따라서, 이하에서는 부호화 장치를 위주로 설명하기로 한다.

도 5에서와 같이, 본 발명의 일실시예에 따른 영상 부호화 장치에는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

도 5를 참조하면, 영상 부호화 장치는 부호화 모드 결정부(110), 인트라 예측부(120), 움직임 보상부(130), 움직임 추정부(131), 변환부호화/양자화부(140), 엔트로피 부호화부(150), 역양자화/변환복호화부(160), 디블록킹 필터링부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(200)를 포함한다.

부호화 모드 결정부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 소정 크기의 부호화 블록으로 분할하고, 분할된 소정 크기의 부호화 블록에 대한 부호화 모드를 결정한다. 상기 부호화 모드는 인트라 예측 부호화 및 인터 예측 부호화를 포함한다.

픽쳐는 복수의 슬라이스로 구성되고, 슬라이스는 복수개의 최대 부호화 단위(Largest coding unit: LCU)로 구성된다. 상기 LCU는 복수개의 부호화 단위(CU)로 분할될 수 있고, 부호기는 분할여부를 나타내는 정보(flag)를 비트스트림에 추가할 수 있다. 복호기는 LCU의 위치를 어드레스(LcuAddr)를 이용하여 인식할 수 있다. 분할이 허용되지 않는 경우의 부호화 단위(CU)는 예측 단위(Prediction unit: PU)로 간주되고, 복호기는 PU의 위치를 PU 인덱스를 이용하여 인식할 수 있다.

예측 단위(PU)는 복수개의 파티션으로 나뉠 수 있다. 또한 예측 단위(PU)는 복수개의 변환 단위(Transform unit: TU)로 구성될 수 있다.

부호화 모드 결정부(110)는 결정된 부호화 모드에 따른 소정 크기의 블록 단위(예를 들면, PU 단위 또는 TU 단위)로 영상 데이터를 감산부(190)로 보낸다.

변환부호화/양자화부(140)는 감산부(190)에 의해 산출된 잔차 블록을 공간 영역으로부터 주파수 영역으로 변환 한다. 예를 들면, 잔차 블록에 대해서 2차원의 이산 코사인 변환(DCT) 또는 이산 사인 변환(DST) 기반의 변환을 실행한다.

또한, 변환부호화/양자화부(140)는 변환 계수를 양자화하기 위한 양자화 스텝 사이즈를 결정하고, 결정된 양자화 스텝 사이즈를 이용하여 변환 계수를 양자화한다. 결정된 양자화 스텝 사이즈 및 부호화 모드에 따라 양자화 매트릭스가 결정될 수 있다.

양자화된 2차원의 변환 계수는 미리 정해진 스캐닝 방법 중 하나에 의해 1차원의 양자화 변환 계수로 변환된다. 상기 변환된 1차원의 양자화 변환 계수의 시퀀스는 엔트로피 부호화부(150)로 공급된다.

역양자화/변환복호화부(160)는 변환부호화/양자화부(140)에 의해 양자화된 양자화 계수를 역양자화한다. 또한, 역양자화에 의해 얻어지는 역양자화 계수를 역변환한다. 이에 따라, 주파수 영역으로 변환된 잔차 블록을 공간 영역의 잔차 블록으로 복원할 수 있다.

디블록킹 필터링부(170)는 역양자화/변환부호화부(160)로부터 역양자화 및 역변환된 영상 데이터를 입력 받아 블록킹(blocking) 효과를 제거하기 위한 필터링을 수행한다.

픽쳐 저장부(180)는 필터링된 영상 데이터를 디블록킹 필터링부(170)로부터 입력 받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다. 버퍼에 저장된 다수의 픽쳐는 인트라 예측 및 움직임 추정을 위해 제공된다.

인트라 예측 또는 움직임 추정을 위해 제공되는 상기 픽쳐들은 참조 픽쳐로 불리운다.

움직임 추정부(131)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나의 참조 픽쳐를 제공받아 움직임 추정을 수행하여 움직임 벡터, 참조 픽쳐를 나타내는 인덱스 및 블록 모드를 포함한 모션 데이터(Motion Data)를 출력한다.

예측 정밀도를 최적화하기 위해서, 소수 화소 정밀도, 예를 들면, 1/2 또는 1/4 화소 정밀도로 움직임 벡터를 결정한다. 움직임 벡터가 소수 화소 정밀도를 가질 수 있으므로, 움직임 보상부(130)는 소수 화소 위치의 화소 값을 산출하기 위한 보간 필터를 참조 픽쳐에 적용함으로써, 정수 화소 위치의 화소값으로부터 소수 화소 위치의 화소값을 산출한다.

움직임 보상부(130)는 움직임 추정부(131)로부터 입력된 모션 데이터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 블록에 대응하는 예측 블록을 추출하여 출력한다.

움직임 보상부(130)는 소수 정밀도의 움직임 보상에 필요한 적응적 보간 필터의 필터 특성을 결정한다. 필터 특성은, 예를 들면, 적응적 보간 필터의 필터 타입을 나타내는 정보, 및, 적응적 보간 필터의 사이즈를 나타내는 정보 등이다.

필터의 사이즈는, 예를 들면, 적응적 보간 필터의 필터 계수의 수인 탭 수 등이다.

구체적으로, 움직임 보상부(130)는 적응적 보간 필터로서, 분리형 및 비분리형 적응적 필터 중 어느 하나를 결정할 수 있다. 그리고 나서, 결정된 적응적 보간 필터의 탭 수, 및, 각 필터 계수의 값을 결정한다. 필터 계수의 값은, 정수 화소와의 상대적인 소수 화소의 위치마다 다르게 결정될 수 있다. 또한, 움직임 보상부(130)는, 필터 계수가 고정인 복수개의 비적응적 보간 필터를 이용할 수도 있다.

움직임 보상부(130)는, 보간 필터의 특성을 소정의 처리 단위로 설정할 수 있다. 예를 들면, 소수 화소 단위, 부호화 기본 단위(부호화 유닛), 슬라이스 단위, 픽쳐 단위, 또는, 시퀀스 단위로 설정할 수 있다. 또한, 1개의 영상 데이터에 대해서, 1개의 특성을 설정해도 된다.

따라서, 소정의 처리 단위 내에서는, 동일한 필터 특성을 이용하므로, 움직임 보상부(130)는 필터 특성을 일시적으로 유지하는 메모리를 구비한다. 이 메모리는 필요에 따라, 필터 특성 및 필터 계수 등을 유지한다. 예를 들면, 움직임 보상부(130)는, Ｉ픽쳐마다 필터 특성을 결정하고, 슬라이스 단위로 필터 계수를 결정할 수 있다.

움직임 보상부(130)는, 픽쳐 저장부(180)로부터 참조 픽쳐를 수신하고, 결정된 적응적 보간 필터를 이용하여 필터 처리를 적용함으로써, 소수 정밀도의 예측 참조 화상을 생성한다.

그리고, 생성된 참조 화상과, 움직임 추정부(131)에 의해 결정된 움직임 벡터에 의거하여 소수 화소 정밀도의 움직임 보상을 행함으로써, 예측 블록을 생성한다.

감산부(190)는 부호화하고자 하는 입력 블록을 픽쳐 간 예측 부호화하는 경우, 움직임 보상부(130)로부터 입력 블록에 대응하는 참조 픽쳐 내의 블록을 입력받아 입력 매크로 블록과의 차분 연산을 수행하여 잔차 신호(residue signal)를 출력한다.

인트라 예측부(120)는 예측이 수행되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부는 예측 부호화할 현재 블록을 입력 받아 현재 블록의 크기에 따라 미리 설정된 복수개의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부(120)는 현재 블록에 인접한 이전에 부호화된 화소들을 이용해 현재 블록의 인트라 예측 모드를 결정하고, 상기 결정된 모드에 대응하는 예측 블록을 생성한다.

현재 픽처에 포함된 영역 중에서 이전에 부호화된 영역은 인트라 예측부(120)가 이용할 수 있도록 다시 복호화되어 픽쳐 저장부(180) 에 저장되어 있다. 인트라 예측부(120)는 픽쳐 저장부(180)에 저장되어 있는 현재 픽처의 이전에 부호화된 영역에서 현재 블록에 인접한 화소 또는 인접하지 않지만 적용 가능한 화소들을 이용하여 현재 블록의 예측 블록을 생성한다.

인트라 예측부(120)는 인트라 블록을 예측하기 위하여 인접 화소를 적응적으로 필터링할 수 있다. 복호기에서의 동일한 동작을 위해 부호기에서 필터링 여부를 알려주는 정보를 전송할 수 있다. 또는 현재 블록의 인트라 예측 모드 및 현재 블록의 크기 정보에 기초하여 필터링 여부를 결정할 수 있다.

영상 부호화 장치에 의해 사용되는 예측 타입은 상기 부호화 모드 결정부에 의해 입력 블록이 인트라 모드 또는 인터 모드로 부호화되는지 여부에 의존한다.

인트라 모드와 인터 모드의 전환은, 인트라/인터 전환 스위치에 의해 제어된다.

엔트로피 부호화부(150)는 변환부호화/양자화부(140)에 의해 양자화된 양자화 계수와 움직임 추정부(131)에 의해 생성된 움직임 정보를 엔트로피 부호화한다. 또한, 인트라 예측 모드, 제어 데이터(예를 들면, 양자화 스텝 사이즈 등) 등도 부호화될 수 있다. 또한, 움직임 보상부(130)에 의해 결정된 필터 계수도 부호화되어 비트 스트림으로서 출력한다.

상기한 바와 같이, 본 발명의 일실시예에 따른 영상 복호화 장치의 구성은 도 5에 도시된 영상 부호화 장치의 구성으로부터 도출될 수 있으며, 예를 들어 도 5를 참조하여 설명한 바와 같은 부호화 과정의 역과정을 수행함으로써 영상을 복호화할 수 있다.

한편, 본 발명의 일실시예에 따른 무손실 예측에서는 도 5를 참조하여 설명한 바와 같은 변환 및 양자화 과정, 그리고 디블록킹 필터 등과 같은 필터링 과정이 생략될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (8)

1. 인트라 예측을 수행하는 방법에 있어서,
   인트라 예측 모드에 따라 잔차 신호를 생성하는 단계;
   상기 잔차 신호에 대해 제1 방향의 화소 단위 DPCM을 적용하여 잔차 변환을 수행하는 단계; 및
   상기 잔차 변환된 잔차 신호에 대해 제2 방향의 화소 단위 DPCM을 적용하여 교차 잔차 변환을 수행하는 단계를 포함하고,
   상기 잔차 변환 및 교차 잔차 변환은 특정 객체 또는 블록에 기반하여 선택된 영역에 대해 수행되는 인트라 예측 방법.
2. 제1항에 있어서, 상기 선택된 영역은
   영상의 객체 맵에서 구분된 복수의 객체들 중 적어도 하나에 대응되는 인트라 예측 방법.
3. 제1항에 있어서,
   상기 제1 방향은 상기 인트라 예측 모드에 대응되는 방향과 동일하고, 상기 제1 방향과 상기 제2 방향은 서로 수직한 방향인 인트라 예측 방법.
4. 제1항에 있어서,
   상기 인트라 예측 모드에 대응되는 방향은 수직 또는 수평 방향인 인트라 예측 방법.
5. 제1항에 있어서,
   상기 교차 잔차 변환은 선택적으로 수행 가능한 인트라 예측 방법.
6. 제1항에 있어서,
   상기 선택된 영역에 대한 정보를 복호화 장치로 전달하는 단계를 더 포함하는 인트라 예측 방법.
7. 인트라 예측을 수행하는 장치에 있어서,
   인트라 예측 모드에 따라 잔차 신호를 생성하는 잔차 신호 생성부;
   상기 잔차 신호에 대해 제1 방향의 화소 단위 DPCM을 적용하여 잔차 변환을 수행하는 잔차 변환 수행부; 및
   상기 잔차 변환된 잔차 신호에 대해 제2 방향의 화소 단위 DPCM을 적용하여 교차 잔차 변환을 수행하는 교차 잔차 변환 수행부를 포함하고,
   상기 잔차 변환 및 교차 잔차 변환은 특정 객체 또는 블록에 기반하여 선택된 영역에 대해 수행되는 인트라 예측 장치.
8. 제7항에 있어서, 상기 선택된 영역은
   영상의 객체 맵에서 구분된 복수의 객체들 중 적어도 하나에 대응되는 인트라 예측 장치.

Images