KR20130087133A

KR20130087133A - 부호화기 및 서브펠 움직임 추정 생략 방법

Info

Publication number: KR20130087133A
Application number: KR1020120008175A
Authority: KR
Inventors: 장의선; 노경기; 최기호
Original assignee: 한양대학교 산학협력단
Priority date: 2012-01-27
Filing date: 2012-01-27
Publication date: 2013-08-06
Also published as: KR101337345B1

Abstract

부호화기 및 서브펠 움직임 추정 생략 방법이 개시된다. 본 발명에 따른 부호화기는, 현재 예측 유닛의 크기가 부호화 모드가 결정된 이전 프레임 내에서 동일 위치에 존재하는 이전 예측 유닛의 크기와 일치하는지 여부를 판단하는 판단부; 상기 현재 예측 유닛의 크기가 상기 이전 예측 유닛의 크기와 일치하는 경우에만 서브펠(sub-pel) 단위의 움직임 추정을 수행하는 서브펠 탐색부를 포함할 수 있다. 본 발명에 의해, 부호화 장치를 사용하는 모든 기기에서 동영상 부호화 시간을 단축할 수 있도록 하는 효과가 있다.

Description

부호화기 및 서브펠 움직임 추정 생략 방법{Encoder and method for skipping sub-pel motion estimation}

본 발명은 부호화기 및 서브펠 움직임 추정 생략 방법에 관한 것이다.

다양한 멀티미디어 기기의 발전과 디지털 멀티미디어 방송 서비스의 일반화 등으로 인해 고화질 동영상 서비스에 대한 수요가 증가하고 있다. 이를 위해, 고해상도의 비디오 컨텐츠를 재생하고 저장할 수 있는 기기의 개발 및 보급이 가속화되고 있으며, 또한 고해상도의 비디오 컨텐츠를 효과적으로 부호화하거나 복호화하는 비디오 코덱의 개발이 진행되고 있다.

종래 기술에 따른 비디오 코덱의 경우, 비디오 데이터를 부호화함에 있어 소정 크기의 매크로블록에 기반하여 제한된 부호화 방식이 적용되고 있었다.

이러한 제한을 극복하여 보다 효과적인 부호화가 가능하도록 하기 위해, 차세대 동영상 부호화 기술인 MPEG-H HEVC(High Efficiency Video Coding)에서는 예측(Prediction) 및 변환(Transform)의 기본 단위가 되는 부호화 유닛(Coding Unit, CU)의 크기(size)를 예를 들어 64x64부터 8x8까지 이용하고 있으며, 또한 부호화 유닛(Coding Unit, CU), 예측 유닛(Prediction Unit, PU) 및 변환 유닛(Transform Unit, TU)이라는 세 개의 블록 개념을 가지는 계층적 개념의 비디오 압축 스킴(video compression scheme)을 이용하고 있다. 이러한 개념은 일부 논문자료 “Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools”에서도 제시되고 있다(W.-J. Han, J. Min, I.-K. Kim, E. Alshina, A. Alshin, T. Lee, J. Chen, V. Seregin, S. Lee, Y. M. Hong, M.-S. Cheon, N. Shlyakhov, K. McCann, T. Davies, J.-H. Park, “Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools,” IEEE Trans. Circuits Syst. Video Technol., vol. 20, no. 12, pp. 1709-1720, Dec. 2010).

도 1a는 MPEG-H HEVC에서 제시하는 심도(depth)별 부호화 유닛(CU) 및 예측 유닛(PU)을 나타낸 도면이고, 도 1b는 부호화 유닛 및 변환 유닛(TU)의 관계를 나타낸 도면이며, 도 2는 종래 기술에 따른 데이터 단위별 부호화 유닛의 크기를 결정하기 위한 처리 과정을 나타낸 도면이고, 도 3은 각 데이터 단위별로 부호화 유닛의 크기가 결정된 예를 나타낸 도면이다.

여기서, 심도(depth)란 부호화 유닛(CU)이 계층적으로 분할되는 단계를 의미하고, 심도가 깊어질수록 심도별 부호화 유닛은 최대 부호화 유닛(예를 들어, 64x64)로부터 최소 부호화 유닛(예를 들어, 8x8)까지 분할될 수 있다. 상위 심도(예를 들어, 심도 0)로부터 하위 심도(예를 들어, 심도 3)의 방향으로 심도가 깊어진다고 표현될 수 있다. 심도가 깊어짐에 따라 최대 부호화 유닛의 분할 횟수가 증가하고, 최대 부호화 유닛의 분할 가능한 총 횟수는 최대 심도에 대응된다. 부호화 유닛의 최대 크기 및 최대 심도가 미리 설정되어 있을 수 있다.

도 1a에는 부호화 유닛의 계층 구조로서 부호화 유닛의 최대 높이 및 너비가 64이며, 최대 심도가 3인 경우가 도시되어 있다. 도시된 바와 같이, 최상위 심도(즉, 심도 0)에서의 최대 부호화 유닛(110)의 크기는 64x64로 표현될 수 있다.

부호화 유닛의 계층 구조의 세로축을 따라 심도가 깊어지며, 이에 따라 심도별 부호화 유닛의 높이 및 너비가 각각 분할된다. 따라서, 최상위 심도인 심도 0에서의 최대 부호화 유닛의 크기인 64x64는 심도 1에서 32x32인 부호화 유닛의 크기로 분할(120)되고, 심도 2에서 16x16인 부호화 유닛의 크기로 분할(130)되며, 최하위 심도인 심도 3에서 8x8인 부호화 유닛의 크기로 분할(140)된다. 여기서, 심도 3의 8x8 크기의 부호화 유닛은 최소 부호화 유닛이라 지칭될 수 있다.

또한, 부호화 유닛의 계층 구조의 가로축을 따라, 각각의 심도별 부호화 유닛의 예측 부호화의 기반이 되는 부분적 데이터 단위인 예측 유닛(PU)이 도시되어 있다. 즉, 심도 0의 크기 64x64의 부호화 유닛(110)의 예측 유닛은, 크기 64x64의 부호화 유닛에 포함되는 64x64 크기의 부분적 데이터 단위, 64x32 크기의 부분적 데이터 단위, 32x64 크기의 부분적 데이터 단위, 32x32 크기의 부분적 데이터 단위 등일 수 있다. 따라서, 부호화 유닛은 각 부분적 데이터 단위들을 포함하는 최소 크기의 정사각형인 데이터 단위로 표현될 수도 있다.

마찬가지로, 심도 1의 32x32 크기의 부호화 유닛의 예측 유닛은 32x32 크기의 부분적 데이터 단위, 32x16 크기의 부분적 데이터 단위, 16x32 크기의 부분적 데이터 단위, 16x16 크기의 부분적 데이터 단위 등일 수 있고, 심도 2의 16x16 크기의 부호화 유닛의 예측 유닛은 16x16 크기의 부분적 데이터 단위, 16x8 크기의 부분적 데이터 단위, 8x16 크기의 부분적 데이터 단위, 8x8 크기의 부분적 데이터 단위 등일 수 있다.

도 1b에는 부호화 유닛 및 변환 유닛의 관계가 도시되어 있다.

부호화 장치는 최대 부호화 유닛마다 최대 부호화 유닛보다 작거나 같은 크기의 부호화 유닛으로 영상을 부호화하며. 부호화 과정에서 주파수 변환을 위한 변환 유닛(TU)의 크기는 각각의 부호화 유닛보다 크지 않은 데이터 단위를 기반으로 선택될 수 있다.

예를 들어, 현재 부호화 유닛이 64x64 크기인 경우를 가정할 때, 32x32 크기의 변환 유닛을 이용하여 주파수 변환이 수행될 수 있다. 또한, 64x64 크기의 부호화 유닛의 데이터를 64x64 크기 이하인 32x32, 16x16, 8x8, 4x4 크기의 변환 유닛들로 각각 주파수 변환을 수행하여 부호화한 후, 원본과의 오차가 가장 적은 변환 유닛이 선택될 수도 있다.

도 1a에 도시된 심도별 부호화 유닛이 고려되는 부호화 장치는 최대 부호화 유닛(110)에 대한 부호화 심도를 결정하기 위해, 최대 부호화 유닛(110)에 포함된 각 심도의 부호화 유닛마다 부호화를 수행하여야 하며, 이러한 결과로서 도 2에 도시된 바와 같이 각 데이터 단위에 대한 부호화 유닛의 크기가 결정될 수 있다.

이때, 동일한 범위 및 크기의 데이터를 포함하기 위한 심도별 부호화 유닛의 개수는 심도가 깊어질수록 증가한다. 예를 들어, 심도 1의 부호화 유닛 한 개가 포함하는 데이터에 대해서, 심도 2의 부호화 유닛은 네 개가 필요하다. 따라서, 동일한 데이터의 부호화 결과를 심도별로 비교하기 위해서, 한 개의 심도 1의 부호화 유닛 및 네 개의 심도 2의 부호화 유닛을 이용하여 각각 부호화되어야 한다.

즉, 도 2에 도시된 바와 같이 MPEG-H HEVC에서는 최선의 코딩 이득(Best coding gain)을 얻기 위해 각각의 심도에서의 예측 모드(prediction mode)와 변환 모드(transform mode)를 모두 적용시켜 본 뒤 각 데이터 단위별(즉, 64x64 크기의 데이터 단위부터 8x8 크기의 데이터 단위까지) 최적의 부호화 유닛(CU)의 크기와 이에 따른 예측 유닛(PU) 및 변환 유닛(TU)을 결정한다. 이에 의해 최적으로 결정된 각 데이터 단위별 부호화 유닛이 도 3에 예시되어 있다.

그러나, 종래기술에서 제시하는 방식으로 부호화 유닛(CU)의 크기를 결정하는 방법에 따를 때, 다양한 부호화 유닛 크기를 고려함으로써 최적의 부호화 유닛 크기를 결정할 수는 있지만, 그 결정 과정에서 지나치게 복잡도가 증가되는 문제가 발생된다. 예를 들어 도 2에 도시된 바와 같이 최하위 심도가 3이고 최대 부호화 유닛의 크기가 64x64인 경우, 부호화 장치는 최적의 비용(cost)을 결정하여 데이터 단위별 부호화 유닛의 크기를 결정하기 위해 적어도 1xCU0 + 4xCU1 + 16xCU2 + 64xCU3의 수량에 해당하는 처리를 실시하여야 한다.

또한, 움직임 추정 성능을 높이기 위하여 H.264 등에서는 1/2 픽셀뿐 아니라 1/4 픽셀 혹은 1/8 픽셀 단위로도 움직임 추정이 수행된다. 이는 실제의 움직임이 정수 픽셀 단위로 이루어지지 않아 정수배 단위의 움직임 벡터는 정확도가 떨어지기 때문이다.

1/2 픽셀뿐, 1/4 픽셀, 1/8 픽셀 단위 등의 서브펠(Sub-pel, 또는 서브픽셀) 단위로 움직임 추정을 하기 위해서는 일반적으로 두 단계의 과정이 수행된다. 첫번째 단계에서 주어진 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 얻는다. 이어 두번째 단계에서는 정수배 움직임 벡터를 중심으로 서브펠 단위로 움직임 벡터를 예측하여 최종 움직임 벡터를 얻는다.

서브펠 단위의 움직임 추정시 보다 많은 탐색점에 대한 탐색이 요구될 뿐 아니라 1/2, 1/4, 1/8 픽셀 등을 만드는 보간 과정에서 많은 계산량이 요구된다.

이와 같이, 많은 계산량의 요구는 부호화기의 실시간 처리 성능을 약화시키는 등의 문제점을 가지는 바, 화질의 열화는 최소화하면서 서브펠 단위의 움직임 추정을 생략할 수 있도록 함으로써 보다 우수한 효율의 부호화기 개발이 요구된다.

본 발명은 부호화기를 사용하는 모든 기기에서 비디오 데이터에 대한 부호화 시간을 단축할 수 있도록 하는 부호화기 및 서브펠 움직임 추정 생략 방법을 제공하기 위한 것이다.

본 발명은 움직임 추정(ME, Motion Estimation) 과정에서 이전 프레임의 부호화 유닛(CU)의 심도(depth), 예측 유닛(PU)의 파티션 크기(Partition size) 및/또는 인덱스를 참조하여 부호화 모드 결정을 위한 현재 프레임의 예측 유닛에 대한 서브펠 단위의 움직임 추정을 생략할 수 있도록 함으로써 보다 신속한 부호화 처리가 가능한 부호화기 및 서브펠 움직임 추정 생략 방법을 제공하기 위한 것이다.

본 발명은 서브펠을 만드는 과정에서 요구되는 보간(Interpolation)과 서브펠 단위 탐색점을 생략할 수 있어 보다 신속한 부호화 처리가 가능한 부호화기 및 서브펠 움직임 추정 생략 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 서브펠 움직임 추정 생략 방법을 수행하는 부호화기가 제공된다.

본 발명의 일 실시예에 따르면, 부호화기에 있어서, 현재 예측 유닛의 크기가 부호화 모드가 결정된 이전 프레임 내에서 동일 위치에 존재하는 이전 예측 유닛의 크기와 일치하는지 여부를 판단하는 판단부; 상기 현재 예측 유닛의 크기가 상기 이전 예측 유닛의 크기와 일치하는 경우에만 서브펠(sub-pel) 단위의 움직임 추정을 수행하는 서브펠 탐색부를 포함하는 부호화기가 제공된다.

상기 현재 예측 유닛이 현재 프레임 및 현재 부호화 유닛 내에서의 위치 식별과 상기 이전 예측 유닛이 상기 이전 프레임 및 이전 부호화 유닛 내에서의 위치 식별을 위해 인덱스(index)가 각각 이용될 수 있다.

상기 판단부는 상기 현재 예측 유닛이 포함된 현재 부호화 유닛의 심도(depth)와 상기 이전 예측 유닛이 포함된 이전 부호화 유닛의 심도가 일치하고, 현재 예측 유닛의 파티션 크기와 이전 예측 유닛의 파티션 크기가 일치하는지 여부를 참조하여 상기 현재 예측 유닛의 크기와 상기 이전 예측 유닛의 크기 일치 여부를 판단할 수 있다.

부호화기는 상기 이전 부호화 유닛의 심도 및 상기 이전 부호화 유닛에 포함된 상기 이전 예측 유닛의 파티션 크기에 관한 정보를 저장하는 이전 프레임 정보 저장부를 더 포함할 수 있다.

부호화기는 지정된 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 획득하는 정수픽셀 탐색부를 더 포함할 수 있다. 여기서, 상기 서브펠 움직임 추정의 수행 여부에 의해 상기 정수배 움직임 벡터 또는 서브펠 단위의 움직임 벡터가 최종 움직임 벡터로 출력될 수 있다.

부호화기는 상기 최종 움직임 벡터를 이용하여 움직임 추정된 예측 유닛의 예측 모드(prdeiction mode)별 비용값을 산출하는 비용 산출부를 더 포함할 수 있다.

상기 예측 모드는 Inter 2Nx2N, Inter 2NxN, Inter Nx2N 및 Inter NxN 중 하나 이상일 수 있다.

상기 비용값은 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference) 및 SATD(Sum of Absolute Transformed Difference) 중 하나 이상을 사용하여 산출될 수 있다.

본 발명의 다른 측면에 따르면, 부호화기에서 제공되는 서브펠 움직임 추정 생략 방법이 제공된다.

본 발명의 일 실시예에 따르면, 서브펠 움직임 추정 생략 방법에 있어서, (a) 판단부가 현재 예측 유닛의 크기가 부호화 모드가 결정된 이전 프레임 내에서 동일 위치에 존재하는 이전 예측 유닛의 크기와 일치하는지 여부를 판단하는 단계; 및 (b) 현재 예측 유닛의 파티션 크기가 이전 예측 유닛의 파티션 크기와 일치하는 경우에만, 서브펠(sub-pel) 탐색부가 서브펠 단위의 움직임 추정을 수행하는 단계를 포함하는 서브펠 움직임 추정 생략 방법이 제공된다.

상기 이전 부호화 유닛의 심도 및 상기 이전 부호화 유닛에 상응하는 상기 이전 예측 유닛의 파티션 크기에 관한 정보가 이전 프레임 정보 저장부에 저장되는 단계가 상기 단계 (a)에 선행할 수 있다.

상기 단계 (b) 이전에 상기 서브펠 단위의 움직 추정을 수행하는 지정된 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 획득하는 단계가 수행될 수 있고, 상기 서브펠 움직임 추정의 수행 여부에 의해 상기 정수배 움직임 벡터 또는 서브펠 단위의 움직임 벡터가 최종 움직임 벡터로 출력될 수 있다.

상기 최종 움직임 벡터를 이용하여 움직임 추정된 예측 유닛의 예측 모드(prdeiction mode)별 비용값이 산출될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 부호화기를 사용하는 모든 기기에서 비디오 데이터에 대한 부호화 시간을 단축할 수 있도록 하는 효과가 있다.

또한 움직임 추정(ME, Motion Estimation) 과정에서 이전 프레임의 부호화 유닛(CU)의 심도(depth), 예측 유닛(PU)의 파티션 크기(Partition size) 및/또는 인덱스를 참조하여 부호화 모드 결정을 위한 현재 프레임의 예측 유닛에 대한 서브펠 단위의 움직임 추정을 생략할 수 있도록 함으로써 보다 신속한 부호화 처리가 가능한 효과도 있다.

또한 서브펠을 만드는 과정에서 요구되는 보간(Interpolation)과 서브펠 단위 탐색점을 생략할 수 있어 보다 신속한 부호화 처리가 가능한 효과도 있다.

도 1a는 MPEG-H HEVC에서 제시하는 심도(depth)별 부호화 유닛(CU) 및 예측 유닛(PU)을 나타낸 도면.
도 1b는 부호화 유닛 및 변환 유닛(TU)의 관계를 나타낸 도면.
도 2는 종래 기술에 따른 데이터 단위별 부호화 유닛의 크기를 결정하기 위한 처리 과정을 나타낸 도면.
도 3은 각 데이터 단위별로 부호화 유닛의 크기가 결정된 예를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 부호화기의 구성을 개략적으로 나타낸 도면.
도 5는 현재 예측 유닛에서 예측 모드를 선택하기 위한 일반적인 과정을 나타낸 도면.
도 6은 MPEG-H HEVC에서 서브펠 움직임 추정을 수행하는 예측 유닛을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 부호화기에서 서브펠 움직임 추정을 수행하는 예측 유닛을 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 부호화기에서 수행되는 서브펠 움직임 추정 생략 방법을 나타낸 도면.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "…유닛", "…모듈", "…블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하에서는 심도별 부호화 유닛의 크기 결정을 신속하게 수행하는 부호화기를 중심으로 설명하지만, 동일 또는 유사한 기술적 사상이 복호화기에 적용될 수도 있음은 당연하다.

또한, 부호화 유닛의 크기 결정 방법을 적용함에 있어 영상 특성을 고려하기 위해 계층적인 부호화 유닛이 사용되고, 부호화 유닛의 최대 높이 및 너비, 최대 심도는 영상의 특성에 따라 적응적으로 결정될 수도 있으며, 사용자의 요구에 따라서도 다양하게 설정되도록 구현될 수 있다. 다만, 설명의 편의를 위해 필요한 경우에는 부호화 유닛의 최대 높이 및 너비가 각각 64이고, 최대 심도가 3인 경우를 예로 들어 설명하기로 한다.

도 4는 본 발명의 일 실시예에 따른 부호화기의 구성을 개략적으로 나타낸 도면이고, 도 5는 현재 예측 유닛에서 예측 모드를 선택하기 위한 일반적인 과정을 나타낸 도면이다. 도 6은 MPEG-H HEVC에서 서브펠 움직임 추정을 수행하는 예측 유닛을 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 부호화기에서 서브펠 움직임 추정을 수행하는 예측 유닛을 나타낸 도면이다.

도 4를 참조하면, 부호화기는 이전 프레임 정보 저장부(410), 움직임 추정부(420), 최적 모드 결정부(450)를 포함한다. 부호화기가 변환/스케일링/양자화부, 인트라 예측부, 엔트로피 인코더부 등을 더 포함할 수 있음은 당업자에게 자명한 사항이나, 해당 구성 요소들이 본 발명의 요지와는 다소 거리감이 있는 사항이므로 이에 대한 설명은 생략하기로 한다.

이전 프레임 정보 저장부(410)는 현재 프레임(current frame) 이전에 최적 부호화 모드가 결정된 이전 프레임의 부호화 유닛(CU)의 심도(depth) 정보 및 각 부호화 유닛(CU)에 대한 예측 유닛(PU)의 파티션 크기(partition size) 정보를 저장한다. 또한, 이전 프레임 정보 저장부(410)는 각 부호화 유닛의 인덱스(index) 및 각 예측 유닛의 인덱스(index) 중 하나 이상을 더 저장할 수도 있다. 여기서, 인덱스는 해당 프레임 내에서 각 부호화 유닛의 위치를 식별하도록 하기 위한 식별 정보일 수 있다.

움직임 추정부(420)는 정수픽셀 탐색부(425), 판단부(430), 서브펠 탐색부(435) 및 비용 산출부(440)를 포함한다.

일반적으로 종래기술에 따른 부호화기의 움직임 추정부는 모든 예측 유닛에 대해 서브펠 움직임 추정(Sub-pel motion estimation)을 수행(도 6 참조)하기 때문에 많은 계산량을 요구하고 결과적으로 부호화기의 실시간 성능이 저하되는 문제점을 가지고 있었다.

이에 비해, 본 실시예에 따른 움직임 추정부(420)는 이하에서 설명되는 바와 같이, 현재 프레임의 부호화하고자 하는 부호화 유닛(이하 ‘현재 부호화 유닛’이라 칭함)에 대해 해당 프레임 내에서의 위치에 관한 정보인 인덱스(즉, CU 인덱스 정보)를 이용하여 현재 부호화 유닛의 위치를 파악하고, 현재 부호화 유닛 내부에서 분할되는 정보인 심도 정보와 파티션 크기 정보를 이용하여 현재 부호화 유닛의 크기를 파악하며, 현재 부호화 유닛 내부에서 예측 유닛(이하, ‘현재 예측 유닛’이라 칭함)이 존재하는 위치에 관한 정보인 인덱스(즉, CU 내부 인덱스)를 이용하여 이전 프레임 내의 같은 위치에 존재하는 부호화 유닛(이하 ‘이전 부호화 유닛’이라 칭함) 내부의 같은 위치에 존재하는 예측 유닛(이하, ‘이전 예측 유닛’이라 칭함)을 인식하여 이전 예측 유닛의 크기와 현재 예측 유닛의 크기가 일치하는 경우에만 서브펠 움직임 추정을 수행(도 7 참조)함으로써 신속한 부호화 처리가 가능하도록 하는 특징을 가진다.

정수픽셀 탐색부(425)는 지정된 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 획득한다.

판단부(430)는 이전 프레임 정보 저장부(410)에 저장된 이전 부호화 유닛의 심도 정보와 이전 예측 유닛의 크기 정보를 참조하여 부호화를 진행하고자 하는 현재 예측 유닛의 크기가 이전 예측 유닛의 크기와 일치하는지를 판단한다.

판단부(430)가 현재 예측 유닛의 크기와 이전 예측 유닛의 크기가 일치하는 것으로 판단한 경우, 서브펠 탐색부(435)는 현재 예측 유닛에 대해 정수픽셀 탐색부(425)에 의해 획득된 정수배 움직임 벡터를 중심으로 서브펠 단위의 움직임 벡터를 예측하여 최종 움직임 벡터를 획득한다. 서브펠 탐색부(435)는 예를 들어 1/2 픽셀, 1/4 픽셀, 1/8 픽셀 등 중 하나 이상의 서브펠 단위로 움직임 추정을 수행할 수 있다.

그러나 만일 판단부(430)가 현재 예측 유닛의 크기와 이전 예측 유닛의 크기가 일치하지 않는 것으로 판단한 경우, 정수픽셀 탐색부(425)에 의해 획득된 정수배 움직임 벡터가 최종 움직임 벡터로 출력된다.

비용 산출부(440)는 정수픽셀 탐색부(425) 또는/및 서브펠 탐색부(435)로부터 제공되는 최종 움직임 벡터 등을 이용하여 움직임 추정된 예측 유닛의 각 예측 모드(prediction mode)에 대한 비용값을 산출한다. 비용값을 산출하는 방법으로는 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference), SATD(Sum of Absolute Transformed Difference) 등 중 하나 이상이 사용될 수 있으나, 반드시 이에 한정되는 것은 아니다. 비용값 산출 과정은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.

움직임 추정부(420)가 각 예측 모드(예를 들어, SKIP, Inter 2Nx2N, Inter NxN, Inter 2NxN, Inter Nx2N, Intra 2Nx2N, Intra NxN 등)에 대해 비용값들을 개별적으로 산출하고, 산출된 비용값들은 최적 모드 결정부(450)로 제공되며, 최적 모드 결정부(450)는 비용값이 최소가 되는 예측 모드를 매크로블록의 최적 부호화 모드로 결정한다.

이하, 도 5 내지 도 7을 참조하여 본 실시예에 따른 부호화기가 종래기술에 따른 부호화기에 비해 가지는 차별적 특징을 간략히 설명하기로 한다.

도 5에 도시된 바와 같이, 최적의 부호화 모드를 결정하기 위해 일반적으로 복수의 예측 모드 각각에 대한 비용값을 산출하고, 최소의 비용값을 가지는 예측 모드를 최적의 부호화 모드로서 결정하게 된다.

참고로, MPEG-H HEVC에서 적용되는 최적의 부호화 유닛 결정을 위한 의사코드는 회귀 구조(Recursive structure)를 채택하고 있으며 그 내용은 아래와 같다.

Recursive_CU_Processing (depth, index) {

parent_cost = CU_processing (depth, index)

for from index = 0 to index = 3 do

children_cost += Recursive_CU_Processing (depth+1, index)

end

if (parent_cost < children_cost)

Best_CU = CU(depth)

else

Best_CU = CU(depth+1)

if (leaf node)

return

}

앞서 설명한 도 2에 도시된 바와 같이, 부호화기는 현재 심도(depth)의 부호화 유닛의 크기와 후속하는 심도에 해당하는 4개의 부호화 유닛에 대한 RD 비용 평가를 수행한다. 이러한 과정이 회귀적, 반복적으로 수행되도록 함으로써 하나의 최대 부호화 유닛 크기(Maximum CU size)에 대해 최적의 부호화 유닛 크기들을 결정한다. 이와 같은 과정에 의해 각 데이터 단위별로 부호화 유닛의 크기가 결정된 예는 앞서 설명한 도 3과 같다.

또한, 부호화 유닛 내의 각 예측 유닛에 대해서는 도 5와 같이 미리 지정된 복수의 예측 모드(prediction mode) 각각에 대해 RD 비용을 산출함으로써 최적의 부호화 모드를 결정한다.

RD(Rate-Distortion) 비용 평가시 예측을 수행하게 되며, 예측은 SKIP, Inter, Intra와 같이 3가지 모드에 대해 수행된다. Inter와 Intra 모드의 예측은 파티션 크기별로 각각 Inter 2Nx2N, Inter NxN, Inter 2NxN, Inter Nx2N, Intra 2Nx2N, Intra NxN와 같이 6가지 방법으로 나뉘어 수행한다. 이와 같이 각 예측 유닛(PU)에서는 총 7가지 방법의 RD 비용을 각각 구하고 그 중 제일 좋은 RD 비용을 가지는 모드를 최적 부호화 모드로서 결정하게 된다.

여기서, Inter 모드에 해당되는 예측 모드별 RD 비용을 산출하기 위해 종래기술에 따른 부호화기는 도 6에 도시된 바와 같이 모든 예측 유닛에 대해 서브펠 움직임 추정을 수행함으로써 많은 계산량이 요구되는 문제점이 있었다.

이에 비해, 본 실시예에 따른 움직임 추정부(420)는 이전 부호화 유닛의 심도 정보 및 이전 예측 유닛의 파티션 크기 정보 등을 이용하여 현재 부호화 유닛 내의 현재 예측 유닛의 크기가 최종 결정된 이전 예측 유닛의 크기와 일치하는 경우에만 서브펠 움직임 추정을 수행함으로써 부호화 처리를 위한 계산량을 최소화시킬 수 있다.

즉, 도 7에 도시된 바와 같이, 참조 프레임(즉, 이전 프레임)의 부호화 모드가 710과 같이 제시된 경우, 이에 일치하는 현재 예측 유닛의 크기(720, 730 및 740)인 경우에만 서브펠 움직임 추정을 수행함으로써 부호화 처리를 위한 계산량을 최소화시킨다.

이 과정은 하기의 의사코드로서 표시될 수 있다.

Motion_Estimation (depth, index, partition) {

Integer_Pel_motion_estimation();

if(pre_PU_Size(depth, index, partition) == cur_PU_Size(depth, index, partition)

Sub_Pel_motion_estimation();

return

}

본 실시예에 따른 서브펠 움직임 추정 생략 방법이 적용된 부호화기와 종래기술에 따른 부호화기를 이용한 실험 결과가 표 1 및 표 2에 제시되어 있다.

참고로, 표 1은 본 실시예에 따른 부호화기를 이용하여 종래 기술에 따른 부호화기와 비교 실험한 결과이고, 표 2는 서브펠 움직임 추정을 전혀 수행하지 않는 부호화기를 이용하여 종래 기술에 따른 부호화기와 비교 실험한 결과이다.

	△Bitrate(%)	△Y-PSNR	△U-PSNR	△V-PSNR	△time(%)
Kimono	0.35	-0.03	0.00	0.00	-33.04
Parkscene	1.06	-0.05	-0.02	-0.01	-36.72
Cactus	1.00	-0.03	0.00	-0.01	-36.90
BasketballDrive	0.70	-0.02	0.02	0.02	-33.92
BQTarras	1.68	-0.04	-0.02	-0.03	-39.14
Average	0.96	-0.03	0.00	-0.01	-35.95

	△Bitrate(%)	△Y-PSNR	△U-PSNR	△V-PSNR	△time(%)
Kimono	0.94	-0.05	0.00	-0.02	-43.44
Parkscene	4.79	-0.11	0.00	-0.02	-43.64
Cactus	3.10	-0.07	0.02	0.02	-42.88
BasketballDrive	3.67	-0.07	0.00	0.00	-41.90
BQTarras	17.37	-0.13	0.00	0.01	-44.40
Average	5.97	-0.09	0.00	0.00	-43.25

표 1 및 표 2를 대비하여 판단할 때, 본 실시예에 따른 서브펠 움직임 추정 생략 방법이 적용된 부호화기를 이용하는 경우 종래기술에 따른 부호화기에 비해 화질의 열화는 최소화되면서 부호화 처리 속도는 극대화됨을 알 수 있다.

도 8은 본 발명의 일 실시예에 따른 부호화기에서 수행되는 서브펠 움직임 추정 생략 방법을 나타낸 도면이다.

도 8을 참조하면, 부호화기는 단계 810에서 RD 비용 산출을 위한 현재 예측 유닛의 예측 모드가 Inter 모드인지를 판단한다.

만일 현재 예측 유닛의 예측 모드가 Inter 모드가 아닌 경우(예를 들어, SKIP 모드, Intra 모드)라면, 단계 860으로 진행하여 부호화기는 종래기술에 따른 RD 비용 산출 방식에 따라 해당 예측 모드에 대한 RD 비용을 산출한다.

그러나 만일 현재 예측 유닛의 예측 모드가 Inter 모드라면, 단계 820으로 진행하여 부호화기는 현재 예측 유닛의 크기에 대해 정수배 단위로 움직임 추정을 수행한다.

단계 830에서 현재 예측 유닛의 크기가 최종 결정된 이전 예측 유닛의 크기와 일치하는지 여부를 판단한다. 앞서 설명한 바와 같이, 이전 예측 유닛은 저장된 인덱스 등을 이용하여 식별된 현재 예측 유닛과 동일 위치에 존재하는 이전 프레임 내의 예측 유닛이다.

단계 830의 판단 결과로 현재 예측 유닛의 크기가 이전 예측 유닛의 크기와 일치하지 않는 경우라면, 부호화기는 단계 840에서 현재 예측 유닛에 대해 정수배 단위로 움직임 추정만을 수행(단계 820)하여 획득한 움직임 벡터를 최종 움직임 벡터로 생성한다. 즉, 현재 예측 유닛의 크기가 이전 예측 유닛의 크기와 일치하지 않는 경우에는 서브펠 단위 움직임 추정이 생략 처리된다.

그러나 단계 830의 판단 결과로 현재 예측 유닛의 크기가 최종 결정된 이전 예측 유닛의 크기와 일치하는 경우라면, 부호화기는 단계 850에서 현재 예측 유닛에 대해 서브펠 단위의 움직임 추정을 더 수행하여 획득한 움직임 벡터를 최종 움직임 벡터로 생성한다.

이어서, 단계 860에서 부호화기는 단계 820 내지 단계 850에 의해 생성된 최종 움직임 벡터를 이용하여 지정된 예측 모드에 대한 RD 비용을 산출한다.

단계 870에서 부호화기는 최적의 부호화 모드를 결정하기 위해 지정된 모든 예측 모드들에 대한 RD 비용이 산출되었는지를 판단한다. 만일 지정된 모든 예측 모드에 대한 RD 비용이 산출되지 않은 경우라면 단계 810으로 다시 진행한다.

그러나 만일 지정된 모든 예측 모드들에 대해 RD 비용이 산출된 경우라면 단계 880으로 진행하여 부호화기는 RD 비용이 최소인 예측 모드를 최적의 부호화 모드로 결정한다.

상술한 서브펠 움직임 추정 생략 방법은 부호화기에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

410 : 이전 프레임 정보 저장부
420 : 움직임 추정부
425 : 정수픽셀 탐색부
430 : 판단부
435 : 서브펠 탐색부
440 : 비용 산출부
450 : 최적 모드 결정부

Claims

부호화기에 있어서,
현재 예측 유닛의 크기가 부호화 모드가 결정된 이전 프레임 내에서 동일 위치에 존재하는 이전 예측 유닛의 크기와 일치하는지 여부를 판단하는 판단부; 및
상기 현재 예측 유닛의 크기가 상기 이전 예측 유닛의 크기와 일치하는 경우에만 서브펠(sub-pel) 단위의 움직임 추정을 수행하는 서브펠 탐색부를 포함하는 부호화기.
제1항에 있어서,
상기 현재 예측 유닛이 현재 프레임 및 현재 부호화 유닛 내에서의 위치 식별과 상기 이전 예측 유닛이 상기 이전 프레임 및 이전 부호화 유닛 내에서의 위치 식별을 위해 인덱스(index)가 각각 이용되는 것을 특징으로 하는 부호화기.
제1항에 있어서,
상기 판단부는 상기 현재 예측 유닛이 포함된 현재 부호화 유닛의 심도(depth)와 상기 이전 예측 유닛이 포함된 이전 부호화 유닛의 심도가 일치하고, 현재 예측 유닛의 파티션 크기와 이전 예측 유닛의 파티션 크기가 일치하는지 여부로서 상기 현재 예측 유닛의 크기와 상기 이전 예측 유닛의 크기 일치 여부를 판단하는 것을 특징으로 하는 부호화기.
제3항에 있어서,
상기 이전 부호화 유닛의 심도 및 상기 이전 부호화 유닛에 포함된 상기 이전 예측 유닛의 파티션 크기에 관한 정보를 저장하는 이전 프레임 정보 저장부를 더 포함하는 부호화기.
제1항에 있어서,
지정된 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 획득하는 정수픽셀 탐색부를 더 포함하되,
상기 서브펠 움직임 추정의 수행 여부에 의해 상기 정수배 움직임 벡터 또는 서브펠 단위의 움직임 벡터가 최종 움직임 벡터로 출력되는 것을 특징으로 하는 부호화기.
제5항에 있어서,
상기 최종 움직임 벡터를 이용하여 움직임 추정된 예측 유닛의 예측 모드(prdeiction mode)별 비용값을 산출하는 비용 산출부를 더 포함하는 부호화기.
제6항에 있어서,
상기 예측 모드는 Inter 2Nx2N, Inter 2NxN, Inter Nx2N 및 Inter NxN 중 하나 이상인 것을 특징으로 하는 부호화기.
제6항에 있어서,
상기 비용값은 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference) 및 SATD(Sum of Absolute Transformed Difference) 중 하나 이상을 사용하여 산출되는 것을 특징으로 하는 부호화기.
서브펠 움직임 추정 생략 방법에 있어서,
(a) 판단부가 현재 예측 유닛의 크기가 부호화 모드가 결정된 이전 프레임 내에서 동일 위치에 존재하는 이전 예측 유닛의 크기와 일치하는지 여부를 판단하는 단계; 및
(b) 현재 예측 유닛의 파티션 크기가 이전 예측 유닛의 파티션 크기와 일치하는 경우에만, 서브펠(sub-pel) 탐색부가 서브펠 단위의 움직임 추정을 수행하는 단계를 포함하는 서브펠 움직임 추정 생략 방법.
제9항에 있어서,
상기 판단부는 상기 현재 예측 유닛이 포함된 현재 부호화 유닛의 심도(depth)와 상기 이전 예측 유닛이 포함된 이전 부호화 유닛의 심도가 일치하고, 현재 예측 유닛의 파티션 크기와 이전 예측 유닛의 파티션 크기가 일치하는지 여부로서 상기 현재 예측 유닛의 크기와 상기 이전 예측 유닛의 크기 일치 여부를 판단하는 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.
제10항에 있어서,
상기 이전 부호화 유닛의 심도 및 상기 이전 부호화 유닛에 상응하는 상기 이전 예측 유닛의 파티션 크기에 관한 정보가 이전 프레임 정보 저장부에 저장되는 단계가 상기 단계 (a)에 선행하는 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.
제9항에 있어서,
상기 현재 예측 유닛이 현재 프레임 및 현재 부호화 유닛 내에서의 위치 식별과 상기 이전 예측 유닛이 상기 이전 프레임 및 이전 부호화 유닛 내에서의 위치 식별을 위해 인덱스(index)가 각각 이용되는 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.
제9항에 있어서,
상기 단계 (b) 이전에 상기 서브펠 단위의 움직 추정을 수행하는 지정된 탐색 영역에서 정수배 단위로 움직임 추정을 하여 정수배 움직임 벡터를 획득하는 단계가 수행되고,
상기 서브펠 움직임 추정의 수행 여부에 의해 상기 정수배 움직임 벡터 또는 서브펠 단위의 움직임 벡터가 최종 움직임 벡터로 출력되는 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.
제13항에 있어서,
상기 최종 움직임 벡터를 이용하여 움직임 추정된 예측 유닛의 예측 모드(prdeiction mode)별 비용값이 산출되는 것을 특징으로 서브펠 움직임 추정 생략 방법.
제14항에 있어서,
상기 예측 모드는 Inter 2Nx2N, Inter 2NxN, Inter Nx2N 및 Inter NxN 중 하나 이상인 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.
제14항에 있어서,
상기 비용값은 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference) 및 SATD(Sum of Absolute Transformed Difference) 중 하나 이상을 사용하여 산출되는 것을 특징으로 하는 서브펠 움직임 추정 생략 방법.