KR101033769B1 - 영상 데이터의 인트라 예측 모드 결정 방법 - Google Patents

Abstract

본 발명은 영상 데이터의 인트라 예측 모드 결정 방법에 관한 것으로서, (a) 보조 매크로 계산수단이 주어진 영상의 맨 가장자리에 위치하는 매크로 블록의 특정 행 또는 열을 바탕으로, 특정의 단일 값을 화소값으로 가지는 보조 매크로 블록의 행 또는 열을 계산하는 과정; (b) 후보 그룹 선택수단이 상기 보조 매크로 계산수단을 통해 계산된 보조 매크로 블록의 행 또는 열을 상기 영상에 인접시킨 후, 각 매크로 블록들에 대하여 모든 인트라 예측 모드들에 대한 유사 인트라 예측을 수행함으로써, 소정 개수의 인트라 예측 모드들로 이루어진 인트라 예측 모드 후보 그룹을 선택하는 과정; 및 (c) 인트라 예측 모드 결정수단이 상기 후보 그룹 선택수단을 통해 선택한 인트라 예측 모드 후보 그룹을 바탕으로, 각 매크로 블록 간의 의존성을 계산함으로써, 서로 독립적인 매크로 블록에 대해, 인트라 예측 모드 후보 그룹에 속하는 인트라 예측 모드 중, 최소의 비용을 가지는 최종 인트라 예측 모드를 결정하는 단계; 를 포함하는 것을 특징으로 한다.

인트라 예측 모드 결정, 병렬 처리

Description

영상 데이터의 인트라 예측 모드 결정 방법{THE METHOD FOR DECIDING INTRA PREDICTION MODE OF IMAGE DATA}

본 발명은 영상 데이터의 압축 부호와에 관한 기술로서, 더욱 상세하게는 영상 데이터를 부호화할 때, 인트라 예측 연산을 병렬로 처리하여 수행 시간을 단축할 수 있는 영상 데이터의 인트라 예측 모드 결정 방법에 관한 것이다.

주지된 바와 같이, 동영상 압축에 관한 표준들, 예를 들어 H.264/AVC 에서는 동영상을 부호화할 때 하나의 그림을 여러 매크로 블록으로 나누고 매크로 블록 간의 공간적 또는 시간적 연관 관계를 이용하여 압축의 효율을 높인다.

인트라 예측은 매크로 블록 간의 공간적 연관 관계를 이용하는 것으로, 부호화하려는 매크로 블록의 화소값을 그 블록에 인접한 화소들의 값으로부터 예측하는 것을 말한다.

인트라 예측을 통해 계산되는 예측값은 매크로 블록의 크기와 예측에 사용하는 인접화소를 참조하는 방식에 따라 달라지는데, 동영상 압축에 관한 표준들에서는 매크로 블록의 크기와 인접화소 참조 방식을 조합하여 인트라 예측 모드의 종류를 몇 가지로 지정하고 그 중 하나를 선택해 부호화를 수행하도록 하고 있다.

각 매크로 블록을 어떤 인트라 예측 모드를 사용하여 부호화할 것인지를 결정할 때는 부호화에 소요되는 비트율과 복호화된 매크로 블록의 왜곡을 가급적 최소화하도록 해야 한다. 그러나 현재까지는 최소의 코스트를 가지는 모드를 찾기 위한 산술적 방법이 존재하지 않으므로, 최적의 모드를 선택하기 위해서는 가능한 모든 인트라 예측 모드에 대해 부호화 비용을 계산한 후, 그 중 비용이 가장 적은 모드를 최종 모드로 선택해야 한다. 그러나, 이러한 방법은 상당히 많은 연산량을 소요하므로 수행시간이 길어진다는 문제점이 있다.

이러한 긴 수행시간의 문제점을 극복하기 위하여, 인트라 예측 모드 결정에 필요한 연산을 병렬로 수행하는 방법이 제시되어 왔다. 그러나 종래의 기술은 매크로 블록 간의 의존성에 의하여 그 성능이 제한적이었다.

도 1 은 H.264/AVC 표준안에서 정의하는 4x4 인트라 예측 모드에 따른 매크로 블록 간의 의존성을 나타내는 일예시도이다.

인트라 예측은 인접 화소값을 이용하므로 매크로 블록을 부호화하기 위해서는 인접한 매크로 블록의 복호화 결과가 필요하다. 따라서, 어떤 매크로 블록을 인트라 예측을 통해 부호화하기 위해서 먼저 부호화 및 복호화 되어야 할 인접 매크로 블록이 존재하게 되는데, 이를 매크로 블록 간의 의존성이라 한다.

이러한 의존성은 인트라 예측 모드 결정 과정을 병렬로 처리하는데 있어 제약 사항으로 작용한다. 전술한 바와 같이 매크로 블록 간의 의존성은 각 매크로 블록들이 부호화되어야 할 순서를 제한하기 때문이다.

도 2 는 임의의 입력 예에 대하여 매크로 블록 간의 의존성에 따른 처리 순 서와 병렬도를 나타낸 일예시도이다. 도 2 에서, 매크로 블록의 이름을 구성하는 숫자는 처리 순서를 의미하며, 같은 숫자를 가진 매크로 블록은 동시에 병렬로 처리할 수 있다.

도 2 에 도시된 바와 같이, 매크로 블록 간의 의존성에 의하여 병렬도가 최대 3으로 제한되고 있는 것을 알 수 있는데, 최근 개발되고 있는 병렬 처리 하드웨어들이 지원하는 병렬도에 비하면 크게 낮은 정도이므로 충분한 성능 이득을 얻을 수 없는 문제가 생긴다. 이러한 문제는 고화질의 영상을 실시간으로 압축 부호화하는 장치의 개발을 어렵게 한다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 영상 데이터의 부호화 시, 많은 연산량을 소요하는 인트라 예측 모드 결정 과정을 높은 병렬도로 처리함으로써, 그 수행시간을 대폭 감소시킬 수 있는 영상 데이터의 인트라 예측 모드 결정 방법을 제공하는데 그 특징적인 목적이 있다.

이러한 기술적 과제를 달성하기 위하여, 본 발명은, (a) 보조 매크로 계산수단이 주어진 영상의 맨 가장자리에 위치하는 매크로 블록의 특정 행 또는 열을 바탕으로, 특정의 단일 값을 화소값으로 가지는 보조 매크로 블록의 행 또는 열을 계산하는 과정; (b) 후보 그룹 선택수단이 상기 보조 매크로 계산수단을 통해 계산된 보조 매크로 블록의 행 또는 열을 상기 영상에 인접시킨 후, 각 매크로 블록들에 대하여 모든 인트라 예측 모드들에 대한 유사 인트라 예측을 수행함으로써, 소정 개수의 인트라 예측 모드들로 이루어진 인트라 예측 모드 후보 그룹을 선택하는 과정; 및 (c) 인트라 예측 모드 결정수단이 상기 후보 그룹 선택수단을 통해 선택한 인트라 예측 모드 후보 그룹을 바탕으로, 각 매크로 블록 간의 의존성을 계산함으로써, 서로 독립적인 매크로 블록에 대해, 인트라 예측 모드 후보 그룹에 속하는 인트라 예측 모드 중, 최소의 비용을 가지는 최종 인트라 예측 모드를 결정하는 단계; 를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 영상 데이터의 부호화 시에 많은 연산량을 소요하는 인트라 예측 모드 결정과정을 높은 병렬도로 처리함으로써, 그 수행시간을 대폭 감소시킬 수 있는 효과가 있다.

또한 본 발명에 따르면, 입력 영상의 경계 외부에 보조 매크로 블록을 추가함으로써, 영상의 맨 가장자리에 위치하는 매크로 블록들 간의 의존성을 추가로 제거할 수 있는 효과도 있다.

그리고 본 발명에 따르면, 매크로 블록간 의존성을 감소시켜, 처리과정의 병렬도를 높임으로써, 최근 개발되고 있는 고병렬도의 하드웨어의 성능을 충분히 활용할 수 있도록 하는 효과도 있다.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

이에 앞서, 도 3 은 본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 시스템(S)을 개념적으로 도시한 구성도로서, 도시된 바와 같이 보조 매크로 계산수단(100), 후보 그룹 선택수단(200) 및 인트라 예측 모드 결정수단(300)을 포함하여 이루어지며, 모든 처리과정은, 주어진 영상의 맨 가장자리에 위치하는 매크로 블록을 기초로, 특정 화소값을 갖는 보조 매크로 블록의 행 또는 열을 계산하는 보조 매크로 계산수단(100), 계산된 보조 매크로 블록의 행 또는 열을 영상에 인접시킨 후, 각 매크로 블록들에 대한 유사 인트라 예측을 수행하고, 인트라 예측 모드들로 구성된 인트라 예측 모드 후보 그룹을 선택하는 후보 그룹 선택수단(200), 및 선택된 인트라 예측 모드 후보 그룹을 바탕으로, 각 매크로 블록간의 의존성을 계산하여, 서로 독립적인 매크로 블록에 대해, 인트라 예측 모드 후보 그룹에 속하는 인트라 예측 모드 중, 최소의 비용을 가지는 최종의 인트라 예측 모드를 결정하는 인트라 예측 모드 결정수단(300)을 통해 수행되는 것으로 이해하는 것이 바람직하다.

본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 방법에 관하여 도 4 내지 도 6 을 참조하여 설명하면 다음과 같다.

도 4 는 본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 방법에 관한 전체 흐름도로서, 도시된 바와 같이 보조 매크로 계산수단(100)은 주어진 영상의 맨 가장자리에 위치하는 매크로 블록의 특정 행 또는 열을 바탕으로, 특정의 단일 값을 화소값으로 가지는 보조 매크로 블록의 행 또는 열을 계산한다(S100).

여기서, 보조 매크로 블록은 가급적 가장자리에 위치한 매크로 블록들이 자신을 참조하여 예측될 수 있도록 만들어져야 하며, 보조 매크로 블록의 부호화 및 복호화 과정을 생략하기 위하여 양자화 손실이 없는 특정의 단일 값을 화소값으로 가지도록 해야한다.

이때, 보조 매크로 계산수단(100)은 보조 매크로 블록의 단일 화소값은 인접할 매크로 블록의 화소값들의 평균값으로 계산한다.

이후, 후보 그룹 선택수단(200)은 보조 매크로 계산수단(100)을 통해 계산된 보조 매크로 블록의 행 또는 열을 상기 영상에 인접시킨 후, 각 매크로 블록들에 대하여 모든 인트라 예측 모드들에 대한 유사 인트라 예측을 수행함으로써, 소정 개수의 인트라 예측 모드들로 이루어진 인트라 예측 모드 후보 그룹을 선택한다(S200).

구체적으로, 각 매크로 블록의 인트라 예측 모드 후보 그룹 선택 시 기준이 되는 비용(

, the cost of Prediction Mode Estimation)은 다음의 [수식 1] 과 같다.

[수식 1]

일반적인 동영상 부호화 방식에서 매크로 블록을 인트라 예측 모드 P로 예측할 경우의 비용은, 매크로 블록을 예측 모드 P로 추정(reconstruction)했을 때의 추정 샘플(

)와 원본 샘플 S 사이의 왜곡 정도(

)와, 매크로 블록을 예측 모드 P로 부호화할 때 소요되는 비트율(Rate)을 특정 비율(

)로 조합하여 계산한다.

이 과정에서 본 발명에 따른 후보 그룹 선택수단(200)은 실제 부호화 및 복호화를 수행하지 않기 위하여, 비트율(Rate)을 0으로, 추정 샘플(

)을 계산할 때 사용되는 주변 블록의 화소값은 복호화된 샘플이 아닌 원본의 입력 화소값을 이용 하여 비용을 계산한다.

이때, 왜곡(Distortion)은 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 등을 포함하여 여러 가지 방법으로 계산할 수 있다.

또한, 후보 그룹 선택수단(200)은 인트라 예측 모드 후보 그룹에 속하게 될 모드들을 선택할 때, 가능한 모든 인트라 예측 모드에 대해 비용을 계산한다.

그 중 최소값을

이라 할 때, 비용이

인 모드를 선택하는 것이 바람직하다. 이때,

는 0 이상의 값이며,

= 10일 수 있다.

그리고, 인트라 예측 모드 결정수단(300)은 후보 그룹 선택수단(200)을 통해 선택한 인트라 예측 모드 후보 그룹을 바탕으로, 각 매크로 블록 간의 의존성을 계산함으로써, 서로 독립적인 매크로 블록에 대해, 인트라 예측 모드 후보 그룹에 속하는 인트라 예측 모드 중, 최소의 비용을 가지는 최종 인트라 예측 모드를 결정한다(S300).

구체적으로, 인트라 예측 모드 결정수단(300)은, 각 매크로 블록 간의 의존성을 계산하기 위하여, 부호화되기 위하여 참조하는 인접 매크로 블록이 없거나, 보조 매크로 블록 또는 이미 부호화 및 복호화 된 매크로 블록만을 참조하는 매크로 블록들에 대하여, 인트라 예측 모드 후보에 속하는 모든 인트라 예측 모드에 대한 부호화 비용(

, the cost of Mode Decision)을 다음의 [수식 2] 와 같이 계 산한다.

[수식 2]

부호화 비용을 계산할 때는, 예측 모드 후보 그룹을 결정하기 위한 비용을 계산할 때와는 달리, 왜곡(D)과 비트율(R)을 계산할 때 실제 부호화 및 복호화 과정을 고려하기 위해, 복호화된 샘플(C)과 양자화 파라미터(QP)를 포함하여 계산을 수행한다 (여기서,

는 왜곡(D)과 비트율(R)을 조합하기 위한 상수). 이때, 상기 조건을 만족하는 매크로 블록이 다수 존재하는 경우, 여러 개의 스레드에서 동시에 계산을 수행하는 것이 바람직하다.

도 5 는 본 발명에 따른 H.264/AVC 표준안에서 정의하는 4x4 인트라 예측 모드로 이루어진 인트라 예측 모드 후보 그룹에 따른 매크로 블록 간의 의존성을 나타낸 일예시도로서, 도시된 바와 같이 인트라 예측 모드 후보 그룹에 어떤 모드가 속하는가에 따라 모든 인트라 예측 모드의 비용을 계산할 때에 비해 참조하는 인접 매크로 블록의 수가 줄어드는 것을 알 수 있다.

도 6 은 본 발명에 따른 임의의 입력 예에 대하여 보조 매크로 블록을 추가했을 때, 매크로 블록 간의 의존성과 처리 순서를 나타낸 일예시도로서, 도시된 바와 같이 보조 매크로 블록을 추가함으로써, 입력 그림의 맨 가장자리에 있는 매크로 블록들 중 일부의 인트라 예측 모드 후보 그룹이 변경되어 매크로 블록 간의 의 존성과 처리 단계가 줄어드는 것을 알 수 있다.

지금까지 상술한 바와 같은, 본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 방법은, 인트라 예측 모드 결정에 소요되는 연산량과 매크로 블록 간의 의존성을 줄이기 위해서, 모든 인트라 예측 모드에 대해 코스트를 계산하는 대신 먼저 각 매크로 블록에 대해 소정 개수의 가능한 인트라 예측 모드로 이루어진 인트라 예측 모드 후보 그룹을 선택하는 방법을 택한다. 이 때 입력 그림의 경계 외부에 보조 매크로 블록을 추가하면 그림의 맨 가장자리에 위치하는 매크로 블록들 간의 의존성을 추가로 제거할 수 있는 특징적인 장점을 갖는다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

도 1 은 H.264/AVC 표준안에서 정의하는 4x4 인트라 예측 모드에 따른 매크로 블록 간의 의존성을 나타내는 일예시도.

도 2 는 임의의 입력 예에 대하여 매크로 블록 간의 의존성에 따른 처리 순서와 병렬도를 나타낸 일예시도.

도 3 은 본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 시스템(S)을 개념적으로 도시한 구성도.

도 4 는 본 발명에 따른 영상 데이터의 인트라 예측 모드 결정 방법에 관한 전체 흐름도.

도 5 는 본 발명에 따른 H.264/AVC 표준안에서 정의하는 4x4 인트라 예측 모드로 이루어진 인트라 예측 모드 후보 그룹에 따른 매크로 블록 간의 의존성을 나타낸 일예시도.

도 6 은 본 발명에 따른 임의의 입력 예에 대하여 보조 매크로 블록을 추가했을 때, 매크로 블록 간의 의존성과 처리 순서를 나타낸 일예시도.

** 도면의 주요 부분에 대한 부호의 설명 **

S: 영상 데이터의 인트라 예측 모드 결정

100: 보조 매크로 계산수단 200: 후보 그룹 선택수단

300: 인트라 예측 모드 결정수단

Claims (4)

1. 보조 매크로 계산수단(100), 후보 그룹 선택수단(200) 및 인트라 예측 모드 결정수단(300)을 포함하는 영상 데이터의 인트라 예측 모드 결정 시스템을 이용한 영상 데이터의 인트라 예측 모드 결정 방법에 있어서,

   (a) 보조 매크로 계산수단(100)이 주어진 영상의 맨 가장자리에 위치하는 매크로 블록의 특정 행 또는 열을 바탕으로, 특정의 단일 값을 화소값으로 가지는 보조 매크로 블록의 행 또는 열을 계산하는 과정;

   (b) 후보 그룹 선택수단(200)이 상기 보조 매크로 계산수단(100)을 통해 계산된 보조 매크로 블록의 행 또는 열을 상기 영상에 인접시킨 후, 각 매크로 블록들에 대하여 모든 인트라 예측 모드들에 대한 유사 인트라 예측을 수행함으로써, 소정 개수의 인트라 예측 모드들로 이루어진 인트라 예측 모드 후보 그룹을 선택하는 과정; 및

   (c) 인트라 예측 모드 결정수단(300)이 상기 후보 그룹 선택수단(200)을 통해 선택한 인트라 예측 모드 후보 그룹을 바탕으로, 각 매크로 블록 간의 의존성을 계산함으로써, 서로 독립적인 매크로 블록에 대해, 인트라 예측 모드 후보 그룹에 속하는 인트라 예측 모드 중, 최소의 비용을 가지는 최종 인트라 예측 모드를 결정하는 단계; 를 포함하는 것을 특징으로 하는 영상 데이터의 인트라 예측 모드 결정 방법.
2. 제 1 항에 있어서,

   상기 (a) 과정에서,

   상기 보조 매크로 블록의 단일 화소값은, 인접할 매크로 블록의 화소값들의 평균값으로 계산하는 것을 특징으로 하는 영상 데이터의 인트라 예측 모드 결정 방법.
3. 제 1 항에 있어서,

   상기 (b) 과정에서,

   각 매크로 블록의 인트라 예측 모드 후보 그룹 선택 시 기준이 되는 비용(

   

   )은, 추정 샘플(

   

   )와 원본 샘플 S 사이의 왜곡 정도(

   

   )와, 매크로 블록을 예측 모드 P로 부호화할 때 소요되는 비트율(Rate)을 특정 비율(

   

   )로 조합하는 하기의 [수식 1] 을 통해 계산하되,

   [수식 1]

   

   실제 부호화 및 복호화를 수행하지 않기 위하여, 비트율(Rate)을 0으로, 추정 샘플(

   

   )을 계산할 때 사용되는 주변 블록의 화소값은 복호화된 샘플이 아닌 원본의 입력 화소값을 이용하여 비용을 계산하는 것을 특징으로 하는 영상 데이터의 인트라 예측 모드 결정 방법.
4. 제 1 항에 있어서,

   상기 (c) 과정에서,

   각 매크로 블록 간의 의존성을 계산하기 위하여, 부호화되기 위하여 참조하는 인접 매크로 블록이 없거나, 보조 매크로 블록 또는 이미 부호화 및 복호화 된 매크로 블록만을 참조하는 매크로 블록들에 대하여, 인트라 예측 모드 후보에 속하는 모든 인트라 예측 모드에 대한 부호화 비용(

   

   )을 다음의 [수식 2] 를 통해 계산하되,

   [수식 2]

   

   왜곡(D)과 비트율(R)을 계산할 때 실제 부호화 및 복호화 과정을 고려하기 위해, 복호화된 샘플(C)과 양자화 파라미터(QP)를 포함하여 계산을 수행하며,

   

   는 왜곡(D)과 비트율(R)을 조합하기 위한 상수인 것을 특징으로 하는 영상 데이터의 인트라 예측 모드 결정 방법.

Images