KR20070109556A - 부호화 방법 - Google Patents

Abstract

본 발명은 부호화 방법에 관한 것으로, 특히 동영상의 부호화 시에 DCT 연산 이전에 DCT 계수를 미리 추정하여 DCT 연산을 수행하지 않도록 함으로써 부호화 속도를 향상시키도록 하는데 목적이 있다. 이러한 목적의 본 발명은 동영상 부호화 방법에 있어서, 매크로 블록의 SAD(절대차합)을 계산하는 제1 단계와, 상기 SAD 값이 제1 문턱값(Th1) 보다 작은 경우에 해당 매크로 블록의 DCT(이산 코사인 변환) 계수를 '0'으로 예측하는 제2 단계와, 상기 SAD 값이 제1 문턱값(Th1) 보다 작지 않은 경우에 해당 매크로 블록의 움직임 벡터 값을 확인하는 제3 단계와, 상기 SAD 값이 제1,제2 문턱값 사이에 있는 경우에 상기 움직임 벡터 값에 따라 해당 매크로 블록의 DCT 값을 '0'으로 예측하는 제4 단계를 포함하여, DCT 계수가 '0'으로 추정된 매크로 블록에 대해 DCT 및 양자화를 생략하도록 구성함을 특징으로 한다.

Description

부호화 방법{ENCODING METHOD FOR MOVING PICTURE}

도1은 본 발명의 실시 예에서 움직임 추정 영역의 예시도.

도2는 본 발명의 실시 예에서 각각의 움직임 벡터 영역의 예시도.

도3은 본 발명의 실시 예에서 문턱값의 위치를 보인 도면.

도4는 본 발명의 실시 예에서 DCT 계수 추정 과정을 보인 동작 순서도.

본 발명은 영상 압축 기술에 관한 것으로, 부호화 방법에 관한 것이다.

현재 디지털 신호처리 기술의 발전으로 멀티미디어 서비스가 제공되고 있다.

원활한 멀티미디어 서비스를 위해 디지털 데이터 특히, 디지털 영상 정보의 부호화 및 저장, 전송을 위해 압축 기술이 연구되어 왔으며, 더불어 디지털 영상 정보의 처리를 위한 표준규격이 요구되었다.

이에 따라 국제전기통신연합(ITU)은 유무선 통신망 환경에서 동영상 서비스를 위한 표준 규격인 H.261과 H.263을 제정하였고, 세계표준화기구(ISO)도 동영상 표준 규격인 MPEG-1, MPEG-2, MPEG-4를 마련하는 등 세계적인 표준화가 논의되었다.

H.263+와 MPEG-4 표준이 개발된 뒤 무선통신이 급격히 확산되면서 기존의 압축방법에 비해 더욱 향상된 압축효율을 제공하고, 다양한 통신환경을 수용할 수 있는 동영상 압축기술 규격의 필요성이 대두했다.

이에 ITU는 H.26L로 명명한 차세대 부호화 방식의 기술제안요청서를 발표하였으며, 이후 H.264라는 표준을 승인하였다.

차세대 동영상 압축 표준 H.264는 다양한 네트워크 환경에 쉽게 부응할 수 있는 유연성과 동영상의 부호화 효율성 측면에서 MPEG-2, MPEG-4 등 기존 기술표준에 비해 더욱 향상된 기술을 제공한다.

즉, H.264가 하이브리드 비디오 부호화라는 기존 표준과 유사한 방식을 이용하고 있으나, H.264는 향상된 움직임 예측 및 보상, 부정합(mismatch)이 없는 작은 블록 크기의 블록 변환, 향상된 엔트로피 부호화, 인루프디블로킹필터(In-Loop Deblocking Filter) 등의 향상된 기술을 제공한다.

이러한 H.264는 매우 낮은 비트율에서도 뛰어난 화질과 음질을 제공함으로 휴대용 미디어 플레이어, 디지털방송, 유무선통신, 주문형 비디오(VOD)/주문형 음악(MOD), 지상파 DMB/위성 DMB 등의 다양한 분야에 응용이 가능하다.

한편, 영상 압축 표준에서는 동영상 부호화 시에 시간적 중복성(temporal redundancy)를 제거하여 비트율(bit rate)를 줄이기 위해 움직임 추정(motion estimation)을 수행한다.

영상 압축 표준에서의 움직임 추정은 매크로블록 단위 또는 매크로블록을 분할한 서브블록 단위로 수행한다.

특히, H.264는 다양한 크기의 가변 블록 기반의 움직임 추정(variable block-based motion estimation)을 사용함으로 부호화 효율이 높고 아울러 1/4화소 단위의 움직임 벡터 예측을 수행함으로 MPEG-4보다 더욱 정확한 움직임 추정이 가능하다.

움직임 벡터의 예측(prediction)은 시간축을 기준으로 과거 영상을 참조하거나 과거 영상과 미래 영상을 모두 참조하여 수행된다. 현재 프레임의 부호화 또는 복호화에 참조되는 영상을 참조 영상(reference frame)이라고 한다.

H.264는 복수개의 참조영상을 지원하기 때문에 현재 블록과 중복성이 가장 많은 프레임의 블록을 참조영상으로 선택하여 이전 프레임만을 참조영상으로 사용할 때 보다 더욱 큰 부호화 효율을 얻을 수 있다.

또한, 움직임 추정에 쓰이는 가변블록 모드와 3가지의 공간예측 모드(Intra16×16, Intra4×4, IBLOCK), SKIP모드 등 모든 가능한 부호화 모드 중에서 가장 최적의 모드를 선택하기 위해 율-왜곡 최적화(Rate-Distortion Optimization) 기술을 사용하여 H.264 BP(Baseline Profile)의 부호화 효율을 더욱 향상시켰다.

따라서, H.264는 새로운 부호화 기술을 사용함으로 기존의 H.263이나 MPEG-4 SP(Simple Profile)에 비해 더욱 효율적으로 데이터를 압축하면서도 선명한 화질을 얻을 수 있다.

그러나, H.264는 최적의 부호화를 위한 계산이 복잡하고 연산량이 많아 MPEG-4 SP보다도 약 16배 이상으로 복잡도가 높다.

따라서, H.264의 실제 응용을 용이하도록 연산량을 줄이는 기술이 필요하다.

이에 따라, 본 발명은 종래의 문제점을 개선하기 위하여 동영상의 부호화 시에 DCT 연산 이전에 DCT 계수를 미리 추정하여 DCT 계수 계산 과정을 생략할 수 있도록 함으로써 부호화 속도를 향상시키도록 창안한 부호화 방법을 제공하는데 그 목적이 있다.

본 발명은 상기의 목적을 달성하기 위하여 동영상 부호화 방법에 있어서, 매크로블록의 SAD(Sum of Absolute Difference : 절대차합)을 계산하여 제1,제2 문턱값(Th1)(Th2)과 비교하는 제1 단계와, 상기 SAD 값이 제1 문턱값 보다 작은 경우에 해당 매크로 블록의 DCT(Discrete Cosine Transform : 이산 코사인 변환) 계수를 '0'으로 예측하는 제2 단계와, 상기 SAD 값이 제1,제2 문턱값 사이에 있는 경우에 해당 매크로 블록의 움직임 정도가 작으면 해당 매크로 블록의 DCT 계수를 '0'으로 예측하는 제3 단계를 포함하여 수행하도록 구성함을 특징으로 한다. 단, Th1<Th2.

상기 과정을 수행함에 있어서, SAD 값이 제2 문턱값 보다 크면 해당 매크로 블록에 대한 DCT 연산을 수행하는 단계를 포함하여 수행하도록 구성함을 특징으로 한다.

상기 제3 단계를 수행함에 있어서, 움직임 벡터 값이 '0'~'4'인 경우 SAD 값이 제3 문턱값(Th3) 보다 작으면 해당 매크로 블록의 DCT 계수를 '0'으로 예측하는 과정과, 움직임 벡터 값이 '4'~'8'인 경우 SAD 값이 제2 문턱값이면 해당 매크로 블록의 DCT 계수를 '0'으로 예측하는 과정을 수행하도록 구성함을 특징으로 한다. 단, Th1<Th3<Th2.

상기 과정을 수행함에 있어서, Th1<Th3<Th2이며, Th2=1.5xTh1, Th3=1.25xTh1이다.

상기 과정을 수행함에 있어서, SAD가 제1 문턱값 보다 크고 제3 문턱값과 일치하지 않은 경우 움직임 벡터 값이 '4'~'16'이면 해당 매크로 블록의 DCT 계수를 계산하는 단계를 더 포함하여 수행하도록 구성함을 특징으로 한다.

즉, 본 발명은 SAD와 움직임 벡터(MV) 값을 이용하여 DCT 계수를 계산하기 전에 미리 DCT 계수를 추정함으로써 DCT 계수가 '0'인 경우에 해당 매크로 블록에 대한 DCT 계수의 계산 과정을 생략할 수 있도록 하는 것이다.

이하, 본 발명을 설명하면 다음과 같다.

본 발명의 기술적 구성요지는 바람직한 실시 예에서 상세히 설명하기로 한다. 본 발명의 바람직한 실시 예에서는 구체적인 처리 흐름과 같은 많은 특정 상세 설명들을 기재함은 물론 도면을 첨부하여 본 발명에 대한 전반적인 이해를 돕기로 한다. 그리고, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략하기로 한다.

본 발명의 실시 예에서는 H.264를 적용하는 부호화기의 구현 관점에서 설명하기로 한다.

도4는 본 발명의 실시 예에 따른 DCT 계수 추정 과정의 동작 순서도로서 이에 도시한 바와 같이, 매크로 블록의 SAD(절대차합)을 계산하는 제1 단계와, 상기 SAD 값이 제1 문턱값(Th1) 보다 작은 경우에 해당 매크로 블록의 DCT(이산 코사인 변환) 계수를 '0'으로 예측하여 해당 매크로 블록에 대한 DCT 연산을 생략하는 제2 단계와, 상기 SAD 값이 제1 문턱값(Th1) 보다 작지 않은 경우에 해당 매크로 블록의 움직임 벡터 값을 확인하는 제3 단계와, 상기 SAD 값이 제1,제2 문턱값 사이에 있는 경우에 상기 움직임 벡터 값에 따라 해당 매크로 블록의 DCT 값을 '0'으로 예측하여 해당 매크로 블록에 대한 DCT 연산을 생략하는 제4 단계와, 상기 SAD 값이 제2 문턱값 보다 크면 해당 매크로 블록에 대한 DCT 연산을 수행하는 제5 단계를 수행하도록 구성한다.

이와 같이 구성한 본 발명의 실시 예에 대한 동작 및 작용효과를 도1 내지 도3을 참조하여 설명하면 다음과 같다.

H.264 부호화가 실행되면 현재 입력되는 프레임에 대해 정수 화소 단위의 움직임을 추정한 후 다시 1/4 화소 단위의 움직임을 추정한다.

즉, H.264에서는 1/4 화소 단위의 움직임을 추정하기 때문에 H.263에서 정수 화소 단위의 움직임을 추정한 후 1/2 화소 단위의 움직임만을 추정하는 것에 비하여, 더욱 세밀하게 움직임을 추정할 수 있어 현재 입력 영상과의 차이를 줄이게 된다.

그리고, H.264 부호화 과정에서 움직임 추정 후에 현재 입력 영상과 복원된 영상 사이의 차이값으로서 DCT 계수의 입력을 필요로 한다.

그런데, H.264에서는 1/4 화소 단위의 움직임을 추정하기 때문에 DCT와 양자화 과정이 수행되었을 때의 DCT 계수가 아주 작은 값을 갖게 된다.

만일, DCT 계수가 모두 '0'인 매크로 블록이라면 DCT, 양장화, IDCT(Inverse DCT) 및 역양자화를 수행할 필요가 없다.

따라서, DCT 연산 이전에 매크로 블록의 DCT 계수가 '0'이 되는지를 예측할 수 있다면 DCT 계산량을 줄여 고속의 부호화를 달성할 수 있을 것이다.

이에 따라, 본 발명의 실시 예에서는 움직임 벡터와 DCT 계수와의 관계를 이용하여 DCT 계수를 예측하는 과정을 설명하기로 한다.

설명에 앞서 SAD 값과 비교하기 위한 문턱값(Th1,Th2,Th3)은 도3에 예시된 바와 같은 위치의 값이다.

먼저, 매크로 블록의 SAD 값을 이용하여 DCT 계수를 추정하기 위해 아래의 [수학식 1]을 이용한다.

상기의 [수학식 1]은 아래와 같은 DCT와 양자화를 위한 [수학식 2] 내지 [수학식 5]를 이용하여 유도할 수 있다.

따라서, 상기 [수학식 1]을 이용하면 각각의 QP(Quantization Parameter : 양자화 파라미터)에 따라 양자화된 DCT 계수가 모두 '0'으로 계산되는 SAD를 알 수 있다.

즉, H.264 부호화 과정에서 영상 프레임의 매크로 블록을 양자화한 후 DCT 계수 값을 분석해 보면 영상의 특성이나 양자화 파라미터 값에 따라 차이는 있지만, 예를 들어 양자화 값이 '20' 이상인 경우 화면간 예측한 '44' 블록의 90% 이상에서 모든 계수가 '0'의 값임이 확인되었다.

이때, [수학식 1]을 이용하여 SAD가 계산되면 그 SAD 값을 제1 문턱값(Th1)과 비교한다.

이에 따라, SAD 값이 제1 문턱값 보다 작으면 해당 블록에 대해 DCT 및 양자화 과정을 거친 후 산출되는 DCT 계수를 '0'으로 추정한다. 즉, SAD 값이 제1 문턱값(Th1) 보다 작으면 DCT 계수를 무조건 '0'으로 추정한다.

따라서, DCT 계수가 '0'으로 추정된 해당 블록에 대한 DCT 및 양자화 과정을 수행하지 않아 연산량을 줄인다.

그런데, SAD 값이 제1 문턱값(Th1) 보다 작지 않은 경우 실제의 DCT 계수가 '0'이 아니지만 '0'으로 추정되는 에러 또는 실제의 DCT 계수는 '0'이지만 SAD 값 만으로는 '0'으로 추정되지 않는 에러가 발생할 수 있다.

따라서, SAD 값으로 DCT 계수 값을 추정하는 과정에 부가하여, SAD 값이 제1 문턱값(Th1) 보다 큰 경우 특히, 제1 문턱값(Th1)과 제2 문턱값(Th2 : Th1<Th2)의 범위에서는 움직임 벡터를 이용하여 DCT 계수를 추정하는 과정을 수행하는데, 이를 설명하면 다음과 같다.

우선, 움직임 추정 시에 하나의 16x16 매크로 블록을 16x16, 16x8, 8x16, 8x8의 블록의 나누고 다시 8x8 블록을 8x4, 4x8, 4x4의 블록으로 나누어 영상에 따라 움직임 추정을 수행하게 된다.

상기와 같은 다수의 가변 블록을 사용하여 움직임을 추정하면 영상의 특성과 움직임에 따라서 효과적인 부호화를 수행할 수 있는데, 이는 영상의 움직임이 적고 물체가 큰 경우에는 큰 블록을 사용하고, 영상의 움직임이 크고 물체가 작은 경우에는 작은 블록을 사용하여 움직임을 추정하는 것이 효과적이기 때문이다.

즉, 다수의 가변 블록을 이용하여 움직임 벡터(MV)를 계산하기 때문에 세밀한 움직임까지 추정하여 작은 차이값도 산출할 수 있어 H.264 기반의 전송 데이터량을 줄일 수 있다.

그런데, 움직임 벡터의 x축 값과 y축 값 및 두 값의 절대값이 클수록 움직임이 많고, 움직임이 많을수록 이전 블록과의 차이는 커지게 된다.

따라서, 움직임 벡터를 이용하여 해당 블록에 대한 DCT와 양자화 후에 산출되는 DCT 계수의 추정이 가능하게 된다.

즉, 도1과 같이 16x16 매크로블럭에서 4x4 단위의 움직임 벡터를 추출하는 데, H.264는 움직임 추정 모드를 4x4 블록까지 수행하므로 추가적인 계산이 없이도 일반적인 움직임 추정 과정에서 도2와 같이 각각의 4x4 블록에 대한 움직임 벡터 값을 알 수가 있다.

이에 따라, 움직임 벡터(MV) 값이 '0'~'4'의 범위에 있는 경우 SAD 값이 제2 문턱값(Th2) 보다 작다면 해당 블록에 대한 DCT 및 양자화 후에 산출되는 DCT 계수를 '0'으로 추정하게 된다.

단, 제2 문턱값(Th2)은 제1 문턱값(Th1)의 1.5배 크기이다. 상기 제2 문턱값(Th2)에 부합되는 지점에는 실제의 DCT 계수가 모두 '0'이되는 경우가 90% 이상이 위치한다.

또한, 움직임 벡터(MV) 값이 '4'~'8'의 범위에 있는 경우 SAD 값이 제3 문턱값(Th3)과 일치하면 실제의 DCT 계수를 '0'으로 추정한다. 단, Th1<Th3<Th2이며, Th3는 Th1의 1.25배 크기이다.

그리고, 움직임 벡터(MV) 값이 '8'~'16'의 범위에 있는 경우 SAD 값이 제1 문턱값(Th1) 보다 작다면 실제의 DCT 계수를 '0'으로 추정한다.

즉, 상기 움직임 벡터를 이용한 DCT 계수의 추정 과정은 제1 문턱값(Th1)과 제2 문턱값(Th2) 사이의 SAD 값을 갖는 블록에 대해서 각 블록의 움직임 벡터 값을 고려한 가중치를 이용하여 DCT 및 양자화 후에 산출되는 DCT 계수가 '0'이 되는지 판단하는 것이다.

만일, 상기 과정에서 SAD 값이 제2 문턱값(Th2) 보다 크거나 움직임 벡터(MV) 값이 '4'~'8'의 범위에 있을 때 SAD 값이 제3 문턱값(Th3)와 일치하지 않거 나 움직임 벡터(MV) 값이 '8'~'16'의 범위에 있을 때 SAD 값이 제1 문턱값(Th1) 보다 크다면 정상적으로 DCT, 양자화, IDCT 및 역양자화 과정을 수행하고 DCT 계수를 산출하게 된다.

한편, 상기에서 본 발명의 바람직한 실시예에 대해 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것이 아니라 본 발명과 관련된 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있을 것이다.

상기에서 상세히 설명한 바와 같이 본 발명은 H.264 부호화기에서 움직임 추정에서 계산되는 SAD 값와 움직임 벡터의 절대값을 이용하여 DCT 계수를 예측함으로써 DCT 계수가 '0'으로 예측되는 경우에 DCT 연산 및 양자화를 수행하지 않도록 하여 보다 빠르게 영상 부호화가 되도록 하는 효과를 달성하게 된다.

즉, 본 발명은 DCT 계수 예측을 통하여 DCT 및 양자화 계산을 하지 않고도 DCT 및 양자화 계산 시와 동일한 화질을 유지하면서도 H.264 부호화기의 동영상 압축의 속도를 높일 수 있다.

Claims (8)

1. 매크로 블록의 SAD 값이 제1 문턱값(Th1) 보다 크고 제2 문턱값(Th2) 보다 작은 경우에 상기 매크로 블록의 움직임 정도가 작으면 DCT 계수를 '0'으로 추정하는 단계를 수행하도록 구성함을 특징으로 하는 부호화 방법.
2. 제1항에 있어서, 제2 문턱값(Th2)은 제1 문턱값(Th1)의 1.5배임을 특징으로 하는 부호화 방법.
3. 제1항에 있어서, DCT 계수를 추정하는 단계는

   움직임 벡터 값이 '0'~'4'인 경우에 SAD 값이 제2 문턱값(Th2) 보다 작으면 DCT 계수를 '0'으로 추정하는 과정과,

   움직임 벡터 값이 '4'~'8'인 경우에 SAD 값이 제3 문턱값(Th3 ; Th3<Th2)이면 DCT 계수를 '0'으로 추정하는 과정을 포함하여 수행하도록 구성함을 특징으로 하는 부호화 방법.
4. 제3항에 있어서, 움직임 벡터 값이 '4'~'8'로서 SAD 값이 제3 문턱값이 아니거나 움직임 벡터 값이 '4'~'16'으로 SAD 값이 제1 문턱값(Th1) 보다 큰 경우에 DCT 계수를 계산하는 과정을 포함하여 수행하도록 구성함을 특징으로 하는 부호화 방법.
5. 제3항 또는 제4항에 있어서, 제3 문턱값(Th3)은 제1 문턱값의 1.25배임을 특징으로 하는 부호화 방법.
6. 제3항 또는 제4항에 있어서, 움직임 벡터 값은

   움직임 벡터의 x축 값의 절대값과 y축 값의 절대값의 합임을 특징으로 하는 부호화 방법.
7. 제1항에 있어서, SAD 값이 제1 문턱값(Th1) 보다 작은 경우에 해당 매크로 블록의 DCT 계수를 '0'으로 추정하는 단계를 포함하여 구성함을 특징으로 하는 부호화 방법.
8. 제1항에 있어서, SAD 값이 제2 문턱값(Th2) 보다 크면 DCT 계수를 계산하는 단계을 더 포함하여 구성함을 특징으로 하는 부호화 방법.

Images