KR100595144B1 - 적응형 양자화 제어 방법. - Google Patents

Abstract

본 발명은 영상의 부호화 방법에 있어, 특히 동영상(motion picture)을 압축하기 위하여 수행되는 양자화 스텝(quantization)을 코딩(coding)되는 블록의 복잡도에 따라 제어하고자 한 적응형 양자화 제어 방법에 관한 것이다.

종래에는 상기에서와 같이, 부호화하고자 하는 현재 블록의 복잡도와 영상전체 블록의 복잡도 즉, 각 영상의 그룹(GOP; Group Of Picture)에 할당되는 비트의 비트율에 따라 양자화 계수를 설정하여 양자화를 실행하도록 하므로써, 코딩할 필요없는 영역까지 코딩하게 되므로써 전송시간이 오래걸리거나, 또는 필요한 정보를 코딩하지 못하고 짤리는 경우가 발생되어 디코딩(decoding)된 화면이 선명하지 못한 경우가 발생하게 된다.

본 발명에서는 이와 같은 종래의 문제점을 해결하기 위하여 현재 부호화되는 블록의 복원영상에 대한 에러값을 전체 영상의 평균 에러값과 비교하여 비교치를 결정하여 양자화 스텝을 결정하도록 하므로써, 각 영상의 블록별로 적절하게 양자화 계수를 설정하도록 하므로써, 코딩효율을 향상시켜, 재생시 재생에러의 감소 및 화질을 향상시킬 수 있도록 함은 물론, 저전송률에서도 화질의 에러를 저감시키고, 전송률을 향상시킬 수 있도록 하는 것이다.

Description

적응형 양자화 제어방법{ AN ADAPTIVE QUANTIZATION ALGORITHM FOR VIDEO CODING}

본 발명은 영상의 부호화 방법에 있어, 특히 동영상(motion picture)을 압축하기 위하여 수행되는 양자화 스텝(quantization)을 코딩(coding)되는 블록의 복잡도에 따라 제어하고자 한 적응형 양자화 제어 방법에 관한 것이다.

일반적으로 동영상 압축부호화는 원 영상(original picture)의 화질을 손상시키지 않으면서, 높은 압축 비를 얻을 수 있도록 하여 전송률을 향상시킬 수 있도록 함을 주목적으로 하고 있는 바, 높은 압축비를 얻기위해서는 시간상 및 공간상의 리던던시(redundancy)를 줄여야 한다.

그러므로, 시간상의 리던던시를 줄이기 위하여 각 프레임(frame)에 대하여 움직임을 추정하고, 추정된 움직임에 대하여 복원영상을 만들어, 원영상과 비교하여 움직임 벡터(motion vector)를 검출하여 압축하도록 한다.

그리고, 공간상의 리던던시를 줄이기 위하여 영상을 블록(block)단위로 각각의 블록에 대하여 DCT(Discret Cosine Transform) 및 양자화를 수행하여, 압축하고 있다.

도 1은 동영상 압축부호화 장치의 구성을 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 동영상 압축부호화 장치는 필드/프레임 저장부(1)에 필드/프레임단위로 저장된 입력 영상은 감산기(2)를 거쳐 DCT부(3)에서 DCT처리되어 프레임의 블록단위로 주파수별 배열된 후, 양자화부(4)에서 양자화를 실행하게 된다.

이와 같이 양자화부(4)를 통해 양자화된 가변길이코딩부(VLC;Variable Lenth coding)(5)에서 코딩되어 멀티플렉서(MUX)(6)를 거쳐 버퍼(buffer)(7)를 통해 출력된다.

이때, 상기 양자화부(3)에서 출력되는 영상은 상기 양자화부(3)를 통해 출력되는 신호를 역양자화부(8)에서 역양자화하고, 이를 다시 역DCT부(9)에서 역DCT를 실행하여 복원영상을 만들어 메모리(10)에 저장하게 되며, 움직임 추정 및 보상부(11)에서 저장된 복원영상에 대하여 그 움직임을 추정하여 합산기(12)를 통해 다음 부호화하고자 하는 영상에 대한 움직임을 보상하게 된다.

이와 같이 움직임이 보상된 영상은 상기 감산기(2)로 입력되어 필드/프레임부(1)로 부터 출력되는 원영상과의 차이를 검출하여 에러(error)를 검출하게 되고, 검출된 에러에 대하여 다시 상기 DCT부(3) 및 양자화부(4)를 통해 DCT 및 양자화를 실행하여 연속적으로 영상압축을 실행할 수 있도록 한다.

또한, 움직임 추정 및 움직임 보상부(11)에서는 원영상과 복원연상과의 차이값(MV; Motion Vector)을 구해 움직임 벡터 코딩부(13)를 통해 가변길이 코딩방법으로 코딩된 후, 멀티플렉서(6)에서 가변길이 코딩부(4)에서 코딩된 신호와 합성되어 버퍼(7)를 통해 출력된다.

상기 버퍼(7)를 통해 출력되는 움직임 벡타값은 움직임 보상에 대한 정보로서 디코더(decoder)에서 사용되어지게 된다.

이와 같이 영상압축을 실행함에 있어, 상기 양자화부(4)의 양자화 스텝은 코딩제어부(15)에서 제어하게 되는 바,

버퍼(7)의 비트율(bit rate)을 판단하여 연산기(14)로 부터 연산출력된 필드/프레임저장부(1)로 부터 출력되는 영상의 변화분(activity)을 입력받아 양자화부(4)의 양자화 계수값을 제어하여 주게 된다.

즉, 양자화 스텝의 제어는 부호화하고자 하는 입력 영상의 현재 블록의 복잡도와 입력 영상 전체의 평균 복잡도를 비교하고, 그 비교결과에 따라 제어되는 것이다.

본 발명에서는 재생화질의 절대적인 영향을 미치게 되는 양자화 제어 방법을 제공하고자 하는 것으로,

종래에는 상기에서와 같이, 부호화하고자하는 입력 영상의 현재 블록에 대한 복잡도와 영상 전체의 복잡도 즉, 각 영상의 그룹(GOP; Group Of Picture)에 할당되는 비트의 비트율에 따라 양자화 계수를 설정하여 양자화를 실행하도록 하므로써, 코딩할 필요없는 영역까지 코딩하게 되므로써 전송시간이 오래걸리거

나, 또는 필요한 정보를 코딩하지 못하고 짤리는 경우가 발생되어 코딩(decoding)된 화면이 선명하지 못한 경우가 발생하게 된다.

본 발명에서는 이와 같은 종래의 문제점을 해결하기 위하여 현재 부호화되는 블록의 복원영상에 대한 에러값을 전체 영상의 평균 에러값과 비교하여 비교치를 결정하여 양자화 스텝을 결정하도록 하므로써, 각 영상의 블록별로 적절하게 양자화 계수를 설정하도록 하므로써, 코딩효율을 향상시켜, 재생시 재생에러의 감소 및 화질을 향상시킬 수 있도록 함은 물론, 저전송률에서도 화질의 에러를 저감시키고, 전송률을 향상시킬 수 있도록 한 것이다.

본 발명 적응형 양자화 제어 방법의 실행수순을 설명하면 다음과 같다.

부호화되는 현재 블록의 복잡도를 전체 블록의 평균복잡도와 비교하여 제 1양자화 스텝을 결정하는 제 1과정과,

복원영상에 대하여 현재 블록의 에러값을 전체 영상의 평균 에러값과 비교하여 비교치를 결정하는 제 2과정과,

결정된 비교치를 상기 제 1과정의 양자화 스텝에 적용하여 최종적인 제 2양자화 스텝을 결정하는 제 3과정으로 이루어짐을 특징으로 한다.

그리고, 부호화하는 영상의 특성을 판단하는 과정을 더 포함하여 이루어지도록 하여 상기 과정에서 판단되는 결과에 상기 제 1과정 및 제 3과정에서 설정되는 제 1양자화 스텝 또는 제 2양자화 스텝을 선택적으로 결정할 수 있도록 함을 특징으로 한다.

그리고, 상기 제 2과정에서의 비교치(ratio)는 다음의 수학식 1과 같이 설정됨을 특징으로 한다.

; earray[j]는 j번째 매크로 블록의 에러 합계,

j=0, j<B, B는 한프레임내의 매크로 블록의 수

average는 영상 전체 블록에 대한 에러평균값

; mquant는 양자화 계수값

이와 같은 실행수순을 갖는 본 발명 적응형 양자화 제어 방법은 움직임 보상에 따른 복원영상에 대한 블록의 에러값을 전체 영상의 평균에러값과 비교하여 비교 결과치에 따라 양자화 계수를 설정하여 부호화 할 수 있도록 하는 것으로,

도 3은 본 발명 적응형 양자화 제어 방법을 따른 부호화 장치의 구성블록도로서, 앞서 설명한 도 1의 부호화 장치와 하드웨어적인 변화는 없으며, 연산기(14')에서는 블록의 에러값을 연산하기 위하여 감산기(2)로 부터의 원영상과의 비교에 따른 에러값을 입력받게 되고, 이에 따라 코딩 제어부(15')에서 다음의 수순을 갖고 양자화 스텝을 제어하게 된다.

입력영상으로 부터 부호화되는 현재 블록의 복잡도를 입력영상 전체의 평균 복잡도와 비교하여 그 값에 따라 양자화 스텝을 결정하고, 이에 따라 첫번째 부호화되는 영상의 양자화를 실행하게 된다.

이후, 상기 양자화된 영상을 복원하고, 복원된 영상에 대하여 다음 영상에 대하여 움직임을 추정하고, 추정된 움직임 벡터에 따라 다음 영상의 움직임을 보상하게 된다.

이와 같이 움직임이 보상된 복원영상은 감산기(2)로 입력되고, 감산기(2)에서는 필드/프레임 저장부(1)로 부터 입력되는 다음 부호화될 다음 영상과 복원 영상과의 차이분을 구하여 이후의 DCT 및 양자화를 실행하게 되는 바,

이때의 자화부(4)에서 실행되는 양자화 스텝은 상기에서 발생된 차이분 즉, 에러값을 연산기(14')에서 구하고, 이를 코딩 제어부(15')에서 상기에서와 같이 연산된 현재 블록의 에러값(earray)을 입력영상의 전체 블록의 평균에러값(average)과 비교하여 구한 비교값(ratio)에 따라서 결정되어진다.

수학식 1에서 볼때, 현재 블록의 에러값(earray)이 전체 블록의 평균에러값(average)보다 작을 경우에는 비교값(ratio)이 1보다 작아지므로써, 수학식 2에서 구해지는 양자화 계수 mquant는 이전 영상의 양자화 계수보다 커지게 된다.

그러나, 현재 블록의 에러값(earray)이 평균에러값(average)보다 클경우에는 비교값(ratio)이 1보다 커지게 되므로써, 수학식 2에서 볼때 구해지는 양자화 계수 mquant는 이전 영상의 양자화 계수보다 작아지게 된다.

즉, 평균에러값(average)보다 작다는 것은 부호화하고자 하는 현재 블록의 복잡도가 낮다는 것으로, 양자화 스텝 사이즈를 늘여 성글게(coarse) 양자화를 실행하게 되는 것이며, 평균에러값(average)보다 크다는 것은 부호화하고자 하는 현재 블록의 복잡도가 높다는 것으로, 이때는 양자화 스텝 사이즈를 줄여

세밀(fine)하게 양자화를 실행하게 되는 것이다.

여기서, 평균에러값(average)은 상기 수학식 3에서와 같이, 한 프레임에 존재하는 모든 블록에서 발생되는 에러의 평균값이다.

그리고, 이와 같이 양자화 제어가 이루어짐에 있어, 부호화하고자 하는 영상의 특성 즉 영상의 구성정도, 부호화된 데이타의 전송선로등을 고려하여 상기의 과정에 있어, 부호화하고자 하는 블록의 에러를 평균에러값과 비교하여 양자화 스텝을 제어할 것인가, 아니면 종래와 동일하게 부호화하고자 하는 블록

의 복잡도를 영상의 전체블록의 복잡도와 비교하여 양자화 스텝을 적용할 것인가를 선택적으로 실행하게 된다.

양자화 스텝 사이즈를 줄이게 되면, 그만큼 코딩 데이타가 커지게 되고, 양자화 스텝 사이즈를 늘이게 되면, 코딩 데이타가 줄어들게 된다.

따라서, 저전송률을 갖는 모뎀을 사용하게 될 경우에 있어, 부호화하여 전송하고자 하는 전체 영상의 블록에 대하여 이를 감안하여 양자화 스텝 사이즈를 제어하게 되면, 화질의 손실을 최소화하면서, 전송시간을 줄일 수 있으며, 고전송률을 갖는 전용망을 이용하게 될 경우에는 굳이 상기와 같이 블록의 에러값에 따른 양자화 스텝 제어를 하지 않아도 현재 블록의 복잡도를 전체 블록의 복잡도만을 비교하여 간단히 양자화 스텝을 제어하여도 되기 때문이다.

이와 같은 양자화 제어에 있어,D첨부된 도면을 참조하여 그 실행수순의 예를 설명하면 다음과 같다.

도 2a에서와 같은 입력영상 프레임이 존재할 때, 일반적으로 영상의 움직임 보상은 I 프레임을 코딩한 후, I 프레임으로 부터 움직임을 추정하여 P프레임을 코딩하고, I 또는 P 프레임으로 부터 B 프레임을 추정하여 코딩하게 되는 바,

B프레임은 도 2b에서와 같이, 이전의 P 프레임 또는 이후의 P 프레임의 움직임 벡타값을 이용하여 그 위치를 추정할 수 있는 데, 일반적으로는 가까운 곳의 프레임을 이용게 된다.

이와 같은 움직임 벡타에 의한 움직임 추정 및 보상을 실행하여 DCT 및 양자화를 실행하게 됨에 있어,

먼저, I 프레임에 대하여 종래와 동일하게 프레임 전체의 평균복잡도를 이용하여 양자화를 실행하여 코딩을 실행한다.

이와 같이 I 프레임의 코딩이 완료되면, 다음 코딩하고자 하는 P 프레임과 코딩실행된 현재 I 프레임을 복원하여 움직임 추정된 P프레임과 비교하여 각 블록의 그 차만큼의 에러를 검출하게 된다.

이와 같이 검출된 에러는 P 프레임의 매크로 블록 에러합계인 SAD(Sum of absolute Difference)로서, P프레임 전체 매크로 블록의 평균 에러값(average)과, 상기 에러의 합계(earray)를 비교하게 된다.

상기 수학식 1에서와 같이, 그 비교치(ratio)가 1보다 크게 되면, 평균에러값(average)보다 P 프레임의 SAD가 더 크다는 것을 의미하므로써, 부호화하고자 한 현재의 블록의 양자화 스텝을 늘여 세밀하게 양자화를 실행하도록 하고, 그 비교치(ratio)가 1보다 작으면 평균에러값(average)보다 P 프레임의 SAD가 더 작다는 것을 의미하므로, 양자화 스텝을 줄여 성글게 양자화를 실행하도록 한다.

이와 같이 하여 P 프레임의 코딩이 완료되면, 다음의 코딩될 B 프레임에 대하여서도 P 프레임으로부터 추정된 B 프레임에 대하여 상기에서와 같은 과정을 반복하여 양자화를 제어하게 되는 것이다.

이때, 상기에서 설명한 바와 같이, 영상의 특성을 고려하여 상기와 같은 블록의 에러값을 평균에러값과 비교하여 양자화를 제어하는 과정 또는 종래에서와 같은 과정인 코딩하고자 하는 현재 블록의 복잡도를 프레임 전체의 복잡도와 비교하여 양자화를 제어하는 과정을 선택적으로 양자화의 스텝을 결정할 수 있다.

도 4는 부호화되어질 입력영상의 예를 들어 종래(TM5; Test Model5)와 본 발명(propose)에 대하여 비교한 것으로, 각 전송률(2.5Mbps, 4.0Mbps, 6.0Mbps)에서 부호화되어질 프레임의 수와 에러변화값의 관계 및 PSNR의 관계를 나타낸 파형도이다.

이상에서 설명한 바와 같이, 재생 화질에 절대적인 영향을 미치는 양자화 스텝을 부호화하고자하는 영상

의 복잡도와 평균복잡도를 비교하여 양자화를 제어 또는 복원 영상에 대한 원영상과의 에러값을 부호화 하고자하는 영상의 전체 평균에러값과 비교하여 그 비교결과에 따라 양자화를 제어하도록 하므로써, 저 전송률을 갖는 전송선로에 있어서도, 도 4에서와 같이, 재생 화질의 에러감소 및 PSNR(Peak Signal-to-Noise Ratio)이 향상되는 효과가 있다.

도 1은 일반적인 동영상 압축 부호화장치의 구성을 나타낸 블록도.

도 2a는 부호화하기 위하여 연속적으로 입력되는 영상의 구조를 개략적으로 나타낸 도면.

도 2b는 움직임 보상과정에 있어서, B 프레임의 움직임을 추정하기 위한 과정을 설명하기 위한 도면.

도 3은 본 발명 적응형 양자화 제어 방법에 따른 동영상 압축 부호화장치의 구성을 나타낸 블록도.

도 4는 본 발명에 있어, 부호화되어질 입력영상의 예를 들어 종래(TM5)와 본 발명(propose)에 대하여 비교한 것으로, 각 전송률(2.5Mbps, 4.0Mbps, 6.0Mbps)에서 부호화되어질 프레임의 수와 에러변화값의 관계 및 PSNR의 관계를 나타낸 파형도.

Claims (3)

1. 현재 블록의 복잡도를 전체 블록의 평균 복잡도와 비교하여 첫 번째 부호화되는 영상의 제 1 양자화 스텝을 결정하는 제 1 과정;

   상기 제 1과정에서 양자화 된 영상을 복원하고, 상기 복원된 영상에 대하여 ,다음 부호화될 영상과 복원 영상과의 움직임 추정의 차이분인, 현재 블록의 에러값을 전체 영상의 평균 에러값과 비교하여 비교치를 결정하는 제 2 과정;

   상기 제 2 과정에서 결정된 비교치를 상기 제 1 단계의 양자화 스텝에 적용하여 최종적인 제 2 양자화 스텝을 결정하는 제 3 과정;

   부호화되는 영상의 특성을 판단하는 제 4 과정;

   상기 제 4 과정에서 판단되는 결과에 따라서 상기 제 1 과정에서 설정되는 제 1 양자화 스텝 또는 제 3 과정에서 설정되는 제 2 양자화 스텝 중에서 양자화 스텝이 선택되는 제 5 과정을 포함하는 것을 특징으로 하는 적응형 양자화 제어 방법.
2. 제 1항에 있어서, 상기 제 2 과정에서의 비교치(ratio)는

   ratio=

   

   으로 나타낼 수 있음을 특징으로 하는 적응형 양자화 제어 방법.

   (여기서, earray[j]는 j번째 매크로 블록의 에러 합계를 나타내고,

   j=0, j<B, B는 한프레임내의 매크로 블록의 수를 나타내며,

   average는 영상 전체 블록에 대한 에러 평균값을 나타낸다.)
3. 제 1항에 있어서, 상기 제 3 과정에 있어, 제 1 양자화 스텝에의 적용은,

   mquant=

   

   와 같이 나타낼 수 있음을 특징으로 하는 적응형 양자화 제어 방법.

   (여기서, mquant는 양자화 계수값을 나타낸다.)

Images