KR20090025538A

KR20090025538A - 초기 양자화 파라미터 결정 방법

Info

Publication number: KR20090025538A
Application number: KR1020070090466A
Authority: KR
Inventors: 권순영; 이동하
Original assignee: (재)대구경북과학기술연구원
Priority date: 2007-09-06
Filing date: 2007-09-06
Publication date: 2009-03-11
Also published as: KR100930344B1

Abstract

본 발명은 영상의 특징을 고려한 초기 QP 값의 결정으로 입력 영상에 적응하는 시간을 줄이고 화질 변화를 줄일 수 있는 최적에 가까운 초기 양자화 파라미터(Quantization Parameter : QP) 값을 결정하는 방법을 제공하기 위한 것으로서, 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 정의된 다수개의 값 중에서 하나를 선택하여 초기 양자화 파라미터(Quantization Parameter : QP) 값으로 정의하는 단계와, 상기 정의된 초기 QP 값으로 첫 프레임을 부호화하여 비트양(bitrate)을 산출하는 단계와, 상기 산출된 비트양을 기반으로 검출된 입력 영상의 특징을 이용해서 새로운 초기 QP 값을 생성하는 단계를 포함하는데 있다.

영상 압축, rate control, H.264/AVC, 양자화 파라미터(QP), 초기 QP값

Description

초기 양자화 파라미터 결정 방법{Method for Decision initial Quantization Parameter}

본 발명은 초기 양자화 파라미터(Quantization Parameter : QP) 결정 방법에 관한 것으로, 특히 영상의 특징에 따라 적응하는 시간을 줄이고 화질 변화를 줄이기 위한 초기 QP 값을 결정하는 방법에 관한 것이다.

비디오 압축 표준은 ITU-T와 ISO/IEC 두 단체를 양축으로 표준화 작업이 이루어지고 있는데, 그 중에서 ITU-T의 권고(recommendation)는 주로 비디오-회의(video-conferencing)나 비디오-통신(video-telephony) 같은 실시간 비디오 통신(Real-Time video communication)을 위해 디자인 되었고, ISO/IEC가 채택한 MPEG-X(MPEG-1, MPEG-2 and MPEG-4) 표준은 대부분 저장(storage)이나 방송(broadcast) 또는 스트리밍(streaming)(video over Internet, video over Wireless) 등에 적합하도록 디자인 된 특징을 지니고 있다. 지향점이 상이한 연유로 대부분의 표준화 작업에서 H.262/MPEG-2와 같은 예외적인 표준화 작업을 제외하고는 두 단체는 독립적이고 상이한 표준화 작업을 진행시켜 나가고 있다.

H.264/AVC는 이러한 배경 속에서 ITU-T와 ISO/IEC가 함께 표준화 과정을 진 행시켜 얻어낸 새로운 비디오 압축 표준으로 비디오 응용(video application)의 모든 영역(DVD, digital cinema, low bit rate wireless application 등)에의 적용이 가능한 상당 수준의 성능의 개선이 이루어진 새로운 표준안이다.

이와 같은 H.264/AVC 표준 기술에서는 초기 QP(Quantization Parameter) 값을 정의할 때 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 4개의 값(10, 20, 25, 35) 중에서 하나를 선택하는 비트율 제어 방식을 이용한다.

상기 H.264/AVC 비트율 제어방식을 이용한 초기 QP 값을 선택하는 방법을 다음 수학식 1 및 수학식 2를 이용해서 설명하면 다음과 같다.

먼저, 수학식 1을 이용하여 픽셀 당 비트수(bpp)를 산출한다.

상기 수학식 1에서 “bpp(Bit Per Pixel)”는 픽셀 당 비트수를 말하고, “TargetBitRate”는 목표 비트율을, “FrameSize”는 화면 크기(height× width)를 나타내고, “FrameRate”는 초당 부호화되는 프레임 수이다.

이렇게 구해진 “bpp”값을 4개의 범위로 나누어서 수학식 2를 이용하여 초기 QP값(QP₀)을 정의하게 된다.

상기 수학식 2에서 기재된

값은 표준안에서 권장되는 값으로 다음 표 1과 같이 jm12.2에서의 화면 크기에 따라 설정된다. 참고로 QP₀의 값과

값은 표준화가 완료된 후에도 계속 바뀌고 있다.

이처럼 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 4개의 값(10, 20, 25, 35) 중 하나의 값으로 첫 프레임에 대한 QP 값을 고정시켜 놓기 때문에 현재 권장되고 있는 적응적인 H.264/AVC 비트율 제어 방법은 입력 영상에 적응하기 위해, 즉 비트율 제어가 이루어지기 위해서 몇 초간의 시간이 필요하게 된다.

이 과정에서 오버플로우(overflow)나 언더플로우(underflow)가 많이 발생하고 화질 열화가 심하고, 화질 변화 또한 심해지게 된다.

예를 들어, QCIF(Quater Common Intermedicate Format) 크기의 이미지를 목표 비트가 544 Kbps이고, 초당 30프레임으로 부호화 하였을 경우, 상기 수학식 1 및 수학식 2에 적용하여 산출하면, 영상에 상관없이 초기 QP 값이 “10”으로 고정이 된다. 이런 경우, “football", "carphone" QCIF(176× 144) 영상을 1초당 30프레임, 지상파 DMB 표준 비트율인 544 Kbps로 부호화한 영상의 프레임별 PSNR 값과 부호화된 비트율을 살펴보면, 도 1 및 도 2와 같다.

즉 도 1을 통해 프레임 변화에 따른 PSNR을 살펴보면, 화질 변화가 크며, 신호 대 잡음 전력비(Power Signal-to-Noise Ratio : PSNR) 값 또한 변화가 크고 평균값으로도 화질 열화를 나타내는 것을 볼 수 있다. 또한 약 13번의 GOP(Group of Picture)에서 4번의 GOP가 목표 비트 양을 초과하였고, 7번의 GOP에서 목표 비트 양보다 훨씬 적은 비트수로 부호화 된 것을 볼 수 있다. 결과적으로 "football" 영상에 대해서는 비트율 제어를 실패한 것으로 볼 수 있다.

아울러, 도 2를 통해 프레임 변화에 따른 부호화된 비트율을 살펴보면, “carphone" 영상의 경우도 초기 30프레임까지는 프레임 간의 화질 변화가 급격한 것을 볼 수 있다.

이처럼 종래에 초기 QP 값 결정시 영상의 특징을 고려하지 않는 비트율 제어방법으로 인해 효율적인 비트율 제어가 이루어지지 못하게 되어 화질의 열화가 심해지고, 또한 화질 변화가 심해지게 됨을 알 수 있다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 영상의 특징을 고려한 초기 QP 값의 결정으로 입력 영상에 적응하는 시간을 줄이고 화질 변화를 줄일 수 있는 최적에 가까운 초기 양자화 파라미터(Quantization Parameter : QP) 값을 결정하는 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 첫 프레임을 부호한 후 나온 비트양을 기준으로 입력 영상의 특징을 예측하고 이 값을 이용해서 최적에 가까운 새로운 초기 QP 값을 예 측하는 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 H.264/AVC 비트율 제어 방식을 사용해서 고정된 초기 QP 값으로 부호화 후 나온 비트양이 기준 이상이나 이하일 경우 오버플로우(overflow)나 언더플로우(underflow)가 발생할 확률이 크므로 선형 QP 예측 모델(a linear QP prediction model)로 새로운 초기 QP 값을 정의하는 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 초기 양자화 파라미터 결정 방법의 특징은 (A) 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 정의된 다수개의 값 중에서 하나를 선택하여 초기 양자화 파라미터(Quantization Parameter : QP) 값으로 정의하는 단계와, (B) 상기 정의된 초기 QP 값으로 첫 프레임을 부호화하여 비트양(bitrate)을 산출하는 단계와, (C) 상기 산출된 비트양을 기반으로 검출된 입력 영상의 특징을 이용해서 새로운 초기 QP 값을 생성하는 단계를 포함하는데 있다.

바람직하게 상기 (C) 단계는 상기 산출된 비트양을 임계치와 비교하는 단계와, 상기 비교결과 산출된 비트양이 임계치보다 크면, 상기 정의된 초기 QP 값을 더 큰 값으로 생성하는 단계와, 상기 비교결과 산출된 비트양이 임계치보다 작으면, 상기 정의된 초기 QP 값을 더 작은 값으로 생성하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 수학식

및

에 적용하여 새로운 초기 QP 값(

)을 생성하는 것을 특징으로 한다. (단, EncodedBits : 첫 프레임의 비트양,

: 선형 관계 변수이다.)

이상에서 설명한 바와 같은 본 발명에 따른 초기 양자화 파라미터 결정 방법은 초기 QP 값 결정시 영상의 특징을 고려한 비트율 제어방법으로 인해 동영상 부호화시 픽쳐 형태에 따른 화질 저하의 정도를 균등하게 함으로써, 최적의 화질을 얻을 수 있는 효과가 있다.

또한, 이로 인해 궁극적으로 압축효율이 높은 동영상 부호화기를 구현할 수 있는 것이다.

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 초기 양자화 파라미터 결정 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

도 3 은 본 발명의 실시예에 따른 H.264/AVC를 위한 초기 양자화 파라미터 결정 방법을 나타낸 흐름도이다.

도 3을 참조하여 설명하면, 먼저 H.264/AVC 비트율 제어방식으로 상기 수학식 1 및 수학식 2를 이용하여 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 4개의 값(10, 20, 25, 35) 중에서 하나를 선택하여 초기 양자화 파라미터(Quantization Parameter : 이하 “QP”라고 칭함) 값으로 정의한다(S10).

이어 상기 정의된 초기 QP 값으로 첫 프레임을 부호화(인코딩)하여 비트양(bitrate)을 산출한다(S20). 상기 첫 프레임의 부호화된 결과 산출된 비트양은 각 픽쳐에 대해 할당된 비트의 양으로서 각 픽쳐 형태에 따른 픽쳐 복잡도와 GOP(Group of Picture)내의 남은 비트의 양, 그리고 GOP내의 남은 픽쳐 수의 상관관계를 이용하여 산출한다.

이때 비트율(bitrate)과 QP 사이에는 반비례 관계가 있어서, QP 값이 증가하면 비트율은 감소하고, 반대로 QP 값이 감소하면 비트율은 증가하게 된다. 참고로, H.264/AVC에서는 통계적으로 QP 값이 12% 증가하면 비트율이 거의 12% 감소한다. 이처럼, 상기 첫 프레임의 부호화된 결과 산출된 비트양의 값과 최적의 초기 QP 값은 비례 관계에 있음을 알 수 있다. 따라서 상기 첫 프레임의 부호화된 결과 나온 비트양을 이용해서 최적의 초기 QP 값을 예측 할 수 있다.

그러기 위해 상기 산출된 비트양을 임계치와 비교한다. 이때, 상기 임계치는 H.264/AVC의 표준화 과정 시에 정의된 목표 비트율(TargetBitRate)에 따라 정해지는 값으로서, PSNR 값 및 비트율 제어를 조절하기 위한 기준이 되는 값이다.

그리고 상기 비교결과 산출된 비트양이 임계치보다 크면(S40), 입력 영상에 적응하기 위해 GOP가 오버플로우(overflow)로 발생할 확률이 큰 것으로 판단하여 상기 정의된 초기 QP 값을 더 큰 값으로 정의하여 새로운 초기 QP 값을 생성한다(S50).

또한, 상기 비교결과 산출된 비트양이 임계치보다 작으면(S40), 입력 영상에 적응하기 위해 GOP가 언더플로우(underflow)로 발생할 확률이 큰 것으로 판단하여 상기 정의된 초기 QP 값을 더 작은 값으로 정의하여 새로운 초기 QP 값을 생성한다(S60).

상기 새로운 초기 QP 값을 생성하는 방법을 상세히 설명하면 다음과 같다.

앞에서 살펴본 바와 같이 부호화된 비트양과 새로운 초기 QP 값 사이에는 다음 수학식 3 및 수학식 4와 같은 선형적인 관계가 있다. 즉, 새로운 초기 QP 값을 생성하기 위한 선형 QP 예측 모델은 첫 프레임을 부호화한 후 나온 비트양을 입력으로 하여 새로운 QP 값을 예측하는 선형 함수이다.

여기서

는 새로운 초기 QP 값이고, EncodedBits는 H.264/AVC 비트율 제어 방식으로 부호화된 첫 프레임의 비트양을 나타낸다. 그리고

의 경우는 선 형 관계 변수로 이미지와 부호화 조건에 따라서 변하는 변수이다.

한편 QP 값은 1 ~ 51 사이의 값이므로 상기 수학식 4를 이용해서 범위를 제한한다. 그리고 선형 관계 변수인

의 경우 부호화 조건에 따라 변하므로 다양한 영상에 대해서 실험을 수행하여 휴리스틱(Heuristic)하게 구해지는 것이 바람직하다.

다음 표 2는 현재 H.264/AVC가 사용되는 지상파 DMB 표준에서 주로 사용되는 영상의 크기인 QCIF에 대한 선형 관계 변수를 제시하였다. 표 2와 같이, 영상에 따라 조금의 차이는 있지만 대부분이 수학식 3의 선형 예측 관계를 유지하는 것을 확인하였다.

실시예로서 QCIF(Quater Common Intermedicate Format) 크기의 영상 “Football"을 초당 30프레임에 비트율이 544Kbps로 부호화를 한다면 기존의 방법은 초기 QP 값을 ”10“으로 선택하지만 본 발명에 따른 방식은 다음 수학식 5에 의해 구하게 된다.

상기 수학식 5와 같이, 첫 프레임을 Intra 프레임으로 기존의 방법으로 초기 QP를 “10”으로 부호화해서 나온 비트양이 “143272”비트이고, 선형 변수

값을 상기 표 2의 값을 사용하면, 최적의 초기

값은 “27”로 구해진다.

그리고 이렇게 구해진 새로운 초기 QP 값으로 첫 프레임을 재 부호화한 후(S70), 비트율 제어를 수행함으로서, 도 4 및 도 5와 같이 효율적인 비트율 제어의 결과를 얻을 수 있다(S80).

도 4 는 본 발명의 실시예에 따른 “football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 PSNR 값을 나타낸 그래프이고, 도 5 는 본 발명의 실시예에 따른 “football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 부호화된 비트율을 나타낸 그래프이다.

즉, 도 4를 참조하여 프레임 변화에 따른 PSNR을 살펴보면, 화질 변화가 작으며, 신호 대 잡음 전력비(Power Signal-to-Noise Ratio : PSNR) 값 또한 변화가 작고 평균값으로는 화질 열화가 거의 없는 것으로 나타내는 것을 볼 수 있다. 또한 약 4번의 GOP(Group of Picture)에서 모두 적절하게 부호화 된 것을 볼 수 있다. 결과적으로 "football" 영상에 대해서는 비트율 제어가 적절히 잘 이루어진 것으로 볼 수 있다.

아울러, 도 5를 참조하여 프레임 변화에 따른 부호화된 비트율을 살펴보면, “carphone" 영상의 경우도 프레임 간의 화질 변화가 거의 없는 것을 볼 수 있다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님 을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1 은 종래 기술에 따른 “football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 PSNR 값을 나타낸 그래프

도 2 는 종래 기술에 따른“football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 부호화된 비트율을 나타낸 그래프

도 3 은 본 발명의 실시예에 따른 H.264/AVC를 위한 초기 양자화 파라미터 결정 방법을 나타낸 흐름도

도 4 는 본 발명의 실시예에 따른 “football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 PSNR 값을 나타낸 그래프

도 5 는 본 발명의 실시예에 따른 “football" 및 "carphone" 영상을 비교하여 프레임 변화에 따른 부호화된 비트율을 나타낸 그래프

Claims

(A) 프레임 레이트(frame rate), 화면 크기, 비트율에 따라서 정의된 다수개의 값 중에서 하나를 선택하여 초기 양자화 파라미터(Quantization Parameter : QP) 값으로 정의하는 단계와,

(B) 상기 정의된 초기 QP 값으로 첫 프레임을 부호화하여 비트양(bitrate)을 산출하는 단계와,

(C) 상기 산출된 비트양을 기반으로 검출된 입력 영상의 특징을 이용해서 새로운 초기 QP 값을 생성하는 단계를 포함하는 것을 특징으로 하는 초기 양자화 파라미터 결정 방법.
제 1 항에 있어서, 상기 (C) 단계는

상기 산출된 비트양을 임계치와 비교하는 단계와,

상기 비교결과 산출된 비트양이 임계치보다 크면, 상기 정의된 초기 QP 값을 더 큰 값으로 생성하는 단계와,

상기 비교결과 산출된 비트양이 임계치보다 작으면, 상기 정의된 초기 QP 값을 더 작은 값으로 생성하는 단계를 포함하는 것을 특징으로 하는 초기 양자화 파라미터 결정 방법.
제 2 항에 있어서,

상기 임계치는 정의된 목표 비트율(TargetBitRate)에 따라 정해지는 값으로서, PSNR 값 및 비트율 제어를 조절하기 위한 기준이 되는 값인 것을 특징으로 하는 초기 양자화 파라미터 결정 방법.
제 1 항에 있어서,

상기 비트양은 각 픽쳐 형태에 따른 픽쳐 복잡도, GOP(Group of Picture)내의 남은 비트의 양, GOP 내의 남은 픽쳐 수의 상관관계를 이용하여 산출하는 것을 특징으로 하는 초기 양자화 파라미터 결정 방법.
제 1 항 및 제 2 항 중 하나에 있어서,

상기 (C) 단계는 수학식
및
에 적용하여 새로운 초기 QP 값(
)을 생성하는 것을 특징으로 하는 초기 양자화 파라미터 결정 방법. (단, EncodedBits : 첫 프레임의 비트양,
: 선형 관계 변수이다.)