KR20050061762A

KR20050061762A - 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치

Info

Publication number: KR20050061762A
Application number: KR1020030093158A
Authority: KR
Inventors: 이영렬; 한기훈
Original assignee: 학교법인 대양학원; 삼성전자주식회사
Priority date: 2003-12-18
Filing date: 2003-12-18
Publication date: 2005-06-23
Also published as: US20050135484A1

Abstract

고속으로 부호화 모드를 결정하는 방법, 움직임 추정방법 및 부호화 장치가 개시된다. 본 발명에 따라, 부호화 모드 결정방법은 (a) 인터 16x16 모드, 인터 16x8 모드 및 인터 8x16 모드에서 매크로 블록의 움직임 추정을 수행한 후에 P8x8 모드에서 움직임 추정을 더 수행하여야 하는가를 판단하는 단계; (b) 상기 판단결과에 따라 P8x8 모드에서의 움직임 추정을 생략하거나 수행한 후에, 하나의 모드를 결정하는 단계; 및 (c) 상기 결정된 모드에서의 율-왜곡(Rate-Distortion) 코스트값에 따라서 공간예측부호화를 생략하거나 더 수행하여 그 결과를 상기 결정된 모드와 비교하여 최종 부호화 모드를 결정하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, H.264 부호화기에서 가장 복잡한 가변 블록 움직임 추정 및 공간예측 부호화를 생략하여 율-왜곡 최적화를 통한 부호화 모드 결정을 빨리함으로써 부호화 속도를 높일 수 있다.

Description

부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치 {Method of encoding mode determination and motion estimation, and encoding apparatus}

본 발명은 동영상 데이터의 부호화에 관한 것으로, 보다 상세하게는 율-왜곡 최적화(Rate-Distortion Optimization)를 이용한 부호화 모드 결정시에 가변 블록의 움직임 추정 및 공간예측부호화를 생략하여 고속으로 부호화 모드를 결정하는 방법, 움직임 추정방법 및 부호화 장치에 관한 것이다.

H.263, MPEG-4 및 H.264 등의 영상 압축 표준에서의 움직임 추정(motion estimation)은 블록 단위로 수행된다. 즉, 복수개의 매크로 블록 단위로 움직임 추정이 수행되거나 매크로 블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 움직임 추정이 수행된다. 움직임 추정은 동영상 부호화시에 시간적 중복성(temporal redundancy)을 제거하여 비트율(bitrate)을 줄이기 위해 수행한다. 특히, H.264는 다양한 크기의 가변 블록 기반의 움직임 추정(variable block-based motion estimation)을 사용하여 부호화 효율이 높다. 또한 H.264는 1/4화소 단위의 움직임 벡터 예측을 수행하여 MPEG-4에 비하여 보다 정확한 움직임 추정이 가능하다.

움직임 벡터의 예측(prediction)은 시간축을 기준으로 과거 영상을 참조하거나 과거 영상과 미래 영상을 모두 참조하여 수행된다. 현재 프레임을 부호화하거나 복호화하는데 참조되는 영상을 참조 영상이라고 한다. H.264는 복수개의 참조영상(multiple reference frames)을 지원하기 때문에 현재 블록과 중복성이 가장 많은 프레임의 블록을 참조영상으로 선택하여 이전 프레임만을 참조영상으로 사용할 때 보다 더욱 큰 부호화 효율을 얻을 수 있다.

또한 움직임 추정에 쓰이는 가변블록 모드와 3가지의 공간예측 모드(Intra16×16, Intra4×4, IBLOCK), SKIP모드 등 모든 가능한 부호화 모드 중에서 가장 최적의 모드를 선택하기 위해 율-왜곡 최적화 기술을 사용하여 H.264 BP(Baseline Profile)의 부호화 효율을 더욱 향상시켰다. 이러한 새로운 부호화 기술로 인해, H.264는 기존의 H.263이나 MPEG-4 SP(Simple Profile)에 비해 최대 1.5-2배 이상 데이터를 압축하면서 동일한 화질을 얻을 수 있다.

그러나, 상술한 것과 같이 H.264에는 여러 가지 부호화 모드가 존재한다. 그리고 그 중에서 최적의 부호화 모드를 선택하기 위해서 모든 부호화 모드하에서 움직임 추정을 해 보아야 하기 때문에 계산이 복잡하고 연산량이 많아 MPEG-4 SP 부호화시보다 약 16배 이상 복잡한 계산이 필요하다. 따라서 이러한 복잡도를 줄여 H.264의 실제 응용을 용이하게 할 수 있는 부호화 모드 결정방법이 필요하다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 H.264 표준에 따라 부호화시에 가장 많이 계산량과 시간을 차지하는 가변 블록 움직임 추정 및 공간예측 부호화를 효율적으로 생략하여 율-왜곡 최적화를 통한 부호화 모드를 빠르게 결정하는 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치를 제공하는 것이다.

상기 기술적 과제는 본 발명에 따라, (a) 인터 16x16 모드, 인터 16x8 모드 및 인터 8x16 모드에서 매크로 블록의 움직임 추정을 수행한 후에 P8x8 모드에서 움직임 추정을 더 수행하여야 하는가를 판단하는 단계; (b) 상기 판단결과에 따라 P8x8 모드에서의 움직임 추정을 생략하거나 수행한 후에, 하나의 모드를 결정하는 단계; 및 (c) 상기 결정된 모드에서의 율-왜곡(Rate-Distortion) 코스트값에 따라서 공간예측부호화를 생략하거나 더 수행하여 그 결과를 상기 결정된 모드와 비교하여 최종 부호화 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법에 의해 달성된다.

상기 (a) 단계는, (a1) 인터 16x16 모드, 인터 16x8 모드 및 인터 8x16 모드에서 매크로 블록의 움직임 추정을 수행하는 단계; (a2) 상기 각각의 모드에서 현재 픽처의 화소값과 이전 픽처의 화소값의 차이인 SAD(Sum of Absolute Difference) 값과 현재 픽처의 움직임 벡터와 이전 픽처의 움직임 벡터 차분값인 MVcost를 계산하는 단계; 및 (a3) 상기 각각의 모드에서의 (SAD+MVcost) 값을 서로 비교하여 그 결과에 따라 P8x8 모드에서 움직임 추정을 더 수행할 것인가를 판단하는 단계를 포함하는 것이 바람직하다.

또한, 상기 기술적 과제는 매크로 블록의 움직임 추정방법에 있어서, (a) 상기 매크로 블록 전체를 사용하여 움직임 추정을 수행하는 단계; (b) 상기 매크로 블록을 가로 방향 또는 세로 방향으로 2개로 나누어 각 블록을 사용하여 움직임 추정을 수행하는 단계; (c) 상기 매크로 블록을 동일한 크기로 4개로 나누어 각 블록을 사용하여 움직임 추정을 수행하는 단계; (d) 상기 4개로 나누어진 블록 각각을 가로 방향 또는 세로 방향으로 2개로 나누어 움직임 추정을 수행하는 단계; 및 (e) 상기 4개로 나누어진 블록 각각을 4개로 나누어 움직임 추정을 수행하는 단계를 포함하는 것을 특징으로 하는 움직임 추정방법에 의해서도 달성된다.

한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 영상 데이터를 입력받아 DCT 및 양자화를 수행하는 DCT+Q 수행부; 상기 영상의 율-왜곡 코스트를 계산하여, 상기 영상의 인코딩에 사용될 인코딩 블록 모드를 결정하고 결정된 블록 모드를 상기 DCT+Q 수행부로 전달하는 율-왜곡 최적화부; 및 참조영상과 상기 입력 영상을 사용하여 움직임 추정 및 보상을 수행하여 상기 DCT+Q 수행부로 전달하는 움직임 추정 및 보상부를 포함하는 것을 특징으로 하는 부호화 장치에 의해서도 달성된다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

도 1은 움직임 추정에 사용되는 가변 블록을 도시한 도면이다.

H.264는 움직임 추정시 하나의 16×16 매크로 블록을 16×16, 16×8, 8×16, 8×8 블록으로 나누고 다시 8×8 블록을 8×4, 4×8, 4×4 블록으로 나누어 영상에 따라 블록을 선택하여 움직임 추정을 수행한다. 이러한 다양한 종류의 가변 블록을 사용하여 움직임 추정을 수행하면 영상의 특성과 움직임에 따라서 효과적으로 부호화를 수행할 수 있다. 왜냐하면, 영상의 움직임이 적고 물체가 큰 경우에는 큰 블록을 사용하여, 영상의 움직임이 복잡하고 물체가 작은 경우에는 작은 블록을 사용하여 움직임 추정 및 부호화하는 것이 효과적이기 때문이다.

도 2는 블록 선택의 일예를 도시한 도면이다.

도 2를 참조하면, 배경부분(210)이나 인코딩할 물체에서 간단한 부분(220)에서는 16×16 블록을 사용하고, 복잡한 부분(230, 240)에서는 16×8, 8×16을 사용하며, 더 복잡한 부분(250)에서는 8×4, 4×8, 4×4 블록과 같이 더 작은 블록을 사용함을 알 수 있다.

부호화 모드를 결정하는 것을 설명하면, H.264에서 사용되는 가변블록 모드와 3가지의 공간예측 모드, SKIP 모드 등 모든 가능한 부호화 모드 중에서 최적의 모드를 선택하기 위해 율-왜곡 최적화를 수행하여 율-왜곡 코스트(Rate-Distortion Cost, RDcost)가 최소가 되는 모드를 부호화 모드로 결정한다. 공간 예측모드는 인트라 예측모드를 의미하는 것이고 SKIP 모드는 이전 프레임의 매크로 블록의 픽셀값과 현재 프레임의 매크로 블록의 픽셀값이 동일하여 인코딩할 필요가 없는 경우이다. RDcost는 각 모드별로 화질의 열화(Distortion)와 비트량(Rates)을 고려하여 계산되는데, 다음 수학식 1에 의하여 계산된다.

수학식 1에서 Distortion은 현재 영상과 복원된 영상간의 화소값의 차이를 의미하며 다음 수학식 2에 의해서 계산된다.

수학식 2에서 B(k,l)과 B'(k,l)은 각각 현재 매크로 블록과 복원된 매크로 블록의 (k,l) 번째 화소값을 나타낸다. λ_Mode 는 라그란지(Lagrangian) 상수로서, 다음 수학식 3에 의해서 계산된다.

수학식 3에서 QP는 0에서 51까지의 정수로, H.264 양자화 값(Quantization value)이다. Rates는 현재 영상의 전송 비트레이트(bitrate)이다.

도 3은 H.264 부호화기(encoder)의 블록도이다.

H.264 부호화기는 DCT+Q 수행부(310), 가변 길이 코더(320), 율-왜곡 최적화부(330), (DCT+Q)^-1 수행부(340), 루프 필터(350), 참조영상 저장부(360), 움직임 추정부(370) 및 움직임 보상부(380)를 구비한다.

입력영상은 DCT+Q 수행부(310)로 입력되어 DCT와 양자화가 수행된 후, 가변길이 코더(320)에서 컨텍스트 기반의 적응 가변 길이 코딩(Context-based adaptive variable length coding)이 수행된다. 이때 입력영상은 율-왜곡 최적화부(330)에도 입력되어 (DCT+Q)^-1가 수행된다. 그리고 최적의 블록 모드 결정하여 DCT+Q 수행부(310)로 출력한다.

DCT+Q 가 수행된 영상은 (DCT+Q)^-1 수행부(340)에서 (DCT+Q)^-1 가 수행되고 루프 필터(350)에서 저역통과 필터링이 수행되어 블록 경계를 스무딩한 다음, 참조영상 저장부(360)에 저장된다. 움직임 추정부(370)는 이렇게 저장된 참조 영상과 입력 영상을 가지고 움직임 추정을 수행하여 움직임 보상부(380)로 전달한다. 움직임 보상부(380)는 인코딩할 입력영상이 인터 프레임인가 인트라 프레임인가의 여부에 따라 입력영상에서 참조영상을 뺄 것인가의 여부를 결정하여 DCT+Q 수행부(310)로 참조영상을 전달한다.

도 4는 율-왜곡 최적화에 의한 부호화 모드 결정을 설명하기 위한 도면이다.

도 4를 참조하면, 매크로 블록의 부호화 모드는 Inter16×16, Inter16×8, Inter8×16, P8×8, Intra16×16, Intra4×4, SKIP 모드 등 7가지가 있다. P8×8 모드는 다시 5가지 모드로 나눌 수 있다. P8×8 모드가 선택되면, 매크로 블록내의 4 개의 8×8 블록들에 대해 독립적으로 율-왜곡 최적화를 수행하여 Inter8×8, Inter8×4, Inter4×8, Inter4×4, IBLOCK 등 5가지 모드 중 하나가 선택된다. SKIP 모드는 (0,0) 벡터 또는 Inter16×16 모드의 움직임 벡터를 가지며 DCT 및 양자화 후 잔여신호(residual signal)가 모두 0인 경우이다. IBLOCK 모드는 8×8 블록을 Intra4×4 모드로 부호화하는 모드이다. 도 5를 참조하여 Intra4×4 모드에 대하여 설명한다.

도 5는 Intra4×4 모드에서의 9가지 예측모드의 방향을 도시한 도면이다.

도 5를 참조하면, 각각의 모드 이름에 대응되도록, 수직방향, 수평방향 또는 대각선 방향 등으로 블록의 예측이 수행됨을 알 수 있다. Intra4×4 모드는, vertical 모드, horizontal 모드, DC 모드, diagonal_down_left 모드, diagonal_down_right 모드, vertical_right 모드, horizontal_down 모드, vertical_up 모드, horizontal_up 모드가 있다.

Intra4×4 모드에서는 9가지 예측방향에 대해서 모두 RDcost를 계산한다. 수학식 1을 사용하여 RDcost를 계산하기 위해서는 4×4 정수 DCT+양자화, Entropy 부호화, Entropy 복호화 및 (DCT+양자화)^-1가 수행되어야 함을 알 수 있다. DCT+양자화, Entropy 부호화, Entropy 복호화, (DCT+양자화)^-1가 4×4 블록단위로 수행되므로 매크로 블록 단위에서 P8×8 모드와 Inter16×16 모드의 RDcost 계산횟수를 비교하면 Inter16×16 모드에서는 16 번(16개의 4×4블록이 존재하므로)인 반면에, P8×8 모드에서는 4 번(4개의 8×8 블록이 존재)×4 번(4개의 4×4 블록이 존재)×4 번(Inter8×8, Inter8×4, Inter4×8, Inter4×4) + 4 번(4개의 8×8 블록) × 4 번(4개의 4×4 블록) × 9(9개의 예측모드) = 208번으로 Inter16×16 모드에서의 RDcost 계산횟수보다 13배의 계산횟수가 필요하다.

즉, 모든 부호화 모드들에서의 RDcost를 계산하여야 하기 때문에 많은 계산량을 요구한다. 따라서 매크로 블록의 부호화 모드를 빨리 결정하면 불필요한 RDcost 계산 및 움직임 추정을 생략하여 부호화기의 복잡도와 계산량을 줄일 수 있다.

표 1은 양자화 파라미터(QP)가 28일 때 Simple H.264와 H.264의 성능을 도시한 표이다. H.264는 7가지 가변 블록의 움직임 추정 및 공간예측 부호화를 수행하여 부호화하는 것이고, Simple H.264는 H.264와 동일한 부호화 조건에서 7가지 가변 블록의 움직임 추정과 공간예측 부호화를 사용하지 않고 16×16 블록단위의 인터 움직임 추정만을 사용하여 부호화하는 것이다. 부호화 조건에 대하여는 후술한다.

QP=28	PSNR	Bitrates(Kbps)	Encoding time(%)
Simple H.264	35.29	94.96	48.3
H.264	35.78	77.27	100.3

표 1을 참조하면, 가변 블록의 움직임 추정과 공간예측 부호화가 부호화 효율 및 부호화 시간에 미치는 영향을 알 수 있다.

H.264와 Simple H.264에 공통으로 사용된 부호화 조건은 다음과 같다. 30frames/sec으로 저장된 300장의 영상에 대하여 10frames/sec의 프레임율로 영상을 압축하면서, 첫 번째 프레임만 Intra 프레임으로 나머지는 모두 Predictive프레임으로 부호화하였다. 한장의 참조영상을 사용하였으며, ±16의 검색영역, 1/4 화소 단위의 움직임 예측 및 보상, 하다마드 변환, (4×4정수 DCT + Q) 계수에 대한 컨텍스트 기반 적응 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC)을 이용하여 부호화하였다. 실험에 사용된 영상은 Foreman QCIF(176×144) 영상이며 양자화 파라미터(Quantization Parameter) 값으로 각각 28, 32, 36, 40을 사용하였다.

표 1은 QP 28일때 Simple H.264와 H.264의 성능을 수치로 나타낸 것이다. Simple H.264는 H.264에 비해 PSNR은 0.49dB 떨어지고 비트율은 22.9% 증가한다. 그러나 전체적인 부호화 시간은 H.264에 비해 48.3%만이 소요되는 것을 알 수 있다. 따라서 가변 블록 움직임 추정과 공간예측 부호화를 사용하면 부호화기의 성능은 높지만 그에 따라 복잡도가 증가함을 알 수 있다.

따라서 본 발명에서는 부호화기의 성능을 유지하면서 속도를 향상시키기 위해 부호화기에서 가장 많은 계산량을 차지하는 가변 블록 움직임 추정 및 공간예측 부호화를 효율적으로 생략하여 율-왜곡 최적화를 통한 부호화 모드 결정 속도를 향상시킨 부호화 모드 결정방법을 설명한다.

도 6은 가변 블록 움직임 추정시의 블록 매칭 순서를 도시한 플로우차트이다.

우선 16x16 블록으로 블록 매칭을 수행하고(S610), 16x16 블록을 구성하는 2개의 16x8 블록으로 블록 매칭을 수행한다(S620). 그리고 2개의 8x16 블록으로 블록 매칭을 수행하고(S630), 16x16 블록을 4개의 8x8 블록으로 나누어 각 8x8 블록으로 블록 매칭을 수행한다(S640).

다음으로 각 8x8 블록을 2개의 8x4블록으로 나누어 블록 매칭을 수행하고(S650), 2개의 4x8 블록으로 나누어 블록 매칭을 수행한 다음(S660), 각각의 8x8 블록을 각각 4개의 4x4 블록으로 나누어 블록 매칭을 수행한다(S670).

도 6에 도시한 순서대로 가변 블록 움직임 추정을 수행하면, 불필요한 움직임 추정 및 율-왜곡 계산 과정을 생략할 수 있다. 가변 블록 움직임 추정에서 매크로 블록을 작은 블록들로 나누어 움직임 추정을 수행한다면 16×16 블록으로 움직임 추정을 수행하였을 때 보다 더 자세한 움직임을 표현할 수 있어 왜곡(Distortion) 정도는 줄어들지만 각 블록에 대한 움직임 벡터, 블록코딩패턴(Coded Block Pattern), 부호화모드 정보 등이 많아져서 비트율이 증가할 수 있다.

율-왜곡(RD) 측면에서 살펴보면, 매크로 블록이 여러 방향의 움직임 벡터를 갖고 있어 블록이 나누어질 때 왜곡(Distortion)이 감소한다면 계속해서 더 작은 블록들로 나누어져서 움직임 추정을 수행하여야 한다. 그러나 작은 블록으로 나누었을 때 왜곡의 감소정도보다 비트율의 증가정도가 더 크다면 큰 블록모드를 유지하는 것이 바람직하다.

본 발명에서는 Inter16×16, Inter16×8, Inter8×16 모드에서 움직임 추정을 수행한 후, RD 측면에서 큰 블록모드가 유리하다고 판단되는 매크로 블록들에 대해서는 P8×8 모드의 움직임 추정 및 RDcost 계산을 생략한다. 그리고, 빠른 계산을 위해 수학식 2에서 정의된 Distortion과 비트율 대신, SAD와 MVcost를 이용하여 P8×8모드에 대한 움직임 추정 및 RDcost 계산을 할 것인가의 여부를 판단한다. MVcost는 움직임 추정 전의 예측벡터(Predicted Motion Vector)와 움직임 추정 후 얻은 움직임 벡터 사이의 차분을 UVLC(Universal VLC)한 값에 의하여 결정된다. 예측벡터와 실제 움직임 벡터간의 값의 차이가 크다면 MVcost는 커지고 반대로 예측벡터와 실제 움직임 벡터 사이의 값이 유사하다면 MVcost는 작아진다. Inter16×16, Inter16×8, Inter8×16 모드의 SAD + MVcost는 다음 수학식 4와 같이 계산된다.

여기에서, SAD₁은 16×16 블록의 SAD 값, SAD₂₁은 매크로 블록내의 첫 번째 16×8 블록의 SAD 값, SAD₂₂는 두 번째 16×8 블록의 SAD 값, MVcost₂₁, MVcost ₂₂는 각각의 16×8 블록들에 대한 MVcost이고, SAD₃₁, SAD₃₂, MVcost₃₁, MVcost ₃₂는 8×16 블록의 SAD와 MVcost를 나타낸다. 일반적으로 SAD₁ ≥ SAD₂₁+SAD₂₂, SAD ₁ ≥ SAD₃₁+SAD32 에 있다. 작은 블록으로 나눌수록 예측벡터와 실제 움직임 벡터와의 차이가 적기 때문이다.

여기서 ΔSAD는 Inter16×16 모드의 SAD 값과 Inter16×8 모드의 SAD 값의 차분값이다. 따라서, 매크로 블록 내의 두 개의 16×8 블록이 다른 방향의 움직임 벡터를 가졌을 때는 ΔSAD 값은 커지고 유사한 방향의 움직임 벡터를 가졌을 때는 ΔSAD 값이 작아진다. 두개의 16×8 블록이 완전히 같은 방향의 움직임 벡터를 가졌을 때는 ΔSAD 값은 0이 된다.

16×16 블록과 8×16 블록 모드의 SAD 값의 차분도 이와 같이 구할 수 있다. 매크로 블록이 하나의 16×16 블록으로 움직임 추정을 한 Inter16×16 모드와, 16×16 블록을 수평으로 두 개로 나눈 Inter16×8 모드와 수직으로 두개로 나눈Inter8×16 모드의 Inter16×16_SAD+MVcost, Inter16×8_SAD+MVcost, Inter8×16_SAD+MVcost 값을 비교하여 Inter16×16_SAD+MVcost 값이 가장 작다면 매크로 블록을 수직으로 나누었을 때와 수평으로 나누는 각각의 경우에, 나누어진 블록들의 움직임 벡터가 유사하다. 따라서 이 경우에는, SAD의 감소정도인 ΔSAD보다 MVcost의 증가 정도가 더 크기 때문에 매크로 블록 전체가 수직방향 또는 수평방향으로 나누어지지 않고 유사한 방향의 움직임을 가진다는 것을 뜻한다.

이 경우 더 많은 움직임 벡터를 요구하는 P8×8 모드에서도 ΔSAD 보다 MVcost가 더 클 것으로 예상되므로 많은 계산량을 요구하는 움직임 추정 및 RDcost계산을 생략할 수 있다. 상술한 바와 같이 P8×8 모드에서의 계산량은 다른 모드에 비해 많기 때문에 P8×8 모드의 움직임 추정 및 율-왜곡 최적화 과정을 경우에 따라 생략한다면 부호화기에서 수행되는 연산량 및 복잡도를 크게 감소시킬 수 있다.

H.264 에서는 가변 블록의 움직임 추정을 수행한 후, 공간예측 모드 및 SKIP 모드에 대한 RDcost를 비교하여 RDcost 가 최소가 되는 모드를 부호화 모드로 결정한다. 이 과정에서 모든 매크로 블록들에 대한 공간예측 부호화가 수행된다. 한편, 영상을 부호화 할 때 공간예측 부호화를 수행하면 움직임 추정에 의한 Inter 부호화에 비해 훨씬 많은 비트를 요구한다. 그러나, 매크로 블록의 부호화 모드가 공간예측 부호화 모드로 결정되는 경우는 장면 전환 같은 특별한 경우 외에는 거의 일어나지 않는다.

H.264 표준화 그룹에서 권고하는 조건에 따라 부호화를 하였을 때 영상의 Predictive 프레임에서 공간예측 모드로 부호화되는 매크로 블록의 비율은 여러 가지 영상에서 모두 작다. 그럼에도 불구하고 모든 매크로 블록에 대해 공간예측 부호화를 수행하는 것은 실제 공간예측 모드로 부호화되는 매크로 블록의 비율을 감안할 때 불필요한 계산을 많이 수행하는 것이라고 할 수 있다.

이제, 불필요한 공간예측 부호화를 효율적으로 생략하는 방법에 대하여 설명한다. 우선, 이전 프레임들 및 현재 프레임에서 공간예측 모드로 부호화된 모든 Intra 매크로 블록의 RDcost의 평균 M을 계산한다. M의 초기값은 영상의 첫 번째 프레임인 I 프레임의 RDcost 평균값에서 시작하여 공간예측 모드로 부호화되는 매크로 블록이 발생할 때마다 M이 갱신된다. 이때 갱신된 M은 다음 수학식 6과 같이 계산된다.

수학식 6에서 M'는 Intra 매크로 블록 발생시 RDcost 값, n은 현재까지 발생한 Intra 매크로 블록의 갯수이다. 수학식 6에 따른 연산을 수행하여 M을 계속적으로 갱신할 수 있음을 알 수 있다.

가변 블록 크기의 움직임 추정 및 율-왜곡 최적화를 통하여 최적 Inter 매크로 블록의 부호화 모드를 결정한 후, 최적 Inter 매크로 블록의 RDcost와 M을 비교하여 최적 Inter 매크로 블록의 RDcost가 더 작다면 움직임 추정이 효율적으로 이루어졌고 공간예측 모드로 부호화시 최적 Inter 모드에서의 RDcost 보다 RDcost가 커질 확률이 높으므로 공간예측 모드 부호화 과정을 생략한다.

본 발명은 P8×8 모드의 율-왜곡 최적화시에도 사용될 수 있다. P8×8 모드에서는 각각의 8×8 블록들에 대해서 Inter8×8, Inter8×4, Inter4×8, Inter4×4 모드 중 최적 모드의 RDcost와 M/4을 비교하여 IBLOCK모드의 RDcost 계산을 생략할 수 있다.

본 발명의 공간예측부호화 생략 알고리즘을 pseudo code 형태로 나타내면 다음과 같다.

Inter_mode RDS(); // Calculate Inter mode Rate Distortions

Best_Inter_mode_RDcost = Best_Inter_mode_decision();

If(Best_Inter_mode_RDcost < M)

SKIP Intra mode RD calculation;

else

Intra_mode_RD(); // Calculate Intra mode Rate Distortions

Encoding_mode = Encoding_mode_Decision(); //Decide Intra/Inter mode

If(Encoding_mode == Intra)

Update M value by equation (6);

도 7은 본 발명의 부호화 모드 결정방법의 흐름도이다.

매크로 블록 단위로 Inter16×16, Inter16×8, Inter8×16 세 모드에서 움직임 추정을 수행한다(S710). 상기 S710 단계에서는 움직임 추정을 수행하고 각 모드에서의 SAD+MVcost의 계산과정까지 포함한다. SAD 및 MVcost의 계산은 상술한 바와 같다. 계산된 SAD+MVcost에 따라서 P8×8 모드의 움직임 추정(ME)이 필요한가의 여부를 판단한다(S720), 즉, 각 모드에서의 SAD+MVcost를 비교하여 세 값중 Inter16×16_SAD+MVcost가 최소인가를 판단하는 것이다. 만일, 세 값중에서 Inter16×16_SAD+MVcost가 최소이면 블록을 더 나누기보다는 큰 블록모드를 유지하는 것이 좋으므로 많은 계산량을 요구하는 P8×8 모드의 움직임 추정(ME) 및 RDcost 계산은 생략하고, Inter16×16, Inter16×8, Inter8×16, SKIP 모드의 RDcost를 계산한다(S730).

상기 S720 단계의 판단 결과, Inter16×16_SAD+MVcost가 최소가 아니면, P8×8 모드의 움직임 추정(ME)을 수행한다(S740).

도 8a는 도 7의 S740 단계의 상세 흐름도이다.

S740 단계를 도 8a를 참조하여 보다 상세히 설명하면, 4개의 8x8 블록을 더 나누어 나누어진 블록에 대한 Rdcost를 계산한다(S741). 그리고, 그 값이 가장 작은 모드를 P8x8 모드에서의 최적 모드로 결정한다(S742). 이렇게 결정된 최적의 P8x8 모드에서의 Rdcost와 M/4을 비교한다(S743). 비교 결과, 최적 모드의 RDcost가 작다면 IBLOCK 모드의 RDcost계산을 생략하고, 그렇지 않으면 IBLOCK 모드에서의 Rdcost를 계산하고(S744), P8x8 모드에서의 최적의 모드를 정한다(S745)

상술한 바와 같이 경우에 따라, P8×8 모드에서의 움직임 추정을 생략하거나 또는 수행한 후에 최적의 인터모드를 결정한다(S750). 즉, Inter16×16, Inter16×8, Inter8×16, SKIP, P8×8 모드 중에서 최적의 Inter모드를 선택한다. 그리고, 공간 예측 부호화를 생략할 수 있는가를 판단한다(S760). 즉, 최적의 Inter 모드로 결정된 모드에서의 RDcost를 M 값과 비교하여, 최적 Inter 모드의 RDcost가 작으면 움직임 추정이 효율적으로 이루어졌음을 의미하므로 매크로 블록 단위의 공간예측 부호화를 생략하고 S750 단계에서 선택된 인터모드를 부호화 모드로 결정한다(S780). 그렇지 않은 경우에는 공간예측 부호화를 더 수행하여 그 모드에서의 RDcost를 계산하여 최적 Inter 모드의 RDcost와 비교하여 매크로 블록의 부호화 모드를 결정한다(S770).

도 8b는 도 7의 S760 및 S770 단계의 상세 흐름도이다.

S750 단계에서 선택된 최적의 인터모드에서의 Rdcost를 M 값과 비교함으로써 공간 예측 부호화 생략여부를 판단한다(S760). 그리고 인트라 모드에서의 Rdcost를 계산하여(S771), 부호화 모드를 결정한다(S772). 결정된 부호화 모드가 인트라 모드인가를 판단하여(S773), 인트라 모드이면 상기 M 값을 갱신한다(S774). M 값의 갱신은 상술한 수학식에 의해 이루어진다.

표 2는 본 발명의 방법에 따라 부호화 모드를 결정하였을 때의 효과를 설명하기 위한 실험조건을 나타낸다.

	News(QCIF)	Container(QCIF)	Foreman(QCIF)	Silent(QCIF)	Paris(CIF)	Mobile(CIF)	Tempete(CIF)
Total frame	300	300	300	300	300	300	260
Frame skip	2	2	2	1	1	0	0
QP	28, 32, 36, 40
CodingOption	가변 블록 움직임 추정, 율-왜곡 최적화, 하다마드 변환,B 프레임 사용안함(IPPP...), CAVLC, 에러툴 사용안함

즉, H.264 표준화 그룹에서 권고하는 실험 조건에 따라 수행되었다. 다만 Tempete 영상은 226장의 프레임만을 사용하여 실험하였다. 그리고, JM42(Joint Model 42) 코덱을 이용하여 본 발명의 부호화 모드 결정방법의 성능을 실험하였다.

표 3a 및 표 3b는 본 발명의 부호화 모드 결정방법과 JM42의 성능을 비교한 도표이다.

	QP	ΔBits(%)	ΔPSNR(dB)	A(%)	B(%)	Total(%)
News	28	1.29	0.03	94.84	36.67	75.83
	32	1.35	0.04	94.90	37.38	76.05
	36	1.19	0.06	95.06	39.33	76.68
	40	1.65	0.03	94.48	42.71	77.17
Container	28	0.69	0.05	94.31	38.70	75.99
	32	0.91	0.04	93.16	40.88	75.78
	36	0.53	0.10	90.61	43.31	74.63
	40	0.87	0.13	89.83	45.67	74.72
Foreman	28	1.30	0.05	89.11	19.34	67.23
	32	0.89	0.08	89.93	23.89	69.01
	36	1.11	0.07	90.20	28.70	70.48
	40	0.53	0.16	91.30	33.97	72.64
Silent	28	1.93	0.05	96.60	33.24	76.12
	32	0.96	0.00	96.63	32.48	75.93
	36	1.56	0.05	96.21	39.38	77.47
	40	0.67	0.09	96.09	43.92	78.60

	QP	ΔBits(%)	ΔPSNR(dB)	A(%)	B(%)	Total(%)
News	28		0.03	94.98	35.97	75.96
	32	0.40	0.05	95.24	38.51	76.81
	36	0.16	0.03	95.21	40.46	77.30
	40	-0.12	0.07	95.20	41.72	77.63
Container	28	-0.07	0.06	96.98	27.87	75.21
	32	-0.15	0.05	97.95	28.12	75.96
	36	0.00	0.05	98.11	29.74	76.50
	40	0.00	0.08	97.64	33.96	77.27
Foreman	28	0.36	0.04	93.42	25.32	72.06
	32	0.32	0.04	94.49	28.08	73.53
	36	0.32	0.05	94.80	32.04	74.49
	40	0.83	0.03	94.74	37.01	76.05
Silent	28	0.84	0.04	94.32	31.02	74.06
	32	0.60	0.04	94.61	33.04	74.72
	36	0.69	0.06	94.79	36.14	75.41
	40	0.63	0.08	94.18	39.85	76.30

표 3a 및 표 3b에서 ΔBits와 ΔPSNR은 H.264와 본 발명의 모드 결정방법간의 비트율의 차이와 PSNR의 차이로서 다음 수학식 7에 따라 계산된다.

ΔBits와 ΔPSNR의 (-) 부호는 성능이 좋아졌음을 의미한다. 표 3a 및 표 3b에서 A(%)는 공간예측 부호화 과정에서의 RD 계산 감소량을, B(%)는 움직임 추정에 사용되는 가변 블록 모드에서의 RD 계산 감소량을, Total(%)은 전체 부호화 과정에서의 RD 계산 감소량을 나타낸다. 줄어든 RD 계산 감소량은 다음 수학식 8에 따라서 계산될 수 있다.

표 3a 및 표 3b를 참조하면, 본 발명의 모드 결정방법을 사용하면, Intra 부호화시 사용되는 공간예측 부호화 과정에서 평균 94% 이상의 계산량이 감소하며 Inter 부호화시 사용되는 가변 블록 움직임 추정에서 31~39% 이상의 계산량이 감소함을 알 수 있다. 또한, 공간예측 모드와 가변블록 모드 및 SKIP 모드까지 포함된 전체 RD 계산 수행횟수도 평균 75% 이상 감소함을 알 수 있다. 이처럼 많은 계산량의 감소에 비해 비트율은 평균 0.69%, PSNR은 평균 0.055의 손실이 있음을 알 수 있다. 그러나, 계산량의 감소정도를 고려할 때 화질에 미치는 영향은 그리 크지 않다.

도 9a 내지 도 9g는 본 발명의 부호화 모드 결정방법을 사용하였을 때와 H.264 방법 및 Simple H.264를 사용하였을 때의 PSNR을 비교한 그래프이다.

표 2에 주어진 여러 QCIF, CIF 해상도를 갖는 시험용 영상들에 대하여 본 발명의 모드 결정방법(FastMode), JM42, 그리고 Simple H.264를 적용했을 때 각각의 영상에서 3가지 방법에 대한 bitrates 대 PSNR의 성능을 비교한 그래프이다. 도 9a 내지 도 9g를 참조하면, 본 발명의 모드 결정방법의 PSNR은 H.264와 거의 같은 결과를 얻을 수 있음을 알 수 있다. 즉, 본 발명의 모드 결정방법을 사용하여 부호화하였을 때의 부호화 효율이 H.264와 거의 같다. 도 9a 내지 도 9g와 표 3a 및 표 3b를 참조하면, 본 발명의 모드 결정방법을 사용하여 부호화하였을 때 H.264의 부호화 효율을 유지하면서도 계산량을 크게 줄일 수 있는 효과가 있다.

한편, 전술한 모드 결정 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 참조 픽처 결정 방법 및 그 움직임 보상 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.

전술한 바와 같이 본 발명에 따르면, H.264 부호화기에서 가장 복잡한 가변 블록 움직임 추정 및 공간예측 부호화를 생략하여 율-왜곡 최적화를 통한 부호화 모드 결정을 빨리 함으로써 부호화 속도를 높일 수 있다.

본 발명의 부호화 모드 결정방법을 사용하면, 율-왜곡 최적화시 RDcost 계산횟수를 평균 75% 이상 감소시키면서도, 부호화 효율을 나타내는 두 가지 척도인 비트율 및 PSNR의 손실이 매우 적다. 따라서, 고속 부호화기의 구현시 유용하게 사용될 수 있다.

도 2는 블록 선택의 일예를 도시한 도면이다.

도 3은 H.264 부호화기의 블록도이다.

도 7은 본 발명의 부호화 모드 결정방법의 흐름도이다.

도 8a는 도 7의 S740 단계의 상세 흐름도이다.

도 8b는 도 7의 S760 및 S770 단계의 상세 흐름도이다.

Claims

(a) 인터 16x16 모드, 인터 16x8 모드 및 인터 8x16 모드에서 매크로 블록의 움직임 추정을 수행한 후에 P8x8 모드에서 움직임 추정을 더 수행하여야 하는가를 판단하는 단계;

(b) 상기 판단결과에 따라 P8x8 모드에서의 움직임 추정을 생략하거나 수행한 후에, 하나의 모드를 결정하는 단계; 및

(c) 상기 결정된 모드에서의 율-왜곡(Rate-Distortion) 코스트값에 따라서 공간예측부호화를 생략하거나 더 수행하여 그 결과를 상기 결정된 모드와 비교하여 최종 부호화 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법.
제1항에 있어서, 상기 (a) 단계는

(a1) 인터 16x16 모드, 인터 16x8 모드 및 인터 8x16 모드에서 매크로 블록의 움직임 추정을 수행하는 단계;

(a2) 상기 각각의 모드에서 현재 픽처의 화소값과 이전 픽처의 화소값의 차이인 SAD(Sum of Absolute Difference) 값과 현재 픽처의 움직임 벡터와 이전 픽처의 움직임 벡터 차분값인 MVcost를 계산하는 단계; 및

(a3) 상기 각각의 모드에서의 (SAD+MVcost) 값을 서로 비교하여 그 결과에 따라 P8x8 모드에서 움직임 추정을 더 수행할 것인가를 판단하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법.
제2항에 있어서, 상기 (a3) 단계는

인터 16x16 모드에서의 (SAD+MVcost) 값이 다른 모드에서의 (SAD+MVcost) 보다 작으면 P8x8 모드에서의 움직임 추정과정을 생략하는 것을 특징으로 하는 부호화 모드 결정방법.
제2항에 있어서, 상기 (b) 단계는

(b1) 인터 16x16 모드에서의 (SAD+MVcost) 값이 다른 모드에서의 (SAD+MVcost) 보다 작으면 인터 16x16 모드, 인터 16x8 모드, 인터 8x16 모드 및 skip 모드에서의 율-왜곡 코스트를 계산하는 단계; 및

(b2) 상기 모드 중에서 상기 율-왜곡 코스트가 작은 하나의 모드를 선택하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법.
제2항에 있어서, 상기 (b) 단계는

(b1) 인터 16x16 모드에서의 (SAD+MVcost) 값이 다른 모드에서의 (SAD+MVcost) 보다 작지 않으면 인터 8x8 모드, 인터 8x4 모드, 인터 4x8 모드 및 인터 4x4 모드에서의 율-왜곡 코스트를 계산하는 단계; 및

(b2) 상기 모드 중에서 상기 율-왜곡 코스트가 작은 하나의 모드를 선택한 후에 IBLOCK 모드에서의 율-왜곡 코스트를 계산할 필요가 있는가를 판단하여 그 결과에 따라 IBLOCK 모드에서의 율-왜곡 코스트를 더 계산하여 P8x8 모드들 중에서 하나의 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법.
제5항에 있어서, 상기 (b2) 단계는

상기 선택된 모드에서의 율-왜곡 코스트가, 공간예측 모드에서 부호화된 모든 매크로 블록의 율-왜곡 코스트들의 평균값의 1/4보다 작지 않으면 IBLOCK 모드에서 움직임 추정을 더 수행하여 율-왜곡 코스트를 계산하여 P8x8 모드들 중에서 하나의 모드를 결정하는 것을 특징으로 하는 부호화 모드 결정방법.
제2항에 있어서, 상기 (c) 단계는

(c1) 상기 결정된 모드에서의 율-왜곡 코스트값이 공간예측 모드에서 부호화된 모든 매크로 블록의 율-왜곡 코스트들의 평균값보다 작으면 인트라 모드에서의 움직임 추정을 수행하지 않고 상기 선택된 모드를 최종 부호화 모드로 결정하는 단계; 및

(c2) 상기 결정된 모드에서의 율-왜곡 코스트값이 공간예측 모드로 부호화된 모든 매크로 블록의 율-왜곡 코스트들의 평균값보다 작지 않으면, 인트라 모드에서의 움직임 추정을 더 수행하여 율-왜곡 코스트를 더 계산하고, 그 결과를 상기 결정된 모드와 비교하여 그 값이 작은 쪽의 모드를 최종 부호화 모드로 결정하는 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정방법.
제7항에 있어서, 상기 (c2) 단계는

상기 최종 부호화 모드가 인트라 모드로 결정되면 공간예측 모드로 부호화된 모든 매크로 블록의 율-왜곡 코스트들의 평균값을 갱신하는 것을 특징으로 하는 부호화 모드 결정방법.
제8항에 있어서, 상기 평균값의 갱신은

상기 평균값에 현재까지 발생한 인트라 매크로 블록의 개수를 곱하고, 그 결과를 인트라 매크로 블록 발생시의 율-왜곡 코스트값에 더하여, 그 값을 (상기 현재까지 발생한 인트라 매크로 블록의 개수+1)로 나누어 갱신하는 것을 특징으로 하는 부호화 모드 결정방법.
매크로 블록의 움직임 추정방법에 있어서,

(a) 상기 매크로 블록 전체를 사용하여 움직임 추정을 수행하는 단계;

(b) 상기 매크로 블록을 가로 방향 또는 세로 방향으로 2개로 나누어 각 블록을 사용하여 움직임 추정을 수행하는 단계;

(c) 상기 매크로 블록을 동일한 크기로 4개로 나누어 각 블록을 사용하여 움직임 추정을 수행하는 단계;

(d) 상기 4개로 나누어진 블록 각각을 가로 방향 또는 세로 방향으로 2개로 나누어 움직임 추정을 수행하는 단계; 및

(e) 상기 4개로 나누어진 블록 각각을 4개로 나누어 움직임 추정을 수행하는 단계를 포함하는 것을 특징으로 하는 움직임 추정방법.
제10항에 있어서, 상기 (a) 단계는

16x16 크기의 매크로 블록 전체를 사용하여 움직임 추정을 수행하는 것을 특징으로 하는 움직임 추정방법.
제10항에 있어서, 상기 (b) 단계는

상기 매크로 블록을 2개의 16x8 블록으로 움직임 추정을 수행한 후에, 2개의 8x16 블록으로 움직임 추정을 수행하는 것을 특징으로 하는 움직임 추정방법.
제10항에 있어서, 상기 (c) 단계는

상기 매크로 블록을 2개의 16x8 블록으로 움직임 추정을 수행한 후에, 2개의 8x16 블록으로 움직임 추정을 수행하는 것을 특징으로 하는 움직임 추정방법.
영상 데이터를 입력받아 DCT 및 양자화를 수행하는 DCT+Q 수행부;

상기 영상의 율-왜곡 코스트를 계산하여, 상기 영상의 인코딩에 사용될 인코딩 블록 모드를 결정하고 결정된 블록 모드를 상기 DCT+Q 수행부로 전달하는 율-왜곡 최적화부; 및

참조영상과 상기 입력 영상을 사용하여 움직임 추정 및 보상을 수행하여 상기 DCT+Q 수행부로 전달하는 움직임 추정 및 보상부를 포함하는 것을 특징으로 하는 부호화 장치.
제14항에 있어서, 상기 율-왜곡 최적화부는

상기 입력된 영상 데이터에서 현재 픽처의 화소값과 이전 픽처의 화소값의 차이인 SAD 값과, 현재 픽처의 움직임 벡터와 이전 픽처의 움직임 벡터의 차분값이 MVcost를 계산하고, SAD+MVcost 값에 따라서 공간 예측 모드에서의 움직임 추정과정을 생략하는 것을 특징으로 하는 부호화 장치.