KR20140072231A

KR20140072231A - 율-왜곡 비용의 확률분포를 이용한 비디오 부호화기의 고속 예측모드 결정 방법

Info

Publication number: KR20140072231A
Application number: KR1020120134287A
Authority: KR
Inventors: 조승현; 김현미; 박성모; 김익균; 신경선; 변경진
Original assignee: 한국전자통신연구원
Priority date: 2012-11-26
Filing date: 2012-11-26
Publication date: 2014-06-13
Also published as: US20140146884A1

Abstract

본 발명은 율-왜곡(rate-distortion) 값의 확률 분포를 이용하여 선택적으로 Splitting과 Pruning 과정을 조기에 종료시키거나 생략함으로써 불필요한 부호화기의 연산을 제거하여 결과적으로 부호화기가 고속으로 예측 모드를 결정할 수 있는, 비디오 부호화기의 고속 예측모드 결정 방법을 제공하는데 있다. 본 발명은 입력 영상의 특성에 따라 Splitting과 Pruning과정의 종료 및 생략 결정 기준을 적응적으로 변화시킬 수 있는 방법을 포함할 뿐만 아니라, 본 발명에서 제공하는 방법을 사용하면 Splitting과 Pruning과정의 종료 및 생략 결정에 대한 신뢰도의 설정이 가능하여 감소된 부호화기의 연산량 감소와 화질 열화 사이의 이율배반(trade off)을 조절할 수 있다.

Description

율-왜곡 비용의 확률분포를 이용한 비디오 부호화기의 고속 예측모드 결정 방법{Fast Prediction Mode Determination Method in Video Encoder Based on Probability Distribution of Rate-Distortion}

본 발명은 비디오 신호의 고속 부호화 기술에 관한 것으로, 더욱 상세하게는 부호화기(encoder)의 부호화 과정에서 예측모드 결정을 고속화하기 위해 율-왜곡(rate-distortion) 비용의 확률분포를 이용하는 기술에 관한 것이다.

근래의 비디오 압축 규격은 비디오 신호를 효과적으로 부호화하기 위해 다양한 블록 사이즈의 화면 내 또는 화면 간 예측이 가능하도록 설계 되어왔다. 일례로, H.264/AVC의 경우 하나의 16x16 매크로블록을 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기의 블록으로 나누어 예측할 수 있다. 최근에는 기존보다 더욱 다양한 블록 사이즈로 비디오 신호를 예측하는 기술이 적용되어, Quadtree 코딩 구조를 갖는 HEVC(High Efficiency Video Coding) 표준의 경우 최대 64x64부터 4x4까지 다양한 크기의 블록으로 예측이 가능할 전망이다.

도 1은 HEVC 비디오 압축 규격에서 사용 가능한 예측 블록 사이즈의 예를 보여준다. 도 1에서 숫자는 밝기(luminance) 픽셀의 수를 나타낸다. HEVC에서는 Quadtree 형태로 분할되는 2Nx2N 크기의 Coding Unit(CU)이 하나의 2Nx2N, 두 개의 2NxN, 두 개의 Nx2N, 또는 네 개의 NxN 크기 Prediction Unit(PU)으로 예측될 수 있다(예, N=32, 16, 8, 4 등).

다양한 크기의 예측 블록의 조합 중 가장 코딩효율이 좋은 최적의 조합을 찾아내기 위한 과정을 (i)Splitting(분할)과 (ii)Pruning(가지치기) 과정으로 구분할 수 있다. 먼저, Splitting 과정을 통해 가장 큰 블록을 작은 블록으로 분할하면서 각 크기 별로 예측을 수행하고 이에 따른 율-왜곡(rate-distortion) 값을 저장한다. 이를 가장 작은 블록까지 반복한 후, Pruning 과정을 통해 거꾸로 가장 작은 블록들의 율-왜곡 값의 합을 구하고 이들과 대응되는 하나의 상위 블록의 율-왜곡 값을 비교하여 값이 작은 쪽을 선택한다.

도 2와 도 3에 HEVC 비디오 압축규격에서 최적의 CU 분할을 결정하기 위해 적용 가능한 Splitting 과정과 Pruning 과정을 각각 나타냈다. 도 2에 화살표로 나타냈듯이 Splitting은 CU depth가 N인 CU₀(200)의 율-왜곡 값을 구한 후에 CU depth가 N+1이며 CU₀(200)의 네 개 하위 CU인 CU₁ _,0(210), CU₁ _,1(211), CU₁ _,2(212), CU_1,3(213) 각각에 대한 율-왜곡 값을 구하는 과정이다. Splitting은 크기가 가장 큰 CU에서 시작하여 가장 작은 CU까지 top-down depth-first 순서로 수행이 가능하다. 도 3에 나타낸 Pruning은 네 개의 하위 CU₁ _,0(310), CU₁ _,1(311), CU₁ _,2(312), CU_1,3(313) 율-왜곡 값의 합과 CU₀(300)의 율-왜곡 값을 비교하여 작은 쪽을 택함으로써 CU₀(300)의 영역의 분할여부를 결정하는 과정이다. Pruning은 Splitting과는 반대로 크기가 가장 작은 CU로부터 가장 큰 CU까지 bottom-up depth first 순서로 수행이 가능하다.

일반적으로 예측 블록 사이즈가 커지고 다양해질 수록 압축 효율은 증대되며 Full-HD, UHD 등의 고해상도 비디오 신호에 대한 압축 효율성 또한 향상되는 장점이 있지만, 가능한 예측 블록의 조합 또한 더욱 많아져 최적의 예측 모드 결정을 위한 부호화기의 연산량이 크게 증가하는 문제가 있다. HEVC의 경우 64x64 크기의 LCU(Largest CU)의 depth를 0이라고 하면 depth 1에는 4개의 32x32 CU, depth 2에는 16개의 16x16 CU, depth 3에는 64개의 8x8 CU가 존재할 수 있다. 뿐만 아니라 각각의 8x8 CU는 8x8, 8x4, 4x8, 4x4 등의 크기를 갖는 PU로 분할되어 예측될 수 있다. 가장 최적의 예측모드 결정을 위해서는 전술한 splitting과 pruning 과정을 모든 CU depth 및 모든 PU 분할에 대한 화면내 예측과 화면간 예측을 수행해야 하며 이는 인코더의 연산량을 크게 증가시킨다.

따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 율-왜곡(rate-distortion) 값의 확률 분포를 이용하여 선택적으로 Splitting과 Pruning 과정을 조기에 종료시키거나 생략함으로써 불필요한 부호화기의 연산을 제거하여 결과적으로 부호화기가 고속으로 예측 모드를 결정할 수 있는, 비디오 부호화기의 고속 예측모드 결정 방법을 제공하는데 있다.

본 발명은 입력 영상의 특성에 따라 Splitting과 Pruning과정의 종료 및 생략 결정 기준을 적응적으로 변화시킬 수 있는 방법을 포함할 뿐만 아니라, 본 발명에서 제공하는 방법을 사용하면 Splitting과 Pruning과정의 종료 및 생략 결정에 대한 신뢰도의 설정이 가능하여 감소된 부호화기의 연산량 감소와 화질 열화 사이의 이율배반(trade off)을 조절할 수 있다.

먼저, 본 발명의 특징을 요약하면, 상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일면에 따른, 비디오 부호화기의 고속 예측모드 결정 방법은, 화면내 영상 또는 화면간 영상의 한 CU(Coding Unit)에서의 PU(Prediction Unit) 분할모드 각각에 대하여 제1율-왜곡 값을 계산하여 선별한 후보 예측 모드들에 대하여, 상기 제1율-왜곡 값과 제1문턱값의 비교를 통해 early split CU를 결정하는 early Splitting 테스트 과정; 및 상기 early split CU가 아닌 후보 예측 모드에 대하여, 제2율-왜곡 값과 제2문턱값과의 비교를 통해 early pruned CU를 결정하는 early Pruning 테스트 과정을 포함할 수 있다.

바람직하게, 상기 early split CU는 Pruning과정에서 상기 제2율-왜곡 값의 계산이 생략되는 CU이고, 상기 early pruned CU는 나머지 하위 CU들에 대한 Splitting 과정 및 Pruning과정이 생략되는 CU일 수 있다.

바람직하게, 상기 제1율-왜곡 값 J_LRD은, 수학식 J_LRD = DIST_LRD + λ_pred·R_pred에 의해 계산되며, 상기 제2율-왜곡 값 J_FRD은 수학식 J_FRD = DIST_FRD + λ_mode·R_mode에 의해 계산되고, 여기서, DIST_LRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SAD(Sum of Absolute Differences) 또는 SATD(Sum of Absolute Hadamard Transformed Differences), λ_pred는 해당 예측모드에서 라그랑지안 승수, R_pred는 해당 예측모드 사용에 따른 발생 비트량, DIST_FRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SSE(Sum of Absolute Error), λ_mode는 해당 예측모드에서 라그랑지안 승수, R_mode는 해당 예측모드 사용에 따른 발생 비트량을 나타낼 수 있다.

바람직하게, 상기 early Splitting 테스트 과정에서, 상기 제1율-왜곡 값이 상기 제1문턱값 보다 크면 해당 예측모드를 상기 early split CU로 결정하고, 상기 Pruning 테스트 과정에서, 상기 제2율-왜곡 값이 상기 제2문턱값 보다 작으면 해당 예측모드를 상기 early pruned CU로 결정될 수 있다.

바람직하게, 상기 early Pruning 테스트 과정에서 상기 early split CU에 대한 해당 제2율-왜곡 값은 하위의 분할모드들의 각 제2율-왜곡 값의 합산값으로 대체하는 것을 특징으로 한다.

바람직하게, 상기 제1문턱값과 상기 제2문턱값은 각각 주기적으로 또는 미리 정해진 시간에 간헐적으로 획득되는 상기 제1율-왜곡 값과 상기 제2율-왜곡 값의 분포에 기초하여 업데이트될 수 있다.

바람직하게, 상기 제1문턱값과 상기 제2문턱값은 소정의 프레임마다 업데이트될 수 있다.

바람직하게, 상기 제1문턱값과 상기 제2문턱값은 베이지안 룰(Bayesian rule)을 기초로 업데이트될 수 있다.

바람직하게, 상기 베이지안 룰(Bayesian rule)을 통해 주어진 조건부 확률값 α를 오차 범위 ε내에서 만족시키는 값을 상기 제1문턱값 또는 상기 제2문턱값으로 결정될 수 있다.

그리고, 본 발명의 다른 일면에 따른, 비디오 부호화기는, 화면내 영상 또는 화면간 영상의 한 CU(Coding Unit)에서의 PU(Prediction Unit) 분할모드 각각에 대하여 제1율-왜곡 값을 계산하여 선별한 후보 예측 모드들에 대하여, 상기 제1율-왜곡 값과 제1문턱값의 비교를 통해 early split CU를 결정하는 Splitting 테스트 과정을 수행하는 early Splitting 테스트 수단; 및 상기 early split CU가 아닌 후보 예측 모드에 대하여, 제2율-왜곡 값과 제2문턱값의 비교를 통해 early pruned CU를 결정하는 Pruning 테스트 과정을 수행하는 early Pruning 테스트 수단을 포함할 수 있다.

바람직하게, 상기 Splitting 테스트 수단은, 수학식 J_LRD = DIST_LRD + λ_pred·R_pred에 의해 상기 제1율-왜곡 값 J_LRD을 계산하며, 수학식 J_FRD = DIST_FRD + λ_mode·R_mode에 의해 상기 제2율-왜곡 값 J_FRD을 계산되고, 여기서, DIST_LRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SAD(Sum of Absolute Differences) 또는 SATD(Sum of Absolute Hadamard Transformed Differences), λ_pred는 해당 예측모드에서 라그랑지안 승수, R_pred는 해당 예측모드 사용에 따른 발생 비트량, DIST_FRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SSE(Sum of Absolute Error), λ_mode는 해당 예측모드에서 라그랑지안 승수, R_mode는 해당 예측모드 사용에 따른 발생 비트량을 나타낼 수 있다.

바람직하게, 상기 early Splitting 테스트 수단은, 상기 제1율-왜곡 값이 상기 제1문턱값 보다 크면 해당 예측모드를 상기 early split CU로 결정하고, 상기 Pruning 테스트 수단은, 상기 제2율-왜곡 값이 상기 제2문턱값 보다 작으면 해당 예측모드를 상기 early pruned CU로 결정할 수 있다.

바람직하게, 상기 제1문턱값과 상기 제2문턱값은 각각 주기적으로 또는 미리 정해진 시간에 간헐적으로 획득하는 상기 제1율-왜곡 값과 상기 제2율-왜곡 값의 분포에 기초하여 업데이트할 수 있다.

바람직하게, 상기 베이지안 룰(Bayesian rule)을 통해 주어진 조건부 확률값α를 오차 범위 ε 내에서 만족시키는 값이 상기 제1문턱값 또는 상기 제2문턱값으로 결정될 수 있다.

본 발명에 따른 비디오 부호화기의 고속 예측모드 결정 방법에 따르면, 예측블록의 크기와 종류가 다양한 규격을 사용하는 비디오 인코딩 과정에서 예측블록에 대한 연산을 생략하거나 일부만 수행토록 할 수 있다. 따라서, 기존의 방식에 비해 블록의 분할여부를 결정하는데 필요한 연산량을 현저히 줄일 수 있는 이점이 있다. 뿐만 아니라 본 발명이 제공하는 방법에 따르면, 예측블록에 대한 연산의 생략 또는 부분적 수행의 판단기준이 조절가능하여 연산량 감소와 이에 따른 화질열화를 사용자가 선택할 수 있는 장점이 있다.

도 1은 HEVC 비디오 압축 규격에서 사용 가능한 예측 블록 사이즈의 예를 보여준다.
도 2는 HEVC 비디오 압축규격에서 최적의 CU 분할을 결정하기 위해 적용 가능한 Splitting 과정의 일례이다.
도 3은 HEVC 비디오 압축규격에서 최적의 CU 분할을 결정하기 위해 적용 가능한 Pruning 과정의 일례이다.
도 4는 본 발명의 일실시예에 따른 HEVC 인코더에 적용하기 위한 고속 예측모드 결정 방법을 설명하기 위한 흐름도이다.
도 5는 도 4의 흐름도 설명을 위해 참조되는 Splitting과 Pruning 과정과 관련된 도면이다.
도 6은 도 4의 흐름도 설명을 위해 참조되는 주기적인 J_LRD 및 J_FRD값의 분포를 획득하는 방법을 나타냈다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 발명은 위에서 기술한 바와 같은 Splitting과 Pruning 과정을 수행하는 인코더에서 특정 depth의 CU 또는 PU에 대해 splitting 또는 pruning 과정을 생략하거나 일부만 수행함으로써 CU의 분할여부와 PU 분할모드에 결정에 필요한 연산량을 크게 줄일 수 있다. 이를 위해, 본 발명에서는 비디오 인코딩 시 예측모드 결정을 위해 사용되는 율-왜곡 값(비용)의 분포를 모델링하고 이용한다. 일반적으로 저복잡도 율-왜곡 비용, J_LRD는 같은 크기의 예측블록에서 예측모드간의 비교, 즉 예측방향이 서로 다른 화면내 예측모드들간의 비교나 모션데이터가 서로 다른 화면간 예측모드들간의 비교에 사용되며 [수학식 1]과 같이 계산된다.

[수학식 1]

J_LRD = DIST_LRD + λ_pred·R_pred

여기서 DIST_LRD값으로는 예측모드에 따라 영상의 밝기(luminance) 픽셀값에 기초한SAD(Sum of Absolute Differences), SATD(Sum of Absolute Hadamard Transformed Differences) 등이 사용되며, λ_pred는 라그랑지안 승수이고, R_pred는 해당 예측모드 사용에 따른 대략적인 발생 비트량을 나타내는데, 계산의 복잡도를 고려하여 잔차신호, 즉 residual은 고려되지 않거나 다른 값들로부터 모델링한다.

다음으로 정밀한 율-왜곡 비용, J_FRD는 예측블록의 최종 예측모드를 결정하기 위해 서로 다른 크기의 예측블록 간의 율-왜곡 비용 비교나 서로 다른 예측모드간의 비교, 즉 화면내 예측모드, 모션데이터 및 잔차신호를 전송하는 화면간 예측모드, 그리고 모션데이터와 잔차신호를 전송하지 않는 화면간 예측모드 등을 서로 비교하기 위해 사용되며 [수학식 2]와 같이 계산된다.

[수학식 2]

J_FRD = DIST_FRD + λ_mode·R_mode

여기서, DIST_FRD값으로는 예측모드에 따라 영상의 밝기(luminance) 픽셀값에 기초한SSE(Sum of Absolute Error) 등이 사용되며, λ_mode는 라그랑지안 승수이고 R_mode는 해당 예측모드 사용에 따른 발생 비트량을 나타내는데, 정밀한 계산을 위해 잔차신호에 대해 변환, 양자화, 역변환, 역양자화를 수행하여 구한 coefficient를 entropy coding하여 계산되는 실제 발생 비트 수에 해당한다.

J_FRD가 J_LRD보다 정확한 율-왜곡 비용값을 제공하지만, [수학식1]과 [수학식2]를 통해 알 수 있듯이, J_LRD에 비해 J_FRD의 계산이 월등히 복잡하다. 경우에 따라서는 계산량을 줄이기 위해 최종 예측모드의 결정에도 J_LRD 또는 이와 유사한 형태의 비교적 간단한 다른 계산식이 사용될 수 있다.

전술한 J_LRD와 J_FRD를 활용한 기존 HEVC 구현의 일례로, Splitting 과정에서 특정 depth의CU(Coding Unit)에서 가능한 모든 PU(Prediction Unit) 분할에 대하여, 각각의 화면내 예측방향의 J_LRD를 계산하여 후보 예측모드를 선별하고 이들 후보 예측모드들에 대해서는 J_FRD를 계산하여 그 중 가장 최적의 예측모드를 선별하는 것을 생각할 수 있다. 화면간 예측에 대해서도 마찬가지로 가능한 모든 PU 분할에 대하여 J_LRD이용해서 서로 다른 모션데이터(motion data)를 갖는 예측들 중 후보 예측모드를 선별한 뒤 후보 예측모드에 대해서 J_FRD를 계산하고, 모션데이터를 전송하지 않는 예측모드와 모션데이터 및 잔차신호를 모두 전송하지 않는 예측모드의 J_FRD값도 계산한다.

이렇게 구해진 각 J_FRD를 비교함으로써 해당 CU에 대한 PU 분할과 예측모드 결정이 가능하고 이 과정을 LCU로부터 Smallest CU(SCU)에 이르기까지 모든 depth의 CU에 대하여 반복적으로 수행한다. 그 다음, Pruning 과정에서 SCU로부터 Largest CU(LCU)에 이르기까지 Sub-CU들의 J_FRD합과 동일한 영역의 상위 CU의 J_FRD값을 비교하는 것을 반복함으로써 LCU내 모든 CU의 분할여부 결정이 가능하다.

본 발명은 인코더가 전술한 Splitting 과정을 수행하는 중에 early Splitting 테스트 및 early Pruning 테스트를 추가로 수행해 봄으로써 구현이 가능하다. 도 4는 본 발명의 일실시예에 따른 HEVC 인코더에 적용하기 위한 고속 예측모드 결정 방법을 설명하기 위한 흐름도이다. 도 4에서 화면내 예측과 화면간 예측에 대하여 한 CU에서 사용이 가능한 PU 분할모드는 편의상 화면내 예측과 화면간 예측에서 각각 P개와 Q개로 가정하였다.

먼저, early Splitting 테스트에서, 인코더의 소정 수단(예, early Splitting 테스트 수단)은, 각 depth의 CU에서, 화면내 영상(소정 픽셀의 수를 갖는 화면내 예측을 위한 영상)에서 P개의 PU 분할모드와 화면간 영상(소정 픽셀의 수를 갖는 화면간 예측을 위한 영상)에서 Q개의 PU 분할모드 각각에 대하여(S110), J_LRD값을 계산하고(S111) 그 값이 일정 범위 내인 후보 예측 모드들을 선별하고(S112), 후보 예측 모드들에 대하여 SCU가 아니라면(S113), 각 예측모드의 J_LRD값이 미리 정해놓은 문턱값 J_{LRD_TH}보다 큰지를 테스트하여(S114), 만약 그렇지 않다면 후보 예측 모드들에 대하여 정밀한 율-왜곡 비용 즉, J_FRD의 계산을 수행하여(S115) early Pruning 테스트(S120 이하)를 통해 그 중 최적 예측모드를 결정할 것이지만(S116), 만약 그렇다면 해당 예측모드의 CU가 다른 PU 분할모드를 갖거나 하위 depth의 네 개 Sub-CU로 분할될 것으로 미리 판단하여 Pruning과정에서 필요한 정밀한 율-왜곡 비용 즉, J_FRD의 계산을 생략한다. 생략된 J_FRD값은 허용되는 가장 큰 값이나 임의의 큰 값으로 할당될 수 있다. 어떤 예측모드의 CU가 가능한 모든 PU 분할모드들에서 J_LRD _{_} _TH보다 큰 J_LRD를 갖는다면 이는 early split CU에 해당한다.

한편, 인코더의 소정 수단(예, Pruning 테스트 수단)은, early split CU가 아닌 경우에만 최적 예측모드를 결정하기 위하여 early Pruning 테스트를 수행하며(S120), 어떤 예측모드의 J_FRD값이 미리 정해놓은 문턱값 J_FRD _{_} _TH보다 작은지를 테스트하여(S121), 만약 그렇지 않다면 Sub-CU에 대해 위 과정을 반복하고(S121) Sub-CU가 더 분할될 것인지 여부를 결정하면서(S123) 각각의 CU에 대한 율-왜곡 비용을 저장수단에 저장하고 관리할 것이지만(S124), 만약 그렇다면 해당 CU가 더 이상 하위 depth의 Sub-CU로 분할되지 않을 것으로 판단하여 나머지 하위 CU들에 대한 Splitting 및 Pruning과정을 생략한다. 해당 CU를 다른 CU들고 구분하기 위해 early pruned CU로 분류할 수 있다.

도 5는 본 발명의 실시 예로, HEVC의 코딩 구조에서 LCU 크기가 32x32이고 Smallest CU(SCU) 크기가8x8인 경우를 나타낸 것이다. 도 2, 도 3과 마찬가지로 도 5에서 아래쪽으로 향한 화살표는 Splitting 과정을 위쪽으로 향한 블록 화살표는 Pruning 과정을 나타낸다. 도 5에서 CU₁ _, ₀와 CU₁ _,0,3은 각각 전술한 Split 테스트(S114)를 통해 early split CU로 판명되었으며 Pruning 과정에서 CU₁ _,0의 J_FRD값은 Sub-CU인 CU₁ _,0,0, CU₁ _,0,1, CU₁ _,0,2, CU₁ _,0,3의 J_FRD값의 합으로 대체되고, 마찬가지로 CU_1,0,3의 J_FRD값은 PU₀, PU₁, PU₂, PU₃의 J_FRD값의 합으로 대체된다. 한편, CU₁ _,3과 CU_1,0,0은 각각 전술한 early Pruning 테스트를 통해 early pruned CU로 판명된 경우로, 더 이상의 Sub-CU 또는 PU 분할모드에 대한 splitting 및 pruning과정이 생략된다.

전술한 early Splitting 테스트의 판단기준인 J_LRD _{_} _TH와 early Pruning 테스트의 판단기준인 J_FRD _{_} _TH는, 입력영상을 미리 인코딩 하여 예측블록 사이즈 별로 획득한 J_LRD 및 J_FRD값의 분포를 통해 구하거나 인코딩 과정 중에 주기적 혹은 미리 정해진 시간에 간헐적으로 J_LRD 및 J_FRD값의 분포를 획득하여 구할 수 있다. HEVC에 적용하기 위해서는 각 depth의 CU에서 해당 CU가 Sub-CU들 또는 CU보다 작은 PU들로 분할되어 예측되는 경우와, 분할되지 않고 해당 CU와 동일한 크기의 PU로 예측되는 경우로 구분하여 J_LRD 와 J_FRD값을 저장한다.

도 6에 주기적으로 J_LRD 및 J_FRD값의 분포를 획득하는 방법을 나타냈다. N 프레임 동안 각 율-왜곡 비용의 분포를 저장하여 확률분포를 업데이트 하며, 이는 주기적으로 반복된다. 업데이트된 확률분포를 통해 J_LRD _{_} _TH와 J_FRD _{_} _TH를 정하고 M프레임 동안 early Splitting 및 early Pruning 테스트를 실시하여 이 구간에서의 인코더 연산량을 감소시킨다.

J_LRD 와 J_FRD의 분포를 통해 각각 J_{LRD_TH}와 J_FRD _{_} _TH를 결정하는 데에는 사전확률(prior probability)로부터 사후확률(posterior probability)을 유추해내기 위한 기법들이 사용된다. 그 일례로 베이지안 룰(Bayesian rule)이 활용될 수 있다. 일반적으로 베이지안 룰은 [수학식3]과 같이 표현된다.

[수학식3]

여기서

는 측정값으로 J_LRD 또는 J_FRD에 해당되며 사건을 ω_j에서 j는 1 또는 2로 각각 어떤 CU가 Sub-CU들 또는 CU보다 작은 PU들로 분할되어 예측되는 경우(j=1)와 분할되지 않고 해당 CU와 동일한 크기의 PU로 예측되는 경우(j=2)를 나타낸다. [수학식3]에서 p(x|ω_j)와 p(ω_j) 는 각각 조건부 확률분포와 사전확률이고,

와 같이 계산된다. p(x|ω_j)는 각 상기 기술한 조건 별로 저장된 율-왜곡 비용들로부터 직접 계산하거나 각 율-왜곡 비용의 분포를 모델링하여 계산할 수 있다. 일례로 율-왜곡 비용의 분포를 정규분포 또는 라플라시안 분포 등으로 모델링 하고 해당 모델로부터 p(x|ω_j)를 계산 하는 것이 가능하다. 따라서 어떤 예측블록에 대한 율-왜곡 비용이 주어졌을 때 [수학식3]을 통해 그 예측블록이 하위 예측블록으로 분할되거나 분할되지 않을 확률을 구할 수 있을 뿐 아니라, 거꾸로 주어진 조건부 확률값 α를 근소한 오차 범위 ε내에서 만족시키는 율-왜곡 비용을 계산할 수 있다. J_LRD _{_} _TH와 J_FRD _{_} _TH는 미리 정의된 α와 ε, [수학식3], 그리고 조건 별 율-왜곡 비용의 실제 분포 또는 이를 모델링 한 수식으로부터 각각 계산될 수 있다.

한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

화면내 영상 또는 화면간 영상의 한 CU(Coding Unit)에서의 PU(Prediction Unit) 분할모드 각각에 대하여 제1율-왜곡 값을 계산하여 선별한 후보 예측 모드들에 대하여, 상기 제1율-왜곡 값과 제1문턱값의 비교를 통해 early split CU를 결정하는 early Splitting 테스트 과정; 및
상기 early split CU가 아닌 후보 예측 모드에 대하여, 제2율-왜곡 값과 제2문턱값의 비교를 통해 early pruned CU를 결정하는 early Pruning 테스트 과정;
을 포함하는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제1항에 있어서,
상기 early split CU는 Pruning과정에서 상기 제2율-왜곡 값의 계산이 생략되는 CU이고,
상기 early pruned CU는 나머지 하위 CU들에 대한 Splitting 과정 및 Pruning과정이 생략되는 CU인 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제1항에 있어서,
상기 제1율-왜곡 값 J_LRD은, 수학식 J_LRD = DIST_LRD + λ_pred·R_pred에 의해 계산되며,
상기 제2율-왜곡 값 J_FRD은 수학식 J_FRD = DIST_FRD + λ_mode·R_mode에 의해 계산되고,
여기서, DIST_LRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SAD(Sum of Absolute Differences) 또는 SATD(Sum of Absolute Hadamard Transformed Differences), λ_pred는 해당 예측모드에서 라그랑지안 승수, R_pred는 해당 예측모드 사용에 따른 발생 비트량, DIST_FRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SSE(Sum of Absolute Error), λ_mode는 해당 예측모드에서 라그랑지안 승수, R_mode는 해당 예측모드 사용에 따른 발생 비트량
을 나타내는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제1항에 있어서,
상기 early Splitting 테스트 과정에서, 상기 제1율-왜곡 값이 상기 제1문턱값 보다 크면 해당 예측모드를 상기 early split CU로 결정하고,
상기 early Pruning 테스트 과정에서, 상기 제2율-왜곡 값이 상기 제2문턱값 보다 작으면 해당 예측모드를 상기 early pruned CU로 결정하는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제1항에 있어서,
상기 early Pruning 테스트 과정에서 상기 early split CU에 대한 해당 제2율-왜곡 값은 하위의 분할모드들의 각 제2율-왜곡 값의 합산값으로 대체하는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제1항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 각각 주기적으로 또는 미리 정해진 시간에 간헐적으로 획득되는 상기 제1율-왜곡 값과 상기 제2율-왜곡 값의 분포에 기초하여 업데이트되는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제6항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 소정의 프레임마다 업데이트되는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제6항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 베이지안 룰(Bayesian rule)을 기초로 업데이트되는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
제8항에 있어서,
상기 베이지안 룰(Bayesian rule)을 통해 주어진 조건부 확률값 α를 오차 범위 ε내에서 만족시키는 값을 상기 제1문턱값 또는 상기 제2문턱값으로 결정하는 것을 특징으로 하는 비디오 부호화기의 고속 예측모드 결정 방법.
화면내 영상 또는 화면간 영상의 한 CU(Coding Unit)에서의 PU(Prediction Unit) 분할모드 각각에 대하여 제1율-왜곡 값을 계산하여 선별한 후보 예측 모드들에 대하여, 상기 제1율-왜곡 값과 제1문턱값의 비교를 통해 early split CU를 결정하는 Splitting 테스트 과정을 수행하는 early Splitting 테스트 수단; 및
상기 early split CU가 아닌 후보 예측 모드에 대하여, 제2율-왜곡 값과 제2문턱값의 비교를 통해 early pruned CU를 결정하는 early Pruning 테스트 과정을 수행하는 Pruning 테스트 수단;
을 포함하는 것을 특징으로 하는 비디오 부호화기.
제10항에 있어서,
상기 early split CU는 Pruning과정에서 상기 제2율-왜곡 값의 계산이 생략되는 CU이고,
상기 early pruned CU는 나머지 하위 CU들에 대한 Splitting 과정 및 Pruning과정이 생략되는 CU인 것을 특징으로 하는 비디오 부호화기.
제10항에 있어서,
상기 early Splitting 테스트 수단은, 수학식 J_LRD = DIST_LRD + λ_pred·R_pred에 의해 상기 제1율-왜곡 값 J_LRD을 계산하며,
수학식 J_FRD = DIST_FRD + λ_mode·R_mode에 의해 상기 제2율-왜곡 값 J_FRD을 계산하고,
여기서, DIST_LRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SAD(Sum of Absolute Differences) 또는 SATD(Sum of Absolute Hadamard Transformed Differences), λ_pred는 해당 예측모드에서 라그랑지안 승수, R_pred는 해당 예측모드 사용에 따른 발생 비트량, DIST_FRD은 해당 예측모드에서 영상의 밝기(luminance) 픽셀값에 기초한 SSE(Sum of Absolute Error), λ_mode는 해당 예측모드에서 라그랑지안 승수, R_mode는 해당 예측모드 사용에 따른 발생 비트량
을 나타내는 것을 특징으로 하는 비디오 부호화기.
제10항에 있어서,
상기 early Splitting 테스트 수단은, 상기 제1율-왜곡 값이 상기 제1문턱값 보다 크면 해당 예측모드를 상기 early split CU로 결정하고,
상기 early Pruning 테스트 수단은, 상기 제2율-왜곡 값이 상기 제2문턱값 보다 작으면 해당 예측모드를 상기 early pruned CU로 결정하는 것을 특징으로 하는 비디오 부호화기.
제10항에 있어서,
상기 early Pruning 테스트 과정에서 상기 early split CU에 대한 해당 제2율-왜곡 값은 하위의 분할모드들의 각 제2율-왜곡 값의 합산값으로 대체하기 위한 것을 특징으로 하는 비디오 부호화기.
제10항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 각각 주기적으로 또는 미리 정해진 시간에 간헐적으로 획득하는 상기 제1율-왜곡 값과 상기 제2율-왜곡 값의 분포에 기초하여 업데이트하는 것을 특징으로 하는 비디오 부호화기.
제15항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 소정의 프레임마다 업데이트되는 것을 특징으로 하는 비디오 부호화기.
제15항에 있어서,
상기 제1문턱값과 상기 제2문턱값은 베이지안 룰(Bayesian rule)을 기초로 업데이트되는 것을 특징으로 하는 비디오 부호화기.
제17항에 있어서,
상기 베이지안 룰(Bayesian rule)을 통해 주어진 조건부 확률값 α를 오차 범위 ε 내에서 만족시키는 값이 상기 제1문턱값 또는 상기 제2문턱값으로 결정되는 것을 특징으로 하는 비디오 부호화기.