KR20150121278A - Hevc에서의 고속 cu 결정을 통한 부호화방법 - Google Patents

Abstract

본 발명은 HEVC(High Efficiency Video Coding)에서의 고속 CU(Coding Unit) 결정을 통한 부호화방법에 관한 것으로서, CTU(Coding Tree Unit) 부호화 이전에 미리 초기 CU 크기를 예측하여 현재 CU와의 비교를 통해 현재 CU의 부호화 생략여부를 결정하며, CU 부호화 과정에서 CBF(Coded Block Flag)와 PU(Prediction Unit) 모드 예측 비용을 이용한 조건을 확인하여 빠른 CU 결정이 이루어지도록 하며, 인터 PU 모드 예측 과정에서 얻은 CBF값들을 이용하여 인트라 모드 예측 생략이 가능하다. 본 발명에 따르면, 적은 화질 열화를 갖으면서 빠른 부호화 시간을 갖는 고속 CU 결정 방법을 제공할 수 있다.

Description

HEVC에서의 고속 CU 결정을 통한 부호화방법{METHOD FOR CODING DATA BY FAST CODING UNIT DECISION IN HIGH EFFICIENCY VIDEO CODING}

본 발명은 HEVC(High Efficiency Video Coding) 기반 부호화방법에 관한 것으로, 더욱 상세하게는 고속 CU 결정을 위해 초기 CU(Coding Unit) 크기를 예측하여 해당 CU의 부호화 생략여부를 결정하고, CBF(Coded Block Flag)와 PU(Prediction Unit) 모드 예측 비용을 이용하는 기법과 인트라 모드 예측 생략 기법을 이용하여 부호화 시간을 줄이도록 하는 HEVC에서의 고속 CU 결정을 통한 부호화방법에 관한 것이다.

최근, 고화질의 고해상도 HD(High Definition) 콘텐츠 및 HD 방송 서비스가 이루어지고 있으며, 더 높은 화질에 대한 사용자의 요구에 따라 조만간 초고화질의 UHD(Ultra High Definition) 콘텐츠 및 UHD 방송 서비스가 제공될 것이다. 이러한 UHD의 서비스를 제공하기 위해서는 비디오 압축 표준 기술인 HEVC(High Efficiency Video Coding) 기술이 필요하다. 이 비디오 압축 표준 기술은 H.264/AVC의 두 배 압축률을 갖는 것을 목표로 하여 국제 표준화 단체인 ITU-T와 SO/IEC MPEG의 공동 작업으로 JCT-TV팀에서 표준화가 이루어지고 있다. 현재는 표준화가 마무리된 상태이며, H.264/AVC의 참조 소프트웨어 JM 18.4와 HEVC의 HM 9.0을 비교하였을 경우, HEVC는 약 40% 정도의 압축 효율을 갖는다.

HEVC는 H.264/AVC의 기반으로 이루어졌기 때문에 비슷한 코딩 구조를 갖는다. 그러나, H.264/AVC는 고정된 16x16 크기의 매크로 블록을 기본 단위로 갖는 반면에, HEVC는 가변적으로 크기 조절이 가능한 CTU(Coding Tree Unit)를 기본 단위로 갖는다. HEVC는 영상 내의 슬라이스를 가장 큰 CU(Coding Unit) 크기로 분할한 CTU의 번호 순서로 부호화가 이루어진다. 각각의 CTU는 재귀적인 쿼드 트리 구조에 의해 더 작은 CU들로 나누어지며, 이러한 CU는 한 개의 PU(Prediction Unit) 또는 그 이상의 PU들에 의해 예측이 되고, TU(Transform Unit)의 단위로 변환(Transform)이 수행된다. 이러한 TU 역시 재귀적인 쿼드 트리의 구조를 갖는다. 따라서 다양한 크기의 CU와 PU, TU가 존재한다.

재귀적인 쿼드 트리 구조를 갖는 CU 부호화 과정에서 최적의 CU를 결정하기 위해서는 CTU 내에서 가능한 모든 크기의 CU들에 대해서 부호화를 하여 비용을 계산하고, 계산 결과를 비교하여 더 작은 비용을 갖는 CU를 최적의 CU로 선택한다. HEVC의 참조 소프트웨어에서의 최적의 CU 결정 과정은 다음과 같다. 한 개의 CTU에 대한 CU 비용 조사를 도 1의 블록 번호 순서로 수행한다. 현재 CU의 비용을 계산한 후, 한 깊이(Depth) 아래의 하위 CU의 비용을 계산하는데, 4개의 하위 CU 비용 계산이 끝날 때마다 4개의 하위 CU 비용의 합과 해당 하위 CU들의 상위 CU 1개의 비용을 비교하여, 더 작은 비용을 갖는 CU 크기가 일단은 임시적으로 최적의 CU 크기가 된다. 한 개의 CTU에 대한 비용 계산이 모두 끝나면 임시적인 최적의 CU들이 최종적으로 최적의 CU가 된다.

예를 들어, 7번 CU까지의 비용 계산이 끝났을 때, 4~7번의 CU 비용의 합과 3번 CU의 비용을 비교하여, 만약 3번 CU 비용이 더 작은 값을 갖는다면, 임시적으로 3번 CU가 최적의 CU로 결정된다. 마지막 85번 CU 까지 비용 계산이 끝났을 때, 82~85 CU들의 비용 합과 81번 CU의 비용을 비교하여 임시적인 최적의 CU를 구한다. 만약 81번이 임시적으로 최적의 CU가 되었다면, 81번의 비용은 다시 66, 71, 76번 CU 위치의 임시적인 최적의 비용들과 합하여, 65번 CU의 비용과 비교된다. 여기서 더 작은 비용을 갖는 CU는 2, 23, 44번 위치의 임시적인 최적의 CU 비용과 합하여 마지막으로 한 번 더 1번 CU의 비용과 비교되어, 더 적은 비용을 갖는 CU가 최종적으로 최적의 CU로 결정된다. 이처럼 한 개의 CTU에 대한 최적의 CU 결정을 위해서는 많은 계산 처리가 필요하다.

최적의 CU를 결정하기 위한 CU 비용 계산은 현재 CU에 대해서 도 2의 모든 PU 모드 예측이 수행되고 이 중에서 가장 적은 비용을 갖는 PU 모드가 최적의 PU 모드로 선택되어 이루어진다. 또한 각각의 PU 모드 예측 수행 과정에서는 해당 PU 모드를 이용해서 얻은 예측치 블록으로 현재 CU 블럭을 부호화 한 후에 다시 역변환과 역양자화를 거쳐 복원된 블록과의 차를 이용하여 비용을 계산한다. 비용을 계산하는 방법은 아래의 [수학식 1], [수학식 2]와 같다.

SSEmode는 원영상의 블록영상인 OrgBlock과 원영상의 블록영상이 부호화와 복호화 거쳐져서 복원된 블록 영상 RecBlock간의 차의 제곱 값이다. RDmode값은 이러한 SSE와 라그랑지안 계수인값인 λ, 그리고 현재 CU를 현재 PU 모드를 이용해서 인코딩할 때 필요한 비트수 R을 이용해서 계산되어진다.

HEVC는 재귀적 쿼드 트리 구조 내에서, 이전의 H.264/AVC보다 비교적 다양한 블록 크기와 다양한 블록 모양에 의한 움직임 예측과 35개의 인트라 모드 예측을 통하여 최적의 비용(RDC, Rate-Distortion Cost)을 얻어 최소의 비용을 가지는 모드로 부호화되어 진다. 이러한 재귀적 쿼드 트리 구조 내에서 다양한 모드와 블록 크기의 예측을 통해 기존의 비디오 부호화율과 비교하여 동일 PSNR(Pick to Signal Noise Ratio)에서 약 두 배의 압축율을 갖는다. 하지만 복잡도는 몇 배 이상 증가하게 된다. 높은 복잡도는 빠른 처리와 실시간 처리에 문제가 될 수 있다.

대한민국 공개특허공보 제10-2013-0112374호(공개일 2013.10.14.)

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 고속 CU 결정을 위해 초기 CU 크기를 예측하여 해당 CU의 부호화 생략여부를 결정하고, CBF와 PU 모드 예측 비용을 이용하는 기법과 인트라 모드 예측 생략 기법을 이용함으로써, HEVC의 부호화 복잡도를 감소시켜 빠른 부호화 시간을 갖도록 하는 HEVC에서의 고속 CU 결정을 통한 부호화방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 HEVC에서의 고속 CU 결정을 통한 부호화방법은, CU 부호화 이전에, 현재 CU의 주변 CU들과 이전 프레임에서의 현재 CTU 위치 CU들의 위치에서 가장 큰 CU의 깊이값들 중에서 중간값을 선택하고, 상기 중간값에서 한 깊이값을 뺀 초기 CU 깊이값에 대응하는 초기 CU의 크기를 예측하는 단계를 포함하며, 상기 현재 CU의 크기가 상기 초기 CU의 크기보다 클 경우에 상기 현재 CU 및 상기 현재 CU의 하위 CU들의 부호화를 생략하는 것을 특징으로 한다.

이 때, 상기 현재 CU의 크기가 상기 초기 CU의 크기보다 크지 않을 경우에, CU 부호화 과정에서, 상기 현재 CU의 인터 모드들의 CBF값들과 PU 모드 비용들을 확인 및 저장하는 단계를 포함하며, 상기 CBF와 SKIP 모드의 비용을 모두 이용한 조건을 각 PU 모드 비용과 비교하여 상기 현재 CU 내에 남아있는 다음 PU 모드 예측을 생략한다. 여기서, 상기 PU 모드의 비용이 이전의 SKIP 모드들의 비용의 평균값보다 작다면 상기 현재 CU 내에 남아있는 다음 PU 모드 예측을 생략하는 것이 바람직하다. 또한, 상기 평균값은, 이전의 SKIP 모드 비용 4개와 현재 SKIP 모드의 비용을 이용한 총 5개의 SKIP 모드 비용의 평균일 수 있다. 그리고, 상기 인터 모드들의 CBF값들에 대해, 인터 PU 모드가 수행될 때마다 서브 CBF를 구하고, 각 서브 CBF의 위치에 따라 AND 연산을 실행하여 서브 CBF 맵을 생성하여 CBF값이 0인 개수로 인트라 모드 생략 여부를 결정하는 것이 바람직하다. 이 때, 상기 CBF값이 0인 개수가 3개 이상인 경우에 인트라 모드를 생략하는 것이 바람직하다.

상술한 바와 같이, 본 발명에 의한 HEVC에서의 고속 CU 결정을 통한 부호화방법에 따르면, CTU 부호화가 이루어지기 전에 시작 CU 크기를 예측함으로써 불필요한 큰 크기의 CU 부호화를 생략할 수 있으므로, 부호화 시간을 감소시킬 수 있다.

또한, CU 부호화 과정에서 CBF와 PU 모드 비용을 이용한 조건을 사용하여 빠른 CU 결정이 이루어질 수 있다.

그리고, 인터 PU 모드 예측 과정에서 얻은 서브 CBF값들을 이용해서 인트라 모드 예측 생략이 가능하여 부호화 시간을 감소시킬 수 있다.

한편, 본 발명은 표준 부호기 규격을 그대로 따르면서 적용할 수 있다.

결국, 본 발명은 빠른 HEVC 부호화 속도를 요구하는 분야의 응용에 적용할 수 있다.

도 1은 통상의 쿼드 트리 구조 CU를 분할한 도면이다.
도 2는 통상의 PU 모드의 종류를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 의한 HEVC에서의 고속 CU 결정을 통한 부호화방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 의한 초기 CU 크기 예측을 결정하는 과정을 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 의한 인트라 모드 예측 생략을 위한 서브 CBF 맵 생성 과정을 나타낸 개념도이다.

HEVC 비디오 부호화기는 재귀적 쿼드 트리 구조를 갖는 CU를 부호화에 적용함으로써 높은 부호화 효율을 얻는다. 그러나 이러한 재귀적 쿼드 트리 구조는 HEVC의 부호화 복잡도를 매우 증가시키는 결과를 갖는다. 이에 본 발명은 이러한 재귀적 쿼드 트리 구조 내에서 빠른 CU 결정이 가능한 알고리즘을 제공하고자 한다. 본 발명에서는, CTU 부호화 이전에 미리 초기 CU 크기를 예측하여 현재 CU와의 비교를 통해 현재 CU의 부호화 생략여부를 결정하며, CU 부호화 과정에서 CBF와 PU 모드 예측 비용을 이용한 조건을 확인하여 빠른 CU 결정이 이루어지도록 하며, 인터 PU 모드 예측 과정에서 얻은 CBF값들을 이용하여 인트라 모드 예측 생략이 가능하다. 이와 같이, 본 발명은 초기 CU 크기 예측 방법, CBF와 PU 모드의 예측 비용 이용한 빠른 CU 모드 결정 방법, 인트라 모드 예측 생략 방법의 세 과정으로 이루어져 있다. 본 발명에 따르면, 적은 화질 열화를 갖으면서 빠른 부호화 시간을 갖는 고속 CU 결정 방법을 제공할 수 있다.

이하, 본 발명의 HEVC에서의 고속 CU 결정을 통한 부호화방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 일 실시예에 의한 HEVC에서의 고속 CU 결정을 통한 부호화방법을 나타낸 흐름도이고, 도 4는 본 발명의 일 실시예에 의한 초기 CU 크기 예측을 결정하는 과정을 나타낸 개념도이며, 도 5는 본 발명의 일 실시예에 의한 인트라 모드 예측 생략을 위한 서브 CBF 맵 생성 과정을 나타낸 개념도이다.

먼저, 초기 CU 크기 예측 방법에 대해 설명한다. 기존 HEVC에서는 최적의 CU를 찾기 위해 가장 큰 크기의 CTU 비용 조사를 시작으로 가장 작은 크기의 CU까지의 모든 비용을 계산한다. 그러나 QP값과 입력 영상의 해상도가 낮고, 입력 영상이 빠르고 복잡한 움직임을 보이는 경우 CTU가 최적의 CU 크기로 결정되는 확률이 낮았다. 따라서 무조건적으로 가장 큰 CTU의 비용 조사를 시작으로 하는 CU 부호화는 부호화 시간을 낭비할 수 있다.

그러므로 본 발명에서는 CU 부호화가 시작되기 전에 미리 입력 영상의 공간적, 시간적 특성을 적응적으로 이용하여 초기의 CU 크기를 예측함으로써 CU 부호화 시간을 감소시키고자 한다. 즉, 초기 CU 크기를 예측하기 위해서는 도 4와 같이 현재 CU의 주변 CU들과 이전 프레임에서의 현재 CTU 위치 CU들의 크기를 조사한다. 이러한 초기 CU 크기의 깊이값은 아래의 [수학식 3]과 같이 구할 수 있다.

[수학식 3]의 A, B, C, D는 도 4와 같이 현재 CTU와 왼쪽, 왼쪽 위, 위, 오른쪽 위로 접해있는 CU들 중에서 A위치에서 가장 큰 CU의 깊이 값, B위치에서 가장 큰 CU의 깊이 값, 마찬가지로 C, D 위치에서의 가장 큰 CU의 깊이 값을 각각 나타낸다. 식(3)의 E는 바로 이전에 부호화된 프레임에서 현재 위치의 CTU 내에서 가장 큰 CU의 깊이 값을 말한다. 각각의 위치에서 가장 큰 CU의 깊이값들 중에서 중간값을 선택하고, 이 깊이값에서 한 깊이값을 빼면 초기 CU 깊이값이 결정된다.

다음으로, CBF와 PU 모드의 비용을 이용한 빠른 CU 결정 방법에 대해 설명한다. 빠른 CU 결정을 위하여 먼저 CBF와 각 PU 모드의 비용과, SKIP 모드의 비용을 조사하면, PU 모드 예측 후에 CBF가 0이라면 부호화될 잔여 신호가 존재하지 않기 때문에 작은 비용을 갖으며, SKIP 모드는 가장 작은 비용을 발생시킨다. 따라서 이러한 점을 본 발명에 적용한다. 구체적으로, 인터 모드들의 CBF값들과 PU 모드 비용들을 확인하고 저장해둔다. 만약 PU 모드 예측 후에 휘도신호와 채도신호의 CBF가 모두 0이고, PU 모드의 비용이 [수학식 4]와 같이 이전의 SKIP 모드들의 비용의 평균값 보다 작다면 현재 CU 내에 남아있는 다음 PU 모드 예측을 모두 생략한다. 또한 현재 CU 위치의 하위 CU들의 부호화 과정도 생략된다. 이 조건은 모든 인터 PU 모드가 끝날 때마다 확인된다.

WAvgRDCost_SKIP는 CU 크기에 따라 각각의 값이 따로 계산되어지며, 이 값은 스킵 모드가 최적의 모드로 선택될 때마다 이전 스킵 모드의 비용 4개와 현재 스킵 모드의 비용을 사용해서 갱신된다.

만약, 위의 CBF와 PU 모드 비용을 이용한 방법에 의해 CU 결정이 조기에 종료되지 않았다면, 인터 PU 모드 예측 과정 중에 획득한 CBF값들을 이용한 인트라 모드 생략 방법을 적용한다. 인터 PU 모드를 수행할 때 마다 4개의 NxN크기의 CBF를 각각 구해서 기록해둔다. 여기에서는 서브 CBF라고 표현한다. 인트라 모드를 수행할지 결정하기 위해 도 5에서 보이듯이 각 서브 CBF의 위치에 따라 AND 연산을 실행하여 서브 CBF 맵을 생성한다. CBF값이 0이 아닐 땐 1로 고려하여 AND 연산을 수행한다. 이러한 과정은 [수학식 5]와 같이 표현될 수 있다.

SubCBF2Nx2N_i, SubCBFNx2N_i, SubCBF2NxN_i는 Inter 2Nx2N, Inter Nx2N, Inter 2NxN의 각각 CBF값을 나타낸다. 서브 CBF 맵 내의 4개의 값 중에서 3개 이상 0의 값을 갖는다면 다음 예측 모드인 인트라 모드의 예측을 수행하지 않는다.

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

Claims (6)

1. CU(Coding Unit) 부호화 이전에, 현재 CU의 주변 CU들과 이전 프레임에서의 현재 CTU(Coding Tree Unit) 위치 CU들의 위치에서 가장 큰 CU의 깊이값들 중에서 중간값을 선택하고, 상기 중간값에서 한 깊이값을 뺀 초기 CU 깊이값에 대응하는 초기 CU의 크기를 예측하는 단계를 포함하며,
   상기 현재 CU의 크기가 상기 초기 CU의 크기보다 클 경우에 상기 현재 CU 및 상기 현재 CU의 하위 CU들의 부호화를 생략하는 HEVC(High Efficiency Video Coding)에서의 고속 CU 결정을 통한 부호화방법.
   
2. 제1항에 있어서,
   상기 현재 CU의 크기가 상기 초기 CU의 크기보다 크지 않을 경우에,
   CU 부호화 과정에서, 상기 현재 CU의 인터 모드들의 CBF(Coded Block Flag)값들과 PU(Prediction Unit) 모드 비용들을 확인 및 저장하는 단계를 포함하며,
   상기 CBF와 SKIP 모드의 비용을 모두 이용한 조건을 각 PU 모드 비용과 비교하여 상기 현재 CU 내에 남아있는 다음 PU 모드 예측을 생략하는 HEVC에서의 고속 CU 결정을 통한 부호화방법.
   
3. 제2항에 있어서,
   상기 PU 모드의 비용이 이전의 SKIP 모드들의 비용의 평균값보다 작다면 상기 현재 CU 내에 남아있는 다음 PU 모드 예측을 생략하는 HEVC에서의 고속 CU 결정을 통한 부호화방법.
   
4. 제3항에 있어서,
   상기 평균값은, 이전의 SKIP 모드 비용 4개와 현재 SKIP 모드의 비용을 이용한 총 5개의 SKIP 모드 비용의 평균인 HEVC에서의 고속 CU 결정을 통한 부호화방법.
   
5. 제3항에 있어서,
   상기 인터 모드들의 CBF값들에 대해, 인터 PU 모드가 수행될 때마다 서브 CBF를 구하고, 각 서브 CBF의 위치에 따라 AND 연산을 실행하여 서브 CBF 맵을 생성하여 CBF값이 0인 개수로 인트라 모드 생략 여부를 결정하는 HEVC에서의 고속 CU 결정을 통한 부호화방법.
   
6. 제5항에 있어서,
   상기 CBF값이 0인 개수가 3개 이상인 경우에 인트라 모드를 생략하는 HEVC에서의 고속 CU 결정을 통한 부호화방법.

Images