KR101890182B1 - Hevc 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법 - Google Patents

Abstract

본 발명은 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법에 관한 것으로; HEVC 인트라 예측의 블록 사이즈 후보 결정 방법에 있어서, RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션들의 코스트를 계산하여 코스트가 낮은 복수의 파티션을 선택하는 제1 단계와; 및 선택된 복수의 후보 파티션이 동질(homogeneous)의 영상 특성을 지닌다고 판단되면 상기 선택된 파티션 후보들 이용해 최적의 모드를 결정하는 RDO를 수행하는 제2 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션들의 코스트를 계산하여 코스트가 낮은 복수의 파티션을 후보로 선택하여 최적의 모드를 결정하여 RDO 단계에서 계산 복잡도가 감소하고 이로 인해 HEVC 인코더의 인트라 예측 속도가 향상되는 효과가 있다.

Description

HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법 {Texture-bassed Early Decision Method of Block Size for Fast Intra Prediction in an HEVC Encoder}

본 발명은 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법에 관한 것으로서, 좀더 상세하게는 HEVC 인코더의 인트라 예측 속도를 향상시키기 위해 계산 복잡도가 높은 RDO(Rate-Distortion Optimization) 수행 전 영상 특성을 파악하여 최적의 블록 사이즈의 후보군을 선택하여 RDO 단계로 넘기는 PF(Partition Filtering) 방법에 관한 것이다.

일반적으로 영상 압축 기술은 영상회의, 스트리밍, 영상 저장 및 화상통신 등의 영상 애플리케이션들 뿐만 아니라 HD(High-definition) 영상 콘텐츠에 대한 폭발적인 수요 증가로 인해 다양한 산업 분야에서 주목받고 있다.

이때, H.264/AVC는 표준화되고 가장 널리 사용되고 있는 최신의 영상 부호화기술이다.

한편, 최근에는 고해상도 비디오 데이터의 사용이 증가하면서 H.264/AVC와 같은 기존의 비디오 코덱 표준보다 원등한 압축 성능을 제공하는 새로운 비디오 압축 기술로 참고문헌 1에서 제안된 바와 같이 차세대 영상 부호화기술 표준으로 알려진 HEVC(High Efficiency Video Coding)가 ISO/IEC MPEG와 ITU-T VCEG에 의해 발전되어져 왔다.

상기 HEVC(High Efficiency Vedio Coding)는 이전 세대 동영상 표준 코덱인 AVC/H.264와 비교하여 동일 화질 대비 최대 약 2배까지의 압축률을 보여줌으로써 고해상도 뿐 아니라 초고해상도 영상의 효율적인 관리를 가능하게 만들었다.

이때, HEVC에서 인트라 예측 모드(Intra Prediction Mode)의 개수는 35개로, 기존의 코덱인 AVC/H.264에서 제공하는 9개의 인트라 예측 모드에 비해 약 4배 더 많은 예측모드를 사용하였기 때문에 예측의 정확성을 향상시키고 압축 효율 또한 높일 수 있었다.

하지만, 예측 모드 수의 증가로 인해 계산 복잡도가 크게 증가하는 문제가 발생하였다.

참고문헌 1 : 심동규, 조현호, 고효율 영상 부호화 기술 HEVC 표준기술의 이해, 홍릉과학출판사, 2014.

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 계산 복잡도가 높은 RDO(Rate-Distortion Optimization) 수행 전 영상 특성을 파악하여 최적의 블록 사이즈의 후보군을 선택하여 RDO 단계로 넘겨 HEVC 인코더의 인트라 예측 속도를 향상시키는 영상 특성 기반의 블록 후보 조기 결정 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

HEVC 인트라 예측의 블록 사이즈 후보 결정 방법에 있어서, RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션들의 코스트를 계산하여 코스트가 낮은 복수의 파티션을 선택하는 제1 단계와; 및 선택된 복수의 후보 파티션이 동질(homogeneous)의 영상 특성을 지닌다고 판단되면 상기 선택된 파티션 후보들을 이용해 최적의 모드를 결정하는 RDO를 수행하는 제2 단계;를 포함하는 것을 특징으로 하는 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법을 제공한다.

이때, 상기 제1 단계 이전에, 예측 모드별 SATD 코스트를 산정하여 HEVC 인트라 예측 모드를 미리 선정하는 RMD를 수행하는 제3 단계;를 더 포함하는 것을 특징으로 한다.

그리고, 상기 제2단계는, 선택된 복수의 후보 파티션이 64 × 64 블록과 32 × 32 블록을 모두 포함하면 해당 영역을 동질(homogeneous)의 영상 특성을 지닌다고 판단하여 64 × 64 블록과 32 × 32 블록을 선택하여 RDO를 수행하는 단계인 것을 특징으로 한다.

이때, 상기 제2단계에서 선택된 복수의 후보 파티션이 동질(homogeneous) 조건을 만족하지 않으면 복수의 후보 파티션(partition)이 16 × 16 블록과 8 × 8 블록을 모두 포함하고 64 × 64 블록과 32 × 32 블록이 2개 이상 포함되지 않으면 해당 영역을 비동질(inhomogeneous)의 영상 특성을 지닌다고 판단하여 16 × 16 블록과 8 × 8 블록만을 선택하여 RDO를 수행하는 단계인 것을 특징으로 한다.

그리고, 상기 동질(homogeneous)의 영상 특성 및 비동질(inhomogeneous)의 영상 특성을 모두 만족하지 않으면 해당 영역의 영상 특성이 명확하지 않다고 판단하고 SATD 코스트가 작은 복수의 파티션을 선택하여 RDO를 수행하는 것을 특징으로 한다.

본 발명에 따르면, RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션들의 코스트를 계산하여 코스트가 낮은 복수의 파티션을 후보로 선택하여 최적의 모드를 결정함으로써 RDO 단계에서 계산 복잡도가 감소하고 이로 인해 HEVC 인코더의 인트라 예측 속도가 향상되는 효과가 있다.

도 1은 통상의 HEVC 인코더 및 디코더의 구성을 도시한 개념도이다.
도 2는 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정을 위한 PF 기법에서 사용된 파티션 후보를 설명하기 위해 도시한 도면이다.
도 3은 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법을 적용했을 때의 압축 효율 저하 정도 및 계산 복잡도 감소량을 도시한 표이다.

이하, 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1 및 도 2를 참고하면, 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법은 계산 복잡도가 높은 RDO(Rate-Distortion Optimization)의 수행 전에 영상 특성을 파악하여 최적의 블록 사이즈의 후보군을 선택하여 RDO 단계로 넘긴다.

우선 도 1은 HEVC 인코더와 디코더의 구성을 도시한 개념도이다. 이에 의하면 하드웨어 기반의 HEVC(High Efficiency Video Coding)에서 영상의 압축에 사용되는 인코더(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.

그리고, 디코더(200)는 상기 인코더(100)에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.

이때, 인트라 모드인 경우에는 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

우선 본 발명에 따른 HEVC 인트라 예측의 속도 향상을 위한 블록 사이즈 후보를 조기에 결정하기 위해 인코더(100)에서는 다음과 같은 방법을 사용한다.

즉, 인트라 예측(Intra Prediction)의 최적의 모드를 선택하기 위해 35개의 인트라 예측 모드(intra prediction mode) 모두 RDO(Rate-Distortion Optimization)를 수행하게 되면 계산 복잡도가 높은 RDO의 특성상 인코더(100)에서는 상당한 계산 시간을 소모하게 되므로, 이를 개선하기 위해 영상 특성을 파악하여 최적의 블록 사이즈의 후보군을 선택하여 인트라 예측 모드(Intra Prediction Mode) 내에서 최적의 모드를 결정하는 RDO(Rate-Distortion Optimization) 과정을 수행하여 인트라 예측 속도를 향상시킬 수 있다.

이와 같은 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법은 RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션(partition)들의 코스트(cost)를 계산하여 코스트(cost)가 낮은 N개의 파티션(partition)을 선택하는 단계와; 선택된 N개의 후보 파티션(partition)이 동질(homogeneous)의 영상 특성을 지닌다고 판단되면 상기 선택된 파티션(Partition) 후보들을 이용해 최적의 모드를 결정하는 RDO(Rate-Distortion Optimization) 단계;를 수행한다.

즉, 본 발명의 블록 후보 조기 결정 방법은 HEVC 인트라 예측 모드(Intra Prediction mode)를 미리 선정하는 RMD(Rough Mode Decision) 단계에서 구한 예측 모드별 SATD(Sum of Absolute Transformed Differences) 코스트(cost)를 활용하여 파티션(partition)의 코스트(cost)를 미리 계산한다.

블록 영역의 특성을 고려하여 가장 적합한 파티션(partition)의 후보군을 선택한다. 먼저 도 2의 (a)와 같이 64 × 64 블록을 위한 13개의 파티션(partition) 타입(PT)을 정하였다. 도 2의 (b)는 13개의 블록들을 조합하여 생성되는 파티션(partition)(P)의 예이다.

우선 RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션(partition)(P)들의 코스트(cost)를 계산하고, 코스트(cost)가 낮은 N개의 파티션(partition)(P)을 선택한다.

이때, 선택된 N개의 후보 파티션(partition)(P)이 64 × 64 블록과 32 × 32 블록을 모두 포함하는 경우 해당 영역을 동질(homogeneous)의 영상 특성을 지닌다고 판단하며, 동질(homogeneous)의 영상 특성을 지니는 것으로 판단한 64 × 64 블록과 32 × 32 블록만을 선택하여 이후 RDO(Rate-Distortion Optimization) 단계를 수행한다.

그리고, 선택된 N개의 후보 파티션(partition)(P)이 동질(homogeneous) 조건을 만족하지 않으면 N개의 후보 파티션(partition)(P)이 16 × 16 블록과 8 × 8 블록을 모두 포함하고, 64 × 64 블록과 32 × 32 블록이 2개 이상 포함되지 않는지를 확인한다. 이와 같은 조건을 만족하면 해당 영역을 비동질(inhomogeneous)의 영상 특성을 지닌다고 판단하여 16 × 16 블록과 8 × 8 블록만을 선택하여 RDO를 수행한다.

한편, 상기 동질(homogeneous)의 영상 특성 및 비동질(inhomogeneous)의 영상 특성을 모두 만족하지 않는 경우는 해당 영역의 영상 특성이 명확하지 않다고 판단하고 SATD 코스트(cost)가 작은 P개의 파티션(partition)을 선택하여 RDO(Rate-Distortion Optimization)를 수행한다.

이와 같이 본 발명에서 제안하는 알고리즘에서 사용된 N과 P의 값은 SATD 코스트(cost) 기반으로 파티션(partition)을 정렬한 이후 영상의 특성에 따라 정해지며, 실험적으로 각각의 값을 결정하였다.

이때, 현재 불록과 참조 블록의 왜곡(distortion)만을 사용하여 영상 특성을 파악할 경우 작은 블록들로 조합된 파티션(partition)들이 큰 블록들로 조합된 파티션(partition)들 보다 더 작은 SATD 코스트(cost)값을 갖는 경향이 발생한다.

따라서, 파티션(partition) 후보가 잘못 선택되는 것을 막기 위해 8 × 8 블록 64개로 이루어진 파티션(partition)과 32 × 32 블록 4개로 이루어진 파티션(partition)의 코스트(cost)를 비교하여, 전자인 8 × 8 블록 64개로 이루어진 파티션(partition)의 코스트(cost)에 1.2배를 한 값이 후자인 32 × 32 블록 4개로 이루어진 파티션(partition)의 코스트(cost)보다 크면 그렇지 않은 경우보다 N과 P의 값을 더 크게 설정한다.

이로 인해 RDO 수행에서 파티션(partition)의 선택의 폭이 넓어져 가장 적합한 베스트 블록 파티션(best block partition)이 잘못 결정되는 가능성을 낮출 수 있다. 이때, 각각의 경우 N = 60, P = 82와 N = 30, P = 8로 값을 정하였다.

이하, 도 3을 참고로 본 발명에 따른 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법의 실험 예를 설명한다.

이때, 도 3은 본 발명에서 제안한 방식을 적용했을 때의 압축 효율 저하 정도 및 계산 복잡도 감소량을 표로 나타낸 것으로, 특히 본 발명에서 제안하는 방법을 적용하였을 때 RDO 단계에서 감소하는 계산 복잡도 감소와 R-D 성능으로 HM 13.0과 비교하여 도시하였다.

첫째 열은 영상의 클래스(Class), 둘째 열은 시퀀스(Sequence)를 나타낸다. QP값은 22, 27, 32, 37로 설정하였으며, 20 프레임(frame)씩 영상을 인코딩하였다. RDO 단계에서 소요되는 블록 크기별 사이클(cycle)의 값은 32 × 32 블록의 경우 64 사이클(cycle), 16 × 16 블록의 경우 8 사이클(cycle), 8 × 8 블록의 경우 1 사이클(cycle)인 하드웨어로 가정하여 진행하였다.

이와 같이 본 발명에서 제안한 방법을 적용하였을 때, BDBR(Bjontegaard-Delta Bit-Rate)의 증가는 Y, U, V 성분에 대하여 각각 0.5%, 0.93%, 0.94%로 크지 않다.

반면, 파티션(partition) 개수를 줄임으로써 RDO 단계에서 감소하는 사이클(cycle)은 대략 41% 정도로 계산 복잡도가 크게 감소한 것을 확인할 수 있었다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 인코더
200: 디코더

Claims (5)

1. HEVC 인트라 예측의 블록 사이즈 후보 결정 방법에 있어서, RMD 단계에서 계산된 예측 모드별 SATD 값을 이용하여 파티션들의 코스트를 계산하여 코스트가 낮은 복수의 파티션을 선택하는 제1 단계와; 및 선택된 복수의 후보 파티션이 동질(homogeneous)의 영상 특성을 지닌다고 판단되면 상기 선택된 파티션 후보들을 이용해 최적의 모드를 결정하는 RDO를 수행하는 제2 단계;를 포함하여 이루어지고,
   상기 제1 단계 이전에, 예측 모드별 SATD 코스트를 산정하여 HEVC 인트라 예측 모드를 미리 선정하는 RMD를 수행하는 제3 단계;를 포함하며,
   상기 제2단계는, 선택된 복수의 후보 파티션이 64 × 64 블록과 32 × 32 블록을 모두 포함하면 해당 영역을 동질(homogeneous)의 영상 특성을 지닌다고 판단하여 64 × 64 블록과 32 × 32 블록을 선택하여 RDO를 수행하는 단계이고,
   상기 제2단계에서 선택된 복수의 후보 파티션이 동질(homogeneous) 조건을 만족하지 않으면 복수의 후보 파티션(partition)이 16 × 16 블록과 8 × 8 블록을 모두 포함하고 64 × 64 블록과 32 × 32 블록이 2개 이상 포함되지 않으면 해당 영역을 비동질(inhomogeneous)의 영상 특성을 지닌다고 판단하여 16 × 16 블록과 8 × 8 블록만을 선택하여 RDO를 수행하는 단계이며,
   상기 동질(homogeneous)의 영상 특성 및 비동질(inhomogeneous)의 영상 특성을 모두 만족하지 않으면 해당 영역의 영상 특성이 명확하지 않다고 판단하고 SATD 코스트가 작은 복수의 파티션을 선택하여 RDO를 수행하는 것을 특징으로 하는 HEVC 인코더의 인트라 예측 속도 향상을 위한 영상 특성 기반의 블록 후보 조기 결정 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images