KR101620596B1 - 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법 - Google Patents

Abstract

본 발명은 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 관한 것으로, HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 있어서, 화면을 몇가지 방향으로 나누고, 상기 나누어진 방향들의 SATD(Sum of Absolute Transformed Differences) 값을 비교하여 최적모드가 속할 가능성이 높은 영역을 선택하는 제1 단계; 상기 제1 단계를 통해 선택된 선택 영역에 포함된 복수의 서브 영역에 포함된 모드들 중 SATD 값이 있는 모드들의 값을 비교하여 최소값을 가진 서브 영역을 최종 서브 영역으로 결정하는 제2 단계; 및 상기 제2 단계를 통해 결정된 최종 서브 영역의 SATD값이 없는 모드에 대한 SATD 연산을 수행한 후 SATD 값들을 작은 순으로 정렬한 다음에 RDO 과정이 수행 될 후보 모드로 정하는 제3 단계;로 구성되는 것을 특징으로 한다.
본 발명에 따르면, HEVC 부호화기 하드웨어 설계시 HEVC 부호화기 RMD 과정에서의 고속 모드 결정을 위해 방향성 추적을 이용한 모드 선별 방식을 적용함에 따라 RMD에서 후보 모드 선별의 계산 복잡도를 줄일 수 있어 효율적인 인트라 예측(Intra Prediction)을 수행할 수 있다.

Description

에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법 { Direction-based fast mode decision method for HEVC Intra Prediction }

본 발명은 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 관한 것으로서, 좀더 상세하게는 하드웨어 기반 HEVC 인트라 예측시 현재블록과 인접한 블록의 픽셀 방향성을 고려하여 RMD에서 후보 모드 선별의 계산 복잡도를 줄일 수 있도록 하기 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 관한 것이다.

일반적으로 영상 압축 기술은 영상회의, 스트리밍, 영상 저장 및 화상통신 등의 영상 애플리케이션들 뿐만 아니라 HD(High-definition) 영상 콘텐츠에 대한 폭발적인 수요 증가로 인해 다양한 산업 분야에서 주목받고 있다. 이때, H.264/AVC는 표준화되고 가장 널리 사용되고 있는 최신의 영상 부호화기술이다.

한편, 최근에는 차세대 영상 부호화기술 표준으로 알려진 에이치이브이씨(HEVC, High Efficiency Video Coding)는 ISO/IEC MPEG와 ITU-T VCEG에 의해 발전되어져 왔다.

상기 HEVC는 유연한 블록 구조(flexible block structure), 증가된 인트라코딩방향(increased intra-coding direction)들, 정교한 인터폴레이션 필터들(sophisticated interpolation filters), 다양한 인루프 필터들(various in-loop filters), 그리고 향상된 엔트로피 부호화 스킴들(enhanced entropy coding schemes) 등의 여러 새로운 형태가 소개되고 있다.

현재 표준화된 HEVC(High Efficiency Video Coding)는 동일한 화질을 기준으로 H.264/AVC에 보다 약 2배 정도 향상된 압축률을 제공하지만, 기존의 압축 표준보다 압축효율을 높이기 위해 다양한 기법들이 추가되어 연산의 복잡도는 훨씬 증가하였다.

이때, HEVC(High Efficiency Video Coding)의 압축률 향상을 위한 다양한 기법들 중에서 인트라 예측(Intra Prediction)의 경우 HEVC에서 35개의 인트라 예측 모드(Intra Prediction Mode)를 제공한다. 이는 기존의 H.264/AVC에서 제공하는 9개의 인트라 예측 모드(Intra Prediction Mode)보다 약 4배가 더 많은 예측 모드(Prediction Mode)를 사용함으로써 보다 뛰어난 압축효율을 가지게 되었다.

한편, HEVC(High Efficiency Video Coding)의 인트라 예측(Intra Prediction)에서는 최소 4x4 크기부터 최대 64x64 크기의 예측단위(Prediction Unit, PU)를 사용하며, 35개의 인트라 예측 모드(Intra Prediction Mode)를 감지에 따라 최대 16x16 매크로블록 크기에서 9가지의 인트라 예측 모드(Intra Prediction Mode)를 가진 H.264와 비교하여 다양한 방향에 대하여 보다 유연하게 인트라 예측(Intra Prediction)을 할 수 있지만, 인트라 예측 모드(Intra Prediction Mode) 수가 증가한 만큼, 최종 모드 결정에 쓰이는 Rate-Distortion(RD) cost를 구하기 위한 연산량도 많아지기 때문에 높은 복잡도를 가진다.

물론, 이와 같은 높은 복잡도를 해결하기 위하여 HEVC에서는 RMD(Rough Mode Decision) 과정을 추가하였다. RMD는 현재 PU(Prediction Unit)에서 35가지 인트라 예측 모드(Intra Prediction Mode)에 대하여 SATD(Sum of Absolute Transformed Differences)를 이용하여 작은 SATD값을 갖는 예측 모드 후보들을 찾는다. 그 후 소수의 후보들에 대해서만 RDO(Rate-Distortion Optimization)를 통해 최적의 예측 모드를 결정한다.

즉, RDO에 비하여 계산량이 적은 SATD로 적정 후보를 골라내는 RMD과정으로 인트라 예측 시간을 줄일 수 있다. HEVC의 RMD 과정에서는 35개의 모드에 대하여 순차적으로 예측모드에 따른 예측 블록을 생성하고 SATD 연산을 수행한다.

그런데, 인트라 예측(Intra Prediction)은 인접 블록과의 공간적 상관성을 이용하는 예측 방법이므로 상반된 방향의 35가지 예측 모드를 모두 수행하는 것은 비효율적이다.

참고문헌 1: 안용조 외, "HEVC 부호화기 소프트웨어의 통계적 특성 및 복잡도 분석", 방송공학회논문지, 제17권, 제6호, pp.11, Nov, 2012.

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 현재블록과 인접한 블록의 픽셀 방향성을 고려하여 RMD에서 후보 모드 선별의 계산 복잡도를 줄일 수 있는 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 있어서, 화면을 몇가지 방향으로 나누고, 상기 나누어진 방향들의 SATD(Sum of Absolute Transformed Differences) 값을 비교하여 최적모드가 속할 가능성이 높은 영역을 선택하는 제1 단계; 상기 제1 단계를 통해 선택된 선택 영역에 포함된 복수의 서브 영역에 포함된 모드들 중 SATD 값이 있는 모드들의 값을 비교하여 최소값을 가진 서브 영역을 최종 서브 영역으로 결정하는 제2 단계; 및 상기 제2 단계를 통해 결정된 최종 서브 영역의 SATD값이 없는 모드에 대한 SATD 연산을 수행한 후 SATD 값들을 작은 순으로 정렬한 다음에 RDO 과정이 수행 될 후보 모드로 정하는 제3 단계;로 구성되는 것을 특징으로 하는 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 제공한다.

이때, 상기 제1 단계는, 화면 내에서 33가지 방향을 크게 Top-Right(TR), Vertical, Top-Left(TL), Horizontal, Bottom-Left(BL)의 5가지 방향으로 나누고, 상기 5가지 방향들의 SATD(Sum of Absolute Transformed Differences) 값을 비교하여 최적모드가 속할 가능성이 높은 세 가지 영역 중 하나의 영역을 선택하는 단계;인 것을 특징으로 한다.

또한, 상기 제3 단계에서, RDO 과정이 수행 될 각 블록별 후보의 수는 4x4 크기부터 8x8 크기의 블록은 8개이고, 16x16 크기부터 64x64 크기의 블록은 3개인 것을 특징으로 한다.

본 발명에 따르면, HEVC 부호화기 하드웨어 설계시 HEVC 부호화기 RMD 과정에서의 고속 모드 결정을 위해 방향성 추적을 이용한 모드 선별 방식을 적용함에 따라 RMD에서 후보 모드 선별의 계산 복잡도를 줄일 수 있어 효율적인 인트라 예측(Intra Prediction)을 수행할 수 있다.

도 1은 통상의 HEVC 부호화기와 복호화기의 구성을 도시한 개념도이다.
도 2의 (a) 및 (b)는 본 발명에 따른 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정시 영역 결정에 사용되는 방향과 영역을 설명하기 위해 도시한 도면이다.
도 3은 본 발명에 따른 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정시 각 서브 영역이 포함하는 모드를 설명하기 위해 도시한 표이다.
도 4는 본 발명에 따른 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 적용한 경우 HM 10.0 대비 제안된 방법의 BD-BR, BD-PSNR 비교표이다.

본 발명에 따른 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 첨부한 도면을 참고로 하여 이하 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1은 통상의 HEVC 부호화기와 복호화기의 구성을 도시한 개념도이다. 이에 의하면 하드웨어 기반의 HEVC(High Efficiency Video Coding)에서 영상의 압축에 사용되는 부호화기(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.

그리고, 영상 복호화기(200)는 상기 부호화기(100)에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 이때, 인트라 모드인 경우에는 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

이때, 본 발명에서는 하드웨어 기반 HEVC 인트라 예측에서 HEVC 부호화기(Encoder)(100)를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 사용한다.

일반적으로 인트라 예측(Intra Prediction)의 최적의 모드를 선택하기 위해 35개의 인트라 예측 모드(intra prediction mode) 모두 RDO(Rate-Distortion Optimization)를 수행하게 되면 계산 복잡도가 높은 RDO의 특성상 부호화기(Encoder)(100)에서는 상당한 계산 시간을 소모하게 된다.

따라서, 인트라 예측(Intra Prediction)에서는 35개의 인트라 예측 모드(Intra Prediction Mode) 중에서 블록 사이즈에 따라 8개 또는 3개의 후보 모드(Candidate Mode)를 선택하는 RMD(Rough Mode Decision) process(S100)를 수행한 후, 선택된 인트라 예측 모드(Intra Prediction Mode) 내에서 최적의 모드를 결정하는 RDO(Rate-Distortion Optimization) process(S200)를 수행하게 된다.

이때, 상기 RMD process(S100)는 RDO process(S200)에 비해 처리속도가 매우 빠르므로 인트라 예측(Intra Prediction)의 부호화 시간(encoding time)을 상당히 단축시킬 수 있다.

한편, 일반적으로 화면 내 예측 모드가 선택되는 비율은 모드마다 상이하다. 특히 DC, Planar Mode의 경우는 선택 비율이 총 33.4%로 높게 나타나기 때문에 방향성을 고려하기 전 단계에서 항상 RMD process(S100)에 포함된다.

우선, 첫 번째 단계(S1)에서는 화면 내에서 33가지 방향을 크게 Top-Right(TR), Vertical, Top-Left(TL), Horizontal, Bottom-Left(BL)의 5가지 방향으로 나누고, 상기 5가지 방향들의 SATD(Sum of Absolute Transformed Differences) 값을 비교하여 최적모드가 속할 가능성이 높은 세 가지 영역 중 한 영역을 선택하게 된다.

도 2를 참고하면, 도 2의 (a)는 영역 예측을 위한 5가지 예측 방향을 보여준다. 즉, 화면 내의 33가지 방향을 각각 Mode 2 ~ Mode 34라 할때, 통계적으로 선택되기 쉬운 수직(Vertical) 방향은 총 18.9%인 Mode 25, 26 및 27을 포함하고, 수평(Horizontal)은 총 7.1%인 Mode 9, 10 및 11을 포함한다.

또한, Top-Right(TR)는 Mode 29, 32 및 34를 포함하는 Mode 29 내지 Mode 34에 해당되고, Top-Left(TL)는 Mode 16, 18 및 20을 포함하는 Mode 16 내지 Mode 20에 해당되며, Bottom-Left(BL)는 Mode 2, 4 및 7을 포함하는 Mode 2 내지 Mode 7에 해당된다.

그리고, 각 방향이 포함하는 모드들에 SATD 연산을 수행하는데, 이 결과는 도 3에 나타낸 표에서 확인할 수 있다. 여기서 구해진 SATD 값들을 비교하여 방향별 최소 SATD 값을 구하고 이를 각 방향의 대푯값과 대표모드로 설정한다.

이때, Mode 23과 Mode13은 첫 번째 단계에서 세 가지 영역 중 하나를 결정할 때는 사용하지 않지만, 다음 단계에서 서브 방향 예측에 사용되므로 미리 SATD 연산하여 값을 구해둔다.

이와 같이 Top-Right(TR), Vertical, Top-Left(TL), Horizontal, Bottom-Left(BL) 5개의 방향에서 결정된 5개의 대푯값들은 도 2의 (b)의 세가지 영역인 Area 1 ~ Area 3 중 한 영역을 결정할 때 지표로서 사용된다.

즉, Top-Right(TR), Vertical, Top-Left(TL), Horizontal, Bottom-Left(BL) 5개의 방향에서 결정된 5개의 대푯값들을 비교하여 최소값이 Vertical 또는 Bottom-Left(BL) 인 경우에는 Area 1, Top-Left(TL)인 경우에는 Area 2, Horizontal 또는 Bottom-Left(BL)인 경우에는 Area 3가 다음 단계 예측이 수행 될 영역으로 결정된다.

다음으로, 두번째 단계(S2)에서는 상기 첫번째 단계(S1)를 통해 세 가지 영역 중 선택된 하나의 선택 영역의 서브 영역을 결정한다.

도 3은 Area 1 ~ Area 3 각 영역별 서브영역인 Sub a, Sub b, Sub c에 포함된 모드들을 보여준다. 각 서브 영역(Sub a, Sub b, Sub c)에 포함된 모드들 중 SATD 값이 있는 모드들(도 3 참조), 즉 첫 번째 단계(S1)에서 SATD 연산이 수행된 모드들의 값을 비교하여 최솟값을 찾고, 비교를 위한 대푯값으로 설정한다.

그리고, 이 대푯값들을 비교하여 최솟값을 가진 서브 영역(Sub a, Sub b, Sub c 중에 어느 하나)을 최종 서브 영역으로 결정한다.

그리고, 세번째 단계(S3)에서는 두번째 단계(S2)를 통해 최종 결정된 최종 서브 영역의 SATD값이 없는 모드들(도 3 참조), 즉 첫 번째 단계(S1)에서 SATD 연산이 수행되지 않은 모드들에 대한 SATD 연산을 수행한다. 그리고, 현재까지 구한 총 23개의 SATD 값들을 그 값이 작은 순으로 정렬한 다음에 RDO 과정이 수행 될 후보 모드로 정한다. 이 경우 각 블록별 후보의 수는 4x4 크기부터 8x8 크기의 블록은 8개로, 16x16 크기부터 64x64 크기의 블록은 3개로 한다.

이와 같이 본 발명에 따른 HEVC 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법을 수행하는 경우 도 4의 표와 같은 시뮬레이션 결과를 얻을 수 있다. 이때, 도 4의 표는 본 발명에서 제안한 방식을 적용했을 때의 R-D 성능을 HM 10.0과 비교하여 나타낸 것이다.

이를 살펴보면, 첫 번째 열은 영상의 class이고, 두 번째 열은 sequence 종류를 나타낸다. 그리고, 각 영상은 QP값을 24, 28, 32, 36으로 설정하여 30frame 씩 인코딩한 결과이다. 제안한 방식을 적용했을 때 RMD 과정을 수행하는 모드 수는 기존 35개에서 23개로 약 34% 감소하며, Luma에 대한 평균 BD-BR 증가와 BD-PSNR 감소는 각각 0.09%와 0.003dB로 크지 않았다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 부호화기
200: 복호화기

Claims (3)

1. 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법에 있어서,
   화면 내의 33개 방향을 다섯 가지 방향으로 나누고, 각 방향이 포함하는 모드들에 SATD(Sum of Absolute Transformed Differences) 연산을 수행하고, 구해진 SATD 값들의 비교를 통해 방향별 최소 SATD 값을 구하여 각 방향의 대푯값과 대표모드로 설정한 후, 다섯 가지 방향을 다시 세 개의 영역으로 구분하여 다섯 개의 대푯값 중 최솟값에 해당되는 방향이 포함된 영역을 최적모드가 속할 가능성이 높은 영역으로 선택하는 제1 단계;
   상기 제1 단계에서 구분된 세 개의 영역들 각각을 다시 세 개의 서브 영역으로 구분하고, 제1 단계를 통해 선택된 선택 영역에 포함된 세 개의 서브 영역에 포함된 모드들 중 SATD 값이 있는 모드들의 SATD 값을 비교하여 최솟값을 각 서브 영역에서의 대푯값으로 설정하고, 세 개의 대푯값들을 비교하여 최솟값을 갖는 서브 영역을 최종 서브 영역으로 결정하는 제2 단계; 및
   상기 제2 단계를 통해 결정된 최종 서브 영역의 SATD값이 없는 모드에 대한 SATD 연산을 수행한 후, 현재까지 구해진 모든 SATD 값들을 작은 순으로 정렬한 다음에 RDO 과정이 수행 될 후보 모드로 정하는 제3 단계;로 구성되는 것을 특징으로 하는 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법.
2. 제 1항에 있어서,
   상기 제1 단계에서, 화면 내의 33가지 방향은 각각 Mode 2 내지 Mode 34로 설정되고, 다섯 가지 방향은 Mode 2 내지 Mode 7이 포함되는 Bottom-Left(BL), Mode 9 내지 Mode 11이 포함되는 Horizontal, Mode 16 내지 Mode 20이 포함되는 Top-Left(TL), Mode 25 내지 Mode 27이 포함되는 Vertical 및 Mode 29 내지 Mode 34가 포함되는 Top-Right(TR)로 구성되며, 세 개의 영역은 Vertical과 Top-Right(TR)를 포함하는 Area 1과, Top-Left(TL)를 포함하는 Area 2 및 Bottom-Left(BL)와 Horizontal을 포함하는 Area 3로 구성된 것을 특징으로 하는 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법.
   
3. 제 1항에 있어서,
   상기 제3 단계에서, RDO 과정이 수행 될 각 블록별 후보의 수는 4x4 크기부터 8x8 크기의 블록은 8개이고, 16x16 크기부터 64x64 크기의 블록은 3개인 것을 특징으로 하는 에이치이브이씨 부호화기를 위한 방향성 기반의 고속 인트라 예측 모드 결정 방법.

Images