KR101516343B1 - Hevc를 위한 대체 인트라 예측 장치 및 방법 - Google Patents

Abstract

본 발명은 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 장치 및 방법에 관한 것으로, 보다 더 구체적으로는 자연영상에서의 부호화 성능 하락 없이, 스크린 컨텐츠에서 높은 효율을 보일 수 있도록 기존의 수직과 수평 예측 모드를 결합하여 새로운 예측모드를 제공하는 대체 인트라 예측 장치 및 방법에 관한 것이다.
본 발명의 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 방법은, 휘도 신호의 PU (예측 유닛, Prediction Unit)가 4x4일 경우 예측모드 3, 5, 13, 15, 31, 33의 예측신호를 대체 인트라 예측(AIP) 모드에 따른 예측신호로 치환하는 치환단계; 색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 예측신호를 AIP 모드에 따른 예측 신호로 치환하는 치환단계; 및 대체된 6가지의 AIP모드를 포함하여 총 35가지의 예측모드에 대해 예측 오차값을 계산하여 최저에러값을 가지는 예측모드를 선택하는 선택단계;를 포함한다.

Description

HEVC를 위한 대체 인트라 예측 장치 및 방법 {Apparatus and Method of Alternative Intra Prediction for HEVC}

본 발명은 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 장치 및 방법에 관한 것으로, 보다 더 구체적으로는 자연영상에서의 부호화 성능 하락 없이, 스크린 컨텐츠에서 높은 효율을 보일 수 있도록 기존의 수직과 수평 예측 모드를 결합하여 새로운 예측모드를 제공하는 대체 인트라 예측 장치 및 방법에 관한 것이다.

현재, 비디오 압축 표준으로 채택된 HEVC (High Efficiency Video Coding) 는 기존의 ITU-T H.264/AVC (Advanced Video Coding)에 비해 월등히 우수한 압축 효율을 나타낸다. 또한 브로드캐스팅, 비디오 컨퍼런스 등의 다양한 조건에서도 우수한 부호화 성능을 제공하기 위해 A-F의 공통 테스트 영상으로 표준화를 수행했다. 이중 class F로 분류되는 스크린 컨텐츠 영상들은 카메라로 촬영된 자연영상과 컴퓨터에 의해 만들어진 영상이 혼합되어 있다. 또한 자연영상에 비해 날카롭고 불규칙한 에지를 갖고 단조로운 색상 패턴을 나타낸다.

하지만 현재까지의 비디오 압축 표준은 예측 후 남은 잔차신호를 블록단위로 변환하여 저주파 대역에 집중된 에너지를 양자화하여 엔트로피 코딩하는 구조로 되어 있다. 이는 인접화소간 상관관계가 매우 높은 자연영상에 효율적이지만 스크린 컨텐츠와 같이 날카로운 에지와 선명한 대비를 나타내는 영상에 적합하지 않다. 왜냐하면 날카로운 에지는 고주파 성분을 나타내며, 변환시 에너지가 퍼지게 되어 압축성능을 떨어뜨릴 수 있기 때문이다.

따라서 HEVC는 스크린 컨텐츠의 압축성능을 향상시키기 위해 transform skip (TS) 모드를 채택하였다. (C. Lan, J. Xu, G. J. Sullivan, and F. Wu, "Intra transform skipping," JCTVC-I0408, Geneva, April, 2012. 참조)

TS 모드는 기존의 변환과정을 생략하며 기존의 변환된 잔차신호와 범위를 맞추기 위해 스케일링 과정을 거친다. 또한 4x4 크기의 블록에만 적용할 수 있도록 제한되며, 블록마다 rate-distortion optimization (RDO)에 따라 결정된 TS 플래그 (flag)가 전송되어 선택적으로 사용할 수 있다. 그 밖에, 스크린 컨텐츠를 부호화하기 위한 다양한 연구가 있었는데, J. An, L. Zhao, Y. -W. Huang, and S. Lei, "Residue scan for intra transform skip mode," JCTVC-J0053, Stockholm, July 2012과 T. Sugio and T. Nishi, "Modified scan method for intra transform skipping," JCTVC-J0212, Stockholm, July 2012은 TS 모드의 압축 성능을 향상시키기 위해 스캔 패턴을 수정하는 방식을 제안하였다. 변환된 잔차신호는 좌상단에 대부분의 에너지가 집중되어 좌상단부터 우하단 방향으로 스캔하는 것이 효율적이지만 인트라 TS 블록의 경우 주변 예측화소로부터 거리가 먼 우하단에 더 많은 에너지가 집중되어 있다. 따라서 J. An et al.은 TS 블록에 대해 역방향으로 스캔하는 방식을 제안하였다. T. Sugio et al.은 TS 블록의 스캔이 vertical scan (수직 스캔)인 경우 horizontal scan (수평 스캔)을 적용하고, TS 블록의 스캔이 horizontal scan (수평 스캔)인 경우 vertical scan (수직 스캔)을 적용하는 방식을 제안하였다. 하지만, J. An et al.과 T. Sugio et al.이 제안한 방식은 스캔방식에 국한되어서 All Intra 환경의 class F에 대해 각각 -1.6%, -0.9%의 제한된 gain (이득)을 얻을 수 있다.

한편 HEVC는 인트라 예측 (화면 내 부호화)의 경우 planar, DC 그리고 33개의 각도 (angular) 예측 모드를 제공한다. 하지만 색상과 복잡한 모양을 갖는 텍스트 영역에서 angular 예측모드는 효율적이지 않다. C. Lan, J. Xu, G. J. Sullivan, and F. Wu, "Improvements of the BCIM mode for screen content coding," JCTVC-F200, Torino, July 2011는 스크린 컨텐츠의 특성에 적합한 코딩 모드로써 Base Color and Index Map (BCIM) 방식을 제안하였다. 이는 스크린 컨텐츠가 복잡한 모양을 갖지만 색상은 단순하여 몇몇 기본 색상만으로 표현할 수 있는 점을 이용한다. 기본색상은 클러스터링 알고리즘을 통해 설정되며, 모든 화소는 기본색상의 인덱스로 변환된다. 하지만 인덱스 맵을 만들기 위한 클러스터링 과정의 복잡도 증가와 자연영상에는 성능이 오히려 떨어질 수 있다는 단점을 갖는다.

[특허문헌1]국내공개특허 제10-2013-0030301호 : 인트라 예측 모드들의 서브세트 및 대응하는 방향 변환들을 이용한 비디오 코딩 [특허문헌2]국내공개특허 제10-2013-0078569호 : 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치 [특허문헌3]국내공개특허 제10-2013-0063028호 : 인트라-예측을 이용한 비디오 코딩

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명에서는 자연영상에서의 부호화 성능 하락 없이, 스크린 컨텐츠에서 높은 효율을 보일 수 있도록 기존의 수직과 수평 예측 모드를 결합한 새로운 대체 인트라 예측 장치 및 방법의 제공을 그 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 방법은 휘도 신호의 PU (예측 유닛, Prediction Unit)가 4x4일 경우 기존 HEVC 인트라 예측모드 3, 5, 13, 15, 31, 33의 예측신호를 대체 인트라 예측(AIP) 모드에 따른 예측신호로 치환하는 치환단계; 색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 색차 신호의 예측 신호도 휘도 신호와 같이 AIP 예측 모드에 따른 예측신호로 치환하는 치환단계; PU (예측 유닛, Prediction Unit)가 4x4일 때 예측 모드 3, 5, 13, 15, 31, 33 에 대해 대체 인트라 예측 (AIP) 모드를 적용하여 잔차신호를 계산하는 예측단계;를 포함한다.

바람직하게는, 대체 인트라 예측 (AIP) 모드는 6가지 대체 인트라 예측 모드로 구성되고, 6가지 대체 인트라 예측 모드 중 AIP 모드 1의 1행은 예측모드 26번, 2,3,4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 2의 1,2행은 예측모드 26번, 3,4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 3의 1,2,3행은 예측모드 26번, 4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 4의 1열은 예측모드 10번, 2,3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 5의 1,2열은 예측모드 10번, 3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 6의 1,2,3열은 예측모드 10번, 4열은 예측모드 26번의 예측신호값으로 대체되는 것을 특징으로 한다.

바람직하게는, 색차 신호의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU의 예측모드가 3,5,13,15,31,33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 AIP 모드가 적용되는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상기한 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 방법을 실행하는 프로그램을 기록한 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 HEVC에서 스크린 콘텐츠에 적합한 대체 인트라 예측 장치는 휘도 신호의 PU (예측 유닛, Prediction Unit)가 4x4일 경우 예측모드 3, 5, 13, 15, 31, 33의 예측신호를 대체 인트라 예측(AIP) 모드에 따른 예측신호로 치환하는 치환수단; 색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 예측신호를 치환하는 치환수단; 및 대체된 6가지의 AIP모드를 포함한 총 35가지의 예측모드에 대해 인트라 예측 오차값을 계산하여 최저 비용을 가지는 예측모드를 선택하는 선택수단;을 포함한다.

바람직하게는, 대체 인트라 예측 (AIP) 모드는 6가지 대체 인트라 예측 모드로 구성되고, 6가지 대체 인트라 예측 모드 중 AIP 모드 1의 1행은 예측모드 26번, 2,3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 2의 1,2행은 예측모드 26번, 3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 3의 1,2,3행은 예측모드 26번, 4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 4의 1열은 예측모드 10번, 2,3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 5의 1,2열은 예측모드 10번, 3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 6의 1,2,3열은 예측모드 10번, 4열은 예측모드 26번의 예측신호값으로 대체되는 것을 특징으로 한다.

바람직하게는, 색차 신호의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU의 예측모드가 3,5,13,15,31,33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 AIP 모드가 적용되는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명은 HEVC의 인트라 예측모드가 텍스트영역과 같이 날카롭고 불규칙한 에지를 갖는 영역에서 예측성능이 매우 떨어지며 값이 상당히 큰 잔차신호를 검출하여 결과적으로 bit-rate가 증가하는 점을 개선하는 효과가 있다.

또한 본 발명은 실험결과 HEVC 표준 테스트 시퀀스 중 스크린 컨텐츠에 해당하는 class F에 대해 평균 2.5%의 BD-rate 감소를 보여주며, 자연영상인 class A-E에 대해서는 기존 HM 12.0 (HEVC Test Model 12.0)과 비교하여 약 0.04%의 객관적 화질 향상을 보이는 효과가 있다.

도 1은 HEVC 인코더의 일예를 도시한 것이다.
도 2는 HEVC 인트라 예측 모드들 및 모드 29번을 도시한 것이다.
도 3은 HEVC 4x4 인트라 예측 방법을 도시한 것이다.
도 4은 HEVC 디코더의 일예를 도시한 것이다.
도 5(a)는 SlideShow로 불리는 HEVC 공통 테스트 시퀀스로부터의 한 프레임을 텍스트의 특정 영역의 상세한 뷰(view)와 함께 나타낸 것이다.
도 5(b)는 대체 인트라 예측 (AIP, Alternative Intra Prediction) 모드의 일예를 나타낸다.
도 6은 본 발명의 대체 인트라 예측 모드들을 나타낸 것이다.
도 7은 4x4 PU에서 각 HEVC 인트라 예측 모드를 위한 히팅 카운트 (hitting count) 결과를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 대체 인트라 예측 방법을 도시한 것이다.
도 9는 All_Intra_Main 조건과 양자화 파라미터(QP)=37인 경우에 SlideShow의 86번째 프레임을 나타낸 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성된다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세하게 설명한다.

도 1은 HEVC 인코더의 일예를 도시한 것이다. 도 1에서 나타낸 바와 같이, HEVC 인코더 (100)는 모션 보상 유닛 (111), 모션 추정 유닛 (112), 인트라 예측 유닛 (113), 참조 프레임 스토어 (114), 합산기(115), 변환/스케일링/양자화 유닛 (116), 코더 제어 유닛 (117), 엔트로피 코딩 유닛(118)을 포함한다. 비디오 블록 재구성을 위해 HEVC 인코더(100)은 또한 스케일링/역변환 유닛(119), 합산기(120), 루프 필터링(121)을 포함할 수 있다.

HEVC 인코더(100)는 입력되는 스크린 콘텐츠 비디오 신호 또는 프레임 내에서 현재의 비디오 블록을 수신한다. 모션 추정 유닛 (112) 및 모션 보상 유닛 (111)은 시간 압축을 제공하기 위해, 하나이상의 참조 프레임들에서 하나 이상의 블록들에 대해 그 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 인트라 예측 유닛 (113)은 공간 압축을 제공하기 위해, 코딩될 블록과 동일한 프레임에서 하나 이상의 이웃하는 블록들에 대해 그 수신된 비디오 블록의 인트라 예측 코딩을 수행할 수 있다. 입력 비디오 영상은 인트라 예측과 인터 예측을 통해 합산기 (115)에서 출력되는 차분신호가 변환/스케일링/양자화 유닛 (116)을 해 주파수 축으로 변환되고 변환된 계수는 스케일링과정을 거쳐 양자화 된다. 양자화된 계수들은 엔트로피 코딩 유닛(118) 통하여 압축되며, 비트스트림으로 출력된다. 엔트로피 코딩 유닛(118)은 양자화된 변환 계수 외에도 코더 제어 유닛 (117)으로부터의 제어 데이터와 모션 추정 유닛 (112)으로부터 모션 데이터를 수신하여 압축하여, 비트스트림으로 출력한다. 본 발명은 인트라 예측 (화면 내 부호화) 모드에 대한 것이므로 그 외 HEVC 인코더의 구성요소들의 구체적인 기술에 대해서는 설명을 생략한다.

상기 인트라 예측 유닛 (113)은 그 수신된 블록을 이웃하는, 이전에 코딩된 블록들에 대해 좌우, 상하 인코딩 순서를 가정하면, 현재의 블록의, 상측으로, 위로 그리고 우측으로, 위로 그리고 좌측으로, 좌측으로, 아래로 그리고 좌측으로 인코딩된 블록들을 이용하여 인코딩할 수 있다. 인트라 예측 유닛 (113)은 여러 인트라 예측모드들에 대한 에러 값들을 계산하고 최저 에러값을 얻는 모드를 선택함으로써, 인트라 예측 모드를 선택할 수도 있다.

상기 인트라 예측 유닛 (113)은 HEVC의 인트라 예측 모드 중 수평방향(예측모드10번)과 수직방향(예측모드26번)의 예측 모드의 조합으로 6가지의 대체 인트라 예측 (AIP) 모드를 구성하는 수단을 포함할 수 있다. 또한 PU (예측 유닛, Prediction Unit)가 4x4인 경우에 기존 0~34번의 총 35가지의 인트라 예측모드 중 3,5,13,15,31,33번의 모드를 상기 대체 예측 모드 (AIP)로 치환하여 구성하는 수단을 포함하여 구성할 수 있다. 또한 색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 예측신호를 치환하는 치환수단을 포함하여 구성할 수 있다. 또한 상기 인트라 예측 유닛 (113)은 대체된 6가지의 예측모드를 포함한 총 35가지의 예측모드에 대해 예측오차값을 계산하여 최저 에러값을 가지는 인트라 예측 모드를 선택하는 선택수단을 포함하여 구성할 수 있다.

HEVC는 Coding Unit(CU), Prediction Unit(PU), Transform Unit(TU) 단위로 부호화가 진행된다. CU는 64x64,32x32,16x16,8x8크기로 나누어지며 인트라 예측의 경우 CU가 8x8이면 PU가 8x8,4x4로 나뉘어 지고 CU가 64x64이면 PU는 32x32로 나누어지며 그 외의 경우는 PU와 CU의 크기가 같다. TU는 PU에서 예측 후 남은 잔차신호를 변환하기 위한 단위로 PU의 크기에서부터 4x4까지 분할된다. HEVC는 CU, PU, TU 각 분할된 크기에 따라 부호화 후 RD-cost에 따라 부호화 블록 크기를 결정한다.

도 2는 HEVC 인트라 예측 모드들 및 모드 29번을 도시한 것이다. 도 2에서 보듯이, 인트라 예측의 경우 luminance신호의 예측모드는 총 35가지이며 0번은 planar (평면), 1번은 DC, 2~34번은 각도 (angular) 예측 모드로 구성된다. Planar모드는 현재 PU에 이웃하는 네 개의 코너 참조 샘플을 선형보간하여 예측신호를 생성하며 DC모드는 참조샘플들의 평균값으로 예측신호를 생성한다. 나머지 2~34번의 angular 예측모드는 도 2와 같은 방향 중 그 모드에 맞는 방향으로 참조 샘플을 extrapolation하여 예측신호를 생성한다.

색차 신호의 예측모드는 planar, DC, horizontal(10), vertical(26), luma_derived로 총 5가지로 구성되며 luma_derived는 대응되는 휘도 신호의 예측모드를 색차 신호 예측에 사용한다.

도 3은 HEVC 4x4 인트라 예측 방법을 도시한 것이다. 인트라 예측을 위한 주변 참조 화소는 복원된 신호를 사용하며 이는 loop filtering을 거치지 않은 신호이다. 참조 화소는 현재 PU의 크기를 NxN이라 했을 때 4N+1개의 샘플로 구성되며 4x4인 경우, 도 3과 같다. PU가 4x4인 경우에도 도 2에서 설명한 일반적인 인트라 예측 과정과 마찬가지로 휘도 신호는 35가지의 예측모드가 사용되며 색차 신호의 경우 luma_derived를 포함한 총 5가지의 예측모드가 사용된다. 각 예측신호들은 현재 PU주변의 복원된 신호들을 이용하여 extrapolation하여 얻게 된다.

도 4는 HEVC 디코더의 일예를 도시한 것이다. 도 4에서 나타낸 바와 같이, HEVC 디코더 (400)는 엔트로피 디코딩 유닛 (401), 인트라 예측 유닛 (402), 모션 보상 유닛 (403), 기준 영상 버퍼 (404), 역양자화 유닛 (405), 역변환 유닛(406), 복원 유닛(407)을 포함한다. 또한 HEVC 디코더 (400)는 디블로킹 유닛 (408), 샘플 적응 옵셋 유닛 (409)을 포함할 수 있다.

도 4에 나타낸 바와 같이, 입력영상의 압축된 비트스트림을 복호화 함에 있어, 엔트로피 디코딩 유닛 (401)은 이후 영상의 복원을 위해 필요한 정보를 복호화 한다. 엔트로피 디코딩 유닛 (401)을 통해 복호화된 변환 계수(transform coefficient)는 역양자화 유닛 (405)과 역변환 유닛(406)을 거쳐 공간축의 잔차신호(residual signal)로 변환되며, 이는 인트라 예측 유닛 (402)과 모션 보상 유닛 (403)을 통하여 복원된다. 복원된 영상은 디블로킹 필터 (408)와 샘플 적응 옵셋 유닛 (409)을 통하여 원본영상과 가깝게 화질이 개선될 수 있으며 이후의 영상에서 참조되기 위해 기준 영상 버퍼 (404)에 저장된다.

도 5(a)는 SlideShow로 불리는 HEVC 공통 테스트 시퀀스 (비디오 시퀀스는 일반적으로 일련의 비디오 프레임들을 포함한다)로부터의 한 프레임을 텍스트의 특정 영역의 상세한 뷰(view)와 함께 나타낸다. 스크린 콘텐츠는 일반적으로 많은 수의 텍스트 영역들을 포함한다. 상세한 뷰에서, 박스들은 TU들을 의미하며, 상기 시퀀스가 기존의 HM 12.0을 사용하여 코딩될 때 TU에서 TS 모드가 사용되었다. 이 TU들은 둘 또는 그 이상의 직선 에지들의 교차점으로 정의되는 높은 곡률 포인트들 (가령 코너들)을 포함한다. 그러한 영역에서의 높은 대조로 인해 이웃 픽셀들이 참조될 때 큰 예측 에러가 생기게 된다. 더구나, 코너를 포함하는 PU (Prediction Unit)은 단지 한 방향으로 예측하기 어려운데, 코너는 둘 또는 그 이상의 에지 방향성을 나타내기 때문이다.

코너들을 포함하는 대부분의 PU들은 수평 및 수직 에지 방향성을 가진다. 도 5(b)는 대체 인트라 예측 (AIP, Alternative Intra Prediction) 모드의 일예를 나타낸다. 도 5(b)에서 만일 상위 3개의 행에 있는 픽셀들(화소)이 수직 예측 모드로 예측될 수 있고, 마지막 행의 픽셀들은 수평 예측 모드를 통해 예측될 수 있다면, 전체 예측 성능은 개선될 것이다.

도 6은 본 발명의 대체 인트라 예측 모드들을 나타낸다. 본 발명의 대체 인트라 예측 모드들은 수평과 수직 예측을 결합하여 이러한 종류의 성능을 제공할 수 있다. 제안방식은 PU가 4x4인 경우에만 적용되며 0~34번의 총 35가지의 인트라 예측모드 중 3,5,13,15,31,33번의 모드를 제안된 AIP 예측 모드로 치환한다. 제안된 AIP 예측 모드는 도 6과 같고, 기존의 PredMode 3은 AIP1, PredMode 5는 AIP2, PredMode 13은 AIP3, PredMode 15 는 AIP4, PredMode 31는 AIP5, PredMode 33은 AIP6으로 각각 치환된다.

제안된 6개의 새로운 예측 모드(AIP1 ~ AIP6)는 기존의 수평방향(예측모드10번)과 수직방향(예측모드26번)의 예측 모드의 조합으로 설계되었다. 가로방향 화살표가 표시된 화소는 10번의 예측 모드에 따른 예측신호가 삽입되며 세로방향 화살표가 표시된 화소는 26번의 예측 모드에 따른 예측신호가 삽입된다.

■AIP 모드 1 : 1행은 예측모드26번, 2,3,4행은 예측모드10번의 예측신호값으로 대체한다.

■AIP 모드 2 : 1,2행은 예측모드 26번, 3,4행은 예측모드10번의 예측신호값으로 대체한다.

■AIP 모드 3 : 1,2,3행은 예측모드 26번, 4행은 예측모드 10번의 예측신호값으로 대체한다.

■AIP 모드 4 : 1열은 예측모드 10번, 2,3,4열은 예측모드 26번의 예측신호값으로 대체한다.

■AIP 모드 5 : 1,2열은 예측모드 10번, 3,4열은 예측모드 26번의 예측신호값으로 대체한다.

■AIP 모드 6 : 1,2,3열은 예측모드 10번, 4열은 예측모드 26번의 예측신호값으로 대체한다.

색차 신호의 경우 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3,5,13,15,31,33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 AIP 예측 모드가 적용된다.

도 6의 대체 인트라 예측 모드는 4x4 PU를 위해, PU가 2가지 사각 영역으로 어떻게 분할되느냐에 따라 여섯 가지 AIPi 모드들(i=1,...,6)이 정의된다. 하나의 사각영역은 수직 방향으로 예측되고 다른 하나는 수평 방향으로 예측된다. 모드들은 하나의 PU에서 코너들의 전형적인 위치들을 담당한다. 각 예측된 샘플들은 복원된 기준 (참조) 샘플들 값들 Rx,-1 또는 R-1,y으로부터 구해진다. 4x4 PU는 Ω로서 정의된다. Px,y는 Ω의 예측된 샘플 값이라고 하자. 여기서, (x,y)∈Ω. AIP1에서 AIP3까지에 대해서는 예측된 샘플 Px,y는 수학식 1과 같이 정의된다.

[수학식 1]

유사하게, AIP4에서 AIP6까지에 대해서는 예측된 샘플 Px,y는 수학식 2와 같이 정의된다.

[수학식 2]

이 AIP 모드들은 기존 HEVC 인트라 예측 모드 10 (수평) 및 26 (수직)의 조합으로 구성된다. 그래서, 본 발명의 대체 인트라 예측 방법은 단지 HEVC 표준에 약간의 변경을 가하고, 인코더와 디코더에 추가적인 복잡도 증가없이 최소한의 추가적인 부분만을 포함하여 구성될 수 있다.

HEVC는 현재 3가지 신택스 엘리먼트를 사용하여 인트라 예측 모드를 표현하고 있다. 즉, prev_intra_luma_pred_flag, mpm_idx, 및 rem_intra_luma_pred_mode이다. 제안된 AIP 모드들을 기존 HEVC 인트라 예측 모드들에 추가하기 위해서는 인트라 예측 모드가 현재 선택된다는 시그널링이 요구된다. 이러한 부담을 최소화하기 위해 AIP 모드들은 선택빈도가 낮은 HEVC 인트라 예측 모드들을 대체하는 방식을 사용한다.

HEVC 인트라 예측 모드들의 선택빈도를 알아보기 위해, class A부터 F까지 24개의 테스트 시퀀스가 22, 27, 32 및 37인 양자화 파라미터 (QP; quantization parameter)를 사용하여 All_Intra_Main_condition하에서 테스트 되었다.

도 7은 4x4 PU에서 각 HEVC 인트라 예측 모드를 위한 히팅 카운트 (hitting count) 결과를 나타낸다. 이 결과에 기초하여, 본 발명은 인트라 예측 모드 3, 5, 13, 15, 31 및 33 (여기서, 제거가능한 인트라 예측 (RIP; Removable Intra Prediction) 모드라고 함)을 제안한 AIP 모드들로 대체한다. RIP 모드의 인덱스들은 서로 인접하지 않고, 선택빈도도 낮아, 인접 인덱스를 가지는 인트라 예측 모드들은 제거의 효과를 줄여줄 수 있다. 예를 들어, 인덱스 2 또는 4는 인덱스 3 대신에 사용될 수 있다. 표 1에서 나타낸 바와 같이, class F 시퀀스를 RIP 모드들이 아닌 HEVC 인트라 예측모드들로 테스팅할 때 BD-rate에서의 평균 코딩 손실은 단지 0.2%에 불과하다.

<표 1> RIP 모드들이 제거될 때 HEVC의 성능

한편, 색차 신호를 예측하기 위해 HEVC는 Planar, DC, horizontal (수형), vertical (수직), luma_derived의 5가지 예측모드를 제공한다. 이중 luma_derived가 3, 5, 13, 15, 31 및 33에 해당하는 경우, 색차 신호에도 같은 AIP 모드를 적용한다. 휘도 신호에만 AIP 모드를 적용했을 때 대비 색차 신호에 AIP 모드를 적용한 경우 class F의 U,V의 BD-rate가 약 0.2% 정도 감소하였다.

제안방식을 구현하기 위해, RIP 모드들은 HM 12.0으로부터 제거되고, 제안된 AIP 모드들로 대체되었다. 제안 방식을 HEVC와 비교하여 성능평가 하기 위해, 스크린 콘텐츠 시퀀스 (class F)가 자연 콘텐츠 시퀀스 (class A, B, C, D 및 E)와 함께 테스트되었다. 모든 실험에서 인코더 제어는 All_Intra_Main 셋팅을 사용하여 HEVC 공통 실험 조건을 따랐다. 모든 테스트 시퀀스들은 표준과 수정된 HM 12.0 양쪽을 사용하여 rate-distortion optimization (RDO)을 위하여 코딩되었다. 표 2는 AIP 모드로 대체하기 위해 선택된 예측모드들의 히팅율 (hitting ratio)를 나타낸다.

<표 2> 4x4 PU에서 RIP 모드들 (3,5,13,15,31 및 33)과 AIP 모드들에 대한 히팅율

각각의 모드들은 class F에 대해 기존 angular 예측에서 평균 1.42%로 낮은 선택빈도를 갖지만 AIP 모드로 변경후 6가지의 각각의 모드들은 3.32%로 1.9%가 증가되었다. 예측모드는 RDO 비용에 따라 가장 낮은 비용을 갖는 모드로 선택되므로 예측빈도의 증가는 AIP 방식이 기존 angular 예측보다 좀 더 적절한 예측신호를 생성한다는 것을 보여준다.

표준과 수정된 HM 12.0 모두 예측 모드를 나타내기 위해 동일한 시그널링 비트를 사용하기 때문에 AIP 모드들의 선택 비율의 증가는 더 적은 예측 에러를 생성하기 때문인 것으로 보인다.

표 3은 스크린 콘텐츠에 해당하는 class F에 대한 제안방식 (수정된 HM)의 성능을 보여준다. 텍스트가 가장 많이 포함된 SlideEditing부터 SlideShow, ChinaSpeed, BasketballDrillText 순으로 텍스트 포함 비율과 비례한 성능을 보여준다. 평균적으로 스크린 콘텐츠에 대해 -2.5%의 BD-rate를 개선시킨다.

<표 3> 스크린 콘텐츠 시퀀스에 대한 현재 HEVC 표준과 AIP 모드들의 성능비교

표 4는 전체 실험영상 class A-F의 BD-rate 감소를 나타낸다. 제안방식은 스크린 콘텐츠에 해당하는 class F에서 -2.5%의 우수한 성능을 보일뿐 아니라 자연영상인 class A-E에 대해서 평균적으로 -0.04%의 성능을 나타낸다.

<표 4> 자연 (class A-E) 및 스크린 (class F) 콘텐츠에 대한 현재 HEVC 표준과 AIP 모드들의 성능비교

따라서 제안방식은 스크린 콘텐츠와 일반적인 자연 영상(콘텐츠)과의 구분없이 적용할 수 있으며 특히 스크린 콘텐츠인 경우 텍스트의 포함 비율과 비례하여 우수한 성능을 나타낼 수 있다.

이하에서는 본 발명에 따른 대체 인트라 예측 방법에 대해서 설명한다.

도 8은 본 발명의 일 실시예에 따른 대체 인트라 예측 방법에 대한 것이다. 본 발명에 따른 대체 인트라 예측 방법은 인트라 예측 모드 (화면 내 부호화) 수행을 시작한다 (S801 단계). 먼저, PU가 4x4인지 판단한다 (S802 단계). 만일 4x4 PU이면 예측모드(Pmode)를 0으로 설정한다 (S803 단계). 만일 4x4 PU가 아니면 종래의 HEVC의 인트라 예측 모드를 수행하여 예측 에러값을 계산하면 된다 (S804 단계). 예측모드(Pmode)가 3, 5, 13, 15, 31 및 33 중 어느 하나에 해당하는지를 판단한다 (S805 단계). 예측 모드 (Pmode)가 3, 5, 13, 15, 31 및 33 중 어느 하나에 해당하는 경우에는 대체 인트라 예측 (AIP) 모드를 수행하여 예측 에러값을 계산한다 (S806 단계). 예측 모드 (Pmode)가 3, 5, 13, 15, 31 및 33 중 어느 하나에 해당되지 않는 경우에는 종래의 HEVC의 인트라 예측 모드의 해당 모드를 수행하여 예측 에러값을 계산하면 된다 (S807 단계). 예측모드(Pmode)가 34보다 작은지 여부를 판단한다 (S808 단계). 예측모드(Pmode)가 34보다 작으면 예측모드의 값을 1씩 증가시킨 후 S805 단계를 반복 수행하게 되고 (S809 단계), 예측모드가 34보다 작지 않으면 예측모드 수행을 중단하고, 지금까지 계산한 예측모드별 예측 에러값을 이용하여 최저 에러값을 가지는 인트라 예측 모드를 결정하게 된다 (S810 단계).

도 9는 All_Intra_Main 조건과 양자화 파라미터(QP)=37인 경우에 SlideShow의 86번째 프레임의 일부분을 보여준다. 도 9에서 (a)는 원본, (b)는 500016 비트의 기존의 HEVC에 따라 복원된 영상이고, (c)는 479776 비트의 제안방식에 따라 복원된 영상이다. 도 9는 제안방식의 주관적 화질 향상을 보여준다. 효과적인 예측신호의 생성은 잔차신호의 크기를 줄여주며 이는 BD-rate의 감소로 이어진다. 따라서 비슷한 양의 비트를 사용하였을 때, 제안방식은 좀 더 선명하게 복원된 영상을 얻을 수 있다.

한편, 본 발명의 실시예에 따른 대체 인트라 예측 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

1. HEVC를 위한 대체 인트라 예측 방법에 있어서,
   휘도 신호의 PU (예측 유닛, Prediction Unit)가 4x4일 경우 예측모드 3, 5, 13, 15, 31, 33의 예측신호를 대체 인트라 예측(AIP) 모드에 따른 예측신호로 치환하는 치환단계;
   색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 예측신호를 치환하는 치환단계; 및
   대체된 6가지의 AIP모드를 포함한 총 35가지의 예측모드에 대해 인트라 예측 오차값을 계산하여 최저 비용을 가지는 예측모드를 선택하는 선택단계;를 포함하는 HEVC를 위한 대체 인트라 예측 방법.
   
2. 제 1항에 있어서, 대체 인트라 예측 (AIP) 모드는 6가지 대체 인트라 예측 모드로 구성되고, 6가지 대체 인트라 예측 모드 중 AIP 모드 1의 1행은 예측모드 26번, 2,3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 2의 1,2행은 예측모드 26번, 3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 3의 1,2,3행은 예측모드 26번, 4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 4의 1열은 예측모드 10번, 2,3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 5의 1,2열은 예측모드 10번, 3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 6의 1,2,3열은 예측모드 10번, 4열은 예측모드 26번의 예측신호값으로 대체되는 것을 특징으로 하는 HEVC를 위한 대체 인트라 예측 방법.
   
3. 제1항에 있어서, 색차 신호의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU의 예측모드가 3,5,13,15,31,33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 AIP 모드가 적용되는 것을 특징으로 하는 HEVC를 위한 대체 인트라 예측 방법.
   
4. 제 1 항 내지 제 3 항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.
   
5. HEVC를 위한 대체 인트라 예측 장치에 있어서,
   휘도 신호의 PU (예측 유닛, Prediction Unit)가 4x4일 경우 예측모드 3, 5, 13, 15, 31, 33의 예측신호를 대체 인트라 예측(AIP) 모드에 따른 예측신호로 치환하는 치환수단;
   색차 신호의 PU (예측 유닛, Prediction Unit)의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU가 4x4이고 예측모드가 3, 5, 13, 15, 31, 33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 예측신호를 치환하는 치환수단; 및
   대체된 6가지의 AIP모드를 포함한 총 35가지의 예측모드에 대해 인트라 예측 오차값을 계산하여 최저 비용을 가지는 예측모드를 선택하는 선택수단;을 포함하는 HEVC를 위한 대체 인트라 예측 장치.
   
6. 제 5항에 있어서, 대체 인트라 예측 (AIP) 모드는 6가지 대체 인트라 예측 모드로 구성되고, 6가지 대체 인트라 예측 모드 중 AIP 모드 1의 1행은 예측모드 26번, 2,3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 2의 1,2행은 예측모드 26번, 3,4행은 예측모드10번의 예측신호값으로 대체되고; AIP 모드 3의 1,2,3행은 예측모드 26번, 4행은 예측모드 10번의 예측신호값으로 대체되고; AIP 모드 4의 1열은 예측모드 10번, 2,3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 5의 1,2열은 예측모드 10번, 3,4열은 예측모드 26번의 예측신호값으로 대체되고; AIP 모드 6의 1,2,3열은 예측모드 10번, 4열은 예측모드 26번의 예측신호값으로 대체되는 것을 특징으로 하는 HEVC를 위한 대체 인트라 예측 장치.
   
7. 제5항에 있어서, 색차 신호의 예측모드가 luma_derived이고 대응되는 휘도 신호의 PU의 예측모드가 3,5,13,15,31,33이면 휘도 신호와 마찬가지로 색차 신호에도 같은 방식으로 AIP 모드가 적용되는 것을 특징으로 하는 HEVC를 위한 대체 인트라 예측 장치.
   

Images