KR102077480B1 - Hevc 화면 내 예측의 속도 향상 장치 및 방법 - Google Patents

Abstract

HEVC 화면 내 예측의 속도 향상 장치 및 방법이 개시되며, 본원의 일 실시예에 따른, HEVC 화면 내 예측의 속도 향상 장치는, 복수의 화면 내 예측 후보 모드를 결정하고, 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산하는 후보 모드 제어부, 상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정하고, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정하는 임계 설정부, 상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정하는 후보 모드 결정부 및 상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행하는 율 왜곡 최적화 연산부를 포함할 수 있다.

Description

HEVC 화면 내 예측의 속도 향상 장치 및 방법{DEVICE AND METHOD FOR IMPROVING CALCULATION SPEED OF HEVC INTRA PREDICTION}

본원은 HEVC 화면 내 예측의 속도 향상 장치 및 방법에 관한 것이다.

최신의 비디오 코딩 표준인 고효율의 비디오 코딩(HEVC: High Efficiency Video Coding)의 인트라 예측은 일반적으로, RMD(rough mode decision) 단계, MPM(most probable mode) 선택 단계, RDO(rate-distortion optimization)에 기반한 베스트 모드 선택 단계 및 RQT(residual quad-tree transform) 단계의 4 단계를 포함할 수 있다.

한편, HEVC 인트라 예측의 코딩 복잡도를 감소시키기 위한 많은 고속 알고리즘이 연구되고 있다. 종래의 알고리즘에는 RMD단계에서 검사(examine)되는 예측 후보 모드의 개수를 감소시킴으로써 인트라 예측의 속도를 향상시키는 방안이 제안된 바 있다. 또한, 종래의 인트라 코딩을 위한 방법 중 하나인 인트라 예측의 복잡도를 줄이기 위해 에지 정보에 기반한 예측 모드 결정 방법이 제시된 바 있다.

HEVC 인트라 예측은 64X64 크기부터 4X4크기를 가지는 예측 유닛(PU)에 대하여 수행되고, 35개의 화면 내 예측 후보 모드를 제공한다. 또한, RDO 프로세스의 복잡도는 예측 후보 모드의 수가 증가할수록 증가하기 ?문에, HEVC 테스트 모델은 TKDRL 35개의 후보 모드의 율왜곡의 연산의 복잡도를 줄이기 위해 RMD 처리와 MPM 후보 모드를 이용하는 방법이 제안되었다. RMD 처리는 현재의 PU에 대한 35개의 후보 모드에 대하여 하다마드 트랜스폼(Hadamard transform)을 이용하여 하다마드 비용을 연산하고, 35개의 후보 모드 중 하다마드 비용의 순서에 따라 N개의 후보 모드를 선택한다. 또한, RDO 처리에서, MPM 후보 모드와 RMD 처리에서 선택된 N개의 후보 모드를 중에서 베스트 모드를 선택한다. 비록, RMD 처리가 RDO 처리 대상의 후보 모드를 감소시켜 RMD 연산의 효율을 증가시키기는 하였으나, RDO 처리는 여전히 HEVC 화면 내 예측 전체 연산의 35% 정도의 연산을 차지하고 있으며, RDO 처리의 대상이 되는 N개의 후보 모드가 3개 또는 8개로 고정되어 있기 때문에 연산의 효율성이 낮은 문제점이 있었다.

본원의 배경이 되는 기술은 한국공개특허공보 제 10-2017-0082069 호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 적응적으로 RDO 연산의 대상이 되는 예측 후보 모드의 수를 줄일 수 있는 HEVC 화면 내 예측의 속도 향상 장치 및 방법을 제공하는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, RDO 연산의 효율성을 향상시키고, 인트라 예측의 복잡성을 감소시킬 수 있는 HEVC 화면 내 예측의 속도 향상 장치 및 방법을 제공하는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법은 복수의 화면 내 예측 후보 모드를 결정하는 단계, 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산하는 단계, 상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정하는 단계, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정하는 단계, 상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정하는 단계, 및 상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행하는 단계를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 복수의 화면 내 예측 후보 모드를 결정하는 단계는, RMD(Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 기초하여 상기 복수의 화면 내 예측 후보 모드를 결정하는 단계를 포함할 수 있다.

본원의 일 실시예에 따르면, HEVC 화면 내 예측의 속도 향상 방법은 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산하는 단계를 더 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 하다마드 비용 임계값을 결정하는 단계는, 상기 하다마드 가중치와 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정할 수 있다.

본원의 일 실시예에 따르면, 상기 최종 후보 모드를 결정하는 단계는, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하는 단계; 및 하다마드 비용이 상기 하다마드 비용 임계값 보다 작은 상기 복수의 화면 내 예측 후보 모드를 상기 최종 후보 모드로 결정하는 단계를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하는 단계는, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교할 수 있다.

본원의 일 실시예에 따르면, 상기 하다마드 가중치를 결정하는 단계는 식 1에 기초하여 수행될 수 있다.

본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 장치는 복수의 화면 내 예측 후보 모드를 결정하고, 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산하는 후보 모드 제어부, 상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정하고, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정하는 임계 설정부, 상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정하는 후보 모드 결정부 및 상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행하는 율 왜곡 최적화 연산부를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 후보 모드 제어부는, RMD (Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 기초하여 상기 복수의 화면 내 예측 후보 모드를 결정할 수 있다.

본원의 일 실시예에 따르면, 상기 후보 모드 제어부는, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산할 수 있다.

본원의 일 실시예에 따르면, 상기 임계 설정부는, 상기 하다마드 가중치와 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정할 수 있다.

본원의 일 실시예에 따르면, 상기 후보 모드 결정부는, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하고, 하다마드 비용이 상기 하다마드 비용 임계값 보다 작은 상기 복수의 화면 내 예측 후보 모드를 상기 최종 후보 모드로 결정할 수 있다.

본원의 일 실시예에 따르면, 상기 후보 모드 결정부는, 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교할 수 있다.

본원의 일 실시예에 따르면, 상기 임계 설정부는, 식 2에 기초하여 상기 하다마드 가중치를 결정할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 적응적으로 RDO 연산의 대상이 되는 예측 후보 모드의 수를 줄일 수 있는 HEVC 화면 내 예측의 속도 향상 장치 및 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, RDO 연산의 효율성을 향상시키고, 인트라 예측의 복잡성을 감소시킬 수 있는 HEVC 화면 내 예측의 속도 향상 장치 및 방법을 제공할 수 있다.

도 1은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 장치의 구성을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 코딩 시간을 비교한 도면이다.
도 3은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 BD PSNR을 비교한 도면이다.
도 4는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 예측 후보 모드의 평균 개수를 비교한 도면이다.
도 5는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의RD곡선을 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법의 흐름을 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

최근 HEVC에서 고속 인트라 코딩을 위한 다양한 알고리즘들이 제안된 바 있다. 종래의 공간 상관의 비교를 통해 코딩 유닛의 깊이를 적응적으로 결정하는 코딩 단위 깊이 결정 방법은 HEVC 참조 소프트웨어인 HM(HEVC test model)과 유사한 성능을 발휘한다. 다만, 연산의 복잡도는 16% 감소시키나, BD(Bjontegaard delta) Rate는 2.82% 증가시킨다. 이는 HEVC 영상의 품질 측면에서 다소 높은 수치라고 할 수 있다.

또한, 종래에는 예측 유닛의 마이크로 레벨에서 예측 후보 모드의 수를 줄이기 위해 pRMS(progressive rough mode search)기법 및 매크로 수준의 복잡성 감소를 위한 조기 CU(코딩 유닛)분할 종료 방법(rate-distortion optimized quantization, RDOQ)이 연구된 바 있다. 상기 방법은 추정된 RD(rate-distortion) 비용이 이미 현재의 코딩 유닛의 RD 비용보다 큰 경우, 초기 코딩 유닛의 분할이 수행된다. 상기 RDOQ 방법은 계산의 복잡성을 감소시키는 이점이 있으나, 상대적으로 많은 양의 BD 속도를 증가시키는 문제점이 여전히 존재한다.

또한, 종래에는 예측 유닛에 대한 하다마드 비용에 기반하여 예측 유닛 및 변환 유닛의 깊이 결정과 후보 모드 결정 수를 결정하는 방법이 제시된 바 있다. 코딩 유닛 깊이 결정의 경우, 가장 적은 하다마드 비용으로 예측 후보 모드를 식별함으로써 코딩 유닛의 조기 종료 및 조기 분할을 수행한다. 또한, 변환 유닛의 깊이 결정을 위해 가장 적은 하다마드 비용의 예측 후보 모드의 변환 유닛 파티션은 나머지 예측 후보 모드로 복사됨으로써 연산 속도가 가속될 수 있다. 예측 유닛의 인트라 모드 결정의 경우, 이미지의 특성(복잡도 및 경사도) 및 하다마드 비용의 비율을 사용하여 예측 후보 모드의 수를 감소시킬 수 있다. 그러나, 예측 유닛의 인트라 모드 결정에서 각각의 경우에 대한 예측 유닛 내부의 국부적인 텍스처 특성이 서로 다를 수 있기 때문에, 이미지의 전체적인 특성에 기초하여 각 예측 유닛의 크기에 대한 후보 모드의 수를 결정하는 것은 적절하지 않을 수 있다.

또한, 종래에는 빠른 인트라 예측 모드와 코딩 유닛의 크기 결정 방법이 제안된 바 있다. 코딩 유닛의 크기는 깊이 차이와 하다마드 비용의 비율을 사용하는 두 개의 선형 지원 벡터 머신(support vector machines, SVM)을 사용하여 결정될 수 있다. 인트라 예측의 예측 후보 모드의 결정을 위해 예측 유닛의 수평 및 수직 구배 정보에 기초하여 RMD 모드 및 예측 후보 모드의 수를 결정한다. 그러나, 상기 방법은 여전히 예측 모드 결정에서 고정된 수의 후보 모드를 사용하는 문제점이 있다.

도 1은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 장치의 구성을 도시한 도면이다.

도 1을 참조하면, HEVC 화면 내 예측의 속도 향상 장치(100)는 후보 모드 제어부(110), 임계 설정부 (120), 후보 모드 결정부(130) 및 율 왜곡 최적화 연산부(140)를 포함할 수 있다. 후보 모드 제어부(110)는 복수의 화면 내 예측 후보 모드를 결정할 수 있다. HEVC(high efficiency video coding) 화면 내 예측, 다시 말해 인트라 예측(intra prediction)에 대해 설명하면, 인트라 예측은 공간적 예측 방법 중 하나이다. 영상 내에서 어느 하나의 픽셀은 주변 픽셀과 대부분 유사한 픽셀 값을 가질 수 있다. 이는 H.264/AVC 표준의 최소 블록(block) 크기인 4×4 블록 또는 16×16 블록에 대해서도 마찬가지일 수 있다. 인트라 예측은 하나의 영상 내에서 대상 블록에 인접한 주변 블록의 픽셀 값을 이용하여 대상 블록의 예측 픽셀값을 연산하는 것으로, 블록 간 픽셀 값들의 유사성을 이용하여 영상에 대한 예측을 수행하고, 원본 영상과의 차이를 인코딩 하는 것을 의미한다.

HEVC에서는 다양한 코딩 도구가 사용될 수 있다. 예시적으로 코딩 도구에는 코딩 유닛(CU, coding unit), 예측 유닛(PU, prediction units) 및 변환 유닛(TU, transform unit) 등이 포함될 수 있다. 상기 인트라 예측을 위해 HEVC는 35개의 PU 후보 모드를 제공할 수 있다. 예시적으로, 후보 모드 제어부(110)는 상기 35개의 모드를 예측 후보 모드로 결정할 수 있다. 다른 예로, 후보 모드 제어부(110)는 RMD (Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 기초하여 상기 복수의 화면 내 예측 후보 모드를 결정할 수 있다. 예시적으로, 후보 모드 제어부(110)는 예측 유닛의 크기가 64 x 64, 32 x 32, 16 x 16 중 하나인 경우, 3개의 예측 후보 모드를 이용할 수 있고, 예측 유닛의 크기가 8 x 8 또는 4 x 4인 경우, 8개의 예측 후보 모드를 이용할 수 있다. 상기 RMD은 공지된 사항이므로, 구체적은 설명은 생략한다.

또한, 후보 모드 제어부(110)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산할 수 있다. 예시적으로, 후보 모드 제어부(110)는 HEVC에서 제공된 35개의 예측 후보 모드 각각의 하다마드 비용을 연산할 수 있고, RMD 처리를 통해 예측 유닛의 크기에 따른 3개 또는 8개의 예측 후보 모드 각각의 하다마드 비용을 연산할 수도 있다. 또한, 후보 모드 제어부(110)는 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산할 수 있다. 예시적으로, 예측 유닛의 픽셀의 그레이 레벨은 0에서 255사이의 값을 가질 수 있다.

임계 설정부(120)는 상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정할 수 있다. 임계 설정부(120)는 수학식 1을 통해 하다마드 가중치를 결정할 수 있다.

[수학식 1]

여기서, α는 상기 하다마드 가중치이고, M은 상기 α의 최대값이고, σ는 상기 그레이 레벨에 대한 표준 편차이고, T는 상기 σ의 미리 설정된 문턱값이고, R은 미리 설정된 가중치 범위를 나타낸다(하다마드 가중치를 결정하기 위한 미리 설정된 값).

예시적으로, 상기 그레이 레벨에 대한 표준 편차 σ가 σ의 문턱값 T보다 큰 경우, 하다마드 가중치는 M으로 설정될 수 있다. 예를 들어, M은 1.5일 수 있다. 다른 예로, 문턱값 T가 20인 경우, 하다마드 가중치 α는 표준 편차 σ에 선형적으로 비례하여 1~1.5의 값을 가질 수 있고, 표준 편차 σ가 20(T)보다 큰 경우에는 하다마드 가중치 α가 1.5의 값을 가질 수 있다. 즉, 표준 편차 σ가 20 미만인 경우, 하다마드 가중치는 상기 표준 편차에 따라 선형적으로 변화될 수 있다. 또한, R은 0보다 크며, M-R이 1 이상이 되도록 설정한다. (R은 (0, M-1] 0 초과 M-1 이하 사이 값으로 설정되어야 함) 예를 들어, R이 0.3일 경우, α는 1.2에서 1.5의 값 중 하나이다.

또한, 임계 설정부(120)는, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정할 수 있다. 예시적으로, 임계 설정부(120)는 하다마드 가중치와 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정할 수 있다. 하다마드 비용 임계값은 수학식 2를 통해 결정될 수 있다.

[수학식 2]

여기서 H _T 는 하다마드 비용 임계값이고, H ₁은 상기 예측 후보 모드의 하다마드 비용 중 가장 작은 하다마드 비용을 나타낸다.

상기 수학식 2에 따르면, 임계 설정부(120)는 상기 가중치를 통해 적응적으로 상기 임계값을 결정할 수 있다. 즉, 임계 설정부(120)는 예측 유닛의 그레이 레벨에 대한 평균적인 수치를 고려하여 가중치를 결정하고, 가중치를 이용하여 결정된 임계값에 따라 RDO연산의 대상이 되는 예측 후보 모드의 수를 적절이 조절함으로써, 인트라 예측의 연산 속도를 최적화할 수 있다.

후보 모드 결정부(130)는 상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정할 수 있다. 최종 후보 모드는 RDO연산의 대상이 되는 후보 모드이다. 후보 모드 결정부(130)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교할 수 있다. 이때, 후보 모드 결정부(130)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교할 수 있다. 상기 수학식 2에서 H ₁은 상기 예측 후보 모드의 하다마드 비용 중 가장 작은 하다마드 비용을 나타낸다고 하였다. 후보 모드 결정부(130)는 제일 먼저 H ₂(H ₁보다 큰 하다마드 비용 중 가장 작은 하다마드 비용과 하디마드 임계값을 비교할 수 있다. 즉, 후보 모드 결정부(130)는 후보 모드 제어부(110)에서 연산된 모든 예측 후보 모드의 하다마드 비용을 작은 순서대로, 다시 말해, 오름차순으로 정렬할 수 있고, 가장 작은 하다마드 비용부터 하다마드 비용 임계값과 비교할 수 있다.

후보 모드 결정부(130)는 하다마드 비용이 하다마드 비용 임계값 보다 작은 복수의 화면 내 예측 후보 모드를 최종 후보 모드로 결정할 수 있다. 후보 모드 결정부(130)는 전술한 바와 같이, 모든 복수의 화면 내 예측 후보 모드에 대하여 하다마드 비용이 작은 순으로 하다마드 비용 임계값과 비교하여, 하다마드 비용 임계값보다 작은 하다마드 비용에 대응하는 예측 후보 모드를 최종 후보 모드로 결정할 수 있다.

후보 모드 결정부(130)는 하다마드 비용이 하다마드 비용 임계값 보다 크면, 해당 하다마드 비용에 대응하는(해당 하다마드 비용을 가지는) 예측 후보 모드를 최종 후보 모드에서 제외시킬 수 있다. 또한, 후보 모드 결정부(130)는 상기 최종 후보 모드에서 제외된 예측 후보 모드의 하다마드 비용보다 큰 하다마드 비용의 예측 후보 모드 또한 최종 후보 모드에서 제외시킬 수 있다. 예를 들어, 하다마드 비용이 작은 순서상 i번째 하다마드 비용이 하다마드 비용 임계값보다 크면, 최종 후보 모드에는 i-1개의 예측 후보 모드가 포함될 수 있다.

상기 HEVC에서 제공된 35개의 예측 후보 모드로 예를 들면, 후보 모드 결정부(130)는 상기 35개의 예측 후보 모드를 하다마드 비용이 작은 순서대로 정렬할 수 있고, 가장 작은 하다마드 비용의 예측 후보 모드부터 순차적으로 하다마드 비용 임계값과 비교할 수 있다. 이 때, 예를 들어, 하다마드 비용이 작은 순서상 5번째 하다마드 비용이 하다마드 비용 임계값보다 크면, 후보 모드 결정부(130)는 하다마드 비용이 작은 순서상 4번째 하다마드 비용에 대응하는 예측 후보 모드까지를 최종 후보 모드로 결정할 수 있다. 또한, 후보 모드 결정부(130)는 상기 5번째를 포함하여 5번째 이후의 하다마드 비용에 대응하는 예측 후보 모드들을 최종 후보 모드에서 제외시킬 수 있다. RMD를 통해 3개 또는 8개의 예측 후보 모드가 제공된 경우에도, 후보 모드 결정부(130)는 하다마드 비용이 작은 순서로 하다마드 비용 임계값과 비교하고, 비교 결과에 기초하여 최종 후보 모드를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 최종 후보 모드는 종래의 3개 또는 8개의 최종 후보 모드를 결정하는 방법에 비하여 최종 후보 모드의 수를 감소시킬 수 있다. 본 발명의 일 실시예에 따르면, 종래의 예측 유닛의 크기에 기초하여 3개 또는 8개의 고정적 수의 최종 후보 모드를 결정하는 방법과 비교하여, 예측 유닛의 크기에 따르더라도 1~3개(PU의 크기가 64X64, 32X32, 16X16)인 경우) 또는 1~8개(PU의 크기가 8X8, 4X4인 경우)의 최종 후보 모드를 적응적으로 결정할 수 있다. 또한, 본 발명의 HEVC 화면 내 예측의 속도 향상 장치(100)에 따르면, RDO 대상이 되는 최종 후보 모드를 결정하기 위한 하다마드 임계값을 PU의 픽셀들의 표준편차를 이용하여 결정되는 가중치를 이용하여 적응적으로 조절 및 결정할 수 있다.

율 왜곡 최적화 연산부(140)는 상기 결정된 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 예시적으로 율 왜곡 최적화 연산부(140)는 상기 최종 후보 모드에 MPM(most probable mode)를 추가 적용하여 율 왜곡 최적화 연산을 수행할 수 있다.

상술한 RMD을 통해 설명하면, 종래에는 HEVC 화면 내 예측을 위한 율 왜곡 최적화 연산을 위해 RMD을 통한(예측 유닛의 크기에 따라) 3개 또는 8개의 예측 후보 모드가 고정적으로 사용되었으나, 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 장치에 의하면, 상기 하다마드 비용 임계값에 따라 1~ 3개, 또는 1~ 8개의 예측 후보 모드가 적응적으로 율 왜곡 최적화 연산에 사용될 수 있으므로,RDO 연산의 효율성을 높이고 결과적으로 HEVC 화면 내 예측의 속도를 향상시킬 수 있다.

이하에서는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 장치(100)에 의하여 수행된 HEVC 화면 내 예측의 속도 향상 방법의 유효성을 검증하기 위한 실험에 대해 설명한다. 실험에서는 HEVC 참조 소프트웨어인 HM(HEVC test model)-15.0을 이용하여 시뮬레이션을 수행하기로 한다. 시뮬레이션은 3.2 GHz Intel CPU i5-6500 및 8 GB RAM이 장착 된 PC를 사용하여 수행하는 것으로 한다. 실험상의 비디오 시퀀스는 HEVC 표준 시퀀스 클래스 A, B, C, D 및 E이고, 비디오 시퀀스는 모든 인트라 모드에서 양자화 파라미터(QP, quantization parameter)를 22, 27, 32 및 37로 설정함으로써 시뮬레이션되는 것으로 설정한다. 또한, 하다마드 가중치의 최대값인 M은 1.5이고, R은 0.5이고, 그레이 레벨에 대한 표준 편차의 문턱값 T는 20으로 설정하여 상기 수학식 1을 통해 하다마드 가중치를 산출하여 시뮬레이션에 활용한다. 또한, 인코더 시간 단축의 매개변수 ΔT (%)는 복잡성 감소의 비교를 위해 수학식 3으로 산출된다. 즉, 본 HEVC 화면 내 예측의 속도 향상 장치(100)와 종래의 HEVC 화면 내 예측을 수행하는 방법 각각의 복잡성이 얼마나 감소되었는지 비교하는 실험을 수행한다.

[수학식 3]

본 실험에서는 HEVC 화면 내 예측의 속도 향상 장치(100)에 의한 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법 중 세가지의 방법들을 비교한다. 종래 방법 중 하나는 매크로 수준의 복잡성 감소를 위한 조기 CU(코딩 유닛)분할 종료 방법(rate-distortion optimized quantization 이하 RDOQ)으로, 다른 방법과의 비교를 위해 미시적인 수준에 한정하여 복잡성 감소를 비교하기로 한다.

종래 방법 중 두번째인 예측 유닛에 대한 하다마드 코스트에 기반하여 코딩 유닛, 변환 유닛의 깊이 결정 및 예측 후보 모드 결정 방법은, 신속한 인트라 예측을 위한 RDO연산을 줄이기 위해 예측 후보 모드의 수를 미리 결정하는 것으로 한다.

종래 방법 중 세번째는 빠른 인트라 예측과 빠른 인트라 코딩을 위한 예측 유닛 크기 결정 방법이다.

도 2는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 코딩 시간을 비교한 도면이다.

도 2는 상기 종래의 세가지 방법의 인트라 예측 및 HEVC 화면 내 예측의 속도 향상 장치(100)에 대한 BD(Bjontegaard delta) Rate의 성능과 인코딩 시간 감소 ΔT를 나타낸다. 도 2를 참조하면, 종래의 세가지 방법에 의한 인코딩 시간 감소 ΔT및 HEVC 화면 내 예측의 속도 향상 장치(100)에 의한 ΔT는 약 16~17%로 유사한 수준을 나타내고 있는 반면, HEVC 화면 내 예측의 속도 향상 장치(100)의 BD Rate는 종래의 세가지 방법의 BD Rate에 비해 0.24%, 0.10% 및 0.11% 감소하였다. 즉, HEVC 화면 내 예측의 속도 향상 장치(100)의 BD Rate 성능이 종래의 인트라 예측 방법에 비해 향상되었음을 확인할 수 있다.

도 3은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 BD PSNR을 비교한 도면이다.

도 3은 HEVC 화면 내 예측의 속도 향상 장치(100)에 pRMS를 적용하고, 상기 종래 방법 중 RDOQ 방법에도 pRMS를 적용하는 것으로 설정한다. 도 3을 참조하면, pRMS를 적용한 HEVC 화면 내 예측의 속도 향상 장치(100)는 pRMS를 적용한 종래 방법보다 BD PSNR(Peak signal-to-noise ratio)가 0.012db 증가되고, BD Rate는 0.21% 감소되었다. 즉, pRMS 적용한 HEVC 화면 내 예측의 속도 향상 장치(100)가 pRMS를 적용한 종래 방법보다 BD-PSNR 및 BD-rate면에서 성능이 향상됨을 확인할 수 있다.

도 4는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의 예측 후보 모드의 평균 개수를 비교한 도면이다.

도 4는 HEVC 참조 소프트웨어인 HM-15.0와 HEVC 화면 내 예측의 속도 향상 장치(100)에서RMD 이후 및 MPM 이후의 예측 후보 모드의 수를 나타내며, 양자화 파라미터(QP) 및 예측 유닛의 크기에 따라 각각 나타낸다. HEVC 화면 내 예측의 속도 향상 장치(100)는 RMD 이전 대비 RMD이후의 후보 모드의 수가 2%에서 65%로 감소되었다. 또한, 예측 유닛의 크기가 16 X 16 이상(즉, 예측 후보 모드가 3개) 인 경우에는 RMD 이후의 예측 후보 모드의 감소율이 2%에서 8%로 비교적 적으나, 예측 유닛의 크기가 8 X 8 이하(즉, 예측 후보 모드가 8개)인 경우에는 43 %에서 65 %의 감소율을 보여 시간 단축의 성능을 확인할 수 있다. 또한, HEVC 화면 내 예측의 속도 향상 장치(100)에서 MPM 이후의 예측 후보 모드의 수는 1 %에서 60 %까지 감소되었고, 예측 유닛의 크기가 16 X 16이상인 경우에는 예측 후보 모드 수의 감소율이 1% 에서 5%로 비교적 적으나, 예측 유닛의 크기가 8 X 8 이하인 경우에는 36%에서 60%의 감소율을 보여 시간 단축의 성능을 확인할 수 있다. 특히 MPM 이후의 예측 후보 모드의 수는 최종적으로 인트라 예측 시간에 관여하기 때문에, 상기 감소율은 고무적이라 할 수 있다.

도 5는 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법과 종래의 인트라 예측 방법의RD곡선을 도시한 도면이다.

도 5는 HEVC 화면 내 예측의 속도 향상 장치(100)의 RD곡선(rate distortion curve), pRMS가 적용된 HEVC 화면 내 예측의 속도 향상 장치(100)의 RD곡선, 상기 종래의 RDOQ 방법의 RD 곡선 및 pRMS가 적용된 상기 종래의 RDOQ 방법의 RD 곡선을 나타낸다. 도 5의 (a)는 양자화 파라미터(QP) 27의 주변 부분을 확대한 도면이고, 도 5의 (b)는 양자화 파라미터(QP) 32의 주변 부분을 확대한 도면이다. HEVC 화면 내 예측의 속도 향상 장치(100)에 의하면 테스트 대상 프로그림인 BasketballDrive 및 Basket-ballDrillvideo 시퀀스에 대해 상기 RDOQ방법보다 향상된 인코딩 시간 단축(ΔT)을 보인다. 또한, HEVC 화면 내 예측의 속도 향상 장치(100)의 RD곡선이 RDOQ방법의 RD 곡선보다 원래의 HM과 유사한 형태를 보임으로써, HM과 유사한 성능을 발휘함을 확인할 수 있다.

전술한 실험에 따르면, HEVC 화면 내 예측의 속도 향상 장치(100)는 종래의 인트라 예측 방법과 비교하여 유사한 그레이 레벨에 대한 표준 편차의 문턱값 T을 가짐에도 2배 내지 4배 향상된 예측 속도를 발휘할 수 있다.

도 6은 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법의 흐름을 도시한 도면이다.

도 6에 도시된 본원의 일 실시예에 따른 HEVC 화면 내 예측의 속도 향상 방법은 앞선 도 1 내지 도 5를 통해 설명된 HEVC 화면 내 예측의 속도 향상 장치에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도 1 내지 도 5를 통해 HEVC 화면 내 예측의 속도 향상 장치에 대하여 설명된 내용은 도 6에도 동일하게 적용될 수 있다.

도 6을 참조하면, 단계 S610에서 후보 모드 제어부(110)는 복수의 화면 내 예측 후보 모드를 결정할 수 있다. 후보 모드 제어부(110)는 35개의 PU 예측 모드를 예측 후보 모드로 결정할 수 있다. 다른 예로, 후보 모드 제어부(110)는 RMD (Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 따라 상기 복수의 화면 내 예측 후보 모드를 결정할 수 있다. 예시적으로, 후보 모드 제어부(110)는 예측 유닛의 크기가 64 x 64, 32 x 32, 16 x 16 중 하나인 경우, 3개의 예측 후보 모드를 이용할 수 있고, 예측 유닛의 크기가 8 x 8 또는 4 x 4인 경우, 8개의 예측 후보 모드를 이용할 수 있다.

단계 S620에서 후보 모드 제어부(110)는 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산할 수 있다. 예시적으로, 예측 유닛의 픽셀의 그레이 레벨은 0에서 255사이의 값을 가질 수 있다.

단계 S630에서 임계 설정부(120)는 상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정할 수 있다.

임계 설정부(120)는 수학식4를 통해 하다마드 가중치를 결정할 수 있다.

[수학식 4]

여기서, α는 상기 하다마드 가중치이고, M은 상기 α의 최대값이고, σ는 상기 그레이 레벨에 대한 표준 편차이고, T는 상기 σ의 미리 설정된 문턱값이고, R은 미리 설정된 가중치 범위를 나타낸다.

단계 S640에서 임계 설정부(120)는, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정할 수 있다. 본원의 일 실시예에 따르면, 후보 모드 제어부(110)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산할 수 있다. 예시적으로, 후보 모드 제어부(110)는 HEVC에서 제공된 35개의 예측 후보 모드 각각의 하다마드 비용을 연산할 수 있고, RMD 처리를 통해 예측 유닛의 크기에 따른 3개 또는 8개의 예측 후보 모드 각각의 하다마드 비용을 연산할 수도 있다. 또한, 예시적으로, 임계 설정부(120)는 하다마드 가중치와 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정할 수 있다. 하다마드 비용 임계값은 수학식 5를 통해 결정될 수 있다.

[수학식 5]

여기서 H _T 는 하다마드 비용 임계값이고, H ₁은 상기 예측 후보 모드의 하다마드 비용 중 가장 작은 하다마드 비용을 나타낸다

단계 S650에서 후보 모드 결정부(130)는 상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정할 수 있다. 후보 모드 결정부(130)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 하다마드 비용 임계값을 비교할 수 있다. 이때, 후보 모드 결정부(130)는 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교할 수 있다. 또한, 후보 모드 결정부(130)는 하다마드 비용이 하다마드 비용 임계값 보다 작은 복수의 화면 내 예측 후보 모드를 최종 후보 모드로 결정할 수 있다.

단계 S660에서 율 왜곡 최적화 연산부(140)는 상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행할 수 있다. 예시적으로 율 왜곡 최적화 연산부(140)는 상기 최종 후보 모드에 MPM(most probable mode)를 추가 적용하여 율 왜곡 최적화 연산을 수행할 수 있다.

본원의 일 실시 예에 따른, HEVC 화면 내 예측의 속도 향상 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: HEVC 화면 내 예측의 속도 향상 장치
110: 후보 모드 제어부
120: 임계 설정부
130: 후보 모드 결정부
140: 율 왜곡 최적화 연산부

Claims (15)

1. HEVC 화면 내 예측의 속도 향상 방법에 있어서,
   복수의 화면 내 예측 후보 모드를 결정하는 단계;
   예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산하는 단계;
   상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정하는 단계;
   상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정하는 단계;
   상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정하는 단계; 및
   상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행하는 단계,
   를 포함하고,
   상기 복수의 화면 내 예측 후보 모드를 결정하는 단계는,
   RMD(Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 기초하여 상기 복수의 화면 내 예측 후보 모드를 결정하는 단계를 포함하는 것인, HEVC 화면 내 예측의 속도 향상 방법.
2. 삭제
3. 제1항에 있어서,
   상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산하는 단계,
   를 더 포함하는 것인, HEVC 화면 내 예측의 속도 향상 방법.
4. 제3항에 있어서,
   상기 하다마드 비용 임계값을 결정하는 단계는,
   상기 하다마드 가중치와 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정하는 것인, HEVC 화면 내 예측의 속도 향상 방법.
5. 제 4 항에 있어서,
   상기 최종 후보 모드를 결정하는 단계는,
   상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하는 단계; 및
   하다마드 비용이 상기 하다마드 비용 임계값 보다 작은 상기 복수의 화면 내 예측 후보 모드를 상기 최종 후보 모드로 결정하는 단계,
   를 포함하는 것인, HEVC 화면 내 예측의 속도 향상 방법.
6. 제5항에 있어서,
   상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하는 단계는,
   상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교하는 것인, HEVC 화면 내 예측의 속도 향상 방법.
7. 제1항에 있어서,
   상기 하다마드 가중치를 결정하는 단계는 식 1에 기초하여 수행되고,
   [식 1]
   

   

   
   여기서, α는 상기 하다마드 값의 가중치이고, M은 상기 α의 최대값이고, σ는 상기 표준 편차이고, T는 상기 σ의 미리 설정된 문턱값이고, R은 미리 설정된 가중치 범위인 것인, HEVC 화면 내 예측의 속도 향상 방법.
8. HEVC 화면 내 예측의 속도 향상 장치에 있어서,
   복수의 화면 내 예측 후보 모드를 결정하고, 예측 유닛의 픽셀의 그레이 레벨에 대한 표준 편차를 연산하는 후보 모드 제어부;
   상기 표준 편차를 이용하여 하다마드(Hadamard) 가중치를 결정하고, 상기 하다마드 가중치를 이용하여 하다마드 비용 임계값을 결정하는 임계 설정부;
   상기 하다마드 비용 임계값에 기초하여 상기 복수의 화면 내 예측 후보 모드 중 최종 후보 모드를 결정하는 후보 모드 결정부; 및
   상기 최종 후보 모드에 대하여 율 왜곡 최적화(RDO, rate-distortion optimization)연산을 수행하는 율 왜곡 최적화 연산부,
   를 포함하고,
   상기 후보 모드 제어부는,
   RMD(Rough Mode Decision)처리를 통해 예측 유닛(PU)의 크기에 기초하여 상기 복수의 화면 내 예측 후보 모드를 결정하는 것인, HEVC 화면 내 예측의 속도 향상 장치.
9. 삭제
10. 제8항에 있어서,
    상기 후보 모드 제어부는,
    상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용을 연산하는 것인, HEVC 화면 내 예측의 속도 향상 장치.
11. 제10항에 있어서,
    상기 임계 설정부는,
    상기 하다마드 가중치와 상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용 중 최소의 하다마드 비용을 이용하여 상기 하다마드 비용 임계값을 결정하는 것인, HEVC 화면 내 예측의 속도 향상 장치.
12. 제11항에 있어서,
    상기 후보 모드 결정부는,
    상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용과 상기 하다마드 비용 임계값을 비교하고,
    하다마드 비용이 상기 하다마드 비용 임계값 보다 작은 상기 복수의 화면 내 예측 후보 모드를 상기 최종 후보 모드로 결정하는 것인, HEVC 화면 내 예측의 속도 향상 장치.
13. 제12항에 있어서,
    상기 후보 모드 결정부는,
    상기 복수의 화면 내 예측 후보 모드 각각의 하다마드 비용이 작은 순서로 상기 하다마드 비용 임계값과 비교하는 것인, HEVC 화면 내 예측의 속도 향상 장치.
14. 제8항에 있어서,
    상기 임계 설정부는,
    식 2에 기초하여 상기 하다마드 가중치를 결정하고,
    [식 2]
    

    

    
    여기서, α는 상기 하다마드 가중치이고, M은 상기 α의 최대값이고, σ는 상기 표준 편차이고, T는 상기 σ의 미리 설정된 문턱값이고, R은 미리 설정된 가중치 범위인 것인, HEVC 화면 내 예측의 속도 향상 장치.
15. 제1항 및 제3항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.

Images