KR101793623B1

KR101793623B1 - 히스토리 기반의 cu 깊이 결정 방법 및 장치

Info

Publication number: KR101793623B1
Application number: KR1020160160678A
Authority: KR
Inventors: 선우명훈; 배종현
Original assignee: 아주대학교 산학협력단
Priority date: 2016-11-29
Filing date: 2016-11-29
Publication date: 2017-11-06
Also published as: US20180152711A1

Abstract

히스토리 기반의 CU 깊이 결정 방법을 제공한다. 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 방법은 영상의 프레임(frame)을 구성하는 복수의 CTU(coding tree unit) 각각에 포함된 복수의 CU(coding unit)의 깊이를 결정하는 방법에 있어서, 현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 상기 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성하는 단계; 상기 깊이히스토리정보에 기초하여, 상기 현재CTU의 상기 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정하는 단계; 및 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 율-왜곡 비용(RD-cost) 연산을 통해 상기 복수의 깊이후보 중에서 최적의 CU 깊이를 선별하는 단계를 포함한다.

Description

히스토리 기반의 CU 깊이 결정 방법 및 장치{METHOD AND APPARATUS FOR DETEMINING CODING UNIT DEPTH BASED ON HISTORY}

본 발명은 HEVC 부호화(high efficiency video coding)에 있어서, 히스토리에 기반하여 현재 프레임의 CTU에 대한 CU 깊이를 결정하는 방법 및 장치에 관한 것으로, 보다 자세하게는 복수의 과거 프레임의 CTU에 대한 CU 깊이의 정보를 이용하여, 부호화하려는 현재 프레임의 CTU에 대한 CU 깊이를 결정하는 방법 및 장치에 관한 것이다.

최근 DTV, 모바일 기기, 다양한 온라인 비디오 스트리밍 서비스 등의 발전에 의해 멀티미디어 콘텐츠에 대한 접근이 용이해 지면서 고해상도 및 고화질 영상에 대한 수요가 증가하고 있다. 따라서, 고화질의 영상을 전송하기 위해서 고성능의 비디오 압축 기술이 필요하다.

HEVC(high efficiency video coding)는 기존의 비디오 압축 표준인 H.264/MPEG-4 AVC 에 비해 같은 화질을 유지하면서 약 2배 정도 우수한 압축 성능을 가진다. HEVC는 이처럼 우수한 압축 성능을 달성했지만, 부호화기의 연산 복잡도가 매우 높다는 치명적인 단점이 있다. 이를 개선하기 위하여 영상의 화질 열화를 최소화하면서 부호화기의 연산 복잡도를 줄이는 방법에 대한 연구가 필요한 실정이다.

종래의 HEVC 표준은 영상 프레임을 CTU (coding tree unit) 단위로 나누어 부호화를 수행한다. 일반적으로, 하나의 CTU는 64 x 64의 크기를 가지며, 그 안에서 다양한 크기의 CU (coding unit), PU (prediction unit), TU (transform unit)가 최적의 율-왜곡 비용(RD-cost)을 가지는 형태로 분할된다. 도 6과 같이, CTU는 64 x 64 크기의 CU 깊이 0에서 시작하여 8 x 8 크기의 깊이 3까지 도달하면서, 하나의 CU가 4개의 동일한 크기의 하위 CU 블록으로 분할되는 쿼드트리 분할 방식이 재귀적으로 반복되는 구조이다. 또한, 도 5와 같이, 각각의 CU 깊이마다 총 8개의 PU 모드와 TU 분할에 대한 율-왜곡 비용을 계산하게 된다. 이와 같이, 모든 깊이에 대하여 존재 가능한 CU, PU 및 TU 간의 조합에 대하여 율-왜곡 비용 계산을 수행하기 때문에 부호화기의 연산량은 급격하게 증가하게 된다.

따라서, 종래의 HEVC 부호화 방식을 개선하여, 히스토리에 기반하여 CU 깊이의 범위를 미리 한정함으로써, HEVC 부호화 시의 연산량을 감소시킬 수 있는 CU 깊이 결정 방법 및 장치에 대한 필요성이 대두되고 있다.

관련 선행기술로는 대한민국 등록특허공보 제 10-1621358호(발명의 명칭: HEVC 부호화 장치 및 그 인트라 예측 모드 결정 방법, 공개일자: 2016년 5월 10일)가 있다.

본 발명은 복수의 과거 프레임의 CTU에 대한 CU 깊이 정보를 이용하여, 부호화하려는 현재 프레임의 CTU에 대한 CU 깊이의 범위를 미리 한정함으로써, HEVC 부호화 시의 연산량을 감소시킬 수 있는 CU 깊이 결정 방법 및 장치를 제공하고자 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 히스토리 기반의 CU 깊이 결정 방법은 영상의 프레임(frame)을 구성하는 복수의 CTU(coding tree unit) 각각에 포함된 복수의 CU(coding unit)의 깊이를 결정하는 방법에 있어서, 현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 상기 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성하는 단계; 상기 깊이히스토리정보에 기초하여, 상기 현재CTU의 상기 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정하는 단계; 및 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 율-왜곡 비용(RD-cost) 연산을 통해 상기 복수의 깊이후보 중에서 최적의 CU 깊이를 선별하는 단계를 포함한다.

바람직하게는, 상기 복수의 깊이후보를 결정하는 단계는 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하면, 상기 일치하는 CU 깊이인 제1 CU 깊이 및 상기 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 상기 복수의 깊이후보를 결정하고, 상기 CU 깊이 정보가 일치하지 않으면, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정할 수 있다.

바람직하게는, 상기 최적의 CU 깊이를 선별하는 단계는 상기 복수의 깊이후보에 포함된 상기 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU(prediction unit) 중 일부에 대해서만 상기 율-왜곡 비용 연산을 수행할 수 있다.

바람직하게는, 상기 복수의 깊이후보를 결정하는 단계는 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하는 단계; 및 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정하는 단계를 포함할 수 있다.

바람직하게는, 상기 가중평균 CU 깊이는 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대하여, 시간의 순서에 따라 차등적인 가중치를 부여하여 산출될 수 있다.

바람직하게는, 상기 소정의 제2 범위는 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대한 표준편차에 기초할 수 있다.

바람직하게는, 상기 복수의 영역은 상기 CTU를 4분할한 영역일 수 있다.

바람직하게는, 상기 복수의 과거프레임은 상기 현재프레임과 순서가 연결되는, 소정 개수의 과거의 프레임일 수 있다.

바람직하게는, 상기 깊이히스토리정보는 상기 복수의 영역 각각에 대응되는 적어도 하나의 CU의 깊이의 최대값을 포함할 수 있다.

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 히스토리 기반의 CU 깊이 결정 장치는 영상의 프레임을 구성하는 복수의 CTU 각각에 포함된 복수의 CU의 깊이를 결정하는 장치에 있어서, 현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 상기 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성하는 생성부; 상기 깊이히스토리정보에 기초하여, 상기 현재CTU의 상기 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정하는 후보결정부; 및 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 율-왜곡 비용 연산을 통해 상기 복수의 깊이후보 중에서 최적의 CU 깊이를 선별하는 선별부를 포함한다.

바람직하게는, 상기 후보결정부는 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하면, 상기 일치하는 CU 깊이인 제1 CU 깊이 및 상기 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 상기 복수의 깊이후보를 결정하고, 상기 CU 깊이 정보가 일치하지 않으면, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정할 수 있다.

바람직하게는, 상기 선별부는 상기 복수의 깊이후보에 포함된 상기 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU 중 일부에 대해서만 상기 율-왜곡 비용 연산을 수행할 수 있다.

바람직하게는, 상기 후보결정부는 상기 현재CTU의 상기 복수의 영역 각각에 대하여, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하고, 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정할 수 있다.

본 발명의 일 실시예에 따른 복수의 과거 프레임의 CTU에 대한 CU 깊이 정보를 이용하여, 부호화하려는 현재 프레임의 CTU에 대한 CU 깊이의 범위를 미리 한정하는 CU 깊이 결정 방법 및 장치를 HEVC 부호화 시에 이용함으로써, HEVC 부호화에 필요한 연산량을 감소시킬 수 있는 효과가 있다

도 1은 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 깊이후보 결정 방법을 설명하기 위하여 도시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 복수의 깊이후보 결정 방법을 설명하기 위하여 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 장치를 설명하기 위하여 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 HEVC 부호화에서 CTU와 CU, PU 및 TU와의 관계를 설명하기 위하여 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 HEVC 부호화에서 CU의 깊이를 설명하기 위하여 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 과거프레임과 현재프레임이 동일한 위치에 CTU를 가지는 것을 설명하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하는 경우의 깊이후보 결정 결과를 설명하기 위하여 도시한 도면이다.
도 9은 본 발명의 일 실시예에 따른 복수의 과거프레임의 CTU의 영역별 CU 깊이 히스토리로부터 현재프레임의 CTU의 영역별 CU 깊이를 산출하는 과정을 설명하기 위하여 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 방법을 적용한 HEVC 부호화 알고리즘의 성능을 다른 알고리즘과 비교한 결과를 설명하기 위하여 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 방법을 설명하기 위하여 도시한 흐름도이다.

단계 S110에서는, CU 깊이 결정 장치가 현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 그 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성한다.

여기서, HEVC(high efficiency video coding)는 기존의 비디오 압축 표준인 H.264/MPEG-4 AVC의 차세대 동영상 부호화 기술로, H.265로 불리기도 한다. 한편, HEVC에서는 각 프레임을 구성하는 복수의 CTU(최대 64x64)를 단위로 부호화가 수행되며, 기존의 H.264와 비교할 때 최대 2배 정도의 압축 성능을 나타낸다.

한편, 도 9를 참조하면, 과거CTU와 동일한 위치인 현재CTU(910)는 복수의 영역(912, 914, 916, 918)으로 분할될 수 있으며, CU 깊이 결정 장치가 현재CTU(910)와 동일한 위치인 과거CTU로부터 동일한 복수의 영역(912, 914, 916, 918)에 대한 CU 깊이의 정보를 수집하여 깊이히스토리정보를 생성할 수 있다. 이때, 그 복수의 영역(912, 914, 916, 918)은 가상의 영역으로, CTU가 더 작은 CTU로 분할되는 것을 의미하는 것은 아니다.

예컨대, 좌상 영역(912)은 5개의 과거CTU의 대응되는 CU의 깊이 히스토리가 {2, 3, 1, 1, 2}이고, 우상 영역(914)은 5개의 과거CTU의 대응되는 CU의 깊이 히스토리가 {2, 2, 2, 2, 2}이고, 좌하 영역(916)은 5개의 과거CTU의 대응되는 CU의 깊이 히스토리가 {1, 1, 2, 1, 2}이고, 우하 영역(918)은 5개의 과거CTU의 대응되는 CU 깊이 히스토리가 {3, 1, 2, 3, 1}이다. 이때, 깊이히스토리정보는 현재CTU(910)의 4개의 영역(912, 914, 916, 918)별 CU 깊이 히스토리의 정보({2, 3, 1, 1, 2}, {2, 2, 2, 2, 2}, {1, 1, 2, 1, 2}, {3, 1, 2, 3, 1})를 모두 포함할 수 있다.

다른 실시예에서는, 복수의 영역은 CTU를 4분할한 영역일 수 있다.

즉, CU 깊이 결정 장치는 영상의 프레임을 구성하는 복수의 CTU 각각을 4분할하여, 각각의 영역별 CU 깊이 정보를 포함하도록 깊이히스토리정보를 생성할 수 있다.

그러나, CU 깊이 결정 장치는, 연산 성능이나 영상의 복잡도에 따라서, 복수의 CTU 각각을 4가 아닌 다른 개수(예, 2분할, 8분할, 16분할 등)로 분할할 수 있음은 물론이다.

또 다른 실시예에서는, 복수의 과거프레임은 현재프레임과 순서가 연결되는, 소정 개수의 과거의 프레임일 수 있다.

예컨대, 도 7을 참조하면, 영상을 구성하는 각각의 프레임에 고유한 일련번호가 부여되었다고 가정하면, 현재프레임의 일련번호는 t일 수 있다. 이때, 5개의 과거프레임의 일련번호는 각각 t-5, t-4, t-3, t-2, t-1일 수 있다. 이처럼, 현재프레임과 일련번호가 연속되는 복수의 과거프레임을 현재프레임의 CU 깊이를 결정하기 위하여 이용하는 이유는, 현재프레임과 가까울수록 그 과거프레임이 현재프레임과 유사한 CU 깊이를 가질 가능성이 높다고 볼 수 있기 때문이다.

또 다른 실시예에서는, 깊이히스토리정보는 복수의 영역 각각에 대응되는 적어도 하나의 CU의 깊이의 최대값을 포함할 수 있다.

예컨대, 도 5를 참조하면, 과거CTU의 4개의 영역(좌상, 우상, 좌하, 우하)에 대하여, 깊이히스토리정보는 각 영역에 대응되는 적어도 하나의 CU의 깊이의 최대값을 포함할 수 있다. 즉, 좌상 영역은 대응되는 CU의 크기가 32x32이므로 CU 깊이의 최대값이 1이고, 우상 영역은 대응되는 CU의 크기의 최소값이 8x8이므로 CU 깊이의 최대값이 3이고, 좌하 영역은 대응되는 CU의 크기의 최소값이 16x16이므로 CU 깊이의 최대값이 2이고, 우하 영역은 대응되는 CU의 크기가 32x32이므로 CU 깊이의 최대값이 1이다.

단계 S120에서는, CU 깊이 결정 장치가 그 깊이히스토리정보에 기초하여, 현재CTU의 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정한다.

즉, CU 깊이 결정 장치는 그 깊이히스토리정보를 이용하여 복수의 깊이후보를 결정할 수 있으며, 그 복수의 깊이후보를 결정하는 방법에 대한 자세한 내용은 아래의 실시예에 대한 설명에서 구체적으로 후술한다.

다른 실시예에서는, CU 깊이 결정 장치가 복수의 깊이후보를 결정할 때, 현재CTU의 복수의 영역 각각에 대하여, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하는지 여부에 따라, 적응적으로 복수의 깊이후보를 결정할 수 있다.

즉, CU 깊이 결정 장치가, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 모두 일치하면, 그 일치하는 CU 깊이인 제1 CU 깊이 및 그 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

또한, CU 깊이 결정 장치가, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하지 않으면, 그 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 그 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

이때, CU 깊이 결정 장치가 제1 CU 깊이와 적어도 하나의 제2 CU 깊이로 복수의 깊이후보를 결정하는 자세한 내용은 도 2에 대한 설명에서 구체적으로 후술하며, 복수의 제3 CU 깊이로 복수의 깊이후보를 결정하는 자세한 내용은 도 3에 대한 설명에서 구체적으로 후술한다.

또 다른 실시예에서는, CU 깊이 결정 장치가, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하는지 여부와 무관하게, 그 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 그 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

한편, 복수의 제3 CU 깊이로 복수의 깊이후보를 결정하는 자세한 내용은 역시 도 3에 대한 설명에서 구체적으로 후술한다.

마지막으로 단계 S130에서는, CU 깊이 결정 장치가 현재CTU의 복수의 영역 각각에 대하여, 율-왜곡 비용(RD-cost) 연산을 통해 그 복수의 깊이후보 중에서 최적의 CU 깊이를 선별한다.

예컨대, CU 깊이 결정 장치는 부호화하려는 현재프레임의 현재CTU의 복수의 영역 각각에 대하여, 그 복수의 깊이후보 중에 RD-cost 연산을 수행한 결과가 가장 우수한 하나를 최적의 CU 깊이로 선별할 수 있다.

한편, CU 깊이 결정 장치가 각 CTU의 영역별로 복수의 깊이후보를 결정함으로써, 0에서 3까지의 모든 CU 깊이 각각에 대하여 총 8가지 PU의 RD-cost 연산을 수행할 필요없이 특정한 범위의 CU 깊이에 대하여만 PU의 RD-cost 연산을 수행할 수 있어, HEVC 부호화 시의 연산량을 감소시킬 수 있게 된다.

또한, 도 10을 참조하면, Shen의 공간적 및 시간적 중복성의 특징을 이용하는 알고리즘([1]), Xiong의 영상 프레임에서 물체의 움직임이 많은 부분이 더 작은 크기의 CU로 부호화되는 알고리즘([2]) 및 본 발명이 적용된 HEVC 부호화 알고리즘(proposed) 각각을 HEVC 표준에서 제공하는 Low-delay B (LB-Main) 프로파일 환경에서 수행한 시뮬레이션 결과가 나타나 있다.

보다 구체적으로는, BDBR (Bjontegaard delta bitrate)에서 본 발명이 적용된 HEVC 부호화 알고리즘의 경우 [1] 및 [2]보다 평균적으로 더 낮은 비트량(1.09%)만이 증가하여, 더 우수한 성능을 나타냈다. 또한, TS(time saving)에서도 [1] 및 [2]보다 더 높은 평균값(41.33%)을 가져, 더 우수한 성능을 나타냈다. 또한, 불안정도에 있어서도, 본 발명이 적용된 HEVC 부호화 알고리즘이 [1] 및 [2]보다 더 낮은 평균값(1.67%)을 가져, 더 우수한 성능을 나타냈다.

이와 같이, 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 방법은 복수의 과거 프레임의 CTU에 대한 CU 깊이 정보를 이용하여, 부호화하려는 현재 프레임의 CTU에 대한 CU 깊이의 범위를 미리 한정함으로써, HEVC 부호화 시의 연산량을 감소시킬 수 있게 되는 효과가 있다.

도 2는 본 발명의 일 실시예에 따른 복수의 깊이후보 결정 방법을 설명하기 위하여 도시한 흐름도이다.

단계 S210에서는, CU 깊이 결정 장치가 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 모두 일치하면, 그 일치하는 CU 깊이를 제1 CU 깊이로 결정한다.

예컨대, 도 9를 참조하면, CU 깊이 결정 장치가 현재CTU(910)의 4개 영역(912, 914, 916, 918) 각각에 대하여 t-1, t-2, …, t-5의 5개의 과거프레임에 포함된 5개의 과거CTU의 동일 영역의 CU 깊이 정보가 모두 일치하는지 판단한다. 그리고, 우상 영역(914)에 대응되는 5개 과거CTU의 동일 영역의 CU의 깊이 히스토리 {2, 2, 2, 2, 2}가 모두 2로 일치하므로, 그 일치하는 CU 깊이인 2를 제1 CU 깊이로 결정할 수 있다.

단계 S220에서는, CU 깊이 결정 장치가 그 제1 CU 깊이와 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이를 결정한다.

즉, 적어도 하나의 제2 CU 깊이는 제1 CU 깊이와 제1 범위 이내로 차이가 발생하도록 결정될 수 있다. 보다 구체적으로, 제1 범위가 2인 경우, 적어도 하나의 제2 CU 깊이와 제1 CU 깊이 간에는 1 또는 2인 CU 깊이의 차이가 존재할 수 있다.

다른 실시예에서는, 도 8을 참조하면, 제1 범위가 2인 경우, 제1 CU 깊이가 0이면, 제2 CU 깊이는 1 및 2로 결정될 수 있다. 또한, 제1 CU 깊이가 1이면, 제2 CU 깊이는 0 및 2로 결정될 수 있다. 또한, 제1 CU 깊이가 2이면, 제2 CU 깊이는 1 및 3으로 결정될 수 있다. 또한, 제1 CU 깊이가 3이면, 제2 CU 깊이는 1 및 2로 결정될 수 있다.

따라서, 도 9의 현재CTU(910)의 우상 영역(914)의 경우, CU 깊이 결정 장치가 제1 CU 깊이를 2로 결정하였기 때문에, 제2 CU 깊이를 1 및 3으로 결정할 수 있다. 이때, CU 깊이 0의 경우에는 제1 CU 깊이 및 제2 CU 깊이로 결정되지 않았기 때문에, RD-cost 연산이 생략된다.

또 다른 실시예에서는, 제1 범위가 2인 경우, 제1 CU 깊이가 0이면, 제2 CU 깊이는 1로 결정될 수 있다. 또한, 제1 CU 깊이가 1이면, 제2 CU 깊이는 0 및 2로 결정될 수 있다. 또한, 제1 CU 깊이가 2이면, 제2 CU 깊이는 1 및 3으로 결정될 수 있다. 또한, 제1 CU 깊이가 3이면, 제2 CU 깊이는 2로 결정될 수 있다. 이때, 제1 CU 깊이가 1 또는 2일 때, 제2 CU 깊이가 2개로 결정되는 것은, CU 깊이 결정 장치가 그 2개 중에 어느 하나를 제2 CU 깊이로 해야 하는지를 결정할 수 없기 때문일 수 있다.

단계 S230에서는, CU 깊이 결정 장치가 그 제1 CU 깊이 및 적어도 하나의 제2 CU 깊이로 복수의 깊이후보를 결정한다.

즉, 복수의 깊이후보는 제1 CU 깊이 및 적어도 하나의 제2 CU 깊이로 구성될 수 있다. 예컨대, 제1 범위가 2인 경우, 제1 CU 깊이가 0이면, 제2 CU 깊이는 1 및 2가 되어, 복수의 깊이후보는 0, 1 및 2의 총 3개가 될 수 있다.

다른 실시예에서는, CU 깊이 결정 장치가 최적의 CU 깊이를 선별할 때, 그 복수의 깊이후보에 포함된 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU(prediction unit) 중 일부에 대해서만 율-왜곡 비용 연산을 수행할 수 있다.

예컨대, 도 9의 현재CTU(910)의 우상 영역(914)에서 제1 범위가 2인 경우, 제1 CU 깊이가 2이면, 제2 CU 깊이는 1 및 3이 되어, 복수의 깊이후보는 1, 2 및 3의 총 3개일 수 있다. 이때, 현재CTU의 CU 깊이는 제1 CU 깊이와 같을 확률이 더 높은 반면, 제2 CU 깊이와 같을 확률은 상대적으로 더 낮다고 볼 수 있다. 이는, 제1 CU 깊이가 복수의 과거프레임의 과거CTU에서 모두 일치하는 CU 깊이이기 때문이다.

따라서, CU 깊이 결정 장치는 제1 CU 깊이에 대하여는 8가지 PU(2Nx2N, 2NxN, Nx2N, NxN, nLx2N, 2NxnU, 2NxnD, nRx2N)에 대하여 모두 RD-cost 연산을 수행하지만, 제2 CU 깊이에 대하여는 오직 하나의 PU(예, 2Nx2N)에 대하여만 RD-cost 연산을 수행함으로써, 연산량 감소의 효과를 극대화할 수 있다.

보다 구체적으로, 도 9의 현재CTU(910)의 우상 영역(914)을 참조하면, CU 깊이 결정 장치는 제1 CU 깊이인 2에 대하여는 8가지 PU에 대해서 모두 RD-cost 연산을 수행하고, 2개의 제2 CU 깊이인 1 및 3에 대하여는 2Nx2N의 PU에 대해서만 RD-cost 연산을 수행할 수 있다. 반면에, 제1 CU 깊이 및 제2 CU 깊이에 모두 포함되지 않은 CU 깊이 0에 대하여는, PU에 대한 RD-cost 연산의 수행을 생략하여 HEVC 부호화에 필요한 연산량을 감소시킬 수 있다,

도 3은 본 발명의 다른 실시예에 따른 복수의 깊이후보 결정 방법을 설명하기 위하여 도시한 흐름도이다.

단계 S310에서는, CU 깊이 결정 장치가 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출한다.

일반적으로, 시간적으로 더 가까운 프레임 간에는 CTU의 동일한 영역에 대하여 CU 깊이 정보가 서로 유사할 가능성이 높으며, 시간적으로 먼 프레임 간에는 CU 깊이 정보가 서로 유사하지 않을 가능성이 높다고 볼 수 있다.

따라서, CU 깊이 결정 장치는 그 가능성을 고려하여, 복수의 과거CTU의 동일한 영역에 대한 CU 깊이 정보를 가중평균함으로써, 보다 신뢰도 높은 가중평균 CU 깊이를 산출할 수 있다.

다른 실시예에서는, 가중평균 CU 깊이는 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대하여, 시간의 순서에 따라 차등적인 가중치를 부여하여 산출될 수 있다.

구체적으로, CU 깊이 결정 장치는 현재프레임에 더 가까운 과거프레임에 속한 과거CTU의 동일한 영역의 CU 깊이 정보에 보다 높은 가중치를 부여하고, 현재프레임에서 더 먼 과거프레임에는 상대적으로 낮은 가중치를 부여할 수 있다.

예컨대, 시간의 순서에 따른 차등적인 가중치는 아래의 수학식 1에 의해 산출될 수 있다.

[수학식 1]

여기서, x는 현재프레임과의 순서의 차이를 나타내고, y는 산출된 가중치이다.

보다 구체적으로는, 과거프레임이 5개일 경우, 수학식 1을 이용하여 차등적인 가중치가 x=1일 때 y=1.5, x=2일 때 y=1.25, x=3일 때 y=1.0, x=4일 때 y=0.75, x=5일 때 y=0.5로 산출될 수 있다. 즉, 현재프레임과의 차이가 커질수록, 산출된 가중치는 작아지는 것을 확인할 수 있다.

이때, 차등적인 가중치의 총합은 과거프레임의 개수와 일치하여야 하며, 그렇지 않을 경우 가중평균 CU 깊이의 값이 왜곡될 수 있다. 예컨대, 위에서 산출된 가중치는 1.5+1.25+1.0+0.75+0.5 = 5로, 과거프레임의 개수인 5와 일치한다.

한편, 가중평균 CU 깊이는 차등적인 가중치를 이용하여 아래의 수학식 2에 의해 산출될 수 있다.

[수학식 2]

여기서, E(X')는 가중평균 CU 깊이이고, n은 과거프레임의 개수이고, w_i는 i번째 과거프레임의 CU 깊이의 가중치이고, X_i'는 i번째 과거프레임의 CU 깊이이다.

단계 S330에서는, CU 깊이 결정 장치가 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 복수의 깊이후보를 결정한다.

예컨대, CU 깊이 결정 장치는 가중평균 CU 깊이가 1.2이고 제2 범위가 1인 경우, 0.2에서 2.2사이의 CU 깊이인 1과 2의 복수의 제3 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

다른 실시예에서는, 소정의 제2 범위는 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대한 표준편차에 기초할 수 있다.

한편, CU 깊이 결정 장치는 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보의 표준편차를 산출하고, 그 산출된 표준편차를 이용하여 복수의 제3 CU 깊이를 결정할 수 있다. 이때, 제3 CU 깊이는 아래 수학식 3의 범위로 나타낼 수 있다.

[수학식 3]

여기서, E(X')는 가중평균 CU 깊이이고, σ는 CU 깊이 정보의 표준편차이고, CU는 제3 CU 깊이이다.

또 다른 실시예에서는, E(X')-σ와 E(X')+σ값은 모두 반올림한 뒤, 정수로 만들어질 수 있다. 또한, 그 반올림한 값이 0보다 작거나 3을 초과하는 경우는 각각 0과 3으로 그 값을 제한할 수 있다.

또 다른 실시예에서는, CU 깊이 결정 장치가 가중평균 CU 깊이를 이용하여 다음과 같이 복수의 깊이후보를 결정할 수 있다.

도 9의 현재CTU(910)의 좌상 영역(912)에 대응되는 5개의 과거CTU의 동일 영역의 CU의 깊이 히스토리는 (t-5, t-4, t-3, t-2, t-1) = {2, 3, 1, 1, 2}이다. 그리고, 수학식 1을 이용한 각 CU 깊이의 시간적 순서에 따른 가중치는 (t-5, t-4, t-3, t-2, t-1) = {0,5, 0.75, 1.0, 1.25, 1.5}이다. 따라서, CU의 깊이 히스토리에 가중치를 적용할 경우, (t-5, t-4, t-3, t-2, t-1) = {1, 2.25, 1, 1.25, 3}으로 가중치가 반영된 CU 깊이 히스토리가 산출된다. 이때, 수학식 2를 이용하면, 가중평균 CU 깊이는 (1 + 2.25 + 1 + 1.25 +3)/5 = 1.7로 산출된다.

한편, 아래의 수학식 4를 이용하여 가중치가 반영된 CU 깊이 히스토리에 포함된 5개 CU 깊이 정보의 표준편차를 계산하면, 표준편차는 0.75로 산출된다.

[수학식 4]

여기서, σ는 CU 깊이 정보의 표준편차이고, n은 과거CTU의 CU 깊이 정보의 총 개수이고, X_i'는 i번째 과거CTU의 가중치가 반영된 CU 깊이 정보이고, E(X')는 가중평균 CU 깊이이다.

따라서, 수학식 3을 이용하여 제3 CU 깊이의 범위를 나타낼 경우, 1.7-0.75 ≤ CU ≤ 1.7+0.75 이므로, CU 깊이 결정 장치가 제3 CU 깊이인 1 및 2로 깊이후보를 결정할 수 있다. 이때, CU 깊이 결정 장치는 깊이후보에 포함된 제3 CU 깊이인 1 및 2에 대하여는 8가지 PU에 대해서 모두 RD-cost 연산을 수행하고, 깊이후보에 포함되지 않은 나머지 CU 깊이인 0 및 3에 대하여는 PU에 대한 RD-cost 연산을 생략하여, HEVC 부호화에 필요한 연산량을 감소시킬 수 있다,

한편, 도 9의 현재CTU(910)의 좌하 영역(916) 및 우하 영역(918)에 대하여도, 좌상 영역(912)과 마찬가지의 방법으로 제3 CU 깊이를 결정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 장치를 설명하기 위하여 도시한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 히스토리 기반의 CU 깊이 결정 장치(400)는 생성부(410), 후보결정부(420) 및 선별부(430)를 포함한다.

생성부(410)는 현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 그 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성한다.

후보결정부(420)는 그 깊이히스토리정보에 기초하여, 현재CTU의 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정한다.

다른 실시예에서는, 후보결정부(420)는 현재CTU의 복수의 영역 각각에 대하여, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하면, 그 일치하는 CU 깊이인 제1 CU 깊이 및 그 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 복수의 깊이후보를 결정하고, CU 깊이 정보가 일치하지 않으면, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 그 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

또 다른 실시예에서는, 후보결정부(420)는 현재CTU의 복수의 영역 각각에 대하여, 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하고, 그 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 복수의 깊이후보를 결정할 수 있다.

또 다른 실시예에서는, 가중평균 CU 깊이는 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대하여, 시간의 순서에 따라 차등적인 가중치를 부여하여 산출될 수 있다.

또 다른 실시예에서는, 소정의 제2 범위는 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대한 표준편차에 기초하여 산출될 수 있다.

선별부(430)는 현재CTU의 복수의 영역 각각에 대하여, 율-왜곡 비용 연산을 통해 그 복수의 깊이후보 중에서 최적의 CU 깊이를 선별한다.

다른 실시예에서는, 선별부(430)는 그 복수의 깊이후보에 포함된 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU 중 일부에 대해서만 율-왜곡 비용 연산을 수행할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

영상의 프레임(frame)을 구성하는 복수의 CTU(coding tree unit) 각각에 포함된 복수의 CU(coding unit)의 깊이를 결정하는 방법에 있어서,
현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 상기 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성하는 단계;
상기 깊이히스토리정보에 기초하여, 상기 현재CTU의 상기 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정하는 단계; 및
상기 현재CTU의 상기 복수의 영역 각각에 대하여, 율-왜곡 비용(RD-cost) 연산을 통해 상기 복수의 깊이후보 중에서 최적의 CU 깊이를 선별하는 단계
를 포함하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제1항에 있어서,
상기 복수의 깊이후보를 결정하는 단계는
상기 현재CTU의 상기 복수의 영역 각각에 대하여,
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하면, 상기 일치하는 CU 깊이인 제1 CU 깊이 및 상기 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 상기 복수의 깊이후보를 결정하고,
상기 CU 깊이 정보가 일치하지 않으면, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제2항에 있어서,
상기 최적의 CU 깊이를 선별하는 단계는
상기 복수의 깊이후보에 포함된 상기 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU(prediction unit) 중 일부에 대해서만 상기 율-왜곡 비용 연산을 수행하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제1항에 있어서,
상기 복수의 깊이후보를 결정하는 단계는
상기 현재CTU의 상기 복수의 영역 각각에 대하여,
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하는 단계; 및
상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정하는 단계
를 포함하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제4항에 있어서,
상기 가중평균 CU 깊이는
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대하여, 시간의 순서에 따라 차등적인 가중치를 부여하여 산출되는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제4항에 있어서,
상기 소정의 제2 범위는
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대한 표준편차에 기초하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제1항에 있어서,
상기 복수의 영역은
상기 CTU를 4분할한 영역인 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제1항에 있어서,
상기 복수의 과거프레임은
상기 현재프레임과 순서가 연결되는, 소정 개수의 과거의 프레임인 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
제1항에 있어서,
상기 깊이히스토리정보는
상기 복수의 영역 각각에 대응되는 적어도 하나의 CU의 깊이의 최대값을 포함하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 방법.
영상의 프레임을 구성하는 복수의 CTU 각각에 포함된 복수의 CU의 깊이를 결정하는 장치에 있어서,
현재프레임의 현재CTU와 동일한 위치인 복수의 과거프레임의 복수의 과거CTU 각각을 복수의 영역으로 분할하여, 상기 복수의 영역별 CU 깊이의 정보를 포함하는 깊이히스토리정보를 생성하는 생성부;
상기 깊이히스토리정보에 기초하여, 상기 현재CTU의 상기 복수의 영역별 CU 깊이에 대한 복수의 깊이후보를 결정하는 후보결정부; 및
상기 현재CTU의 상기 복수의 영역 각각에 대하여, 율-왜곡 비용 연산을 통해 상기 복수의 깊이후보 중에서 최적의 CU 깊이를 선별하는 선별부
를 포함하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제10항에 있어서,
상기 후보결정부는
상기 현재CTU의 상기 복수의 영역 각각에 대하여,
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보가 일치하면, 상기 일치하는 CU 깊이인 제1 CU 깊이 및 상기 제1 CU 깊이와 소정의 제1 범위 이내로 상이한 적어도 하나의 제2 CU 깊이로 상기 복수의 깊이후보를 결정하고,
상기 CU 깊이 정보가 일치하지 않으면, 상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하여, 상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제11항에 있어서,
상기 선별부는
상기 복수의 깊이후보에 포함된 상기 적어도 하나의 제2 CU 깊이에 대하여는 전체의 PU 중 일부에 대해서만 상기 율-왜곡 비용 연산을 수행하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제10항에 있어서,
상기 후보결정부는
상기 현재CTU의 상기 복수의 영역 각각에 대하여,
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보를 가중평균한 가중평균 CU 깊이를 산출하고,
상기 가중평균 CU 깊이로부터 소정의 제2 범위 이내인 복수의 제3 CU 깊이로 상기 복수의 깊이후보를 결정하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제13항에 있어서,
상기 가중평균 CU 깊이는
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대하여, 시간의 순서에 따라 차등적인 가중치를 부여하여 산출되는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제13항에 있어서,
상기 소정의 제2 범위는
상기 복수의 과거CTU의 동일한 영역 간의 CU 깊이 정보에 대한 표준편차에 기초하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제10항에 있어서,
상기 복수의 영역은
상기 CTU를 4분할한 영역인 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제10항에 있어서,
상기 복수의 과거프레임은
상기 현재프레임과 순서가 연결되는, 소정 개수의 과거의 프레임인 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.
제10항에 있어서,
상기 깊이히스토리정보는
상기 복수의 영역 각각에 대응되는 적어도 하나의 CU의 깊이의 최대값을 포함하는 것을 특징으로 하는 히스토리 기반의 CU 깊이 결정 장치.