KR102252816B1

KR102252816B1 - 부호화유닛 심도 확정 방법 및 장치

Info

Publication number: KR102252816B1
Application number: KR1020197027603A
Authority: KR
Inventors: 훙순 장; 쓰신 린; 시밍 청
Original assignee: 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date: 2017-04-21
Filing date: 2017-12-08
Publication date: 2021-05-18
Also published as: EP3614666A1; US10841583B2; JP2020500482A; EP3614666A4; CN108737841A; US20190222842A1; JP6843239B2; CN108737841B; KR20190117708A; WO2018192235A1

Abstract

본 출원은 부호화유닛 심도 확정 방법 및 장치를 공개하는데, 본 출원에 의하면, 사전에 분류 결과가 표기된 교육 샘플을 이용하여 예측 모델을 교육하고, 이 교육 샘플은 소정 유형의 부호화 정보 특징을 포함하고, 그리고 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수가 0이 아니라고 확정된 경우, 부호화 심도 예측을 수행하여야 한다고 판단하여 처리하려는 부호화유닛 및 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛로부터 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하여 예측 모델에 입력하며, 기계학습 예측 모델을 이용하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측한다. 본 출원에 있어서 예측 결과가 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없음을 표시할 경우, 처리하려는 부호화유닛에 심도 분할 및 비트왜곡율 비용의 계산과 비교를 수행할 필요가 없어 기존기술에 비하여 부호화 예측 시간을 대폭 줄일 수 있고 계산 자원을 감소하며 계산 복잡도를 낮출 수 있다.

Description

부호화유닛 심도 확정 방법 및 장치

본 출원은 2017년 4월 21일에 중국특허국에 제출한 우선권번호가 2017102667988이고 발명명칭이 “부호화유닛 심도 확정 방법 및 장치”인 중국특허출원의 우선권을 주장하고 그 모든 내용을 인용하여 본 출원에 결합시킨다.

본 발명은 비디오 부호화 기술 분야에 관한 것으로, 특히 부호화유닛 심도 확정 방법 및 장치에 관한 것이다.

최근 디지털 비디오는 이미 소비 에플리케이션중에서 주도 지위를 차지하는 미디어 콘텐츠로 되었고 더욱 높은 해상도와 더욱 우수한 품질에 대한 사람들의 요구도 증가되고 있다. 이러한 요구에 따라 신세대 비디오 부호화 국제 표준 HEVC(High Efficiency Video Coding, 고효율 비디오 부호화 표분)을 제정하기 시작하였다. H.264/AVC 표준에 비하여 HEVC는 더욱 높은 부호화 압축 성능을 얻을 수 있다.

도 1을 결합하여 HEVC 부호화 표준의 부호화 과정을 설명한다. 원시 비디오 시퀀스의 1프레임 영상이 버퍼링된 참조프레임과 함께 프레임 내 예측 또는 프레임 간 예측을 통하여 예측 값을 얻고, 예측 값과 입력된 비디오 프레임을 감산하여 잔여를 얻고 잔여를 DCT(Discrete Cosine Transform, 이산 코사인 변환)과 양자화를 통하여 잔여 계수를 얻은 후, 엔트로피 부호화모듈로 도입하여 부호화를 수행하고 비디오 스트림을 출력한다. 이와 동시에, 잔여 계수는 역양자화와 역변환을 거친 후, 재구성 영상의 잔여 값을 얻고 재구성 영상의 잔여 값과 프레임 내 또는 프레임 간의 예측 값을 합하여 재구성 영상을 얻으며, 재구성 영상이 디 블로킹 필터링, 루프 필터링를 통과한 후, 재구성 프레임을 얻고 재구성 프레임을 그다음 프레임의 입력 영상의 참조 프레임으로 하여 참조 프레임 시퀀스에 첨가한다.

HEVC 표준에 있어서, 입력된 비디오 프레임은 일련의 부호화 트리 유닛CTU(Coding Tree Unit)으로 분할된다. 프레임 내 또는 프레임 간 예측의 경우, 매개 CTU는 최대 부호화유닛LCU(Largest Code Unit)으로부터 시작되며 각 계층은 쿼드 트리 형식으로 크기가 다른 부호화유닛CU(Coding Unit)으로 분할된다. 심도가 0인 계층은 LCU로 그 크기는 일반적으로 64*64이고 심도가 1~3인 계층은 크기가 각각 32*32, 16*16, 8*8이다. 최적의 부호화 성능을 실현하기 위하여, 기존의 HEVC는 부호화유닛CU블록의 심도 분할에 있어서 최적의 모드를 선택할 때, 전체 순회(traversal) 방식을 이용하고 CU블록의 심도가 다른 모든 모드에 비트왜곡율 비용의 계산을 수행한 후, 각 계층을 차례로 비교하여 비트왜곡율 비용가 가장 작은 모드를 선택한다. 도 2를 참조하면, 최적 모드의 CU 분할 상황을 나타내였는데, 도 2에 있어서 좌측 도면은 구체적인 분할 방식을 나타내고 우측 도면은 좌측 도면의 분할 방식에 대응되는 쿼드 트리이며 쿼드 트리중의 잎 노드는 좌측 도면중의 화살표로 나타낸 분할 순서에 따라 각 계층중의 4개 CU블록을 진일보로 분할할 필요가 있는가를 표시하며 그중 1은 필요함을 표시하고 0은 필요하지 않음을 표시한다.

상기한 도 2로부터 일부 CU블록은 1계층의 분할을 수행한 후 최적의 모드를 찾을 수 있어 진일보로 분할과 비트왜곡율 비용의 계산 및 비교를 수행할 필요가 없음을 알 수 있고, 도 2에 도시한 쿼드 트리중의 제1계층중의 두번째 CU블록의 경우, 노드 값이 0으로 진일보로 분할할 필요가 없음을 표시한다. 이와같이 기존의 전체 순회 알고리즘에 의하면 부호화 예측 과정에 긴 시간이 소요되고 대량의 계산 자원을 소비하게 된다.

이에 감안하여 본 출원은 기존의 전체 순회 방법에 의하여 부호화유닛의 심도를 확정하는 방법에 존재하는 부호화 예측 시간이 길고 대량의 계산 자원을 소비하게 되는 문제를 해결하기 위한 부호화유닛 심도 확정 방법 및 장치를 제공한다.

본 출원의 제1 측면에 따르면,

처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는 단계와,

상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하는 단계와,

상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 단계를 포함하고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시하고,

여기서, 상기 예측 모델은 분류 결과가 표기된 교육 샘플을 이용하여 사전 교육을 하여 얻은 것이고, 상기 교육 샘플이 상기 소정 유형의 부호화 정보 특징을 포함하는 부호화유닛 심도 확정 방법을 제공한다.

본 출원의 제2 측면에 따르면,

처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는 잔여 계수 확정유닛과,

상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하는 특징 획득유닛과,

상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 모델 예측유닛을 포함하고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시하고,

여기서, 상기 예측 모델은 분류 결과가 표기된 교육 샘플을 이용하여 사전 교육을 하여 얻은 것이고, 상기 교육 샘플은 상기 소정 유형의 부호화 정보 특징을 포함하는 부호화유닛 심도 확정 장치를 제공한다.

본 출원의 실시예의 제3 측면에 따르면, 프로세서로 하여금 상기한 방법중의 임의의 하나를 실행하도록 하는 프로그램 명령이 저장되는 컴퓨터 판독 가능 기억매체를 제공한다.

본 출원의 실시예에서 제공하는 부호화유닛 심도 확정 방법에 의하면, 사전에 분류 결과가 표기된 교육 샘플을 이용하여 예측 모델을 교육하고, 이 교육 샘플은 소정 유형의 부호화 정보 특징을 포함하고, 그리고 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수가 0이 아니라고 확정된 경우, 처리하려는 부호화유닛이 skip 부호화유닛이 아님을 말하므로 부호화 심도 예측을 수행하여야 하고, 따라서 처리하려는 부호화유닛 및 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛로부터 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하여 예측 모델에 입력하며, 기계학습 예측 모델을 이용하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측한다. 본 출원에 있어서 예측 결과가 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없음을 표시할 경우, 처리하려는 부호화유닛에 심도 분할 및 비트왜곡율 비용의 계산과 비교를 수행할 필요가 없어 기존기술에 비하여 부호화 예측 시간을 대폭 줄일 수 있고 계산 자원을 감소하며 계산 복잡도를 낮출 수 있다.

본 발명의 실시예의 기술방안을 더욱 명확하게 설명하기 위하여, 아래 실시예의 설명에 필요한 도면을 간단하게 설명하는데, 아래 설명되는 도면은 본 발명의 일부 실시예에 불과하고 이 분야의 기술자는 이러한 도면으로부터 기타 도면을 얻을 수 있음을 이해할 수 있다.
도 1은 HEVC 부호화 구성을 나타낸 도이다.
도 2는 최적 모드의 CU 분할을 나타낸 도이다.
도 3은 본 출원의 실시예에서 공개되는 서버의 하드웨어 구조를 나타낸 도이다.
도 4는 본 출원의 실시예에서 공개되는 부호화유닛의 심도 확정 방법을 나타낸 흐름도이다.
도 5는 본 출원의 실시예에서 공개되는 다른 한 부호화유닛의 심도 확정 방법을 나타낸 흐름도이다.
도 6은 본 출원의 실시예에서 공개되는 또다른 부호화유닛의 심도 확정 방법을 나타낸 흐름도이다.
도 7은 본 출원의 실시예에서 공개되는 제1 평균 레이트 왜곡 비용 확정 방법을 나타낸 흐름도이다.
도 8은 Current CTU의 매개 인접한 부호화 트리 유닛의 CU 분할을 나타낸 도이다.
도 9는 본 출원의 실시예에서 공개되는 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 방법을 나타낸 흐름도이다.
도 10은 본 출원의 실시예에서 공개되는 부호화유닛 심도 확정 장치의 구조를 나타낸 도이다.

아래 본 출원의 실시예중의 도면을 결합하여 본 출원의 실시예중의 기술방안을 명확하고 완벽하게 설명한다. 다만, 아래에서 설명하는 실시예는 본 출원의 모든 실시예가 아니라 일부 실시예이다. 본 출원의 실시예에 근거하여 이 분야의 기술자가 창조성이 있는 노동을 필요로하지 않은체 얻은 모든 기타 실시예는 모두 본 출원의 보호범위에 속한다.

본 출원의 실시예에서 부호화유닛 심도 확정 방안을 제공하는데, 이 발굴 방안은 비디오 인코더에 응용될 수 있고 비디오 인코더는 서버에 의하여 실현된다. 이 서버의 하드웨어 구조는 컴퓨터, 노트북 등 처리 기기일 수 있고 본 출원의 부호화유닛 심도 확정 방법을 설명하기 전에 우선 서버의 하드웨어 구조를 설명한다. 도 3에 도시한 바와 같이, 이 서버는

프로세서(1)와, 통신 인터페이스(2)와, 메모리(3)와, 통신 버스(4)와, 디스플레이(5)를 포함하고,

여기서, 프로세서(1), 통신 인터페이스(2), 메모리(3), 디스플레이(5)는 통신 버스(4)를 통하여 서로간의 통신을 완성한다.

이어서, 서버의 하드웨어 구조를 결합하여 본 출원의 부호화유닛 심도 확정 방법을 설명하는데, 도 4에 도시한 바와 같이, 이 방법은 하기 단계를 포함한다.

단계S100, 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정한다.

구체적으로, 처리하려는 부호화유닛에 대하여, 표준 프로토콜에 근거하여 후보 mv(motion vector, 운동 벡터) 리스트를 구성하고, 그 다음 리스트중의 매개 mv를 순회하고 운동 보상하여 예측 값을 얻고, 그 다음 예측 값과 처리하려는 부호화유닛의 원시 화소의 차이값의 제곱의 합(SSD, Sum of Squared Difference)을 계산하고 대응되는 mv의 인덱스에 의하여 컴파일된 비트 수bits를 추정하고 가장 작은 비트왜곡율 비용rdcost에 대응되는 mv를 찾으면 최적 모드 mv이다. 여기서,

rdcost＝SSD+λ*bit(λ는 상수이다)이고,

진일보로, 최적 mv에 대응되는 SSD 계산후 결과에 변환과 양자화를 수행하여 잔여 계수를 얻고, 잔여 계수가 0이면 처리하려는 부호화유닛이 skip블록임을 표시하고 그렇지 않으면 merge블록임을 표시한다.

다만, 잔여 계수가 0이면 처리하려는 부호화유닛기 skip블록임을 말하고 직접 CU 분할을 종료할 수 있고 그렇지 않으면 처리하려는 부호화유닛의 CU에 분할 예측을 수행하여야 함을 말한다.

구체적으로 실시할 때, 사전에 통신 인터페이스(2)를 통하여 처리하려는 비디오 프레임 영상을 메모리(3)에 저장할 수 있다. 부호화를 수행할 때, 프로세서(1)가 통신 버스(4)를 통하여 메모리에 저장된 처리하려는 비디오 프레임 영상을 획득하여 다수의 부호화유닛으로 분할하고 그중의 처리하려는 부호화유닛을 확정하고 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정할 수 있다.

가능한 통신 인터페이스(2)는 통신블록의 인터페이스일 수 있고 예를 들어 GSM블록의 인터페이스일 수 있다.

가능한 프로세서(1)는 중앙처리장치CPU일 수 있고 또는 주문형 집적 회로ASIC(Application Specific Integrated Circuit)일 수도 있으며 또는 본 출원의 실시예를 실시하도록 구성된 하나 또는 다수 집적 회로일 수도 있다.

단계S110, 상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성한다.

구체적으로, 본 단계에서 획득한 부호화 정보 특징의 유형은 예측 모델의 교육 과정에 사용된 교육 샘플의 유형과 동일하다. 본 출원에 있어서 각 유형의 부호화 정보 특징 모델을 사전에 설정하고 부호화 정보 특징 모델에 따라 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 부호화 정보 특징을 획득하며 획득한 부호화 정보 특징으로 예측 특징 벡터 샘플을 구성할 수 있다. 획득한 부호화 정보 특징의 대상은 처리하려는 부호화유닛CU 및 처리하려는 부호화유닛CU이 위치한 부호화 트리 유닛CTU의 인접한 부호화 트리 유닛CTU이다.

구체적으로 실시할 때, 사전에 메모리(3)에 각 유형의 부호화 정보 특징 모델을 저장하고 이로하여 프로세서(1)가 부호화 정보 특징 모델에 따라 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 부호화 정보 특징를 획득하여 예측 특징 벡터 샘플을 구성할 수 있다.

단계S120, 상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시한다.

여기서, 상기 예측 모델은 분류 결과가 표기된 교육 샘플을 이용하여 사전 교육을 하여 얻은 것이고, 상기 교육 샘플은 상기 소정 유형의 부호화 정보 특징을 포함한다.

구체적으로 실시할 때, 예측 모델을 사전에 메모리(3)에 저장할 수 있다. 예측시, 프로세서(1)가 상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻고 디스플레이(5)를 통하여 출력하여 표시한다.

여기서, 예측 모델은 SVM(Support Vector Machine, 서포트 벡터 머신) 모델일 수 있고 또는 신경망 모델의 기계학습 모델 등일 수 있다.

또한, 부호화 과정 전반에 있어서 I 프레임이 차지하는 비율이 작으므로 본 출원에 있어서 비 I 프레임 비디오 영상에 속하는 처리하려는 부호화유닛에만 심도 확정을 수행할 수 있고, 즉 상기 처리하려는 부호화유닛은 비 I 프레임 비디오 영상에 속한다.

본 출원의 다른 한 실시예에 있어서, 다른 한가지 부호화유닛 심도 확정 방법을 설명하는데, 도 5에 도시한 바와 같이, 이 방법은 하기 단계를 포함한다.

단계S200, 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정한다.

단계S210, 상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛의 부호화 심도가 0인가를 판단하고 0이면 단계S220을 수행한다.

구체적으로, 처리하려는 부호화유닛의 부호화 심도가 0이면 처리하려는 부호화유닛이 최대 부호화유닛LCU임을 말하고, 즉 부호화 트리 유닛CTU에 분할을 수행하지 않았음을 표시한다.

본 실시예에 있어서, 처리하려는 부호화유닛의 부호화 심도가 0으로 확정된 경우에만 하기와 같은 예측 모델을 이용하여 처리하려는 부호화유닛에 심도 분할을 수행하여야 하는가를 예측하는 작업을 수행한다.

다만, 부호화 심도가 0이 아닌 처리하려는 부호화유닛에 대하여 예측 모델을 사용하여 예측을 수행하는 과정의 계산이 상대적으로 복잡하므로 본 출원에 있어서 기타 방식으로 예측할 수 있고 아래 구체적으로 설명한다.

단계S220, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성한다.

단계S230, 상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시한다.

상기 실시예에 비하여, 본 실시예에 있어서 예측 모델을 사용하여 부호화 심도 예측을 수행하는 판단 조건을 추가하여, 즉 처리하려는 부호화유닛의 부호화 심도가 0인 경우에만 모델 예측 과정을 수행한다. 부호화 심도가 0이 아닌 처리하려는 부호화유닛에 대하여 예측 모델을 사용하여 예측하는 과정의 계산이 상대적으로 복잡하므로 본 출원에 있어서는 기타 방식으로 예측할 수 있고 아래 상세하게 설명한다.

본 출원의 다른 일 실시예에 있어서, 예측 모델을 설명한다.

비디오 스트림에 있어서 B 프레임과 P 프레임의 오차 축적 기간이 다르므로 예측 모델의 예측 결과가 더욱 정확하도록, 본 출원에 있어서 예측 모델이 P 프레임 예측 모델과 B 프레임 예측 모델을 포함하도록 설정할 수 있다.

여기서, P 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 P 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 소정 유형의 부호화 정보 특징이다.

B 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 B 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이다.

상기 단계S230에 있어서, 상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 과정은 구체적으로 하기 단계를 통하여 실현된다.

S1, 상기 처리하려는 부호화유닛이 속하는 비디오 프레임 영상의 유형이 P 프레임인가 B 프레임인가를 확정한다.

S2, P 프레임이면 상기 예측 특징 벡터 샘플을 상기 P 프레임 예측 모델에 입력하여 상기 P 프레임 예측 모델로부터 출력되는 예측 결과를 얻는다.

S3, B 프레임이면 상기 예측 특징 벡터 샘플을 상기 B 프레임 예측 모델에 입력하여 상기 B 프레임 예측 모델로부터 출력되는 예측 결과를 얻는다.

본 출원에 있어서 B 프레임과 P 프레임의 비디오 영상에 포함되는 처리하려는 부호화유닛에 서로다른 예측 모델을 사용하여 예측을 수행하므로서 예측 결과의 정확성을 향상시킬 수 있다.

이어서, 본 출원의 예측 모델의 구축 과정을 설명한다.

一, 교육 특징의 획득

우선, 예측 모델을 교육할 때 사용되는 교육 샘플을 설명한다. 처리하려는 부호화유닛을 현재 부호화유닛으로 정의하고 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛을 현재 부호화유닛의 인접한 부호화 트리 유닛으로 정의하면 본 출원에 있어서 예측 모델을 교육할 때 사용되는 소정 유형의 부호화 정보 특징은 하기를 포함한다:

1, 현재 부호화유닛의 레이트 왜곡 비용(curr_merge_rdcost)

2, 현재 부호화유닛의 왜곡(curr_merge_distortion)

3, 현재 부호화유닛의 양자화 계수(curr_qp)

4, 현재 부호화유닛의 평방 편차(curr_var)

5, 현재 부호화유닛의 인접한 부호화 트리 유닛의 레이트 왜곡 비용(around_rdcost)

6, 현재 부호화유닛의 인접한 부호화 트리 유닛의 심도 정보(around_depth).

여기서, 현재 부호화유닛의 인접한 부호화 트리 유닛은 현재 부호화유닛이 위치한 부호화 트리 유닛의 상측 인접한 부호화 트리 유닛과 좌측 인접한 부호화 트리 유닛일 수 있고, 상기 부호화 정보 특징5는 구체적으로 하기 특징을 포함한다:

51, 현재 부호화유닛의 좌측 인접한 부호화 트리 유닛의 레이트 왜곡 비용(left_rdcost)

52, 현재 부호화유닛의 상측 인접한 부호화 트리 유닛의 레이트 왜곡 비용(above_rdcost)

상기 부호화 정보 특징6은 구체적으로 하기 특징을 포함한다:

61, 현재 부호화유닛의 좌측 인접한 부호화 트리 유닛의 심도 정보(left_depth)

62, 현재 부호화유닛의 상측 인접한 부호화 트리 유닛의 심도 정보(above_depth).

다만, 예측 모델을 교육할 때 사용되는 부호화 정보 특징의 유형은 처리하려는 부호화유닛이 모델 예측을 수행할 때 획득한 부호화 정보 특징의 유형과 일치하여야 한다.

이에 기반하여, 본 출원에 있어서 서로다른 상황의 비디오 스트림 시퀀스을 획득할 수 있고 시퀀스에 포함된 교육 부호화유닛에 대하여 오프라인에서 상기 각 유형의 부호화 정보 특징을 획득하고 실제 부호화 과정에서 교육 부호화유닛이 심도 분할을 수행하였는가를 기록하며 수행하였으면 교육 부호화유닛의 분류 결과를 제1 표시 값으로 표시하고, 그렇지 않으면 교육 부호화유닛의 분류 결과를 제2 표시 값으로 표시한다. 제1 표시 값은 1일 수 있고 제2 표시 값은 -1일 수 있다.

교육 부호화유닛이 획득한 각 유형의 부호화 정보 특징으로 교육 특징 벡터를 구성하고 교육 특징 벡터 및 교육 부호화유닛의 분류 결과로 교육 샘플을 구성한다.

다만, B 프레임 예측 모델과 P 프레임 예측 모델이 각각 교육을 수행하므로 B 프레임과 P 프레임의 부호화 정보 특징도 각각 추출하여야 한다. 또한, 본 실시예에 있어서 부호화 심도가 0인 교육 부호화유닛만을 추출하고 교육하여 얻은 예측 모델도 부호화 심도가 0인 처리하려는 부호화유닛에만 예측을 수행한다.

二, 모델 교육

본 실시예에 있어서 SVM 모델을 선택하여 교육할 수 있고 제3자의 오픈 소스 소프트웨어를 이용하여 오프라인으로 교육할 수 있다.

S1, 교육 샘플 조합. 1:1의 비율에 따라 분류 결과가 심도 분할가 필요한 교육 샘플과 심도 분할이 필요하지 않은 교육 샘플을 획득한 후, 교차하여 교육 샘플 집합 전체를 구성한다.

S2, 교육 샘플 표준화. 정리된 교육 샘플에 표준화를 수행하여 교육 샘플을 [-1, 1]구간으로 맵핑한다.

본 단계에서 교육 샘플 표준화 작업을 수행하는 것은 데이터 포맷을 통일시켜 예측의 정확도를 향상시키기 위한 것이다.

S3, 모델 교육. 제3자의 오픈 소스 소프트웨어를 스케쥴링하여 RBF 커널을 이용하여 B 프레임에 속하는 교육 샘플과 P 프레임에 속하는 교육 샘플에 각각 교육을 수행하여 최종적으로 B 프레임 예측 모델과 P 프레임 예측 모델을 각각 얻고 mode_B_cu64*64 및 mode_P_cu64*64로 기록한다.

본 출원의 또 다른 일 실시예에 있어서, 다른 한가지 부호화유닛 심도 확정 방법을 설명하는데 도 6에 도시한 바와 같이 하기 단계를 포함한다.

단계S300, 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정한다.

단계S310, 상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛의 부호화 심도가 0인가를 판단하고 0이면 단계S320를 수행하고 그렇지 않으면 단계S340를 수행한다.

구체적으로, 처리하려는 부호화유닛의 부호화 심도가 0이면 처리하려는 부호화유닛이 최대 부호화유닛LCU임을 말하고, 즉 부호화 트리 유닛CTU에 분할을 수행하지 않았음을 말한다.

본 실시예에 있어서, 처리하려는 부호화유닛의 부호화 심도가 0인가를 확정할 경우 하기와 같은 예측 모델을 사용하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측하는 작업을 수행한다. 처리하려는 부호화유닛의 부호화 심도가 0이 아니라고 확정된 경우 다른 방법을 이용하여 부호화 심도의 예측을 수행한다.

단계S320, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성한다.

단계S330, 상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시한다.

상기 단계S300~S330은 상기한 실시예중의 단계S200~S230에 일일이 대응되므로 여기서는 상세한 설명을 생략한다.

단계S340, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정한다.

단계S350, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛에 있어서 부호화 심도가 동일하고 이미 부호화된 부호화유닛의 평균 레이트 왜곡 비용을 제2 평균 레이트 왜곡 비용으로 확정한다.

단계S360, 상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정한다.

상기한 각 실시예에 비하여, 본 실시예에 있어서 처리하려는 부호화유닛의 부호화 심도가 0이 아니라고 확정된 경우, 처리하려는 부호화유닛의 부호화 심도에 예측을 수행하는 과정을 추가하고, 즉 처리하려는 부호화유닛 및 그 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛중의 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용에 근거하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측한다. 1프레임 비디오 영상중의 인접한 부호화 트리 유닛의 화소 분포의 차이가 크지 않으므로 이미 부호화된 인접한 부호화 트리중의 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용에 근거하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측할 수 있고 그 예측 결과의 정확성이 상대적으로 높고 처리하려는 부호화유닛에 심도 분할 및 비트왜곡율 비용의 계산과 비교를 수행할 필요가 없으며 기존기술에 비하여 부호화 예측 시간을 대폭 줄일 수 있고 계산 자원을 감소하며 계산 복잡도를 낮출 수 있다.

진일보로, 상기 단계S340의 실현 과정을 설명하는데 도 7에 도시한 바와 같이 하기 단계를 포함한다.

단계S400, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 매개 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 확정한다.

단계S410, 매개 상기 인접한 부호화 트리 유닛과 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 방위 관계에 따라 매개 상기 인접한 부호화 트리 유닛의 가중치를 확정한다.

구체적으로, 설명의 편의를 위하여, 처리하려는 부호화유닛이 위치한 부호화 트리 유닛을 Current CTU로 정의하고, Current CTU의 인접한 부호화 트리 유닛은 좌측의 인접한 부호화 트리 유닛Left CTU, 좌상측의 인접한 부호화 트리 유닛AboveLeft CTU, 상측 인접한 부호화 트리 유닛Above CTU, 우상측의 인접한 부호화 트리 유닛AboveRight CTU를 포함할 수 있다.

도 8에 Current CTU의 매개 인접한 부호화 트리 유닛을 나타내였다.

다만, Current CTU와 매개 인접한 CTU의 방위 관계가 다르므로 매개 인접한 CTU의 가중치도 다르다.

가능한 대응 관계에 있어서, 인접한 CTU의 가중 비율 값은

Left CTU: Above CTU: AboveLeft CTU: AboveRight CTU＝2: 2: 1: 1이다.

단계S420, 매개 상기 인접한 부호화 트리 유닛의 가중치 및 그 평균 레이트 왜곡 비용에 근거하여 각 상기 인접한 부호화 트리 유닛의 가중 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정한다.

구체적으로, 매개 인접한 부호화 트리 유닛의 평균 레이트 왜곡 비용과 대응되는 가중치를 곱하여 곱한 결과를 얻고 매개 곱한 결과를 더하여 가중 평균 레이트 왜곡 비용을 얻어서 제1 평균 레이트 왜곡 비용으로 한다.

도 8에 도시한 상황을 예로 하여 제1 평균 레이트 왜곡 비용의 확정 과정을 설명한다.

처리하려는 부호화유닛의 부호화 심도가 1이라고 한다. 도 8에 도시한 바와 같이 Left CTU는 부호화 심도가 1인 CU32*32를 4개 포함하고 AboveLeft CTU는 부호화 심도가 1인 CU32*32를 3개 포함하며, Above CTU는 부호화 심도가 1인 CU32*32를 0개 포함하고, AboveRight CTU는 부호화 심도가 1인 CU32*32를 2개 포함한다.

CTU중의 부호화 심도가 1인 4개 CU32*32의 위치를 시계 방향으로 좌상측으로부터 시작하여 각각 0, 1, 2, 3으로 표기한다.

도 8을 결합하면,

left_depth1_cost＝left_depth1_cost0+left_depth1_cost1+left_depth1_cost2+left_depth1_cost3;

aboveleft_depth1_cost＝aboveleft_depth1_cost0+aboveleft_depth1_cost2+aboveleft_depth1_cost3;

aboveright_depth1_cost＝aboveright_depth1_cost1+aboveright_depth1_cost2; 임을 알 수 있고,

여기서, 첫번째 공식을 예로 설명하면, left_depth1_cost는 좌측의 인접한 CTU중의 부호화 심도가 1인 CU의 평균 레이트 왜곡 비용을 표시하고 left_depth1_cost0은 좌측의 인접한 CTU중의 부호화 심도가 1인 CU중의 위치가 0으로 표기된 CU의 레이트 왜곡 비용을 표시한다.

진일보로, 모든 인접한 CTU에 있어서 부호화 심도가 1인 CU의 가중 평균 레이트 왜곡 비용은

Avg_depth1_cost＝(left_depth1_cost*2+aboveleft_depth1_cost*1+aboveright_depth1_cost*1)/(left_depth1_num*2+aboveleft_depth1_num*1+aboveright_depth1_num*1)이고,

여기서, left_depth1_num, aboveleft_depth1_num, aboveright_depth1_num는 각각 좌측, 상측 및 좌상측의 인접한 CTU중의 부호화 심도가 1인 CU의 수량을 표시한다.

다만, 상기한 내용은 부호화 심도가 1인 경우를 설명하였는데 부호화 심도가 2, 3인 경우의 계산 방식도 상기와 동일하다.

진일보로, 상기 단계S360중의 상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 과정을 설명하는데 도 9에 도시한 바와 같이, 이 과정은 하기 단계를 포함한다 :

단계S500, 상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 레이트 왜곡 비용 임계값을 확정한다.

구체적으로, 제1 평균 레이트 왜곡 비용과 제2 평균 레이트 왜곡 비용에 서로다른 가중치를 설정하고 제1 평균 레이트 왜곡 비용 및 제2 평균 레이트 왜곡 비용에 가중 합계를 수행하여 그 결과를 레이트 왜곡 비용 임계값으로 할 수 있다.

또한, 인접한 CTU가 모두 이미 부호화를 완성하였으므로 제1 평균 레이트 왜곡 비용의 가중치를 제2 평균 레이트 왜곡 비용의 가중치보다 크게 설정할 수 있다.

단계S510, 상기 처리하려는 부호화유닛의 현재 최적 모드의 레이트 왜곡 비용이 상기 레이트 왜곡 비용 임계값 미만인가를 판단하고 미만이면 단계S520를 수행하고 그렇지 않으면 단계S530을 수행한다.

단계S520, 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없다고 확정한다.

단계S530, 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있다고 확정한다.

구체적으로, 처리하려는 부호화유닛의 현재 최적 모드의 레이트 왜곡 비용이 레이트 왜곡 비용 임계값 미만이면, 본 출원에 있어서 처리하려는 부호화유닛이 이미 심도 분할을 수행할 필요가 없다고 판단하고, 그렇지 않으면 처리하려는 부호화유닛이 아직도 심도 분할을 수행할 필요가 있다고 판단한다.

여전히 처리하려는 부호화유닛의 부호화 심도가 1인 경우를 예로 도 8을 결합하여 설명한다.

상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛중의 부호화 심도가 1인 이미 부호화된 부호화유닛의 평균 레이트 왜곡 비용을 Avg_curr_CU_depth1로 정의하고, 즉 제2 평균 레이트 왜곡 비용을 Avg_curr_CU_depth1로 표시한다.

제1 평균 레이트 왜곡 비용과 제2 평균 레이트 왜곡 비용의 가중치 비율을 4: 3으로 설정한다. 레이트 왜곡 비용 임계값을

Threshold_depth1＝(Avg_depth1_cost*4+Avg_curr_CU_depth1*3)/(3+4)로 표시할 수 있다.

처리하려는 부호화유닛의 현재 최적 모드의 레이트 왜곡 비용을 curr_cost_depth1로 정의하면 curr_cost_depth1<Threshold_depth1이면 처리하려는 부호화유닛에 심도 분할을 진일보로 수행할 필요가 없다고 판단하고 그렇지 않으면 심도 분할을 수행할 필요가 있다고 판단한다.

본 출원의 상기에서 제공하는 방법과 기존기술로 실험한 결과, 기존의 전체 순회 방법에 비하여 본 출원의 방법에 따른 부호화 속도가 94％ 향상되었고 압축 비율이 3.1％ 하강되었음을 알 수 있다. 이와 같이 본 출원에 의하면 소량의 압축 비율의 하강을 통하여 부호화 속도의 대폭 향상을 실현할 수 있고 비디오 인코더의 부호화 속도를 대폭 향상시키고 계산 복잡도를 대폭 줄일 수 있다.

아래 본 출원의 실시예에서 제공하는 부호화유닛 심도 확정 장치를 설명하는데 아래에서 설명하는 부호화유닛 심도 확정 장치와 상기한 부호화유닛 심도 확정 방법은 서로 대응되게 참조할 수 있다.

도 10을 참조하면, 도 10은 본 출원의 실시예에서 공개되는 부호화유닛 심도 확정 장치의 구조를 나타낸 도이다.

도 10에 도시한 바와 같이, 이 장치는

처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는 잔여 계수 확정유닛(11)과,

상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하는 특징 획득유닛(12)과,

상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 모델 예측유닛(13)을 포함하고, 상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시하고,

본 출원의 실시예에서 제공하는 부호화유닛 심도 확정 장치에 의하면, 사전에 분류 결과가 표기된 교육 샘플을 이용하여 예측 모델을 교육하고, 이 교육 샘플은 소정 유형의 부호화 정보 특징을 포함하고, 그리고 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수가 0이 아니라고 확정된 경우, 처리하려는 부호화유닛이 skip 부호화유닛이 아님을 말하므로 부호화 심도 예측을 수행하여야 하고, 따라서 처리하려는 부호화유닛 및 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛로부터 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하여 예측 모델에 입력하며, 기계학습 예측 모델을 이용하여 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 예측한다. 본 출원에 있어서 예측 결과가 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없음을 표시할 경우, 처리하려는 부호화유닛에 심도 분할 및 비트왜곡율 비용의 계산과 비교를 수행할 필요가 없어 기존기술에 비하여 부호화 예측 시간을 대폭 줄일 수 있고 계산 자원을 감소하며 계산 복잡도를 낮출 수 있다.

또한, 상기 잔여 계수 확정유닛은 구체적으로 비 I 프레임 비디오 영상에 속하는 처리하려는 부호화유닛의 현재 최적 모드의 잔여를 확정하는데 이용될 수 있다.

또한, 본 출원의 장치는,

상기 처리하려는 부호화유닛의 부호화 심도가 0인가를 판단하는 부호화 심도 판단유닛을 더 포함할 수 있고,

이에 따라, 상기 특징 획득유닛은 구체적으로, 상기 부호화 심도 판단유닛의 판단 결과 0인 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 추출한다.

또한, 본 출원의 장치는,

상기 처리하려는 부호화유닛의 부호화 심도가 0이 아니라고 판단된 경우, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 인접 평균 레이트 왜곡 비용 확정유닛과,

상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛중의 부호화 심도가 동일하고 이미 부호화된 부호화유닛의 평균 레이트 왜곡 비용을 제2 평균 레이트 왜곡 비용으로 확정하는 자신 평균 레이트 왜곡 비용 확정유닛과,

상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 심도 분할 판단유닛을 더 포함할 수 있다.

또한, 상기 예측 모델은 P 프레임 예측 모델과 B 프레임 예측 모델을 포함할 수 있고, 상기 P 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 P 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이고, 상기 B 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 B 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이다. 이에 기반하여 상기 모델 예측유닛은,

상기 처리하려는 부호화유닛이 속하는 비디오 프레임 영상의 유형이 P 프레임인가 B 프레임인가를 확정하는 프레임 유형 확정유닛과,

상기 프레임 유형 확정유닛에 의하여 P 프레임으로 확정된 경우, 상기 예측 특징 벡터 샘플을 상기 P 프레임 예측 모델에 입력하여 상기 P 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 P 프레임 모델 예측유닛과,

상기 프레임 유형 확정유닛에 의하여 B 프레임으로 확정된 경우, 상기 예측 특징 벡터 샘플을 상기 B 프레임 예측 모델에 입력하여 상기 B 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 B 프레임 모델 예측유닛을 포함할 수 있다.

또한, 상기 특징 획득유닛은,

상기 처리하려는 부호화유닛의 레이트 왜곡 비용, 양자화 계수, 왜곡 및 평방 편차를 획득하는 제1 특징 획득유닛과,

상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛의 레이트 왜곡 비용과 심도 정보를 획득하는 제2 특징 획득유닛을 포함할 수 있다.

또한, 상기 인접 평균 레이트 왜곡 비용 확정유닛은,

상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 매개 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동이한 부호화유닛의 평균 레이트 왜곡 비용을 확정하는 제1 인접 평균 레이트 왜곡 비용 확정 서브유닛과,

매개 상기 인접한 부호화 트리 유닛과 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 방위 관계에 근거하여 매개 상기 인접한 부호화 트리 유닛의 가중치를 확정하는 제2 인접 평균 레이트 왜곡 비용 확정 서브유닛과,

매개 상기 인접한 부호화 트리 유닛의 가중치 및 그 평균 레이트 왜곡 비용에 근거하여 각 상기 인접한 부호화 트리 유닛의 가중 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 제3 인접 평균 레이트 왜곡 비용 확정 서브유닛을 포함할 수 있다.

또한, 상기 심도 분할 판단유닛은,

상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 레이트 왜곡 비용 임계값을 확정하는 레이트 왜곡 비용 임계값 확정유닛과,

상기 처리하려는 부호화유닛의 현재 최적 모드의 레이트 왜곡 비용이 상기 레이트 왜곡 비용 임계값 미만인가를 판단하고 미만이면 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없다고 확정하고 그렇지 않으면 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있다고 확정하는 레이트 왜곡 비용 임계값 비교유닛을 포함할 수 있다.

본 출원의 실시예에 있어서 진일보로 상기한 부호화유닛 심도 확정 장치를 포함하는 비디오 인코더를 제공한다.

진일보로, 비디오 인코더는 상기 설명한 예측 모델을 더 포함할 수 있다. 본 출원에 공개되는 비디오 인코더에 의하면 기존의 비디오 인코더에 비하여 부호화 속도가 대폭 향상되고 계산 복잡도가 대폭 하강된다.

마지막으로, 본문에 있어서 예를 들어 제 1, 제 2 등과 같은 관계를 나타내는 용어는 한 개체 또는 조작을 다른 개체 또는 조작과 구별시키기 위한 것으로 이러한 개체 또는 조작 사이에 이러한 실제적 관계 또는 순서가 존재함을 요구하거나 암시하는 것이 아니다. 그리고 용어 "포함", "함유" 또는 기타 임의의 변형은 비배제적 포함을 커버하기 위한 것이고 일련의 요소를 포함하는 프로세스, 방법, 제품 또는 기기가 그러한 요소를 포함하는 외, 명확히 기재하지 않은 기타 요소도 포함하며, 이러한 프로세스, 방법, 제품 또는 기기 고유의 요소를 더 포함할 수 있음을 커버하는 것이다. 진일보로 한정하지 않은 상황하에서 "…포함하는"으로 한정된 요소의 경우, 상기 요소를 포함하는 프로세스, 방법, 제품 또는 기기에 다른 동일한 요소가 존재하는 것을 배제하지 않는다.

본 명세서중의 각 실시예를 모두 점진적 방식으로 설명하였는데 각 실시예에서 중점적으로 설명한 부분은 기타 실시예와의 차이점이고 각 실시예 사이의 동일하거나 유사한 부분에 대하여서는 서로 참조할 수 있다.

공개한 실시예의 상기 설명에 대하여 이 분야의 기술자는 본 출원을 실현하거나 또는 사용할 수 있다. 이러한 실시예에 대한 여러가지 수정은 이 분야의 기술자에게 자명한 것이다. 본 명세서에서 정의한 일반 원리는 본 출원의 정신 또는 범위를 벗어나지 않은 상황에서 기타 실시예에서 실현될 수 있다. 따라서 본 출원은 본 명세서에 나타낸 이러한 실시예에 한정되지 않고 본 명세서에 공개된 원리와 신규 특징과 일치한 가장 넓은 범위에 부합되어야 한다.

Claims

부호화유닛 심도 확정 방법에 있어서,
처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는 단계와,
상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하는 단계와,
상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 단계를 포함하고,
상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시하고, 상기 예측 모델은 분류 결과가 표기된 교육 샘플을 이용하여 사전 교육을 하여 얻은 것이고, 상기 교육 샘플은 상기 소정 유형의 부호화 정보 특징을 포함하고,
상기 방법은:
상기 처리하려는 부호화유닛의 부호화 심도가 0이 아니라고 판단된 경우, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 단계와,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛에 있어서 부호화 심도가 동일하고 이미 부호화된 부호화유닛의 평균 레이트 왜곡 비용을 제2 평균 레이트 왜곡 비용으로 확정하는 단계와,
상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 단계를 더 포함하는 것을 특징으로 하는, 부호화유닛 심도 확정 방법.
청구항 1에 있어서,
상기 처리하려는 부호화유닛이 비 I 프레임 비디오 영상에 속하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
청구항 1에 있어서,
상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 추출하기 전에,
상기 처리하려는 부호화유닛의 부호화 심도가 0인가를 판단하고 0이면 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 추출하는 단계를 더 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
청구항 1 내지 3 중의 임의의 한 항에 있어서,
상기 예측 모델은 P 프레임 예측 모델과 B 프레임 예측 모델을 포함하고, 상기 P 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 P 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이고, 상기 B 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 B 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이며,
상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 단계가,
상기 처리하려는 부호화유닛이 속하는 비디오 프레임 영상의 유형이 P 프레임인가 B 프레임인가를 확정하는 단계와,
P 프레임이면 상기 예측 특징 벡터 샘플을 상기 P 프레임 예측 모델에 입력하여 상기 P 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 단계와,
B 프레임이면 상기 예측 특징 벡터 샘플을 상기 B 프레임 예측 모델에 입력하여 상기 B 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 단계를 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
청구항 1 내지 3 중의 임의의 한 항에 있어서,
상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하는 단계가,
상기 처리하려는 부호화유닛의 레이트 왜곡 비용, 양자화 계수, 왜곡 및 평방 편차를 획득하는 단계와,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛의 레이트 왜곡 비용과 심도 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
청구항 1에 있어서,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 단계가,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 각각의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 확정하는 단계와,
각각의 상기 인접한 부호화 트리 유닛과 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 방위 관계에 근거하여 각각의 상기 인접한 부호화 트리 유닛의 가중치를 확정하는 단계와,
각각의 상기 인접한 부호화 트리 유닛의 가중치 및 그 평균 레이트 왜곡 비용에 근거하여 각 상기 인접한 부호화 트리 유닛의 가중 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
청구항 1 또는 6에 있어서,
상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 단계가,
상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 레이트 왜곡 비용 임계값을 확정하는 단계와,
상기 처리하려는 부호화유닛의 현재 최적 모드의 레이트 왜곡 비용이 상기 레이트 왜곡 비용 임계값 미만인가를 판단하는 단계와,
상기 처리하려는 부호화유닛의 상기 현재 최적 모드의 상기 레이트 왜곡 비용이 상기 레이트 왜곡 비용 임계값보다 작은 경우 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 없다고 확정하고, 그렇지 않으면 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있다고 확정하는 단계를 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 방법.
부호화유닛 심도 확정 장치에 있어서,
처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는 잔여 계수 확정유닛과,
상기 잔여 계수가 0이 아닌 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 획득하여 예측 특징 벡터 샘플을 구성하는 특징 획득유닛과,
상기 예측 특징 벡터 샘플을 사전 교육된 예측 모델에 입력하여 상기 예측 모델로부터 출력되는 예측 결과를 얻는 모델 예측유닛을 포함하고,
상기 예측 결과는 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 표시하고, 상기 예측 모델은 분류 결과가 표기된 교육 샘플을 이용하여 사전 교육을 하여 얻은 것이고, 상기 교육 샘플은 상기 소정 유형의 부호화 정보 특징을 포함하고,
상기 장치는:
상기 처리하려는 부호화유닛의 부호화 심도가 0이 아니라고 판단된 경우, 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 인접 평균 레이트 왜곡 비용 확정유닛과,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛중의 부호화 심도가 동일하고 이미 부호화된 부호화유닛의 평균 레이트 왜곡 비용을 제2 평균 레이트 왜곡 비용으로 확정하는 자신 평균 레이트 왜곡 비용 확정유닛과,
상기 제1 평균 레이트 왜곡 비용 및 상기 제2 평균 레이트 왜곡 비용에 근거하여 상기 처리하려는 부호화유닛에 심도 분할을 수행할 필요가 있는가를 확정하는 심도 분할 판단유닛을 더 포함하는 것을 특징으로 하는, 부호화유닛 심도 확정 장치.
청구항 8에 있어서,
상기 잔여 계수 확정유닛은 구체적으로, 비 I 프레임 비디오 영상에 속하는 처리하려는 부호화유닛의 현재 최적 모드의 잔여 계수를 확정하는데 이용되는 것을 특징으로 하는 부호화유닛 심도 확정 장치.
청구항 8에 있어서,
상기 처리하려는 부호화유닛의 부호화 심도가 0인가를 판단하는 부호화 심도 판단유닛을 더 포함하고,
상기 특징 획득유닛은 구체적으로, 상기 부호화 심도 판단유닛의 판단 결과가 0인 경우, 상기 처리하려는 부호화유닛 및 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛으로부터 각각 소정 유형의 부호화 정보 특징을 추출하는 것을 특징으로 하는 부호화유닛 심도 확정 장치.
청구항 8에 있어서,
상기 예측 모델은 P 프레임 예측 모델과 B 프레임 예측 모델을 포함하고, 상기 P 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 P 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이고, 상기 B 프레임 예측 모델의 사전 교육 시 사용되는 교육 샘플은 B 프레임 비디오 영상에 속하는 부호화유닛으로부터 추출된 상기 소정 유형의 부호화 정보 특징이며,
상기 모델 예측유닛이,
상기 처리하려는 부호화유닛이 속하는 비디오 프레임 영상의 유형이 P 프레임인가 B 프레임인가를 확정하는 프레임 유형 확정유닛과,
상기 프레임 유형 확정유닛이 P 프레임으로 확정한 경우, 상기 예측 특징 벡터 샘플을 상기 P 프레임 예측 모델에 입력하여 상기 P 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 P 프레임 모델 예측유닛과,
상기 프레임 유형 확정유닛이 B 프레임으로 확정한 경우, 상기 예측 특징 벡터 샘플을 상기 B 프레임 예측 모델에 입력하여 상기 B 프레임 예측 모델로부터 출력되는 예측 결과를 얻는 B 프레임 모델 예측유닛을 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 장치.
청구항 8에 있어서,
상기 특징 획득유닛이,
상기 처리하려는 부호화유닛의 레이트 왜곡 비용, 양자화 계수, 왜곡 및 평방 편차를 획득하는 제1 특징 획득유닛과,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 인접한 부호화 트리 유닛의 레이트 왜곡 비용과 심도 정보를 획득하는 제2 특징 획득유닛을 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 장치.
청구항 10에 있어서,
상기 인접 평균 레이트 왜곡 비용 확정유닛이,
상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 각각의 인접한 부호화 트리 유닛에 있어서, 상기 처리하려는 부호화유닛과 부호화 심도가 동일한 부호화유닛의 평균 레이트 왜곡 비용을 확정하는 제1 인접 평균 레이트 왜곡 비용 확정 서브유닛과,
각각의 상기 인접한 부호화 트리 유닛과 상기 처리하려는 부호화유닛이 위치한 부호화 트리 유닛의 방위 관계에 근거하여 각각의 상기 인접한 부호화 트리 유닛의 가중치를 확정하는 제2 인접 평균 레이트 왜곡 비용 확정 서브유닛과,
각각의 상기 인접한 부호화 트리 유닛의 가중치 및 그 평균 레이트 왜곡 비용에 근거하여 각 상기 인접한 부호화 트리 유닛의 가중 평균 레이트 왜곡 비용을 제1 평균 레이트 왜곡 비용으로 확정하는 제3 인접 평균 레이트 왜곡 비용 확정 서브유닛을 포함하는 것을 특징으로 하는 부호화유닛 심도 확정 장치.
프로그램 명령이 저장되는 컴퓨터 판독 가능 기억매체에 있어서,
상기 프로그램 명령이 프로세서로 하여금 청구항 1 내지 3 및 6 중의 임의의 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 기억매체.
삭제
삭제