KR20220120722A - 영상 부호화 장치와 방법, 영상 복호 장치와 방법, 및 기록 매체 - Google Patents

Abstract

화면 내 예측에 사용되는 화상의 사용 범위가 확대될 때, 확대된 범위에 응답하여 요구되는 버퍼 사이즈가 증가하는 문제가 있다. 이러한 문제를 해결하기 위해, 화면 내 예측에 사용되는 화상의 사용 범위가 적응적으로 제어된다. 이 화면 내 예측 장치(100)는, 처리 대상 블록에 대한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록이 속하는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용될 부분 범위들을 제어하는 제어 유닛(115)을 구비하고, 부분 범위들은, 미리 결정된 최대 범위 내에서, 화면 내 예측에 사용되는 화상의 사용 범위로부터 미리 결정된 방향들로 유닛의 에지들에 걸쳐 각각 위치된다.

Description

영상 부호화 장치와 방법, 영상 복호 장치와 방법, 및 기록 매체{IMAGE ENCODING APPARATUS AND METHOD, IMAGE DECODING APPARATUS AND METHOD, AND RECORDING MEDIUM}

본 발명은, 영상 부호화 또는 복호 장치, 영상 부호화 또는 복호 방법, 영상 부호화 또는 복호 처리를 위한 프로그램 및 기록 매체에 관한 것이다.

화면 내 예측(intra-prediction) 부호화에서는, 처리 대상 블록에 인접하는 재구축 화상으로부터 화면 내 예측 화상이 생성된다. 예를 들어, 비특허문헌 1에 기재되고 있는 HEVC(High Efficiency Video Coding) 규격에 따라, 처리 대상 블록에 대하여 좌측 방향으로 인접하는 1 화소 및 또한 상측 방향에 인접하는 1 화소에 대응하는 재구축 화상을 참조 범위로 설정함으로써, 화면 내 예측 화상이 생성된다.

R. Joshi et al., "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5", Document JCTVC-V1005, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 22nd Meeting: Geneva, CH, 15-21 Oct. 2015.

그러나, 화면 내 예측에 사용하기 위한 화상들의 사용 범위가 확대되는 경우에, 그 범위를 얼마나 많이 확대하는지에 따라, 영상 부호화 장치 및 영상 복호 장치에 사용하기 위한 라인 버퍼들의 사이즈에 대한 요구가 증가한다는 문제가 있다. 결과적으로, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것이 요망된다.

따라서 본 발명의 예시적인 목적은, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것을 가능하게 하는 영상 부호화 또는 복호 장치, 영상 부호화 또는 복호 방법, 프로그램 및 기록 매체를 제공하는 것이다.

본 발명의 하나의 예시적인 양태에 따르면, 영상 부호화 또는 영상 복호 장치는, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하로 제어하도록 구성되는 제어부를 포함한다.

본 발명의 하나의 예시적인 양태에 따르면, 영상 부호화 또는 영상 복호 방법은, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하로 제어하는 것을 포함한다.

본 발명의 하나의 예시적인 양태에 따르면, 프로그램은, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부(경계)를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하로 제어하는 것을 포함하는 영상 부호화 또는 복호 처리를 프로세서로 하여금 실행하게 하기 위한 프로그램이다.

본 발명의 하나의 예시적인 양태에 따르면, 비일시적 컴퓨터 판독가능 기록 매체는, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하로 제어하는 것을 포함하는 영상 부호화 또는 복호 처리를 프로세서로 하여금 실행하게 하기 위한 프로그램을 저장하는 비일시적 컴퓨터 판독가능 기록 매체이다.

본 발명의 하나의 예시적인 양태에 따르면, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것이 가능하다. 본 발명에 따르면, 위의 효과 대신에 또는 위의 효과와 함께, 다른 이로운 효과들이 또한 초래될 수 있다는 점에 유의한다.

도 1은 4 수평 화소 "bw" 및 4 수직 화소 "Bh"로 구성되는 처리 대상 블록에 대하여, 상술한 HEVC 규격에 따라 화면 내 예측에 사용하기 위한 재구축 화상들의 구체예를 도시하는 도면이다.
도 2는 4 수평 화소 bw 및 4 수직 화소 Bh로 구성되는 처리 대상 블록에 대하여, 확대된 참조 범위의 구체예를 도시하는 도면이다.
도 3은 본 발명의 예시적인 실시예에 따른 화면 내 예측 장치(100)의 개략적인 구성의 예를 나타내는 설명도이다.
도 4는 제1 예시적인 실시예에 따른 영역 제어 처리부(110)의 개략적인 구성의 예를 나타내는 블록도이다.
도 5는 영역 제어 처리부(110)에 관한 처리의 구체예를 설명하기 위한 도면이다.
도 6은 화면 내 예측 장치(100)에 의해 수행되는 예시적인 처리 흐름을 설명하기 위한 흐름도이다.
도 7의 (a) 및 도 7의 (b)는 제1 예시적인 실시예의 예에 따른 효과를 설명하기 위한 도면들이다.
도 8은 영상 부호화 장치(800)의 개략적인 구성을 도시하는 블록도이다.
도 9는 영상 복호 장치(900)의 개략적인 구성을 도시하는 블록도이다.
도 10은 화면 내 예측 장치(1000)가 적용되는 정보 처리 시스템(100)의 개략적인 구성을 도시하는 블록도이다.
도 11은 상술한 영상 부호화 장치(800)와 상술한 영상 복호 장치(900)가, 무선 전송로 또는 유선 전송로 등의 전송로(300)로 접속되는 시스템을 도시하는 도면이다.
도 12는 제2 예시적인 실시예에 따른 영상 부호화 장치(800)의 개략적인 구성의 예를 나타내는 블록도이다. 그리고
도 13은 제2 예시적인 실시예에 따른 복호 장치(900)의 개략적인 구성의 예를 나타내는 블록도이다.

이하, 본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 상세하게 설명될 것이다. 명세서 및 도면들에서, 동일하거나 유사한 용어들로 설명될 수 있는 요소들은 동일한 참조 부호들을 할당받을 것이고, 중첩 설명은 생략될 수 있다는 점에 유의한다.

설명은 이하의 순서로 주어질 것이다:

1. 관련 기술

2. 예시적인 실시예들의 개요

3. 제1 예시적인 실시예

3.1. 화면 내 예측 장치(100)의 구성

3.2. 기술적 특징들

3.3. 구체예

3.4. 예시적인 적용

3.5. 예시적인 대안

4. 제2 예시적인 실시예

4.1. 구성

4.2. 기술적 특징

5. 기타의 예시적인 실시예들

<<1. 관련 기술>>

본 발명의 예시적인 실시예들에 관련하는 기술로서, 영상 부호화 처리 및 영상 복호 처리에서 수행되는 화면 내 예측이 설명될 것이다.

하기의 참고 문헌 1에 기재되는 바와 같이, 예를 들어, HEVC(High Efficiency Video Coding) 규격에 따른 화면 내 예측 부호화에서는, 처리 대상 블록에 인접하는 재구축 화상으로부터 화면 내 예측 화상이 생성된다.

참고 문헌 1: R. Joshi et. al., "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5", Document JCTVC-V1005, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 22nd Meeting: Geneva, CH, 15-21 Oct. 2015.

도 1은, 4 수평 화소 "bw" 및 4 수직 화소 "Bh"로 구성되는 처리 대상 블록에 대하여, 상술한 HEVC 규격에 따라 화면 내 예측에 사용하기 위한 재구축 화상의 구체예를 도시하는 도면이다. 또한, 도 1에 도시한 바와 같이, 화면 내 예측을 위해서 참조되는 재구축 화상의 참조 범위는, 좌측 방향 Kleft에 1 화소, 상측 방향 Kup에 1 화소이다.

또한, 하기의 참고 문헌들 2 및 3에서는, 화면 내 예측의 예측 효율을 개선하기 위해서, 화면 내 예측에 사용하기 위한 참조 범위를 확대하는 것이 제안된다.

참고 문헌 2: J. Pfaff et. al., "Intra-prediction modes based on neural networks", JVET-J0037, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018.

참고 문헌 3: P. Lin et. al., "Multiple reference line intra-prediction based on JEM7.0", JVET-J0070, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018.

예를 들어, 도 2는, 4 수평 화소 bw 및 4 수직 화소 Bh로 구성되는 처리 대상 블록에 대하여, 확대된 참조 범위의 구체예를 도시하는 도면이다. 도 2에 도시한 바와 같이, 참조되는 재구축 화상들의 참조 범위는, 좌측 방향 Kleft에 4 화소, 상측 방향 Kup에 4 화소이다.

<<2. 예시적인 실시예들의 개요>>

먼저, 본 발명의 예시적인 실시예들의 개요가 설명될 것이다.

(1) 기술적 과제

상술한 바와 같이 화면 내 예측에 사용하기 위한 화상들의 사용 범위(참조 범위)가 확대되는 경우에, 영상 부호화 장치 및 영상 복호 장치에 사용되는 라인 버퍼들의 사이즈에 대한 요구가 증가한다는 문제가 있다.

구체적으로는, 부호화 대상의 화면 수평 화소수를 w 화소로 하고, 화소 비트 정밀도를 bitDepth 비트로 하고, 화면 내 예측에 사용하기 위한 참조 화상들의 상측 방향으로의 범위 Kup가 1 화소로부터 4 화소로 확대되는 경우에는, 라인 버퍼 사이즈에 대한 요구는, w*bitDepth 비트로부터 w*bitDepth*4비트로 증가한다. 결과적으로, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것이 요망된다.

따라서, 본 예시적인 실시예에 따른 예시적인 목적은, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것이다.

(2) 기술적 특징

본 발명의 하나의 예시적인 양태인 실시예에 따르면, 예를 들어 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록이 속하는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상들의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위가, 미리 결정된 최대 범위 이하가 되도록 제어한다.

이에 의해, 예를 들어 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어하는 것이 가능하다.

상술한 기술적 특징은 본 발명의 예시적인 실시예에 관한 하나의 구체예이며, 당연히, 본 발명의 예시적인 실시예는 상술한 기술적 특징에 한정되지 않는다는 점에 유의한다.

<<3. 제1 예시적인 실시예>>

도 3 내지 도 11을 참조하여, 본 발명의 제1 예시적인 실시예가 설명될 것이다.

<3.1. 화면 내 예측 장치(100)의 구성>

도 3을 참조하여, 제1 예시적인 실시예에 따른 화면 내 예측 장치(100)의 예시적인 구성이 설명될 것이다. 도 3은, 본 발명의 예시적인 실시예에 따른 화면 내 예측 장치(100)의 개략적인 구성의 예를 나타내는 설명도이다. 도 3을 참조하면, 화면 내 예측 장치(100)는, 영역 제어 처리부(110), 참조 화상 생성부(120) 및 예측 화상 생성부(130)를 포함한다.

전술한 것과 같이 구성된 화면 내 예측 장치(100)에 대해, 영역 제어 처리부(110)는, 화면 내 예측에 사용하기 위한 화상들(재구축 화상)의 사용 범위(참조 범위)를 제어한다. 참조 화상 생성부(120)는, 영역 제어 처리부(110)에 의해 제어되는 사용 범위에 기초하여, 재구축 화상들로부터 참조 화상들을 생성한다. 예측 화상 생성부(130)는, 참조 화상 생성부(120)에 의해 생성된 참조 화상들로부터 예측 화상들을 생성한다.

도 4를 참조하여, 영역 제어 처리부(110)의 예시적인 구성이 설명될 것이다. 도 4는, 제1 예시적인 실시예에 따른 영역 제어 처리부(110)의 개략적인 구성의 예를 나타내는 블록도이다. 도 4를 참조하면, 영역 제어 처리부(110)는, 제1 도출부(111), 제2 도출부(113) 및 제어부(115)를 포함한다. 구체적인 동작들이 각 부에서 수행되는 것이 이하에서 설명될 것이다.

<3.2. 기술적 특징>

이어서, 제1 예시적인 실시예의 기술적 특징들이 이하에서 설명될 것이다.

영역 제어 처리부(110)(제어부(115))는, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록이 속하는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상들의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

미리 결정된 방향은, 화면에서의 상측 방향, 화면에서의 좌측 방향과 같이, 임의의 방향일 수 있지만, 이하의 설명은, 주로, 화면에서의 상측 방향을 지칭하는 것으로 가정하여 설명될 것이다.

(1) 유닛

유닛은, 화소 샘플들을 부호화하기 위한 신택스 스트럭처를 포함한다. 특히, 유닛은, 슬라이스에 포함되는 1개의 코딩 트리 유닛이다. 유닛은, 상술한 바와 같이 처리 대상 블록을 포함하므로 부모 블록(parent block)으로서 간주될 수 있다는 점에 유의한다. 유닛은, "부모 블록"이라고 지칭될 수 있다.

(2) 미리 결정된 최대 범위

미리 결정된 최대 범위는, 구체적으로는, 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용될 수 있는 최대 범위이다.

예를 들어, 미리 결정된 방향이 화면에서의 상측 방향일 경우에는, 미리 결정된 최대 범위는, 코딩 트리 유닛의 상단부(상측 경계)를 참조하여, 상단부로부터 화면에서의 상측 방향을 향해서 화면 내 예측에 사용될 수 있는(참조될 수 있는) 최대 범위이다.

(3) 제1 경계 위치의 도출 및 적용

영역 제어 처리부(110)(제1 도출부(111))는, 코딩 트리 유닛의 위치와 미리 결정된 최대 범위에 기초하여, 제1 경계 위치를 도출한다. 제1 경계 위치는 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용될 수 있고 미리 결정된 방향으로 코딩 트리 유닛으로부터 가장 멀리 떨어진 화상 위치이다.

예를 들어, 미리 결정된 방향이 화면에서의 상측 방향일 경우에는, 영역 제어 처리부(110)(제1 도출부(111))는, 코딩 트리 유닛의 상단부 위치를 참조하여, 미리 결정된 최대 범위 및 코딩 트리 유닛의 상단부의 위치에 기초하여 화면에서의 상측 방향으로 가장 멀리 떨어진 위치를, 제1 경계 위치로서 도출한다.

이러한 방식으로 제1 경계 위치가 도출되는 경우, 영역 제어 처리부(110)(제어부(115))는, 화면 내 예측에 사용하기 위한 후보 화상의 위치와 제1 경계 위치 사이의 관계에 기초하여, 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

영역 제어 처리부(110)(제어부(115))는, 예를 들어 처리 대상 블록의 위치로부터 보여진, 화면 내 예측에 사용하기 위한 후보 화상이, 제1 경계 위치보다 멀리 떨어진 후보 화상을 포함하는 경우에는, 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

(4) 제2 경계 위치의 도출 및 적용

영역 제어 처리부(110)(제2 도출부(113))는, 처리 대상 블록의 위치와, 화면 내 예측에서 미리 결정된 방향으로 사용하기 위한 후보 화상들의 후보 범위에 기초하여, 화면 내 예측에 사용하기 위한 후보 화상의 위치이며 미리 결정된 방향으로 처리 대상 블록으로부터 가장 멀리 떨어진 제2 경계 위치를 도출한다.

예를 들어, 미리 결정된 방향이 화면에서의 상측 방향일 경우에는, 영역 제어 처리부(110)(제2 도출부(113))는, 처리 대상 블록의 상단부 위치와, 화면 내 예측에서 화면에서의 상측 방향으로 사용하기 위한 후보 화상들의 후보 범위에 기초하여, 처리 대상 블록의 상단부를 참조하여 화면에서의 상측 방향으로 가장 멀리 떨어진 후보 화상의 후보 위치를, 제2 경계 위치로서 도출한다.

이러한 방식으로 제2 경계 위치가 도출되는 경우, 영역 제어 처리부(110)(제어부(115))는, 제1 경계 위치와 제2 경계 위치 사이의 관계에 기초하여, 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

구체적으로, 영역 제어 처리부(110)(제어부(115))는, 처리 대상 블록의 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 미리 결정된 방향으로 멀리 떨어진 경우에는, 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

예를 들어, 미리 결정된 방향이 화면에서의 상측 방향일 경우에는, 영역 제어 처리부(110)(제어부(115))는, 처리 대상 블록의 상단부 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 화면에서의 상측 방향으로 멀리 떨어진 경우에는, 부분 범위를, 미리 결정된 최대 범위 아래로 제어한다.

또한, 영역 제어 처리부(110)(제어부(115))는, 처리 대상 블록의 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 미리 결정된 방향으로 멀리 떨어져 있지 않을 경우에는, 미리 결정된 방향으로 코딩 트리 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 후보 범위로 제어한다.

예를 들어, 미리 결정된 방향이 화면에서의 상측 방향일 경우에는, 영역 제어 처리부(110)(제어부(115))는, 처리 대상 블록의 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 미리 결정된 방향으로 멀리 떨어져 있지 않을 경우에는, 부분 범위를, 후보 범위로 제어한다.

<3.3. 구체예>

이어서, 화면 내 예측 장치(100)에서 수행되는 처리의 구체예들이 아래에 설명될 것이다.

(1) 영역 제어 처리부(110)

영역 제어 처리부(110)에 관한 처리의 구체예가 아래에 설명될 것이다. 도 5는, 영역 제어 처리부(110)에 관한 처리의 구체예를 설명하기 위한 도면이다.

먼저, 이하의 변수들이 정의될 것이다.

도 5에 도시한 바와 같이, 화면에서의 상측 방향으로 처리 대상 블록(501)이 속하는 코딩 트리 유닛(503)의 상단부를 넘어서는 사용될 수 있는(참조될 수 있는) 미리 결정된 최대 범위는 Kmax 화소(개수)이다. 또한, 처리 대상 블록(501)의 화면 내 예측에 사용하기 위한 후보 화상(505)(참조 화상)의, 화면에서의 상측 방향으로의 후보 범위는 Kup 화소(개수)이고, 화면에서의 좌측 방향의 후보 범위는 Kleft 화소이다. 본 구체예에 대해, 설명의 간략화를 위해, Kmax는 Kup 미만이라는 점에 유의한다.

영역 제어 처리부(110)(제어부(115))가 적응적으로 제어하는 사용 범위, 즉, 처리 대상 블록(501)의 화면 내 예측에 사용하기 위한 화상들(재구축 화상들)의, 화면에서의 상측 방향으로의 사용 범위는 K 화소(개수)이다.

화면은 다음과 같이 정의될 것이다. 화면의 좌측 상단부는 수평 및 수직 좌표계의 원점 (x,y) = (0,0)이고, 화면에서의 우측 방향은 +x 방향이고, 화면에서의 하측 방향은 +y 방향이다. 또한, 화면에서의 수평 화소수는 w 화소이고, 수직 화소수는 h 화소이다.

이어서, 처리 대상 블록은 다음과 같이 정의될 것이다. 먼저, 처리 대상 블록의 좌측 상단 코너 위치의 좌표는 (cur_bx, cur_by)이다. 또한, 처리 대상의 화상 블록의 수평 화소수는 cur_bw 화소이고, 수직 화소수는 cur_bh 화소이다.

이어서, 코딩 트리 유닛은 다음과 같이 정의될 것이다. 코딩 트리 유닛의 좌측 상단 코너 위치의 좌표는 (cur_cux, cur_cuy)이다. 코딩 트리 유닛의 수평 화소수는 cuw 화소이고, 수직 화소수는 cuh 화소이다.

또한, 설명의 간략화를 위해, cur_bw 및 cur_bh는, 각각 cuw 미만 및 cuh 미만이다. 또한, 상술한 바와 같이 화면의 좌측 상단부는 수평 및 수직 좌표계의 원점 (0,0)이고, 따라서, cur_cux 및 cur_cuy는, 각각 cur_bx 이하 및 cur_by 이하이다.

본 구체예에서는, 위에 정의된 변수들을 사용하여, 처리 대상 블록의 화면 내 예측에서 사용(참조)하기 위한 화상들(재구축 화상들)의 후보 위치들과 처리 대상 블록이 속하는 코딩 트리 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에서 사용(참조)하기 위한 화상들(재구축 화상)의 후보 범위 K는 적응적으로 제어된다.

먼저, 영역 제어 처리부(110)(제1 도출부(111))는, 하기 수학식 (1)을 사용하여, 제1 경계 위치의 수직 좌표 ref_max_pos_y를 도출한다.

ref_max_pos_y = cur_cuy - Kmax ... (1)

여기서, 제1 경계 위치의 수직 좌표 ref_max_pos_y는, 화면에서의 상측 방향으로 코딩 트리 유닛의 상단부를 넘어서 사용될 수 있는(참조될 수 있는) 수직 위치들의 최대 값으로서 간주될 수 있다.

또한, 영역 제어 처리부(110)(제2 도출부(113))는, 하기 수학식 (2)를 사용하여 제2 경계 위치의 수직 좌표 cand_min_pos_y를 도출한다.

cand_min_pos_y = cur_by - Kup ... (2)

여기서, 상술한 바와 같이 수직 좌표축 y는 화면의 상단이 원점인 화면에서의 하측 방향으로 양의 값들을 가져, 제2 경계 위치의 수직 좌표 cand_min_pos_y는, 처리 대상 블록의 화면 내 예측에 사용(참조)하기 위한 화상들(재구축 화상들)의 후보 위치들의 최소 값으로서 간주될 수 있다.

영역 제어 처리부(110)(제어부(115))는, 제1 경계 위치의 수직 좌표 ref_max_pos_y 및 제2 경계 위치의 수직 좌표 cand_min_pos_y를 사용하여, 후보 범위 K를 적응적으로 제어한다.

구체적으로는, 영역 제어 처리부(110)(제어부(115))는, cand_min_pos_y<ref_max_pos_y가 유지되는 경우에, 하기 수학식 (3)에 의해, 사용 범위 K를 산출하고, 화면에서의 상측 방향으로 코딩 트리 유닛의 상단부를 넘어서는 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 범위 Kmax 이하가 되도록 제어한다.

K=cur_by-cur_cuy+Kmax ... (3)

또한, 영역 제어 처리부(110)(제어부(115))는, cand_min_pos_y≥ref_max_pos_y가 유지되는 경우에, 하기 수학식 (4)에 의해, 사용 범위 K를 산출한다.

K=Kup ... (4)

이러한 방식으로, 영역 제어 처리부(110)(제어부(115))는, 제1 경계 위치의 수직 좌표 ref_max_pos_y 및 제2 경계 위치의 수직 좌표 cand_min_pos_y의 상대적인 위치들 간의 관계에 기초하여, 사용 범위 K를 산출하고, 부분 범위를 Kmax 이하가 되도록 제어할 수 있다.

상술한 바와 같은 수평 및 수직 좌표계에서는, 화면의 좌측 상단부가 원점이지만, 이것은 결코 제한하는 것이 아니라는 점에 유의한다. 예를 들어, 처리 대상 블록의 상단부는 수직 좌표축 상의 원점일 수 있다. 이러한 방식으로, 원점이 결정된 경우에는, 제2 경계 위치의 수직 좌표는, 처리 대상 블록의 화면 내 예측에 사용(참조)하기 위한 화상들(재구축 화상들)의 후보 위치들의 최대 값으로서 간주될 수 있다.

(2) 참조 화상 생성부(120)

참조 화상 생성부(120)는, 상술한 영역 제어 처리부(110)에 의해 산출되는 사용 범위 K에 기초하여, 화면 내 예측에 사용(참조)하기 위한 화상(참조 화상)을 생성한다.

구체적으로, 참조 화상 생성부(120)는, K<Kup가 유지되는 경우에, cur_by-Kmax로부터 cur_by-1까지의 수직 좌표 위치들을 갖는 화상들을 복제하고, cur_by-Kup로부터 cur_by-Kmax-1까지인 수직 좌표 위치들에 대응하는 각각의 위치들에 복제된 화상을 매핑하여, 화면 내 예측에 사용(참조)하기 위한 화상(참조 화상)을 생성한다.

이러한 방식으로, 참조 화상 생성부(120)는, 상측 방향으로 코딩 트리 유닛의 경계를 넘어서 참조될 수 없는 수직 위치 cur_by-Kup로부터 cur_by-Kmax-1까지의 재구축 화상들 대신에 수직 위치 cur_by-Kmax-1까지의 재구축 화상을 복제하고, 이 복제된 화상을 참조 화상으서 이용할 수 있다. 수직 위치 cur_by-Kmax로부터 cur_by-1까지의 재구축 화상들은, 그대로 참조 화상으로서 이용될 수 있다는 점에 유의한다.

또한, 참조 화상 생성부(120)는, K=Kup가 유지되는 경우에는 화면에서의 상측 방향으로 코딩 트리 유닛의 상단부를 넘어서 사용(참조)될 수 없는 수직 위치들이 존재하지 않으므로, 수직 위치 cur_by-Kup로부터 cur_by-1까지의 재구축 화상들을 그대로 참조 화상으로서 이용할 수 있다.

(3) 예측 화상 생성부(130)

예측 화상 생성부(130)는, 참조 화상 생성부(120)로부터 제공되는 참조 화상으로부터 화면 내 예측 화상을 생성한다. 화면 내 예측 화상들의 생성에, 예를 들어, 상술한 참고 문헌 1, 참고 문헌 2 및 참고 문헌 3 중 임의의 것에 기재된 화면 내 예측 화상 생성 처리 등에, 어느 임의의 화면 내 예측 화상 생성 처리가 적용될 수 있다.

(4) 화면 내 예측 장치(100)에 의해 수행되는 처리 흐름

도 6은, 화면 내 예측 장치(100)에 의해 수행되는 예시적인 처리 흐름을 설명하기 위한 흐름도이다.

단계 S601에서는, 영역 제어 처리부(110)는, 처리 대상 블록의 화면 내 예측에서 참조하는 재구축 화상들의 후보 위치들과 처리 대상 블록이 속하는 코딩 트리 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에서 사용(참조)하기 위한 화상들(재구축 화상들)의 후보 범위 K를 적응적으로 제어한다. 그 후, 단계 S603가 수행된다.

단계 S603에서는, 참조 화상 생성부(120)는, Kmax와 영역 제어 처리부(110)에서 산출된 K의 값의 관계에 기초하여, 처리 대상 블록의 화면 내 예측 화상을 생성하기 위해 사용하는 참조 화상을 생성한다. 그 후, 단계 S605가 수행된다.

단계 S605에서는, 예측 화상 생성부(130)는, 참조 화상 생성부(120)로부터 제공되는 참조 화상으로부터, 처리 대상 블록의 화면 내 예측 화상을 생성한다.

(5) 효과

전술한 본 예에 따르면, 처리 대상 블록마다 화면 내 예측에 사용하기 위한 화상들(재구축 화상들)의 사용 범위(참조 범위)를 적응적으로 제어함으로써, 예를 들어 도 7에 도시한 바와 같이, 라인 버퍼 사이즈에 대한 요구가 감소될 수 있다.

도 7은, 제1 예시적인 실시예의 예에 따른 효과를 설명하기 위한 도면들이다. 먼저, 도 7의 (a)는, 코딩 트리 유닛(701)의 단부를 넘어서 사용하기 위한 부분 범위가 미리 결정된 최대 범위 Kmax 이하로 제한되지 않는 예(비교예)를 도시하는 도면이다. 한편, 도 7의 (b)는, 코딩 트리 유닛(702)의 단부를 넘어서 사용하기 위한 부분 범위가 미리 결정된 최대 범위 Kmax 이하로 제어되는 예(본 구체예)를 설명하기 위한 도면이다.

도 7의 (a)에 도시한 비교예에서는, 화면에서의 상측 방향의 화상들(참조 화상들)의 사용 범위가 항상 라인 상에서의 Kup 화소이어서, 라인 버퍼 사이즈에 대한 요구는 w*bitDepth*Kup 비트가 된다.

한편, 도 7의 (b)에 도시한 예에서는, 미리 결정된 최대 범위는 Kmax=1로 설정되어, 사용 범위 K에서의 부분 범위를 1 라인 상에서의 화소들로 제약하는 예가 여기서 도시된다. 따라서, 도 7의 (b)에 도시한 본 구체예에서는, w*bitDepth bit*1이 유지된다. 즉, 도 7의 (b)에 도시한 본 구체예에 대해서는, 비교예(도 7의 (a)에 도시한 비교예)와 비교하면, 라인 버퍼 사이즈에 대한 요구가 w*bitDepth*(Kup-1)까지 감소될 수 있다.

<3.4. 예시적인 적용>

(1) 영상 부호화 장치(800)

상술한 화면 내 예측 장치(100)는, 예를 들어 도 8에 도시한 영상 부호화 장치(800)에 적용될 수 있다.

도 8은, 영상 부호화 장치(800)의 개략적인 구성을 도시하는 블록도이다. 도 8에 도시한 바와 같이, 영상 부호화 장치(800)는, 변환/양자화부(801), 엔트로피 부호화부(802), 역 변환/역 양자화부(803), 버퍼(804), 화면 내 예측 장치(100)를 포함하는 예측부(805) 및, 다중화부(806)를 갖는다.

먼저, 예측부(805)는, 블록 단위로, 그 입력 화상 신호에 대한 예측 신호를 생성한다. 구체적으로, 처리 대상 블록에 대하여 화면 내 예측을 수행하는 경우에는, 상술한 바와 같이 화면 내 예측 장치(100)에 의해, 처리 대상 블록에 대한 예측 신호가 생성된다.

변환/양자화부(801)는, 입력 화상 신호로부터 예측 신호를 감산함으로써 획득되는 예측 오차 화상을 주파수 변환한다. 또한, 변환/양자화부(801)는, 주파수 변환된 예측 오차 화상(변환 계수들)을 양자화한다.

엔트로피 부호화부(802)는, 변환 양자화 값들 및, 예측부(805)가 이용하는 예측 파라미터인 움직임 벡터들의 차분 정보 등을, 예를 들어 CABAC(Context-based Adaptive Binary Arithmetic Coding)에 기초하여 엔트로피 부호화한다.

역변환/역양자화부(803)는, 변환 양자화 값들을 역양자화한다. 또한, 역변환/역양자화부(803)는, 역양자화된 주파수 변환 계수들을 역-주파수-변환한다. 역-주파수-변환된 재구축 예측 오차 화상에, 예측 신호가 가산되고, 그 결과가 버퍼(804)에 제공된다. 버퍼(804)는, 재구축 화상을 저장한다.

다중화부(806)는, 엔트로피 부호화부(802)로부터 제공되는 부호어를 비트 스트림으로서 다중화한다.

영상 부호화 장치(800)는 상술한 동작들을 따라 비트 스트림들을 생성하는 한편, 예측부(805)에 포함되는 화면 내 예측 장치(100)는, 처리 대상 블록마다 화면 내 예측에 사용하기 위한 화상들(참조 화상들)의 사용 범위를 적응적으로 제어한다. 이는 라인 버퍼 사이즈에 대한 요구를 감소시키면서, 영상 부호화된 비트 스트림들을 출력할 수 있게 한다.

(2) 영상 복호 장치(900)

상술한 화면 내 예측 장치(100)는, 예를 들어, 도 9에 도시한 영상 복호 장치(900)에 적용될 수 있다.

도 9는, 영상 복호 장치(900)의 개략적인 구성을 도시하는 블록도이다. 도 9에 도시한 바와 같이, 영상 복호 장치(900)는, 다중화 해제부(901), 엔트로피 복호부(902), 역변환/역양자화부(903), 상술한 화면 내 예측 장치(100)를 포함하는 예측부(904), 버퍼(905) 및, 제어 정보 생성부(906)를 갖는다.

다중화 해제부(901)는, 입력되는 비트 스트림을 다중화 해제하고, 부호어를 추출한다.

엔트로피 복호부(902)는, 다중화 해제부(901)에서 추출된 부호어를, 예를 들어 CABAC에 기초하여 엔트로피 복호한다. 엔트로피 복호부(902)에서 엔트로피 복호된 변환 양자화 값들은, 역변환/역양자화부(903)에 제공된다. 또한, 움직임 벡터의 차분 정보 등은 예측부(904)에 제공된다.

역변환/역양자화부(903)는, 양자화 스텝 사이즈에서, 변환 양자화 값들을 역양자화한다. 또한, 역변환/역양자화부(903)는, 역양자화된 주파수 변환 계수들을 역-주파수-변환한다.

예측부(904)는, 블록 단위로 예측 신호들을 생성한다. 처리 대상 블록에 대하여 화면 내 예측을 수행하는 경우에는, 상술한 바와 같이, 화면 내 예측 장치(100)는 처리 대상 블록에 대한 예측 신호를 생성한다.

역변환/역양자화부(903)에서 역-주파수-변환된 재구축 예측 오차 화상에, 예측부(904)로부터 제공되는 예측 신호가 가산되고, 결과적인 재구축 화면이 버퍼(905)에 제공된다. 그 후, 버퍼(905)에 저장된 재구축 화면이 디코드 화상으로서 출력된다.

영상 복호 장치(900)는 상술한 동작들을 따라 비트 스트림들로부터 디코드 화상들을 생성하는 한편, 예측부(904)에 포함되는 화면 내 예측 장치(100)는, 처리 대상 블록마다 화면 내 예측에 사용하기 위한 화상들(재구축 화상들)의 사용 범위(참조 범위)를 적응적으로 제어한다. 이는 라인 버퍼 사이즈에 대한 요구를 감소시키면서, 비트 스트림들로부터 복호 화상들을 생성할 수 있게 한다.

(3) 정보 처리 시스템(1000)

상술한 화면 내 예측 장치(100)는, 예를 들어 도 10에 도시한 정보 처리 시스템(1000)에 의해 구현될 수 있다.

도 10은, 화면 내 예측 장치(100)가 적용되는 정보 처리 시스템(1000)의 개략적인 구성을 도시하는 블록도이다.

정보 처리 시스템(1000)은, 도 10에 도시한 바와 같이, 프로세서(1001), 프로그램 메모리(1002), 영상 데이터를 저장하기 위한 저장 매체(1003) 및 비트 스트림을 저장하기 위한 저장 매체(1004)를 갖는다. 저장 매체(1003)와 저장 매체(1004)는, 별개인 저장 매체일 수 있거나, 동일한 저장 매체로 형성되는 저장 영역일 수 있다. 저장 매체로서, 하드 디스크 등의 자기 저장 매체가 사용될 수 있다.

정보 처리 시스템(1000)은 화면 내 예측 장치(100)의 기능들을 구현하는 컴퓨터 프로그램을 프로그램 메모리(1002)에 설치함으로써, 처리 대상 블록마다 화면 내 예측에 사용하기 위한 화상들(재구축 화상들)의 사용 범위(참조 범위)를 적응적으로 제어한다. 이는 라인 버퍼 사이즈에 대한 요구를 감소시키면서, 비트 스트림들로부터 복호 화상들을 생성할 수 있게 한다.

(4) 상호접속성

도 11은, 상술한 영상 부호화 장치(800)와 상술한 영상 복호 장치(900)가, 무선 전송로 또는 유선 전송로 등의 전송로(300)를 통해 접속되는 시스템을 도시하는 도면이다.

도 11에 도시한 시스템에서, 영상 부호화 장치(800)와 영상 복호 장치(900)가, 예를 들어 공통의 Kmax, Kup, Kleft 등을 사용하는 등의, 공통의 프로시저를 따라, 각각의 처리 대상 블록마다 화면 내 예측에 사용하기 위한 참조 화상들의 범위를 적응적으로 제어하여, 영상 부호화 장치(800)와 영상 복호 장치(900) 사이의 상호접속성이 확보될 수 있다.

구체적으로는, 미리 결정된 최대 값 Kmax는, 영상 부호화 장치(800)와 영상 복호 장치(900)에 대해 공통인 고정 값이 사용될 수 있다. 또한, 미리 결정된 최대 값 Kmax는, 예를 들어 화면의 화소수가 증가함에 따라 더 작은 값들이 설정되고, 화면의 수평 화소수 및 수직 화소수 등에 기초하여 암묵적으로 설정되는 가변 값일 수 있다.

상술한 바와 같이, 미리 결정된 최대 값 Kmax가 가변 값인 경우, 미리 결정된 최대 값 Kmax는, 반드시 암묵적으로 설정되어야 하는 것은 아니다. 예를 들어, 비트 스트림의 신택스 요소로서 값이 명시적으로 시그널링될 수 있다. 즉, 미리 결정된 최대 범위 Kmax를 특정하는 정보가 신택스 요소로서 비트 스트림에 포함될 수 있다. 미리 결정된 최대 범위 Kmax를 특정하는 정보는, 예를 들어 시퀀스마다, 화면마다, 슬라이스마다, 또는 유닛마다 등으로 포함될 수 있다.

또한, 후보 범위들 Kup 및 Kleft도 가변 값들일 수 있다. 이 경우, 후보 범위들 Kup 및 Kleft는 비트 스트림의 신택스 요소들로서 명시적으로 시그널링될 수 있다.

<3.5. 예시적인 대안>

본 예시적인 실시예에서는, 각각의 처리 대상 블록마다 화면 내 예측에 사용하기 위한 화상들에 대해, 화면에서의 상측 방향의 사용 범위가 적응적으로 제어되지만, 이것은 결코 제한하는 것이 아니며, 유사하게, 화면에서의 좌측 방향의 사용 범위가 적응적으로 제어될 수 있다.

구체적으로는, 화면 내 예측 장치(100)의 영역 제어 처리부(110)(제어부(115))는, 화면 내 예측에 사용하기 위한 화상들의 사용 범위에서, 화면에서의 좌측 방향으로 유닛의 좌측 단부를 넘어서는 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어할 수 있다. 이러한 예시적인 대안에서, 미리 결정된 최대 범위는, 구체적으로는, 화면에서의 좌측 방향으로 코딩 트리 유닛의 좌측 단부를 넘어서 화면 내 예측에 사용될 수 있는 최대 범위이다.

또한, 미리 결정된 최대 범위를 특정하기 위한 정보는, 비트 스트림의 신택스 요소로서, 영상 부호화 장치(800)로부터 영상 복호 장치(900)로 시그널링될 수 있다.

<<4. 제2 예시적인 실시예>>

이어서, 도 12 및 도 13을 참조하여, 본 발명의 제2 예시적인 실시예가 설명될 것이다. 상술한 제1 예시적인 실시예는 구체적인 예시적인 실시예이지만, 제2 예시적인 실시예는 보다 일반화된 예시적인 실시예이다.

<4.1. 구성>

도 12는 제2 예시적인 실시예에 따른 영상 부호화 장치(800)의 개략적인 구성의 예를 나타내는 블록도이다. 도 12를 참조하면, 영상 부호화 장치(800)는 제어부(810)를 포함한다.

도 13은 제2 예시적인 실시예에 따른 영상 복호 장치(900)의 개략적인 구성의 예를 나타내는 블록도이다. 도 13을 참조하면, 영상 복호 장치(900)는, 제어부(910)를 포함한다.

<4.2. 기술적 특징>

이어서, 제2 예시적인 실시예의 기술적 특징이 아래에 설명될 것이다.

제2 예시적인 실시예에 대해, 영상 부호화 장치(800)(제어부(810))는, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록이 속하는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상들의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

예를 들어, 영상 부호화 장치(800)는, 제1 예시적인 실시예에 따른 화면 내 예측 장치(100)의 동작들을 수행할 수 있다.

또한, 영상 복호 장치(900)(제어부(910))는, 처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록이 속하는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상들의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어한다.

예를 들어, 영상 복호 장치(900)는, 제1 예시적인 실시예에 따른 화면 내 예측 장치(100)의 동작들을 수행할 수 있다.

제2 예시적인 실시예가 위에서 설명되었다. 제2 예시적인 실시예에 따르면, 예를 들어 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어할 수 있다.

<<5. 기타의 예시적인 실시예들>>

본 발명의 예시적인 실시예들이 위에서 설명되었지만, 본 발명은 결코 이러한 예시적인 실시예들에 한정되는 것이 아니다. 이러한 예시적인 실시예들은 단순히 예들인 것 그리고 본 발명의 범위 및 사상으로부터 벗어나지 않고서 여러가지 변경들이 이루어질 수 있다는 것은, 본 기술분야의 통상의 기술자에 의해 이해될 것이다.

예를 들어, 본 명세서에 기재된 처리들에서의 단계들은 반드시 시퀀스도에 기재된 순서에 따라서 시간 순서대로 실행되어야 하는 것은 아니다. 예를 들어, 처리들에서의 단계들은 시퀀스도에 도시된 순서와 상이한 순서로 실행될 수 있거나, 병렬적으로 실행될 수 있다. 또한, 처리들에서의 단계들의 일부가 삭제될 수 있거나, 추가적인 단계들이 처리들에 첨부될 수 있다.

또한, 본 명세서에서 설명한 구성 요소들(예를 들어, 제1 도출부, 제2 도출부, 및/또는 제어부)의 처리들을 포함하는 방법이 제공될 수 있고, 구성 요소들의 처리들을 프로세서로 하여금 실행하게 하기 위한 프로그램이 제공될 수 있다. 또한, 이 프로그램을 기록한 비일시적 컴퓨터 판독가능 기록 매체(non-transitory computer-readable recording medium)가 제공될 수 있다. 당연히, 이러한 장치, 모듈, 방법, 프로그램 및 비일시적 컴퓨터 판독가능 기록 매체가 본 발명에 포함된다.

예시적인 실시예들의 일부 또는 전부는, 이하의 부기 들에서와 같이 기재될 수 있지만, 이하로 한정되지 않는다.

(부기 1)

영상 부호화 또는 복호 장치로서,

처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하도록 구성되는 제어부를 포함하는, 영상 부호화 또는 복호 장치.

(부기 2)

부기 1에 있어서, 유닛은 화소 샘플을 부호화하기 위한 신택스 스트럭처를 포함하는, 영상 부호화 또는 복호 장치.

(부기 3)

부기 1 또는 부기 2에 있어서, 유닛은 슬라이스에 포함되는 코딩 트리 유닛인, 영상 부호화 또는 복호 장치.

(부기 4)

부기 1 내지 부기 3 중 임의의 하나에 있어서, 미리 결정된 최대 범위는 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용될 수 있는 최대 범위인, 영상 부호화 또는 복호 장치.

(부기 5)

부기 4에 있어서, 유닛의 위치와 미리 결정된 최대 범위에 기초하여, 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용될 수 있는 화상 위치이며 미리 결정된 방향으로 유닛으로부터 가장 멀리 떨어진 제1 경계 위치를 도출하도록 구성되는 제1 도출부를 추가로 포함하고,

제어부는, 화면 내 예측에 사용하기 위한 후보 화상의 위치와 제1 경계 위치 사이의 관계에 기초하여, 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하도록 구성되는, 영상 부호화 또는 복호 장치.

(부기 6)

부기 5에 있어서, 처리 대상 블록의 위치와, 화면 내 예측에서 미리 결정된 방향으로 사용하기 위한 후보 화상의 후보 범위에 기초하여, 화면 내 예측에 사용하기 위한 후보 화상의 위치이며 미리 결정된 방향으로 처리 대상 블록으로부터 가장 멀리 떨어진 제2 경계 위치를 도출하도록 구성되는 제2 도출부를 추가로 포함하고,

제어부는, 제1 경계 위치와 제2 경계 위치 사이의 관계에 기초하여, 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하도록 구성되는, 영상 부호화 또는 복호 장치.

(부기 7)

부기 6에 있어서, 제어부는, 처리 대상 블록의 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 미리 결정된 방향으로 멀리 떨어진 경우에는, 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하도록 구성되는, 영상 부호화 또는 복호 장치.

(부기 8)

부기 6 또는 부기 7에 있어서, 제어부는, 처리 대상 블록의 위치에 대하여, 제2 경계 위치가 제1 경계 위치보다 미리 결정된 방향으로 멀리 떨어져 있지 않을 경우에는, 화면 내 예측에 사용하기 위한 화상의 사용 범위를, 후보 범위로 제어하도록 구성되는, 영상 부호화 또는 복호 장치.

(부기 9)

부기 6 내지 부기 8 중 임의의 하나에 있어서,

미리 결정된 방향은 화면에서의 상측 방향이고;

미리 결정된 최대 범위는, 유닛의 상단부를 화면에서의 상측 방향으로 넘어서 화면 내 예측에 사용될 수 있는 최대 범위 Kmax이고;

후보 범위는, 화면 내 예측에서 화면에서의 상측 방향으로 사용하기 위한 후보 화상의 후보 범위 Kup이고;

제1 도출부는, 화면의 상단을 원점으로 하고, 화면에서의 하측 방향으로 양의 값을 갖는 수직 좌표축에 기초하여, 하기 수학식 1을 사용하여 제1 경계 위치의 수직 좌표 ref_max_pos_y를 도출하도록 구성되고;

제2 도출부는, 수직 좌표축에 기초하여, 하기 수학식 2를 사용하여 제2 경계 위치의 수직 좌표 cand_min_pos_y를 도출하도록 구성되고; 및

제어부는, cand_min_pos_y < ref_max_pos_y가 유지되는 경우에, 하기 수학식 3을 사용하여, 화면 내 예측에서 화면에서의 상측 방향으로 사용하기 위한 화상의 사용 범위 K를 산출하고, 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 Kmax 이하가 되도록 제어하도록 구성되고:

ref_max_pos_y = cur_by - Kup ... (수학식 1),

cur_by는 유닛의 상단부의 수직 좌표이고;

cand_min_pos_y = cur_cuy - Kmax ... (수학식 2),

cur_cuy는, 유닛의 상단부의 수직 좌표이고; 및

K = cur_by-cur_cuy + Kmax ... (수학식 3)인, 영상 부호화 또는 복호 장치.

(부기 10)

부기 9에 있어서, 제어부는, cand_min_pos_y ≥ ref_max_pos_y가 유지되는 경우에, 하기 수학식 4를 사용하여, 화면 내 예측에서 화면에서의 상측 방향으로 사용하기 위한 화상의 사용 범위 K를 산출하도록 구성되고:

K = Kup ... (수학식 4)인, 영상 부호화 또는 복호 장치.

(부기 11)

부기 9 또는 부기 10에 있어서, 화면 내 예측에서 화면에서의 상측 방향으로 사용하기 위한 화상의 사용 범위 K에 기초하여, 화면 내 예측에 사용하기 위한 화상을 생성하도록 구성되는 화상 생성부를 추가로 포함하는, 영상 부호화 또는 복호 장치.

(부기 12)

부기 11에 있어서, 화상 생성부는, K < Kup가 유지되는 경우에, cur_by-Kmax로부터 cur_by - 1까지인 수직 좌표 위치들을 갖는 화상들을 복제하고, cur_by - Kup로부터 cur_by - Kmax - 1까지인 수직 좌표 위치들에 대응하는 각각의 위치들에 복제된 화상들을 매핑하여, 화면 내 예측에 사용하기 위한 화상을 생성하도록 구성되는, 영상 부호화 또는 복호 장치.

(부기 13)

영상 부호화 또는 복호 방법으로서,

처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하는 단계를 포함하는 영상 부호화 또는 복호 방법.

(부기 14)

프로세서로 하여금 영상 부호화 또는 복호 처리를 실행하게 하는 프로그램으로서, 영상 부호화 또는 복호 처리는,

처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하는 단계를 포함하는 프로그램.

(부기 15)

프로세서로 하여금 영상 부호화 또는 복호 처리를 실행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독가능 기록 매체로서, 영상 부호화 또는 복호 처리는,

처리 대상 블록을 위한 화면 내 예측에 사용하기 위한 후보 화상의 위치와 처리 대상 블록을 갖는 유닛의 위치 사이의 관계에 기초하여, 화면 내 예측에 사용하기 위한 화상의 사용 범위에서 미리 결정된 방향으로 유닛의 단부를 넘어서 화면 내 예측에 사용하기 위한 부분 범위를, 미리 결정된 최대 범위 이하가 되도록 제어하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록 매체.

이 출원은, 2018년 6월 26일에 출원된 일본 특허 출원 제2018-120872호에 기초하는 우선권을 주장하고, 명세서, 도면 및 요약서를 포함하는 그 개시는 그 전체가 본 명세서에서 참조로 포함된다.

영상을 부호화 또는 복호하는 시스템에서, 화면 내 예측에 사용하기 위한 화상들의 사용 범위를 적응적으로 제어할 수 있다.

참조 부호 목록
100 화면 내 예측 장치
110 영역 제어 처리부
111 제1 도출부
113 제2 도출부
115, 810, 910 제어부
120 참조 화상 생성부
130 예측 화상 생성부
800 영상 부호화 장치
900 영상 복호 장치

Claims (14)

1. 영상 부호화 장치로서,
   처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 제어부를 포함하고,
   상기 제어부는,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
   상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
   상기 제1 최대 범위는 제1 고정값인, 영상 부호화 장치.
2. 제1항에 있어서,
   상기 제1 최대 범위와 상기 제2 최대 범위의 차는 1 샘플보다 큰, 영상 부호화 장치.
3. 제1항 또는 제2항에 있어서,
   상기 제2 최대 범위로 제어하는 경우, 상기 참조 화상의 범위는, 복수의 라인을 포함하고, 복수의 라인은 연속되어 있는, 영상 부호화 장치.
4. 영상 부호화 방법으로서,
   처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 것을 포함하고,
   상기 제어하는 것은,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
   상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
   상기 제1 최대 범위는 제1 고정값인, 영상 부호화 방법.
5. 제4항에 있어서,
   상기 제1 최대 범위와 상기 제2 최대 범위의 차는 1 샘플보다 큰, 영상 부호화 방법.
6. 제4항 또는 제5항에 있어서,
   상기 제2 최대 범위로 제어하는 경우, 상기 참조 화상의 범위는, 복수의 라인을 포함하고, 복수의 라인은 연속되어 있는, 영상 부호화 방법.
7. 프로그램을 기록한 기록 매체로서, 상기 프로그램은
   처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 것을 포함하고,
   상기 제어하는 것은,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
   상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
   상기 제1 최대 범위는 제1 고정값인,
   영상 부호화 처리를 컴퓨터에 실행시키기 위한, 기록 매체.
8. 영상 복호 장치로서,
   처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 제어부를 포함하고,
   상기 제어부는,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
   화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
   상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
   상기 제1 최대 범위는 제1 고정값인, 영상 복호 장치.
9. 제8항에 있어서,
   상기 제1 최대 범위와 상기 제2 최대 범위의 차는 1 샘플보다 큰, 영상 복호 장치.
10. 제8항 또는 제9항에 있어서,
    상기 제2 최대 범위로 제어하는 경우, 상기 참조 화상의 범위는, 복수의 라인을 포함하고, 복수의 라인은 연속되어 있는, 영상 복호 장치.
11. 영상 복호 방법으로서,
    처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 것을 포함하고,
    상기 제어하는 것은,
    화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
    화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
    상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
    상기 제1 최대 범위는 제1 고정값인, 영상 복호 방법.
12. 제11항에 있어서,
    상기 제1 최대 범위와 상기 제2 최대 범위의 차는 1 샘플보다 큰, 영상 복호 방법.
13. 제11항 또는 제12항에 있어서,
    상기 제2 최대 범위로 제어하는 경우, 상기 참조 화상의 범위는, 복수의 라인을 포함하고, 복수의 라인은 연속되어 있는, 영상 복호 방법.
14. 프로그램을 기록한 기록 매체로서, 상기 프로그램은,
    처리 대상 블록을 위한 화면 내 예측(intra-prediction)에 사용되는 참조 화상의 범위를 제어하는 것을 포함하고,
    상기 제어하는 것은,
    화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하는 경우, 상기 참조 화상의 범위를 제1 최대 범위로 제어하고,
    화면 내 예측에 사용되는 참조 화상이, 상기 처리 대상 블록이 속하는 코딩 트리 유닛의 경계를 넘어서 위치하지 않는 경우, 상기 참조 화상의 범위를 제2 최대 범위로 제어하고,
    상기 제2 최대 범위는 상기 제1 최대 범위보다 넓은 범위이고,
    상기 제1 최대 범위는 제1 고정값인,
    영상 복호 처리를 컴퓨터에 실행시키기 위한, 기록 매체.
    

Images