KR102570374B1

KR102570374B1 - 영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램

Info

Publication number: KR102570374B1
Application number: KR1020217007092A
Authority: KR
Inventors: 아끼히로 야모리; 기미히꼬 가즈이
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2023-08-25
Also published as: KR20210039470A; JP7180679B2; JPWO2020059051A1; CN112673628B; BR112021003510A2; US20210203926A1; WO2020059051A1; CA3112324A1; CN112673628A; EP3855739A1; EP3855739A4; MX2021002968A

Abstract

생성부는, 영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 제1 예측 모드 정보를 제2 예측 모드 정보로 변경한다. 제1 예측 모드 정보는, 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 예측 모드 정보이다. 그리고 생성부는 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성한다. 예측부는, 소정의 인트라 예측 모드에 있어서의, 부호화 대상 블록의 인트라 예측 화소값을 생성한다. 제1 부호화부는 인트라 예측 화소값을 이용하여 부호화 대상 블록을 부호화하고, 제2 부호화부는 후보 정보를 이용하여, 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화한다.

Description

영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램

본 발명은 영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램에 관한 것이다.

영상 데이터의 압축 부호화에 관한 국제 표준으로서 H.265/HEVC(High Efficiency Video Coding)가 알려져 있다. 이하에서는 H.265/HEVC를 가리켜 HEVC라 기재하는 일이 있다.

HEVC에서는 인트라 예측과 인터 예측의 2개의 예측 방법이 채용되고 있으며, 인트라 예측 모드로서는 플레이너 예측, 직류 예측 및 각도 예측의 3종류가 규정되어 있다.

도 1은, HEVC의 각도 예측에 있어서 사용되는 각도를 나타내고 있다. 인트라 예측에서는, 래스터 스캔순으로 먼저 부호화된 블록의 국소 복호 화소값이 예측 화소값으로서 이용되기 때문에, 참조 방향은, 좌하 방향으로부터 시계 방향으로 우상 방향까지 중 어느 방향으로 된다. 좌 수평 방향을 나타내는 각도를 0도로 한 경우, 참조 방향의 각도 범위는, -45도에서 +135도까지의 범위이다.

-45도에서 +135도까지의 각 각도에 대하여 2에서 34까지의 번호가 순번대로 할당되어 있으며, 이들 번호가 각도 예측의 33가지의 인트라 예측 모드를 나타내고 있다. 또한 0 및 1은 플레이너 예측 및 직류 예측에 대하여 각각 할당되어 있다. 이들 2개의 인트라 예측 모드는, 방향성을 갖지 않는 공간적인 인트라 예측에 대응한다. 인트라 예측 부호화에서는 33가지의 참조 방향 중, 지정된 참조 방향에 합치한 외삽을 행함으로써 부호화 대상 블록의 예측 화소값이 생성된다.

도 2는, 인트라 예측 모드 "6"(-22.5도)의 경우의 외삽 방법의 예를 나타내고 있다. 부호화 대상 블록의 상측에 인접하는 상 인접 블록 및 부호화 대상 블록의 좌측에 인접하는 좌 인접 블록은 부호화 완료 블록이다. 상 인접 블록은, 부호화 대상 블록의 수평 방향의 2변 중 상측의 변에 인접하고, 좌 인접 블록은, 부호화 대상 블록의 수직 방향의 2변 중 좌측의 변에 인접한다.

인접 화소(201)(사선의 정사각형)은 상 인접 블록 또는 좌 인접 블록 내의 화소이고, 화소(202)(백색의 정사각형)는 부호화 대상 블록 내의 화소이다. 각 화소(202)를 통과하는 화살표 선분(203)은, 인트라 예측 모드 "6"에 있어서의 참조 방향을 나타내고 있다.

각 화소(202)를 통과하는 화살표 선분(203)의 종단에 존재하는 인접 화소(201)의 화소값이 그 화소(202)의 예측 화소값으로서 이용된다. 화소(202)를 복수의 화살표 선분(203)이 통과하고 있는 경우에는, 각각의 화살표 선분(203)의 종단에 존재하는 인접 화소(201)의 화소값의 가중값 부여 가산이 예측 화소값으로 된다.

현재, 영상 데이터의 압축 부호화에 관한 차기 국제 표준으로서 VVC(Versatile Video Coding)의 규격화 작업이 진행되고 있다(예를 들어 비특허문헌 1을 참조). HEVC에 있어서의 블록의 형상은 정사각형뿐이지만, VVC에서는, 부호화 효율을 더 향상시키기 위하여 직사각형의 블록도 사용된다.

도 3은, VVC에 있어서의 블록 분할의 예를 나타내고 있다. 도 3의 (a)는 4분할을 나타내고 있다. 이 경우, 수평 방향의 사이즈(폭)가 W 화소이고 수직 방향의 사이즈(높이)가 H 화소인 블록이, 동일한 형상의 4개의 블록으로 분할된다. 분할 후의 각 블록의 폭은 W/2 화소이고 높이는 H/2 화소이다. 이하에서는, W 화소의 폭을 「폭 W」라 기재하고 H 화소의 높이를 「높이 H」라 기재하는 일이 있다.

도 3의 (b)는 횡 2분할 및 종 2분할을 나타내고 있다. 횡 2분할의 경우, 폭 W 및 높이 H의 블록이 수평 방향의 분할선에 의하여 동일한 형상의 2개의 블록으로 분할된다. 분할 후의 각 블록의 폭은 W 화소이고 높이는 H/2 화소이다. 한편, 종 2분할의 경우, 폭 W 및 높이 H의 블록이, 수직 방향의 분할선에 의하여 동일한 형상의 2개의 블록으로 분할된다. 분할 후의 각 블록의 폭은 W/2 화소이고 높이는 H 화소이다.

도 3의 (c)는 횡 3분할 및 종 3분할을 나타내고 있다. 횡 3분할의 경우, 폭 W 및 높이 H의 블록이 수평 방향의 2개의 분할선에 의하여 3개의 블록으로 분할된다. 분할 후의 각 블록의 폭은 W 화소이고, 상하 2개의 블록의 높이는 H/4 화소이고, 중앙의 블록의 높이는 H/2 화소이다. 종 3분할의 경우, 폭 W 및 높이 H의 블록이 수직 방향의 2개의 분할선에 의하여 3개의 블록으로 분할된다. 분할 후의 각 블록의 높이는 H 화소이고, 좌우 2개의 블록의 폭은 W/4 화소이고, 중앙의 블록의 폭은 W/2 화소이다.

도 4는 화상의 블록 분할의 예를 나타내고 있다. 도 4에 나타낸 바와 같이 VVC에서는, 정사각형의 블록뿐 아니라 직사각형의 블록을 사용 가능하게 된다. 직사각형의 블록의 높이 및 폭의 비율(종횡비)로서는 1:2 및 2:1뿐 아니라 그 이외의 종횡비도 사용 가능하다.

또한 인트라 예측의 처리에 있어서, 보다 가까운 복호 완료 화소를 이용하여 주관 화질과 부호화 효율을 개선하는 기술이 알려져 있다(예를 들어 특허문헌 1을 참조).

일본 특허 공개 제2016-027756호 공보

"Versatile Video Coding (Draft 2)", JVET-K1001, JVET of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, July 2018

VVC의 인트라 예측 모드를 나타내는 파라미터의 부호화 방법에서는, HEVC와 마찬가지로 3개의 최확 모드(Most Probable Mode, MPM)를 엔트리로서 포함하는 MPM 리스트가 이용된다. MPM은, 부호화 대상 블록에 있어서의 인트라 예측 모드의 후보값(예측값)으로서 이용된다.

그러나 인접 블록의 형상과 부호화 대상 블록의 형상이 다른 경우, 현 상황의 VVC에 있어서의 MPM 리스트의 생성 방법으로는 반드시 적절한 MPM이 설정된다고 할 수는 없다.

또한 이러한 문제는, VVC를 채용하는 영상 부호화에 한하지 않으며, 직사각형의 블록에 대한 인트라 예측을 채용하는 다른 영상 부호화에 있어서도 생기는 것이다.

일 측면에 있어서 본 발명은, 직사각형의 블록에 대한 인트라 예측 모드의 후보값을 이용한 영상 부호화에 있어서 적절한 후보값을 설정하는 것을 목적으로 한다.

일 안에서는, 영상 부호화 장치는 생성부, 예측부, 제1 부호화부 및 제2 부호화부를 포함한다.

생성부는, 영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 제1 예측 모드 정보를 제2 예측 모드 정보로 변경한다. 제1 예측 모드 정보는, 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 예측 모드 정보이다. 그리고 생성부는 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성한다.

예측부는, 소정의 인트라 예측 모드에 있어서의, 부호화 대상 블록의 인트라 예측 화소값을 생성한다. 제1 부호화부는 인트라 예측 화소값을 이용하여 부호화 대상 블록을 부호화하고, 제2 부호화부는 후보 정보를 이용하여, 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화한다.

실시 형태에 따르면, 직사각형의 블록에 대한 인트라 예측 모드의 후보값을 이용한 영상 부호화에 있어서 적절한 후보값을 설정할 수 있다.

도 1은 HEVC의 각도 예측에 있어서 사용되는 각도를 나타내는 도면이다.
도 2는 외삽 방법을 나타내는 도면이다.
도 3은 VVC에 있어서의 블록 분할을 나타내는 도면이다.
도 4는 화상의 블록 분할을 나타내는 도면이다.
도 5는 VVC의 각도 예측에 있어서 사용되는 각도를 나타내는 도면이다.
도 6은 각도 예측에 할당되는 인트라 예측 모드를 나타내는 도면이다.
도 7은 직사각형의 블록용으로 추가된 인트라 예측 모드를 나타내는 도면이다.
도 8은 직사각형의 블록에 대한 각도 예측을 나타내는 도면이다.
도 9는 영상 부호화 장치의 기능적 구성도이다.
도 10은 영상 복호 장치의 기능적 구성도이다.
도 11은 영상 부호화 장치의 구체예를 나타내는 기능적 구성도이다.
도 12는 영상 부호화 장치에 있어서의 인트라 예측부의 기능적 구성도이다.
도 13은 제1 인트라 예측 모드의 변경 방법을 나타내는 도면이다.
도 14는 영상 부호화 처리의 흐름도이다.
도 15는 영상 부호화 장치에 있어서의 인트라 예측 처리의 흐름도이다.
도 16은 제1 인접 블록 결정 방법을 나타내는 도면이다.
도 17은 제2 인접 블록 결정 방법을 나타내는 도면이다.
도 18은 제3 인접 블록 결정 방법을 나타내는 도면이다.
도 19는 영상 복호 장치의 구체예를 나타내는 기능적 구성도이다.
도 20은 영상 복호 장치에 있어서의 인트라 예측부의 기능적 구성도이다.
도 21은 영상 복호 처리의 흐름도이다.
도 22는 영상 복호 장치에 있어서의 인트라 예측 처리의 흐름도이다.
도 23은 정보 처리 장치의 구성도이다.

이하, 도면을 참조하면서 실시 형태를 상세히 설명한다.

비정사각형인 직사각형의 블록에 대한 인트라 예측을 행하는 경우, HEVC의 각도 예측(-45도 내지 +135도)으로는 불충분해지는 경우가 있다. 그래서 VVC에서는, 직사각형의 블록에 대한 각도 예측의 각도 범위를 확장함으로써 이 문제에 대응하고 있다.

도 5는, VVC의 각도 예측에 있어서 사용되는 각도를 나타내고 있다. VVC에서는, HEVC의 각도 예측의 정밀도를 2배로 하기 위하여, 사용되는 각도의 간격이 1/2로 삭감되어 있다. 또한 직사각형의 블록용의 참조 방향으로서, -73도 내지 -45도 및 +135도 내지 +163도의 범위의 각도가 추가되어 있다.

각도 범위(501)는, 정사각형 및 직사각형의 블록용의 -45도 내지 +45도의 각도 예측(33가지)을 나타내고, 각도 범위(502)는, 정사각형 및 직사각형의 블록용의 +45도 내지 +135도의 각도 예측(32가지)을 나타낸다. 각도 범위(503)는, 직사각형의 블록용으로 추가된 -73도 내지 -45도의 각도 예측(10가지)을 나타내고, 각도 범위(504)는, 직사각형의 블록용으로 추가된 +135도 내지 +163도의 각도 예측(10가지)을 나타낸다. 합계 85가지의 각도 예측에 플레이너 예측 및 직류 예측을 더하면, 인트라 예측 모드의 총수는 87가지로 된다.

도 6은, 도 5의 각도 범위(501) 및 각도 범위(502)의 각도 예측에 할당되는 인트라 예측 모드를 나타내고 있다. -45도에서 +135도까지의 각 각도에 대하여 2에서 66까지의 번호가 순번대로 할당되어 있으며, 이들 번호가 65가지의 인트라 예측 모드를 나타내고 있다. 0 및 1은, HEVC의 경우와 마찬가지로 플레이너 예측 및 직류 예측에 대하여 각각 할당된다.

도 7은, 도 5의 각도 범위(503) 및 각도 범위(504)의 각도 예측에 할당되는 인트라 예측 모드를 나타내고 있다. +135도의 직후에서 +163도까지의 각 각도에 대하여 67에서 76까지의 번호가 순번대로 할당되어 있고, -73도에서 -45도의 직전까지의 각 각도에 대하여 -10에서 -1까지의 번호가 순번대로 할당되어 있다. 67 내지 76의 각도 예측은, 폭이 높이보다도 큰, 횡으로 긴 블록에 대하여 사용되고, -10 내지 -1의 각도 예측은, 높이가 폭보다도 큰, 종으로 긴 블록에 대하여 사용된다.

인트라 예측 모드의 총수를 늘림으로써 인트라 예측에 있어서의 예측 오차를 저감시킬 수 있지만, 인트라 예측 모드를 나타내는 파라미터의 비트양이 증가한다. 부호화 성능의 향상을 도모하는 경우, 예측 오차의 삭감과 파라미터의 비트양의 증가의 균형을 잡는 것이 바람직하다.

VVC의 인트라 예측의 경우, 직사각형의 블록용으로 인트라 예측 모드의 총수가 67개에서 87개로 증가한다. 단, 직사각형의 블록에 대하여 예측 효율이 낮은 각도 예측의 번호를, 추가된 각도 예측에 할당함으로써, 블록마다 선택 가능한 인트라 예측 모드의 총수를 67개인 채에 그치게 하고 있다.

도 8은, 직사각형의 블록에 대한 각도 예측의 예를 나타내고 있다. 부호화 대상 블록(801)은, 종횡비가 1:2인, 횡으로 긴 블록이며, 화소(802)는, 부호화 대상 블록(801) 내의 우하 코너에 위치하고 있다. 부호화 대상 블록의 상측에 인접하는 상 인접 블록 및 부호화 대상 블록의 좌측에 인접하는 좌 인접 블록은 부호화 완료 블록이다. 인접 화소(803)(사선)는, 상 인접 블록 또는 좌 인접 블록 내의 화소이며, 인트라 예측에 있어서 참조된다.

화살표(810), 화살표(811), 화살표(820) 및 화살표(821)는 각각 -45도, -30도, +135도 및 +150도의 참조 방향을 나타내고 있다. 이 중, 화살표(811) 및 화살표(821)는, 부호화 대상 블록(801)의 좌하 정점과 우상 정점을 잇는 대각선(831)에 평행인 참조 방향을 나타내고 있다. 화소(802)가 예측 대상 화소인 경우, 각각의 화살표가 가리키고 있는 인접 화소(803)가 참조 화소로서 이용되고, 그 인접 화소(803)의 화소값이 화소(802)의 예측 화소값으로서 이용된다.

여기서, 각도 예측의 예측 효율은, 예측 대상 화소와 참조 화소의 거리에 반비례한다. 즉, 예측 대상 화소와 참조 화소의 거리가 가까울수록 예측 오차가 작아질 것을 기대할 수 있기 때문에 예측 효율이 향상된다. 그 결과, 예측 대상 화소의 부호화 효율이 향상된다.

도 8의 각각의 화살표의 길이는, 예측 대상 화소와 참조 화소의 거리를 나타내고 있다. 예를 들어 화살표(810)의 길이는, 그 연장선 상에 존재하는 화살표(820)의 길이보다도 길다. 가령 부호화 대상 블록(801)이 정사각형이었다고 가정하면 양자의 길이는 동일해진다. 한편, 화살표(811)의 길이는, 그 연장선 상에 존재하는 화살표(821)의 길이와 동일하다.

이 점에서, 종횡비가 1:2인 블록에서는, -30도 내지 -45도의 범위의 각도 예측은, 예측 효율이 낮아 인트라 예측에 있어서 선택될 확률이 낮은 것을 알 수 있다. 예를 들어 부호화 대상 블록(801)의 주위에 균일한 텍스처가 존재하고, 그 에지 방향이 화살표(810) 및 화살표(820)와 평행인 경우, 화살표(810)의 참조 방향 대신 화살표(820)의 참조 방향을 선택함으로써 예측 효율의 향상이 기대된다.

각도 예측을 확장할 때 이와 같은 직사각형의 블록 특유의 성질을 이용하여 번호의 재할당을 행함으로써, 예측 효율을 저하시키는 일 없이 사용 가능한 각도 예측의 총수를 유지할 수 있다.

각도 예측의 번호의 재할당 방법에 대하여 도 5 내지 도 7을 이용하여 설명한다. 번호의 재할당에서는, 도 6에 나타낸 각도 예측 중, 직사각형의 블록에 대하여 예측 효율이 낮은 각도 예측의 번호가, 도 7에 나타낸 각도 예측에 대하여 할당된다.

예를 들어 부호화 대상 블록이 횡으로 긴 블록인 경우, 각도 범위(504)의 10가지의 각도를 약 180° 반전시킨 각도를 각도 예측에 사용하지 않기로 한다. 구체적으로는, 각도 범위(501)의 아래로부터 위를 향하여 10가지의 각도는 사용되지 않으며, 이들 각도의 번호 2 내지 11이 각도 범위(504)의 67 내지 76의 각도에 대하여 각각 할당된다.

한편, 부호화 대상 블록이 종으로 긴 블록인 경우, 각도 범위(503)의 10가지의 각도를 약 180° 반전시킨 각도를 각도 예측에 사용하지 않기로 한다. 구체적으로는, 각도 범위(502)의 우측으로부터 좌측을 향하여 10가지의 각도는 사용되지 않으며, 이들 각도의 번호 57 내지 66이 각도 범위(503)의 -10 내지 -1의 각도에 대하여 각각 할당된다.

또한 12 내지 56의 각도 예측에 대해서는 부호화 대상 블록의 형상에 구애받지 않으며, 재할당에 의하여 본래의 번호와 동일한 번호가 할당된다.

이하에서는, 재할당 후의 번호 0 내지 66을 제1 인트라 예측 모드라 기재하고, 재할당 전의 번호 -10 내지 76을 제2 인트라 예측 모드라 기재하는 일이 있다. 제1 인트라 예측 모드는 예측 모드 정보의 일례이다. 제2 인트라 예측 모드의 번호는, 도 6 및 도 7에 나타낸 각도를 나타내고 있다.

제1 인트라 예측 모드를 나타내는 파라미터를 MPM 리스트를 이용하여 부호화하는 경우, 부호화 대상 블록의 제1 인트라 예측 모드와 높은 상관성을 갖는, 좌 인접 블록 및 상 인접 블록의 제1 인트라 예측 모드가 MPM 리스트의 엔트리로서 이용된다. 또한 부호화 대상 블록에서 선택될 가능성이 높은 플레이너 예측 및 직류 예측도 MPM 리스트의 엔트리로서 이용된다. MPM 리스트의 3개의 엔트리에는 각각 다른 제1 인트라 예측 모드가 설정된다. 그리고 2비트의 신택스 요소 IntraLumaMPMIdx에 의하여 3개의 엔트리 중의 하나가 지정된다.

MPM 리스트의 어느 엔트리도 부호화 대상 블록의 제1 인트라 예측 모드와 합치하지 않는 경우에는 신택스 요소 IntraLumaMPMRemainder에 의하여 직접, 부호화 대상 블록의 제1 인트라 예측 모드가 부호화된다.

이때, 각 블록에서 선택 가능한 제1 인트라 예측 모드의 총수 67로부터, MPM 리스트에 의하여 시그널링 가능한 제1 인트라 예측 모드의 총수 3을 감산하면, 감산 결과는 64로 된다. 따라서 IntraLumaMPMRemainder에 의하여 표현되는 제1 인트라 예측 모드의 총수는 64개이다. Log2(64)=6이므로 IntraLumaMPMRemainder의 최소 비트 수는 6비트로 된다.

VCC 규격에 있어서, 영상 부호화 장치가, 제1 인트라 예측 모드를 나타내는 IntraDir로부터 IntraLumaMPMRemainder를 도출하는 수순은 이하와 같다.

(P1) 영상 부호화 장치는 IntraDir의 값을 IntraLumaMPMRemainder에 설정함.

(P2) 영상 부호화 장치는 MPM 리스트의 엔트리를 오름차순으로 소트하여 mpm_sort[i](i=0..2, mpm_sort[0]<mpm_sort[1]<mpm_sort[2])를 생성함.

(P3) 영상 부호화 장치는 mpm_sort[i]와 IntraLumaMPMRemainder를 순번대로 비교하여, mpm_sort[i]<=IntraLumaMPMRemainder이면 IntraLumaMPMRemainder를 1만큼 디크리먼트함.

최종적으로 얻어지는 IntraLumaMPMRemainder의 값은 IntraDir의 값보다도 최대 3만큼 작아진다.

한편, 영상 복호 장치가 IntraLumaMPMRemainder로부터 IntraDir를 도출하는 수순은 이하와 같다.

(P11) 영상 복호 장치는 IntraLumaMPMRemainder의 값을 IntraDir에 설정함.

(P12) 영상 복호 장치는 수순 (P2)와 마찬가지로 하여 mpm_sort[i]를 생성함.

(P13) 영상 복호 장치는 mpm_sort[i]와 IntraDir를 순번대로 비교하여, mpm_sort[i]<=IntraDir이면 IntraDir를 1만큼 인크리먼트함.

최종적으로 얻어지는 IntraDir의 값은 IntraLumaMPMRemainder의 값보다도 최대 3만큼 커진다.

다음으로, VVC 규격에 있어서의 MPM 리스트의 생성 방법을 설명한다. 좌 인접 블록의 IntraDir 및 상 인접 블록의 IntraDir를 각각 candIntraPredModeA 및 candIntraPredModeB로 하고, MPM 리스트의 i번째(i=0, 1, 2)의 엔트리의 값을 candModeList[i]로 한다. 이때, candModeList[0] 내지 candModeList[2]는 다음과 같이 하여 결정된다.

·(candIntraPredModeA==candIntraPredModeB)이고 (candIntraPredModeA<2)인 경우

candModeList[0]=0

candModeList[1]=1

candModeList[2]=50

·(candIntraPredModeA==candIntraPredModeB)이고 (candIntraPredModeA>=2)인 경우

candModeList[0]=candIntraPredModeA

candModeList[1]=2+((candIntraPredModeA+61)%64)

candModeList[2]=2+((candIntraPredModeA-1)%64)

·(candIntraPredModeA !=candIntraPredModeB)인 경우

candModeList[0]=candIntraPredModeA

candModeList[1]=candIntraPredModeB

(candModeList[0]!=0)이고 (candModeList[1]!=0)인 경우

candModeList[2]=0

(candModeList[0]!=1)이고 (candModeList[1]!=1)인 경우

candModeList[2]=1

상기 이외의 경우

candModeList[2]=50

단, "%64"는, 64를 제수로 하는 제산의 잉여를 나타낸다. 이 생성 방법에 따르면, candIntraPredModeA 또는 candIntraPredModeB가 MPM으로서 이용되는 일이 있다.

그러나 인접 블록(좌 인접 블록 또는 상 인접 블록)의 종횡비와 부호화 대상 블록의 종횡비가 다른 경우, 인접 블록에서 사용 가능한 각도 예측이 부호화 대상 블록에서는 사용 불가능한 일이 있다.

예를 들어 인접 블록이 종으로 긴 블록이고, 부호화 대상 블록이 정사각형의 블록인 경우를 상정한다. 인접 블록의 제2 인트라 예측 모드가 "-8"인 경우, 대응하는 제1 인트라 예측 모드는 "59"이다.

그러나 블록 간에 있어서의 참조 방향의 연속성의 관점에서, 정사각형인 부호화 대상 블록의 제1 인트라 예측 모드의 후보값으로서는, 도 6에 나타낸 각도 예측 중, 제2 인트라 예측 모드 "-8"이 나타내는 각도에 가장 가까운 번호인 "2" 쪽이 적합하다. 참조 방향의 각도가 가까울수록 예측 오차가 작아지는 것을 기대할 수 있기 때문에, 그 참조 방향이 부호화 대상 블록에 있어서 선택될 확률이 높아진다.

따라서 인접 블록의 종횡비와 부호화 대상 블록의 종횡비가 다른 경우에는, 블록 간에 있어서의 참조 방향의 연속성을 고려하여 MPM 리스트를 생성하는 것이 바람직하다.

도 9는, 실시 형태의 영상 부호화 장치의 기능적 구성예를 나타내고 있다. 도 9의 영상 부호화 장치(901)는 생성부(911), 예측부(912), 제1 부호화부(913) 및 제2 부호화부(914)를 포함한다.

생성부(911)는, 영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 제1 예측 모드 정보를 제2 예측 모드 정보로 변경한다. 제1 예측 모드 정보는, 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 예측 모드 정보이다. 그리고 생성부(911)는 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성한다.

예측부(912)는, 소정의 인트라 예측 모드에 있어서의, 부호화 대상 블록의 인트라 예측 화소값을 생성한다. 제1 부호화부(913)는 인트라 예측 화소값을 이용하여 부호화 대상 블록을 부호화하고, 제2 부호화부(914)는 후보 정보를 이용하여, 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화한다.

도 10은, 실시 형태의 영상 복호 장치의 기능적 구성예를 나타내고 있다. 도 10의 영상 복호 장치(1001)는 복호부(1011), 생성부(1012), 예측부(1013) 및 복원부(1014)를 포함한다.

복호부(1011)는 부호화 영상을 복호하여, 부호화 영상에 포함되는 부호화 화상 내의 복호 대상 블록의 예측 잔차 정보를 추출한다. 또한 복호부(1011)는, 복호 대상 블록의 인트라 예측 모드를 나타내는 예측 모드 정보와, 복호 대상 블록에 인접하는 복호 완료 블록의 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 추출한다.

생성부(1012)는, 복호 대상 블록의 형상과 복호 완료 블록의 형상의 조합에 기초하여 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고, 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성한다.

예측부(1013)는 후보 정보를 이용하여, 복호 대상 블록의 예측 모드 정보가 나타내는 인트라 예측 모드에 있어서의, 복호 대상 블록의 인트라 예측 화소값을 생성한다. 복원부(1014)는, 인트라 예측 화소값과 예측 잔차 정보를 이용하여 복호 대상 블록의 화소값을 생성한다.

도 9의 영상 부호화 장치(901) 및 도 10의 영상 복호 장치(1001)에 따르면, 직사각형의 블록에 대한 인트라 예측 모드의 후보값을 이용한 영상 부호화에 있어서 적절한 후보값을 설정할 수 있다.

도 11은, 도 9의 영상 부호화 장치(901)의 구체예를 나타내고 있다. 도 11의 영상 부호화 장치(1101)는 감산부(1111), 변환·양자화부(1112) 및 엔트로피 부호화부(1113), 모드 판정부(1114), 인트라 예측부(1115) 및 인터 예측부(1116)를 포함한다. 영상 부호화 장치(1101)는 또한 역양자화·역변환부(1117), 가산부(1118), 포스트 필터부(1119) 및 프레임 메모리(1120)를 포함한다. 감산부(1111) 및 변환·양자화부(1112)는 도 9의 제1 부호화부(913)에 대응한다.

영상 부호화 장치(1101)는, 예를 들어 하드웨어 회로로서 실장할 수 있다. 이 경우, 영상 부호화 장치(1101)의 각 구성 요소를 개별의 회로로서 실장해도 되고 하나의 집적 회로로서 실장해도 된다.

영상 부호화 장치(1101)는, 입력되는 영상을 부호화하여 부호화 영상을 부호화 스트림으로서 출력한다. 영상 부호화 장치(1101)는 부호화 스트림을 통신 네트워크를 통하여 도 10의 영상 복호 장치(1001)에 송신할 수 있다.

예를 들어 영상 부호화 장치(1101)는, 비디오 카메라, 영상 송신 장치, 텔레비전 전화 시스템, 컴퓨터, 또는 휴대 단말 장치에 내장되어 있어도 된다.

입력되는 영상은, 복수의 시각 각각에 대응하는 복수의 화상을 포함한다. 각 시각의 화상은 픽처 또는 프레임이라 칭해지는 일도 있다. 각 화상은 컬러 화상이어도 되고 모노크롬 화상이어도 된다. 컬러 화상의 경우, 화소값은 RGB 형식이어도 되고 YUV 형식이어도 된다.

영상 복호 장치에 있어서의 복호 처리와 동일한 국소 복호 처리를 영상 부호화 장치에 실장함으로써, 영상 부호화 장치 및 영상 복호 장치에 있어서, 예측 모드를 나타내는 파라미터 및 예측 잔차 정보로부터 동일한 예측 화상을 생성할 수 있다. 이 경우, 차분 정보만을 부호화 스트림으로서 전송하면 되기 때문에 높은 압축 효율의 영상 부호화가 실현된다. 역양자화·역변환부(1117), 가산부(1118), 포스트 필터부(1119) 및 프레임 메모리(1120)는, 영상 부호화 장치(901)에 있어서의 국소 복호 처리에 이용된다.

각 화상은 소정 사이즈의 단위 블록으로 분할되어, 래스터 스캔순으로 단위 블록마다 부호화된다. 단위 블록이 그대로 부호화 대상 블록으로서 이용되는 일도 있고, 단위 블록을 더 잘게 분할한 블록이 부호화 대상 블록으로서 이용되는 일도 있다. 그리고 부호화 대상 블록에 대하여 인트라 예측 또는 인터 예측이 실시된다.

인트라 예측의 경우, 상 인접 블록 또는 좌 인접 블록 내의 인접 화소를 이용하여, 각 인트라 예측 모드에 있어서의 부호화 대상 블록의 예측 화상이 생성되고, 가장 예측 효율이 높은 인트라 예측 모드가 선택된다. 인트라 예측 모드로서는 플레이너 예측, 직류 예측, 및 도 5에 나타낸 각도 예측이 이용되며, 가장 예측 효율이 높은 인트라 예측 모드를 나타내는 파라미터 및 예측 잔차 정보가 부호화 스트림으로서 전송된다.

인터 예측의 경우, 과거에 부호화 완료된 화상을 참조 화상으로서 설정하고, 움직임 벡터 탐색에 의하여 부호화 대상 블록과 참조 화상 내의 참조 블록 사이에서 블록 매칭 처리를 행함으로써, 가장 예측 효율이 높은 참조 블록이 검출된다. 그리고 참조 화상의 정보와, 검출된 참조 블록의 위치를 나타내는 움직임 벡터의 정보가, 인터 예측 모드를 나타내는 파라미터로서 전송되고, 그 참조 블록과 부호화 대상 블록의 차분이 예측 잔차 정보로서 전송된다.

인트라 예측부(1115)는, 가산부(1118)로부터 출력되는 포스트 필터 적용 전의 복호 화소값을 이용하여 부호화 대상 블록의 인트라 예측 화소값을 계산하여 모드 판정부(1114)에 출력한다. 인터 예측부(1116)는, 프레임 메모리(1120)로부터 출력되는 참조 화상의 화소값을 이용하여 부호화 대상 블록의 인터 예측 화소값을 계산하여 모드 판정부(1114)에 출력한다.

하나의 부호화 대상 블록에 대해서는 1종류의 부호화 처리가 적용되기 때문에, 모드 판정부(1114)는, 인트라 예측 또는 인터 예측 중 어느 쪽이 예측 효율이 높은지를 판정하여, 예측 효율이 높은 쪽의 예측 결과를 선택한다. 그리고 모드 판정부(1114)는, 인트라 예측 화소값 또는 인터 예측 화소값 중, 선택한 예측 결과의 예측 화소값을 감산부(1111) 및 가산부(1118)에 출력한다.

감산부(1111)는, 부호화 대상 블록의 화소값과, 모드 판정부(1114)로부터 출력되는 예측 화소값의 차분을, 예측 잔차로서 변환·양자화부(1112)에 출력한다. 변환·양자화부(1112)는, 예측 잔차의 직교 변환 및 양자화를 행하여 양자화 계수를 예측 잔차 정보로 하여 엔트로피 부호화부(1113) 및 역양자화·역변환부(1117)에 출력한다.

엔트로피 부호화부(1113)는, 양자화 계수와, 선택된 인트라 예측 모드 또는 인터 예측 모드를 나타내는 파라미터를, 엔트피 부호화(가변 길이 부호화)에 의하여 바이너리 열로 변환하여 부호화 영상을 출력한다.

역양자화·역변환부(1117)는 양자화 계수의 역양자화 및 역직교 변환을 행하여 예측 잔차를 복원하고, 복원한 예측 잔차를 가산부(1118)에 출력한다. 가산부(1118)는, 모드 판정부(1114)로부터 출력되는 예측 화소값과, 역양자화·역변환부(1117)로부터 출력되는 예측 잔차를 가산하여, 포스트 필터 적용 전의 복호 화소값을 생성한다. 그리고 가산부(1118)는, 생성한 복호 화소값을 포스트 필터부(1119) 및 인트라 예측부(1115)에 출력한다.

포스트 필터부(1119)는 양자화 오차를 삭감하기 위하여, 포스트 필터 적용 전의 복호 화소값에 대하여 포스트 필터를 적용하여 포스트 필터 적용 후의 복호 화소값을 생성한다. 그리고 포스트 필터부(1119)는, 생성한 복호 화소값을 프레임 메모리(1120)에 출력한다.

프레임 메모리(1120)는, 포스트 필터 적용 후의 복호 화소값을 국소 복호 화소값으로서 기억한다. 프레임 메모리(1120)가 기억하는 국소 복호 화소값은 참조 화상의 화소값으로서 인터 예측부(1116)에 출력된다.

도 12는, 도 11의 인트라 예측부(1115)의 기능적 구성예를 나타내고 있다. 도 12의 인트라 예측부(1115)는 MPM 생성부(1211), 예측 모드 계산부(1212), 부호화부(1213), 예측 모드 계산부(1214) 및 필터부(1215)를 포함한다. MPM 생성부(1211), 부호화부(1213) 및 필터부(1215)는 도 9의 생성부(911), 제2 부호화부(914) 및 예측부(912)에 각각 대응한다.

MPM 생성부(1211) 및 예측 모드 계산부(1214)에는, 도시하지 않은 부호화 제어부로부터, 부호화 대상 블록, 좌 인접 블록 및 상 인접 블록의 형상을 나타내는 형상 파라미터가 입력된다. 형상 파라미터로서는 각 블록의 폭 W 및 높이 H가 이용된다.

MPM 생성부(1211)에는 예측 모드 계산부(1212)로부터, 부호화 대상 블록, 좌 인접 블록 및 상 인접 블록의 제1 인트라 예측 모드가 입력된다. MPM 생성부(1211)는, 부호화 대상 블록의 형상과 각 인접 블록의 형상의 조합에 기초하여 그 인접 블록의 제1 인트라 예측 모드를 변경한다. 또한 인터 예측 모드가 선택된 인접 블록의 제1 인트라 예측 모드는 직류 예측으로 간주된다.

그리고 MPM 생성부(1211)는, 좌 인접 블록 및 상 인접 블록의 변경 후의 제1 인트라 예측 모드를 이용하여 MPM 리스트를 생성하고, 생성한 MPM 리스트와 부호화 대상 블록의 제1 인트라 예측 모드를 부호화부(1213)에 출력한다. MPM 리스트는, 예측 모드 정보의 후보값을 포함하는 후보 정보의 일례이다.

예측 모드 계산부(1214)는, 모든 제2 인트라 예측 모드의 예측 효율을 계산하는 탐색 처리를 행함으로써, 부호화 대상 블록에 대하여 가장 예측 효율이 높은 제2 인트라 예측 모드를 결정한다. 그리고 예측 모드 계산부(1214)는, 결정한 제2 인트라 예측 모드를 예측 모드 계산부(1212) 및 필터부(1215)에 출력한다.

예측 모드 계산부(1212)는, 예측 모드 계산부(1214)로부터 출력되는 제2 인트라 예측 모드를 제1 인트라 예측 모드로 변환하여 MPM 생성부(1211)에 출력한다. 이것에 의하여, 도 6 및 도 7에 나타낸 각 각도를 나타내는 제2 인트라 예측 모드의 번호가 제1 인트라 예측 모드의 번호로 변환된다.

필터부(1215)는, 포스트 필터 적용 전의 복호 화소값에 대하여, 예측 모드 계산부(1214)로부터 출력되는 제2 인트라 예측 모드에 대응하는 필터를 적용하여 부호화 대상 블록의 인트라 예측 화소값을 생성한다. 그리고 필터부(1215)는, 생성한 인트라 예측 화소값을 모드 판정부(1114)에 출력한다. 제2 인트라 예측 모드에 대응하는 필터는 VVC 규격에 의하여 규정되어 있다.

부호화부(1213)는 MPM 리스트를 이용하여 부호화 대상 블록의 제1 인트라 예측 모드를 부호화하여, 제1 인트라 예측 모드를 나타내는 인트라 예측 파라미터를 생성한다. 그리고 부호화부(1213)는, 생성한 인트라 예측 파라미터를 모드 판정부(1114)에 출력한다. 인트라 예측 파라미터로서는 IntraLumaMPMFlag, IntraLumaMPMIdx 및 IntraLumaMPMRemainder가 이용된다.

IntraLumaMPMFlag는, MPM 리스트를 사용할지 여부를 나타내는 플래그이며, IntraLumaMPMFlag가 논리 "1"일 때 MPM 리스트가 사용되고, IntraLumaMPMFlag가 논리 "0"일 때 MPM 리스트는 사용되지 않는다. IntraLumaMPMIdx는, MPM 리스트의 엔트리를 지정하는 파라미터이며, IntraLumaMPMRemainder는, MPM 리스트에 등록되어 있지 않은 나머지 제1 인트라 예측 모드를 지정하는 파라미터이다.

부호화 대상 블록의 제1 인트라 예측 모드가, MPM 리스트의 어느 엔트리에 해당하는 경우, IntraLumaMPMFlag가 논리 "1"에 설정되고, 그 엔트리를 지정하는 IntraLumaMPMIdx가 생성된다. 한편, 부호화 대상 블록의 제1 인트라 예측 모드가, MPM 리스트의 어느 엔트리에도 해당하지 않는 경우, IntraLumaMPMFlag가 논리 "0"으로 설정된다. 그리고 상술한 (P1) 내지 (P3)의 수순에 의하여 제1 인트라 예측 모드가 IntraLumaMPMRemainder로 변환된다.

다음으로, MPM 리스트의 생성 방법을 설명한다. 먼저, MPM 생성부(1211)는, 부호화 대상 블록의 폭 W에 대한 높이 H의 비율 H/W와, 각 인접 블록의 폭 Wn에 대한 높이 Hn의 비율 Hn/Wn의 조합에 기초하여, 그 인접 블록의 제1 인트라 예측 모드를 변경한다. 이 변경은 좌 인접 블록 및 상 인접 블록 각각에 대하여 독립적으로 행해진다.

여기서, 인접 블록의 제1 인트라 예측 모드가 나타내는 각도 A1이, 부호화 대상 블록의 형상에 있어서 인트라 예측에 사용되지 않는 각도인 경우를 상정한다. 이 경우, 부호화 대상 블록의 형상에 있어서 인트라 예측에 사용되는 각도 중, 각도 A1에 가장 가까운 각도 A2에 대응하는 제1 인트라 예측 모드가, 변경 후의 제1 인트라 예측 모드로서 이용된다.

이것에 의하여, 부호화 대상 블록에 있어서 사용 가능한 제1 인트라 예측 모드를 엔트리로서 포함하는 MPM 리스트를 생성하는 것이 가능해진다. 또한 부호화 대상 블록에 있어서 사용 가능한 각도 예측 중, 인접 블록에서 채용된 각도 예측에 가장 가까운 각도 예측이 엔트리로서 포함되기 때문에, MPM 리스트에 기초하는 제1 인트라 예측 모드의 예측 효율이 향상된다.

도 13은, 이와 같은 제1 인트라 예측 모드의 변경 방법의 예를 나타내고 있다. 도 13의 테이블의 각 행은 Hn/Wn의 소정값에 대응하고 각 열은 H/W의 소정값에 대응한다. 따라서 테이블의 각 셀은 Hn/Wn과 H/W의 소정의 조합에 대응하고 있다.

제1 행은 Hn/Wn≥4를 나타내고, 제2 행은 Hn/Wn=2를 나타내고, 제3 행은 Hn/Wn=1을 나타내고, 제4 행은 Hn/Wn=1/2를 나타내고, 제5 행은 Hn/Wn≤1/4를 나타낸다. 제1 열은 H/W≥4를 나타내고, 제2 열은 H/W=2를 나타내고, 제3 열은 H/W=1을 나타내고, 제4 열은 H/W=1/2를 나타내고, 제5 열은 H/W≤1/4를 나타낸다.

각 셀에는 제1 인트라 예측 모드의 변경 방법으로서, "Same" 또는 "ModeBefore→ModeAfter"의 형식의 변경 지시가 기재되어 있다. "Same"은, 제1 인트라 예측 모드를 변경하지 말라는 지시를 나타내고, "ModeBefore→ModeAfter"의 형식의 변경 지시는, ModeBefore의 번호가 나타내는 제1 인트라 예측 모드를, ModeAfter의 번호가 나타내는 제1 인트라 예측 모드로 변경하라는 지시를 나타낸다.

예를 들어 Hn/Wn=W/H인 경우에는 제1 인트라 예측 모드는 변경되지 않는다. Hn/Wn≠W/H인 경우에는, ModeBefore의 번호가 나타내는 제1 인트라 예측 모드만이 변경되고 그 이외의 제1 인트라 예측 모드는 변경되지 않는다.

예를 들어 Hn/Wn≥4이고 H/W=1인 경우, 제1 인트라 예측 모드가 "57" 내지 "66" 중 어느 것이면 그 제1 인트라 예측 모드가 "2"로 변경된다. 한편, 제1 인트라 예측 모드가 "0" 내지 "56" 중 어느 것이면 그 제1 인트라 예측 모드는 변경되지 않는다.

또한 Hn/Wn=2이고 H/W=1/2인 경우, 제1 인트라 예측 모드가 "2" 내지 "7" 또는 "61" 내지 "66" 중 어느 것이면 그 제1 인트라 예측 모드가 "8"로 변경된다. 한편, 제1 인트라 예측 모드가 "0", "1", 또는 "8" 내지 "60" 중 어느 것이면 그 제1 인트라 예측 모드는 변경되지 않는다.

MPM 생성부(1211)는, 도 13의 변경 방법에 의하여 변경된 제1 인트라 예측 모드를 candIntraPredModeA 및 candIntraPredModeB로서 이용하여, 상술한 VVC 규격의 생성 방법에 따라 candModeList[0] 내지 candModeList[2]를 결정한다.

도 11의 영상 부호화 장치(1101)에 따르면, 부호화 대상 블록의 형상과 인접 블록의 형상의 조합에 기초하여 인접 블록의 제1 인트라 예측 모드가 변경된다. 이것에 의하여, 인접 블록의 종횡비와 부호화 대상 블록의 종횡비가 다른 경우에도, 블록 간에 있어서의 참조 방향의 연속성을 고려하여 적절한 MPM 리스트를 생성할 수 있다.

적절한 MPM 리스트를 이용하여 부호화 대상 블록의 제1 인트라 예측 모드를 부호화함으로써, MPM 리스트가 사용될 확률이 높아져 인트라 예측 파라미터의 압축 효율이 향상된다. 따라서 영상을 효율적으로 부호화하는 것이 가능해진다.

도 14는, 도 11의 영상 부호화 장치(1101)가 행하는 영상 부호화 처리의 예를 나타내는 흐름도이다. 이 영상 부호화 처리에서는, 블록의 일례인 CU(Coding Unit)마다 부호화 처리가 행해진다.

먼저, 인트라 예측부(1115)는, 각 블록 사이즈의 블록(CU)에 대한 인트라 예측을 행한다(스텝 1401). 그리고 인트라 예측부(1115)는 인트라 예측 모드 판정을 행하여, 가장 예측 효율이 높은 인트라 예측 모드를 선택한다(스텝 1402).

한편, 인터 예측부(1116)는, 각 블록 사이즈의 블록에 대한 인터 예측을 행한다(스텝 1403). 인터 예측은, CU를 더 분할한 PU(Prediction Unit)마다 행해진다. 그리고 인터 예측부(1116)는 인터 예측 모드 판정을 행하여, 가장 예측 효율이 높은 인터 예측 모드를 선택한다(스텝 1404).

다음으로, 모드 판정부(1114)는 모드 판정을 행하여, 블록(CU) 단위로 인트라 예측 모드 또는 인터 예측 모드 중 어느 것을 적용할지를 결정한다(스텝 1405). 그리고 감산부(1111) 및 변환·양자화부(1112)는, 모드 판정부(1114)가 결정한 예측 모드에 따라 부호화 대상 블록을 부호화하여 양자화 계수를 생성한다(스텝 1406).

다음으로, 영상 부호화 장치(1101)는, 화상의 부호화가 종료되었는지 여부를 판정한다(스텝 1407). 미처리된 블록이 남아 있는 경우(스텝 1407, 아니오), 영상 부호화 장치(1101)는 다음 블록에 대하여 스텝 1401 이후의 처리를 반복한다.

한편, 화상의 부호화가 종료된 경우(스텝 1407, 예), 엔트로피 부호화부(1113)는, 양자화 계수와, 결정된 예측 모드를 나타내는 파라미터에 대한 가변 길이 부호화를 행한다(스텝 1408).

다음으로, 영상 부호화 장치(1101)는, 영상의 부호화가 종료되었는지 여부를 판정한다(스텝 1409). 미처리된 화상이 남아 있는 경우(스텝 1409, 아니오), 영상 부호화 장치(1101)는 다음 화상에 대하여 스텝 1401 이후의 처리를 반복한다. 그리고 영상의 부호화가 종료된 경우(스텝 1409, 예), 영상 부호화 장치(1101)는 처리를 종료한다.

도 15는, 도 14의 스텝 1401에 있어서의 인트라 예측 처리의 예를 나타내는 흐름도이다. 먼저, MPM 생성부(1211)는 좌 인접 블록 및 상 인접 블록의 제1 인트라 예측 모드를 변경하고, 변경 후의 제1 인트라 예측 모드를 이용하여 MPM 리스트를 생성한다(스텝 1501).

다음으로, 예측 모드 계산부(1214)는 부호화 대상 블록의 제2 인트라 예측 모드를 결정하고(스텝 1502), 예측 모드 계산부(1212)는 결정된 제2 인트라 예측 모드를 제1 인트라 예측 모드로 변환한다(스텝 1503).

다음으로, 부호화부(1213)는, MPM 리스트를 사용할지 여부를 나타내는 IntraLumaMPMFlag를 생성하고(스텝 1504), 생성한 IntraLumaMPMFlag의 값을 체크한다(스텝 1505).

IntraLumaMPMFlag가 논리 "1"인 경우(스텝 1505, 예), 부호화부(1213)는, 부호화 대상 블록의 제1 인트라 예측 모드에 해당하는, MPM 리스트의 엔트리를 나타내는 IntraLumaMPMIdx를 생성한다(스텝 1506). 한편, IntraLumaMPMFlag가 논리 "0"인 경우(스텝 1505, 아니오), 부호화부(1213)는, 부호화 대상 블록의 제1 인트라 예측 모드에 해당하는 IntraLumaMPMRemainder를 생성한다(스텝 1507).

필터부(1215)는, 결정된 제2 인트라 예측 모드에 있어서의 부호화 대상 블록의 인트라 예측 화소값을 생성한다(스텝 1508).

다음으로, 도 16 내지 도 18을 참조하면서, 도 15의 스텝 1501에 있어서 부호화 대상 블록에 복수의 블록이 인접해 있는 경우에 MPM 리스트의 생성에 이용할 인접 블록을 결정하는 방법을 설명한다.

도 16은, 제1 인접 블록 결정 방법의 예를 나타내고 있다. 부호화 대상 블록(1601)의 좌측에 인접하는 복수의 좌 인접 블록 중, 가장 위에 위치하는 좌 인접 블록(1602)이, MPM 리스트의 생성에 이용할 좌 인접 블록으로서 선택된다. 또한 부호화 대상 블록(1601)의 상측에 인접하는 복수의 상 인접 블록 중, 가장 좌측에 위치하는 상 인접 블록(1603)이, MPM 리스트의 생성에 이용할 상 인접 블록으로서 선택된다.

도 17은, 제2 인접 블록 결정 방법의 예를 나타내고 있다. 부호화 대상 블록(1701)이 횡으로 긴 직사각형인 경우, 부호화 대상 블록(1701)의 좌측에 인접하는 복수의 좌 인접 블록 중, 가장 위에 위치하는 좌 인접 블록(1702)이, MPM 리스트의 생성에 이용할 좌 인접 블록으로서 선택된다. 또한 부호화 대상 블록(1701)의 상측에 인접하는 복수의 상 인접 블록 중, 가장 우측에 위치하는 상 인접 블록(1703)이, MPM 리스트의 생성에 이용할 상 인접 블록으로서 선택된다.

한편, 부호화 대상 블록(1711)이 종으로 긴 직사각형인 경우, 부호화 대상 블록(1711)의 좌측에 인접하는 복수의 좌 인접 블록 중, 가장 아래에 위치하는 좌 인접 블록(1712)이, MPM 리스트의 생성에 이용할 좌 인접 블록으로서 선택된다. 또한 부호화 대상 블록(1711)의 상측에 인접하는 복수의 상 인접 블록 중, 가장 좌측에 위치하는 상 인접 블록(1713)이, MPM 리스트의 생성에 이용할 상 인접 블록으로서 선택된다.

도 18은, 제3 인접 블록 결정 방법의 예를 나타내고 있다. 제3 인접 블록 결정 방법에서는, 부호화 대상 블록의 좌측에 인접하는 복수의 좌 인접 블록 중, 가장 높은 빈도의 제1 인트라 예측 모드를 갖는 좌 인접 블록이, MPM 리스트의 생성에 이용할 좌 인접 블록으로서 선택된다. 또한 부호화 대상 블록의 상측에 인접하는 복수의 상 인접 블록 중, 가장 높은 빈도의 제1 인트라 예측 모드를 갖는 상 인접 블록이, MPM 리스트의 생성에 이용할 상 인접 블록으로서 선택된다.

복수의 인접 블록 중, 가장 높은 빈도의 제1 인트라 예측 모드를 갖는 인접 블록을 이용하여 MPM 리스트를 생성함으로써, MPM 리스트에 기초하는 제1 인트라 예측 모드의 예측 효율이 향상된다.

예를 들어 횡으로 긴 부호화 대상 블록(1801)의 상측에 인접하는 상 인접 블록(1811) 내지 상 인접 블록(1814)의 제1 인트라 예측 모드 M1이 다음과 같이 결정되어 있는 경우를 상정한다.

상 인접 블록(1811) M1=I1

상 인접 블록(1812)) M1=I2

상 인접 블록(1813) M1=I2

상 인접 블록(1814) M1=I3

I1 내지 I3은 각각 다른 번호이다. 이 경우, I1의 빈도는 1회이고, I2의 빈도는 2회이고, I3의 빈도는 1회이다. 따라서 가장 높은 빈도의 I2를 갖는 상 인접 블록(1812) 및 상 인접 블록(1813)이 선택되고, 이들 블록의 제1 인트라 예측 모드가 상 인접 블록의 제1 인트라 예측 모드로서 채용된다.

상 인접 블록(1811) 내지 상 인접 블록(1814)이 각각 다른 제1 인트라 예측 모드를 갖는 경우에는, 제1 인접 블록 결정 방법 또는 제2 인접 블록 결정 방법에 따라 상 인접 블록이 선택된다. 또한 어느 상 인접 블록이 인터 예측 모드에서 부호화되어 있는 경우, 그 상 인접 블록은 빈도의 카운트 대상으로부터 제외된다.

부호화 대상 블록(1801)의 좌측에 인접하는 좌 인접 블록(1821) 및 좌 인접 블록(1822)에 대해서도 상 인접 블록(1811) 내지 상 인접 블록(1814)의 경우와 마찬가지로 하여, MPM 리스트의 생성에 이용할 좌 인접 블록이 선택된다.

또한 종으로 긴 부호화 대상 블록(1831)의 상측에 인접하는 상 인접 블록(1841) 및 상 인접 블록(1842)에 대해서도 마찬가지의 인접 블록 결정 방법이 적용된다. 부호화 대상 블록(1831)의 좌측에 인접하는 좌 인접 블록(1851) 내지 좌 인접 블록(1853)에 대해서도 마찬가지의 인접 블록 결정 방법이 적용된다.

예를 들어 좌 인접 블록(1851) 내지 좌 인접 블록(1853)의 제1 인트라 예측 모드 M1이 다음과 같이 결정되어 있는 경우를 상정한다.

좌 인접 블록(1851) M1=I4

좌 인접 블록(1852) M1=I5

좌 인접 블록(1853) M1=I6

I4 내지 I6은 각각 다른 번호이다. 이 경우, I4 내지 I6의 빈도는 모두 1회이다.

그러나 부호화 대상 블록(1831)과 접해 있는 좌 인접 블록(1852)의 변의 길이는, 부호화 대상 블록(1831)과 접해 있는 좌 인접 블록(1851) 또는 좌 인접 블록(1853)의 변의 길이의 2배이다. 그래서 부호화 대상 블록(1831)과 접해 있는 변의 길이가 최장인 좌 인접 블록(1852)을, MPM 리스트의 생성에 이용할 좌 인접 블록으로서 선택해도 된다.

도 19는, 도 10의 영상 복호 장치(1001)의 구체예를 나타내고 있다. 도 19의 영상 복호 장치(1901)는 엔트로피 복호부(1911), 역양자화·역변환부(1912), 인트라 예측부(1913), 인터 예측부(1914), 가산부(1915), 포스트 필터부(1916) 및 프레임 메모리(1917)를 포함한다. 엔트로피 복호부(1911)는 도 10의 복호부(1011)에 대응하고, 역양자화·역변환부(1912) 및 가산부(1915)는 복원부(1014)에 대응한다.

영상 복호 장치(1901)는, 예를 들어 하드웨어 회로로서 실장할 수 있다. 이 경우, 영상 복호 장치(1901)의 각 구성 요소를 개별의 회로로서 실장해도 되고, 하나의 집적 회로로서 실장해도 된다.

영상 복호 장치(1901)는, 입력되는 부호화 영상의 부호화 스트림을 복호하여 복호 영상을 출력한다. 영상 복호 장치(1901)는, 도 11의 영상 부호화 장치(1101)로부터 통신 네트워크를 통하여 부호화 스트림을 수신할 수 있다.

예를 들어 영상 복호 장치(1901)는, 비디오 카메라, 영상 수신 장치, 텔레비전 전화 시스템, 컴퓨터, 또는 휴대 단말 장치에 내장되어 있어도 된다.

엔트로피 복호부(1911)는 부호화 영상을 엔트로피 복호(가변 길이 복호)에 의하여 복호하여, 복호 대상 화상 내의 각 블록의 양자화 계수를 예측 잔차 정보로서 추출함과 함께, 각 블록의 예측 모드를 나타내는 파라미터를 추출한다. 또한 엔트로피 복호부(1911)는, 각 블록의 형상을 나타내는 형상 파라미터도 추출한다. 예측 모드를 나타내는 파라미터에는, 인트라 예측 모드를 나타내는 인트라 예측 파라미터, 또는 인터 예측 모드를 나타내는 인터 예측 파라미터가 포함된다.

그리고 엔트로피 복호부(1911)는 양자화 계수를 역양자화·역변환부(1912)에 출력하고, 형상 파라미터 및 인트라 예측 파라미터를 인트라 예측부(1913)에 출력하고, 인터 예측 파라미터를 인터 예측부(1914)에 출력한다.

역양자화·역변환부(1912)는, 양자화 계수의 역양자화 및 역직교 변환을 행하여 예측 잔차를 복원하고, 복원한 예측 잔차를 가산부(1915)에 출력한다.

인트라 예측부(1913)는, 엔트로피 복호부(1911)로부터 출력되는 형상 파라미터 및 인트라 예측 파라미터를 이용하여, 가산부(1915)로부터 출력되는 포스트 필터 적용 전의 복호 화소값으로부터 복호 대상 블록의 인트라 예측 화소값을 계산한다. 그리고 인트라 예측부(1913)는, 계산한 인트라 예측 화소값을 가산부(1915)에 출력한다.

인터 예측부(1914)는, 엔트로피 복호부(1911)로부터 출력되는 인터 예측 파라미터와 프레임 메모리(1917)로부터 출력되는 참조 화상의 화소값을 이용하여 움직임 보상 처리를 행하여 복호 대상 블록의 인터 예측 화소값을 계산한다. 그리고 인터 예측부(1914)는, 계산한 인터 예측 화소값을 가산부(1915)에 출력한다.

가산부(1915)는, 인트라 예측부(1913) 또는 인터 예측부(1914)로부터 출력되는 예측 화소값과 역양자화·역변환부(1912)로부터 출력되는 예측 잔차를 가산하여 포스트 필터 적용 전의 복호 화소값을 생성한다. 그리고 가산부(1915)는, 생성한 복호 화소값을 포스트 필터부(1916) 및 인트라 예측부(1913)에 출력한다.

포스트 필터부(1916)는 양자화 오차를 삭감하기 위하여, 포스트 필터 적용 전의 복호 화소값에 대하여 포스트 필터를 적용하여 포스트 필터 적용 후의 복호 화소값을 생성한다. 그리고 포스트 필터부(1916)는, 생성한 복호 화소값을 프레임 메모리(1917)에 출력한다.

프레임 메모리(1917)는, 포스트 필터 적용 후의 복호 화소값을 기억하고, 그 복호 화소값을 포함하는 복호 영상을 출력한다. 프레임 메모리(1917)가 기억하는 복호 화소값은 참조 화상의 화소값으로서 인터 예측부(1914)에 출력된다.

도 20은, 도 19의 인트라 예측부(1913)의 기능적 구성예를 나타내고 있다. 도 20의 인트라 예측부(1913)는 MPM 생성부(2011), 기억부(2012), 예측 모드 계산부(2013), 예측 모드 계산부(2014) 및 필터부(2015)를 포함한다. MPM 생성부(2011) 및 필터부(2015)는 도 10의 생성부(1012) 및 예측부(1013)에 각각 대응한다.

MPM 생성부(2011) 및 예측 모드 계산부(2014)에는 엔트로피 복호부(1911)로부터 형상 파라미터가 입력된다. 또한 예측 모드 계산부(2013)에는 엔트로피 복호부(1911)로부터 인트라 예측 파라미터가 입력된다. 입력된 인트라 예측 파라미터는 IntraLumaMPMFlag와, IntraLumaMPMIdx 또는 IntraLumaMPMRemainder를 포함한다.

기억부(2012)는, 각 블록의 폭, 높이 및 제1 인트라 예측 모드를 기억한다. 인터 예측 모드가 선택된 블록의 제1 인트라 예측 모드로서는 직류 예측이 기억된다. 그리고 기억부(2012)는, 좌 인접 블록 및 상 인접 블록 각각의 폭 Wn 및 높이 Hn과, 좌 인접 블록 및 상 인접 블록 각각의 제1 인트라 예측 모드를 MPM 생성부(2011)에 출력한다.

MPM 생성부(2011)는, 복호 대상 블록의 형상과 각 인접 블록의 형상의 조합에 기초하여, 도 11의 영상 부호화 장치(1101)와 마찬가지의 변경 방법에 의하여 그 인접 블록의 제1 인트라 예측 모드를 변경한다. 이때, MPM 생성부(2011)는, 복호 대상 블록의 폭 W에 대한 높이 H의 비율 H/W와, 각 인접 블록의 폭 Wn에 대한 높이 Hn의 비율 Hn/Wn의 조합에 기초하여, 그 인접 블록의 제1 인트라 예측 모드를 변경한다. 이 변경은 좌 인접 블록 및 상 인접 블록 각각에 대하여 독립적으로 행해진다.

여기서, 인접 블록의 제1 인트라 예측 모드가 나타내는 각도 A1이, 복호 대상 블록의 형상에 있어서 인트라 예측에 사용되지 않는 각도인 경우를 상정한다. 이 경우, 복호 대상 블록의 형상에 있어서 인트라 예측에 사용되는 각도 중, 각도 A1에 가장 가까운 각도 A2에 대응하는 제1 인트라 예측 모드가, 변경 후의 제1 인트라 예측 모드로서 이용된다. 예를 들어 MPM 생성부(2011)는, 도 13에 나타낸 변경 방법에 따라 인접 블록의 제1 인트라 예측 모드를 변경할 수 있다.

영상 부호화 장치(1101)와 마찬가지의 변경 방법에 의하여 제1 인트라 예측 모드를 변경함으로써, 부호화 영상으로부터, 인트라 예측 파라미터의 부호화에 이용된 MPM 리스트를 복원할 수 있다.

MPM 생성부(2011)는, 좌 인접 블록 및 상 인접 블록의 변경 후의 제1 인트라 예측 모드를 이용하여, 상술한 VVC 규격의 생성 방법에 의하여 MPM 리스트를 생성하고, 생성한 MPM 리스트를 예측 모드 계산부(2013)에 출력한다.

예측 모드 계산부(2013)는 MPM 리스트를 이용하여, 입력되는 인트라 예측 파라미터로부터 복호 대상 블록의 제1 인트라 예측 모드를 구하여 기억부(2012) 및 예측 모드 계산부(2014)에 출력한다. IntraLumaMPMFlag가 논리 "1"인 경우, IntraLumaMPMIdx에 의하여 지정되는 MPM 리스트의 엔트리가 복호 대상 블록의 제1 인트라 예측 모드로서 출력된다.

한편, IntraLumaMPMFlag가 논리 "0"인 경우, 상술한 (P11) 내지 (P13)의 수순에 의하여 IntraLumaMPMRemainder로부터 IntraDir가 구해지고, 그 IntraDir가 복호 대상 블록의 제1 인트라 예측 모드로서 출력된다.

예측 모드 계산부(2014)는, 복호 대상 블록의 폭 W 및 높이 H에 기초하여 복호 대상 블록의 제1 인트라 예측 모드를 제2 인트라 예측 모드로 변환한다. 제1 인트라 예측 모드 M1을 제2 인트라 예측 모드 M2로 변환하는 수순은 이하와 같다.

·W=H인 경우

M2=M1

·W>H인 경우

·2≤M1<mL인 경우, M2=M1+65

W=2H인 경우, mL=8

W=2H 이외(W>2H)의 경우, mL=12

·2≤M1<mL 이외의 경우, M2=M1

·W<H인 경우

·mH<M1≤66인 경우, M2=M1-67

H=2W인 경우, mH=60

H=2W 이외(H>2W)의 경우, mH=56

·mH<M1≤66 이외의 경우, M2=M1

필터부(2015)는, 포스트 필터 적용 전의 복호 화소값에 대하여, 예측 모드 계산부(2014)로부터 출력되는 제2 인트라 예측 모드에 대응하는 필터를 적용하여 복호 대상 블록의 인트라 예측 화소값을 생성한다. 그리고 필터부(2015)는, 생성한 인트라 예측 화소값을 가산부(1915)에 출력한다.

도 19의 영상 복호 장치(1901)에 따르면, 도 11의 영상 부호화 장치(1101)가 출력하는 부호화 영상을 복호하여 본래의 영상을 복원할 수 있다.

도 21은, 도 19의 영상 복호 장치(1901)가 행하는 영상 복호 처리의 예를 나타내는 흐름도이다. 이 영상 복호 처리에서는, 블록의 일례인 CU마다 복호 처리가 행해진다.

먼저, 엔트로피 복호부(1911)는, 부호화 영상에 대한 가변 길이 복호를 행하여, 복호 대상 블록(복호 대상 CU)의 양자화 계수, 형상 파라미터 및 예측 모드를 나타내는 파라미터를 추출한다(스텝 2101). 그리고 엔트로피 복호부(1911)는, 예측 모드를 나타내는 파라미터가 인트라 예측 파라미터 또는 인터 예측 파라미터 중 어느 것인지를 체크한다(스텝 2102).

예측 모드를 나타내는 파라미터가 인트라 예측 파라미터인 경우(스텝 2102, 예), 인트라 예측부(1913)는, 복호 대상 블록에 대한 인트라 예측을 행하여 복호 대상 블록의 인트라 예측 화소값을 계산한다(스텝 2103).

한편, 예측 모드를 나타내는 파라미터가 인터 예측 파라미터인 경우(스텝 2102, 아니오), 인터 예측부(1914)는, 복호 대상 블록에 대한 움직임 보상 처리를 행하여 복호 대상 블록의 인터 예측 화소값을 계산한다(스텝 2104).

다음으로, 역양자화·역변환부(1912)는, 복호 대상 블록의 양자화 계수를 복호하여 예측 잔차를 복원한다(스텝 2105). 그리고 가산부(1915) 및 포스트 필터부(1916)는, 복원된 예측 잔차와, 인트라 예측부(1913) 또는 인터 예측부(1914)로부터 출력되는 예측 화소값을 이용하여, 복호 대상 블록의 복호 화소값을 생성한다.

다음으로, 영상 복호 장치(1901)는, 부호화 영상의 복호가 종료되었는지 여부를 판정한다(스텝 2106). 미처리된 바이너리 열이 남아 있는 경우(스텝 2106, 아니오), 영상 복호 장치(1901)는 다음 바이너리 열에 대하여 스텝 2101 이후의 처리를 반복한다. 그리고 부호화 영상의 복호가 종료된 경우(스텝 2106, 예), 영상 복호 장치(1901)는 처리를 종료한다.

도 22는, 도 21의 스텝 2103에 있어서의 인트라 예측 처리의 예를 나타내는 흐름도이다. 먼저, MPM 생성부(2011)는, 좌 인접 블록 및 상 인접 블록의 제1 인트라 예측 모드를 변경하고, 변경 후의 제1 인트라 예측 모드를 이용하여 MPM 리스트를 생성한다(스텝 2201).

다음으로, 예측 모드 계산부(2013)는 IntraLumaMPMFlag의 값을 체크한다(스텝 2202). IntraLumaMPMFlag가 논리 "1"인 경우, 예측 모드 계산부(2013)는 IntraLumaMPMIdx의 값을 취득한다(스텝 2203). 그리고 예측 모드 계산부(2013)는, IntraLumaMPMIdx에 의하여 지정되는 MPM 리스트의 엔트리를 복호 대상 블록의 제1 인트라 예측 모드로서 취득한다(스텝 2204).

한편, IntraLumaMPMFlag가 논리 "0"인 경우, 예측 모드 계산부(2013)는 IntraLumaMPMRemainder의 값을 취득하고(스텝 2205), 취득한 값을 제1 인트라 예측 모드로 변환한다(스텝 2206).

다음으로, 예측 모드 계산부(2014)는, 복호 대상 블록의 제1 인트라 예측 모드를 제2 인트라 예측 모드로 변환한다(스텝 2207). 그리고 필터부(2015)는, 예측 모드 계산부(2014)로부터 출력되는 제2 인트라 예측 모드에 기초하여 복호 대상 블록의 인트라 예측 화소값을 생성한다(스텝 2208).

도 22의 스텝 2201에 있어서 복호 대상 블록에 복수의 블록이 인접해 있는 경우에는, 도 16 내지 도 18에 나타낸 인접 블록 결정 방법과 마찬가지로 하여, MPM 리스트의 생성에 이용할 인접 블록이 결정된다. 이 경우, 도 16 내지 도 18에 있어서의 부호화 대상 블록을 복호 대상 블록으로 치환하여 제1 인접 블록 결정 방법 내지 제3 인접 블록 결정 방법을 적용하면 된다.

도 9 및 도 11의 영상 부호화 장치의 구성은 일례에 불과하며, 영상 부호화 장치의 용도 또는 조건에 따라 일부의 구성 요소를 생략 또는 변경해도 된다. 도 12의 인트라 예측부(1115)의 구성은 일례에 불과하며, 영상 부호화 장치의 용도 또는 조건에 따라 일부의 구성 요소를 생략 또는 변경해도 된다. 영상 부호화 장치는 VVC 이외의 부호화 방식을 채용해도 된다.

도 10 및 도 19의 영상 복호 장치의 구성은 일례에 불과하며, 영상 복호 장치의 용도 또는 조건에 따라 일부의 구성 요소를 생략 또는 변경해도 된다. 도 20의 인트라 예측부(1913)의 구성은 일례에 불과하며, 영상 복호 장치의 용도 또는 조건에 따라 일부의 구성 요소를 생략 또는 변경해도 된다. 영상 복호 장치는 VVC 이외의 복호 방식을 채용해도 된다.

도 14, 도 15, 도 21 및 도 22에 나타낸 흐름도는 일례에 불과하며, 영상 부호화 장치 또는 영상 복호 장치의 구성 또는 조건에 따라 일부의 처리를 생략 또는 변경해도 된다.

도 2, 도 8 및 도 16 내지 도 18에 나타낸 부호화 대상 블록과, 도 16 내지 도 18에 나타낸 좌 인접 블록 및 상 인접 블록은 일례에 불과하며, 이들 블록의 형상은 입력되는 영상에 따라 변화된다. 도 16 내지 도 18에 나타낸 인접 블록 결정 방법은 일례에 불과하며, 다른 인접 블록 결정 방법에 의하여, MPM 리스트의 생성에 이용할 인접 블록을 결정해도 된다.

도 13에 나타낸 제1 인트라 예측 모드의 변경 방법은 일례에 불과하며, 다른 변경 방법에 의하여 인접 블록의 제1 인트라 예측 모드를 변경해도 된다.

도 9 및 도 11의 영상 부호화 장치와 도 10 및 도 19의 영상 복호 장치는 하드웨어 회로로서 실장할 수도 있고, 정보 처리 장치(컴퓨터)를 이용하여 실장할 수도 있다.

도 23은, 영상 부호화 장치(901), 영상 복호 장치(1001), 영상 부호화 장치(1101) 및 영상 복호 장치(1901)로서 이용되는 정보 처리 장치의 구성예를 나타내고 있다. 도 23의 정보 처리 장치는 CPU(Central Processing Unit)(2301), 메모리(2302), 입력 장치(2303), 출력 장치(2304), 보조 기억 장치(2305), 매체 구동 장치(2306) 및 네트워크 접속 장치(2307)를 포함한다. 이들 구성 요소는 버스(2308)에 의하여 서로 접속되어 있다.

메모리(2302)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등의 반도체 메모리이며, 처리에 이용되는 프로그램 및 데이터를 기억한다. 메모리(2302)는, 도 11의 프레임 메모리(1120), 도 19의 프레임 메모리(1917), 또는 도 20의 기억부(2012)로서 이용할 수 있다.

CPU(2301)(프로세서)는, 예를 들어 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 9의 생성부(911), 예측부(912), 제1 부호화부(913) 및 제2 부호화부(914)로서 동작한다.

CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 10의 복호부(1011), 생성부(1012), 예측부(1013) 및 복원부(1014)로서도 동작한다.

CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 11의 감산부(1111), 변환·양자화부(1112), 엔트로피 부호화부(1113) 및 모드 판정부(1114)로서도 동작한다. CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 인트라 예측부(1115), 인터 예측부(1116), 역양자화·역변환부(1117), 가산부(1118) 및 포스트 필터부(1119)로서도 동작한다.

CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 12의 MPM 생성부(1211), 예측 모드 계산부(1212), 부호화부(1213), 예측 모드 계산부(1214) 및 필터부(1215)로서도 동작한다.

CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 19의 엔트로피 복호부(1911), 역양자화·역변환부(1912), 인트라 예측부(1913) 및 인터 예측부(1914)로서도 동작한다. CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 가산부(1915) 및 포스트 필터부(1916)으로서도 동작한다.

CPU(2301)는, 메모리(2302)를 이용하여 프로그램을 실행함으로써 도 20의 MPM 생성부(2011), 예측 모드 계산부(2013), 예측 모드 계산부(2014) 및 필터부(2015)로서도 동작한다.

입력 장치(2303)는, 예를 들어 키보드, 포인팅 디바이스 등이며, 유저 또는 오퍼레이터로부터의 지시나 정보의 입력에 이용된다. 출력 장치(2304)는, 예를 들어 표시 장치, 프린터, 스피커 등이며, 유저 또는 오퍼레이터에 대한 문의나 처리 결과의 출력에 이용된다. 처리 결과는 복호 영상이어도 된다.

보조 기억 장치(2305)는, 예를 들어 자기 디스크 장치, 광 디스크 장치, 광 자기 디스크 장치, 테이프 장치 등이다. 보조 기억 장치(2305)는 하드 디스크 드라이브여도 된다. 정보 처리 장치는, 보조 기억 장치(2305)에 프로그램 및 데이터를 저장해 두고 그들을 메모리(2302)에 로드하여 사용할 수 있다.

매체 구동 장치(2306)는 가반형 기록 매체(2309)를 구동하여 그 기록 내용에 액세스한다. 가반형 기록 매체(2309)는 메모리 디바이스, 플렉시블 디스크, 광 디스크, 광 자기 디스크 등이다. 가반형 기록 매체(2309)는 CD-ROM(Compact Disk Read Only Memory), DVD(Digital Versatile Disk), 또는 USB(Universal Serial Bus) 메모리여도 된다. 유저 또는 오퍼레이터는, 이 가반형 기록 매체(2309)에 프로그램 및 데이터를 저장해 두고 그들을 메모리(2302)에 로드하여 사용할 수 있다.

이와 같이 처리에 이용되는 프로그램 및 데이터를 저장하는 컴퓨터 판독 가능한 기록 매체에는, 메모리(2302), 보조 기억 장치(2305) 및 가반형 기록 매체(2309)와 같은 물리적인(비일시적인) 기록 매체가 포함된다.

네트워크 접속 장치(2307)는, LAN(Local Area Network), WAN(Wide Area Network) 등의 통신 네트워크에 접속되어, 통신에 수반하는 데이터 변환을 행하는 통신 인터페이스 회로이다. 네트워크 접속 장치(2307)는 부호화 영상을 영상 복호 장치에 송신하거나 부호화 영상을 영상 부호화 장치로부터 수신하거나 할 수 있다. 정보 처리 장치는 프로그램 및 데이터를 외부의 장치로부터 네트워크 접속 장치(2307)를 통하여 수신하고 그들을 메모리(2302)에 로드하여 사용할 수 있다.

또한 정보 처리 장치가 도 23의 모든 구성 요소를 포함할 필요는 없으며, 용도 또는 조건에 따라 일부의 구성 요소를 생략하는 것도 가능하다. 예를 들어 유저 또는 오퍼레이터와의 인터페이스가 불요한 경우에는 입력 장치(2303) 및 출력 장치(2304)를 생략해도 된다. 또한 정보 처리 장치가 가반형 기록 매체(2309)에 액세스하지 않는 경우에는 매체 구동 장치(2306)를 생략해도 된다.

개시된 실시 형태와 그 이점에 대하여 상세히 설명하였지만, 당업자는, 특허 청구의 범위에 명확히 기재한 본 발명의 범위로부터 일탈하는 일 없이 다양한 변경, 추가, 생략을 할 수 있을 것이다.

Claims

영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 상기 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 상기 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고, 상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하는 생성부와,
상기 부호화 대상 블록의 소정의 인트라 예측 모드에 있어서의, 상기 부호화 대상 블록의 인트라 예측 화소값을 생성하는 예측부와,
상기 인트라 예측 화소값을 이용하여 상기 부호화 대상 블록을 부호화하는 제1 부호화부와,
상기 후보 정보를 이용하여, 상기 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화하는 제2 부호화부
를 구비하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,
상기 생성부는, 상기 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드가 나타내는 제1 각도가, 상기 부호화 대상 블록의 형상에 있어서 인트라 예측에 사용되지 않는 각도인 경우, 상기 부호화 대상 블록의 형상에 있어서 인트라 예측에 사용되는 각도 중, 상기 제1 각도에 가장 가까운 제2 각도를 나타내는 인트라 예측 모드에 대응하는 예측 모드 정보를 상기 제2 예측 모드 정보로서 이용하는 것을 특징으로 하는 영상 부호화 장치.
제1항 또는 제2항에 있어서,
상기 생성부는, 상기 부호화 대상 블록의 하나의 변에 인접하는 복수의 부호화 완료 블록 중, 가장 높은 빈도의 제1 예측 모드 정보를 갖는 부호화 완료 블록을 이용하여 상기 후보 정보를 생성하는 것을 특징으로 하는 영상 부호화 장치.
영상 부호화 장치에 의하여 실행되는 영상 부호화 방법이며,
상기 영상 부호화 장치가,
영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 상기 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 상기 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고,
상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하고,
상기 부호화 대상 블록의 소정의 인트라 예측 모드에 있어서의, 상기 부호화 대상 블록의 인트라 예측 화소값을 생성하고,
상기 인트라 예측 화소값을 이용하여 상기 부호화 대상 블록을 부호화하고,
상기 후보 정보를 이용하여, 상기 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화하는
것을 특징으로 하는 영상 부호화 방법.
영상에 포함되는 화상 내의 부호화 대상 블록의 형상과, 상기 부호화 대상 블록에 인접하는 부호화 완료 블록의 형상의 조합에 기초하여, 상기 부호화 완료 블록의 부호화에 이용한 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고,
상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하고,
상기 부호화 대상 블록의 소정의 인트라 예측 모드에 있어서의, 상기 부호화 대상 블록의 인트라 예측 화소값을 생성하고,
상기 인트라 예측 화소값을 이용하여 상기 부호화 대상 블록을 부호화하고,
상기 후보 정보를 이용하여, 상기 소정의 인트라 예측 모드를 나타내는 예측 모드 정보를 부호화하는
처리를 컴퓨터에 실행시키기 위한 컴퓨터로 판독 가능한 기록 매체에 저장된 영상 부호화 프로그램.
부호화 영상을 복호하여, 상기 부호화 영상에 포함되는 부호화 화상 내의 복호 대상 블록의 예측 잔차 정보와, 상기 복호 대상 블록의 인트라 예측 모드를 나타내는 예측 모드 정보와, 상기 복호 대상 블록에 인접하는 복호 완료 블록의 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 추출하는 복호부와,
상기 복호 대상 블록의 형상과 상기 복호 완료 블록의 형상의 조합에 기초하여 상기 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고, 상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하는 생성부와,
상기 후보 정보를 이용하여, 상기 복호 대상 블록의 예측 모드 정보가 나타내는 인트라 예측 모드에 있어서의, 상기 복호 대상 블록의 인트라 예측 화소값을 생성하는 예측부와,
상기 인트라 예측 화소값과 상기 예측 잔차 정보를 이용하여 상기 복호 대상 블록의 화소값을 생성하는 복원부
를 구비하는 것을 특징으로 하는 영상 복호 장치.
제6항에 있어서,
상기 생성부는, 상기 복호 완료 블록의 부호화에 이용한 인트라 예측 모드가 나타내는 제1 각도가, 상기 복호 대상 블록의 형상에 있어서 인트라 예측에 사용되지 않는 각도인 경우, 상기 복호 대상 블록의 형상에 있어서 인트라 예측에 사용되는 각도 중, 상기 제1 각도에 가장 가까운 제2 각도를 나타내는 인트라 예측 모드에 대응하는 예측 모드 정보를 상기 제2 예측 모드 정보로서 이용하는 것을 특징으로 하는 영상 복호 장치.
제6항 또는 제7항에 있어서,
상기 생성부는, 상기 복호 대상 블록의 하나의 변에 인접하는 복수의 복호 완료 블록 중, 가장 높은 빈도의 제1 예측 모드 정보를 갖는 복호 완료 블록을 이용하여 상기 후보 정보를 생성하는 것을 특징으로 하는 영상 복호 장치.
영상 복호 장치에 의하여 실행되는 영상 복호 방법이며,
상기 영상 복호 장치가,
부호화 영상을 복호하여, 상기 부호화 영상에 포함되는 부호화 화상 내의 복호 대상 블록의 예측 잔차 정보와, 상기 복호 대상 블록의 인트라 예측 모드를 나타내는 예측 모드 정보와, 상기 복호 대상 블록에 인접하는 복호 완료 블록의 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 추출하고,
상기 복호 대상 블록의 형상과 상기 복호 완료 블록의 형상의 조합에 기초하여 상기 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고,
상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하고,
상기 후보 정보를 이용하여, 상기 복호 대상 블록의 예측 모드 정보가 나타내는 인트라 예측 모드에 있어서의, 상기 복호 대상 블록의 인트라 예측 화소값을 생성하고,
상기 인트라 예측 화소값과 상기 예측 잔차 정보를 이용하여 상기 복호 대상 블록의 화소값을 생성하는
것을 특징으로 하는 영상 복호 방법.
부호화 영상을 복호하여, 상기 부호화 영상에 포함되는 부호화 화상 내의 복호 대상 블록의 예측 잔차 정보와, 상기 복호 대상 블록의 인트라 예측 모드를 나타내는 예측 모드 정보와, 상기 복호 대상 블록에 인접하는 복호 완료 블록의 인트라 예측 모드를 나타내는 제1 예측 모드 정보를 추출하고,
상기 복호 대상 블록의 형상과 상기 복호 완료 블록의 형상의 조합에 기초하여 상기 제1 예측 모드 정보를 제2 예측 모드 정보로 변경하고,
상기 제2 예측 모드 정보를 이용하여, 예측 모드 정보의 후보값을 포함하는 후보 정보를 생성하고,
상기 후보 정보를 이용하여, 상기 복호 대상 블록의 예측 모드 정보가 나타내는 인트라 예측 모드에 있어서의, 상기 복호 대상 블록의 인트라 예측 화소값을 생성하고,
상기 인트라 예측 화소값과 상기 예측 잔차 정보를 이용하여 상기 복호 대상 블록의 화소값을 생성하는
처리를 컴퓨터에 실행시키기 위한 컴퓨터로 판독 가능한 기록 매체에 저장된 영상 복호 프로그램.