KR20140120896A - 화상 복호 장치, 화상 부호화 장치 및 부호화 데이터의 데이터 구조 - Google Patents

Abstract

복호 시에 있어서 필요한 메모리를 삭감한다. 동화상 복호 장치(1)는, 예측 모드 정의 DEFPM1을 참조하고, 예측 모드 번호로부터, 예측 모드에 대응하는 예측 방향의 주 방향을 도출하는 주 방향 도출 수단(1453A)과, 구배 정의 테이블 DEFANG1을 참조하여, 그 예측 방향의 구배를 도출하는 구배 도출부(1453B)를 구비한다.

Description

화상 복호 장치, 화상 부호화 장치 및 부호화 데이터의 데이터 구조{IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND DATA STRUCTURE OF ENCODED DATA}

본 발명은 화상을 나타내는 부호화 데이터를 복호하는 화상 복호 장치, 및 화상을 부호화함으로써 부호화 데이터를 생성하는 화상 부호화 장치와, 그 화상 부호화 장치에 생성되는 부호화 데이터의 데이터 구조에 관한 것이다.

동화상을 효율적으로 전송 또는 기록하기 위해서, 동화상을 부호화함으로써 부호화 데이터를 생성하는 동화상 부호화 장치, 및 상기 부호화 데이터를 복호함으로써 복호 화상을 생성하는 동화상 복호 장치가 이용되고 있다.

구체적인 동화상 부호화 방식으로서는, 예를 들어 H.264/MPEG-4.AVC, VCEG(Video Coding Expert Group)에 있어서의 공동 개발용 코덱인 KTA 소프트웨어에 채용되고 있는 방식, TMuC(Test Model under Consideration) 소프트웨어에 채용되고 있는 방식이나, 그 후계 코덱인 HEVC(High-Efficiency Video Coding)에서 제안되어 있는 방식(비특허문헌 1) 등을 들 수 있다.

이 동화상 부호화 방식에 있어서는, 통상적으로 입력 화상을 부호화/복호함으로써 얻어지는 국소 복호 화상에 기초하여 예측 화상이 생성되고, 상기 예측 화상을 입력 화상(원화상)으로부터 감산하여 얻어지는 예측 잔차(「차분 화상」 또는 「잔차 화상」이라 부르는 경우도 있음)가 부호화된다. 또한, 예측 화상의 생성 방법으로서는, 화면 간 예측(인터 예측), 및 화면 내 예측(인트라 예측)을 들 수 있다.

인터 예측에 있어서는, 프레임 전체가 복호된 참조 프레임(복호 화상) 내의 참조 화상에 대하여, 움직임 벡터를 이용한 움직임 보상을 적용함으로써, 예측 대상 프레임 내의 예측 화상이 예측 단위(예를 들어, 블록)마다 생성된다.

한편, 인트라 예측에 있어서는, 동일 프레임 내의 국소 복호 화상에 기초하여, 상기 프레임에 있어서의 예측 화상이 순차 생성된다. 구체적으로는, 인트라 예측에 있어서는, 통상적으로 예측 단위(예를 들어, 블록)마다, 미리 정해진 예측 모드군에 포함되는 예측 모드 중에서 어느 하나의 예측 모드가 선택됨과 함께, 선택된 예측 모드에 대응지어지는 예측 방식에 기초하여 예측 화상이 생성된다. 예측 방식에는, 수평 예측, 수직 예측, DC 예측, Planar 예측, Angular 예측이 포함된다. 각 예측 모드에는 고유의 예측 모드 번호가 할당되어 있으며, 동화상 복호 장치에서는, 부호화 데이터로부터 복호된 예측 모드 번호에 기초하여 예측 대상 영역에 적용할 예측 방식을 결정한다. 또한, Angular 예측에는 복수의 예측 방향에 대응하는 예측 모드가 대응지어져 있으며, 동화상 복호 장치에서는, 예측 모드 번호에 기초하여 예측 방향을 결정하고, 결정된 예측 방향에 기초하여 예측 화상이 생성된다.

또한, 비특허문헌 1에서는, 예측 모드 번호는 상기 이외의 용도에도 이용된다. 구체적으로는, 인트라 예측에 의한 예측 화상 생성 시에 참조되는 참조 영역에 대한 필터의 선택, 예측 잔차의 변환 계수를 복호할 때의 스캔 방법의 선택, 예측 잔차에 적용하는 변환 방식의 선택에 이용된다.

「WD5: Working Draft 5 of High-Efficiency Video Coding(JCTVC-G1103_d0)」, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011(2011년 12월 19일 공개)

그러나, 전술한 예측 모드 번호를 이용한 각종 처리에 있어서, 예측 모드와 처리를 대응짓는 테이블이 필요하며, 메모리가 증가한다는 과제가 있었다.

예를 들어, 비특허문헌 1에서는, 예측 모드 번호로부터 예측 화상 생성에 이용하는 예측 방향을 결정할 때, 예측 모드 번호를 예측 방향의 각도 순의 인덱스에 테이블을 이용하여 매핑하고, 상기 인덱스를 예측 화상 생성 처리에 이용하고 있다. 또한, 필터의 선택, 예측 잔차의 스캔 방법의 선택, 예측 잔차의 변환 방식의 선택에도, 예측 모드 번호와 적용하는 필터, 스캔 방법, 또는 변환 방식을 선택하기 위해 변환 테이블을 이용하고 있다.

그로 인해, 비특허문헌 1의 방식에서는, 예측 모드와 처리를 관련짓는 테이블이 복수 필요하며, 그를 위한 메모리가 필요하다는 문제를 갖고 있었다.

본 발명은 상기한 문제를 감안하여 이루어진 것으로, 그 목적은, 예측 방식에 대하여 할당되는 예측 모드 번호로서, 예측 모드를 이용한 각종 처리의 선택을 테이블을 이용하지 않거나, 또는 보다 작은 사이즈의 테이블을 이용하여 선택할 수 있는 예측 모드 번호를 사용함으로써 메모리를 삭감할 수 있는 화상 복호 장치 등을 실현하는 데 있다.

또한, 예측 모드 번호와 예측 방향의 대응짓기의 특성에 따른 복호 처리를 행할 수 있는 화상 복호 장치 등도 제공한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화 데이터로부터 화상을 복원하는 화상 복호 장치에 있어서, 방향 예측의 인트라 예측 방식에 관하여, 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 특정하기 위한 예측 모드 번호의 대응짓기가 이루어져 있으며, 상기 예측 모드 번호가 소정의 임계값 이하인지 여부를 판정하고, 판정된 결과에 기초하여 참조 화소를 설정하는 참조 화소 설정 수단을 갖고, 설정된 상기 참조 화소에 따라 소정의 복원 처리를 행하는 복원 수단을 구비하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화 데이터로부터 화상을 복원하는 화상 복호 장치에 있어서, 방향 예측의 인트라 예측 방식에 관하여, 주 방향 및 구배(gradient)에 의해 표현되는 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 고유하게 특정하기 위한 예측 모드 번호 사이의 대응짓기가, 그 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관련된 소정의 특징량을 특정할 수 있는 성질을 갖고 있으며, 상기 대응짓기에 기초하여, 부호화 데이터로부터 복호된 상기 예측 모드 번호로부터 상기 특징량을 특정하는 특징량 특정 수단과, 상기 특징량에 따라 소정의 복원 처리를 행하는 복원 수단을 구비하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화된 화상을 복원하는 화상 복호 장치에 있어서, 대상 예측 단위의 예측 모드의 복원에, 추정 예측 모드를 이용할지 여부를 나타내는 추정 예측 모드 플래그, 및 복수의 추정 예측 모드 중 어느 한쪽을 지정하기 위한 추정 예측 모드 인덱스를, 부호화 데이터로부터 산술 복호에 의해 복호하는 산술 복호 수단과, 상기 대상 예측 단위의 복수의 근방 예측 단위에 할당되어 있는 복호 완료의 예측 모드로부터, 복수의 상기 추정 예측 모드를 도출하는 추정 예측 모드 도출 수단과, 상기 추정 예측 모드 인덱스에 대하여 산술 복호를 위한 컨텍스트가 설정되지 않은 경우로서, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치함을 나타내는 경우에, 상기 추정 예측 모드 인덱스가 나타내는 추정 예측 모드를 예측 모드로서 선택하고, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치하지 않음을 나타내는 경우에, 상기 복수의 추정 예측 모드의 교환 처리를 이용하여, 예측 모드를 복원하는 예측 모드 복원 수단을 구비하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화된 화상을 복원하는 화상 복호 장치에 있어서, 상기 예측 모드에 대응지어져 있는 예측 모드 번호와, 상기 예측 화상을 생성하는 단위인 예측 단위의 사이즈에 기초하여, 상기 예측 화상의 생성에 이용하는 참조 화상에 대하여 적용하는 필터를 선택하는 필터 선택 수단을 구비하고, 상기 필터 선택 수단은, 대상 예측 단위의 사이즈가 큰 경우, 대상 예측 단위의 사이즈가 작은 경우에 비하여, 주 방향과 이루는 각도가 보다 작은 예측 방향에 대응지어져 있는 예측 모드에 대응지어져 있는 예측 모드 번호에 대하여 참조 화소 필터를 적용하는 것을 선택하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 부호화 장치에서는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하고, 원 화상과 그 예측 화상의 차를 취함으로써 얻어지는 예측 잔차를 부호화하는 화상 부호화 장치에 있어서, 방향 예측의 인트라 예측 방식에 관하여, 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 특정하기 위한 예측 모드 번호의 대응짓기가 이루어져 있으며, 상기 예측 모드 번호가 소정의 임계값 이하인지 여부를 판정하고, 판정된 결과에 기초하여 참조 화소를 설정하는 참조 화소 설정 수단을 갖고, 소정의 부호화 처리를 행하는 부호화 수단을 구비하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 화상 부호화 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하여, 원 화상과 그 예측 화상의 차를 취함으로써 얻어지는 예측 잔차를 부호화하는 화상 부호화 장치에 있어서, 방향 예측의 인트라 예측 방식에 관하여, 주 방향 및 구배에 의해 정해지는 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 고유하게 특정하기 위한 예측 모드 번호 사이의 대응짓기가, 그 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖고 있으며, 상기 대응짓기에 기초하여, 상기 예측 모드에 대응지어져 있는 상기 예측 모드 번호로부터 상기 특징량을 특정하는 특징량 특정 수단과, 상기 특징량에 따라 소정의 부호화 처리를 행하는 부호화 수단을 구비하는 것을 특징으로 한다.

이상과 같이, 본 발명에 따른 화상 복호 장치, 또는 화상 부호화 장치는, 복호 시 또는 부호화 시에 있어서 필요한 메모리를 삭감할 수 있다는 효과를 발휘한다.

또한, 이상과 같이, 본 발명에 따른 화상 복호 장치는, 추정 예측 모드를 이용하는 경우에 있어서의 예측 모드 도출에 필요로 하는 처리량을 삭감할 수 있다.

또한, 이상과 같이, 예측 모드 번호와 예측 방향의 대응짓기의 특성에 따른 복호 처리를 행할 수 있다.

도 1은, 본 발명의 일 실시 형태에 따른 동화상 복호 장치에 있어서의 예측 방향 도출부의 일 구성예를 나타내는 기능 블록도이다.
도 2는, 상기 동화상 복호 장치의 개략적 구성에 대하여 나타낸 기능 블록도이다.
도 3은, 본 발명의 일 실시 형태에 따른 동화상 부호화 장치에 의해 생성되고, 상기 동화상 복호 장치에 의해 복호되는 부호화 데이터의 데이터 구성을 나타내는 도면이며, (a) 내지 (d)는, 각각 픽처 레이어, 슬라이스 레이어, 트리 블록 레이어, 및 CU 레이어를 나타내는 도면이다.
도 4는, 상기 동화상 복호 장치에 의해 이용되는 인트라 예측 방식의 분류와 대응하는 예측 모드 번호의 예를 나타내는 도면이다.
도 5는, 방향 예측에 속하는 33종류의 예측 모드에 대하여, 예측 모드의 식별자에 대응하는 예측 방향을 나타내는 도면이다.
도 6은, 인트라 예측 방식과 예측 모드 번호의 대응 정의인 예측 모드 정의의 일례를 나타내는 도면이다.
도 7은, PU 사이즈의 2의 대수(log2PartSize)와 예측 모드 수의 관계를 나타내는 도면이다.
도 8은, 대응 휘도 예측 모드의 예측 모드 번호에 따른 색차 예측 모드의 정의를 나타내는 도면이다.
도 9는, 인트라 예측 방식과 예측 모드 번호의 대응 정의인 예측 모드 정의의 다른 예를 나타내는 도면이다.
도 10은, 상기 동화상 복호 장치가 구비하는 예측 화상 생성부의 구성예에 대하여 나타내는 기능 블록도이다.
도 11은, 입력 화상이 4:2:0의 YUV 포맷인 경우의 PU 설정 순서 및 CU 내에 포함되는 PU를 나타내는 도면으로, (A)는, 대상 CU의 사이즈가 8×8 화소이면서, 분할 타입이 N×N인 경우의 CU 내의 PU를 나타내고, (B)는, 대상 CU의 사이즈가 16×16 화소이면서, 분할 타입이 2N×2N인 경우의 CU 내의 PU를 나타낸다.
도 12는, 도 6의 예측 모드 정의에 의한 예측 모드 번호와 필터 적용 유무(refPicFilterFlag)의 값의 관계를 나타내는 도면이다.
도 13은, 상기 예측 화상 생성부에 있어서의 CU 단위의 예측 화상 생성 처리의 개략을 나타내는 흐름도이다.
도 14는, 상기 예측 화상 생성부가 구비하는 휘도 예측부의 상세 구성을 나타내는 블록도이다.
도 15는, 예측 모드 식별자와 구배 intraPredAngle의 값의 대응 관계의 일례를 나타내는 테이블이다.
도 16은, 예측 모드 식별자와 구배 intraPredAngle의 값의 대응 관계의 다른 예를 나타내는 테이블이다.
도 17은, 상기 동화상 복호 장치에 있어서의 예측 방향 도출부의 다른 구성예를 나타내는 기능 블록도이다.
도 18은, 예측 모드 식별자와 구배 intraPredAngle의 절댓값absIntraPredAngle의 대응 관계의 다른 예를 나타내는 테이블이다.
도 19는, 상기 휘도 예측부에 있어서의 Angular 예측 처리를 나타내는 흐름도이다.
도 20은, 상기 예측 화상 생성부가 구비하는 색차 예측부의 상세 구성을 나타내는 블록도이다.
도 21은, 상기 동화상 복호 장치가 구비하는 가변 길이 복호부의 구성예에 대하여 나타내는 기능 블록도이다.
도 22는, 상기 가변 길이 복호부가 구비하는 MPM 도출부에 있어서의 MPM 후보의 도출 방식에 대하여 나타내는 도면이다.
도 23은, 상기 동화상 복호 장치에 있어서의 예측 모드 복원 처리의 개략적인 흐름의 일례를 나타내는 흐름도이다.
도 24는, 본 발명의 일 실시 형태에 따른 동화상 부호화 장치의 구성에 대하여 나타내는 기능 블록도이다.
도 25는, 상기 동화상 부호화 장치가 구비하는 부호화 데이터 생성부의 일 구성예를 나타내는 기능 블록도이다.
도 26은, 상기 동화상 부호화 장치에 있어서의 예측 모드 부호화 처리의 흐름의 일례를 나타내는 흐름도이다.
도 27은, 예측 모드 식별자와 구배 intraPredAngle의 값의 대응 관계의 또 다른 예를 나타내는 테이블이다.
도 28은, 상기 동화상 부호화 장치를 탑재한 송신 장치, 및 상기 동화상 복호 장치를 탑재한 수신 장치의 구성에 대하여 나타낸 도면으로, (a)는, 동화상 부호화 장치를 탑재한 송신 장치를 나타내고 있으며, (b)는, 동화상 복호 장치를 탑재한 수신 장치를 나타내고 있다.
도 29는, 상기 동화상 부호화 장치를 탑재한 기록 장치, 및 상기 동화상 복호 장치를 탑재한 재생 장치의 구성에 대하여 나타낸 도면으로, (a)는, 동화상 부호화 장치를 탑재한 기록 장치를 나타내고 있으며, (b)는, 동화상 복호 장치를 탑재한 재생 장치를 나타내고 있다.
도 30은, 변수 intraPredPrecison과 PU 사이즈의 2의 대수(log2PartSize)의 조합과 예측 모드 수의 관계를 나타내는 도면이다.
도 31은, 인트라 예측 방식과 예측 모드 번호의 대응 정의인 예측 모드 정의의 다른 예를 나타내는 도면다.

〔개요〕

본 발명의 일 실시 형태에 대하여 도 1 내지 도 31을 참조하여 설명한다. 우선, 도 2를 참조하면서, 동화상 복호 장치(1: 화상 복호 장치) 및 동화상 부호화 장치(2: 화상 부호화 장치)의 개요에 대하여 설명한다. 도 2는, 동화상 복호 장치(1)의 개략적 구성을 나타내는 기능 블록도이다.

도 2에 나타낸 동화상 복호 장치(1) 및 동화상 부호화 장치(2)는, H.264/MPEG-4 AVC 규격에 채용되고 있는 기술, VCEG(Video Coding Expert Group)에 있어서의 공동 개발용 코덱인 KTA 소프트웨어에 채용되고 있는 기술, TMuC(Test Model under Consideration) 소프트웨어에 채용되고 있는 기술, 및 그 후계 코덱인 HEVC(High-Efficiency Video Coding)에서 제안되어 있는 기술을 실장하고 있다.

동화상 부호화 장치(2)는, 이들 동화상 부호화 방식에 있어서, 인코더로부터 디코더로 전송되는 것이 규정되어 있는 신택스(syntax)의 값을 엔트로피 부호화하여 부호화 데이터 #1을 생성한다.

엔트로피 부호화 방식으로서는, 컨텍스트 적응형 가변 길이 부호화(CAVLC: Context-based Adaptive Variable Length Coding), 및 컨텍스트 적응형 2치 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Coding)가 알려져 있다.

CAVLC 및 CABAC에 의한 부호화/복호에 있어서는, 컨텍스트에 적응한 처리가 행해진다. 컨텍스트란, 부호화/복호의 상황(문맥)을 의미하며, 관련 신택스의 과거의 부호화/복호 결과에 의해 정해지는 것이다. 관련 신택스로서는, 예를 들어 인트라 예측, 인터 예측에 관한 각종 신택스, 휘도(Luma), 색차(Chroma)에 관한 각종 신택스, 및 CU(Coding Unit 부호화 단위) 사이즈에 관한 각종 신택스 등이 있다. 또한, CABAC에서는, 신택스에 대응하는 2치 데이터(바이너리열)에 있어서의, 부호화/복호 대상으로 되는 바이너리 위치를 컨텍스트로서 사용하는 경우도 있다.

CAVLC에서는, 부호화에 이용하는 VLC 테이블을 적응적으로 변경하여, 각종 신택스가 부호화된다. 한편, CABAC에서는, 예측 모드 및 변환 계수 등의 다치를 취할 수 있는 신택스에 대하여 2치화 처리가 실시되고, 이 2치화 처리에 의해 얻어진 2치 데이터가 발생 확률에 따라서 적응적으로 산술 부호화된다. 구체적으로는, 바이너리 값(0 또는 1)의 발생 확률을 유지하는 버퍼를 복수 준비하고, 컨텍스트에 따라서 하나의 버퍼를 선택하고, 상기 버퍼에 기록되어 있는 발생 확률에 기초하여 산술 부호화를 행한다. 또한, 복호/부호화하는 바이너리 값에 기초하여, 상기 버퍼의 발생 확률을 갱신함으로써, 컨텍스트에 따라서 적절한 발생 확률을 유지할 수 있다.

동화상 복호 장치(1)에는, 동화상 부호화 장치(2)가 동화상을 부호화한 부호화 데이터 #1이 입력된다. 동화상 복호 장치(1)는, 입력된 부호화 데이터 #1을 복호하여 동화상 #2를 외부로 출력한다. 동화상 복호 장치(1)의 상세한 설명에 앞서, 부호화 데이터 #1의 구성을 이하에 설명한다.

〔부호화 데이터의 구성〕

도 3을 이용하여, 동화상 부호화 장치(2)에 의해 생성되고, 동화상 복호 장치(1)에 의해 복호되는 부호화 데이터 #1의 구성예에 대하여 설명한다. 부호화 데이터 #1은, 예시적으로, 시퀀스 및 시퀀스를 구성하는 복수의 픽처를 포함한다.

부호화 데이터 #1에 있어서의 픽처 레이어 이하의 계층의 구조를 도 3에 나타낸다. 도 3의 (a) 내지 (d)는, 각각 픽처 PICT를 규정하는 픽처 레이어, 슬라이스 S를 규정하는 슬라이스 레이어, 트리 블록(Tree block) TBLK를 규정하는 트리 블록 레이어, 트리 블록 TBLK에 포함되는 부호화 단위(Coding Unit; CU)를 규정하는 CU 레이어를 나타내는 도면이다.

(픽처 레이어)

픽처 레이어에서는, 처리 대상의 픽처 PICT(이하, '대상 픽처'라고도 칭함)를 복호하기 위해 동화상 복호 장치(1)가 참조하는 데이터의 집합이 규정되어 있다. 픽처 PICT는, 도 3의 (a)에 나타낸 바와 같이, 픽처 헤더 PH 및 슬라이스 S₁ 내지 S_NS를 포함하고 있다(NS는 픽처 PICT에 포함되는 슬라이스의 총 수).

또한, 이하, 슬라이스 S₁ 내지 S_NS의 각각을 구별할 필요가 없는 경우, 부호의 첨자를 생략하여 기술하는 경우가 있다. 또한, 이하에 설명하는 부호화 데이터 #1에 포함되는 데이터로서, 첨자를 붙인 다른 데이터에 대해서도 마찬가지이다.

픽처 헤더 PH에는, 대상 픽처의 복호 방법을 결정하기 위해 동화상 복호 장치(1)가 참조하는 부호화 파라미터군이 포함되어 있다. 예를 들어, 예측 잔차의 양자화 스텝의 픽처 내에 있어서의 기준값(pic_init_qp_minus26)은, 픽처 헤더 PH에 포함되는 부호화 파라미터의 일례이다.

또한, 픽처 헤더 PH는, 픽처·파라미터·세트(PPS: Picture Parameter Set)라고도 칭해진다.

(슬라이스 레이어)

슬라이스 레이어에서는, 처리 대상의 슬라이스 S('대상 슬라이스'라고도 칭함)를 복호하기 위해 동화상 복호 장치(1)가 참조하는 데이터의 집합이 규정되어 있다. 슬라이스 S는, 도 3의 (b)에 나타낸 바와 같이, 슬라이스 헤더 SH, 및 트리 블록 TBLK₁ 내지 TBLK_NC(NC는 슬라이스 S에 포함되는 트리 블록의 총 수)를 포함하고 있다.

슬라이스 헤더 SH에는, 대상 슬라이스의 복호 방법을 결정하기 위해 동화상 복호 장치(1)가 참조하는 부호화 파라미터군이 포함된다. 슬라이스 타입을 지정하는 슬라이스 타입 지정 정보(slice_type)는, 슬라이스 헤더 SH에 포함되는 부호화 파라미터의 일례이다.

슬라이스 타입 지정 정보에 의해 지정 가능한 슬라이스 타입으로서는, (1) 부호화 시에 인트라 예측만을 이용하는 I 슬라이스, (2) 부호화 시에 단방향 예측, 또는, 인트라 예측을 이용하는 P 슬라이스, (3) 부호화 시에 단방향 예측, 쌍방향 예측, 또는 인트라 예측을 이용하는 B 슬라이스 등을 들 수 있다.

또한, 슬라이스 헤더 SH에는, 동화상 복호 장치(1)가 구비하는 루프 필터(도시생략)에 의해 참조되는 필터 파라미터가 포함되어 있어도 된다.

(트리 블록 레이어)

트리 블록 레이어에서는, 처리 대상의 트리 블록 TBLK(이하, '대상 트리 블록'이라고도 칭함)를 복호하기 위해 동화상 복호 장치(1)가 참조하는 데이터의 집합이 규정되어 있다.

트리 블록 TBLK는, 트리 블록 헤더 TBLKH와, 부호화 단위 정보 CU₁ 내지 CU_NL(NL은 트리 블록 TBLK에 포함되는 부호화 단위 정보의 총 수)을 포함한다. 여기서, 우선 트리 블록 TBLK와, 부호화 단위 정보 CU의 관계에 대하여 설명하면 다음과 같다.

트리 블록 TBLK는, 인트라 예측 또는 인터 예측, 및 변환의 각 처리를 위해 블록 사이즈를 특정하기 위한 유닛으로 분할된다.

트리 블록 TBLK의 상기 유닛은, 재귀적인(recursive) 4진 트리 분할에 의해 분할되어 있다. 이 재귀적인 4진 트리 분할에 의해 얻어지는 나무 구조를 이하, 부호화 트리(coding tree)라 칭한다.

이하, 부호화 트리의 말단 노드인 리프(leaf)에 대응하는 유닛을, 부호화 노드(coding node)로서 참조한다. 또한, 부호화 노드는, 부호화 처리의 기본적인 단위가 되기 때문에, 이하, 부호화 노드를, 부호화 단위(CU)라고도 칭한다.

즉, 부호화 단위 정보(이하, 'CU 정보'라 칭함) CU₁ 내지 CU_NL은, 트리 블록 TBLK를 재귀적으로 4진 트리 분할하여 얻어지는 각 부호화 노드(부호화 단위)에 대응하는 정보이다.

또한, 부호화 트리의 루트(root)는, 트리 블록 TBLK에 대응지어진다. 다시 말하자면, 트리 블록 TBLK는, 복수의 부호화 노드를 재귀적으로 포함하는 4진 트리 분할의 나무 구조의 최상위 노드에 대응지어진다.

또한, 각 부호화 노드의 사이즈는, 상기 부호화 노드가 직접 속하는 부호화 노드(즉, 상기 부호화 노드에 1 계층 상위 노드의 유닛)의 사이즈의 종횡 모두 절반이다.

또한, 각 부호화 노드가 취할 수 있는 사이즈는, 트리 블록의 사이즈와, 부호화 데이터 #1의 시퀀스 파라미터 세트 SPS에 포함되는, 부호화 노드의 사이즈 지정 정보에 의존한다. 트리 블록이 부호화 노드의 루트로 되기 때문에, 부호화 노드의 최대 사이즈는 트리 블록의 사이즈로 된다. 트리 블록의 최대 사이즈가 부호화 노드(CU)의 최대 사이즈에 일치하기 때문에, 트리 블록의 호칭으로서 LCU(Largest CU)가 사용되는 경우도 있다. 최소 사이즈에 관해서는, 예를 들어 사이즈 지정 정보로서 최소 부호화 노드 사이즈(log2_min_coding_block_size_minus3)와 최대와 최소의 부호화 노드 사이즈의 차(log2_diff_max_min_coding_block_size)가 사용된다. 일반적인 설정에서는, 최대 부호화 노드 사이즈가 64×64 화소, 최소 부호화 노드 사이즈가 8×8 화소로 되는 부호화 노드의 사이즈 지정 정보가 이용된다. 그 경우, 부호화 노드와 부호화 단위 CU의 사이즈는, 64×64 화소, 32×32 화소, 16×16 화소, 또는 8×8 화소 중 어느 하나로 된다.

(트리 블록 헤더)

트리 블록 헤더 TBLKH에는, 대상 트리 블록의 복호 방법을 결정하기 위해 동화상 복호 장치(1)가 참조하는 부호화 파라미터가 포함된다. 구체적으로는, 도 3의 (c)에 나타낸 바와 같이, 대상 트리 블록의 각 CU로의 분할 패턴을 지정하는 트리 블록 분할 정보 SP_TBLK, 및 양자화 스텝의 크기를 지정하는 양자화 파라미터 차분 Δqp(qp_delta)가 포함된다.

트리 블록 분할 정보 SP_TBLK는, 트리 블록을 분할하기 위한 부호화 트리를 나타내는 정보이며, 구체적으로는, 대상 트리 블록에 포함되는 각 CU의 형상, 사이즈, 및 대상 트리 블록 내에서의 위치를 지정하는 정보이다.

또한, 트리 블록 분할 정보 SP_TBLK는, CU의 형상이나 사이즈를 명시적으로 포함하지 않아도 된다. 예를 들어 트리 블록 분할 정보 SP_TBLK는, 대상 트리 블록 전체 또는 트리 블록의 부분 영역을 4분할할지 여부를 나타내는 플래그(split_coding_unit_flag)의 집합이어도 된다. 그 경우, 트리 블록의 형상이나 사이즈를 병용함으로써 각 CU의 형상이나 사이즈를 특정할 수 있다.

또한, 양자화 파라미터 차분 Δqp는, 대상 트리 블록에 있어서의 양자화 파라미터 qp와, 상기 대상 트리 블록의 직전에 부호화된 트리 블록에 있어서의 양자화 파라미터 qp'의 차분 qp-qp'이다.

(CU 레이어)

CU 레이어에서는, 처리 대상의 CU(이하, '대상 CU'라고도 칭함)를 복호하기 위해 동화상 복호 장치(1)가 참조하는 데이터의 집합이 규정되어 있다.

여기서, CU 정보 CU에 포함되는 데이터의 구체적인 내용의 설명을 하기 전에, CU에 포함되는 데이터의 나무 구조에 대하여 설명한다. 부호화 노드는, 예측 트리(prediction tree; PT) 및 변환 트리(transform tree; TT)의 루트의 노드로 된다. 예측 트리 및 변환 트리에 대하여 설명하면 다음과 같다.

예측 트리에 있어서는, 부호화 노드가 1 또는 복수의 예측 블록으로 분할되고, 각 예측 블록의 위치와 사이즈가 규정된다. 다른 표현으로 말하자면, 예측 블록은, 부호화 노드를 구성하는 1 또는 복수의 중복되지 않은 영역이다. 또한, 예측 트리는, 전술한 분할에 의해 얻어진 1 또는 복수의 예측 블록을 포함한다.

예측 처리는, 이 예측 블록마다 행해진다. 이하, 예측의 단위인 예측 블록을, 예측 단위(prediction unit; PU)라고도 칭한다.

예측 트리에 있어서의 분할의 종류는, 대략 말하자면, 인트라 예측의 경우와, 인터 예측의 경우의 2가지가 있다.

인트라 예측의 경우, 분할 방법은, 2N×2N(부호화 노드와 동일 사이즈)과, N×N이 있다.

또한, 인터 예측의 경우, 분할 방법은, 2N×2N(부호화 노드와 동일 사이즈), 2N×N, N×2N, 및 N×N 등이 있다.

또한, 변환 트리에 있어서는, 부호화 노드가 1 또는 복수의 변환 블록으로 분할되고, 각 변환 블록의 위치와 사이즈가 규정된다. 다른 표현으로 말하자면, 변환 블록은, 부호화 노드를 구성하는 1 또는 복수의 중복되지 않은 영역을 의미한다. 또한, 변환 트리는, 전술한 분할로 얻어진 1 또는 복수의 변환 블록을 포함한다.

변환 처리는, 이 변환 블록마다 행해진다. 이하, 변환의 단위인 변환 블록을, 변환 단위(transform unit; TU)라고도 칭한다.

(CU 정보의 데이터 구조)

계속해서, 도 3의 (d)를 참조하면서 CU 정보 CU에 포함되는 데이터의 구체적인 내용에 대하여 설명한다. 도 3의 (d)에 나타낸 바와 같이, CU 정보 CU는, 구체적으로는, 스킵 플래그 SKIP, PT 정보 PTI, 및 TT 정보 TTI를 포함한다.

스킵 플래그 SKIP는, 대상의 PU에 대하여, 스킵 모드가 적용되어 있는지 여부를 나타내는 플래그이며, 스킵 플래그 SKIP의 값이 1인 경우, 즉, 대상 CU에 스킵 모드가 적용되어 있는 경우, 그 CU 정보 CU에 있어서의 PT 정보 PTI, 및 TT 정보 TTI는 생략된다. 또한, 스킵 플래그 SKIP는, I 슬라이스에서는 생략된다.

PT 정보 PTI는, CU에 포함되는 PT에 관한 정보이다. 다시 말하자면, PT 정보 PTI는, PT에 포함되는 1 또는 복수의 PU 각각에 관한 정보의 집합이며, 동화상 복호 장치(1)에 의해 예측 화상을 생성할 때 참조된다. PT 정보 PTI는, 도 3의 (d)에 나타낸 바와 같이, 예측 타입 정보 PType, 및 예측 정보 PInfo를 포함하고 있다.

예측 타입 정보 PType은, 대상 PU에 대한 예측 화상 생성 방법으로서, 인트라 예측을 이용할지, 또는 인터 예측을 이용할지를 지정하는 정보이다.

예측 정보 PInfo는, 예측 타입 정보 PType이 어느 것의 예측 방법을 지정할지에 따라서, 인트라 예측 정보, 또는 인터 예측 정보로 구성된다. 이하에서는, 인트라 예측이 적용되는 PU를 인트라 PU라고도 부르고, 인터 예측이 적용되는 PU를 인터 PU라고도 부른다.

또한, 예측 정보 PInfo는, 대상 PU의 형상, 사이즈, 및 위치를 지정하는 정보가 포함된다. 전술한 바와 같이 예측 화상의 생성은, PU를 단위로 하여 행해진다. 예측 정보 PInfo의 상세에 대해서는 후술한다.

TT 정보 TTI는, CU에 포함되는 TT에 관한 정보이다. 다시 말하자면, TT 정보 TTI는, TT에 포함되는 1 또는 복수의 TU 각각에 관한 정보의 집합이며, 동화상 복호 장치(1)에 의해 잔차 데이터를 복호할 때 참조된다. 또한, 이하, TU를 변환 블록이라 부르기도 한다.

TT 정보 TTI는, 도 3의 (d)에 나타낸 바와 같이, 대상 CU의 각 변환 블록으로의 분할 패턴을 지정하는 TT 분할 정보 SP_TU, 및 TU 정보 TUI₁ 내지 TUI_NT(NT는, 대상 CU에 포함되는 변환 블록의 총 수)를 포함하고 있다.

TT 분할 정보 SP_TU는, 구체적으로는, 대상 CU에 포함되는 각 TU의 형상, 사이즈, 및 대상 CU 내에서의 위치를 결정하기 위한 정보이다. 예를 들어, TT 분할 정보 SP_TU는, 대상으로 되는 노드의 분할을 행할지 여부를 나타내는 정보(split_transform_unit_flag)와, 그 분할의 심도를 나타내는 정보(trafoDepth)로부터 실현할 수 있다.

또한, 예를 들어 CU의 사이즈가 64×64인 경우, 분할에 의해 얻어지는 각 TU는, 32×32 화소로부터 4×4 화소까지의 사이즈를 취할 수 있다.

또한, TU 분할 정보 SP_TU에는, 각 TU에 0이 아닌 변환 계수가 존재하는지 여부의 정보가 포함된다. 예를 들어, 개개의 TU에 대한 0이 아닌 계수의 존부(存否) 정보(CBP; Coded Block Flag)나, 복수의 TU에 대한 0이 아닌 계수의 존부 정보(no_residual_data_flag)가 TU 분할 정보 SP_TU에 포함된다.

TU 정보 TUI₁ 내지 TUI_NT는, TT에 포함되는 1 또는 복수의 TU 각각에 관한 개별 정보이다. 예를 들어, TU 정보 TUI는, 양자화 예측 잔차를 포함하고 있다.

각 양자화 예측 잔차는, 동화상 부호화 장치(2)가 이하의 처리 1 내지 3을, 처리 대상의 블록인 대상 블록에 실시함으로써 생성한 부호화 데이터이다.

처리 1: 부호화 대상 화상으로부터 예측 화상을 감산한 예측 잔차를 DCT 변환(Discrete Cosine Transform)한다;

처리 2: 처리 1에서 얻어진 변환 계수를 양자화한다;

처리 3: 처리 2에서 양자화된 변환 계수를 가변 길이 부호화한다;

또한, 전술한 양자화 파라미터 qp는, 동화상 부호화 장치(2)가 변환 계수를 양자화할 때 사용한 양자화 스텝 QP의 크기를 나타낸다(QP=2^{qp /6}).

(예측 정보 PInfo)

전술한 바와 같이, 예측 정보 PInfo에는, 인터 예측 정보 및 인트라 예측 정보의 2종류가 있다.

인터 예측 정보에는, 동화상 복호 장치(1)가 인터 예측에 의해 인터 예측 화상을 생성할 때 참조되는 부호화 파라미터가 포함된다. 보다 구체적으로는, 인터 예측 정보에는, 대상 CU의 각 인터 PU로의 분할 패턴을 지정하는 인터 PU 분할 정보, 및 각 인터 PU에 대한 인터 예측 파라미터가 포함된다.

인터 예측 파라미터에는, 참조 화상 인덱스와, 추정 움직임 벡터 인덱스와, 움직임 벡터 잔차가 포함된다.

한편, 인트라 예측 정보에는, 동화상 복호 장치(1)가 인트라 예측에 의해 인트라 예측 화상을 생성할 때 참조되는 부호화 파라미터가 포함된다. 보다 구체적으로는, 인트라 예측 정보에는, 대상 CU의 각 인트라 PU로의 분할 패턴을 지정하는 인트라 PU 분할 정보, 및 각 인트라 PU에 대한 인트라 예측 파라미터가 포함된다. 인트라 예측 파라미터는, 각 인트라 PU에 대한 인트라 예측(예측 모드)을 복원하기 위한 파라미터이다. 예측 모드를 복원하기 위한 파라미터에는, MPM(Most Probable Mode, 이하 마찬가지)에 관한 플래그인 mpm_flag, MPM을 선택하기 위한 인덱스인 mpm_idx, 및 MPM 이외의 예측 모드를 지정하기 위한 인덱스인 rem_idx가 포함된다. 여기서, MPM이란, 대상 파티션에 의해 선택될 가능성이 높은 추정 예측 모드이다. 예를 들어, 대상 파티션의 주변 파티션에 할당된 예측 모드에 기초하여 추정된 추정 예측 모드나, 일반적으로 발생 확률이 높은 DC 모드나 Planar 모드가 MPM에 포함될 수 있다.

또한, 이하에 있어서, 단순히 "예측 모드"라 표기하는 경우, 휘도 예측 모드를 가리킨다. 색차 예측 모드에 대해서는, "색차 예측 모드"라 표기하고, 휘도 예측 모드와 구별한다. 또한, 예측 모드를 복원하는 파라미터에는, 색차 예측 모드를 지정하기 위한 파라미터인 chroma_mode가 포함된다.

또한, mpm_flag, mpm_idx, rem_idx 및 chroma_mode의 파라미터의 상세에 대해서는, 후술한다.

또한, mpm_flag 및 rem_index는, 각각, 비특허문헌 1에 있어서의 "prev_intra_luma_pred_flag" 및 "rem_intra_luma_pred_mode"에 대응하고 있다. 또한, chroma_mode는, "intra_chroma_pred_mode"에 대응하고 있다.

〔동화상 복호 장치〕

이하에서는, 본 실시 형태에 따른 동화상 복호 장치(1)의 구성에 대하여, 도 1 내지 도 23을 참조하여 설명한다.

(동화상 복호 장치의 개요)

동화상 복호 장치(1)는 PU마다 예측 화상을 생성하고, 생성된 예측 화상과, 부호화 데이터 #1로부터 복호된 예측 잔차를 가산함으로써 복호 화상 #2를 생성하고, 생성된 복호 화상 #2를 외부로 출력한다.

여기서, 예측 화상의 생성은, 부호화 데이터 #1을 복호함으로써 얻어지는 부호화 파라미터를 참조하여 행해진다. 부호화 파라미터란, 예측 화상을 생성하기 위해 참조되는 파라미터를 의미한다. 부호화 파라미터에는, 화면 간 예측에 있어서 참조되는 움직임 벡터나 화면 내 예측에 있어서 참조되는 예측 모드 등의 예측 파라미터 외에, PU의 사이즈나 형상, 블록의 사이즈나 형상, 및 원 화상과 예측 화상의 잔차 데이터 등이 포함된다. 이하에서는, 부호화 파라미터에 포함되는 정보 중, 상기 잔차 데이터를 제외한 모든 정보의 집합을, 사이드 정보라 부른다.

또한, 이하에서는, 복호의 대상으로 되는 픽처(프레임), 슬라이스, 트리 블록, CU, 블록, 및 PU를 각각, 대상 픽처, 대상 슬라이스, 대상 트리 블록, 대상 CU, 대상 블록, 및 대상 PU라 부르기로 한다.

또한, 트리 블록의 사이즈는, 예를 들어 64×64 화소이며, CU의 사이즈는, 예를 들어 64×64 화소, 32×32 화소, 16×16 화소, 8×8 화소이며, PU의 사이즈는, 예를 들어 64×64 화소, 32×32 화소, 16×16 화소, 8×8 화소나 4×4 화소 등이다. 그러나, 이들 사이즈는, 단순한 예시이며, 트리 블록, CU, 및 PU의 사이즈는 이상으로 나타낸 사이즈 이외의 사이즈이어도 된다.

(동화상 복호 장치의 구성)

다시, 도 2를 참조하여, 동화상 복호 장치(1)의 개략적 구성에 대하여 설명하면 다음과 같다. 도 2는, 동화상 복호 장치(1)의 개략적 구성에 대하여 나타낸 기능 블록도이다.

도 2에 나타낸 바와 같이 동화상 복호 장치(1)는, 가변 길이 복호부(11), 역양자화·역변환부(13), 예측 화상 생성부(14), 가산기(15) 및 프레임 메모리(16)를 구비하고 있다.

[가변 길이 복호부]

가변 길이 복호부(11)는, 동화상 복호 장치(1)로부터 입력된 부호화 데이터 #1에 포함되는 각종 파라미터를 복호한다. 이하의 설명에서는, 가변 길이 복호부(11)가 CABAC 및 CAVLC 등의 엔트로피 부호화 방식에 의해 부호화되어 있는 파라미터의 복호를 적절히 행하는 것으로 한다. 가변 길이 복호부(11)는, 구체적으로는 이하의 수순에 의해, 1 프레임분의 부호화 데이터 #1을 복호한다.

우선, 가변 길이 복호부(11)는, 1 프레임분의 부호화 데이터 #1을, 역다중화함으로써, 도 3에 나타낸 계층 구조에 포함되는 각종 정보로 분리한다. 예를 들어, 가변 길이 복호부(11)는 각종 헤더에 포함되는 정보를 참조하여, 부호화 데이터 #1을, 슬라이스, 트리 블록으로 순차 분리한다.

여기서, 각종 헤더에는, (1) 대상 픽처의 슬라이스로의 분할 방법에 대한 정보, 및 (2) 대상 슬라이스에 속하는 트리 블록의 사이즈, 형상 및 대상 슬라이스 내에서의 위치에 대한 정보가 포함된다.

그리고, 가변 길이 복호부(11)는, 트리 블록 헤더 TBLKH에 포함되는 트리 블록 분할 정보 SP_TBLK를 참조하여, 대상 트리 블록을, CU로 분할한다. 또한, 가변 길이 복호부(11)는, 대상 CU에 대하여 얻어지는 변환 트리에 관한 TT 정보 TTI, 및 대상 CU에 대하여 얻어지는 예측 트리에 관한 PT 정보 PTI를 복호한다.

또한, TT 정보 TTI에는, 전술한 바와 같이, 변환 트리에 포함되는 TU에 대응하는 TU 정보 TUI가 포함된다. 또한, PT 정보 PTI에는, 전술한 바와 같이, 대상 예측 트리에 포함되는 PU에 대응하는 PU 정보 PUI가 포함된다.

가변 길이 복호부(11)는, 대상 CU에 대하여 얻어진 TT 정보 TTI를 TU 정보 복호부(12)에 공급한다. 또한, 가변 길이 복호부(11)는, 대상 CU에 대하여 얻어진 PT 정보 PTI를 예측 화상 생성부(14)에 공급한다. 또한, 가변 길이 복호부(11)의 구성에 대해서는, 후에 보다 상세히 설명한다.

[역양자화·역변환부]

역양자화·역변환부(13)는, 대상 CU에 포함되는 각 블록에 대하여, TT 정보 TTI에 기초하여 역양자화·역변환 처리를 실행한다. 구체적으로는, 역양자화·역변환부(13)는, 각 대상 TU에 대하여, 대상 TU에 대응하는 TU 정보 TUI에 포함되는 양자화 예측 잔차를 역양자화 및 역직교 변환함으로써, 화소마다의 예측 잔차 D를 복원한다. 또한, 여기에서 직교 변환이란, 화소 영역으로부터 주파수 영역으로의 직교 변환을 가리킨다. 따라서, 역직교 변환은, 주파수 영역으로부터 화소 영역으로의 변환이다. 또한, 역직교 변환의 예로서는, 역 DCT 변환(Inverse Discrete Cosine Transform), 및 역 DST 변환(Inverse Discrete Sine Transform) 등을 들 수 있다. 역양자화·역변환부(13)는, 복원한 예측 잔차 D를 가산기(15)에 공급한다.

[예측 화상 생성부]

예측 화상 생성부(14)는, 대상 CU에 포함되는 각 PU에 대하여, PT 정보 PTI에 기초하여 예측 화상을 생성한다. 구체적으로는, 예측 화상 생성부(14)는, 각 대상 PU에 대하여, 대상 PU에 대응하는 PU 정보 PUI에 포함되는 파라미터에 따라서 인트라 예측 또는 인터 예측을 행함으로써, 복호 완료 화상인 국소 복호 화상 P'로부터 예측 화상 Pred를 생성한다. 예측 화상 생성부(14)는, 생성한 예측 화상 Pred를 가산기(15)에 공급한다. 또한, 예측 화상 생성부(14)의 구성에 대해서는, 후에 보다 상세히 설명한다.

[가산기]

가산기(15)는, 예측 화상 생성부(14)로부터 공급되는 예측 화상 Pred와, 역양자화·역변환부(13)로부터 공급되는 예측 잔차 D를 가산함으로써, 대상 CU에 대한 복호 화상 P를 생성한다.

[프레임 메모리]

프레임 메모리(16)에는, 복호된 복호 화상 P가 순차 기록된다. 프레임 메모리(16)에는, 대상 트리 블록을 복호하는 시점에 있어서, 상기 대상 트리 블록보다도 먼저 복호된 모든 트리 블록(예를 들어, 래스터 스캔(raster scan) 순서로 선행되는 모든 트리 블록)에 대응하는 복호 화상이 기록되어 있다.

또한, 대상 CU를 복호하는 시점에 있어서, 상기 대상 CU보다도 먼저 복호된 모든 CU에 대응하는 복호 화상이 기록되어 있다.

또한, 동화상 복호 장치(1)에 있어서, 화상 내의 모든 트리 블록에 대하여, 트리 블록 단위의 복호 화상 생성 처리가 끝난 시점에서, 동화상 복호 장치(1)에 입력된 1 프레임분의 부호화 데이터 #1에 대응하는 복호 화상 #2가 외부로 출력된다.

(예측 모드의 정의)

전술한 바와 같이, 예측 화상 생성부(14)는, PT 정보 PTI에 기초하여 예측 화상을 생성하여 출력한다. 대상 CU가 인트라 CU인 경우, 예측 화상 생성부(14)에 입력되는 PU 정보 PTI는, 예측 모드(Intra Pred Mode)와, 색차 예측 모드(Intra Pred ModeC)를 포함한다. 이하, 예측 모드(휘도·색차)의 정의에 대하여, 도 4 내지 9를 참조하여 설명한다.

(개요)

도 4는, 동화상 복호 장치(1)에 의해 이용되는 인트라 예측 방식의 분류와 대응하는 예측 모드 번호의 예를 나타내고 있다. Planar 예측(Intra_Planar)에 '0', 수직 예측(Intra_Vertical)에 '1', 수평 예측(Intra_Horizontal)에 '2', DC 예측(Intra_DC)에 '3', Angular 예측(Intra_Angular)에 '4' 내지 '34', LM 예측(Intra_FromLuma)에 '35'의 예측 모드 번호가 각각 할당되어 있다. LM 예측은 휘도의 복호 화소값에 기초하여 색차의 화소값을 예측하는 방식이며, 색차의 예측 시에만 선택 가능하다. 그 밖의 예측 모드는 휘도와 색차 중 어느 것에 있어서도 선택될 수 있다. 또한, 수평 예측, 수직 예측, Angular 예측을 총칭하여 방향 예측이라 부른다. 방향 예측은, 대상 PU 주변의 인접 화소값을 특정한 방향으로 외삽(extrapolating)함으로써 예측 화상을 생성하는 예측 방식이다.

다음으로, 도 5를 이용하여, 방향 예측에 포함되는 각 예측 모드의 식별자를 설명한다. 도 5에는 방향 예측에 속하는 33종류의 예측 모드에 대하여, 예측 모드의 식별자와 대응하는 예측 방향이 도시되어 있다. 도 5 중의 화살표 방향은 예측 방향을 표시하지만, 보다 정확하게는, 예측 대상 화소로부터 예측 대상 화소가 참조하는 복호 완료 화소로의 벡터의 방향을 나타내고 있다. 그 의미에서, 예측 방향을 참조 방향이라고도 부른다. 각 예측 모드의 식별자는, 주 방향이 수평 방향(HOR)인지 수직 방향(VER)인지를 나타내는 부호와, 주 방향에 대한 변위의 조합으로 이루어지는 식별자가 대응지어져 있다. 예를 들어, 수평 예측에는 HOR, 수직 예측에는 VER, 우상 45°방향의 주변 화소를 참조하는 예측 모드에는 VER+8, 좌상 45°방향의 주변 화소를 참조하는 예측 모드에는 VER-8, 좌하 45°방향의 주변 화소를 참조하는 예측 모드에는 HOR+8의 부호가 각각 할당된다. 방향 예측에는, VER-8 내지 VER+8의 17개의 주 방향이 수직 방향인 예측 모드와, HOR-7 내지 HOR+8의 16개의 주 방향이 수평 예측인 예측 모드가 정의되어 있다.

예측 방향은, 주 방향 및 구배에 의해 표현된다. 주 방향이란, 예측 방향을 표현하기 위한 기준이 되는 방향이며, 예를 들어 수직 방향 또는 수평 방향이다. 구배란, 예측 방향과 주 방향이 이루는 각을 나타내는 것이다.

예측 모드에는, 예측 방향이 대응한다. 예측 모드에는, 예를 들어 비특허문헌 1에 기재되어 있는 바와 같이, 33종류의 방향 예측을 채용할 수 있다. 또한, 예측 모드에는, 예측 모드 번호가 대응지어진다.

또한, 비특허문헌 1에 기재되어 있는 바와 같이, 예측 모드에는, 예측 모드 식별자를 할당하는 구성이어도 된다. 예측 모드 식별자는, 주 방향 및 변위로 구성할 수 있다. 변위는, 구배를 특정하기 위한 식별 정보이다.

구체적으로는, 주 방향의 표현에 있어서, 수직 방향은 "VER"로 표현하고, 수평 방향은 "HOR"로 표현한다. 또한, 주 방향으로부터의 변위를, "-8"로부터 "-1", "+1"로부터 "+8"로 표현한다. 또한, 방향 예측에는, 주 방향이 수직 방향인 VER-8로부터 VER+8의 17개의 예측 모드와, 주 방향이 수평 방향인 HOR-7로부터 HOR+8의 16개의 예측 모드를 정의할 수 있다.

또한, 구배는, 비특허문헌 1에 기재되어 있는 바와 같이, 예측 모드 식별자(예측 모드 번호)와 대응지어지는 구성이어도 된다. 이상의 구성에서는, 예측 모드 번호와 예측 방향이 대응지어지고, 예측 방향의 식별자와, 구배가 대응지어진다.

상기 구성에 의하면, 상기 예측 모드 및 예측 모드 번호 사이의 대응짓기가, 예측 모드 번호로부터 방향 예측에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖는다. 여기서, 특징량이란, 예를 들어 예측 방향의 주 방향, 구배이다. 또한, 특징량은, 예측 방향의 정밀도, 구배(변위)의 절댓값, 구배(변위)의 부호, 2개의 예측 모드의 변위의 이동(異同) 등이어도 된다.

상기 성질은, 예를 들어 다음의 성질 1 내지 3이다. 또한, 상기 대응짓기에 있어서, 이하의 성질 1 내지 3의 모두를 동시에 만족시키지 않아도 무방하다. 예를 들어, 상기 대응짓기에서는, 성질 1 및 성질 2 중 적어도 한쪽을 만족시키고 있으면 된다. 또한, 성질 1 내지 3의 조합을 만족시키는 대응짓기도 가능하다.

(성질 1) 주 방향 판정의 용이성

주 방향이 수직 방향인지, 수평 방향인지를 판정하는 것의 용이성이다. 이 성질을 실현하기 위한 대응짓기의 일례로서는, 예측 모드 번호의 짝홀수에 따라서, 수직 방향의 예측 모드 및 수평 방향의 예측 모드를 대응짓는 것을 들 수 있다. 이에 의해 예측 모드 번호의 짝홀수 판정을 하는 것만으로, 주 방향을 판정할 수 있다.

또한, 다른 예로서는, 예측 모드 번호가 소정의 번호 이상인지 여부에 따라서, 수직 방향의 예측 모드 및 수평 방향의 예측 모드를 대응짓는 것을 들 수 있다. 이에 의해, 예측 모드가 소정의 번호 이상인지 여부를 판정함으로써, 주 방향을 판정할 수 있다.

따라서, 이러한 성질이 있으면, 예측 모드와, 예측 모드의 주 방향을 대응짓는 테이블을 설치하지 않아도 된다. 이에 의해, 메모리 삭감을 도모할 수 있다.

(성질 2) 동변위 방향 예측 모드 판정의 용이성

이는, 2개의 예측 모드가, 주 방향이 상이하면서, 주 방향에 대한 변위(구배)가 동등한지 여부를 판정하는 것의 용이성이다.

이 성질을 실현하기 위한 대응짓기의 일례로서는, 주 방향이 상이하면서, 주 방향에 대한 변위(구배)가 동등한 2개의 예측 모드에 대하여, 연속한 예측 모드 번호를 대응짓는 것을 들 수 있다. 이에 의해, 2개 걸러 다른 변위의 예측 모드가 예측 모드 번호와 대응지어진다. 따라서, 이 주기성을 판정함으로써, 2개의 예측 모드가, 주 방향이 상이하면서, 주 방향에 대한 변위(구배)가 동등한지 여부를 특정할 수 있다.

또한, 다른 예로서는, 주 방향이 상이하면서, 주 방향에 대한 변위(구배)가 동등한 2개의 예측 모드에 대하여, 일정한 차를 갖는 예측 모드 번호를 대응짓는 것을 들 수 있다. 이에 의해, 2개의 예측 모드에 대응하는 예측 모드 번호의 차를 판정함으로써, 2개의 예측 모드의 변위(구배)의 상이함을 판정할 수 있다.

여기서, 주 방향이 상이하면서, 주 방향에 대한 변위(구배)가 동등한 2개의 예측 모드의 사이에는, 변위(구배)와의 대응짓기를 공유할 수 있다. 즉, 2개의 예측 모드 번호에 대하여, 하나의 변위(구배)를 대응지을 수 있다. 다시 말하자면, 어느 한쪽 주 방향에 대하여, 예측 모드 번호(예측 모드 식별자)와, 하나의 변위(구배)를 대응지어 두기만 해도, 다른 쪽 주 방향에 대해서는, 대응짓기를 생략할 수 있다. 다른 표현으로 말하자면, 주 방향이 상이하면서, 변위가 동등한 2개의 예측 모드 식별자에 대한 구배의 대응짓기를 통합할 수 있다. 이에 의해, 대응짓기를 위한 테이블 사이즈를 작게 할 수 있다.

(성질 3) 방향 예측 정밀도 판정의 용이성

방향 예측 정밀도에 대하여 말하자면, 짝수 변위는 정밀도가 낮고, 홀수 변위는 높은 정밀도이다.

이 성질을 만족시키기 위한 대응짓기의 일례로서는, 예측 모드 번호가 소정의 번호 이상인지 여부에 따라서, 짝수 변위의 예측 모드 및 홀수 변위의 예측 모드를 대응짓는 것을 들 수 있다.

또한, 다른 예로서는, 예측 모드 번호의 짝홀수에 따라서, 짝수 변위의 예측 모드 및 홀수 변위의 예측 모드를 대응짓는 것을 들 수 있다.

판정 방법에 대해서는, 이미 설명한 바와 같으므로, 여기에서는, 그 설명을 생략한다.

상기 구성에 의하면, 상기 성질에 기초하여, 예측 모드 번호로부터, 상기의 특징량을 도출하는 것이 가능해지기 때문에, 예측 모드 번호(예측 모드 식별자)와, 상기 특징량을 대응짓는 테이블의 사이즈를 작게 하거나, 그 테이블을 생략하거나 할 수 있다.

또한, 소정의 복원 처리에서는, 상기와 같이 특정한 특징량에 따라서 처리를 실행할 수 있다. 소정의 복원 처리로서는, 예를 들어 예측 화상의 생성에 있어서, 예측 방향을 도출하는 처리, 예측 화상 생성에 이용하는 참조 화소에 대하여 적용하는 필터 선택 처리, 변환 계수를 복호하는 스캔 순서의 결정 처리, 변환 계수에 적용하는 수직 1차 변환 및 수평 1차 변환의 직교 변환 처리 등을 들 수 있다. 이들 복원 처리는, 예측 방향에 관한 소정의 특징량에 따라서 처리를 행하는 경우가 있다. 즉, 이들 복원 처리는, 예측 방향에 관한 소정의 특징량에 따라서 행하는 복원 처리라고 할 수도 있다.

이상으로 나타낸 바와 같이, 상기 구성에 의하면, 특정한 특징량에 따라서 복원 처리를 행한다. 그 결과, 예측 방향에 관한 소정의 특징량에 따라서 처리를 행하는 복원 처리를 행하는 경우에 있어서 필요한 메모리를 삭감할 수 있다는 효과를 발휘한다.

[정의 1]

동화상 부호화 장치(1)에 의해 적용되는 인트라 예측 방식과 예측 모드 번호의 대응은, 예를 들어 도 6에 나타낸 바와 같이 정의되어 있어도 된다. 도 6은, 인트라 예측 방식과 예측 모드 번호의 대응의 정의인 예측 모드 정의 DEFPM1의 일례를 나타내는 도면이다. 도 6에 나타낸 예측 모드 정의 DEFPM1에서는, Planar 예측에 '0', 수평 예측에 '1', 수직 예측에 '2', DC 예측에 '3'의 예측 모드 번호가 할당되어 있다. 예측 모드 번호 '4' 내지 '18'까지는, 주 방향으로부터의 변위가 짝수인 Angular 예측 모드가, 변위가 작은 예측 모드의 순으로서, 변위가 동등한 경우에는 주 방향이 수직, 수평으로 되는 순으로, 예측 모드 번호에 할당되어 있다. 예측 모드 번호 '19' 내지 '35'까지는, 주 방향으로부터의 변위가 홀수인 Angular 예측 모드가, 변위가 작은 예측 모드의 순으로서, 변위가 동등한 경우에는 주 방향이 수직, 수평으로 되는 순으로, 예측 모드 번호에 할당되어 있다.

또한, 여기서, 휘도 및 색차에 대하여 적용되는 예측 모드의 종류에 대하여 설명해 두면 다음과 같다.

우선, 휘도에 대하여 적용되는 예측 모드의 종류에 대하여 도 7을 이용하여 설명한다. 휘도에 적용되는 예측 모드의 종류는, PU 사이즈에 따라 상이하다. 도 7에 PU 사이즈의 2의 대수(log2PartSize)와 예측 모드 수의 관계를 나타낸다. log2PartSize가 2(PU 사이즈가 4×4 화소)인 경우에 18개, 그 이외의 경우, 즉log2PartSize가 3 내지 6(PU 사이즈가 8×8 화소 내지 64×64 화소)인 경우에 35개의 예측 모드를 선택할 수 있다. 여기서, 18개의 예측 모드는, 예측 모드 번호 0 내지 17의 예측 모드이며, 35개의 예측 모드, 예측 모드 번호 0 내지 34의 예측 모드이다.

다음으로, 색차에 대하여 적용되는 예측 모드의 종류에 대하여 도 8을 이용하여 설명한다. 색차에 적용되는 예측 모드 수는 예측 단위의 사이즈에 의하지 않고 6개이지만, 예측 모드의 종류는 대상의 색차 예측 단위에 대응하는 휘도의 예측 단위에 적용되는 예측 모드(대응 휘도 예측 모드)에 따라서 상이하다. 도 8에 대응 휘도 예측 모드의 예측 모드 번호에 따른 색차 예측 모드의 정의를 도시하고 있다. 대응 휘도 예측 모드의 예측 모드 번호가 '0' 내지 '3'인 경우, 선택 가능한 색차 예측 모드에는 LM 예측, 수직 예측, 수평 예측, Planar 예측, 및 VER+8 예측이 포함된다. 대응 휘도 예측 모드의 예측 모드 번호가 '4' 이상인 경우, 선택 가능한 색차 예측 모드에는 LM 예측, VER 예측, HOR 예측, 및 Planar 예측 외에, 대응 휘도 예측 모드와 동일한 예측 모드가 포함된다.

다시 도 6의 예측 모드 정의 DEFPM1을 참조하면서, 상기 예측 모드 정의 DEFPM1에 있어서의 예측 모드 번호의 성질에 대하여 설명한다. 상기 도 6의 예측 모드 정의 DEFPM1에 의해 정의되는 예측 모드 번호는, 이하의 3개의 성질 1 내지 3을 갖는다.

(성질 1) 주 방향 판정의 용이성

주 방향이 수직 방향인 방향 예측에는 짝수의 예측 모드 번호, 주 방향이 수평 방향인 방향 예측에는 홀수의 예측 모드 번호가 대응지어져 있다. 이 경우, 예측 모드 번호가 홀수인지 짝수인지를 판정함으로써 주 방향이 수평 방향인지 수직 방향인지를 판정할 수 있다. 예측 모드 번호가 홀수인지 짝수인지의 판정은, 예측 모드 번호의 최하위 비트가 0인지 1인지에 의해 판정할 수 있다.

(성질 2) 동변위 방향 예측 모드 판정의 용이성

주 방향이 상이하면서, 주 방향에 대한 변위가 동등한 2개의 예측 모드에는, 연속하는 예측 모드 번호가 대응지어져 있다. 예를 들어, HOR+4 예측과 VER+4 예측에는, 예측 모드 번호 13과 14가 각각 할당되어 있다. 이 경우, 2개의 예측 모드의 주 방향에 대한 변위가 동등한지 여부의 판정을 용이하게 실현할 수 있다. 2개의 예측 모드를 m1, m2라 하면, (m1+c)>>1과 (m2+c)>>1이 일치하는지 여부에 의해 2개의 예측 모드가 동일한 변위를 갖는지를 판정할 수 있다. 또한, c는 연속하는 동변위의 예측 모드 번호 중 작은 쪽의 예측 모드 번호가 홀수인 경우 1, 짝수인 경우 0으로 된다.

(성질 3) 방향 예측 정밀도 판정의 용이성

작은 예측 모드 번호(18 이하)에 대하여 주 방향에 대한 변위가 짝수인 방향 예측이 대응지어지는 한편, 큰 예측 모드 번호(19 이상)에 대하여 주 방향에 대한 변위가 홀수인 방향 예측이 대응지어져 있다. 짝수의 변위에 대하여 홀수의 변위를 가함으로써, 보다 높은 정밀도로 변위를 표현할 수 있다. 따라서, 작은 예측 모드 번호에 대하여 낮은 정밀도의 변위, 큰 예측 모드 번호에 대하여 높은 정밀도의 변위가 대응지어져 있다. 이 경우, 예측 방향의 정밀도가 낮은지 여부가, 예측 모드 번호가 소정의 값(상기한 예에서는 18) 이하인지 여부에 의해 판정될 수 있다.

이상으로 나타낸 예측 모드 정의의 성질 1 내지 3은, 예측 모드에 기초하는 판정 처리를 간략화하는 효과를 갖는다. 여기에서의 간략화란, 판정 처리에 있어서의 연산수의 감소나, 판정 처리에 필요로 하는 테이블 사이즈의 삭감을 포함한다. 예측 모드에 기초하는 판정을 수반하는 처리의 예로서, Angular 예측에 의한 예측 화상 생성, 추정 예측 모드 후보의 도출, 참조 화소 필터의 적용, 변환 계수의 스캔, 방향 의존의 직교 변환이 있다. 각 예에 대한 상세는 후술한다.

[정의 2]

또한, 상기와는 상이한 예측 모드 정의를 사용하여도 된다. 예를 들어, 도 9에 나타낸 예측 모드 정의 DEFPM2를 사용하여도 된다. 도 9의 예측 모드 정의 DEFPM2에서는, Planar 예측(Planar)에 '0', 수직 예측(VER)에 '1', 수평 예측(HOR)에 '2', VER-8 예측(VER-8)에 '3', DC 예측(DC)에 '4'의 예측 모드 번호가 할당되어 있다. 예측 모드 번호 '5' 내지 '34'까지는, 주 방향에 대한 변위의 절댓값이 미리 정해진 우선도 순이 되도록 예측 모드 번호가 할당되어 있다. 여기서 미리 정해진 우선순이란, 변위의 절댓값이 8, 2, 4, 6, 1, 3, 5, 7의 순으로 작은 예측 모드 번호가 할당되는 순이다. 이 우선순은, 대각 방향에 대응하는 예측 모드 (8), 방향 정밀도가 거친 예측 방향에 대응하는 예측 모드를 변위의 절댓값이 작은 순 (2, 4, 6), 방향 정밀도의 미세한 예측 방향에 대응하는 예측 모드를 변위의 절댓값이 작은 순 (1, 3, 5, 7)로 되어 있다. 이 우선순은, 대각 방향에 대응하는 예측 모드가, 수평·수직을 제외한 다른 예측 방향에 대응하는 예측 모드에 비하여 선택되기 쉬운 사실을 이용하고 있다. 또한, 이 우선순은, 변위의 절댓값이 작은 예측 방향, 즉 주 방향에 가까운 방향에 대응하는 예측 모드가 선택되기 쉬운 사실을 이용하고 있다.

또한, 예측 모드 번호 '5' 내지 '34'에 있어서, 주 방향에 대한 변위의 절댓값이 동등한 경우, 부(negative)의 변위에 대응하는 예측 모드에 대하여, 정(positive)의 변위에 대응하는 예측 모드에 비하여 작은 예측 모드 번호가 할당되어 있다. 이 우선순은, 변위의 절댓값이 동등한 경우에는 부의 변위에 의한 예측 모드 쪽이 정의 변위에 의한 예측 모드보다도 선택되기 쉽다는 사실을 고려하여 결정되어 있다. 부의 변위를 갖는 예측 모드는, 좌상으로부터 우하 방향의 예측 방향에 대응하는 예측 모드인 것에 반하여, 정의 변위를 갖는 예측 모드는, 우상으로부터 좌하의 예측 방향 또는 좌하로부터 우상의 예측 방향에 대응하는 예측 모드에 상당한다. CU를 래스터 스캔 또는 Z 스캔에 의해 주사하여 순서대로 복호할 때에는, 우상이나 좌하의 복호 화상은 좌상의 복호 화상에 비하여 이용할 수 없는 경우가 많다. 그로 인해, 우상이나 좌하의 복호 화상을 참조하는 정의 변위를 갖는 예측 모드는, 좌상의 복호 화상을 참조하는 부의 변위를 갖는 예측 모드에 비하여 선택되기 어렵다.

또한, 예측 모드 번호 '5' 내지 '34'에 있어서, 주 방향에 대한 변위가 동등한 경우, 주 방향이 수직 방향인 예측 모드에 대하여 주 방향이 수평 방향인 예측 모드에 비하여 작은 예측 모드 번호가 할당되어 있다. 주 방향이 수직 방향인 경우, 대상 PU의 좌상, 직상, 우상의 복호 화상을 참조한다. 한편, 주 방향이 수평 방향인 경우, 대상 PU의 좌상, 직좌, 좌하의 복호 화상을 참조한다. 래스터 스캔 또는 Z 스캔에 의해 주사하여 순서대로 복호 처리를 행하는 경우, 대상 PU의 좌하의 복호 화상은, 대상 PU의 좌상, 직상, 우상, 직좌의 복호 화상에 비하여 이용할 수 없을 가능성이 높다. 그로 인해, 대상 PU의 좌하의 복호 화상을 참조하는 주 방향이 수평 방향인 예측 모드는, 주 방향이 수직 방향인 예측 모드에 비하여 선택되기 어렵다.

도 9에 나타낸 예측 모드 정의 DEFPM2는, 전술한 도 6에 있어서의 예측 모드 정의가 갖는 성질 1 내지 3 외에, 다음의 2가지 성질을 갖는다.

(성질 4) 변위의 부호 판정의 용이성

동일 부호의 변위에 대응지어지는 예측 모드가, 2개씩 주기적으로 반복되고 있다. 예를 들어, 연속하는 예측 모드 번호 7 내지 10은, 순서대로 VER-2, HOR-2, VER+2, HOR+2이며, 부호는 순서대로 '-', '-', '+', '+'로 되어 있다. 이 경우, 부호의 정부가 예측 모드 번호로부터 도출 가능하다. 구체적으로는, 예측 모드 번호 m에 대하여, 부호 s가 다음 식에 의해 도출 가능하다.

여기서, 변수 d는 부호의 반복 주기의 위상에 상당하는 값이며, 도 9의 예에 있어서는 d=1로 된다. 연산자 '&'는 비트 단위의 논리합을 취하는 연산자이며, (m+d)&2는, 정수 m+d의 2진 표현의 하위부터 2비트째가 1이면 2의 값으로 되는 한편, 상기 2비트째가 0이면 0의 값으로 된다. 상기의 식을 바꿔 말하자면, m+d의 값을 4로 제산했을 때의 나머지가, 0 또는 1이면 s는 -1(부의 부호)로 되고, 나머지가 2 또는 3이면 s는 +1(정의 부호)로 된다고도 표현할 수 있다.

(성질 5) 변위의 절댓값 판정의 용이성

동일한 절댓값을 갖는 변위에 대응지어지는 예측 모드가 연속하고 있다. 예를 들어, 연속하는 예측 모드 번호 7 내지 10은, 순서대로 VER-2, HOR-2, VER+2, HOR+2이며, 변위의 절댓값은 모두 2이다. 이때 예측 모드 번호 m에 있어서, 변위의 절댓값을 고유하게 특정하는 인덱스 DI를, DI=(m+d)>>2에 의해 도출할 수 있다.

(예측 화상 생성부의 상세)

다음으로, 도 10을 이용하여 예측 화상 생성부(14)의 구성에 대하여 더 상세히 설명한다. 도 10은 예측 화상 생성부(14)의 구성예에 대하여 나타내는 기능 블록도이다. 또한, 본 구성예는, 예측 화상 생성부(14)의 기능 중, 인트라 CU의 예측 화상 생성에 관계되는 기능 블록을 도시하고 있다.

도 10에 나타낸 바와 같이, 예측 화상 생성부(14)는 예측 단위 설정부(141), 참조 화소 설정부(142), 스위치(143), 참조 화소 필터부(144), 휘도 예측부(145), 및 색차 예측부(146)를 구비한다.

예측 단위 설정부(141)는, 대상 CU에 포함되는 PU를 규정의 설정 순서에서 대상 PU로 설정하고, 대상 PU에 관한 정보(대상 PU 정보)를 출력한다. 대상 PU 정보에는, 대상 PU의 사이즈, 대상 PU의 CU 내의 위치, 대상 PU의 휘도 또는 색차 플레인을 나타내는 인덱스(휘도 색차 인덱스 cIdx)가 적어도 포함된다.

PU의 설정 순서는, 예를 들어 입력 화상이 YUV 포맷인 경우, 대상 CU에 포함되는 Y에 대응하는 PU를 래스터 스캔 순서로 설정하고, 계속해서, U, V의 순서에 대응하는 PU를 각각 래스터 스캔 순서로 설정하는 순서를 이용한다.

입력 화상이 4:2:0의 YUV 포맷인 경우의 PU의 설정 순서 및 CU 내에 포함되는 PU를 도시한 도 11을 이용하여 설명한다.

도 11의 (A)는, 대상 CU의 사이즈가 8×8 화소이면서, 분할 타입이 N×N인 경우의 CU 내의 PU를 도시하고 있다. 우선, 휘도 Y에 대응하는 4개의 4×4 화소의 PU가 래스터 스캔 순서(PU_Y0, PU_Y1, PU_Y2, PU_Y3의 순서)로 설정된다. 다음에, 색차 U에 대응하는 1개의 4×4 화소의 PU(PU_U0)가 설정된다. 마지막으로, 색차 V에 대응하는 1개의 4×4 화소의 예측 단위(PU_V0)가 설정된다.

도 11의 (B)는, 대상 CU의 사이즈가 16×16 화소이면서, 분할 타입이 2N×2N인 경우의 CU 내의 PU를 도시하고 있다. 우선, 휘도 Y에 대응하는 1개의 16×16 화소의 예측 단위(PU_Y0)가 설정된다. 다음에, 색차 U에 대응하는 1개의 8×8 화소의 예측 단위(PU_U0)가 설정된다. 마지막으로, 색차 V에 대응하는 1개의 8×8 화소의 예측 단위(PU_V0)가 설정된다.

참조 화소 설정부(142)는, 입력되는 대상 PU 정보에 기초하여, 프레임 메모리에 기록되어 있는 대상 PU 주변의 복호 화상의 화소값(복호 화소값)을 판독하고, 예측 화상 생성 시에 참조되는 참조 화소를 설정한다. 참조 화소값 p(x, y)는 복호 화소값 r(x, y)을 이용하여 다음 식에 의해 설정된다.

, 및

여기서, (xB, yB)는 대상 PU 내 좌상 화소의 위치, nS는 대상 PU의 사이즈를 나타내고, 대상 PU의 폭 또는 높이 중 큰 쪽의 값을 나타낸다. 상기 식에서는, 기본적으로는, 대상 PU의 상변에 인접하는 복호 화소의 라인 및 대상 PU의 좌변에 인접하는 복호 화소의 컬럼에 포함되는 복호 화소값을 대응하는 참조 화소값에 카피하고 있다. 또한, 특정한 참조 화소 위치에 대응하는 복호 화소값이 존재하지 않거나, 또는 참조할 수 없는 경우에는, 미리 정해진 값을 이용하여도 되며, 대응하는 복호 화소값의 근방에 존재하는 참조 가능한 복호 화소값을 이용하여도 된다.

스위치(143)는, 입력되는 대상 PU 정보에 기초하여, 대상 PU가 휘도인지 색차인지를 판정하고, 대응하는 출력 방향에 대하여 입력되는 참조 화소를 출력한다.

참조 화소 필터부(144)는, 입력되는 예측 모드에 따라서, 입력되는 참조 화소값에 필터를 적용하여, 필터 적용 후의 참조 화소값을 출력한다. 구체적으로는, 참조 화소 필터부(144)는, 필터의 적용 유무를, 대상 PU 사이즈와 예측 모드에 따라서 결정한다. 도 12를 이용하여, 필터의 적응 유무와, 대상 PU 사이즈 및 예측 모드의 관계를 설명하면 다음과 같다. 도 12는, 도 6의 예측 모드 정의 DEFPM1에 의한 예측 모드 번호와 필터 적용 유무(refPicFilterFlag)의 값의 관계를 나타내고 있다. 도 12에 있어서, refPicFilterFlag의 값이 1인 경우에는 참조 화소의 각 화소에 대하여 인접 화소를 이용하는 평활화 필터를 적용하였음을 나타내고, refPicFilterFlag의 값이 0인 경우에는 평활화 필터를 적용하지 않았음을 나타낸다. 대상 PU 사이즈 nS가 4인 경우에는, 예측 모드에 따르지 않고refPicFilterFlag를 0으로 설정한다. 대상 PU 사이즈 nS가 8인 경우에는, 예측 모드 번호가 0(Planar), 4(VER-8), 17(HOR+8), 18(VER+8)인 경우에 refPicFilterFlag를 1로 설정하고, 그 이외의 경우 0으로 설정한다. 대상 PU 사이즈 nS가 16인 경우에는, 예측 모드 번호가 1(HOR), 2(VER), 3(DC), 24 내지 27(VER±1, HOR±1)인 경우에 refPicFilterFlag를 0으로 설정하고, 그 이외의 경우 1로 설정한다. 대상 PU 사이즈 nS가 32 또는 64인 경우에는, 예측 모드 번호가 1 내지 3인 경우에refPicFilterFlag를 0으로 설정하고, 그 이외의 경우 1로 설정한다.

또한, 상기의 설정에 있어서, 대상 PU 사이즈 nS가 32와 64인 경우, 즉, 대상 PU 사이즈가 32×32 화소와 64×64 화소인 경우에 동일한 선택 기준으로 평활화 필터의 적용 유무를 결정하는 것이 바람직하다. 일반적으로 PU 사이즈에 따라서, 어느 쪽의 예측 모드의 경우에 참조 화소에 대한 평활화 필터를 적용해야 할지는 서로 다르다. 그러나, 32×32 화소의 PU도 64×64 화소의 PU도, 32×32 화소 미만인 사이즈의 PU가 선택되는 영역에 비하여 비교적 평탄한 영역에서 선택되는 경향이 있으며, 이 때문에 양자가 적용되는 영역의 성질은 유사하다. 따라서, 양자 간에서, 동일한 예측 모드에 대하여 평활화 필터를 적용함으로써, 부호화 효율을 저하시키지 않고 평활화 필터의 선택에 필요한 테이블 사이즈를 삭감할 수 있다.

또한, 일반적으로 큰 사이즈의 PU는 작은 사이즈의 PU에 비하여 평탄한 영역에서 선택할 수 있기 때문에, 보다 많은 예측 모드에 대하여 참조 화소의 평활화 필터를 적용하는 것이 바람직하다.

휘도 예측부(145)는, 입력되는 예측 모드와 참조 화소에 기초하여 대상 PU의 휘도 예측 화상을 생성하여 출력한다. 휘도 예측부(145)의 상세한 설명은 후술한다.

색차 예측부(146)는, 입력되는 예측 모드와 참조 화소에 기초하여 대상 PU의 색차 예측 화상을 생성하여 출력한다. 색차 예측부(146)의 상세한 설명은 후술한다.

(예측 화상 생성 처리의 흐름)

다음으로, 예측 화상 생성부(14)에 있어서의 CU 단위의 예측 화상 생성 처리의 개략을 도 13의 흐름도를 이용하여 설명한다. CU 단위의 예측 화상 생성 처리가 시작되면, 우선, 예측 단위 설정부(141)가 CU 내에 포함되는 PU의 하나를 미리 정해진 순서에 따라서 대상 PU로 설정하여 대상 PU 정보를 참조 화소 설정부(142) 및 스위치(143)로 출력한다(S11). 다음에, 참조 화소 설정부(142)는 대상 PU의 참조 화소를, 외부의 프레임 메모리로부터 판독한 복호 화소값을 이용하여 설정한다(S12). 다음에, 스위치(143)가 입력된 대상 PU 정보에 기초하여 대상 PU가 휘도인지 색차인지를 판정하고, 상기 판정 결과에 따라서 출력을 전환한다(S13).

대상 PU가 휘도인 경우(S13에서 '예'), 스위치(143)의 출력은 참조 화소 필터부(144)에 접속된다. 계속해서, 참조 화소 필터부(144)에 대하여 참조 화소가 입력되고, 별도 입력된 예측 모드에 따라서 참조 화소 필터가 적용되고, 필터 적용후의 참조 화소가 휘도 예측부(145)로 출력된다(S14). 다음에, 휘도 예측부(145)는, 입력되는 참조 화소와 예측 모드에 기초하여 대상 PU에 있어서의 휘도 예측 화상을 생성하여 출력한다(S15).

한편, 대상 PU가 색차인 경우(S13에서 '아니오'), 스위치(143)의 출력은 색차 예측부(146)에 접속된다. 계속해서, 색차 예측부(146)는, 입력되는 참조 화소와 예측 모드에 기초하여 대상 PU에 있어서의 색차 예측 화상을 생성하여 출력한다(S16). 대상 PU의 휘도 또는 색차의 예측 화상의 생성이 끝나면, 예측 단위 설정부(141)가, 대상 CU 내의 모든 PU의 예측 화상이 생성되었는지를 판정한다(S17). 대상 CU 내의 일부의 PU 예측 화상이 생성되지 않은 경우(S17에서 '아니오'), 상기 S1로 되돌아가서, 대상 CU 내의 다음 PU의 예측 화상 생성 처리를 실행한다. 대상 CU 내의 모든 PU의 예측 화상이 생성되어 있는 경우(S17에서 '예'), 대상 CU 내의 각 PU의 휘도 및 색차의 예측 화상을 함께 대상 CU의 예측 화상으로서 출력하고, 처리를 종료한다.

(휘도 예측부의 상세)

계속해서 도 14를 이용하여, 휘도 예측부(145)의 상세에 대하여 설명한다. 도 14에 휘도 예측부(145)의 상세 구성을 나타낸다. 도 14에 나타낸 바와 같이, 휘도 예측부(145)는, 예측 방식 선택부(1451) 및 예측 화상 도출부(1452)를 구비한다.

예측 방식 선택부(1451)는, 입력되는 예측 모드에 기초하여 예측 화상 생성에 이용하는 예측 방식을 선택하여 선택 결과를 출력한다. 예측 방식의 선택은, 전술한 도 4의 정의에 기초하여, 입력되는 예측 모드의 예측 모드 번호에 대응하는 예측 방식을 선택함으로써 실현된다.

예측 화상 도출부(1452)는, 예측 방식 선택부(1451)가 출력한 예측 방식의 선택 결과에 따른 예측 화상을 도출한다. 예측 화상 도출부(1452)는 보다 구체적으로는, DC 예측부(1452D), Planar 예측부(1452P), 수평 예측부(1452H), 수직 예측부(1452V), Angular 예측부(1452A), 및 예측 방향 도출부(1453)를 구비한다. 또한, 예측 화상 도출부(1452)는, 예측 방식이 Planer, 수직 예측, 수평 예측, DC 예측 및 Angular인 경우, 각각, Planar 예측부(1452P), 수직 예측부(1452V), 수평 예측부(1452H) 및 Angular 예측부(1452A)에 의해 예측 화상을 도출한다.

DC 예측부(1452D)는, 입력되는 참조 화소의 화소값 평균값에 상당하는 DC 예측값을 도출하고, 도출된 DC 예측값을 화소값으로 하는 예측 화상을 출력한다.

Planar 예측부(1452P)는, 예측 대상 화소와의 거리에 따라서 복수의 참조 화소를 선형 가산함으로써 도출한 화소값에 의해 예측 화상을 생성하여 출력한다. 예를 들어, 예측 화상의 화소값 predSamples[x, y]는, 참조 화소값 p[x, y]와 대상 PU의 사이즈 nS를 이용하여 이하의 식에 의해 도출할 수 있다.

여기서, x, y=0..nS-1이며, k=log2(nS)라 정의된다.

수평 예측부(1452H)는, 대상 PU의 좌변 인접 화소를 수평 방향으로 외삽하여 얻어지는 예측 화상을 입력되는 참조 화소에 기초하여 생성하고, 결과를 예측 화상으로서 출력한다.

수직 예측부(1452V)는, 대상 PU의 상변 인접 화소를 연직 방향으로 외삽하여 얻어지는 예측 화상을 입력되는 참조 화소에 기초하여 생성하고, 결과를 예측 화상으로서 출력한다.

예측 방향 도출부(1453)는, 입력되는 예측 모드가 방향 예측 모드인 경우, 상기 예측 모드에 관련지어지는 예측 방향(참조 방향)을 결정하여 출력한다. 출력되는 예측 방향은, 주 방향이 수직 방향인지 여부를 나타내는 주 방향 플래그bRefVer, 및 예측 방향의 주 방향에 대한 구배(오프셋) intraPredAngle의 조합으로 표현된다. 주 방향 플래그 bRefVer의 값이 0인 경우, 주 방향이 수평 방향임을 나타내고, 값이 1인 경우, 주 방향이 수직 방향임을 나타낸다.

도 1을 이용하여, 예측 방향 도출부(1453)의 구체적 구성에 대하여 설명하면 다음과 같다. 도 1은, 예측 방향 도출부(1453)의 일 구성예를 나타내는 기능 블록도이다. 도 1에 나타낸 바와 같이, 예측 방향 도출부(1453)는 보다 구체적으로는, 주 방향 도출부(1453A) 및 구배 도출부(1453B)를 구비한다.

주 방향 도출부(1453A)는, 주 방향 플래그 bRefVer을 도출한다. 또한, 주 방향 도출부(1453A)는, 도 6의 예측 모드 정의 DEFPM1을 참조할 수 있다. 주 방향 플래그 bRefVer은, 예측 모드 번호 m에 기초하여 다음 식에 의해 도출된다.

상기 식에 의하면, 예측 모드 번호 m이 짝수인 경우에 주 방향 플래그bRefVer의 값이 1(주 방향이 수직 방향)로 되고, 예측 모드 번호 m이 홀수인 경우에 주 방향 플래그 bRefVer의 값이 0(주 방향이 수평 방향)으로 된다. 또한, 상기와 같이 예측 모드 번호 m의 짝홀수에 기초하여 주 방향을 결정할 수 있는 것은, 도 6의 예측 모드 정의 DEFPM1에 있어서, 짝수의 예측 모드 번호의 주 방향이 수직 방향, 홀수의 예측 모드의 주 방향이 수평 방향이 되도록 예측 모드 번호가 정의 되어 있는 경우이다. 또한, 예측 모드 번호가, 전술한 성질 1, 즉 주 방향 판정의 용이성을 만족하면, 주 방향 플래그 bRefVer을 용이하게 도출할 수 있기 때문에 바람직하다. 반대로, 예측 모드 번호가 주 방향 판정의 용이성을 만족하지 못한 경우, 예측 모드 번호 m과 주 방향을 관련짓는 테이블이 필요해진다. 따라서, 주 방향 판정의 용이성을 만족하는 예측 모드 번호 정의를 사용함으로써 그러한 테이블을 이용하지 않고 주 방향이 도출 가능하기 때문에, 메모리를 삭감할 수 있다.

구배 도출부(1453B)는, 구배 intraPredAngle을 도출한다. 또한, 구배 도출부(1453B)는, 도 15에 나타낸 구배 정의 테이블 DEFANG1을 참조할 수 있다. 도 15에 나타낸 구배 정의 테이블 DEFANG1은, 예측 모드 식별자와 구배 intraPredAngle의 값의 대응 관계를 나타내는 테이블이다. 구배 도출부(1453B)는, 구배 정의 테이블 DEFANG1에 기초하여, 구배 intraPredAngle을 도출하여도 된다. 구배 intraPredAngle의 값은, 예측 방향의 구배를 나타내는 값이다. 보다 정확하게는, 주 방향이 수직 방향인 경우, (intraPredAngle, -32)로 표현되는 벡터의 방향이 예측 방향으로 된다. 주 방향이 수평 방향인 경우, (-32, intraPredAngle)로 표현되는 벡터의 방향이 예측 방향으로 된다. 도 15에 나타낸 구배 정의 테이블 DEFANG1에 의하면, 주 방향에 대한 변위의 절댓값 0 내지 8에 대응하는 구배 intraPredAngle의 절댓값은, 순서대로 0, 2, 5, 9, 13, 17, 21, 26, 32로 된다. 주 방향에 대한 변위의 부호와 구배 intraPredAngle의 부호는 동등하다. 예를 들어, 식별자 HOR-1에 대응하는 구배 intraPredAngle의 값은 -2로 된다.

또한, 도 15에 나타낸 구배 정의 테이블 DEFANG1에서는, 주 방향이 상이하면서, 주 방향에 대한 변위가 동등한 2개의 예측 모드가 동일한 intraPredAngle의 값에 관련지어져 있다. 따라서, 예를 들어 도 16에 나타낸 구배 정의 테이블DEFANG1r과 같이, 주 방향에 대한 변위가 동등한 2개의 예측 모드에 있어서, 동일한 구배 intraPredAngle의 값의 설정을 공유하도록 테이블을 설정할 수 있다.

따라서, 구배 도출부(1453B)는, 도 16에 나타낸 구배 정의 테이블 DEFANG1r에 기초하여 구배 intraPredAngle을 도출하여도 된다. 또한, 예측 방향 도출부(1453)에서는, 도 15에 나타낸 구배 정의 테이블 DEFANG1 및 도 16에 나타낸 구배 정의 테이블 DEFANG1r 중 어느 한쪽이 설치되어 있으면 된다.

도 16에 나타낸 구배 정의 테이블 DEFANG1r을 이용함으로써, 도 15에 나타낸 구배 정의 테이블 DEFANG1을 이용하는 경우에 비하여 메모리를 삭감할 수 있다. 또한, 예측 모드 번호가 전술한 성질 2, 즉 동변위 방향 예측 모드 판정의 용이성을 만족하는 경우에, 주 방향에 대한 변위가 동등한 예측 모드는 용이하게 도출 가능하다. 구체적으로는, 도 6의 예측 모드 번호의 정의를 이용하는 경우, 주 방향에 대한 변위를 고유하게 나타내는 인덱스 k는, 예측 모드 번호 m을 사용하여, k=(m+1)>>1의 식에 의해 도출할 수 있다. 이 인덱스 k와 오프셋 intraPredAngle을 대응짓는 테이블을 이용하여, 예측 모드 번호로부터 오프셋 intraPredAngle의 값을 도출할 수 있다. 즉, 예측 모드 번호가 동변위 방향 예측 모드 판정의 용이성을 만족하는 경우, Angular 예측에 사용하는 파라미터(intraPredAngle) 도출에 이용되는 테이블 사이즈를 삭감할 수 있다.

도 9에 나타낸 예측 모드 정의 DEFPM2를 사용하는 경우에는, 도 1에 나타낸 예측 방향 도출부(1453)의 구성을, 도 17에 나타낸 바와 같이 변경하면 된다. 도 17은, 예측 방향 도출부(1453)의 다른 구성예를 나타내는 기능 블록도이다. 도 17에 나타낸 예측 방향 도출부(1453)에서는, 도 1에 있어서의 주 방향 도출부(1453A) 및 구배 도출부(1453B)를, 주 방향 도출부(1453A') 및 구배 도출부(1453B')로 변경하고 있다.

주 방향 도출부(1453A')는, 도 9의 예측 모드 정의 DEFPM2를 참조한다. 주 방향 플래그 bRefVer의 도출은, 도 1에 나타낸 주 방향 도출부(1453A)와 마찬가지이므로, 그 설명을 생략한다.

구배 도출부(1453B')는, 예측 모드 번호로부터, 구배의 절댓값 및 부호를 도출함으로써 구배 intraPredAngle을 도출한다. 구배 도출부(1453B')는, 도 18에 나타낸 구배 절댓값 정의 테이블 DEFANG2를 참조함으로써, 구배의 절댓값을 도출할 수 있다. 도 18에 나타낸 구배 절댓값 정의 테이블 DEFANG2는, 주 방향에 대한 변위의 절댓값과 구배 intraPredAngle의 절댓값 absIntraPredAngle을 대응짓는 테이블이다. 도 9의 예측 모드 정의 DEFPM2를 사용하는 경우, 전술한 성질 5, 즉 변위의 절댓값 판정의 용이성으로부터, 변위의 절댓값을 고유하게 특정하는 인덱스 DI를 DI=(m+d)>>2의 식에 의해 도출할 수 있다. 또한, 도 18에는, 인덱스 DI와absIntraPredAngle의 대응 관계를 나타내고 있다. 인덱스 DI의 값, 0, 5, 2, 6, 3, 7, 4, 8, 1은, 각각 absIntraPredAngle의 값, 0, 2, 5, 9, 13, 17, 21, 26, 32에 대응지어져 있다.

또한, 구배 도출부(1453B')는, 오프셋(구배) intraPredAngle의 부호를, 도 9의 예측 모드 정의가 갖는 성질 4, 즉 변위의 부호 판정의 용이성을 이용하여, 계산에 의해 도출한다.

구배 도출부(1453B')는, 이상과 같이 하여 도출한 구배의 절댓값과, 구배의 부호를 조합함으로써, 구배 intraPredAngle을 도출한다.

Angular 예측부(1452A)는, 입력되는 예측 방향(참조 방향)의 참조 화소를 이용하여 대상 PU 내에 대응하는 예측 화상을 생성하여 출력한다. Angular 예측에 의한 예측 화상의 생성 처리에서는, 주 방향 플래그 bRefVer의 값에 따라서 주 참조 화소를 설정하고, 예측 화상을 PU 내의 라인 또는 컬럼의 단위에서 주 참조 화소를 참조하여 생성한다. 주 방향 플래그 bRefVer의 값이 1(주 방향이 수직 방향)인 경우, 예측 화상의 생성 단위를 라인에 설정함과 함께 대상 PU의 상방 참조 화소를 주 참조 화소로 설정한다. 구체적으로는 다음 식에 의해 참조 화소 p[x, y]의 값을 이용하여 주 참조 화소 refMain[x]가 설정된다.

또한, 여기에서 invAngle은 예측 방향의 변위 intraPredAngle의 역수를 스케일(8192를 승산)한 값에 상당한다. 상기의 식에 의해, x가 0 이상의 범위에서는, refMain[x]의 값은 대상 PU의 상변에 인접하는 화소의 복호 화소값이 설정된다. 또한, x가 0 미만의 범위에서는, refMain[x]의 값으로서, 대상 PU의 좌변에 인접하는 화소의 복호 화소값이, 예측 방향에 기초하여 도출되는 위치로 설정된다. 예측 화상 predSamples[x, y]는 다음 식에 의해 계산된다.

여기서, iIdx와 iFact는, 예측 대상 라인과 주 참조 화소의 거리 (y+1)과 구배 intraPredAngle에 따라 계산되는 예측 대상 화소의 생성에 이용하는 주 참조 화소의 위치를 나타낸다. iIdx는 화소 단위에 있어서의 정수 정밀도의 위치, iFact는 화소 단위에 있어서의 소수 정밀도의 위치에 상당하며, 이하의 식으로 도출된다.

주 방향 플래그 bRefVer의 값이 0(주 방향이 수평 방향)인 경우, 예측 화상의 생성 단위를 컬럼으로 설정함과 함께 대상 PU의 좌측 참조 화소를 주 참조 화소로 설정한다. 구체적으로는 다음 식에 의해 참조 화소 p[x, y]의 값을 이용하여 주 참조 화소 refMain[x]가 설정된다.

예측 화상 predSamples[x, y]는 다음 식에 의해 계산된다.

여기서, iIdx와 iFact는, 예측 대상 컬럼과 주 참조 화소의 거리 (x+1)과 구배 intraPredAngle에 따라 계산되는 예측 참조 화소의 생성에 이용하는 주 참조 화소의 위치를 나타낸다. iIdx는 화소 단위에 있어서의 정수 정밀도의 위치, iFact는 화소 단위에 있어서의 소수 정밀도의 위치에 상당하며, 이하의 식으로 도출된다.

여기서, '&'는 논리곱의 비트 연산을 나타내는 연산자이며, "A&31"의 결과는, 정수 A를 32로 제산한 나머지를 의미한다.

(Angular 예측 처리의 흐름)

다음으로, 예측 모드가 Angular 예측인 경우의 휘도 예측부(145)에 있어서의 예측 화상 생성 처리에 대하여, 도 19의 흐름도를 이용하여 설명한다. 도 19는, 휘도 예측부에 있어서의 Angular 예측 처리를 나타내는 흐름도이다. 먼저, 예측 방식 선택부(1451)에 입력된 예측 모드가 Angular 예측인 경우, Angular 예측에 의한 예측 화상 생성 처리가 개시된다. 예측 방향 도출부(1453)는, 입력되는 예측 모드에 기초하여 예측 방향의 주 방향을 결정하여 Angular 예측부(1452A)로 출력한다(S21). 다음으로, 예측 방향 도출부(1453)는, 입력되는 예측 모드에 기초하여 예측 방향의 주 방향에 대한 오프셋 intraPredAngle을 결정하여 Angular 예측부(1452A)로 출력한다(S22). Angular 예측부(1452A)는, 입력된 주 방향에 기초하여 주 참조 화소를 설정한다(S23). 계속해서, Angular 예측부(1452A)는 예측 대상 라인 또는 컬럼을 설정하고(S24), 대상 라인 또는 컬럼에 대한 예측 화상을 생성한다(S25). 대상 PU의 전 라인/컬럼의 예측 화상 생성이 완료되었는지 여부를 확인하고(S26), 완료되지 않은 경우(S26에서 '아니오'), S24의 처리를 실행한다. 완료된 경우(S26에서 '예'), 대상 PU의 예측 화상을 출력하여 처리를 종료한다.

(휘도 예측부의 상세)

계속해서, 도 20을 이용하여, 색차 예측부(146)의 상세에 대하여 설명한다. 도 20에 색차 예측부(146)의 상세 구성을 나타낸다. 색차 예측부(146)는, 예측 방식 선택부(1451), 예측 화상 도출부(1452), 및 예측 방향 도출부(1453)를 구비한다. 예측 화상 도출부(1452)는, DC 예측부(1452D), Planar 예측부(1452P), 수평 예측부(1452H), 수직 예측부(1452V), Angular 예측부(1452A), 및 LM 예측부(1452L)를 구비한다. 또한, LM 예측부(1452L) 이외의 구성 요소는, 휘도 예측부(145)에 포함되는 대응하는 구성 요소와 동일한 기능을 갖기 때문에, 동일한 부호를 부여하여 설명을 생략한다.

LM 예측부(1452L)는, 대상 PU 내에 있어서의 휘도 화소값과 색차 화소값의 상관에 관계되는 파라미터를 대상 PU 주변의 휘도 복호 화소값과, 참조 화소값(색차 복호 화소값)의 상관에 기초하여 추정한다. 상관 파라미터는 상관 계수 a와 오프셋 b를 포함한다. 예측 대상 PU, 즉 색차의 예측 화상 predSamplesC[x, y]는, 대상 PU에 대응하는 휘도 복호 화상의 화소값 recY[x, y]와 상관 파라미터를 이용하여 다음 식에 의해 계산된다.

이상으로 예측 화상 생성부(14)에 있어서의 대상 CU의 예측 화상 생성 처리의 설명을 종료한다.

(가변 길이 복호부의 상세)

다음으로, 도 21을 이용하여 가변 길이 복호부(11)의 구성에 대하여 더 상세히 설명한다. 도 21은, 가변 길이 복호부(11)의 구성예에 대하여 나타내는 기능 블록도이다. 또한, 도 21에서는, 가변 길이 복호부(11)의 구성 중, 예측 모드를 복호하는 구성에 대하여 상세히 나타내고 있다.

도 21에 나타낸 바와 같이, 가변 길이 복호부(11)는, 예측 세트 결정부(111), MPM 도출부(112), MPM 판정부(113), 예측 모드 복원부(114), 색차 예측 모드 복원부(116) 및 컨텍스트 기억부(117)를 구비한다.

예측 세트 결정부(111)는, 예측 처리에 이용하는 예측 모드의 집합인 예측 세트를 결정한다. 예측 세트 결정부(111)는 일례로서, 대상 블록의 사이즈에 따라 예측 처리에 이용하는 예측 모드의 수를 산출하고, 예측 모드의 정의로부터, 산출한 수만큼 예측 모드를 선택함으로써 예측 세트를 결정한다. 바꿔 말하자면, 예측 세트는, 대상 블록의 사이즈마다, 혹은 대상 PU에 있어서 이용 가능한 예측 모드의 수마다 정의되어 있다.

MPM 도출부(112)는, 대상 파티션의 주변 파티션에 할당된 예측 모드에 기초하여 MPM을 도출한다.

MPM 도출부(112)는, 예시적으로 2개의 MPM을 도출한다. MPM 도출부(112)는, 제1 MPM 후보(이하, 'MPM0'이라 표기함) 및 제2 MPM 후보(이하, 'MPM1'이라 표기함)를, 각각 이하와 같이 도출한다.

우선, 도 22에 나타낸 바와 같이, pmA에 대상 PU:R_T의 좌측에 인접하는 좌 인접 PU:N_A의 예측 모드, pmB에 대상 PU:R_T의 상측에 인접하는 상 인접 PU:N_B의 예측 모드를 설정한다. 좌 인접 PU 또는 상 인접 PU의 예측 모드가 이용 불가인 경우, 미리 정해진 예측 모드, 예를 들어 "Intra_Planar"를 설정한다. 인접 PU가 이용 불가인 경우에는, 인접 PU의 예측 모드가 미복호인 경우, 인접 PU가 상측 인접 PU이며 서로 다른 LCU(트리 블록)에 속하는 경우가 포함된다.

그리고, MPM 도출부(112)는, MPM0을, 다음 식 1에 따라서 도출한다.

<식 1>

다음으로, MPM 도출부(112)는, MPM1을, pmA와 pmB가 일치하는지 여부에 따라서 도출한다. pmA와 pmB가 일치하지 않은 경우, MPM1을 다음 식 2에 따라서 도출한다.

<식 2>

한편, pmA와, pmB가 일치하는 경우, MPM 도출부(112)는, pmA가 "Intra_DC"이면, "Intra_Planar"를 MPM1로 설정하고, pmA가 "Intra_DC" 이외이면, "Intra_DC"를 MPM1로 설정한다.

MPM 판정부(113)는, 부호화 데이터에 포함되는 mpm_flag에 기초하여, 대상 PU의 예측 모드가, 추정 예측 모드 MPM과 일치하였는지 여부를 판정한다. mpm_flag는, 대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치한 경우, "1"이며, 대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치하지 않은 경우, "0"이다. MPM 판정부(113)는, 판정 결과를, 예측 모드 복원부(114)에 통지한다.

또한, MPM 판정부(113)는, 컨텍스트 기억부(117)에 기억되어 있는 컨텍스트에 따라서, 부호화 데이터로부터 mpm_flag를 복호한다.

예측 모드 복원부(114)는, 대상 PU에 대한 예측 모드를 복원한다. 예측 모드 복원부(114)는, MPM 판정부(113)로부터 통지되는 판정 결과에 따라서, 예측 모드를 복원한다.

대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치한 경우, 예측 모드 복원부(114)는, 부호화 데이터로부터 mpm_idx를 복호하고, 그 값에 기초하여 예측 모드를 복원한다. mpm_idx는, 대상 PU의 예측 모드가, MPM0과 일치하는 경우, "0"이며, 대상 PU의 예측 모드가, MPM1과 일치하는 경우, "1"이다.

또한, 예측 모드 복원부(114)는 mpm_idx의 복호 시에 컨텍스트 기억부(117)에 기억되고 있는 컨텍스트를 이용하여도 되고, 이용하지 않아도 된다.

컨텍스트를 이용하는 경우에는, 상기의 처리에 의해 도출한 MPM0과 MPM1에 대하여, 작은 예측 모드 번호에 대응하는 예측 모드가 MPM0의 값이 되도록, 조건부로 MPM0과 MPM1의 값을 스왑(swap)하는 것이 바람직하다. 컨텍스트를 이용하는 경우에는, 0 또는 1의 발생 확률에 편차가 발생하면, 부호량을 삭감할 수 있다. 일반적으로 발생 확률이 높은 예측 모드에는 작은 예측 모드 번호가 대응지어지기 때문에, 작은 예측 모드 번호의 예측 모드를 MPM0으로 할당함으로써 MPM0의 발생 확률이 MPM1의 발생 확률보다도 높아진다. 따라서, mpm_idx에서 0의 값이 발생할 확률이 1의 값이 발생할 확률에 비하여 높아지기 때문에, mpm_idx의 부호량을 삭감할 수 있다.

한편, 컨텍스트를 이용하지 않는 경우에는, 상기의 처리에 의해 도출한 MPM0과 MPM1에 대하여 예측 모드 번호가 작은 예측 모드가 MPM0에 대응지어지는 스왑을 적용하지 않는 것이 바람직하다. 컨텍스트를 사용하지 않는 경우에는, mpm_idx는 등확률로 간주되어 복호되기 때문에 0, 1의 발생에 편차가 발생하고 있어도 부호량을 삭감할 수 없다. 따라서, 작은 예측 모드가 MPM0에 대응지음에 따른 부호량의 삭감 효과는 없다. 한편, 작은 예측 모드가 MPM0에 대응짓기 위한 조건부 스왑을 생략함으로써, 대상 PU의 예측 모드가 MPM인 경우의 예측 모드 도출에 필요로 하는 처리량을 삭감할 수 있다.

대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치하지 않은 경우, 예측 모드 복원부(114)는, 부호화 데이터에 포함되는 rem_idx에 기초하여 예측 모드를 복원한다. 구체적으로는, 우선, MPM0과 MPM1 중, 작은 예측 모드 번호가 MPM0에 할당되도록 MPM0과 MPM1의 값을 조건부로 스왑한다. 다음으로, rem_idx의 값이 MPM0의 값 이상인 경우, rem_idx의 값을 1 가산한다. 다음으로, rem_idx의 값이 MPM1의 값 이상인 경우, rem_idx의 값을 1 가산한다. 마지막으로, rem_idx의 값의 예측 모드 번호에 대응하는 예측 모드를 복원한다.

색차 예측 모드 복원부(116)는, 대상 PU에 대한 색차 예측 모드를 복원한다. 보다 상세하게는, 색차 예측 모드 복원부(116)는, 이하와 같이 하여 색차 예측 모드를 복원한다.

우선, 색차 예측 모드 복원부(116)는, 부호화 데이터 #1에 포함되는 인트라 색차 예측 모드 지정 정보 chroma_mode(intra_chroma_pred_mode)를 복호한다.

그리고, 색차 예측 모드 복원부(116)는, 복원한 인트라 색차 예측 모드 지정 정보 chroma_mode와, 휘도의 예측 모드(IntraPredMode[xB][yB])에 기초하여, 색차 예측 모드를 복원한다.

[개략적인 흐름]

우선, 도 23에 나타낸 흐름도를 이용하여, 동화상 복호 장치(1)에 있어서의 예측 모드 복원 처리의 개략적인 흐름의 일례에 대하여 설명한다.

동화상 복호 장치(1)에 있어서 예측 모드 복원 처리가 개시되면, MPM 도출부(112)가 MPM0을 도출한다(S21). 계속해서 MPM 도출부(112)가 MPM1을 도출한다(S22).

다음으로, MPM 판정부(113)가 mpm_flag에 기초하여, 대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치하였는지 여부를 판정한다(S23).

대상 PU의 예측 모드가 추정 예측 모드 MPM, 즉 MPM0 또는 MPM1과 일치한 경우(S23에 있어서 '예'), 예측 모드 복원부(114)가 mpm_idx에 기초하여 예측 모드를 복원한다. 예측 모드 복원부(114)는, mpm_idx가 "0"이면, MPM0을 대상 PU의 예측 모드 pmT로 하는 한편, mpm_idx가 "1"이면, MPM1을 대상 PU의 예측 모드pmT로 한다(S24).

한편, 대상 PU의 예측 모드가 추정 예측 모드 MPM과 일치하지 않은 경우(S23에 있어서 '아니오'), 예측 모드 복원부(114)는, MPM0과 MPM1을 비교하여, MPM1의 예측 모드 번호가 MPM0의 예측 모드 번호보다 작으면, MPM0과 MPM1을 스왑한다(S25). 계속해서, 예측 모드 복원부(114)는 rem_mode의 배열을 생성한다(S26). 마지막으로, 예측 모드 복원부(114)는, rem_mode의 배열 중 rem_idx번째의 요소를 예측 모드로서 선택한다(S27).

〔동화상 부호화 장치〕

이하에 있어서, 본 실시 형태에 따른 동화상 부호화 장치(2)에 대하여, 도 24 내지 도 26을 참조하여 설명한다.

(동화상 부호화 장치의 개요)

동화상 부호화 장치(2)는, 개략적으로 말하자면, 입력 화상 #10을 부호화함으로써 부호화 데이터 #1을 생성하고, 출력하는 장치이다.

(동화상 부호화 장치의 구성)

우선, 도 24를 이용하여, 동화상 부호화 장치(2)의 구성예에 대하여 설명한다. 도 24는, 동화상 부호화 장치(2)의 구성에 대하여 나타내는 기능 블록도이다. 도 24에 나타낸 바와 같이, 동화상 부호화 장치(2)는, 부호화 설정부(21), 역양자화·역변환부(22), 예측 화상 생성부(23), 가산기(24), 프레임 메모리(25), 감산기(26), 변환·양자화부(27), 및 부호화 데이터 생성부(29)를 구비하고 있다.

부호화 설정부(21)는, 입력 화상 #10에 기초하여, 부호화에 관한 화상 데이터 및 각종 설정 정보를 생성한다.

구체적으로는, 부호화 설정부(21)는, 다음 화상 데이터 및 설정 정보를 생성한다.

우선, 부호화 설정부(21)는, 입력 화상 #10을, 슬라이스 단위, 트리 블록 단위, CU 단위로 순차 분할함으로써, 대상 CU에 대한 CU 화상 #100을 생성한다.

또한, 부호화 설정부(21)는, 분할 처리의 결과에 기초하여, 헤더 정보 H'를 생성한다. 헤더 정보 H'는, (1) 대상 슬라이스에 속하는 트리 블록의 사이즈, 형상 및 대상 슬라이스 내에서의 위치에 대한 정보와, (2) 각 트리 블록에 속하는 CU의 사이즈, 형상 및 대상 트리 블록 내에서의 위치에 대한 CU 정보 CU'를 포함하고 있다.

또한, 부호화 설정부(21)는, CU 화상 #100, 및 CU 정보 CU'를 참조하여, PT 설정 정보 PTI'를 생성한다. PT 설정 정보 PTI'에는, (1) 대상 CU의 각 PU로의 가능한 분할 패턴, 및 (2) 각 PU에 할당 가능한 예측 모드의 모든 조합에 관한 정보가 포함된다.

부호화 설정부(21)는, CU 화상 #100을 감산기(26)에 공급한다. 또한, 부호화 설정부(21)는, 헤더 정보 H'를 부호화 데이터 생성부(29)에 공급한다. 또한, 부호화 설정부(21)는, PT 설정 정보 PTI'를 예측 화상 생성부(23)에 공급한다.

역양자화·역변환부(22)는, 변환·양자화부(27)로부터 공급되는, 블록마다의 양자화 예측 잔차를, 역양자화, 및 역직교 변환함으로써, 블록마다의 예측 잔차를 복원한다. 역직교 변환에 대해서는, 도 1에 나타낸 역양자화·역변환부(13)에 대하여, 이미 설명한 바와 같기 때문에, 여기에서는 그 설명을 생략한다.

또한, 역양자화·역변환부(22)는, 블록마다의 예측 잔차를, TT 분할 정보(후술)에 의해 지정되는 분할 패턴에 따라서 통합하고, 대상 CU에 대한 예측 잔차 D를 생성한다. 역양자화·역변환부(22)는, 생성한 대상 CU에 대한 예측 잔차 D를, 가산기(24)에 공급한다.

예측 화상 생성부(23)는, 프레임 메모리(25)에 기록되어 있는 국소 복호 화상 P', 및 PT 설정 정보 PTI'를 참조하여, 대상 CU에 대한 예측 화상 Pred를 생성한다. 예측 화상 생성부(23)는, 예측 화상 생성 처리에 의해 얻어진 예측 파라미터를, PT 설정 정보 PTI'로 설정하고, 설정 후의 PT 설정 정보 PTI'를 부호화 데이터 생성부(29)에 전송한다. 또한, 예측 화상 생성부(23)에 의한 예측 화상 생성 처리는, 동화상 복호 장치(1)가 구비하는 예측 화상 생성부(14)와 마찬가지이므로, 여기에서는 설명을 생략한다.

가산기(24)는, 예측 화상 생성부(23)로부터 공급되는 예측 화상 Pred와, 역양자화·역변환부(22)로부터 공급되는 예측 잔차 D를 가산함으로써, 대상 CU에 대한 복호 화상 P를 생성한다.

프레임 메모리(25)에는, 복호된 복호 화상 P가 순차 기록된다. 프레임 메모리(25)에는, 대상 트리 블록을 복호하는 시점에 있어서, 상기 대상 트리 블록보다도 먼저 복호된 모든 트리 블록(예를 들어, 래스터 스캔 순서로 선행하는 모든 트리 블록)에 대응하는 복호 화상이 기록되어 있다.

감산기(26)는, CU 화상 #100으로부터 예측 화상 Pred를 감산함으로써, 대상 CU에 대한 예측 잔차 D를 생성한다. 감산기(26)는 생성한 예측 잔차 D를, 변환·양자화부(27)에 공급한다.

변환·양자화부(27)는, 예측 잔차 D에 대하여, 직교 변환 및 양자화를 행함으로써 양자화 예측 잔차를 생성한다. 또한, 여기에서 직교 변환이란, 화소 영역으로부터 주파수 영역으로의 변환을 가리킨다. 또한, 역직교 변환의 예로서는, DCT 변환(Discrete Cosine Transform), 및 DST 변환(Discrete Sine Transform) 등을 들 수 있다.

구체적으로는, 변환·양자화부(27)는, CU 화상 #100, 및 CU 정보 CU'를 참조하고, 대상 CU의 1 또는 복수의 블록으로의 분할 패턴을 결정한다. 또한, 결정된 분할 패턴에 따라서, 예측 잔차 D를, 각 블록에 대한 예측 잔차로 분할한다.

또한, 변환·양자화부(27)는, 각 블록에 대한 예측 잔차를 직교 변환함으로써 주파수 영역에서의 예측 잔차를 생성한 후, 상기 주파수 영역에서의 예측 잔차를 양자화함으로써 블록마다의 양자화 예측 잔차를 생성한다.

또한, 변환·양자화부(27)는, 생성한 블록마다의 양자화 예측 잔차와, 대상 CU의 분할 패턴을 지정하는 TT 분할 정보와, 대상 CU의 각 블록으로의 가능한 전 분할 패턴에 관한 정보를 포함하는 TT 설정 정보 TTI'를 생성한다. 변환·양자화부(27)는, 생성한 TT 설정 정보 TTI"를 역양자화·역변환부(22) 및 부호화 데이터 생성부(29)에 공급한다.

부호화 데이터 생성부(29)는, 헤더 정보 H', TT 설정 정보 TTI' 및 PT 설정 정보 PTI'를 부호화하고, 부호화한 헤더 정보 H, TT 설정 정보 TTI, 및 PT 설정 정보 PTI를 다중화하여 부호화 데이터 #1을 생성하고, 출력한다.

(부호화 데이터 생성부의 상세)

다음으로, 도 25를 이용하여, 부호화 데이터 생성부(29)의 상세에 대하여 설명한다. 도 25는, 부호화 데이터 생성부(29)의 구성예에 대하여 나타내는 기능 블록도이다.

또한, 이하에서는, 부호화 데이터 생성부(29)가 TT 설정 정보 TTI'에 포함되는 파라미터 중, 예측 모드(휘도) 및 색차 예측 모드에 관한 파라미터를 부호화하기 위한 구성에 대하여 설명한다.

그러나, 이에 한정되지 않고 부호화 데이터 생성부(29)는, TT 정보 TTI'에 포함되는 변환 계수 이외의 데이터, 예를 들어 사이드 정보 등을 부호화할 수 있다.

도 25에 나타낸 바와 같이, 부호화 데이터 생성부(29)는, 컨텍스트 기억부(117), 예측 세트 결정부(291), MPM 도출부(292), MPM 판정부(293), 예측 모드 부호화부(294), 및 색차 예측 모드 부호화부(296)를 구비한다.

또한, 예를 들어 MPM의 도출에 대해서는, 동화상 복호 장치(1) 및 동화상 부호화 장치(2)의 사이에서 서로 다르지 않다.

이와 같이, 동화상 복호 장치(1) 및 동화상 부호화 장치(2)의 사이에 대응하고 있는 구성 또는 마찬가지의 처리를 행하는 구성에 대해서는, 동화상 부호화 장치(2)에 있어서, 동화상 복호 장치(1)의 구성을 이용할 수 있다.

따라서, 예측 세트 결정부(291), MPM 도출부(292)는, 각각, 도 1에 나타낸 컨텍스트 기억부(151), 색차 예측 모드 정의 기억부(154), 예측 세트 결정부(111), 및 MPM 도출부(112)와 마찬가지이다. 따라서, 여기에서는 그 설명을 생략한다.

이하에서는, MPM 판정부(293), 예측 모드 부호화부(294) 및 색차 예측 모드 부호화부(296)에 대하여 설명한다.

MPM 판정부(293)는, MPM이 예측 모드와 일치하는지 여부를 판정하고, 판정 결과에 따라서 mpm_flag를 부호화한다. 부호화의 처리에 대해서는, 도 1에 나타낸 가변 길이 복호부(11)에 대하여, 이미 설명 완료이므로, 여기에서는 그 설명을 생략한다.

예측 모드 부호화부(294)는, MPM 판정부(293)의 판정 결과에 따라서, 예측 모드에 관한 정보(mpm_idx, rem_idx)를 부호화한다. 예측 모드 부호화부(294)는, MPM을 사용하는 경우에는, mpm_idx를 부호화하고, MPM을 사용하지 않는 경우에는, rem_idx를 부호화한다.

mpm_idx의 부호화에 대해서는, 도 1에 나타낸 가변 길이 복호부(11)에 대하여, 이미 설명 완료이므로, 여기에서는 그 설명을 생략한다.

rem_idx의 부호화에 대해서는 후술한다.

색차 예측 모드 부호화부(296)는, 대상 PU에 대한 색차 예측 모드를 부호화한다. 보다 상세하게는, 색차 예측 모드 부호화부(296)는, 이하와 같이 하여 색차 예측 모드를 부호화한다.

우선, 색차 예측 모드 부호화부(296)는, 휘도에 대한 예측 모드 및 색차 예측 모드를 이용하여, 인트라 색차 예측 모드 지정 정보chroma_mode(intra_chroma_pred_mode)의 값을 취득한다.

그리고, 색차 예측 모드 부호화부(296)는, 취득한 인트라 색차 예측 모드 지정 정보 chroma_mode의 값을 부호화한다.

다음으로, 도 26을 이용하여, 동화상 부호화 장치(2)에 있어서의 예측 모드 부호화 처리의 흐름에 대하여 설명한다.

우선, 도 26에 나타낸 흐름도를 이용하여, 동화상 부호화 장치(2)에 있어서의 예측 모드 부호화 처리의 개략적인 흐름의 일례에 대하여 설명한다.

동화상 부호화 장치(2)에 있어서 예측 모드 부호화 처리가 개시되면, MPM 도출부(292)가 MPM0을 도출한다(S31). 계속해서, MPM 도출부(292)가 MPM1을 도출한다(S32).

다음으로, MPM 판정부(293)가 예측 모드와, MPM(MPM0 또는 MPM1)이 일치하였는지 여부를 판정한다(S33).

여기서, 예측 모드와, MPM이 일치한 경우(S33에 있어서 '예'), MPM 판정부(293)가 mpm_flag=1을 부호화함(S34)과 함께, 예측 모드 부호화부(294)가 MPM0 및 MPM1 중, 예측 모드와 일치한 쪽에 대하여, mpm_idx를 도출한다(S35).

한편, 예측 모드와, MPM이 일치하지 않은 경우(S33에 있어서 '아니오'), MPM 판정부(293)가 mpm_flag=0을 부호화한다(S36). 예측 모드 부호화부(294)는, MPM0과 MPM1을 비교하여, MPM1의 예측 모드 번호가 MPM0의 예측 모드 번호보다 작으면, MPM0과 MPM1을 스왑한다(S37). 계속해서, 예측 모드 부호화부(294)는, rem_mode의 배열을 생성한다(S38). 마지막으로, 예측 모드 부호화부(294)가 rem_idx를 도출한다(S39).

(작용·효과)

이상으로 나타낸 바와 같이, 동화상 복호 장치(1)는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 동화상 복호 장치(1)에 있어서, 예측 모드가 Angular 예측일 때, 예측 모드 번호에 기초하여 예측 방향의 주 방향을 결정하고, 그 판정 결과에 기초하여 예측 화상을 생성하는 예측 화상 생성부를 구비함과 함께, 대응하는 방향 예측 모드의 주 방향이 수직 방향인지 수평 방향인지를 용이하게 판정 가능한 성질을 갖는 예측 모드를 복호하는 가변 길이 복호부를 구비하는 구성이다.

또한, 이상으로 나타낸 바와 같이, 동화상 부호화 장치(2)는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 동화상 부호화 장치(2)에 있어서, 예측 모드가 Angular 예측일 때, 예측 모드 번호에 기초하여 예측 방향의 주 방향을 결정하고, 그 판정 결과에 기초하여 예측 화상을 생성하는 예측 화상 생성부를 구비함과 함께, 대응하는 방향 예측 모드의 주 방향이 수직 방향인지 수평 방향인지를 용이하게 판정 가능한 성질을 갖는 예측 모드를 부호화하는 가변 길이 부호화부를 구비하는 구성이다.

상기 구성에 있어서, 방향 예측 모드에 기초하는 예측 방향의 주 방향 결정은, 상기의 예측 모드 번호의 성질을 이용하여, 예측 모드 번호와 주 방향을 매핑하는 테이블을 이용하지 않고 도출할 수 있다. 따라서, 복호 시 또는 부호화 시에 있어서 필요한 메모리를 삭감할 수 있다.

(부호화 데이터 #1에 대한 보충)

이하에서는, 동화상 부호화 장치(2)에 의해 생성되는 부호화 데이터 #1에 대하여 보충한다.

부호화 데이터 #1의 기본 구성은, 도 3을 참조하여 기재한 바와 같다. 부호화 데이터 #1에는 인트라 예측 정보에 포함되는 인트라 예측 파라미터에는, MPM(Most Probable Mode, 이하 마찬가지)에 관한 플래그인 mpm_flag, MPM을 선택하기 위한 인덱스인 mpm_idx, 및 MPM 이외의 예측 모드를 지정하기 위한 인덱스인 rem_idx가 포함된다. mpm_flag, mpm_idx, rem_idx를 사용함으로써 동화상 복호 장치(1)의 가변 길이 복호부(11: 도 21)에서 설명한 바와 같이, 각 PU로 적용하는 예측 모드(휘도)의 예측 모드 번호가 복호된다. 그리고, 복호되는 예측 모드 번호는, 도 9의 예측 모드 정의 DEFPM2를 사용하는 경우, 전술한 성질 1(주 방향 판정의 용이성)을 적어도 갖고 있다. 이미 설명한 대로, 상기 성질 1은 동화상 복호 장치에 있어서의 예측 화상 생성 처리나 예측 모드 의존 처리에 유용하지만, 그 이외의 처리에도 유용하다. 예를 들어, 동화상 복호 장치(2)의 출력인 복호 화상과 부호화 데이터 #1을 입력으로 하여, 복호 화상에 대하여 포스트 필터를 적응적으로 적용할 때 이용할 수 있다. 보다 구체적으로는, 부호화 데이터 #1에 기초하여 예측 모드 번호를 복원하고, 각 예측 모드의 주 방향이 수직 방향인지 수평 방향인지를 판정하고, 판정 결과에 따른 필터를 복호 화상의 각 예측 모드의 대응하는 영역에 대하여 적용한다. 그 때, 상기 성질 1에 의해, 예측 모드의 주 방향의 판정이 테이블을 이용하지 않고 실행할 수 있다.

〔변형예〕

<변형예 1: 변환 계수 스캔 순서의 선택>

동화상 복호 장치(1)의 가변 길이 복호부(11)에 있어서의 변환 계수의 복호 처리에 있어서, 변환 단위 내의 변환 계수를 복호하는 순서(변환 계수 스캔 순서)를 예측 모드 번호에 따라서 변경하여도 된다. 예측 방식에 따라서 발생하는 예측 잔차의 성질이 상이하기 때문에, 예측 잔차에 직교 변환과 양자화를 적용하여 얻어지는 변환 계수의 성질도 상이하다. 따라서, 예측 방식에 따라서, 0의 값의 변환 계수가 많이 연속하는 스캔 순서를 선택함으로써, 변환 계수의 부호량을 삭감할 수 있다. 적용 가능한 변환 계수 스캔 순서가, 수평 스캔(horzScan), 수직 스캔(vertScan), 대각 스캔(diagScan)인 경우, 수직에 가까운 방향의 방향 예측에 대해서는 수직 스캔, 수평에 가까운 방향의 방향 예측에 대해서는 수평 스캔, 그 이외의 예측 모드에 대해서는 대각 스캔을 적용하는 것이 바람직하다.

예를 들어, 이하의 수순으로 스캔 순서를 결정할 수 있다. 우선, 예측 모드가 방향 예측이 아닌 경우, 또는 예측 방향과 주 방향이 이루는 각도(구배)가 소정의 값보다 큰 경우, 대각 스캔을 선택한다. 그 이외의 경우에서, 예측 방향의 주 방향이 수직 방향인 경우, 수직 스캔을 선택한다. 그 이외의 경우(예측 방향의 주 방향이 수평 방향인 경우), 수직 스캔을 선택한다.

상기의 선택 처리는, 이하에 나타내는 의사 코드에 의해 표현할 수 있다.

여기서, bPlanar(m), bDC(m)은 각각 예측 모드가 Planar 예측, 또는 DC 예측인지를 판정하는 함수이다. 또한, absIntraPredAngle의 값은, 전술한 도 18에 의해 도출할 수 있는 예측 방향의 구배의 절댓값을 나타내는 값이다. 또한, bHorz(m)은, 예측 모드의 주 방향이 수평 방향인 경우에 1을, 수직 방향인 경우에 0의 값을 돌려주는 함수이다.

도 6이나 도 9의 예측 모드 정의와 같이, 예측 모드가 성질 1, 즉 주 방향 판정의 용이성을 갖는 경우에는, bHorz(m)의 값은 테이블을 이용하지 않고 용이하게 산출할 수 있다. 예를 들어, 도 9의 예측 모드 정의에서는, 예측 모드 번호 m이 짝수이면 주 방향은 수평 방향이며, 홀수이면 주 방향은 수직 방향이다. 예측 화상 생성 시에 이용하는 테이블 이외의 추가의 테이블을 이용하지 않고, 스캔 순서를 선택할 수 있다. 따라서, 성질 1, 즉 주 방향 판정의 용이성을 갖는 예측 모드 정의를 사용하는 경우, 메모리를 삭감할 수 있다.

<변형예 2: 변환·역변환의 선택>

동화상 복호 장치(1)의 역양자화·역변환부(13)에 있어서의 역직교 변환은, 화상 영역과 2차원 주파수 영역 사이의 변환이며 2차원의 역변환이다. 2차원의 역변환을 2개의 1차원의 역변환(수직 1차원 역변환과 수평 1차원 역변환)의 조합에 의해 실현하여도 된다. 구체적으로는, 수직 1차원 역변환으로서 1차원 역 DCT 또는 1차원 역 DST를 이용할 수 있다. 마찬가지로 수평 1차원 역변환으로서 1차원 역 DCT 또는 1차원 역 DST를 이용할 수 있다. 마찬가지로 동화상 부호화 장치(2)의 변환·양자화부(27)에 있어서의 변환도, 2개의 1차원 변환의 조합에 의해 실현할 수 있다. 1차원 변환에는, 1차원 DCT와 1차원 DST를 이용할 수 있다.

예측 잔차의 특성에 따른 1차원 변환의 조합을 선택하여 예측 잔차에 적용함으로써, 항상 동종의 변환을 적용하는 경우에 비하여 변환 계수를 저주파 성분에 집중할 수 있기 때문에, 변환 계수의 부호량을 삭감할 수 있다.

예를 들어, 이하의 수순으로 수직·수평 방향에 적용하는 1차원 DCT의 조합을 선택할 수 있다. 우선, 예측 모드가 Planar 예측이거나, 예측 모드의 주 방향이 수직 방향이거나, 또는 예측 모드의 주 방향이 수평 방향이며 예측 방향이 좌상으로부터 우하 방향인 경우, 수직 1차원 변환으로 1차원 DST를 설정한다. 그 이외의 경우, 수직 1차원 변환으로 1차원 DCT를 설정한다. 다음에, 예측 모드가 Planar 예측이거나, 예측 모드의 주 방향이 수평 방향이거나, 또는 예측 모드의 주 방향이 수직 방향이며 예측 방향이 좌상으로부터 우하 방향인 경우, 수평 1차원 변환으로 1차원 DST를 설정한다. 그 이외의 경우, 수평 1차원 변환으로 1차원 DCT를 설정한다.

상기의 수직 1차원 변환(vertTrans)과 수평 1차원 변환(horzTrans)의 선택 처리는, 이하에 나타내는 의사 코드에 의해 표현할 수 있다.

여기서, intraPredAngle은 전술한 바와 같이 예측 방향의 구배를 나타내고, 부의 값인 경우에는 예측 방향(참조 방향)이 좌상인 것을 나타낸다. 또한, 예측 방향의 구배 정부는, 예측 모드 식별자에 있어서의 주 방향에 대한 변위의 정부와 일치한다. 따라서, 예측 모드 정의가, 전술한 성질 4, 즉 변위의 부호 판정의 용이성을 만족하는 경우에는, 테이블을 이용하지 않고 예측 모드 번호 m에 기초하는 계산에 의해 정부의 판정이 가능해진다. 그 경우, 1차원 변환의 선택 처리를 테이블을 이용하지 않고 실행할 수 있다. 따라서, 도 9의 예측 모드 정의와 같이, 예측 모드 번호가 변위의 부호 판정의 용이성을 충족하는 경우, 1차원 변환의 선택 시의 메모리를 삭감할 수 있다.

또한, 상기는 1차원 변환의 선택 처리에 대하여 기재하였지만, 동화상 복호 장치(1)에 있어서의 1차원 역변환의 선택 처리도, 동일한 처리에 의해 실행된다.

<변형예 3: 참조 화소 필터 선택의 다른 방법>

상기의 예측 화상 생성부(14)의 설명에서는, 참조 화소 필터부(144)에 있어서의 필터 적용 유무(refPicFilterFlag)의 값을 도 12의 테이블을 이용하여 도출하는 방법을 기재하였지만, 다른 도출 방법을 이용하여도 된다. 참조 화소 필터부(144)는, 예를 들어 대상 PU의 사이즈 puSize의 값에 따라서 이하의 식에 의해 필터 적용 유무의 값을 설정할 수 있다.

여기서, absAng(m)은 도 18에 나타낸 구배 절댓값 정의 테이블에 있어서 정의되어 있는 absIntraPredAngle의 값과 동일하다. 따라서, 상기의 식에서는, 예측 방향의 구배의 절댓값에 기초하여, 필터 적용 유무의 값을 설정하고 있다고 할 수도 있다. 상기의 식에 의하면, 예측 모드가 방향 예측인 경우, 예측 방향의 구배의 절댓값이, 대상 PU의 사이즈에 따른 소정의 임계값 이하인 경우에 참조 화소 필터를 적용하는 것(refPicFilterFlag의 값이 1)을 선택하고 있다. 임계값은, 대상 PU의 사이즈가 클수록 작은 값이 설정되어 있다. PU 사이즈가 4×4인 경우에는, 예측 방향의 구배에 관한 조건은 없지만, 항상 참조 화소 필터를 적용하지 않기 때문에, 임계값이 무한대라고 간주할 수 있다. 또한, 예측 방향의 구배가 큰 경우, 예측 방향과 주 방향의 이루는 각도가 큰 것을 의미한다. 따라서, 대상 PU의 사이즈가 큰 경우, 대상 PU의 사이즈가 작은 경우에 비하여, 주 방향과 이루는 각도가 보다 작은 예측 방향에 대응지어진 예측 모드에 대해서도 참조 화소 필터를 적용하는 것이 바람직하다. 정성적으로는(qualitatively), 큰 사이즈의 PU는 비교적 평탄한 영역에서 선택되는 것, 평탄한 영역에서는 평활화가 유효하기 때문에, 상기한 선택이 유효하다고 할 수 있다. 또한, 상기에서는 PU 사이즈에 따른 임계값의 변경이라고 기재하였지만, 다른 사이즈, 예를 들어 CU 사이즈나 변환 단위의 사이즈에 따른 판정이어도 된다.

<변형예 4: 예측 모드 정의의 다른 예>

특정한 성질을 갖는 예측 모드 정의로서, 도 6과 도 9의 예측 모드 정의를 예로 들어 설명하였다. 성질로서는, 이하의 5가지를 들고 있다.

(성질 1) 주 방향 판정의 용이성

(성질 2) 상기 변위 방향 예측 모드 판정의 용이성

(성질 3) 방향 예측 정밀도 판정의 용이성

(성질 4) 변위의 부호 판정의 용이성

(성질 5) 변위의 절댓값 판정의 용이성

상기 성질의 일부를 갖는 상이한 예측 모드 정의를 사용하여도 된다. 예를 들어, 도 27의 예측 모드 정의 DEFPM3을 사용하여도 된다. 도 27의 예측 모드 정의 DEFPM3에서는, Planar 예측에 0, DC 예측에 1의 예측 모드 번호가 각각 할당되어 있다. 또한, VER-8 내지 VER+8의 예측 모드에 대하여 2 내지 18의 예측 모드 번호가 순서대로 할당되어 있다. 또한, HOR-7 내지 HOR+8의 예측 모드에 대하여 19 내지 34의 예측 모드 번호가 순서대로 할당되어 있다. 도 27의 예측 모드 정의 DEFPM3은, 전술한 성질 중, 성질 1 내지 3을 만족한다. 성질 1에 관련하여, 예측 모드가 수평 방향인지 수직 방향인지의 판정이, 예측 모드 번호가 18 이하인지 여부의 판정에 의해 실현할 수 있다. 성질 2에 관련하여, 2개의 예측 모드가 동일한 변위를 갖는지 여부의 판정이, 2개의 예측 모드 번호의 차가 16에 일치하는지 여부에 의해 판정될 수 있다. 성질 3에 관련하여, 방향 예측의 정밀도가 높은지 낮은지, 즉 예측 모드 식별자에 있어서의 변위 부분이 짝수인지 홀수인지의 판정이, 예측 모드 번호가 짝수인지 홀수인지에 의해 판정될 수 있다. 또한, 도 27의 예측 모드 정의 DEFPM3은, 추가의 성질로서, 방향 예측 판정의 용이성을 갖고 있다. 즉, 예측 모드 번호가 2 이상인지 여부에 의해, 예측 모드가 방향 예측에 속하는지 여부를 용이하게 판정할 수 있다.

<변형예 5: 상이한 예측 모드 부호화의 예>

상기의 예에서는, 4×4의 PU 사이즈에 대하여 18개, 8×8 내지 64×64의 PU 사이즈에 대하여 35개의 예측 모드가 휘도에 있어서의 인트라 예측 모드로서 선택 가능한 예를 기재하였지만, 그에 한정되지 않는다. 예를 들어, 4×4의 PU 사이즈에 대하여 19개, 8×8 내지 64×64의 PU 사이즈에 대하여 35개의 인트라 예측 모드가 선택 가능하여도 된다. 이하, 그와 같은 경우의 예측 모드 정의, 및 예측 모드 복호 처리에 대하여 설명한다.

예측 모드 정의는, 예측 모드 번호의 정의를 도 9의 정의로 한 후에, 4×4의 PU 사이즈에 대해서는 예측 모드 번호 0 내지 18, 8×8 내지 64×64의 PU 사이즈에 대해서는 예측 모드 번호 0 내지 34의 예측 모드를 선택 가능하게 한다.

예측 모드 복호 처리는, 기본적으로는 전술한 가변 길이 복호부(11)에 있어서의 예측 모드 복호 처리와 동일하지만, 다음의 점이 서로 다르다. 가변 길이 복호부(11) 내의 예측 모드 복원부(114)에서는, 부호화 데이터로부터 직접 rem_idx의 값을 복호하지 않고, 부호화 데이터로부터 복호한 rem_idx_zero_flag와rem_idx_minus_one의 값에 기초하여 rem_idx의 값을 결정한다. 보다 구체적으로는, 복호한 mpm_flag의 값이 0인 경우, 예측 모드 복원부(114)는 부호화 데이터로부터 rem_idx_zero_flag를 복호한다. rem_idx_zero_flag의 값이 1이면, rem_idx를 0으로 설정한다. rem_idx_zero_flag의 값이 0인 경우, 계속해서 rem_idx_minus_one의 값을 복호하고, rem_idx의 값으로서 rem_idx_minus_one에 1을 가산한 값을 설정한다. 이때, rem_idx의 값의 영역은, PU 사이즈가 4×4인 경우에 0 내지 16, 그 이외의 경우에 0 내지 32이기 때문에, rem_idx_minus_one의 값의 영역은 PU 사이즈가 4×4인 경우에 0 내지 15, 그 이외의 경우에 0 내지 31로 된다. rem_idx_minus_one의 값은, PU 사이즈가 4×4인 경우에 4비트, 그 이외의 경우에 5비트의 고정 길이 부호에 의해 부호화할 수 있다.

이상과 같이, 본 발명의 도 9의 예측 모드 번호의 정의는 상기와 같은 PU 사이즈에 따른 예측 모드 수 및 예측 모드 부호화 방법을 이용하는 경우에도 적용 가능하다.

<변형예 6: 휘도 예측 모드 수의 선택>

상기한 예에서는, 휘도에 대하여 적용 가능한 예측 모드의 종류를 PU 사이즈에 따라 결정되는 미리 정해진 종류로 하였지만, 시퀀스, 픽처, 슬라이스 단위에서 적용 가능한 예측 모드의 종류를 전환하는 구성으로 하여도 된다. 특히, 특정 수의 예측 모드를 휘도에 대하여 적용 가능한 설정과, 상기 특정 수보다 적은 수의 예측 모드를 휘도에 대하여 적용 가능한 설정을 전환하는 것이 바람직하다. 그 경우, 예측 모드의 종류가 소수로 충분한 동화상의 일부를 부호화할 때, 적은 수의 예측 모드를 휘도에 대하여 적용 가능한 설정을 선택함으로써 사이드 정보를 삭감할 수 있다. 이하, 구체예를 설명한다.

휘도에 대하여 적용 가능한 예측 모드의 수를, 도 7에 의해 설명한 PU 사이즈의 2의 대수(log2PartSize)와 예측 모드 수의 관계에 의해 정해지는 수를 대신하여, 도 30의 (a)에 나타낸, 변수 intraPredPrecision의 값과 log2PartSize의 값의 조합과, 예측 모드 수의 관계에 의해 정해지는 수를 사용하여도 된다. 여기서, 변수 intraPredPrecision은, 적용 가능한 예측 모드의 종류의 많음을 나타내는 변수이며, 0의 값은 종류가 많음을 나타내고, 1의 값은 종류가 적음을 나타낸다. 도 30의 (a)의 관계에 의하면, 변수 intraPredPrecision의 값이 0인 경우 예측 모드 수는, log2PartSize가 2(PU 사이즈가 4×4 화소)인 경우에 18, 그 이외의 경우, 즉 log2PartSize가 3 내지 6(PU 사이즈가 8×8 화소 내지 64×64 화소)의 경우에 35로 된다. 한편, 변수 intraPredPrecision의 값이 1인 경우의 예측 모드 수는, log2PartSize의 값에 의하지 않고 10으로 된다.

휘도에 대하여 적용 가능한 예측 모드의 종류는, 상기에서 설명한 예측 모드 수를 Nm으로 한 경우, 도 31에 나타낸 예측 모드 정의 DEFPM4에 있어서, 예측 모드 번호 0 내지 Nm-1에 각각 대응하는 예측 모드로 하는 것이 바람직하다. 도 31의 예측 모드 정의 DEFPM4에서는, 예측 모드 번호 0 내지 9가 순서대로, Planar, VER, HOR, DC, VER-8, VER-4, HOR-4, VER+4, HOR+4, VER+8의 예측 모드에 각각 대응지어져 있다. 또한, 예측 모드 번호 10 내지 18이 순서대로, HOR+8, VER-2, HOR-2, VER+2, HOR+2, VER-6, HOR-6, VER+6, HOR+6, VER+6의 예측 모드에 각각 대응지어져 있다. 또한, 예측 모드 번호 19 내지 35가 순서대로, VER-1, HOR-1, VER+1, HOR+1, VER-3, HOR-3, VER+3, HOR+3, VER-5, HOR-5, VER+5, HOR+5, VER-7, HOR-7, VER+7, HOR+7, LM에 각각 대응지어져 있다. 예측 모드 정의 DEFPM4는, 예측 모드 수 10의 경우에 적용 가능한 예측 모드 번호 0 내지 9에 대응하는 예측 모드는, DC, Planar, 변위가 0 또는 변위의 절댓값이 4의 배수인 Angular 예측만을 포함한다는 성질을 갖고 있다. 또한, 예측 모드 수 18의 경우에 적용 가능한 예측 모드 번호 0 내지 17에 대응하는 예측 모드는, DC, Planar, 변위가 0 또는 변위의 절댓값이 2의 배수인 Angular 예측만을 포함한다는 성질을 갖고 있다.

상기의 예에 있어서, 최소의 예측 모드 수로서 10을 사용하는 것은, 예측 모드 번호의 복호 시에 추정 예측 모드 MPM을 2개 사용하는 경우에 유효하다. 왜냐하면, rem_idx의 값의 영역이 0 내지 7로 되고, rem_idx를 3bit의 고정 길이 부호에 의해 부호화할 수 있기 때문이다.

또한, 상기의 예에 있어서, 변수 IntraPrecision의 값이 1인 경우, log2PrartSize의 값에 의하지 않고, 예측 모드 수로서 10을 사용하는 예를 설명하였지만, 이에 한정되지 않는다. 예를 들어, 도 30의 (b)에 나타낸 바와 같이, 예측 모드 수를 4로 하여도 된다. 예측 모드 수가 4인 경우에는, 도 31의 예측 모드 정의 DEFPM4에서는, 예측 모드 번호 0 내지 3이 순서대로, Planar, VER, HOR, DC의 예측 모드에 각각 대응지어져 있다. 또한, 예측 모드 수로서 4를 사용하는 것은, 예측 모드 번호의 복호 시에 추정 예측 모드 MPM을 2개 사용하는 경우에 유효하다. 왜냐하면, rem_idx의 값의 영역이 0 내지 1로 되고, rem_idx를 1bit의 고정 길이 부호에 의해 부호화할 수 있기 때문이다. 일반적으로, 추정 예측 모드 수가 K개인 경우에는, 예측 모드 수 Nm이 Nm-K의 값을 2의 멱승으로 되는 값으로 함으로써, rem_idx가 고정 길이 부호에 의해 부호화할 수 있기 때문에 바람직하다.

변수 intraPredPrecision의 값을, SPS, PPS, 슬라이스 헤더에서 송신함으로써, 각각 시퀀스 단위, 픽처 단위, 슬라이스 단위에서의 휘도에 대한 선택 가능한 예측 모드의 종류 변경이 가능해진다. 또한, 반드시 변수 intraPredPrecision을 사용할 필요는 없으며, 다른 값을 이용하여도 된다. 예를 들어, 미리 정해진 종류(intraPredPrecision이 0인 경우에 대응하는 종류)로부터 변경할지 여부의 정보를 나타내는 플래그를 복호하고, 상기 플래그가 변경하는 것을 나타내는 경우에, 또한 휘도의 각 예측 단위의 사이즈에 대하여 몇 종류의 예측 모드를 적용 가능하게 하는지를 나타내는 정보를 추가로 복호하여 사용하여도 된다.

〔응용예〕

전술한 동화상 부호화 장치(2) 및 동화상 복호 장치(1)는, 동화상의 송신, 수신, 기록, 재생을 행하는 각종 장치에 탑재하여 이용할 수 있다. 또한, 동화상은, 카메라 등에 의해 촬상된 자연 동화상이어도 되고, 컴퓨터 등에 의해 생성된 인공 동화상(CG 및 GUI를 포함함)이어도 된다.

우선, 전술한 동화상 부호화 장치(2) 및 동화상 복호 장치(1)를, 동화상의 송신 및 수신에 이용할 수 있는 것을, 도 28을 참조하여 설명한다.

도 28의 (a)는, 동화상 부호화 장치(2)를 탑재한 송신 장치 PROD_A의 구성을 나타낸 블록도이다. 도 28의 (a)에 나타낸 바와 같이, 송신 장치 PROD_A는, 동화상을 부호화함으로써 부호화 데이터를 얻는 부호화부 PROD_A1과, 부호화부 PROD_A1이 얻은 부호화 데이터에서 반송파를 변조함으로써 변조 신호를 얻는 변조부 PROD_A2와, 변조부 PROD_A2가 얻은 변조 신호를 송신하는 송신부 PROD_A3을 구비하고 있다. 전술한 동화상 부호화 장치(2)는, 이 부호화부 PROD_A1로서 이용된다.

송신 장치 PROD_A는, 부호화부 PROD_A1에 입력하는 동화상의 공급원으로서, 동화상을 촬상하는 카메라 PROD_A4, 동화상을 기록한 기록 매체 PROD_A5 및 동화상을 외부로부터 입력하기 위한 입력 단자 PROD_A6, 및 화상을 생성 또는 가공하는 화상 처리부 A7을 더 구비하고 있어도 된다. 도 28의 (a)에 있어서는, 이들 모두를 송신 장치 PROD_A가 구비한 구성을 예시하고 있지만, 일부를 생략하여도 무방하다.

또한, 기록 매체 PROD_A5는, 부호화되지 않은 동화상을 기록한 것이어도 되고, 전송용 부호화 방식과는 상이한 기록용 부호화 방식으로 부호화된 동화상을 기록한 것이어도 된다. 후자의 경우, 기록 매체 PROD_A5와 부호화부 PROD_A1의 사이에, 기록 매체 PROD_A5로부터 판독한 부호화 데이터를 기록용 부호화 방식에 따라서 복호하는 복호부(도시생략)를 개재시키면 된다.

도 28의 (b)는, 동화상 복호 장치(1)를 탑재한 수신 장치 PROD_B의 구성을 나타낸 블록도이다. 도 28의 (b)에 나타낸 바와 같이, 수신 장치 PROD_B는, 변조 신호를 수신하는 수신부 PROD_B1과, 수신부 PROD_B1이 수신한 변조 신호를 복조함으로써 부호화 데이터를 얻는 복조부 PROD_B2와, 복조부 PROD_B2가 얻은 부호화 데이터를 복호함으로써 동화상을 얻는 복호부 PROD_B3을 구비하고 있다. 전술한 동화상 복호 장치(1)는, 이 복호부 PROD_B3으로서 이용된다.

수신 장치 PROD_B는, 복호부 PROD_B3이 출력하는 동화상의 공급처로서, 동화상을 표시하는 디스플레이 PROD_B4, 동화상을 기록하기 위한 기록 매체 PROD_B5, 및 동화상을 외부로 출력하기 위한 출력 단자 PROD_B6을 더 구비하고 있어도 된다. 도 28의 (b)에 있어서는, 이들 모두를 수신 장치 PROD_B가 구비한 구성으로 예시하고 있지만, 일부를 생략하여도 무방하다.

또한, 기록 매체 PROD_B5는, 부호화되지 않은 동화상을 기록하기 위한 것이어도 되고, 전송용의 부호화 방식과는 상이한 기록용 부호화 방식으로 부호화된 것이어도 된다. 후자의 경우, 복호부 PROD_B3과 기록 매체 PROD_B5의 사이에, 복호부 PROD_B3으로부터 취득한 동화상을 기록용 부호화 방식에 따라서 부호화하는 부호화부(도시생략)를 개재시키면 된다.

또한, 변조 신호를 전송하는 전송 매체는, 무선이어도 되고, 유선이어도 된다. 또한, 변조 신호를 전송하는 전송 형태는, 방송(여기서는, 송신처가 미리 특정되지 않은 송신 형태를 가리킴)이어도 되고, 통신(여기서는, 송신처가 미리 특정되어 있는 송신 형태를 가리킴)이어도 된다. 즉, 변조 신호의 전송은, 무선 방송, 유선 방송, 무선 통신 및 유선 통신 중 어느 것에 의해 실현되어도 된다.

예를 들어, 지상 디지털 방송의 방송국(방송 설비 등)/수신국(텔레비전 수상기 등)은, 변조 신호를 무선 방송에 의해 송수신하는 송신 장치 PROD_A/수신 장치 PROD_B의 일례이다. 또한, 케이블 텔레비전 방송의 방송국(방송 설비 등)/수신국(텔레비전 수상기 등)은, 변조 신호를 유선 방송에 의해 송수신하는 송신 장치 PROD_A/수신 장치 PROD_B의 일례이다.

또한, 인터넷을 이용한 VOD(Video On Demand) 서비스나 동화상 공유 서비스 등의 서버(워크스테이션 등)/클라이언트(텔레비전 수상기, 퍼스널 컴퓨터, 스마트폰 등)는, 변조 신호를 통신에 의해 송수신하는 송신 장치 PROD_A/수신 장치 PROD_B의 일례이다(통상적으로, LAN에 있어서는 전송 매체로서 무선 또는 유선 중 어느 하나가 사용되며, WAN에 있어서는 전송 매체로서 유선이 사용됨). 여기서, 퍼스널 컴퓨터에는, 데스크톱형 PC, 랩톱형 PC, 및 태블릿형 PC가 포함된다. 또한, 스마트폰에는, 다기능 휴대 전화 단말기도 포함된다.

또한, 동화상 공유 서비스의 클라이언트는, 서버로부터 다운로드한 부호화 데이터를 복호하여 디스플레이에 표시하는 기능 외에, 카메라로 촬상한 동화상을 부호화하여 서버에 업로드하는 기능을 갖고 있다. 즉, 동화상 공유 서비스의 클라이언트는, 송신 장치 PROD_A 및 수신 장치 PROD_B의 양쪽으로서 기능한다.

다음으로, 전술한 동화상 부호화 장치(2) 및 동화상 복호 장치(1)를 동화상의 기록 및 재생에 이용할 수 있는 것을, 도 29를 참조하여 설명한다.

도 29의 (a)는, 전술한 동화상 부호화 장치(2)를 탑재한 기록 장치 PROD_C의 구성을 나타낸 블록도이다. 도 29의 (a)에 나타낸 바와 같이, 기록 장치 PROD_C는, 동화상을 부호화함으로써 부호화 데이터를 얻는 부호화부 PROD_C1과, 부호화부 PROD_C1이 얻은 부호화 데이터를 기록 매체 PROD_M에 기입하는 기입부 PROD_C2를 구비하고 있다. 전술한 동화상 부호화 장치(2)는, 이 부호화부 PROD_C1로서 이용된다.

또한, 기록 매체 PROD_M은, (1) HDD(Hard Disk Drive)나 SSD(Solid State Drive) 등과 같이, 기록 장치 PROD_C에 내장되는 타입의 것이어도 되고, (2) SD 메모리 카드나 USB(Universal Serial Bus) 플래시 메모리 등과 같이, 기록 장치 PROD_C에 접속되는 타입의 것이어도 되고, (3) DVD(Digital Versatile Disc)나 BD(Blu-ray Disc: 등록상표) 등과 같이, 기록 장치 PROD_C에 내장된 드라이브 장치(도시생략)에 장전되는 것이어도 된다.

또한, 기록 장치 PROD_C는, 부호화부 PROD_C1에 입력하는 동화상의 공급원으로서, 동화상을 촬상하는 카메라 PROD_C3, 동화상을 외부로부터 입력하기 위한 입력 단자 PROD_C4, 및 동화상을 수신하기 위한 수신부 PROD_C5, 및 화상을 생성 또는 가공하는 화상 처리부 C6을 더 구비하고 있어도 된다. 도 29의 (a)에 있어서는, 이들 모두를 기록 장치 PROD_C가 구비한 구성으로 예시하고 있지만, 일부를 생략하여도 무방하다.

또한, 수신부 PROD_C5는, 부호화되지 않은 동화상을 수신하는 것이어도 되고, 기록용 부호화 방식과는 상이한 전송용 부호화 방식으로 부호화된 부호화 데이터를 수신하는 것이어도 된다. 후자의 경우, 수신부 PROD_C5와 부호화부 PROD_C1의 사이에, 전송용 부호화 방식으로 부호화된 부호화 데이터를 복호하는 전송용 복호부(도시생략)를 개재시키면 된다.

이와 같은 기록 장치 PROD_C로서는, 예를 들어 DVD 레코더, BD 레코더, HD(Hard Disk) 레코더 등을 들 수 있다(이 경우, 입력 단자 PROD_C4 또는 수신부 PROD_C5가 동화상의 주된 공급원으로 됨). 또한, 캠코더(이 경우, 카메라 PROD_C3이 동화상의 주된 공급원으로 됨), 퍼스널 컴퓨터(이 경우, 수신부 PROD_C5가 동화상의 주된 공급원으로 됨), 스마트폰(이 경우, 카메라 PROD_C3 또는 수신부 PROD_C5 또는 화상 처리부 C6이 동화상의 주된 공급원으로 됨) 등도, 이러한 기록 장치 PROD_C의 일례이다.

도 29의 (b)는, 전술한 동화상 복호 장치(1)를 탑재한 재생 장치 PROD_D의 구성을 나타낸 블록이다. 도 29의 (b)에 나타낸 바와 같이, 재생 장치 PROD_D는, 기록 매체 PROD_M에 기입된 부호화 데이터를 판독하는 판독부 PROD_D1과, 판독부 PROD_D1이 판독한 부호화 데이터를 복호함으로써 동화상을 얻는 복호부 PROD_D2를 구비하고 있다. 전술한 동화상 복호 장치(1)는, 이 복호부 PROD_D2로서 이용된다.

또한, 기록 매체 PROD_M은, (1) HDD나 SSD 등과 같이, 재생 장치 PROD_D에 내장되는 타입의 것이어도 되고, (2) SD 메모리 카드나 USB 플래시 메모리 등과 같이, 재생 장치 PROD_D에 접속되는 타입의 것이어도 되며, (3) DVD나 BD 등과 같이, 재생 장치 PROD_D에 내장된 드라이브 장치(도시생략)에 장전되는 것이어도 된다.

또한, 재생 장치 PROD_D는, 복호부 PROD_D2가 출력하는 동화상의 공급처로서, 동화상을 표시하는 디스플레이 PROD_D3, 동화상을 외부로 출력하기 위한 출력 단자 PROD_D4 및 동화상을 송신하는 송신부 PROD_D5를 더 구비하고 있어도 된다. 도 29의 (b)에 있어서는, 이들 모두를 재생 장치 PROD_D가 구비한 구성을 예시하고 있지만, 일부를 생략하여도 상관없다.

또한, 송신부 PROD_D5는, 부호화되지 않은 동화상을 송신하는 것이어도 되고, 기록용 부호화 방식과는 상이한 전송용 부호화 방식으로 부호화된 부호화 데이터를 송신하는 것이어도 된다. 후자의 경우, 복호부 PROD_D2와 송신부 PROD_D5의 사이에, 동화상을 전송용 부호화 방식으로 부호화하는 부호화부(도시생략)를 개재시키면 된다.

이와 같은 재생 장치 PROD_D로서는, 예를 들어 DVD 플레이어, BD 플레이어, HDD 플레이어 등을 들 수 있다(이 경우, 텔레비전 수상기 등이 접속되는 출력 단자PROD_D4가 동화상의 주된 공급처로 됨). 또한, 텔레비전 수상기(이 경우, 디스플레이 PROD_D3이 동화상의 주된 공급처로 됨), 디지털 사이니지(signage)(전자 간판이나 전자게시판 등이라고도 칭해지고, 디스플레이 PROD_D3 또는 송신부 PROD_D5가 동화상의 주된 공급처로 됨), 데스크톱형 PC(이 경우, 출력 단자 PROD_D4 또는 송신부 PROD_D5가 동화상의 주된 공급처로 됨), 랩톱형 또는 태블릿형 PC(이 경우, 디스플레이 PROD_D3 또는 송신부 PROD_D5가 동화상의 주된 공급처로 됨), 스마트폰(이 경우, 디스플레이 PROD_D3 또는 송신부 PROD_D5가 동화상의 주된 공급처로 됨) 등도, 이러한 재생 장치 PROD_D의 일례이다.

(하드웨어적 실현 및 소프트웨어적 실현)

또한, 전술한 동화상 복호 장치(1) 및 동화상 부호화 장치(2)의 각 블록은, 집적 회로(IC 칩) 위에 형성된 논리 회로에 의해 하드웨어적으로 실현하여도 되고, CPU(Central Processing Unit)를 이용하여 소프트웨어적으로 실현하여도 된다.

후자의 경우, 상기 각 장치는, 각 기능을 실현하는 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 저장한 ROM(Read Only Memory), 상기 프로그램을 전개하는 RAM(Random Access Memory), 상기 프로그램 및 각종 데이터를 저장하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 전술한 기능을 실현하는 소프트웨어인 상기 각 장치의 제어 프로그램 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에 의해 판독 가능하게 기록한 기록 매체를, 상기 각 장치에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독 실행함으로써도 달성 가능하다.

상기 기록 매체로서는, 예를 들어 자기 테이프나 카세트 테이프 등의 테이프류, 플로피(등록상표) 디스크/하드디스크 등의 자기디스크나 CD-ROM(Compact Disc Read-Only Memory)/MO 디스크(Magneto-Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/블루레이 디스크(Blu-ray Disc: 등록상표) 등의 광 디스크를 포함하는 디스크류, IC 카드(메모리 카드를 포함함)/광 카드 등의 카드류, 마스크 ROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasableand Programmable Read-Only Memory)/플래시 ROM 등의 반도체 메모리류, 혹은 PLD(Programmable Logic Device)나 FPGA(Field Programmable Gate Array) 등의 논리 회로류 등을 사용할 수 있다.

또한, 상기 각 장치를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통해 공급하여도 된다. 이 통신 네트워크는, 프로그램 코드를 전송 가능하면 되며, 특별히 한정되지 않는다. 예를 들어, 인터넷, 인트라넷, 엑스트라넷, LAN(Local Area Network), ISDN(Integrated Services Digital Network), VAN(Value-Added Network), CATV(Community Antenna television/Cable Television) 통신망, 가상 전용망(Virtual Private Network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 이 통신 네트워크를 구성하는 전송 매체도, 프로그램 코드를 전송 가능한 매체이면 되며, 특정한 구성 또는 종류의 것으로 한정되지 않는다. 예를 들어, IEEE(Institute of Electrical and Electronic Engineers)1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(Asymmetric Digital Subscriber Line) 회선 등의 유선이어도, IrDA(Infrared Data Association)나 리모콘과 같은 적외선, Bluetooth(등록 상표), IEEE802.11 무선, HDR(High Data Rate), NFC(Near Field Communication), DLNA(Digital Living Network Alliance), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이어도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매립된 컴퓨터 데이터 신호의 형태이어도 실현될 수 있다.

(결론)

본 발명은 이하와 같이 표현하는 것도 가능하다.

(1) 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 화상 복호 장치에 있어서, 예측 모드에 관계되는 소정의 특징량에 기초하여 소정의 복호 처리에 이용하는 복호 방식을 선택하는 예측 모드 의존 방식 선택 처리부와, 예측 모드 번호를 고유하게 특정하는 예측 모드 번호를 복호하는 가변 길이 복호부를 구비하고, 상기 예측 모드 번호는, 상기 소정의 특징량이 용이하게 판정 가능하다는 성질을 갖는 구성이다.

(2) 상기 화상 복호 장치에서는, 상기 예측 모드 번호에 기초하여 방향 예측의 주 방향 및 구배를 결정하는 예측 방향 도출부와, 상기 주 방향과 상기 구배에 기초하여 예측 화상을 생성하는 방향 예측 화상 생성부를 구비하고, 상기 예측 모드에 관계되는 소정의 특징량은, 상기 주 방향이며, 상기 소정의 복호 처리는, 상기 예측 화상 생성부에 있어서의 예측 화상 생성 처리이어도 된다.

(3) 또한, 상기 화상 복호 장치에서는, 상기 주 방향이 수직 방향인 모든 방향 예측 모드에 대하여, 짝수의 동등한 예측 모드 번호가 각각 할당되어 있으며, 상기 주 방향이 수평 방향인 모든 방향 예측 모드에 대하여 상기 주 방향이 수직 방향인 모든 방향 예측 모드에 대하여 할당된 예측 모드 번호와, 짝수의 상이한 예측 모드 번호가 각각 할당되어 있어도 된다.

(4) 상기 화상 복호 장치에서는, 상기 예측 모드 번호에 기초하여 방향 예측의 주 방향 및 구배를 결정하는 예측 방향 도출부와, 상기 주 방향과 상기 구배에 기초하여 예측 화상을 생성하는 방향 예측 화상 생성부를 구비하고, 상기 예측 모드에 관계되는 소정의 특징량은, 상기 구배의 절댓값이며, 상기 소정의 복호 처리는, 상기 예측 방향 도출부에 있어서의 상기 구배의 절댓값 결정 처리이어도 된다.

(5) 상기 화상 복호 장치에서는, 상기 예측 모드 번호에 기초하여 방향 예측의 주 방향 및 구배를 결정하는 예측 방향 도출부와, 상기 예측 모드 번호에 기초하여 예측 화상 생성에 이용하는 참조 화소에 대하여 적용하는 필터를 선택하는 참조 화소 설정부를 구비하고, 상기 예측 모드에 관계되는 소정의 특징량은, 상기 구배의 절댓값이며, 상기 소정의 복호 처리는, 상기 참조 화소 설정부에 있어서의 필터 선택 처리이어도 된다.

(6) 상기 화상 복호 장치에서는, 상기 예측 모드 번호에 기초하여 방향 예측의 주 방향 및 구배를 결정하는 예측 방향 도출부를 구비하고, 상기 가변 길이 복호부는, 상기 예측 모드 번호에 기초하여 결정되는 스캔 순서로 변환 계수를 복호하고, 상기 예측 모드에 관계되는 소정의 특징량은, 상기 구배의 부호이며, 상기 소정의 복호 처리는, 상기 가변 길이 복호부에 있어서의 스캔 순서 선택 처리이어도 된다.

(7) 상기 화상 복호 장치에서는, 상기 예측 모드 번호에 기초하여 방향 예측의 주 방향 및 구배를 결정하는 예측 방향 도출부와, 상기 예측 모드 번호에 기초하여 선택되는 수직 1차원 변환 및 수평 1차원 변환을 변환 계수에 적용함으로써 예측 잔차를 복호하는 역양자화·역변환부를 구비하고, 상기 예측 모드에 관계되는 소정의 특징량은, 상기 주 방향 및 상기 구배의 부호이며, 상기 소정의 복호 처리는, 상기 역양자화·역변환부에 있어서의 수직 1차원 변환 및 수평 1차원 변환의 선택 처리이어도 된다.

(8) 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 화상 복호 장치에 있어서, 부호화 데이터로부터 산술 복호에 의해 예측 모드 관련 신택스를 복호함과 함께, 상기 예측 모드 관련 신택스에 기초하여 예측 모드를 복원하는 예측 모드 복원부를 구비하고, 상기 예측 모드 관련 신택스는, 추정 예측 모드 플래그, 추정 예측 모드 인덱스, 및 잔여 예측 모드를 적어도 포함하고,

상기 예측 모드 복원부는, 추정 예측 모드 플래그가 추정 예측 모드를 이용 하는 것을 나타내는 경우, 대상 예측 단위의 좌 인접 예측 단위의 예측 모드에 기초하여 제1 추정 예측 모드를 도출함과 함께, 대상 예측 단위 상 인접 예측 단위의 예측 모드에 기초하여 제2 추정 예측 모드를 도출하고, 상기 2개의 추정 예측 모드의 대소 비교를 행하지 않고, 상기 추정 예측 모드 인덱스의 값에 기초하여 한쪽 추정 예측 모드를 예측 모드로서 복원하는 구성이다.

(9) 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 화상 복호 장치에 있어서, 상기 예측 모드 번호와 예측 화상 생성 단위의 사이즈에 기초하여 예측 화상 생성에 이용하는 참조 화소에 대하여 적용하는 필터를 선택하는 참조 화소 설정부를 구비하고, 상기 참조 화소 설정부에 있어서의 필터 선택은, 대상 예측 단위의 사이즈가 큰 경우, 대상 예측 단위의 사이즈가 작은 경우에 비하여, 주 방향과 이루는 각도가 보다 작은 예측 방향에 대응지어진 예측 모드에 대하여 참조 화소 필터를 적용하는 것을 선택하는 구성이다.

(10) 화상 부호화 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하는 화상 부호화 장치에 있어서, 예측 모드에 관계되는 소정의 특징량에 기초하여 소정의 부호화 처리에 이용하는 부호화 방식을 선택하는 예측 모드 의존 방식 선택 처리부와, 예측 모드 번호를 고유하게 특정하는 예측 모드 번호를 부호화하는 가변 길이 부호화부를 구비하고, 상기 예측 모드 번호는, 상기 소정의 특징량이 용이하게 판정 가능하다는 성질을 갖는 구성이다.

본 발명은 전술한 실시 형태에 한정되는 것은 아니라, 청구항에 나타낸 범위에 의해 다양한 변경이 가능하다. 즉, 청구항에 나타낸 범위에 의해 적절히 변경한 기술적 수단을 조합하여 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

또한, 본 발명은 이하와 같이 표현할 수도 있다.

본 발명의 일 형태에 따른 화상 복호 장치에서는, 상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배의 절댓값을 특정하고, 상기 복원 수단은, 상기 복원 처리로서, 상기 방향 예측의 주 방향을 도출함과 함께, 상기 예측 방향의 구배의 절댓값에 기초하여, 상기 예측 방향의 구배를 도출함으로써, 상기 예측 모드에 대응하는 예측 방향을 도출하는 것이 바람직하다.

상기 구성에 의하면 예측 모드 번호로부터, 예측 방향의 구배의 절댓값을 특정한다. 즉, 구배의 절댓값이 동등한 예측 모드군에 각각 대응하는 예측 모드 번호로부터, 구배를 특정하는 동일한 인덱스를 도출한다. 여기서, 구배의 절댓값이 동등한 예측 모드군이란, 대응하는 예측 방향과 주 방향이 이루는 각도의 절댓값이 동등한 예측 모드군이다. 비특허문헌 1의 예에서 말하자면, 예측 방향의 구배의 절댓값은, 4개의 방향 예측 모드에 관하여 동일해진다(예를 들어, VER-2, HOR-2, VER+2, HOR+2에 대하여 구배의 절댓값 5). 이로 인해, 예측 모드 번호(예측 모드 식별자)로부터, 예측 방향의 구배의 절댓값을 도출하기 위해서, 모든 예측 모드 번호(예측 모드 식별자)의 각각에, 예측 방향의 구배의 절댓값을 대응짓는 테이블을 설치하지 않아도 된다.

따라서, 예측 모드 번호(예측 모드 식별자)로부터, 예측 방향의 구배의 절댓값을 도출하기 위한 테이블 사이즈를 저감할 수 있다.

또한, 본 발명의 일 형태에 따른 화상 복호 장치에서는, 상기 대응짓기에서는, 동일한 구배의 절댓값을 갖는 예측 방향에 대응하는 예측 모드에 대하여, 연속한 예측 모드 번호가 대응지어져 있으며, 상기 특징량 특정 수단은, 상기 예측 모드 번호에 기초하여, 그 예측 모드 번호에 대응지어져 있는 예측 모드가, 상기 동일한 구배의 절댓값을 갖는 예측 방향에 대응하는 예측 모드로 이루어지는 군 중 어디에 속하는지를 판정함으로써, 상기 구배의 절댓값을 특정하는 것이 바람직하다.

상기 구성에 의하면, 다음의 성질을 얻을 수 있다.

성질: 변위(구배)의 절댓값 판정의 용이성

예측 모드에 대응하는 예측 방향의 변위 절댓값을 용이하게 판정할 수 있다는 성질이다. 이 성질을 만족하기 위해서는, 예를 들어 동일한 절댓값을 갖는 변위에 대응지어지는 예측 모드가 연속하고 있으며, 예측 모드 번호에 대응지어져 있는 예측 모드가, 상기 동일한 구배의 절댓값을 갖는 예측 방향에 대응하는 예측 모드로 이루어지는 군 중 어디에 속하는지를 판정함으로써, 상기 구배의 절댓값을 특정할 수 있다.

이 판정은, 예를 들어 예측 모드 번호에, 소정의 수치에 의해 우 시프트 연산한 값에 의해 행할 수 있다. 구체적으로 예시하면 다음과 같다. VER-2, HOR-2, VER+2 및 HOR+2에 대하여, 각각 예측 모드 번호 7, 8, 9 및 10이 대응지어져 있다고 하자. 이때, 예측 모드 번호 m(m=7 내지 10)에 대하여, (m+1)>>2의 연산을 적용하면, 2가 얻어진다. 이와 같이, 상기 동일한 구배의 절댓값을 갖는 예측 방향에 대응하는 예측 모드로 이루어지는 군 중 어디에 속하는지를 특정할 수 있다. 또한, 상기 판정은, 예측 모드 번호를 제산하여 얻어지는 몫에 기초하여 행할 수도 있다.

따라서, 각 예측 모드 번호(예측 모드 식별자)에 대하여, 구배의 절댓값을 대응짓지 않아도 되고, 상기 군에 대하여, 상기 구배의 절댓값을 대응지어 두기만 해도 충분하다. 이에 의해, 대응짓기 테이블의 사이즈를 삭감할 수 있다.

본 발명에 따른 화상 복호 장치에서는, 상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배의 절댓값을 특정하고, 상기 복원 수단은, 상기 복원 처리로서, 상기 구배의 절댓값에 기초하여 예측 화상 생성에 이용하는 참조 화소에 대하여 적용하는 필터를 선택하는 것이 바람직하다.

상기 구성에 의하면, 예측 모드 번호로부터, 예측 방향의 구배의 절댓값을 특정한다. 이로 인해, 모든 예측 모드 번호(예측 모드 식별자)의 각각에, 예측 방향의 구배의 절댓값을 대응짓는 테이블을 설치하지 않아도 된다.

또한, 필터 처리에 있어서는, 대상 예측 단위의 사이즈와, 예측 방향의 구배의 절댓값에 따라서 필터를 선택하는 것이 바람직하다. 예를 들어, 대상 예측 단위의 사이즈가 큰 경우, 대상 예측 단위의 사이즈가 작은 경우와 비교하여, 구배의 절댓값이 작은 예측 방향에 대응지어진 예측 모드에 대하여 참조 화소 필터를 적용한다.

이상 설명한 바에 의해, 참조 화소 필터 적용 처리에 있어서의 메모리 삭감을 도모할 수 있다.

본 발명의 일 형태에 따른 화상 복호 장치에서는, 상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배 부호를 특정하고, 상기 복원 수단은, 상기 복원 처리로서, 상기 구배의 부호에 기초하여, 변환 계수를 복호하는 스캔 순서를 결정하는 것이 바람직하다.

상기 구성에 의하면, 예측 모드 번호로부터, 예측 방향의 구배 부호를 특정한다. 이로 인해, 모든 예측 모드 번호(예측 모드 식별자)의 각각에, 예측 방향의 구배 부호를 대응짓는 테이블을 설치하지 않아도 된다.

예측 모드 번호로부터, 예측 방향의 구배 부호를 특정하기 위해서는, 예를 들어 예측 모드 번호와, 예측 모드 사이의 대응짓기가 다음과 같은 성질을 갖고 있으면 된다.

성질: 변위(구배)의 부호 판정의 용이성

이 성질을 실현하기 위한 대응짓기의 일례로서는, 동일 부호의 변위에 대응지어지는 예측 모드가, 2개씩 주기적으로 반복되어 예측 모드 번호와 대응짓는 것을 들 수 있다.

구체적으로 예시하면, VER-2, HOR-2, VER+2 및 HOR+2에 대하여, 각각 예측 모드 번호 7, 8, 9 및 10이 대응지어져 있다고 하자. 이때, 변위(구배)의 부호는 다음과 같이 하여 도출할 수 있다.

예측 모드 번호 m+1(m=7 내지 10)을 4로 제산했을 때의 나머지를 계산한다. 여기서, 나머지가, 0 또는 1일 때 변위의 부호는, 부의 부호이다. 나머지가, 2 및 3일 때 변위의 부호는, 정이다.

또한, 변환 계수를 복호하는 스캔 순서는, 예측 방향의 구배에 따라서 선택하는 것이 바람직하다. 구체적으로는, 구배가 소정의 값보다 큰 경우, 대각 스캔을 선택하는 것이 바람직하다.

또한, 이에 반하여, 구배가 소정의 값 이하인 경우, 예측 방향의 주 방향에 기초하여 스캔 순서를 선택하여도 된다. 예를 들어, 주 방향이 수직 방향인 경우, 수직 스캔을 선택하고, 주 방향이 수평 방향인 경우, 수평 스캔을 선택하여도 된다.

다시 말하자면, 성질:변위(구배)의 부호 판정의 용이성 외에, 상기 성질 1을 만족하는 대응짓기를 병용하는 것도 가능하다. 전술한 구체예에서는, 이러한 성질을 만족하고 있다. 이와 같이 성질 1을 이용하여 상기 선택을 행하여도 된다.

이상 설명한 바에 의해, 스캔 순서를 선택하는 처리에 있어서의 메모리 삭감을 도모할 수 있다.

본 발명에 따른 화상 복호 장치에서는, 상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 주 방향 및 구배의 부호를 특정하고, 상기 복원 수단은, 상기 복원 처리로서, 상기 주 방향 및 구배의 부호에 기초하여, 수직 1차 변환 및 수평 1차 변환을 변환 계수에 적용함으로써 예측 잔차를 복호하는 것이 바람직하다.

상기 구성에 의하면, 예측 모드 번호로부터, 예측 방향의 주 방향 및 구배의 부호를 특정한다. 전술한 바와 같이, 성질:변위(구배)의 부호 판정의 용이성 외에, 상기 성질 1을 만족하는 대응짓기를 병용하는 것도 가능하다.

또한, 변환 계수의 역직교 변환에 있어서는, 수직 1차원 역변환 및 수평 1차원 역변환을 채용할 수 있다. 이 역변환에서는, 1차원 역 DCT 또는 1차원 역 DST를 선택할 수 있다.

수직 1차원 역변환 및 수평 1차원 역변환에서는, 예측 잔차의 특성에 따른 조합을 선택하는 것이 바람직하다. 예측 잔차의 특성은, 예측 모드에 의해 정해진다. 방향 예측의 예측 모드에 대해서는, 예를 들어 다음과 같이 수직 1차원 역변환 및 수평 1차원 역변환의 조합을 선택한다.

예측 모드의 주 방향이 수직 방향인 경우, 또는 예측 모드의 주 방향이 수평 방향이며, 예측 방향이 좌상으로부터 우하 방향인 경우, 수직 1차원 역변환으로 1차원 DST를 설정한다. 그 이외의 경우, 수직 1차원 역변환으로 1차원 DCT를 설정한다.

또한, 예측 모드의 주 방향이 수평 방향인 경우, 또는 예측 모드의 주 방향이 수직 방향이며, 예측 방향이 좌상으로부터 우하 방향인 경우, 수평 1차원 역변환으로 1차원 DST를 설정한다. 그 이외의 경우, 수평 1차원 역변환으로 1차원 DCT를 설정한다.

우선, 주 방향은, 상기의 성질 1을 이용할 수 있다. 또한, 주 방향이 수직 방향 및 수평 방향인 경우에 있어서, 예측 방향이 좌상으로부터 우하 방향인지 여부는, 구배의 부호에 의해 판정될 수 있다. 따라서, 상기의 성질:변위(구배)의 부호 판정의 용이성을 이용할 수 있다.

이상 설명한 바에 의해, 1차원 역변환의 조합을 선택하는 처리에 있어서의 메모리 삭감을 도모할 수 있다.

또한, 본 발명의 일 형태에 따른 화상 복호 장치는, 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화된 화상을 복원하는 화상 복호 장치에 있어서, 대상 예측 단위의 예측 모드의 복원에, 추정 예측 모드를 이용할지 여부를 나타내는 추정 예측 모드 플래그, 및 복수의 추정 예측 모드 중 어느 한쪽을 지정하기 위한 추정 예측 모드 인덱스를, 부호화 데이터로부터 산술 복호에 의해 복호하는 산술 복호 수단과, 상기 대상 예측 단위의 복수의 근방 예측 단위에 할당되어 있는 복호 완료의 예측 모드로부터, 복수의 상기 추정 예측 모드를 도출하는 추정 예측 모드 도출 수단과, 상기 추정 예측 모드 인덱스에 대하여 산술 복호를 위한 컨텍스트가 설정되지 않은 경우이며, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치함을 나타내는 경우에, 상기 추정 예측 모드 인덱스가 나타내는 추정 예측 모드를 예측 모드로서 선택하고, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치하지 않음을 나타내는 경우에, 상기 복수의 추정 예측 모드의 교환 처리를 이용하여, 예측 모드를 복원하는 예측 모드 복원 수단을 구비하고, 상기 예측 모드 복원 수단은, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치하지 않음을 나타내는 경우에, 상기 복수의 예측 모드에 대응하는 예측 모드 번호의 대소 비교에 기초하여 추정 예측 모드의 교환 처리를 실행하는 것이 바람직하다.

상기 구성에서는, 우선, 추정 예측 모드 플래그 및 추정 예측 모드 인덱스를, 부호화 데이터로부터 산술 복호에 의해 복호한다.

또한, 근방 예측 단위에 할당되어 있는 복호 완료의 예측 모드에 따라서, 복수의 추정 예측 모드를 도출한다. 또한, 추정 예측 모드는, 추정 예측 모드 인덱스에 의해 지정된다.

여기서, 근방 예측 단위란, 대상 예측 단위와 공간 상관을 갖는 예측 단위이다. 예를 들어, 근방 예측 단위로서는, 대상 예측 단위에 인접하는 예측 단위를 들 수 있다. 또한, 근방 예측 단위는, 대상 예측 단위의 좌 인접 예측 단위 및 상 인접 예측 단위이어도 된다.

또한, 산술 복호에 의한 파라미터의 복호에 있어서는, 0 또는 1의 발생 확률에 따른 컨텍스트를 이용할 수 있다. 컨텍스트를 이용하는 경우에는, 0 또는 1의 발생 확률에 편차가 발생하면, 부호량을 삭감할 수 있다.

여기서, 일반적으로 발생 확률이 높은 예측 모드에는 작은 예측 모드 번호가 대응지어진다.

따라서, 작은 예측 모드 번호의 예측 모드를, 작은 추정 예측 모드 인덱스의 값에 할당함으로써 상기 작은 추정 예측 모드 인덱스의 값에 대응하는 추정 예측 모드의 발생 확률이, 보다 큰 추정 예측 모드 인덱스의 값에 대응하는 추정 예측 모드의 발생 확률보다도 높아진다.

이상 설명한 바에 의해, 컨텍스트를 이용하는 경우에는, 작은 예측 모드 번호의 예측 모드가, 큰 예측 모드 번호의 예측 모드보다도, 큰 추정 예측 모드 인덱스에 할당되어 있는 경우, 작은 예측 모드 번호의 예측 모드에 대한 인덱스 할당과 큰 예측 모드 번호의 예측 모드에 대한 인덱스 할당을 스왑(교환)하는 것이 바람직하다.

또한, 이와 같이, 발생 확률에 편차가 발생하는 경우, 추정 예측 모드 인덱스의 산술 복호에 컨텍스트를 이용함으로써 부호량을 삭감할 수 있다.

이에 반하여, 컨텍스트를 이용하지 않는 경우에는, 산술 복호에 있어서 0, 1의 발생이, 등확률, 즉 "발생 확률에 편차가 발생하지 않는다"라고 간주되어 복호된다. 따라서, 상기 스왑을 행하여도 부호량 삭감에 기여하지 않을 뿐만 아니라, 부주의하게 처리량의 증대를 초래해버린다. 이로 인해, 컨텍스트를 이용하지 않는 경우에는, 상기 스왑을 생략하는 것이 바람직하다.

상기 구성에 의하면, 상기 추정 예측 모드 인덱스에 대하여 산술 복호를 위한 컨텍스트가 설정되지 않은 경우, 상기 복수의 추정 예측 모드에 대응하는 모드 번호의 대소 비교에 기초하는 추정 예측 모드의 교환 처리를 생략한다.

그 결과, 추정 예측 모드를 이용하는 경우에 있어서의 예측 모드 도출에 필요로 하는 처리량을 삭감할 수 있다.

또한, 일반적으로, 화상이 평탄한 영역에서는 참조 화상에 대하여 평활화 필터를 적용하는 것이 예측 화상의 화질을 향상시키는 데 유효하다. 또한, 큰 사이즈의 예측 단위는, 정성적으로는, 비교적 평탄한 영역에서 선택된다. 따라서, 큰 사이즈의 예측 단위에 있어서는, 보다 필터의 적용 대상을 증가시키는 것이 바람직하다.

상기 구성에 의하면, 대상 예측 단위의 사이즈가 큰 경우, 대상 예측 단위의 사이즈가 작은 경우에 비하여, 주 방향과 이루는 각도가 보다 작은 예측 방향에 대응지어져 있는 예측 모드에 대응지어져 있는 예측 모드 번호에 대하여 참조 화소 필터를 적용한다.

이로 인해, 대상 예측 단위의 사이즈에 따라 예측 방향에 기초하는 평활화 필터를 적용할 수 있어, 이에 의해 예측 화상의 화질의 향상을 도모할 수 있다.

또한, 상기 화상 복호 장치에 대응하는 구성을 구비하는 화상 부호화 장치도 본 발명의 범주에 들어간다. 상기와 같이 구성된 화상 부호화 장치에 의하면, 본 발명에 따른 화상 복호 장치와 마찬가지의 효과를 발휘할 수 있다.

상기의 과제를 해결하기 위해서, 본 발명에 따른 부호화 데이터의 데이터 구조는, 예측 단위마다 예측 모드군에서 선택한 예측 모드에 따라서 생성된 예측 화상을 원 화상으로부터 감산하여 얻어지는 예측 잔차를, 선택한 예측 모드를 지정하는 예측 모드 지정 정보를 포함하는 사이드 정보와 함께 부호화함으로써 생성된 부호화 데이터의 데이터 구조이며, 상기 예측 모드 지정 정보는, 주 방향 및 구배에 의해 정해지는 예측 방향에 기초하는 인트라 예측 방식에 대응지어진 예측 모드 번호를 포함하고, 상기 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖는 것을 특징으로 한다.

상기 구성에 의하면, 복호 화상과 부호화 데이터를 입력으로 하여, 복호 화상에 대하여 포스트 필터를 적응적으로 적용하는 경우, 보다 구체적으로는, 부호화 데이터에 기초하여 예측 모드 번호를 복원하고, 각 예측 모드의 주 방향이 수직 방향인지 수평 방향인지를 판정하고, 판정 결과에 따른 필터를 복호 화상의 각 예측 모드가 대응하는 영역에 대하여 적용하는 경우에, 예측 모드의 주 방향 판정을, 각 예측 모드 번호와 주 방향을 대응짓는 테이블을 참조하지 않고 실현할 수 있다. 따라서, 복호 시 또는 부호화 시에 있어서 필요한 메모리를 삭감할 수 있다.

본 발명은, 화상 데이터가 부호화된 부호화 데이터를 복호하는 화상 복호 장치, 및 화상 데이터가 부호화된 부호화 데이터를 생성하는 화상 부호화 장치에 적합하게 적용할 수 있다. 또한, 화상 부호화 장치에 의해 생성되고, 화상 복호 장치에 의해 참조되는 부호화 데이터의 데이터 구조에 적합하게 적용할 수 있다.

1: 동화상 복호 장치(화상 복호 장치)
11: 가변 길이 복호부(산술 복호 수단)
111: 예측 세트 결정부
112: MPM 도출부(추정 예측 모드 도출 수단)
113: MPM 판정부
114: 예측 모드 복원부(예측 모드 복원 수단)
116: 색차 예측 모드 복원부
117: 컨텍스트 기억부
13: 역양자화·역변환부(복원 수단)
14: 예측 화상 생성부
144: 참조 화소 필터부(복원 수단, 필터 선택 수단)
145: 휘도 예측부(복원 수단)
1451: 예측 방식 선택부
1452: 예측 화상 도출부
1452D: DC 예측부
1452P: Planar 예측부
1452H: 수평 예측부
1452V: 수직 예측부
1452A: Angular 예측부(복원 수단)
1453: 예측 방향 도출부(특징량 특정 수단)
1453A, 1453A': 주 방향 도출부(특징량 특정 수단)
1453B, 1453B': 구배 도출부(특징량 특정 수단)
146: 색차 예측부
DEFPM1 내지 DEFPM3: 예측 모드 정의
DEFANG1r, DEFANG1r: 구배 정의 테이블
DEFANG2: 구배 절댓값 정의 테이블
2: 동화상 부호화 장치(화상 부호화 장치)
23: 예측 화상 생성부
22: 역양자화·역변환부
29: 부호화 데이터 생성부(부호화 수단)
291: 예측 세트 결정부
292: MPM 도출부
293: MPM 판정부
294: 예측 모드 부호화부
296: 색차 예측 모드 부호화부

Claims (11)

1. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화 데이터로부터 화상을 복원하는 화상 복호 장치로서,
   방향 예측의 인트라 예측 방식에 관하여, 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 특정하기 위한 예측 모드 번호의 대응짓기가 이루어져 있으며,
   상기 예측 모드 번호가 소정의 임계값 이하인지 여부를 판정하고, 판정된 결과에 기초하여 참조 화소를 설정하는 참조 화소 설정 수단을 갖고, 설정된 상기 참조 화소에 따라 소정의 복원 처리를 행하는 복원 수단을 구비하는 것을 특징으로 하는 화상 복호 장치.
2. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화 데이터로부터 화상을 복원하는 화상 복호 장치로서,
   방향 예측의 인트라 예측 방식에 관하여, 주 방향 및 구배(gradient)에 의해 표현되는 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 고유하게(uniquely) 특정하기 위한 예측 모드 번호 사이의 대응짓기가, 그 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖고 있으며,
   상기 대응짓기에 기초하여, 부호화 데이터로부터 복호된 상기 예측 모드 번호로부터 상기 특징량을 특정하는 특징량 특정 수단과,
   상기 특징량에 따라 소정의 복원 처리를 행하는 복원 수단을 구비하는 것을 특징으로 하는 화상 복호 장치.
3. 제2항에 있어서,
   상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배의 절댓값을 특정하고,
   상기 복원 수단은, 상기 복원 처리로서, 상기 방향 예측의 주 방향을 도출함과 함께, 상기 예측 방향의 구배의 절댓값에 기초하여, 상기 예측 방향의 구배를 도출함으로써, 상기 예측 모드에 대응하는 예측 방향을 도출하는 것을 특징으로 하는 화상 복호 장치.
4. 제2항에 있어서,
   상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배의 절댓값을 특정하고,
   상기 복원 수단은, 상기 복원 처리로서, 상기 구배의 절댓값에 기초하여 예측 화상 생성에 이용하는 참조 화소에 대하여 적용하는 필터를 선택하는 것을 특징으로 하는 화상 복호 장치.
5. 제2항에 있어서,
   상기 특징량 특정 수단은, 상기 특징량으로서, 상기 예측 방향의 구배 부호를 특정하고,
   상기 복원 수단은, 상기 복원 처리로서, 상기 구배의 부호에 기초하여, 변환 계수를 복호하는 스캔 순서를 결정하는 것을 특징으로 하는 화상 복호 장치.
6. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화된 화상을 복원하는 화상 복호 장치로서,
   대상 예측 단위의 예측 모드의 복원에, 추정 예측 모드를 이용할지 여부를 나타내는 추정 예측 모드 플래그, 및 복수의 추정 예측 모드 중 어느 한쪽을 지정하기 위한 추정 예측 모드 인덱스를, 부호화 데이터로부터 산술 복호에 의해 복호하는 산술 복호 수단과,
   상기 대상 예측 단위의 복수의 근방 예측 단위에 할당되어 있는 복호 완료의 예측 모드로부터, 복수의 상기 추정 예측 모드를 도출하는 추정 예측 모드 도출 수단과,
   상기 추정 예측 모드 인덱스에 대하여 산술 복호를 위한 컨텍스트가 설정되지 않은 경우로서, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치함을 나타내는 경우에, 상기 추정 예측 모드 인덱스가 나타내는 추정 예측 모드를 예측 모드로서 선택하고, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치하지 않음을 나타내는 경우에, 상기 복수의 추정 예측 모드의 교환 처리를 이용하여, 예측 모드를 복원하는 예측 모드 복원 수단을 구비하는 것을 특징으로 하는 화상 복호 장치.
7. 제6항에 있어서,
   상기 예측 모드 복원 수단은, 상기 추정 예측 모드 플래그가 추정 예측 모드와 일치하지 않음을 나타내는 경우에, 상기 복수의 예측 모드에 대응하는 예측 모드 번호의 대소 비교에 기초하여 추정 예측 모드의 교환 처리를 실행하는 것을 특징으로 하는 화상 복호 장치.
8. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성함으로써 부호화된 화상을 복원하는 화상 복호 장치로서,
   상기 예측 모드에 대응지어져 있는 예측 모드 번호와, 상기 예측 화상을 생성하는 단위인 예측 단위의 사이즈에 기초하여, 상기 예측 화상의 생성에 이용하는 참조 화상에 대하여 적용하는 필터를 선택하는 필터 선택 수단을 구비하고,
   상기 필터 선택 수단은, 대상 예측 단위의 사이즈가 큰 경우, 대상 예측 단위의 사이즈가 작은 경우에 비하여, 주 방향과 이루는 각도가 보다 작은 예측 방향에 대응지어져 있는 예측 모드에 대응지어져 있는 예측 모드 번호에 대하여 참조 화소 필터를 적용하는 것을 선택하는, 화상 복호 장치.
9. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하여, 원 화상과 그 예측 화상의 차를 취함으로써 얻어지는 예측 잔차를 부호화하는 화상 부호화 장치로서,
   방향 예측의 인트라 예측 방식에 관하여, 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 특정하기 위한 예측 모드 번호의 대응짓기가 이루어져 있으며,
   상기 예측 모드 번호가 소정의 임계값 이하인지 여부를 판정하고, 판정된 결과에 기초하여 참조 화소를 설정하는 참조 화소 설정 수단을 갖고, 소정의 부호화 처리를 행하는 부호화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
10. 예측 모드에 대응지어진 인트라 예측 방식에 의해 예측 화상을 생성하여, 원 화상과 그 예측 화상의 차를 취함으로써 얻어지는 예측 잔차를 부호화하는 화상 부호화 장치로서,
    방향 예측의 인트라 예측 방식에 관하여, 주 방향 및 구배에 의해 정해지는 예측 방향에 대응하는 예측 모드와, 그 예측 모드를 고유하게 특정하기 위한 예측 모드 번호 사이의 대응짓기가, 그 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖고 있으며,
    상기 대응짓기에 기초하여, 상기 예측 모드에 대응지어져 있는 상기 예측 모드 번호로부터 상기 특징량을 특정하는 특징량 특정 수단과,
    상기 특징량에 따라 소정의 부호화 처리를 행하는 부호화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
11. 예측 단위마다 예측 모드군에서 선택한 예측 모드에 따라서 생성된 예측 화상을 원 화상으로부터 감산하여 얻어지는 예측 잔차를, 선택한 예측 모드를 지정하는 예측 모드 지정 정보를 포함하는 사이드 정보와 함께 부호화함으로써 생성된 부호화 데이터의 데이터 구조로서,
    상기 예측 모드 지정 정보는, 주 방향 및 구배에 의해 정해지는 예측 방향에 기초하는 인트라 예측 방식에 대응지어진 예측 모드 번호를 포함하고,
    상기 예측 모드 번호로부터 상기 주 방향 및 상기 구배 중 적어도 한쪽에 관계되는 소정의 특징량을 특정할 수 있는 성질을 갖는 것을 특징으로 하는 부호화 데이터의 데이터 구조.

Images