KR102601014B1 - 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 - Google Patents

Abstract

화상 부호화 및 복호화에 적합한 블록 분할을 행함으로써, 부호화 효율을 향상시키는 기술을 제공한다. 부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납부와, 부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출부와, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출부를 구비하고, 상기 이력 인터 예측 정보 후보 도출부는, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램

본 발명은, 화상을 블록으로 분할하여, 예측을 행하는 화상 부호화 및 복호 기술에 관한 것이다.

화상의 부호화 및 복호에서는, 처리의 대상이 되는 화상을 소정수의 화소의 집합인 블록으로 분할하여, 블록 단위로 처리를 한다. 적절한 블록으로 분할하고, 화면 내 예측(인트라 예측), 화면간 예측(인터 예측)을 적절히 설정함으로써, 부호화 효율이 향상한다.

동화상의 부호화·복호에서는, 부호화·복호 완료의 픽처로부터 예측하는 인터 예측에 의해 부호화 효율을 향상시키고 있다. 특허문헌 1에는, 인터 예측 시에, 아핀 변환을 적용하는 기술이 기재되어 있다. 동화상에서는, 물체가 확대·축소, 회전과 같은 변형을 수반하는 것은 드문 일이 아니고, 특허문헌 1의 기술을 적용함으로써, 효율적인 부호화가 가능해진다.

일본공개특허공보 평9-172644호

그러나, 특허문헌 1의 기술은 화상의 변환을 수반하는 것이기 때문에, 처리 부하가 다대하다는 과제가 있다. 본 발명은 상기의 과제를 감안하여, 저부하로 효율적인 부호화 기술을 제공한다.

상기 과제를 해결하기 위해, 본 발명의 제1 태양(態樣)의 화상 부호화 장치는, 부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납부와, 부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출부와, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출부를 구비하고, 상기 이력 인터 예측 정보 후보 도출부는, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명의 제2 태양의 화상 부호화 방법은, 부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과, 부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출 스텝과, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출 스텝을 구비하고, 상기 이력 인터 예측 정보 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명의 제3 태양의 화상 부호화 프로그램은, 부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과, 부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출 스텝과, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 부호화 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출 스텝을 컴퓨터에 실행시키고, 상기 이력 인터 예측 정보 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명의 제4 태양의 화상 복호 장치는, 복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납부와, 복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출부와, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출부를 구비하고, 상기 이력 인터 예측 정보 후보 도출부는, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명의 제5 태양의 화상 복호 방법은, 복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과, 복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출 스텝과, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출 스텝을 구비하고, 상기 이력 인터 예측 정보 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명의 제6 태양의 화상 복호 프로그램은, 복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과, 복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 공간 인터 예측 정보 후보 도출 스텝과, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 인터 예측 정보 후보를 도출하고, 상기 복호 대상 블록의 인터 예측 정보 후보로 하는 이력 인터 예측 정보 후보 도출 스텝을 컴퓨터에 실행시키고, 상기 이력 인터 예측 정보 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 최신의 것으로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 인터 예측 정보 후보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 이력 인터 예측 정보 후보로 한다.

본 발명에 의하면, 고효율의 화상 부호화·복호 처리를 저부하로 실현할 수 있다.

도 1은 본 발명의 실시 형태에 따른 화상 부호화 장치의 블록도이다.
도 2는 본 발명의 실시 형태에 따른 화상 복호 장치의 블록도이다.
도 3은 트리 블록을 분할하는 동작을 설명하기 위한 플로우차트이다.
도 4는 입력된 화상을 트리 블록으로 분할하는 모습을 나타내는 도면이다.
도 5는 z-스캔을 설명하는 도면이다.
도 6a는 블록의 분할 형상을 나타내는 도면이다.
도 6b는 블록의 분할 형상을 나타내는 도면이다.
도 6c는 블록의 분할 형상을 나타내는 도면이다.
도 6d는 블록의 분할 형상을 나타내는 도면이다.
도 6e는 블록의 분할 형상을 나타내는 도면이다.
도 7은 블록을 4분할하는 동작을 설명하기 위한 플로우차트이다.
도 8은 블록을 2분할 또는 3분할하는 동작을 설명하기 위한 플로우차트이다.
도 9는 블록 분할의 형상을 표현하기 위한 신택스이다.
도 10a는 인트라 예측을 설명하기 위한 도면이다.
도 10b는 인트라 예측을 설명하기 위한 도면이다.
도 11은 인터 예측의 참조 블록을 설명하기 위한 도면이다.
도 12는 부호화 블록 예측 모드를 표현하기 위한 신택스이다.
도 13은 인터 예측에 관한 신택스 엘리먼트와 모드의 대응을 나타내는 도면이다.
도 14는 제어점 2점의 아핀 변환 움직임 보상을 설명하기 위한 도면이다.
도 15는 제어점 3점의 아핀 변환 움직임 보상을 설명하기 위한 도면이다.
도 16은 도 1의 인터 예측부(102)의 상세한 구성의 블록도이다.
도 17은 도 16의 통상 예측 움직임 벡터 모드 도출부(301)의 상세한 구성의 블록도이다.
도 18은 도 16의 통상 머지 모드 도출부(302)의 상세한 구성의 블록도이다.
도 19는 도 16의 통상 예측 움직임 벡터 모드 도출부(301)의 통상 예측 움직임 벡터 모드 도출 처리를 설명하기 위한 플로우차트이다.
도 20은 통상 예측 움직임 벡터 모드 도출 처리의 처리 순서를 나타내는 플로우차트이다.
도 21은 통상 머지 모드 도출 처리의 처리 순서를 설명하는 플로우차트이다.
도 22는 도 2의 인터 예측부(203)의 상세한 구성의 블록도이다.
도 23은 도 22의 통상 예측 움직임 벡터 모드 도출부(401)의 상세한 구성의 블록도이다.
도 24는 도 22의 통상 머지 모드 도출부(402)의 상세한 구성의 블록도이다.
도 25는 도 22의 통상 예측 움직임 벡터 모드 도출부(401)의 통상 예측 움직임 벡터 모드 도출 처리를 설명하기 위한 플로우차트이다.
도 26은 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서를 설명하는 도면이다.
도 27은 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 동일 요소 확인 처리 순서의 플로우차트이다.
도 28은 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 요소 시프트 처리 순서의 플로우차트이다.
도 29는 이력 예측 움직임 벡터 후보 도출 처리 순서를 설명하는 플로우차트이다.
도 30은 이력 머지 후보 도출 처리 순서를 설명하는 플로우차트이다.
도 31a는 이력 예측 움직임 벡터 후보 리스트 갱신 처리의 일 예를 설명하기 위한 도면이다.
도 31b는 이력 예측 움직임 벡터 후보 리스트 갱신 처리의 일 예를 설명하기 위한 도면이다.
도 31c는 이력 예측 움직임 벡터 후보 리스트 갱신 처리의 일 예를 설명하기 위한 도면이다.
도 32는 L0 예측으로서 L0의 참조 픽처(RefL0Pic)가 처리 대상 픽처(CurPic)보다 전의 시각에 있는 경우의 움직임 보상 예측을 설명하기 위한 도면이다.
도 33은 L0 예측으로서 L0 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우의 움직임 보상 예측을 설명하기 위한 도면이다.
도 34는 쌍예측으로서 L0 예측의 참조 픽처가 처리 대상 픽처보다 전의 시각에 있고, L1 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우의 움직임 보상 예측의 예측 방향을 설명하기 위한 도면이다.
도 35는 쌍예측으로서 L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 처리 대상 픽처보다 전의 시각에 있는 경우의 움직임 보상 예측의 예측 방향을 설명하기 위한 도면이다.
도 36은 쌍예측으로서 L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우의 움직임 보상 예측의 예측 방향을 설명하기 위한 도면이다.
도 37은 본 발명의 실시 형태의 부호화 복호 장치의 하드웨어 구성의 일 예를 설명하기 위한 도면이다.
도 38a는 블록을 4분할했을 때의 부호화/복호 대상의 부호화 블록이 우상의 블록 경우의 이력 예측 움직임 벡터 후보 리스트의 요소의 일 예를 나타내는 도면이다.
도 38b는 블록을 4분할했을 때의 부호화/복호 대상의 부호화 블록이 좌하의 블록 경우의 이력 예측 움직임 벡터 후보 리스트의 요소의 일 예를 나타내는 도면이다.
도 38c는 블록을 4분할했을 때의 부호화/복호 대상의 부호화 블록이 우하의 블록 경우의 이력 예측 움직임 벡터 후보 리스트의 요소의 일 예를 나타내는 도면이다.
도 38d는 이력 예측 움직임 벡터 후보 리스트의 요소의 확인·비교를 설명하는 도면이다.
도 39는 본 발명의 제2 실시 형태의 이력 머지 후보 도출 처리 순서를 설명하는 플로우차트이다.
도 40은 본 발명의 제3 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 동일 요소 확인 처리 순서의 플로우차트이다.
도 41은 본 발명의 제4 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 동일 요소 확인 처리 순서의 플로우차트이다.

(발명을 실시하기 위한 형태)

본 실시 형태에 있어서 사용하는 기술 및, 기술 용어를 정의한다.

<트리 블록>

실시 형태에서는, 소정의 크기로 부호화·복호 처리 대상 화상을 균등 분할한다. 이 단위를 트리 블록이라고 정의한다. 도 4에서는, 트리 블록의 사이즈를 128×128 화소로 하고 있지만, 트리 블록의 사이즈는 이에 한정되는 것은 아니고, 임의의 사이즈를 설정해도 좋다. 처리 대상(부호화 처리에 있어서는 부호화 대상, 복호 처리에 있어서는 복호 대상에 대응함)의 트리 블록은, 래스터 스캔순, 즉 좌로부터 우, 상으로부터 하의 순서로 전환된다. 각 트리 블록의 내부는, 추가로 재귀적인 분할이 가능하다. 트리 블록을 재귀적으로 분할한 후의, 부호화·복호의 대상이 되는 블록을 부호화 블록이라고 정의한다. 또한, 트리 블록, 부호화 블록을 총칭하여 블록이라고 정의한다. 적절한 블록 분할을 행함으로써 효율적인 부호화가 가능해진다. 트리 블록의 사이즈는, 부호화 장치와 복호 장치에서 미리 결정한 고정값으로 할 수도 있고, 부호화 장치가 결정한 트리 블록의 사이즈를 복호 장치에 전송하는 바와 같은 구성을 취할 수도 있다. 여기에서는, 트리 블록의 최대 사이즈를 128×128 화소, 트리 블록의 최소 사이즈를 16×16 화소로 한다. 또한, 부호화 블록의 최대 사이즈를 64×64 화소, 부호화 블록의 최소 사이즈를 4×4 화소로 한다.

<예측 모드>

처리 대상 부호화 블록 단위로, 처리 대상 화상의 처리 완료 화상 신호로부터 예측을 행하는 인트라 예측(MODE_INTRA) 및, 처리 완료 화상의 화상 신호로부터 예측을 행하는 인터 예측(MODE_INTER)을 전환한다.

처리 완료 화상은, 부호화 처리에 있어서는 부호화가 완료된 신호를 복호한 화상, 화상 신호, 트리 블록, 블록, 부호화 블록 등에 이용되고, 복호 처리에 있어서는 복호가 완료된 화상, 화상 신호, 트리 블록, 블록, 부호화 블록 등에 이용된다.

이 인트라 예측(MODE_INTRA)과 인터 예측(MODE_INTER)을 식별하는 모드를 예측 모드(PredMode)라고 정의한다. 예측 모드(PredMode)는 인트라 예측(MODE_INTRA), 또는 인터 예측(MODE_INTER)을 값으로서 갖는다.

<인터 예측>

처리 완료 화상의 화상 신호로부터 예측을 행하는 인터 예측에서는, 복수의 처리 완료 화상을 참조 픽처로서 이용할 수 있다. 복수의 참조 픽처를 관리하기 위해, L0(참조 리스트 0)과 L1(참조 리스트 1)의 2종류의 참조 리스트를 정의하고, 각각 참조 인덱스를 이용하여 참조 픽처를 특정한다. P 슬라이스에서는 L0 예측(Pred_L0)이 이용 가능하다. B 슬라이스에서는 L0 예측(Pred_L0), L1 예측(Pred_L1), 쌍예측(Pred_BI)이 이용 가능하다. L0 예측(Pred_L0)은 L0에서 관리되고 있는 참조 픽처를 참조하는 인터 예측이고, L1 예측(Pred_L1)은 L1에서 관리되고 있는 참조 픽처를 참조하는 인터 예측이다. 쌍예측(Pred_BI)은 L0 예측과 L1 예측이 함께 행해져, L0과 L1의 각각에서 관리되고 있는 1개씩의 참조 픽처를 참조하는 인터 예측이다. L0 예측, L1 예측, 쌍예측을 특정하는 정보를, 인터 예측 모드라고 정의한다. 이후의 처리에 있어서 출력에 첨자 LX가 붙어 있는 정수, 변수에 관해서는, L0, L1마다 처리가 행해지는 것을 전제로 한다.

<예측 움직임 벡터 모드>

예측 움직임 벡터 모드는, 예측 움직임 벡터를 특정하기 위한 인덱스, 차분 움직임 벡터, 인터 예측 모드, 참조 인덱스를 전송하고, 처리 대상 블록의 인터 예측 정보를 결정하는 모드이다. 예측 움직임 벡터는, 처리 대상 블록에 인접하는 처리 완료 블록, 또는 처리 완료 화상에 속하는 블록에서 처리 대상 블록과 동일 위치 또는 그의 부근(근방)에 위치하는 블록으로부터 도출한 예측 움직임 벡터 후보와, 예측 움직임 벡터를 특정하기 위한 인덱스로부터 도출한다.

<머지 모드>

머지 모드는, 차분 움직임 벡터, 참조 인덱스를 전송하지 않고, 처리 대상 블록에 인접하는 처리 완료 블록, 또는 처리 완료 화상에 속하는 블록에서 처리 대상 블록과 동일 위치 또는 그의 부근(근방)에 위치하는 블록의 인터 예측 정보로부터, 처리 대상 블록의 인터 예측 정보를 도출하는 모드이다.

처리 대상 블록에 인접하는 처리 완료 블록 및, 그 처리 완료 블록의 인터 예측 정보를 공간 머지 후보라고 정의한다. 처리 완료 화상에 속하는 블록에서 처리 대상 블록과 동일 위치 또는 그의 부근(근방)에 위치하는 블록 및, 그 블록의 인터 예측 정보로부터 도출되는 인터 예측 정보를 시간 머지 후보라고 정의한다. 각 머지 후보는 머지 후보 리스트에 등록되고, 머지 인덱스에 의해, 처리 대상 블록의 예측에서 사용하는 머지 후보를 특정한다.

<인접 블록>

도 11은, 예측 움직임 벡터 모드, 머지 모드에서, 인터 예측 정보를 도출하기 위해 참조하는 참조 블록을 설명하는 도면이다. A0, A1, A2, B0, B1, B2, B3은, 처리 대상 블록에 인접하는 처리 완료 블록이다. T0은, 처리 완료 화상에 속하는 블록으로, 처리 대상 화상에 있어서의 처리 대상 블록과 동일 위치 또는 그의 부근(근방)에 위치하는 블록이다.

A1, A2는, 처리 대상 부호화 블록의 좌측에 위치하고, 처리 대상 부호화 블록에 인접하는 블록이다. B1, B3은, 처리 대상 부호화 블록의 상측에 위치하고, 처리 대상 부호화 블록에 인접하는 블록이다. A0, B0, B2는 각각, 처리 대상 부호화 블록의 좌하, 우상, 좌상에 위치하는 블록이다.

예측 움직임 벡터 모드, 머지 모드에 있어서 인접 블록을 어떻게 취급할지의 상세에 대해서는 후술한다.

<아핀 변환 움직임 보상>

아핀 변환 움직임 보상은, 부호화 블록을 소정 단위의 서브 블록으로 분할하고, 분할된 각 서브 블록에 대하여 개별적으로 움직임 벡터를 결정하여 움직임 보상을 행하는 것이다. 각 서브 블록의 움직임 벡터는, 처리 대상 블록에 인접하는 처리 완료 블록, 또는 처리 완료 화상에 속하는 블록으로 처리 대상 블록과 동일 위치 또는 그의 부근(근방)에 위치하는 블록의 인터 예측 정보로부터 도출하는 1개 이상의 제어점에 기초하여 도출한다. 본 실시 형태에서는, 서브 블록의 사이즈를 4×4 화소로 하지만, 서브 블록의 사이즈는 이에 한정되는 것은 아니고, 화소 단위로 움직임 벡터를 도출해도 좋다.

도 14에, 제어점이 2개인 경우의 아핀 변환 움직임 보상의 예를 나타낸다. 이 경우, 2개의 제어점이 수평 방향 성분, 수직 방향 성분의 2개의 파라미터를 갖는다. 이 때문에, 제어점이 2개인 경우의 아핀 변환을, 4 파라미터 아핀 변환이라고 호칭한다. 도 14의 CP1, CP2가 제어점이다.

도 15에, 제어점이 3개인 경우의 아핀 변환 움직임 보상의 예를 나타낸다. 이 경우, 3개의 제어점이 수평 방향 성분, 수직 방향 성분의 2개의 파라미터를 갖는다. 이 때문에, 제어점이 3개인 경우의 아핀 변환을, 6 파라미터 아핀 변환이라고 호칭한다. 도 15의 CP1, CP2, CP3이 제어점이다.

아핀 변환 움직임 보상은, 예측 움직임 벡터 모드 및 머지 모드의 어느 모드에 있어서나 이용 가능하다. 예측 움직임 벡터 모드에서 아핀 변환 움직임 보상을 적용하는 모드를 서브 블록 예측 움직임 벡터 모드라고 정의하고, 머지 모드에서 아핀 변환 움직임 보상을 적용하는 모드를 서브 블록 머지 모드라고 정의한다.

<인터 예측의 신택스>

도 12, 도 13을 이용하여, 인터 예측에 관한 신택스를 설명한다.

도 12의 merge_flag는, 처리 대상 부호화 블록을 머지 모드로 할지, 예측 움직임 벡터 모드로 할지를 나타내는 플래그이다. merge_affine_flag는, 머지 모드의 처리 대상 부호화 블록에서 서브 블록 머지 모드를 적용할지 아닌지를 나타내는 플래그이다. inter_affine_flag는, 예측 움직임 벡터 모드의 처리 대상 부호화 블록에서 서브 블록 예측 움직임 벡터 모드를 적용할지 아닌지를 나타내는 플래그이다. cu_affine_type_flag는, 서브 블록 예측 움직임 벡터 모드에 있어서, 제어점의 수를 결정하기 위한 플래그이다.

도 13에 각 신택스 엘리먼트의 값과, 그에 대응하는 예측 방법을 나타낸다. merge_flag＝1, merge_affine_flag＝0은, 통상 머지 모드에 대응한다. 통상 머지 모드는, 서브 블록 머지가 아닌 머지 모드이다. merge_flag＝1, merge_affine_flag＝1은, 서브 블록 머지 모드에 대응한다. merge_flag＝0, inter_affine_flag＝0은, 통상 예측 움직임 벡터 모드에 대응한다. 통상 예측 움직임 벡터 모드는, 서브 블록 예측 움직임 벡터 모드가 아닌 예측 움직임 벡터 머지이다. merge_flag＝0, inter_affine_flag＝1은, 서브 블록 예측 움직임 벡터 모드에 대응한다. merge_flag＝0, inter_affine_flag＝1의 경우는, 추가로 cu_affine_type_flag를 전송하여, 제어점의 수를 결정한다.

<POC>

POC(Picture Order Count)는 부호화되는 픽처에 관련되는 변수이고, 픽처의 출력 순서에 따른 1씩 증가하는 값이 설정된다. POC의 값에 의해, 동일한 픽처인지를 판별하거나, 출력 순서에서의 픽처간의 전후 관계를 판별하거나, 픽처간의 거리를 도출하거나 할 수 있다. 예를 들면, 2개의 픽처의 POC가 동일한 값을 갖는 경우, 동일한 픽처라고 판단할 수 있다. 2개의 픽처의 POC가 상이한 값을 갖는 경우, POC의 값이 작은 픽처의 쪽이, 먼저 출력되는 픽처라고 판단할 수 있고, 2개의 픽처의 POC의 차가 시간축 방향에서의 픽처간 거리를 나타낸다.

(제1 실시 형태)

본 발명의 제1 실시 형태에 따른 화상 부호화 장치(100) 및 화상 복호 장치(200)에 대해서 설명한다.

도 1은, 제1 실시 형태에 따른 화상 부호화 장치(100)의 블록도이다. 실시 형태의 화상 부호화 장치(100)는, 블록 분할부(101), 인터 예측부(102), 인트라 예측부(103), 복호 화상 메모리(104), 예측 방법 결정부(105), 잔차 생성부(106), 직교 변환·양자화부(107), 비트열 부호화부(108), 역양자화·역직교 변환부(109), 복호 화상 신호 중첩부(110) 및, 부호화 정보 격납 메모리(111)를 구비한다.

블록 분할부(101)는, 입력된 화상을 재귀적으로 분할하여, 부호화 블록을 생성한다. 블록 분할부(101)는, 분할 대상이 되는 블록을 수평 방향과 수직 방향으로 각각 분할하는 4분할부와, 분할 대상이 되는 블록을 수평 방향 또는 수직 방향의 어느 하나로 분할하는 2-3분할부를 포함한다. 블록 분할부(101)는, 생성된 부호화 블록을 처리 대상 부호화 블록으로 하고, 그 처리 대상 부호화 블록의 화상 신호를, 인터 예측부(102), 인트라 예측부(103) 및 잔차 생성부(106)에 공급한다. 또한, 블록 분할부(101)는, 결정된 재귀 분할 구조를 나타내는 정보를 비트열 부호화부(108)에 공급한다. 블록 분할부(101)의 상세한 동작은 후술한다.

인터 예측부(102)는, 처리 대상 부호화 블록의 인터 예측을 행한다. 인터 예측부(102)는, 부호화 정보 격납 메모리(111)에 격납되어 있는 인터 예측 정보와, 복호 화상 메모리(104)에 격납되어 있는 복호 완료의 화상 신호로부터, 복수의 인터 예측 정보의 후보를 도출하고, 도출한 복수의 후보 중으로부터 적합한 인터 예측 모드를 선택하고, 선택된 인터 예측 모드 및, 선택된 인터 예측 모드에 따른 예측 화상 신호를 예측 방법 결정부(105)에 공급한다. 인터 예측부(102)의 상세한 구성과 동작은 후술한다.

인트라 예측부(103)는, 처리 대상 부호화 블록의 인트라 예측을 행한다. 인트라 예측부(103)는, 복호 화상 메모리(104)에 격납되어 있는 복호 완료의 화상 신호를 참조 화소로서 참조하여, 부호화 정보 격납 메모리(111)에 격납되어 있는 인트라 예측 모드 등의 부호화 정보에 기초하는 인트라 예측에 의해 예측 화상 신호를 생성한다. 인트라 예측에서는, 인트라 예측부(103)는, 복수의 인트라 예측 모드 중으로부터 적합한 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드 및, 선택된 인트라 예측 모드에 따른 예측 화상 신호를 예측 방법 결정부(105)에 공급한다.

도 10a 및 도 10b에 인트라 예측의 예를 나타낸다. 도 10a는, 인트라 예측의 예측 방향과 인트라 예측 모드 번호의 대응을 나타낸 것이다. 예를 들면, 인트라 예측 모드 50은, 수직 방향으로 참조 화소를 카피함으로써 인트라 예측 화상을 생성한다. 인트라 예측 모드 1은, DC 모드이고, 처리 대상 블록의 모든 화소값을 참조 화소의 평균값으로 하는 모드이다. 인트라 예측 모드 0은, Planar 모드이고, 수직 방향·수평 방향의 참조 화소로부터 2차원적인 인트라 예측 화상을 작성하는 모드이다. 도 10b는, 인트라 예측 모드 40인 경우의 인트라 예측 화상을 생성하는 예이다. 인트라 예측부(103)는, 처리 대상 블록의 각 화소에 대하여, 인트라 예측 모드가 나타내는 방향의 참조 화소의 값을 카피한다. 인트라 예측부(103)는, 인트라 예측 모드의 참조 화소가 정수 위치가 아닌 경우에는, 주변의 정수 위치의 참조 화소값으로부터 보간에 의해 참조 화소값을 결정한다.

복호 화상 메모리(104)는, 복호 화상 신호 중첩부(110)에서 생성된 복호 화상을 격납한다. 복호 화상 메모리(104)는, 격납되어 있는 복호 화상을, 인터 예측부(102), 인트라 예측부(103)에 공급한다.

예측 방법 결정부(105)는, 인트라 예측과 인터 예측의 각각에 대하여, 부호화 정보 및 잔차의 부호량, 예측 화상 신호와 처리 대상 화상 신호의 사이의 변형량 등을 이용하여 평가함으로써, 최적의 예측 모드를 결정한다. 인트라 예측의 경우는, 예측 방법 결정부(105)는, 인트라 예측 모드 등의 인트라 예측 정보를 부호화 정보로서 비트열 부호화부(108)에 공급한다. 인터 예측의 머지 모드의 경우는, 예측 방법 결정부(105)는, 머지 인덱스, 서브 블록 머지 모드인지 아닌지를 나타내는 정보(서브 블록 머지 플래그) 등의 인터 예측 정보를 부호화 정보로서 비트열 부호화부(108)에 공급한다. 인터 예측의 예측 움직임 벡터 모드의 경우는, 예측 방법 결정부(105)는, 인터 예측 모드, 예측 움직임 벡터 인덱스, L0, L1의 참조 인덱스, 차분 움직임 벡터, 서브 블록 예측 움직임 벡터 모드인지 아닌지를 나타내는 정보(서브 블록 예측 움직임 벡터 플래그) 등의 인터 예측 정보를 부호화 정보로서 비트열 부호화부(108)에 공급한다. 추가로, 예측 방법 결정부(105)는, 결정한 부호화 정보를 부호화 정보 격납 메모리(111)에 공급한다. 예측 방법 결정부(105)는, 잔차 생성부(106) 및 예측 화상 신호를 복호 화상 신호 중첩부(110)에 공급한다.

잔차 생성부(106)는, 처리 대상의 화상 신호로부터 예측 화상 신호를 줄임으로써 잔차를 생성하여, 직교 변환·양자화부(107)에 공급한다.

직교 변환·양자화부(107)는, 잔차에 대하여 양자화 파라미터에 따라서 직교 변환 및 양자화를 행하여 직교 변환·양자화된 잔차를 생성하고, 생성된 잔차를 비트열 부호화부(108)와 역양자화·역직교 변환부(109)에 공급한다.

비트열 부호화부(108)는, 시퀀스, 픽처, 슬라이스, 부호화 블록 단위의 정보에 더하여, 부호화 블록마다 예측 방법 결정부(105)에 의해 결정된 예측 방법에 따른 부호화 정보를 부호화한다. 구체적으로는, 비트열 부호화부(108)는, 부호화 블록마다의 예측 모드 PredMode를 부호화한다. 예측 모드가 인터 예측(MODE_INTER)인 경우, 비트열 부호화부(108)는, 머지 모드인지 아닌지를 판별하는 플래그, 서브 블록 머지 플래그, 머지 모드인 경우는 머지 인덱스, 머지 모드가 아닌 경우는 인터 예측 모드, 예측 움직임 벡터 인덱스, 차분 움직임 벡터에 관한 정보, 서브 블록 예측 움직임 벡터 플래그 등의 부호화 정보(인터 예측 정보)를 규정의 신택스(비트열의 구문 규칙)에 따라 부호화하여, 제1 비트열을 생성한다. 예측 모드가 인트라 예측(MODE_INTRA)인 경우, 인트라 예측 모드 등의 부호화 정보(인트라 예측 정보)를 규정의 신택스(비트열의 구문 규칙)에 따라 부호화하여, 제1 비트열을 생성한다. 또한, 비트열 부호화부(108)는, 직교 변환 및 양자화된 잔차를 규정의 신택스에 따라 엔트로피 부호화하여 제2 비트열을 생성한다. 비트열 부호화부(108)는, 제1 비트열과 제2 비트열을 규정의 신택스에 따라 다중화하여, 비트 스트림을 출력한다.

역양자화·역직교 변환부(109)는, 직교 변환·양자화부(107)로부터 공급된 직교 변환·양자화된 잔차를 역양자화 및 역직교 변환하여 잔차를 산출하고, 산출한 잔차를 복호 화상 신호 중첩부(110)에 공급한다.

복호 화상 신호 중첩부(110)는, 예측 방법 결정부(105)에 의한 결정에 따른 예측 화상 신호와 역양자화·역직교 변환부(109)에서 역양자화 및 역직교 변환된 잔차를 중첩하여 복호 화상을 생성하여, 복호 화상 메모리(104)에 격납한다. 또한, 복호 화상 신호 중첩부(110)는, 복호 화상에 대하여 부호화에 의한 블록 변형 등의 변형을 감소시키는 필터링 처리를 실시한 후, 복호 화상 메모리(104)에 격납해도 좋다.

부호화 정보 격납 메모리(111)는, 예측 방법 결정부(105)에서 결정한, 예측 모드(인터 예측 또는 인트라 예측) 등의 부호화 정보를 격납한다. 인터 예측의 경우는, 부호화 정보 격납 메모리(111)가 격납하는 부호화 정보에는, 결정한 움직임 벡터, 참조 리스트 L0, L1의 참조 인덱스, 이력 예측 움직임 벡터 후보 리스트 등의 인터 예측 정보가 포함된다. 또한 인터 예측의 머지 모드의 경우는, 부호화 정보 격납 메모리(111)가 격납하는 부호화 정보에는, 전술의 각 정보에 더하여, 머지 인덱스, 서브 블록 머지 모드인지 아닌지를 나타내는 정보(서브 블록 머지 플래그)의 인터 예측 정보가 포함된다. 또한 인터 예측의 예측 움직임 벡터 모드의 경우는, 부호화 정보 격납 메모리(111)가 격납하는 부호화 정보에는, 전술의 각 정보에 더하여, 인터 예측 모드, 예측 움직임 벡터 인덱스, 차분 움직임 벡터, 서브 블록 예측 움직임 벡터 모드인지 아닌지를 나타내는 정보(서브 블록 예측 움직임 벡터 플래그) 등의 인터 예측 정보가 포함된다. 인트라 예측의 경우는, 부호화 정보 격납 메모리(111)가 격납하는 부호화 정보에는, 결정한 인트라 예측 모드 등의 인트라 예측 정보가 포함된다.

도 2는, 도 1의 화상 부호화 장치에 대응한 본 발명의 실시 형태에 따른 화상 복호 장치의 구성을 나타내는 블록이다. 실시 형태의 화상 복호 장치는, 비트열 복호부(201), 블록 분할부(202), 인터 예측부(203), 인트라 예측부(204), 부호화 정보 격납 메모리(205), 역양자화·역직교 변환부(206), 복호 화상 신호 중첩부(207) 및, 복호 화상 메모리(208)를 구비한다.

도 2의 화상 복호 장치의 복호 처리는, 도 1의 화상 부호화 장치의 내부에 형성되어 있는 복호 처리에 대응하는 것이기 때문에, 도 2의 부호화 정보 격납 메모리(205), 역양자화·역직교 변환부(206), 복호 화상 신호 중첩부(207) 및, 복호 화상 메모리(208)의 각 구성은, 도 1의 화상 부호화 장치의 부호화 정보 격납 메모리(111), 역양자화·역직교 변환부(109), 복호 화상 신호 중첩부(110) 및, 복호 화상 메모리(104)의 각 구성과 각각 대응하는 기능을 갖는다.

비트열 복호부(201)에 공급되는 비트 스트림은, 규정의 신택스의 규칙에 따라 분리된다. 비트열 복호부(201)는, 분리된 제1 비트열을 복호하여, 시퀀스, 픽처, 슬라이스, 부호화 블록 단위의 정보 및, 부호화 블록 단위의 부호화 정보를 얻는다. 구체적으로는, 비트열 복호부(201)는, 부호화 블록 단위로 인터 예측(MODE_INTER)인지 인트라 예측(MODE_INTRA)인지를 판별하는 예측 모드 PredMode를 복호한다. 예측 모드가 인터 예측(MODE_INTER)인 경우, 비트열 복호부(201)는, 머지 모드인지 아닌지를 판별하는 플래그, 머지 모드인 경우는 머지 인덱스, 서브 블록 머지 플래그, 예측 움직임 벡터 모드인 경우는 인터 예측 모드, 예측 움직임 벡터 인덱스, 차분 움직임 벡터, 서브 블록 예측 움직임 벡터 플래그 등에 관한 부호화 정보(인터 예측 정보)를 규정의 신택스에 따라 복호하고, 부호화 정보(인터 예측 정보)를 인터 예측부(203) 및, 블록 분할부(202)를 통하여 부호화 정보 격납 메모리(205)에 공급한다. 예측 모드가 인트라 예측(MODE_INTRA)인 경우, 인트라 예측 모드 등의 부호화 정보(인트라 예측 정보)를 규정의 신택스에 따라 복호하고, 부호화 정보(인트라 예측 정보)를 인터 예측부(203) 또는 인트라 예측부(204) 및, 블록 분할부(202)를 통하여 부호화 정보 격납 메모리(205)에 공급한다. 비트열 복호부(201)는, 분리한 제2 비트열을 복호하여 직교 변환·양자화된 잔차를 산출하고, 직교 변환·양자화된 잔차를 역양자화·역직교 변환부(206)에 공급한다.

인터 예측부(203)는, 처리 대상의 부호화 블록의 예측 모드 PredMode가 인터 예측(MODE_INTER)에서 예측 움직임 벡터 모드일 때에, 부호화 정보 격납 메모리(205)에 기억되어 있는 이미 복호된 화상 신호의 부호화 정보를 이용하여, 복수의 예측 움직임 벡터의 후보를 도출하고, 도출한 복수의 예측 움직임 벡터의 후보를, 후술하는 예측 움직임 벡터 후보 리스트에 등록한다. 인터 예측부(203)는, 예측 움직임 벡터 후보 리스트에 등록된 복수의 예측 움직임 벡터의 후보 중에서, 비트열 복호부(201)에서 복호되어 공급되는 예측 움직임 벡터 인덱스에 따른 예측 움직임 벡터를 선택하고, 비트열 복호부(201)에서 복호된 차분 움직임 벡터와 선택된 예측 움직임 벡터로부터 움직임 벡터를 산출하고, 산출한 움직임 벡터를 다른 부호화 정보와 함께 부호화 정보 격납 메모리(205)에 격납한다. 여기에서 공급·격납하는 부호화 블록의 부호화 정보는, 예측 모드 PredMode, L0 예측 및, L1 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL0[xP][yP], predFlagL1[xP][yP], L0, L1의 참조 인덱스 refIdxL0[xP][yP], refIdxL1[xP][yP], L0, L1의 움직임 벡터 mvL0[xP][yP], mvL1[xP][yP] 등이다. 여기에서, xP, yP는 픽처 내에서의 부호화 블록의 좌상의 화소의 위치를 나타내는 인덱스이다. 예측 모드 PredMode가 인터 예측(MODE_INTER)이고, 인터 예측 모드가 L0 예측(Pred_L0)인 경우, L0 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL0은 1, L1 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL1은 0이다. 인터 예측 모드가 L1 예측(Pred_L1)인 경우, L0 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL0은 0, L1 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL1은 1이다. 인터 예측 모드가 쌍예측(Pred_BI)인 경우, L0 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL0, L1 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL1은 모두 1이다. 추가로, 처리 대상의 부호화 블록의 예측 모드 PredMode가 인터 예측(MODE_INTER)에서 머지 모드일 때에, 머지 후보를 도출한다. 부호화 정보 격납 메모리(205)에 기억되어 있는 이미 복호된 부호화 블록의 부호화 정보를 이용하여, 복수의 머지의 후보를 도출하여 후술하는 머지 후보 리스트에 등록하고, 머지 후보 리스트에 등록된 복수의 머지 후보 중으로부터 비트열 복호부(201)에서 복호되어 공급되는 머지 인덱스에 대응한 머지 후보를 선택하고, 선택된 머지 후보의 L0 예측 및, L1 예측을 이용할지 아닌지를 나타내는 플래그 predFlagL0[xP][yP], predFlagL1[xP][yP], L0, L1의 참조 인덱스 refIdxL0[xP][yP], refIdxL1[xP][yP], L0, L1의 움직임 벡터 mvL0[xP][yP], mvL1[xP][yP] 등의 인터 예측 정보를 부호화 정보 격납 메모리(205)에 격납한다. 여기에서, xP, yP는 픽처 내에서의 부호화 블록의 좌상의 화소의 위치를 나타내는 인덱스이다. 인터 예측부(203)의 상세한 구성과 동작은 후술한다.

인트라 예측부(204)는, 처리 대상의 부호화 블록의 예측 모드 PredMode가 인트라 예측(MODE_INTRA)일 때에, 인트라 예측을 행한다. 비트열 복호부(201)에서 복호된 부호화 정보에는 인트라 예측 모드가 포함되어 있다. 인트라 예측부(204)는, 비트열 복호부(201)에서 복호된 부호화 정보에 포함되는 인트라 예측 모드에 따라서, 복호 화상 메모리(208)에 격납되어 있는 복호 완료의 화상 신호로부터 인트라 예측에 의해 예측 화상 신호를 생성하고, 생성한 예측 화상 신호를 복호 화상 신호 중첩부(207)에 공급한다. 인트라 예측부(204)는, 화상 부호화 장치(100)의 인트라 예측부(103)에 대응하는 것이기 때문에, 인트라 예측부(103)와 동일한 처리를 행한다.

역양자화·역직교 변환부(206)는, 비트열 복호부(201)에서 복호된 직교 변환·양자화된 잔차에 대하여 역직교 변환 및 역양자화를 행하고, 역직교 변환·역양자화된 잔차를 얻는다.

복호 화상 신호 중첩부(207)는, 인터 예측부(203)에서 인터 예측된 예측 화상 신호, 또는 인트라 예측부(204)에서 인트라 예측된 예측 화상 신호와, 역양자화·역직교 변환부(206)에 의해 역직교 변환·역양자화된 잔차를 중첩함으로써, 복호 화상 신호를 복호하고, 복호한 복호 화상 신호를 복호 화상 메모리(208)에 격납한다. 복호 화상 메모리(208)에 격납할 때에는, 복호 화상 신호 중첩부(207)는, 복호 화상에 대하여 부호화에 의한 블록 변형 등을 감소시키는 필터링 처리를 실시한 후, 복호 화상 메모리(208)에 격납해도 좋다.

다음으로, 화상 부호화 장치(100)에 있어서의 블록 분할부(101)의 동작에 대해서 설명한다. 도 3은, 화상을 트리 블록으로 분할하고, 각 트리 블록을 추가로 분할하는 동작을 나타내는 플로우차트이다. 우선, 입력된 화상을, 소정 사이즈의 트리 블록으로 분할한다(스텝 S1001). 각 트리 블록에 대해서는, 소정의 순서, 즉 래스터 스캔순으로 주사하고(스텝 S1002), 처리 대상의 트리 블록의 내부를 분할한다(스텝 S1003).

도 7은, 스텝 S1003의 분할 처리의 상세 동작을 나타내는 플로우차트이다. 우선, 처리 대상의 블록을 4분할할지 아닌지를 판단한다(스텝 S1101).

처리 대상 블록을 4분할한다고 판단한 경우는, 처리 대상 블록을 4분할한다(스텝 S1102). 처리 대상 블록을 분할한 각 블록에 대해서, Z 스캔순, 즉 좌상, 우상, 좌하, 우하의 순으로 주사한다(스텝 S1103). 도 5는, Z 스캔순의 예이고, 도 6a의 601은, 처리 대상 블록을 4분할한 예이다. 도 6a의 601의 번호 0∼3은 처리의 차례를 나타낸 것이다. 그리고 스텝 S1101에서 분할한 각 블록에 대해서, 도 7의 분할 처리를 재귀적으로 실행한다(스텝 S1104).

처리 대상 블록을 4분할하지 않는다고 판단한 경우는, 2-3분할을 행한다(스텝 S1105).

도 8은, 스텝 S1105의 2-3분할 처리의 상세 동작을 나타내는 플로우차트이다. 우선, 처리 대상의 블록을 2-3분할할지 아닌지, 즉 2분할 또는 3분할의 어느 것을 행할지 아닌지를 판단한다(스텝 S1201).

처리 대상 블록을 2-3분할한다고 판단하지 않는 경우, 즉 분할하지 않는다고 판단한 경우는, 분할을 종료한다(스텝 S1211). 즉, 재귀적인 분할 처리에 의해 분할된 블록에 대하여, 더 한층의 재귀적인 분할 처리는 하지 않는다.

처리 대상의 블록을 2-3분할한다고 판단한 경우는, 추가로 처리 대상 블록을 2분할할지 아닌지(스텝 S1202)를 판단한다.

처리 대상 블록을 2분할한다고 판단한 경우는, 처리 대상 블록을 상하(수직 방향)로 분할할지 아닌지를 판단하고(스텝 S1203), 그 결과에 기초하여, 처리 대상 블록을 상하(수직 방향)로 2분할하거나(스텝 S1204), 처리 대상 블록을 좌우(수평 방향)로 2분할한다(스텝 S1205). 스텝 S1204의 결과, 처리 대상 블록은, 도 6b의 602에 나타내는 바와 같이, 상하(수직 방향) 2분할로 분할되고, 스텝 S1205의 결과, 처리 대상 블록은, 도 6d의 604에 나타내는 바와 같이, 좌우(수평 방향) 2분할로 분할된다.

스텝 S1202에 있어서, 처리 대상의 블록을 2분할한다고 판단하지 않은 경우, 즉 3분할한다고 판단한 경우는, 처리 대상 블록을 상중하(수직 방향)로 분할할지 아닌지를 판단하고(스텝 S1206), 그 결과에 기초하여, 처리 대상 블록을 상중하(수직 방향)로 3분할하거나(스텝 S1207), 처리 대상 블록을 좌중우(수평 방향)로 3분할한다(스텝 S1208). 스텝 S1207의 결과, 처리 대상 블록은, 도 6c의 603에 나타내는 바와 같이, 상중하(수직 방향) 3분할로 분할되고, 스텝 S1208의 결과, 처리 대상 블록은, 도 6e의 605에 나타내는 바와 같이, 좌중우(수평 방향) 3분할로 분할된다.

스텝 S1204, 스텝 S1205, 스텝 S1207, 스텝 S1208의 어느 하나를 실행 후, 처리 대상 블록을 분할한 각 블록에 대해서, 좌로부터 우, 상으로부터 하의 순으로 주사한다(스텝 S1209). 도 6b∼e의 602로부터 605의 번호 0∼2는 처리의 차례를 나타낸 것이다. 분할한 각 블록에 대해서, 도 8의 2-3분할 처리를 재귀적으로 실행한다(스텝 S1210).

여기에서 설명한 재귀적인 블록 분할은, 분할하는 횟수, 또는, 처리 대상의 블록의 사이즈 등에 따라, 분할 요부(要否)를 제한해도 좋다. 분할 요부를 제한하는 정보는, 부호화 장치와 복호화 장치의 사이에서 미리 결정을 행함으로써, 정보의 전달을 행하지 않는 구성으로 실현해도 좋고, 부호화 장치가 분할 요부를 제한하는 정보를 결정하고, 비트열에 기록함으로써, 복호화 장치에 전달하는 구성으로 실현해도 좋다.

어느 블록을 분할했을 때, 분할 전의 블록을 친(親)블록이라고 부르고, 분할 후의 각 블록을 자(子)블록이라고 부른다.

다음으로, 화상 복호 장치(200)에 있어서의 블록 분할부(202)의 동작에 대해서 설명한다. 블록 분할부(202)는, 화상 부호화 장치(100)의 블록 분할부(101)와 동일한 처리 순서로 트리 블록을 분할하는 것이다. 단, 화상 부호화 장치(100)의 블록 분할부(101)에서는, 화상 인식에 의한 최적 형상의 추정이나 변형 레이트 최적화 등 최적화 수법을 적용하여, 최적의 블록 분할의 형상을 결정하는데 대하여, 화상 복호 장치(200)에 있어서의 블록 분할부(202)는, 비트열에 기록된 블록 분할 정보를 복호함으로써, 블록 분할 형상을 결정하는 점이 상이하다.

제1 실시 형태의 블록 분할에 관한 신택스(비트열의 구문 규칙)를 도 9에 나타낸다. coding_quadtree()는 블록의 4분할 처리에 따른 신택스를 나타낸다. multi_type_tree()는 블록의 2분할 또는 3분할 처리에 따른 신택스를 나타낸다. qt_split는 블록을 4분할할지 아닌지를 나타내는 플래그이다. 블록을 4분할하는 경우는, qt_split＝1로 하고, 4분할하지 않는 경우는, qt_split＝0으로 한다. 4분할하는 경우(qt_split＝1), 4분할한 각 블록에 대해서, 재귀적으로 4분할 처리를 한다(coding_quadtree(0), coding_quadtree(1), coding_quadtree(2), coding_quadtree(3), 인수의 0∼3은 도 6a의 601의 번호에 대응함). 4분할하지 않는 경우(qt_split＝0)는, multi_type_tree()에 따라, 후속의 분할을 결정한다. mtt_split는, 추가로 분할을 할지 아닌지를 나타내는 플래그이다. 추가로 분할을 하는 경우(mtt_split＝1), 수직 방향으로 분할할지 수평 방향으로 분할할지를 나타내는 플래그인 mtt_split_vertical과, 2분할할지 3분할할지를 결정하는 플래그인 mtt_split_binary를 전송한다. mtt_split_vertical＝1은, 수직 방향으로 분할하는 것을 나타내고, mtt_split_vertical＝0은, 수평 방향으로 분할하는 것을 나타낸다. mtt_split_binary＝1은, 2분할하는 것을 나타내고, mtt_split_binary＝0은 3분할하는 것을 나타낸다. 2분할하는 경우(mtt_split_binary＝1), 2분할한 각 블록에 대해서, 재귀적으로 분할 처리를 한다(multi_type_tree(0), multi_type_tree(1), 인수의 0∼1은 도 6b∼d의 602 또는 604의 번호에 대응함). 3분할하는 경우(mtt_split_binary＝0), 3분할한 각 블록에 대해서, 재귀적으로 분할 처리를 한다(multi_type_tree(0), multi_type_tree(1), multi_type_tree(2), 0∼2는 도 6b의 603 또는 도 6e의 605의 번호에 대응함). mtt_split＝0이 될 때까지, 재귀적으로 multi_type_tree를 호출함으로써, 계층적인 블록 분할을 행한다.

<인터 예측>

실시 형태에 따른 인터 예측 방법은, 도 1의 화상 부호화 장치의 인터 예측부(102) 및 도 2의 화상 복호 장치의 인터 예측부(203)에 있어서 실시된다.

실시 형태에 의한 인터 예측 방법에 대해서, 도면을 이용하여 설명한다. 인터 예측 방법은 부호화 블록 단위로 부호화 및 복호의 처리의 어느 것으로도 실시된다.

<부호화측의 인터 예측부(102)의 설명>

도 16은 도 1의 화상 부호화 장치의 인터 예측부(102)의 상세한 구성을 나타내는 도면이다. 통상 예측 움직임 벡터 모드 도출부(301)는, 복수의 통상 예측 움직임 벡터 후보를 도출하여 예측 움직임 벡터를 선택하고, 선택한 예측 움직임 벡터와, 검출된 움직임 벡터의 차분 움직임 벡터를 산출한다. 검출된 인터 예측 모드, 참조 인덱스, 움직임 벡터, 산출된 차분 움직임 벡터가 통상 예측 움직임 벡터 모드의 인터 예측 정보가 된다. 이 인터 예측 정보가 인터 예측 모드 판정부(305)에 공급된다. 통상 예측 움직임 벡터 모드 도출부(301)의 상세한 구성과 처리에 대해서는 후술한다.

통상 머지 모드 도출부(302)에서는 복수의 통상 머지 후보를 도출하여 통상 머지 후보를 선택하고, 통상 머지 모드의 인터 예측 정보를 얻는다. 이 인터 예측 정보가 인터 예측 모드 판정부(305)에 공급된다. 통상 머지 모드 도출부(302)의 상세한 구성과 처리에 대해서는 후술한다.

서브 블록 예측 움직임 벡터 모드 도출부(303)에서는 복수의 서브 블록 예측 움직임 벡터 후보를 도출하여 서브 블록 예측 움직임 벡터를 선택하고, 선택한 서브 블록 예측 움직임 벡터와, 검출한 움직임 벡터의 차분 움직임 벡터를 산출한다. 검출된 인터 예측 모드, 참조 인덱스, 움직임 벡터, 산출된 차분 움직임 벡터가 서브 블록 예측 움직임 벡터 모드의 인터 예측 정보가 된다. 이 인터 예측 정보가 인터 예측 모드 판정부(305)에 공급된다.

서브 블록 머지 모드 도출부(304)에서는 복수의 서브 블록 머지 후보를 도출하여 서브 블록 머지 후보를 선택하고, 서브 블록 머지 모드의 인터 예측 정보를 얻는다. 이 인터 예측 정보가 인터 예측 모드 판정부(305)에 공급된다.

인터 예측 모드 판정부(305)에서는 통상 예측 움직임 벡터 모드 도출부(301), 통상 머지 모드 도출부(302), 서브 블록 예측 움직임 벡터 모드 도출부(303), 서브 블록 머지 모드 도출부(304)로부터 공급되는 인터 예측 정보에 기초하여, 인터 예측 정보를 판정한다. 인터 예측 모드 판정부(305)로부터 판정 결과에 따른 인터 예측 정보가 움직임 보상 예측부(306)에 공급된다.

움직임 보상 예측부(306)에서는 판정된 인터 예측 정보에 기초하여, 복호 화상 메모리(104)에 격납되어 있는 참조 화상 신호에 대하여 인터 예측을 행한다. 움직임 보상 예측부(306)의 상세한 구성과 처리에 대해서는 후술한다.

<복호측의 인터 예측부(203)의 설명>

도 22는 도 2의 화상 복호 장치의 인터 예측부(203)의 상세한 구성을 나타내는 도면이다.

통상 예측 움직임 벡터 모드 도출부(401)는 복수의 통상 예측 움직임 벡터 후보를 도출하여 예측 움직임 벡터를 선택하고, 선택한 예측 움직임 벡터와, 복호한 차분 움직임 벡터의 가산값을 산출하여 움직임 벡터로 한다. 복호된 인터 예측 모드, 참조 인덱스, 움직임 벡터가 통상 예측 움직임 벡터 모드의 인터 예측 정보가 된다. 이 인터 예측 정보가 스위치(408)를 경유하여 움직임 보상 예측부(406)에 공급된다. 통상 예측 움직임 벡터 모드 도출부(401)의 상세한 구성과 처리에 대해서는 후술한다.

통상 머지 모드 도출부(402)에서는 복수의 통상 머지 후보를 도출하여 통상 머지 후보를 선택하고, 통상 머지 모드의 인터 예측 정보를 얻는다. 이 인터 예측 정보가 스위치(408)를 경유하여 움직임 보상 예측부(406)에 공급된다. 통상 머지 모드 도출부(402)의 상세한 구성과 처리에 대해서는 후술한다.

서브 블록 예측 움직임 벡터 모드 도출부(403)에서는 복수의 서브 블록 예측 움직임 벡터 후보를 도출하여 서브 블록 예측 움직임 벡터를 선택하고, 선택한 서브 블록 예측 움직임 벡터와, 복호한 차분 움직임 벡터의 가산값을 산출하여 움직임 벡터로 한다. 복호된 인터 예측 모드, 참조 인덱스, 움직임 벡터가 서브 블록 예측 움직임 벡터 모드의 인터 예측 정보가 된다. 이 인터 예측 정보가 스위치(408)를 경유하여 움직임 보상 예측부(406)에 공급된다.

서브 블록 머지 모드 도출부(404)에서는 복수의 서브 블록 머지 후보를 도출하여 서브 블록 머지 후보를 선택하여, 서브 블록 머지 모드의 인터 예측 정보를 얻는다. 이 인터 예측 정보가 스위치(408)를 경유하여 움직임 보상 예측부(406)에 공급된다.

움직임 보상 예측부(406)에서는 판정된 인터 예측 정보에 기초하여, 복호 화상 메모리(208)에 격납되어 있는 참조 화상 신호에 대하여 인터 예측을 행한다. 움직임 보상 예측부(406)의 상세한 구성과 처리에 대해서는 부호화측의 움직임 보상 예측부(306)와 동일하다.

<통상 예측 움직임 벡터 모드 도출부(통상 AMVP)>

도 17의 통상 예측 움직임 벡터 모드 도출부(301)는, 공간 예측 움직임 벡터 후보 도출부(321), 시간 예측 움직임 벡터 후보 도출부(322), 이력 예측 움직임 벡터 후보 도출부(323), 예측 움직임 벡터 후보 보충부(325), 통상 움직임 벡터 검출부(326), 예측 움직임 벡터 후보 선택부(327), 움직임 벡터 감산부(328)를 포함한다.

도 23의 통상 예측 움직임 벡터 모드 도출부(401)는, 공간 예측 움직임 벡터 후보 도출부(421), 시간 예측 움직임 벡터 후보 도출부(422), 이력 예측 움직임 벡터 후보 도출부(423), 예측 움직임 벡터 후보 보충부(425), 예측 움직임 벡터 후보 선택부(426), 움직임 벡터 가산부(427)를 포함한다.

부호화측의 통상 예측 움직임 벡터 모드 도출부(301) 및 복호측의 통상 예측 움직임 벡터 모드 도출부(401)의 처리 순서에 대해서, 각각 도 19, 도 25의 플로우차트를 이용하여 설명한다. 도 19는 부호화측의 통상 움직임 벡터 모드 도출부(301)에 의한 통상 예측 움직임 벡터 모드 도출 처리 순서를 나타내는 플로우차트이고, 도 25는 복호측의 통상 움직임 벡터 모드 도출부(401)에 의한 통상 예측 움직임 벡터 모드 도출 처리 순서를 나타내는 플로우차트이다.

<통상 예측 움직임 벡터 모드 도출부(통상 AMVP): 부호화측의 설명>

도 19를 참조하여 부호화측의 통상 예측 움직임 벡터 모드 도출 처리 순서를 설명한다. 도 19의 처리 순서의 설명에 있어서, 도 19에 나타낸 통상이라는 말을 생략하는 경우가 있다.

우선, 통상 움직임 벡터 검출부(326)에서 인터 예측 모드 및 참조 인덱스마다 통상 움직임 벡터를 검출한다(도 19의 스텝 S100).

계속하여, 공간 예측 움직임 벡터 후보 도출부(321), 시간 예측 움직임 벡터 후보 도출부(322), 이력 예측 움직임 벡터 후보 도출부(323), 예측 움직임 벡터 후보 보충부(325), 예측 움직임 벡터 후보 선택부(327), 움직임 벡터 감산부(328)에서, 통상 예측 움직임 벡터 모드의 인터 예측에서 이용하는 움직임 벡터의 차분 움직임 벡터를 L0, L1마다 각각 산출한다(도 19의 스텝 S101∼S106). 구체적으로는 처리 대상 블록의 예측 모드 PredMode가 인터 예측(MODE_INTER)이고, 인터 예측 모드가 L0 예측(Pred_L0)인 경우, L0의 예측 움직임 벡터 후보 리스트 mvpListL0을 산출하고, 예측 움직임 벡터 mvpL0을 선택하여, L0의 움직임 벡터 mvL0의 차분 움직임 벡터 mvdL0을 산출한다. 처리 대상 블록의 인터 예측 모드가 L1 예측(Pred_L1)인 경우, L1의 예측 움직임 벡터 후보 리스트 mvpListL1을 산출하고, 예측 움직임 벡터 mvpL1을 선택하고, L1의 움직임 벡터 mvL1의 차분 움직임 벡터 mvdL1을 산출한다. 처리 대상 블록의 인터 예측 모드가 쌍예측(Pred_BI)인 경우, L0 예측과 L1 예측이 함께 행해지고, L0의 예측 움직임 벡터 후보 리스트 mvpListL0을 산출하고, L0의 예측 움직임 벡터 mvpL0을 선택하고, L0의 움직임 벡터 mvL0의 차분 움직임 벡터 mvdL0을 산출함과 함께, L1의 예측 움직임 벡터 후보 리스트 mvpListL1을 산출하고, L1의 예측 움직임 벡터 mvpL1을 산출하고, L1의 움직임 벡터 mvL1의 차분 움직임 벡터 mvdL1을 각각 산출한다.

L0, L1 각각에 대해서, 차분 움직임 벡터 산출 처리를 행하지만, L0, L1 모두 공통의 처리가 된다. 따라서, 이하의 설명에 있어서는 L0, L1을 공통의 LX로서 나타낸다. L0의 차분 움직임 벡터를 산출하는 처리에서는 LX의 X가 0이고, L1의 차분 움직임 벡터를 산출하는 처리에서는 LX의 X가 1이다. 또한, LX의 차분 움직임 벡터를 산출하는 처리 중에, LX가 아니라, 다른 한쪽의 리스트의 정보를 참조하는 경우, 다른 한쪽의 리스트를 LY로서 나타낸다.

LX의 움직임 벡터 mvLX를 사용하는 경우(도 19의 스텝 S102: YES), LX의 예측 움직임 벡터의 후보를 산출하여 LX의 예측 움직임 벡터 후보 리스트 mvpListLX를 구축한다(도 19의 스텝 S103). 통상 예측 움직임 벡터 모드 도출부(301) 중의 공간 예측 움직임 벡터 후보 도출부(321), 시간 예측 움직임 벡터 후보 도출부(322), 이력 예측 움직임 벡터 후보 도출부(323), 예측 움직임 벡터 후보 보충부(325)에서 복수의 예측 움직임 벡터의 후보를 도출하여 예측 움직임 벡터 후보 리스트 mvpListLX를 구축한다. 도 19의 스텝 S103의 상세한 처리 순서에 대해서는 도 20의 플로우차트를 이용하여 후술한다.

계속하여, 예측 움직임 벡터 후보 선택부(327)에 의해, LX의 예측 움직임 벡터 후보 리스트 mvpListLX로부터 LX의 예측 움직임 벡터 mvpLX를 선택한다(도 19의 스텝 S104). 여기에서, 예측 움직임 벡터 후보 리스트 mvpListLX 중에서, 어느 1개의 요소(0으로부터 세어 i번째의 요소)를 mvpListLX[i]로서 나타낸다. 움직임 벡터 mvLX와 예측 움직임 벡터 후보 리스트 mvpListLX 중에 격납된 각 예측 움직임 벡터의 후보 mvpListLX[i]의 차분인 각각의 차분 움직임 벡터를 산출한다. 그들 차분 움직임 벡터를 부호화했을 때의 부호량을 예측 움직임 벡터 후보 리스트 mvpListLX의 요소(예측 움직임 벡터 후보)마다 산출한다. 그리고, 예측 움직임 벡터 후보 리스트 mvpListLX에 등록된 각 요소 중에서, 예측 움직임 벡터의 후보마다의 부호량이 최소가 되는 예측 움직임 벡터의 후보 mvpListLX[i]를 예측 움직임 벡터 mvpLX로서 선택하고, 그의 인덱스 i를 취득한다. 예측 움직임 벡터 후보 리스트 mvpListLX 중에서 최소의 발생 부호량이 되는 예측 움직임 벡터의 후보가 복수 존재하는 경우에는, 예측 움직임 벡터 후보 리스트 mvpListLX 중의 인덱스 i가 작은 번호로 나타나는 예측 움직임 벡터의 후보 mvpListLX[i]를 최적의 예측 움직임 벡터 mvpLX로서 선택하고, 그의 인덱스 i를 취득한다.

계속하여, 움직임 벡터 감산부(328)에서, LX의 움직임 벡터 mvLX로부터 선택된 LX의 예측 움직임 벡터 mvpLX를 감산하고,

mvdLX＝mvLX－mvpLX

로서 LX의 차분 움직임 벡터 mvdLX를 산출한다(도 19의 스텝 S105).

<통상 예측 움직임 벡터 모드 도출부(통상 AMVP): 복호측의 설명>

다음으로, 도 25를 참조하여 복호측의 통상 예측 움직임 벡터 모드 처리 순서를 설명한다. 복호측에서는, 공간 예측 움직임 벡터 후보 도출부(421), 시간 예측 움직임 벡터 후보 도출부(422), 이력 예측 움직임 벡터 후보 도출부(423), 예측 움직임 벡터 후보 보충부(425)이고, 통상 예측 움직임 벡터 모드의 인터 예측에서 이용하는 움직임 벡터를 L0, L1마다 각각 산출한다(도 25의 스텝 S201∼S206). 구체적으로는 처리 대상 블록의 예측 모드 PredMode가 인터 예측(MODE_INTER)이고, 처리 대상 블록의 인터 예측 모드가 L0 예측(Pred_L0)인 경우, L0의 예측 움직임 벡터 후보 리스트 mvpListL0을 산출하고, 예측 움직임 벡터 mvpL0을 선택하고, L0의 움직임 벡터 mvL0을 산출한다. 처리 대상 블록의 인터 예측 모드가 L1 예측(Pred_L1)인 경우, L1의 예측 움직임 벡터 후보 리스트 mvpListL1을 산출하고, 예측 움직임 벡터 mvpL1을 선택하고, L1의 움직임 벡터 mvL1을 산출한다. 처리 대상 블록의 인터 예측 모드가 쌍예측(Pred_BI)인 경우, L0 예측과 L1 예측이 함께 행해지고, L0의 예측 움직임 벡터 후보 리스트 mvpListL0을 산출하고, L0의 예측 움직임 벡터 mvpL0을 선택하고, L0의 움직임 벡터 mvL0을 산출함과 함께, L1의 예측 움직임 벡터 후보 리스트 mvpListL1을 산출하고, L1의 예측 움직임 벡터 mvpL1을 산출하고, L1의 움직임 벡터 mvL1을 각각 산출한다.

부호화측과 동일하게, 복호측에서도 L0, L1 각각에 대해서, 움직임 벡터 산출 처리를 행하지만, L0, L1 모두 공통의 처리가 된다. 따라서, 이하의 설명에 있어서는 L0, L1을 공통의 LX로서 나타낸다. LX는 처리 대상의 부호화 블록의 인터 예측에 이용하는 인터 예측 모드를 나타낸다. L0의 움직임 벡터를 산출하는 처리에서는 X가 0이고, L1의 움직임 벡터를 산출하는 처리에서는 X가 1이다. 또한, LX의 움직임 벡터를 산출하는 처리 중에, 산출 대상의 LX와 동일한 참조 리스트가 아니라, 다른 한쪽의 참조 리스트의 정보를 참조하는 경우, 다른 한쪽의 참조 리스트를 LY로서 나타낸다.

LX의 움직임 벡터 mvLX를 사용하는 경우(도 25의 스텝 S202: YES), LX의 예측 움직임 벡터의 후보를 산출하여 LX의 예측 움직임 벡터 후보 리스트 mvpListLX를 구축한다(도 25의 스텝 S203). 통상 예측 움직임 벡터 모드 도출부(401) 중의 공간 예측 움직임 벡터 후보 도출부(421), 시간 예측 움직임 벡터 후보 도출부(422), 이력 예측 움직임 벡터 후보 도출부(423), 예측 움직임 벡터 후보 보충부(425)에서 복수의 예측 움직임 벡터의 후보를 산출하고, 예측 움직임 벡터 후보 리스트 mvpListLX를 구축한다. 도 25의 스텝 S203의 상세한 처리 순서에 대해서는 도 20의 플로우차트를 이용하여 후술한다.

계속하여, 예측 움직임 벡터 후보 선택부(426)에서 예측 움직임 벡터 후보 리스트 mvpListLX로부터 비트열 복호부(201)에서 복호되어 공급되는 예측 움직임 벡터의 인덱스 mvpIdxLX에 대응하는 예측 움직임 벡터의 후보 mvpListLX[mvpIdxLX]가 선택된 예측 움직임 벡터 mvpLX로서 취출한다(도 25의 스텝 S204).

계속하여, 움직임 벡터 가산부(427)에서 비트열 복호부(201)에서 복호되어 공급되는 LX의 차분 움직임 벡터 mvdLX와 LX의 예측 움직임 벡터 mvpLX를 가산하여,

mvLX＝mvpLX＋mvdLX

로서 LX의 움직임 벡터 mvLX를 산출한다(도 25의 스텝 S205).

<통상 예측 움직임 벡터 모드 도출부(통상 AMVP): 움직임 벡터의 예측 방법>

도 20은 본 발명의 실시 형태에 따른 화상 부호화 장치의 통상 예측 움직임 벡터 모드 도출부(301) 및 화상 복호 장치의 통상 예측 움직임 벡터 모드 도출부(401)에서 공통되는 기능을 갖는 통상 예측 움직임 벡터 모드 도출 처리의 처리 순서를 나타내는 플로우차트이다.

통상 예측 움직임 벡터 모드 도출부(301) 및 통상 예측 움직임 벡터 모드 도출부(401)에서는, 예측 움직임 벡터 후보 리스트 mvpListLX를 구비하고 있다. 예측 움직임 벡터 후보 리스트 mvpListLX는 리스트 구조를 이루고, 예측 움직임 벡터 후보 리스트 내부의 소재를 나타내는 예측 움직임 벡터 인덱스와, 인덱스에 대응하는 예측 움직임 벡터 후보를 요소로서 격납하는 기억 영역이 형성되어 있다. 예측 움직임 벡터 인덱스의 숫자는 0부터 개시되고, 예측 움직임 벡터 후보 리스트 mvpListLX의 기억 영역에, 예측 움직임 벡터 후보가 격납된다. 본 실시 형태에 있어서는, 예측 움직임 벡터 후보 리스트 mvpListLX는 적어도 2개의 예측 움직임 벡터 후보(인터 예측 정보)를 등록할 수 있는 것으로 한다. 추가로, 예측 움직임 벡터 후보 리스트 mvpListLX에 등록되어 있는 예측 움직임 벡터 후보수를 나타내는 변수 numCurrMvpCand에 0을 설정한다.

공간 예측 움직임 벡터 후보 도출부(321 및 421)는, 좌측에 인접하는 블록으로부터의 예측 움직임 벡터의 후보를 도출한다. 이 처리에서는, 좌측에 인접하는 블록(도 11의 A0 또는 A1)의 인터 예측 정보, 즉 예측 움직임 벡터 후보를 이용할 수 있는지 아닌지를 나타내는 플래그 및, 움직임 벡터, 참조 인덱스 등을 참조하여 예측 움직임 벡터 mvLXA 도출하고, 도출한 mvLXA를 예측 움직임 벡터 후보 리스트 mvpListLX에 추가한다(도 20의 스텝 S301). 또한, L0 예측일 때 X는 0, L1 예측일 때 X는 1로 한다(이하 동일). 계속하여, 공간 예측 움직임 벡터 후보 도출부(321 및 421)는, 상측에 인접하는 블록으로부터의 예측 움직임 벡터의 후보를 도출한다. 이 처리에서는, 상측에 인접하는 블록(도 11의 B0, B1, 또는 B2)의 인터 예측 정보, 즉 예측 움직임 벡터 후보를 이용할 수 있는지 아닌지를 나타내는 플래그 및, 움직임 벡터, 참조 인덱스 등을 참조하여 예측 움직임 벡터 mvLXB를 도출하고, 각각 도출한 mvLXA와 mvLXB가 동일하지 않으면, mvLXB를 예측 움직임 벡터 후보 리스트 mvpListLX에 추가한다(도 20의 스텝 S302). 도 20의 스텝 S301과 S302의 처리는 참조하는 인접 블록의 위치와 수가 상이한 점 이외는 공통이고, 부호화 블록의 예측 움직임 벡터 후보를 이용할 수 있는지 아닌지를 나타내는 플래그 availableFlagLXN 및, 움직임 벡터 mvLXN, 참조 인덱스 refIdxN(N은 A 또는 B를 나타냄, 이하 동일)을 도출한다.

계속하여, 시간 예측 움직임 벡터 후보 도출부(322 및 422)는, 현재의 처리 대상 픽처와는 시간이 상이한 픽처에 있어서의 블록으로부터의 예측 움직임 벡터의 후보를 도출한다. 이 처리에서는, 상이한 시간의 픽처의 부호화 블록의 예측 움직임 벡터 후보를 이용할 수 있는지 아닌지를 나타내는 플래그 availableFlagLXCol 및, 움직임 벡터 mvLXCol, 참조 인덱스 refIdxCol, 참조 리스트 listCol을 도출하고, mvLXCol을 예측 움직임 벡터 후보 리스트 mvpListLX에 추가한다(도 20의 스텝 S303).

또한, 시퀀스(SPS), 픽처(PPS), 또는 슬라이스의 단위로 시간 예측 움직임 벡터 후보 도출부(322 및 422)의 처리를 생략할 수 있는 것으로 한다.

계속하여, 이력 예측 움직임 벡터 후보 도출부(323 및 423)는 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록되어 있는 이력 예측 움직임 벡터 후보를 예측 움직임 벡터 후보 리스트 mvpListLX에 추가한다(도 20의 스텝 S304). 이 스텝 S304의 등록 처리 순서의 상세에 대해서는 도 29의 플로우차트를 이용하여 후술한다.

계속하여 예측 움직임 벡터 후보 보충부(325 및 425)는 예측 움직임 벡터 후보 리스트 mvpListLX를 충족시킬 때까지, (0, 0) 등의, 소정의 값의 예측 움직임 벡터 후보를 추가한다(도 20의 S305).

<통상 머지 모드 도출부(통상 머지)>

도 18의 통상 머지 모드 도출부(302)는, 공간 머지 후보 도출부(341), 시간 머지 후보 도출부(342), 평균 머지 후보 도출부(344), 이력 머지 후보 도출부(345), 머지 후보 보충부(346), 머지 후보 선택부(347)를 포함한다.

도 24의 통상 머지 모드 도출부(402)는, 공간 머지 후보 도출부(441), 시간 머지 후보 도출부(442), 평균 머지 후보 도출부(444), 이력 머지 후보 도출부(445), 머지 후보 보충부(446), 머지 후보 선택부(447)를 포함한다.

도 21은 본 발명의 실시 형태에 따른 화상 부호화 장치의 통상 머지 모드 도출부(302) 및 화상 복호 장치의 통상 머지 모드 도출부(402)에서 공통되는 기능을 갖는 통상 머지 모드 도출 처리의 순서를 설명하는 플로우차트이다.

이하, 제(諸)과정을 순서를 쫓아 설명한다. 또한, 이하의 설명에 있어서는 특별히 언급이 없는 한 슬라이스 타입 slice_type이 B 슬라이스인 경우에 대해서 설명하지만, P 슬라이스인 경우에도 적용할 수 있다. 단, 슬라이스 타입 slice_type이 P 슬라이스인 경우, 인터 예측 모드로서 L0 예측(Pred_L0)만이 있고, L1 예측(Pred_L1), 쌍예측(Pred_BI)이 없기 때문에, L1에 관련된 처리를 생략할 수 있다.

통상 머지 모드 도출부(302) 및 통상 머지 모드 도출부(402)에서는, 머지 후보 리스트 mergeCandList를 구비하고 있다. 머지 후보 리스트 mergeCandList는 리스트 구조를 이루고, 머지 후보 리스트 내부의 소재를 나타내는 머지 인덱스와, 인덱스에 대응하는 머지 후보를 요소로서 격납하는 기억 영역이 형성되어 있다. 머지 인덱스의 숫자는 0으로부터 개시되고, 머지 후보 리스트 mergeCandList의 기억 영역에, 머지 후보가 격납된다. 이후의 처리에서는, 머지 후보 리스트 mergeCandList에 등록된 머지 인덱스 i의 머지 후보는, mergeCandList[i]로 나타내는 것으로 한다. 본 실시 형태에 있어서는, 머지 후보 리스트 mergeCandList는 적어도 6개의 머지 후보(인터 예측 정보)를 등록할 수 있는 것으로 한다. 추가로, 머지 후보 리스트 mergeCandList에 등록되어 있는 머지 후보수를 나타내는 변수 numCurrMergeCand에 0을 설정한다.

공간 머지 후보 도출부(341) 및 공간 머지 후보 도출부(441)에서는, 화상 부호화 장치의 부호화 정보 격납 메모리(111) 또는 화상 복호 장치의 부호화 정보 격납 메모리(205)에 격납되어 있는 부호화 정보로부터, 처리 대상 블록에 인접하는 각각의 블록(도 11의 B1, A1, B0, A0, B2)으로부터의 공간 머지 후보를 B1, A1, B0, A0, B2의 순으로 도출하고, 도출된 공간 머지 후보를 머지 후보 리스트 mergeCandList에 등록한다(도 21의 스텝 S401). 여기에서, B1, A1, B0, A0, B2 또는 시간 머지 후보 Col의 어느 하나를 나타내는 N을 정의한다. 블록 N의 인터 예측 정보가 공간 머지 후보로서 이용할 수 있는지 아닌지를 나타내는 플래그 availableFlagN, 공간 머지 후보 N의 L0의 참조 인덱스 refIdxL0N 및 L1의 참조 인덱스 refIdxL1N, L0 예측이 행해지는지 아닌지를 나타내는 L0 예측 플래그 predFlagL0N 및 L1 예측이 행해지는지 아닌지를 나타내는 L1 예측 플래그 predFlagL1N, L0의 움직임 벡터 mvL0N, L1의 움직임 벡터 mvL1N을 도출한다. 단, 본 실시 형태에 있어서는 처리 대상이 되는 부호화 블록에 포함되는 블록의 인터 예측 정보를 참조하지 않고, 머지 후보를 도출하기 때문에, 처리 대상의 부호화 블록에 포함되는 블록의 인터 예측 정보를 이용하는 공간 머지 후보는 도출하지 않는다.

계속하여, 시간 머지 후보 도출부(342) 및 시간 머지 후보 도출부(442)에서는, 상이한 시간의 픽처로부터의 시간 머지 후보를 도출하고, 도출된 시간 머지 후보를 머지 후보 리스트 mergeCandList에 등록한다(도 21의 스텝 S402). 시간 머지 후보를 이용할 수 있는지 아닌지를 나타내는 플래그 availableFlagCol, 시간 머지 후보의 L0 예측이 행해지는지 아닌지를 나타내는 L0 예측 플래그 predFlagL0Col 및 L1 예측이 행해지는지 아닌지를 나타내는 L1 예측 플래그 predFlagL1Col 및, L0의 움직임 벡터 mvL0Col, L1의 움직임 벡터 mvL1Col을 도출한다.

또한, 시퀀스(SPS), 픽처(PPS), 또는 슬라이스의 단위로 시간 머지 후보 도출부(342) 및 시간 머지 후보 도출부(442)의 처리를 생략할 수 있는 것으로 한다.

계속하여, 이력 머지 후보 도출부(345) 및 이력 머지 후보 도출부(445)에서는, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록되어 있는 이력 예측 움직임 벡터 후보를 머지 후보 리스트 mergeCandList에 등록한다(도 21의 스텝 S403).

또한, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가, 최대 머지 후보수 MaxNumMergeCand보다 작은 경우, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가 최대 머지 후보수 MaxNumMergeCand를 상한으로 하여 이력 머지 후보는 도출되고, 머지 후보 리스트 mergeCandList에 등록된다.

계속하여, 평균 머지 후보 도출부(344) 및 평균 머지 후보 도출부(444)에서는, 머지 후보 리스트 mergeCandList로부터 평균 머지 후보를 도출하고, 도출된 평균 머지 후보를 머지 후보 리스트 mergeCandList에 추가한다(도 21의 스텝 S404).

또한, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가, 최대 머지 후보수 MaxNumMergeCand보다 작은 경우, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가 최대 머지 후보수 MaxNumMergeCand를 상한으로 하여 평균 머지 후보는 도출되고, 머지 후보 리스트 mergeCandList에 등록된다.

여기에서, 평균 머지 후보는, 머지 후보 리스트 mergeCandList에 등록되어 있는 제1 머지 후보와 제2 머지 후보가 갖는 움직임 벡터를 L0 예측 및 L1 예측마다 평균하여 얻어지는 움직임 벡터를 갖는 새로운 머지 후보이다.

계속하여, 머지 후보 보충부(346) 및 머지 후보 보충부(446)에서는, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가, 최대 머지 후보수 MaxNumMergeCand보다 작은 경우, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보수 numCurrMergeCand가 최대 머지 후보수 MaxNumMergeCand를 상한으로 하여 추가 머지 후보를 도출하고, 머지 후보 리스트 mergeCandList에 등록한다(도 21의 스텝 S405). 최대 머지 후보수 MaxNumMergeCand를 상한으로 하고, P 슬라이스에서는, 움직임 벡터가 (0, 0)의 값을 갖는 예측 모드가 L0 예측(Pred_L0)의 머지 후보를 추가한다. B 슬라이스에서는, 움직임 벡터가 (0, 0)의 값을 갖는 예측 모드가 쌍예측(Pred_BI)의 머지 후보를 추가한다. 머지 후보를 추가할 때의 참조 인덱스는, 이미 추가한 참조 인덱스와 상이하다.

계속하여, 머지 후보 선택부(347) 및 머지 후보 선택부(447)에서는, 머지 후보 리스트 mergeCandList 내에 등록되어 있는 머지 후보로부터 머지 후보를 선택한다. 부호화측의 머지 후보 선택부(347)에서는, 부호량과 변형량을 산출함으로써 머지 후보를 선택하고, 선택된 머지 후보를 나타내는 머지 인덱스, 머지 후보의 인터 예측 정보를, 인터 예측 모드 판정부(305)를 통하여 움직임 보상 예측부(306)에 공급한다. 한편, 복호측의 머지 후보 선택부(447)에서는, 복호된 머지 인덱스에 기초하여, 머지 후보를 선택하고, 선택된 머지 후보를 움직임 보상 예측부(406)에 공급한다.

통상 머지 모드 도출부(302) 및 통상 머지 모드 도출부(402)는, 어느 부호화 블록의 사이즈(폭과 높이의 곱)가 32 미만인 경우, 그 부호화 블록의 친블록에 있어서 머지 후보를 도출한다. 그리고, 모든 자블록에서는, 친블록에 있어서 도출된 머지 후보를 이용한다. 단, 친블록의 사이즈가 32 이상이고, 또한 화면 내에 들어가 있는 경우에 한정한다.

<이력 예측 움직임 벡터 후보 리스트의 갱신>

다음으로, 부호화측의 부호화 정보 격납 메모리(111) 및 복호측의 부호화 정보 격납 메모리(205)에 구비하는 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 초기화 방법 및 갱신 방법에 대해서 상세하게 설명한다. 도 26은 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서를 설명하는 플로우차트이다.

본 실시 형태에서는, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 갱신은, 부호화 정보 격납 메모리(111) 및 부호화 정보 격납 메모리(205)에서 실시되는 것으로 한다. 인터 예측부(102) 및 인터 예측부(203) 중에 이력 예측 움직임 벡터 후보 리스트 갱신부를 설치하여 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 갱신을 실시시켜도 좋다.

슬라이스의 선두에서 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 초기 설정을 행하고, 부호화측에서는 예측 방법 결정부(105)에서 통상 예측 움직임 벡터 모드 또는 통상 머지 모드가 선택된 경우에 이력 예측 움직임 벡터 후보 리스트 HmvpCandList를 갱신하고, 복호측에서는, 비트열 복호부(201)에서 복호된 예측 정보가 통상 예측 움직임 벡터 모드 또는 통상 머지 모드인 경우에 이력 예측 움직임 벡터 후보 리스트 HmvpCandList를 갱신한다.

통상 예측 움직임 벡터 모드 또는 통상 머지 모드에서 인터 예측을 행할 때에 이용하는 인터 예측 정보를, 인터 예측 정보 후보 hMvpCand로서 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록한다. 인터 예측 정보 후보 hMvpCand에는, L0의 참조 인덱스 refIdxL0 및 L1의 참조 인덱스 refIdxL1, L0 예측이 행해지는지 아닌지를 나타내는 L0 예측 플래그 predFlagL0 및 L1 예측이 행해지는지 아닌지를 나타내는 L1 예측 플래그 predFlagL1, L0의 움직임 벡터 mvL0, L1의 움직임 벡터 mvL1이 포함된다.

부호화측의 부호화 정보 격납 메모리(111) 및 복호측의 부호화 정보 격납 메모리(205)에 구비하는 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록되어 있는 요소(즉, 인터 예측 정보) 중에, 인터 예측 정보 후보 hMvpCand와 동일한 값의 인터 예측 정보가 존재하는지 아닌지를 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 선두로부터 후방을 향하여 순서대로 확인한다. 인터 예측 정보 후보 hMvpCand와 동일한 값의 인터 예측 정보가 존재하는 경우는, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList로부터 그의 요소를 삭제한다. 한편, 인터 예측 정보 후보 hMvpCand와 동일한 값의 인터 예측 정보가 존재하지 않는 경우는, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 선두의 요소를 삭제하고, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 마지막에, 인터 예측 정보 후보 hMvpCand를 추가한다.

본 발명의 부호화측의 부호화 정보 격납 메모리(111) 및 복호측의 부호화 정보 격납 메모리(205)에 구비하는 최대의 수인 최대 이력 예측 움직임 벡터 후보 리스트의 사이즈, 즉 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소의 최대수(최대 후보수) MaxNumHmvpCand는 6으로 한다. 또한, MaxNumHmvpCand는, 최대 머지 후보수 MaxNumMergeCand－1과 동일한 값으로 해도 좋고, 최대 머지 후보수 MaxNumMergeCand와 동일한 값으로 해도 좋고, 5, 6 등 소정의 고정값이라도 좋다.

우선, 슬라이스 단위로의 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 초기화를 행한다(도 26의 스텝 S2101). 슬라이스의 선두에서 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 모든 요소를 비우고, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록되어 있는 이력 예측 움직임 벡터 후보의 수(현재의 후보수) NumHmvpCand의 값은 0으로 설정한다.

또한, 오프셋값 hMvpIdxOffset에 소정의 값을 설정한다. 오프셋값 hMvpIdxOffset에 설정하는 값은 0에서 (이력 예측 움직임 벡터 후보 리스트의 사이즈 MaxNumHmvpCand－1)까지의 어느 하나의 소정값을 설정한다. 오프셋값 hMvpIdxOffset에 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소의 최대수보다도 작은 값을 설정함으로써, 후술하는 요소끼리의 비교 횟수를 줄일 수 있다. 오프셋값 hMvpIdxOffset는 소정의 값으로 하지만, 오프셋값 hMvpIdxOffset의 값을 시퀀스 단위로 부호화/복호함으로써 설정해도 좋고, 슬라이스 단위로 부호화/복호함으로써 설정해도 좋다. 오프셋값 hMvpIdxOffset에 대해서는 상세하게 후술한다.

또한, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 초기화를 슬라이스 단위(슬라이스의 최초의 부호화 블록)로 실시한다고 했지만, 픽처 단위, 타일 단위나 트리 블록행 단위로 실시해도 좋다.

계속하여, 슬라이스 내의 부호화 블록마다 이하의 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 갱신 처리를 반복하여 행한다(도 26의 스텝 S2102∼S2107).

우선, 부호화 블록 단위로의 초기 설정을 행한다. 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist에 FALSE(거짓)의 값을 설정하고, 삭제 대상의 후보를 나타내는 삭제 대상 인덱스 removeIdx에 0을 설정한다(도 26의 스텝 S2103).

이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 등록 대상의 인터 예측 정보 후보 hMvpCand와 동일한 값의 인터 예측 정보가 존재하는지 아닌지를 판정한다(도 26의 스텝 S2104). 부호화측의 예측 방법 결정부(105)에서 통상 예측 움직임 벡터 모드 또는 통상 머지 모드로 판정된 경우, 또는 복호측의 비트열 복호부(201)에서 통상 예측 움직임 벡터 모드 또는 통상 머지 모드로서 복호된 경우, 그 인터 예측 정보를 등록 대상의 인터 예측 정보 후보 hMvpCand로 한다. 부호화측의 예측 방법 결정부(105)에서 인트라 예측 모드, 서브 블록 예측 움직임 벡터 모드 또는 서브 블록 머지 모드로 판정된 경우, 또는 복호측의 비트열 복호부(201)에서 인트라 예측 모드, 서브 블록 예측 움직임 벡터 모드 또는 서브 블록 머지 모드로서 복호된 경우, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 갱신 처리를 행하지 않고, 등록 대상의 인터 예측 정보 후보 hMvpCand는 존재하지 않는다. 등록 대상의 인터 예측 정보 후보 hMvpCand가 존재하지 않는 경우는 스텝 S2105∼S2106을 스킵한다(도 26의 스텝 S2104: NO). 등록 대상의 인터 예측 정보 후보 hMvpCand가 존재하는 경우는 스텝 S2105 이하의 처리를 행한다(도 26의 스텝 S2104: YES).

계속하여, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 각 요소 중에 등록 대상의 인터 예측 정보 후보 hMvpCand와 동일한 값의 요소(인터 예측 정보), 즉 동일한 요소가 존재하는지 아닌지를 판정한다(도 26의 스텝 S2105). 도 27은 이 동일 요소 확인 처리 순서의 플로우차트이다. 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0인 경우(도 27의 스텝 S2121: NO), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList는 비어 있고, 동일 후보는 존재하지 않기 때문에 도 27의 스텝 S2122∼S2125를 스킵하고, 본 동일 요소 확인 처리 순서를 종료한다. 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0보다 큰 경우(도 27의 스텝 S2121: YES), 등록 대상의 인터 예측 정보 후보 hMvpCand와 동일한 값의 인터 예측 정보가 존재하는지 아닌지를 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 선두로부터 후방을 향하여 순서대로 확인한다. 이력 예측 움직임 벡터 인덱스 hMvpIdx가 0에서 NumHmvpCand－1까지, 스텝 S2123의 처리를 반복한다(도 27의 스텝 S2122∼S2125). 우선, 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 hMvpIdx번째의 요소 HmvpCandList[hMvpIdx]가 인터 예측 정보 후보 hMvpCand와 동일한지 아닌지를 비교한다(도 27의 스텝 S2123). 동일한 경우(도 27의 스텝 S2123: YES), 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist에 TRUE(참)의 값을 설정하고, 삭제 대상의 요소의 위치를 나타내는 삭제 대상 인덱스 removeIdx에 현재의 이력 예측 움직임 벡터 인덱스 hMvpIdx의 값을 설정하고, 본 동일 요소 확인 처리를 종료한다. 동일하지 않은 경우(도 27의 스텝 S2123: NO), 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist는 FALSE(거짓)인 채이고, hMvpIdx를 1 인크리먼트하고, 이력 예측 움직임 벡터 인덱스 hMvpIdx가 NumHmvpCand－1 이하이면, 스텝 S2123 이후의 처리를 행한다(도 27의 스텝 S2122∼S2125).

다시 도 26의 플로우차트로 되돌아가, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소의 시프트 및 추가 처리를 행한다(도 26의 스텝 S2106). 도 28은 도 26의 스텝 S2106의 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소 시프트/추가 처리 순서의 플로우차트이다. 우선, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 격납되어 있는 요소를 제거하고 나서 새로운 요소를 추가할지, 요소를 제거하지 않고 새로운 요소를 추가할지를 판정한다. 구체적으로는, 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist가 TRUE(참) 또는 현재의 후보수 NumHmvpCand가 최대 후보수 MaxNumHmvpCand에 도달하고 있는지 아닌지를 비교한다(도 28의 스텝 S2141). 현재의 후보수 NumHmvpCand가 최대 후보수 MaxNumHmvpCand와 동일한 값인 경우, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 요소가 최대수 추가되어 있는 것을 나타낸다. 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist가 TRUE(참) 또는 NumHmvpCand가 MaxNumHmvpCand와 동일한 값의 어느 하나의 조건을 충족하는 경우(도 28의 스텝 S2141: YES), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 격납되어 있는 요소를 삭제하고 나서 새로운 요소를 추가한다. 구체적으로는, 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist가 TRUE(참)인 경우는, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList로부터 동일 후보를 삭제한다. NumHmvpCand가 MaxNumHmvpCand와 동일한 값인 경우, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList로부터 선두의 후보(요소)를 삭제한다. 인덱스 i의 초기값을 removeIdx＋1의 값으로 설정한다. removeIdx는 삭제 대상의 후보를 나타내는 삭제 대상 인덱스이다. 이 인덱스 i가 초기값의 removeIdx＋1에서 NumHmvpCand－1까지, 스텝 S2143의 요소 시프트 처리를 반복한다(도 28의 스텝 S2142∼S2144). HmvpCandList[i－1]에 HmvpCandList[i]의 요소를 카피함으로써 요소를 전방으로 시프트하고(도 28의 스텝 S2143), i를 1 인크리먼트한다(도 28의 스텝 S2142∼S2144). 인덱스 i가 NumHmvpCand가 되어, 스텝 S2143의 요소 시프트 처리가 완료하면, 이력 예측 움직임 벡터 후보 리스트의 마지막에 인터 예측 정보 후보 hMvpCand를 추가한다(도 28의 스텝 S2145). 여기에서, 이력 예측 움직임 벡터 후보 리스트의 마지막이란, 0으로부터 세어 (NumHmvpCand－1)번째의 HmvpCandList[NumHmvpCand－1]이다. 이상에서, 본 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소 시프트·추가 처리를 종료한다. 한편, 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist가 TRUE(참) 및 NumHmvpCand가 MaxNumHmvpCand와 동일한 값의 어느 조건도 충족하지 않는 경우(도 28의 스텝 S2141: NO), 즉 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist가 FALSE(거짓) 및 NumHmvpCand가 MaxNumHmvpCand보다 작은 경우, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 격납되어 있는 요소를 제거하지 않고, 이력 예측 움직임 벡터 후보 리스트의 마지막 요소의 다음의 위치에 인터 예측 정보 후보 hMvpCand를 추가한다(도 28의 스텝 S2146). 여기에서, 이력 예측 움직임 벡터 후보 리스트의 마지막 요소의 다음의 위치란, 0으로부터 세어 NumHmvpCand번째의 HmvpCandList[NumHmvpCand]이다. 이력 예측 움직임 벡터 후보 리스트에 요소가 추가되어 있지 않은 경우는 0번째의 위치가 된다. 또한, NumHmvpCand를 1 인크리먼트하여, 본 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소 시프트/추가 처리를 종료한다.

도 31a 내지 도 31c는 이력 예측 움직임 벡터 후보 리스트의 갱신 처리의 일 예를 설명하는 도면이다. 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 이력 예측 움직임 벡터 후보 리스트의 사이즈 MaxNumHmvpCand인 6개의 요소(인터 예측 정보)가 등록되어 있을 때에, 새로운 요소를 추가하는 경우, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 전방의 요소로부터 순서대로 새로운 인터 예측 정보와 비교하여(도 31a), 새로운 요소가 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 선두로부터 3번째의 요소 HMVP2와 동일한 값이면, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList로부터 요소 HMVP2를 삭제하여 후방의 요소 HMVP3∼HMVP5를 전방으로 1개씩 시프트(카피)하고, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 마지막에 새로운 요소를 추가하여(도 31b), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 갱신을 완료한다(도 31c).

<이력 예측 움직임 벡터 후보 도출 처리>

다음으로, 부호화측의 통상 예측 움직임 벡터 모드 도출부(301)의 이력 예측 움직임 벡터 후보 도출부(323), 복호측의 통상 예측 움직임 벡터 모드 도출부(401)의 이력 예측 움직임 벡터 후보 도출부(423)에서 공통의 처리인 도 20의 스텝 S304의 처리 순서인 이력 예측 움직임 벡터 후보 리스트 HmvpCandList로부터의 이력 예측 움직임 벡터 후보의 도출 방법에 대해서 상세하게 설명한다. 도 29는 이력 예측 움직임 벡터 후보 도출 처리 순서를 설명하는 플로우차트이다.

현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수(여기에서는 2로 함) 이상 또는 이력 예측 움직임 벡터 후보의 수(이력 예측 움직임 벡터 리스트에 등록되어 있는 요소의 수) NumHmvpCand의 값이 0의 경우(도 29의 스텝 S2201: NO), 도 29의 스텝 S2202로부터 S2210의 처리를 생략하고, 이력 예측 움직임 벡터 후보 도출 처리 순서를 종료한다. 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수인 2보다 작은 경우, 또한 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0보다 큰 경우(도 29의 스텝 S2201: YES), 도 29의 스텝 S2202로부터 S2210의 처리를 행한다.

계속하여, 인덱스 i가 1에서, 소정의 상한값인 4와 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 어느 작은 값까지, 도 29의 스텝 S2203으로부터 S2209의 처리를 반복한다(도 29의 스텝 S2202∼S2210). 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수인 2 이상인 경우(도 29의 스텝 S2203: NO), 도 29의 스텝 S2204로부터 S2210의 처리를 생략하고, 본 이력 예측 움직임 벡터 후보 도출 처리 순서를 종료한다. 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수인 2보다 작은 경우(도 29의 스텝 S2203: YES), 도 29의 스텝 S2204 이후의 처리를 행한다.

계속하여, 스텝 S2205로부터 S2208까지의 처리를 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 각 요소의 참조 리스트 LY가 L0과 L1인 경우에 대해서 각각 행한다(도 29의 스텝 S2204∼S2209). 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 L0과 L1에 대해서 각각 도 29의 스텝 S2205∼S2208의 처리를 행하는 것을 나타낸다. 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수인 2 이상인 경우(도 29의 스텝 S2205: NO), 도 29의 스텝 S2206으로부터 S2210의 처리를 생략하고, 본 이력 예측 움직임 벡터 후보 도출 처리 순서를 종료한다. 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand가 예측 움직임 벡터 후보 리스트 mvpListLX의 최대 요소수인 2보다 작은 경우(도 29의 스텝 S2205: YES), 도 29의 스텝 S2206 이후의 처리를 행한다.

계속하여, 이력 예측 움직임 벡터 후보 리스트의 요소의 움직임 벡터를 예측 움직임 벡터 후보로서, 예측 움직임 벡터 후보 리스트에 추가한다. 이 때, 이력 예측 움직임 벡터 후보 리스트의 뒤로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 요소에 대해서, 예측 움직임 벡터 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 내림차순으로 확인하여, 예측 움직임 벡터 후보 리스트에 포함되어 있지 않은 요소를 예측 움직임 벡터 후보 리스트에 추가해 가고, 그 후는 내림차순으로 예측 움직임 벡터 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하지 않고 이력 예측 움직임 벡터 후보 리스트의 요소를 예측 움직임 벡터 후보 리스트에 추가해 간다. 오프셋값 hMvpIdxOffset에 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소의 최대수보다도 작은 값을 설정함으로써, 후술하는 요소끼리의 비교 횟수를 줄일 수 있다. 이력 예측 움직임 벡터 후보 리스트의 확인 시에, 이력 예측 움직임 벡터 후보 리스트의 뒤로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 요소만을 비교하는 이유에 대해서, 도 38a 내지 도 38d를 이용하여 설명한다.

도 38a 내지 도 38d는 블록을 4분할한 경우의 3개의 예와 이력 예측 움직임 벡터 후보 리스트의 관계를 나타낸다. 각 부호화 블록이 통상 예측 움직임 벡터 모드, 또는 통상 머지 모드로 부호화된 경우에 대해서 설명한다. 도 38a는 부호화/복호 대상의 부호화 블록이 우상의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 좌측의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높다. 도 38b는 부호화/복호 대상의 부호화 블록이 좌하의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 우상의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록 위의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소 HMVP4가 될 가능성이 높다.

도 38c는 부호화/복호 대상의 부호화 블록이 우하의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 좌의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록 위의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소 HMVP4가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록의 좌상의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 3번째의 요소 HMVP3이 될 가능성이 높다. 즉, 이력 예측 움직임 벡터 후보 리스트의 마지막 요소는 공간 예측 움직임 벡터 후보로서 도출될 가능성이 가장 높다.

도 38d에 나타내는 바와 같이 공간 예측 움직임 벡터 후보로서 도출될 가능성이 가장 높은 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5만을 비교하기 위해, 오프셋값 hMvpIdxOffset를 1로 설정한다. 또한, 공간 예측 움직임 벡터 후보로서 도출될 가능성이 2번째로 높은 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소도 비교하기 위해, 오프셋값 hMvpIdxOffset를 2로 설정할 수도 있다. 또한, 공간 예측 움직임 벡터 후보로서 도출될 가능성이 3번째로 높은 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 3번째의 요소도 비교하기 위해, 오프셋값 hMvpIdxOffset를 3으로 설정할 수도 있다. 이와 같이 오프셋값 hMvpIdxOffset에 1 이상의 값을 설정함으로써, 이력 예측 움직임 벡터 후보 리스트의 요소를 비교하는 최대 횟수가 삭감하기 때문에, 최대 처리량이 삭감한다. 또한, 오프셋값 hMvpIdxOffset에 0을 설정함으로써, 이력 예측 움직임 벡터 후보 리스트의 요소의 비교 횟수가 0이 되어, 비교 처리가 생략된다.

인덱스 i가 오프셋값 hMvpIdxOffset보다 작은 경우, 즉 예측 움직임 벡터 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하는 경우(도 29의 스텝 S2206: YES), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList[NumHmvpCand－i]의 LY의 참조 인덱스가, 부호화/복호 대상 움직임 벡터의 참조 인덱스 refIdxLX와 동일한 값이고, 이력 예측 움직임 벡터 후보 리스트의 요소 HmvpCandList[NumHmvpCand－i]의 LY가, 예측 움직임 벡터 후보 리스트 mvpListLX의 어느 요소와도 상이한 요소인 경우(도 29의 스텝 S2207: YES), 예측 움직임 벡터 후보 리스트의 마지막 요소로서, 예측 움직임 벡터 후보 리스트의 0으로부터 세어 numCurrMvpCand번째의 요소 mvpListLX[numCurrMvpCand]에 이력 예측 움직임 벡터 후보 HmvpCandList[NumHmvpCand－i]의 LY의 움직임 벡터를 예측 움직임 벡터 후보 리스트 mvpListLX에 추가하고(도 29의 스텝 S2208), 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand를 1 인크리먼트한다. 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 중에, 부호화/복호 대상 움직임 벡터의 참조 인덱스 refIdxLX와 동일한 참조 인덱스의 요소이고, 예측 움직임 벡터 리스트 mvpListLX의 어느 요소와도 상이한 요소가 없는 경우(도 29의 스텝 S2207: NO), 스텝 S2208의 추가 처리를 스킵한다.

한편, 인덱스 i가 오프셋값 hMvpIdxOffset보다 작지 않은 경우, 즉 예측 움직임 벡터 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하지 않는 경우(도 29의 스텝 S2206: NO), 예측 움직임 벡터 후보 리스트의 마지막 요소로서, 예측 움직임 벡터 후보 리스트의 0으로부터 세어 numCurrMvpCand번째의 요소 mvpListLX[numCurrMvpCand]에 이력 예측 움직임 벡터 후보 HmvpCandList[NumHmvpCand－i]의 LY의 움직임 벡터를 추가하고(도 29의 스텝 S2208), 현재의 예측 움직임 벡터 후보의 수 numCurrMvpCand를 1 인크리먼트한다.

이상의 도 29의 스텝 S2205로부터 S2208의 처리를 L0과 L1에서 쌍방 모두에 행한다(도 29의 스텝 S2204∼S2209).

인덱스 i를 1 인크리먼트하고(도 29의 스텝 S2202, S2210), 인덱스 i가 소정의 상한값인 4와 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 어느 작은 값 이하인 경우, 다시 스텝 S2203 이후의 처리를 행한다(도 29의 스텝 S2202∼S2210).

<이력 머지 후보 도출 처리>

다음으로, 부호화측의 통상 머지 모드 도출부(302)의 이력 머지 후보 도출부(345), 복호측의 통상 머지 모드 도출부(402)의 이력 머지 후보 도출부(445)에서 공통의 처리인 도 21의 스텝 S404의 처리 순서인 이력 머지 후보 리스트 HmvpCandList로부터의 이력 머지 후보의 도출 방법에 대해서 상세하게 설명한다. 도 30은 이력 머지 후보 도출 처리 순서를 설명하는 플로우차트이다.

우선, 초기화 처리를 행한다(도 30의 스텝 S2301). 플래그 isPruned[i]의 0으로부터 (numCurrMergeCand－1)번째의 각각의 요소에 FALSE의 값을 설정하고, 변수 numOrigMergeCand에 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand를 설정한다.

계속하여, 이력 예측 움직임 벡터 리스트의 요소 중에서 머지 후보 리스트에 포함되어 있지 않은 요소를 머지 후보 리스트에 추가한다. 이 때, 이력 예측 움직임 벡터 리스트의 뒤로부터 내림차순으로 확인하여, 추가해 간다. 인덱스 hMvpIdx의 초기값을 1로 설정하고, 이 초기값에서 NumHmvpCand까지, 도 30의 스텝 S2303에서 스텝 S2311까지의 추가 처리를 반복한다(도 30의 스텝 S2302∼S2312). 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand가 (최대 머지 후보수 MaxNumMergeCand－1) 이하가 아니면, 즉 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand가 최대 머지 후보수 MaxNumMergeCand에 도달하고 있으면, 머지 후보 리스트의 모든 요소에 머지 후보가 추가되었기 때문에, 본 이력 머지 후보 도출 처리를 종료한다(도 30의 스텝 S2303: NO). 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand가 (최대 머지 후보수 MaxNumMergeCand－1) 이하인 경우(도 30의 스텝 S2303: YES), 스텝 S2304 이후의 처리를 행한다.

동일한 움직임 정보를 나타내는 변수 sameMotion에 FALSE(거짓)의 값을 설정한다(도 30의 스텝 S2304). 계속하여, 이력 예측 움직임 벡터 후보 리스트의 요소인 인터 예측 정보를 머지 후보로서, 머지 후보 리스트에 추가한다. 이 때, 이력 예측 움직임 벡터 후보 리스트의 뒤의 요소(최근 추가된 요소)로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 요소에 대해서, 머지 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 내림차순으로 확인하여, 머지 후보 리스트에 포함되어 있지 않은 요소를 머지 후보 리스트에 추가해 가고, 그 후는 내림차순으로 머지 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하지 않고 이력 예측 움직임 벡터 후보 리스트의 요소를 머지 후보 리스트에 추가해 간다. 오프셋값 hMvpIdxOffset에 이력 예측 움직임 벡터 후보 리스트 HmvpCandList의 요소의 최대수보다도 작은 값을 설정함으로써, 후술하는 요소끼리의 비교 횟수를 줄일 수 있다. 이력 예측 움직임 벡터 후보 리스트의 확인 시에, 이력 예측 움직임 벡터 후보 리스트의 뒤의 요소(최근 추가된 요소)로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 요소만을 비교하는 이유에 대해서, 도 38a 내지 도 38d를 이용하여 설명한다. 도 38a 내지 도 38d는 블록을 4분할한 경우의 3개의 예와 이력 예측 움직임 벡터 후보 리스트의 관계를 나타낸다. 각 부호화 블록이 통상 예측 움직임 벡터 모드, 또는 통상 머지 모드로 부호화된 경우에 대해서 설명한다. 도 38a는 부호화/복호 대상의 부호화 블록이 우상의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 좌측의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높다. 도 38b는 부호화/복호 대상의 부호화 블록이 좌하의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 우상의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록 위의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소 HMVP4가 될 가능성이 높다. 도 38c는 부호화/복호 대상의 부호화 블록이 우하의 블록인 경우의 도면이다. 이 경우, 부호화/복호 대상의 부호화 블록의 좌의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록 위의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소 HMVP4가 될 가능성이 높고, 부호화/복호 대상의 부호화 블록의 좌상의 블록의 인터 예측 정보가 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 3번째의 요소 HMVP3이 될 가능성이 높다. 즉, 이력 예측 움직임 벡터 후보 리스트의 마지막 요소는 공간 머지 후보로서 도출될 가능성이 가장 높다. 도 38d에 나타내는 바와 같이 공간 머지 후보로서 도출될 가능성이 가장 높은 이력 예측 움직임 벡터 후보 리스트의 마지막 요소 HMVP5만을 비교하기 위해, 오프셋값 hMvpIdxOffset를 1로 설정한다. 또한, 공간 머지 후보로서 도출될 가능성이 2번째로 높은 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 2번째의 요소도 비교하기 위해, 오프셋값 hMvpIdxOffset를 2로 설정할 수도 있다. 또한, 공간 머지 후보로서 도출될 가능성이 3번째로 높은 이력 예측 움직임 벡터 후보 리스트의 마지막으로부터 3번째의 요소도 비교하기 위해, 오프셋값 hMvpIdxOffset를 3으로 설정할 수도 있다. 이와 같이 오프셋값 hMvpIdxOffset에 1 내지 3의 값을 소정값으로서 설정하고, 이력 예측 움직임 벡터 후보 리스트의 뒤의 요소(최근 추가된 요소)로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 요소와 공간 머지 후보, 또는 머지 후보 리스트에 격납되어 있는 요소만을 비교 대상으로 함으로써, 이력 예측 움직임 벡터 후보 리스트의 요소를 비교하는 최대 횟수가 삭감하기 때문에, 최대 처리량이 삭감한다.

인덱스 hMvpIdx가 소정의 오프셋값 hMvpIdxOffset 이하인 경우, 즉 머지 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하는 경우(도 30의 스텝 S2305: YES), 인덱스 i의 초기값을 0으로 설정하고, 이 초기값에서 numOrigMergeCand－1까지 도 30의 스텝 S2307, S2308의 처리를 행한다(도 30의 S2306∼S2309). 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]가 머지 후보 리스트의 0으로부터 세어 i번째의 요소 mergeCandList[i]와 동일한 값인지 아닌지를 비교한다(도 30의 스텝 S2307). 머지 후보의 동일한 값이란, 머지 후보가 갖는 모든 인터 예측 정보의 구성 요소(인터 예측 모드, L0 및 L1의 참조 인덱스, L0 및 L1의 움직임 벡터)의 값이 동일한 것을 나타낸다. 따라서, 이 스텝 S2307의 비교 처리에서는, isPruned[i]가 FALSE(거짓)일 때에, mergeCandList[i]와 HmvpCandList[NumHmvpCand－hMvpIdx]가 갖는 모든 구성 요소(인터 예측 모드, L0 및 L1의 참조 인덱스, L0 및 L1의 움직임 벡터)의 값이 동일한 값인지 아닌지를 비교한다. 동일한 값인 경우(도 30의 스텝 S2307: YES), sameMotion 및 isPruned[i] 함께 TRUE(참)를 설정한다(도 30의 스텝 S2308). 또한, 플래그 isPruned[i]는 머지 후보 리스트의 0으로부터 세어 i번째의 요소가 이력 예측 움직임 벡터 후보 리스트의 어느 하나의 요소와 동일한 값인 것을 나타내는 플래그이다. 동일한 값이 아닌 경우(도 30의 스텝 S2307: NO), 스텝 S2308의 처리를 스킵한다. 도 30의 스텝 S2306에서 스텝 S2309까지의 반복 처리가 완료하면 sameMotion이 FALSE(거짓)인지 아닌지를 비교하고(도 30의 스텝 S2310), sameMotion이 FALSE(거짓)인 경우(도 30의 스텝 S2310: YES), 즉 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]는 mergeCandList에 존재하지 않기 때문에, 머지 후보 리스트의 마지막 요소로서, 머지 후보 리스트의 numCurrMergeCand번째의 mergeCandList[numCurrMergeCand]에 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]를 추가하고, numCurrMergeCand를 1 인크리먼트한다(도 30의 스텝 S2311). 한편, 인덱스 hMvpIdx가 오프셋값 hMvpIdxOffset보다 작지 않은 경우, 즉 머지 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하지 않는 경우(도 30의 스텝 S2305: NO), 머지 후보 리스트의 마지막 요소로서, 머지 후보 리스트의 numCurrMergeCand번째의 mergeCandList[numCurrMergeCand]에 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]를 추가하고, numCurrMergeCand를 1 인크리먼트한다(도 30의 스텝 S2312).

또한, 인덱스 hMvpIdx를 1 인크리먼트하고(도 30의 스텝 S2302), 도 30의 스텝 S2302∼S2312의 반복 처리를 행한다.

이력 예측 움직임 벡터 후보 리스트의 모든 요소의 확인이 완료하거나, 머지 후보 리스트의 모든 요소에 머지 후보가 추가되면, 본 이력 머지 후보의 도출 처리를 완료한다.

<움직임 보상 예측 처리>

움직임 보상 예측부(306)는, 부호화에 있어서 현재 예측 처리의 대상이 되어 있는 블록의 위치 및 사이즈를 취득한다. 또한, 움직임 보상 예측부(306)는, 인터 예측 정보를 인터 예측 모드 판정부(305)로부터 취득한다. 취득한 인터 예측 정보로부터 참조 인덱스 및 움직임 벡터를 도출하고, 복호 화상 메모리(104) 내의 참조 인덱스에서 특정되는 참조 픽처를, 움직임 벡터의 분만큼 예측 블록의 화상 신호와 동일 위치에서 이동시킨 위치의 화상 신호를 취득한 후에 예측 신호를 생성한다.

인터 예측에 있어서의 인터 예측 모드가 L0 예측이나 L1 예측과 같은, 단일의 참조 픽처로부터의 예측인 경우에는, 1개의 참조 픽처로부터 취득한 예측 신호를 움직임 보상 예측 신호로 하고, 인터 예측 모드가 BI 예측과 같은, 예측 모드가 2개의 참조 픽처로부터의 예측인 경우에는, 2개의 참조 픽처로부터 취득한 예측 신호를 가중치 부여 평균한 것을 움직임 보상 예측 신호로 하고, 움직임 보상 예측 신호를 예측 방법 결정부(105)에 공급한다. 여기에서는 쌍예측의 가중치 부여 평균의 비율을 1:1로 하지만, 다른 비율을 이용하여 가중치 부여 평균을 행해도 좋다. 예를 들면, 예측 대상이 되어 있는 픽처와 참조 픽처의 픽처 간격이 가까운 것일수록 가중치 부여의 비율이 커지도록 해도 좋다. 또한, 가중치 부여 비율의 산출을 픽처 간격의 조합과 가중치 부여 비율의 대응표를 이용하여 행하도록 해도 좋다.

움직임 보상 예측부(406)는, 부호화측의 움직임 보상 예측부(306)와 동일한 기능을 갖는다. 움직임 보상 예측부(406)는, 인터 예측 정보를, 통상 예측 움직임 벡터 모드 도출부(401), 통상 머지 모드 도출부(402), 서브 블록 예측 움직임 벡터 모드 도출부(403), 서브 블록 머지 모드 도출부(404)로부터, 스위치(408)를 통하여 취득한다. 움직임 보상 예측부(406)는, 얻어진 움직임 보상 예측 신호를, 복호 화상 신호 중첩부(207)에 공급한다.

<인터 예측 모드에 대해서>

단일의 참조 픽처로부터의 예측을 행하는 처리를 단예측이라고 정의하고, 단예측의 경우는 L0 예측 또는 L1 예측이라고 하는, 참조 리스트 L0, L1에 등록된 2개의 참조 픽처의 어느 한쪽을 이용한 예측을 행한다.

도 32는 단예측으로서 L0의 참조 픽처(RefL0Pic)가 처리 대상 픽처(CurPic)보다 전의 시각에 있는 경우를 나타내고 있다. 도 33은 단예측으로서 L0 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우를 나타내고 있다. 마찬가지로, 도 32 및 도 33의 L0 예측의 참조 픽처를 L1 예측의 참조 픽처(RefL1Pic)로 치환하여 단예측을 행할 수도 있다.

2개의 참조 픽처로부터의 예측을 행하는 처리를 쌍예측이라고 정의하고, 쌍예측의 경우는 L0 예측과 L1 예측의 쌍방을 이용하여 BI 예측이라고 표현한다. 도 34는 쌍예측으로서 L0 예측의 참조 픽처가 처리 대상 픽처보다 전의 시각에 있고, L1 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우를 나타내고 있다. 도 35는 쌍예측으로서 L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 처리 대상 픽처보다 전의 시각에 있는 경우를 나타내고 있다. 도 36은 쌍예측으로서 L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 처리 대상 픽처보다 후의 시각에 있는 경우를 나타내고 있다.

이와 같이, L0/L1의 예측 종별과 시간의 관계는, L0이 과거 방향, L1이 미래 방향으로는 한정되지 않고 이용하는 것이 가능하다. 또한 쌍예측의 경우에, 동일한 참조 픽처를 이용하여 L0 예측 및 L1 예측의 각각을 행해도 좋다. 또한, 움직임 보상 예측을 단예측으로 행할지 쌍예측으로 행할지의 판단은, 예를 들면 L0 예측을 이용할지 아닌지 및 L1 예측을 이용할지 아닌지를 나타내는 정보(예를 들면, 플래그)에 기초하여 판단된다.

<참조 인덱스에 대해서>

본 발명의 실시 형태에서는, 움직임 보상 예측의 정밀도 향상을 위해, 움직임 보상 예측에 있어서 복수의 참조 픽처 중에서 최적의 참조 픽처를 선택하는 것을 가능하게 한다. 그 때문에, 움직임 보상 예측에서 이용한 참조 픽처를 참조 인덱스로서 이용함과 함께, 참조 인덱스를 차분 움직임 벡터와 함께 비트 스트림 중에 부호화한다.

<통상 예측 움직임 벡터 모드에 기초하는 움직임 보상 처리>

움직임 보상 예측부(306)는, 도 16의 부호화측에 있어서의 인터 예측부(102)에도 나타나는 바와 같이, 인터 예측 모드 판정부(305)에 있어서, 통상 예측 움직임 벡터 모드 도출부(301)에 의한 인터 예측 정보가 선택된 경우에는, 이 인터 예측 정보를 인터 예측 모드 판정부(305)로부터 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 예측 방법 결정부(105)에 공급된다.

마찬가지로, 움직임 보상 예측부(406)는, 도 22의 복호측에 있어서의 인터 예측부(203)에서도 나타나는 바와 같이, 복호의 과정에서 스위치(408)가 통상 예측 움직임 벡터 모드 도출부(401)에 접속된 경우에는, 통상 예측 움직임 벡터 모드 도출부(401)에 의한 인터 예측 정보를 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 복호 화상 신호 중첩부(207)에 공급된다.

<통상 머지 모드에 기초하는 움직임 보상 처리>

움직임 보상 예측부(306)는, 도 16의 부호화측에 있어서의 인터 예측부(102)에도 나타나는 바와 같이, 인터 예측 모드 판정부(305)에 있어서, 통상 머지 모드 도출부(302)에 의한 인터 예측 정보가 선택된 경우에는, 이 인터 예측 정보를 인터 예측 모드 판정부(305)로부터 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 예측 방법 결정부(105)에 공급된다.

마찬가지로, 움직임 보상 예측부(406)는, 도 22의 복호측에 있어서의 인터 예측부(203)에도 나타나는 바와 같이, 복호의 과정에서 스위치(408)가 통상 머지 모드 도출부(402)에 접속된 경우에는, 통상 머지 모드 도출부(402)에 의한 인터 예측 정보를 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 복호 화상 신호 중첩부(207)에 공급된다.

<서브 블록 예측 움직임 벡터 모드에 기초하는 움직임 보상 처리>

움직임 보상 예측부(306)는, 도 16의 부호화측에 있어서의 인터 예측부(102)에도 나타나는 바와 같이, 인터 예측 모드 판정부(305)에 있어서, 서브 블록 예측 움직임 벡터 모드 도출부(303)에 의한 인터 예측 정보가 선택된 경우에는, 이 인터 예측 정보를 인터 예측 모드 판정부(305)로부터 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 예측 방법 결정부(105)에 공급된다.

마찬가지로, 움직임 보상 예측부(406)는, 도 22의 복호측에 있어서의 인터 예측부(203)에도 나타나는 바와 같이, 복호의 과정에서 스위치(408)가 서브 블록 예측 움직임 벡터 모드 도출부(403)에 접속된 경우에는, 서브 블록 예측 움직임 벡터 모드 도출부(403)에 의한 인터 예측 정보를 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 복호 화상 신호 중첩부(207)에 공급된다.

<서브 블록 머지 모드에 기초하는 움직임 보상 처리>

움직임 보상 예측부(306)는, 도 16의 부호화측에 있어서의 인터 예측부(102)에도 나타나는 바와 같이, 인터 예측 모드 판정부(305)에 있어서, 서브 블록 머지 모드 도출부(304)에 의한 인터 예측 정보가 선택된 경우에는, 이 인터 예측 정보를 인터 예측 모드 판정부(305)로부터 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 예측 방법 결정부(105)에 공급된다.

마찬가지로, 움직임 보상 예측부(406)는, 도 22의 복호측에 있어서의 인터 예측부(203)에도 나타나는 바와 같이, 복호의 과정에서 스위치(408)가 서브 블록 머지 모드 도출부(404)에 접속된 경우에는, 서브 블록 머지 모드 도출부(404)에 의한 인터 예측 정보를 취득하고, 현재 처리 대상이 되어 있는 블록의 인터 예측 모드, 참조 인덱스, 움직임 벡터를 도출하여, 움직임 보상 예측 신호를 생성한다. 생성된 움직임 보상 예측 신호는, 복호 화상 신호 중첩부(207)에 공급된다.

<아핀 변환 예측에 기초하는 움직임 보상 처리>

통상 예측 움직임 벡터 모드 및, 통상 머지 모드에서는, 이하의 플래그에 기초하여 아핀 모델에 의한 움직임 보상을 이용할 수 있다. 이하의 플래그는, 부호화 처리에 있어서 인터 예측 모드 판정부(305)에 의해 결정되는 인터 예측의 조건에 기초하여 이하의 플래그에 반영되고, 비트 스트림 중에 부호화된다. 복호 처리에 있어서는, 비트 스트림 중의 이하의 플래그에 기초하여 아핀 모델에 의한 움직임 보상을 행할지 아닌지를 특정한다.

sps_affine_enabled_flag는, 인터 예측에 있어서, 아핀 모델에 의한 움직임 보상을 이용할 수 있는지 아닌지를 나타낸다. sps_affine_enabled_flag가 0이면, 시퀀스 단위로 아핀 모델에 의한 움직임 보상이 아니도록 억제된다. 또한, inter_affine_flag와 cu_affine_type_flag는, 부호화 비디오 시퀀스의 CU(부호화 블록) 신택스에 있어서 전송되지 않는다. sps_affine_enabled_flag가 1이면, 부호화 비디오 시퀀스에 있어서 아핀 모델에 의한 움직임 보상을 이용할 수 있다.

sps_affine_type_flag는, 인터 예측에 있어서, 6 파라미터 아핀 모델에 의한 움직임 보상을 이용할 수 있는지 아닌지를 나타낸다. sps_affine_type_flag가 0이면, 6 파라미터 아핀 모델에 의한 움직임 보상이 아니도록 억제된다. 또한, cu_affine_type_flag는, 부호화 비디오 시퀀스의 CU 신택스에 있어서 전송되지 않는다. sps_affine_type_flag가 1이면, 부호화 비디오 시퀀스에 있어서 6 파라미터 아핀 모델에 의한 움직임 보상을 이용할 수 있다. sps_affine_type_flag가 존재하지 않는 경우에는, 0인 것으로 한다.

P 또는 B 슬라이스를 복호하고 있는 경우, 현재 처리 대상이 되어 있는 CU에 있어서, inter_affine_flag가 1이면, 현재 처리 대상이 되어 있는 CU의 움직임 보상 예측 신호를 생성하기 위해, 아핀 모델에 의한 움직임 보상이 이용된다. inter_affine_flag가 0이면, 현재 처리 대상이 되어 있는 CU에 아핀 모델은 이용되지 않는다. inter_affine_flag가 존재하지 않는 경우에는, 0인 것으로 한다.

P 또는 B 슬라이스를 복호하고 있는 경우, 현재 처리 대상이 되어 있는 CU에 있어서, cu_affine_type_flag가 1이면, 현재 처리 대상이 되어 있는 CU의 움직임 보상 예측 신호를 생성하기 위해, 6 파라미터 아핀 모델에 의한 움직임 보상이 이용된다. cu_affine_type_flag가 0이면, 현재 처리 대상이 되어 있는 CU의 움직임 보상 예측 신호를 생성하기 위해, 4 파라미터 아핀 모델에 의한 움직임 보상이 이용된다.

아핀 모델에 의한 움직임 보상에서는, 서브 블록 단위로 참조 인덱스나 움직임 벡터가 도출되는 점에서, 서브 블록 단위로 처리 대상이 되어 있는 참조 인덱스나 움직임 벡터를 이용하여 움직임 보상 예측 신호를 생성한다.

4 파라미터 아핀 모델은 2개의 제어점의 각각의 움직임 벡터의 수평 성분 및 수직 성분의 4개의 파라미터로부터 서브 블록의 움직임 벡터를 도출하고, 서브 블록 단위로 움직임 보상을 행하는 모드이다.

(제2 실시 형태)

다음으로, 제2 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다. 제1 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치란, 구성이 동일하지만, 이력 머지 후보 도출부(345, 445)의 처리 순서가 상이하다. 이력 머지 후보 도출부(345, 445)의 처리 순서는 도 30의 플로우차트 대신에 도 39의 플로우차트에 나타내는 바와 같고, 이들 차이에 대해서 설명한다.

<제2 실시 형태의 이력 머지 후보 도출 처리>

제2 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치의 이력 머지 후보 도출 처리에 대해서, 도 39의 플로우차트를 이용하여 설명한다.

제2 실시 형태에서는, 처리 대상의 부호화 블록의 좌측에 인접하는 블록(A1)으로부터 도출된 공간 머지 후보 A1 및, 우측에 인접하는 블록(B1)으로부터 도출된 공간 머지 후보 B1과 이력 예측 움직임 벡터 후보 리스트의 뒤의 요소(최근 부가된 요소)로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 각 요소만을 비교하는 점이, 제1 실시 형태와 상이하다. 제1 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치의 이력 머지 후보 도출 처리를 나타내는 도 30의 플로우차트란, 도 30의 스텝 S2306, S2307, S2309가 도 39에서는 스텝 S2326, S2327, S2329로 각각 변경되어 있는 점이 상이하고, 그 이외는 동일한 처리이다. 제2 실시 형태에 있어서도, 우선, 초기화 처리를 행한다(도 39의 스텝 S2301). isPruned[i]의 0으로부터 (numCurrMergeCand－1)번째의 각각의 요소에 FALSE의 값을 설정하고, 변수 numOrigMergeCand에 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand를 설정한다.

계속하여, 인덱스 hMvpIdx의 초기값을 1로 설정하고, 이 초기값에서 NumHmvpCand까지, 도 39의 스텝 S2303에서 스텝 S2311까지의 추가 처리를 반복한다(도 39의 스텝 S2302∼S2312). 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand가 (최대 머지 후보수 MaxNumMergeCand－1) 이하가 아니면, 머지 후보 리스트의 모든 요소에 머지 후보가 추가되었기 때문에, 본 이력 머지 후보 도출 처리를 종료한다(도 39의 스텝 S2303: NO). 현재의 머지 후보 리스트에 등록되어 있는 요소의 수 numCurrMergeCand가 (최대 머지 후보수 MaxNumMergeCand－1) 이하인 경우(도 39의 스텝 S2303: YES), 스텝 S2304 이후의 처리를 행한다.

우선, sameMotion에 FALSE(거짓)의 값을 설정한다(도 39의 스텝 S2304). 계속하여, 인덱스 hMvpIdx가 소정의 오프셋값 hMvpIdxOffset 이하인 경우, 즉 머지 후보 리스트에 포함되어 있지 않은 요소인지 아닌지를 확인하는 경우(도 39의 스텝 S2305: YES), 인덱스 i의 초기값을 0으로 설정하고, 이 초기값에서, 소정의 상한값인 1과 numOrigMergeCand－1의 어느 작은 값까지 도 39의 스텝 S2327, S2308의 처리를 행한다(도 39의 S2326∼S2329). 여기에서, 제2 실시 형태에서는, 처리 대상의 부호화 블록의 좌측에 인접하는 블록(A1)으로부터 도출된 공간 머지 후보 A1 및, 우측에 인접하는 공간 머지 후보 B1과 이력 예측 움직임 벡터 후보 리스트의 뒤의 요소(최근 부가된 요소)로부터 오프셋값 hMvpIdxOffset로 지정한 개수의 각 요소만을 비교한다. 소정의 상한값이 1인 것은, 처리 대상의 부호화 블록의 좌측에 인접하는 블록(A1)으로부터 도출된 공간 머지 후보 A1 또는 우측에 인접하는 공간 머지 후보 B1이 머지 후보 리스트의 0으로부터 세어 0번째와 1번째밖에 격납될 가능성이 없기 때문이다. 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]와, 공간 머지 후보 A1 및, B1을 비교한다(도 39의 스텝 S2327). 머지 후보가 갖는 모든 구성 요소(인터 예측 모드, L0 및 L1의 참조 인덱스, L0 및 L1의 움직임 벡터)의 값이 동일한지 아닌지를 비교한다. 여기에서, 머지 후보가 동일한 값이란, 머지 후보가 갖는 모든 구성 요소(인터 예측 모드, L0 및 L1의 참조 인덱스, L0 및 L1의 움직임 벡터)의 값이 동일한 것을 나타낸다. 따라서, 이 스텝 S2327의 비교 처리에서는, 머지 후보 리스트의 0으로부터 세어 i번째의 요소 mergeCandList[i]가 좌측에 인접하는 블록(A1)으로부터 도출된 공간 머지 후보 A1 또는 우측에 인접하는 공간 머지 후보 B1이고, 또한 isPruned[i]가 FALSE(거짓)일 때에, mergeCandList[i]와 HmvpCandList[NumHmvpCand－hMvpIdx]가 갖는 모든 구성 요소(인터 예측 모드, L0 및 L1의 참조 인덱스, L0 및 L1의 움직임 벡터)의 값이 동일한 값인지 아닌지를 비교한다. 동일한 값인 경우(도 39의 스텝 S2327: YES), sameMotion 및 isPruned[i] 함께 TRUE(참)를 설정한다(도 39의 스텝 S2308). 또한, 플래그 isPruned[i]는 머지 후보 리스트의 0으로부터 세어 i번째의 요소가 이력 예측 움직임 벡터 후보 리스트의 어느 하나의 요소와 동일한 값인 것을 나타내는 플래그이다. 동일한 값이 아닌 경우(도 39의 스텝 S2327: NO), 스텝 S2308의 처리를 스킵한다. 도 39의 스텝 S2326에서 스텝 S2329까지의 반복 처리가 완료하면 sameMotion이 FALSE(거짓)인지 아닌지를 비교하고(도 39의 스텝 S2310), sameMotion이 FALSE(거짓)인 경우(도 39의 스텝 S2310: YES), 머지 후보 리스트의 numCurrMergeCand번째의 mergeCandList[numCurrMergeCand]에 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 (NumHmvpCand－hMvpIdx)번째의 요소 HmvpCandList[NumHmvpCand－hMvpIdx]를 추가하고, numCurrMergeCand를 1 인크리먼트한다(도 39의 스텝 S2311). 인덱스 hMvpIdx를 1 인크리먼트하고(도 39의 스텝 S2302), 도 39의 스텝 S2302∼S2312의 반복 처리를 행한다.

이력 예측 움직임 벡터 후보 리스트의 모든 요소의 확인이 완료하거나, 머지 후보 리스트의 모든 요소에 머지 후보가 추가되면, 본 이력 머지 후보의 도출 처리를 완료한다.

또한, 제2 실시 형태에서는, 머지 후보 리스트에 격납되고 공간 머지 후보 A1 및 B1과, 이력 예측 움직임 벡터 후보 리스트의 요소를 비교하는 것으로 하여 설명했지만, 공간 머지 후보 A1 및 B1을 각각 머지 후보 리스트 이외의 메모리에 기억하고, 머지 후보 리스트 이외의 메모리에 기억된 공간 머지 후보 A1 및 B1과, 이력 예측 움직임 벡터 후보 리스트의 요소를 비교해도 좋다.

(제3 실시 형태)

다음으로, 제3 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다. 제1 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치란, 구성이 동일하지만, 부호화측의 부호화 정보 격납 메모리(111) 및 복호측의 부호화 정보 격납 메모리(205)에 구비하는 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 동일 요소 확인 처리 순서가 상이하다. 제1 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서인 도 27의 플로우차트 대신에, 제3 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서는 도 40의 플로우차트에 나타내는 바와 같고, 이들 차이에 대해서 설명한다.

<제3 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서>

제3 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서에 대해서, 도 40의 플로우차트를 이용하여 설명한다.

제3 실시 형태에서는, 이력 예측 움직임 벡터 후보 리스트 갱신 처리에 있어서, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 요소가 최대수 추가되어 있는 경우, 즉, 현재의 이력 예측 움직임 벡터 후보의 수 NumHmvpCand가 이력 예측 움직임 벡터 후보의 최대수 MaxNumHmvpCand에 도달하고 있는 경우, 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소, 즉 0으로부터 세어 0번째의 요소(이력 예측 움직임 벡터 후보)를 비교하지 않고, 1번째 이후의 요소만을 비교하는 점이, 제1 실시 형태와 상이하다. 이력 예측 움직임 벡터 후보 리스트에 포함되는 요소는 인터 예측 모드, 참조 인덱스, 움직임 벡터로 구성된다. 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소를 비교하지 않음으로써, 요소의 비교 횟수는 최대로 (MaxNumHmvpCand－1)회로 제한되고, 요소의 비교에 수반하는 최대 처리량을 삭감한다. 제1 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서인 도 27의 플로우차트란, 도 27의 스텝 S2122, S2125가 도 40에서는 스텝 S2132, S2135로 각각 변경되어 있는 점이 상이하고, 그 이외는 동일한 처리이다.

제3 실시 형태에 있어서도, 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0인 경우(도 40의 스텝 S2121: NO), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList는 비어 있고, 동일 후보는 존재하지 않기 때문에 도 40의 스텝 S2132∼S2135를 스킵하고, 본 동일 요소 확인 처리 순서를 종료한다. 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0보다 큰 경우(도 40의 스텝 S2121: YES), 이력 예측 움직임 벡터 인덱스 hMvpIdx가, 0 또는 1에서, NumHmvpCand－1까지, 스텝 S2123의 처리를 반복한다(도 40의 스텝 S2132∼S2135). 우선, 현재의 이력 예측 움직임 벡터 후보의 수 NumHmvpCand가 이력 예측 움직임 벡터 후보의 최대수 MaxNumHmvpCand 미만인 경우, 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소, 즉 0으로부터 세어 0번째의 요소(이력 예측 움직임 벡터 후보)를 비교하기 때문에, hMvpIdx를 0으로 한다. 한편, 현재의 이력 예측 움직임 벡터 후보의 수 NumHmvpCand가 이력 예측 움직임 벡터 후보의 최대수 MaxNumHmvpCand에 도달하고 있는 경우, 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소, 즉 0으로부터 세어 0번째의 요소(이력 예측 움직임 벡터 후보)를 비교하지 않기 때문에, hMvpIdx를 1로 한다(도 40의 스텝 S2132). 계속하여, 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 hMvpIdx번째의 요소 HmvpCandList[hMvpIdx]가 등록 대상의 인터 예측 정보 후보 hMvpCand와 동일한지 아닌지를 비교한다(도 40의 스텝 S2123). 동일한 경우(도 40의 스텝 S2123: YES), 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist에 TRUE(참)의 값을 설정하고, 삭제 대상 인덱스 removeIdx에 hMvpIdx의 값을 설정하고, 본 동일 요소 확인 처리를 종료한다. 동일하지 않은 경우(도 40의 스텝 S2123: NO), hMvpIdx를 1 인크리먼트하고, 이력 예측 움직임 벡터 인덱스 hMvpIdx가 NumHmvpCand－1 이하이면, 스텝 S2123 이후의 처리를 행한다(도 40의 스텝 S2132∼S2135).

(제4 실시 형태)

다음으로, 제4 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다. 제4 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치란, 구성이 동일하지만, 부호화측의 부호화 정보 격납 메모리(111) 및 복호측의 부호화 정보 격납 메모리(205)에 구비하는 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의, 동일 요소 확인 처리 순서가 상이하다. 제1 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서인 도 27의 플로우차트 대신에, 제4 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서는 도 41의 플로우차트에 나타내는 바와 같고, 이들 차이에 대해서 설명한다.

<제4 실시 형태의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서>

제4 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치의 이력 예측 움직임 벡터 후보 리스트 초기화·갱신 처리 순서에 있어서의 동일 요소 확인 처리 순서에 대해서, 도 41의 플로우차트를 이용하여 설명한다.

제4 실시 형태에서는, 이력 예측 움직임 벡터 후보 리스트 갱신 처리에 있어서, 이력 예측 움직임 벡터 후보 리스트의 마지막 요소로부터 내림차순으로 요소를 비교하는 점이, 제1 실시 형태 및, 제3 실시 형태와 상이하다. 또한, 이력 예측 움직임 벡터 후보 리스트 갱신 처리에 있어서, 이력 예측 움직임 벡터 후보 리스트 HmvpCandList에 요소가 최대수 추가되어 있는 경우, 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소, 즉 0으로부터 세어 0번째의 요소를 비교하지 않고, 1번째 이후의 요소만을 비교하는 점이, 제1 실시 형태와 상이하다. 이력 예측 움직임 벡터 후보 리스트에 포함되는 요소는 인터 예측 모드, 참조 인덱스, 움직임 벡터로 구성된다. 이력 예측 움직임 벡터 후보 리스트에 포함되는 선두의 요소를 비교하지 않음으로써, 요소의 비교 횟수는 최대로 (MaxNumHmvpCand－1)회로 제한되고, 요소의 비교에 수반하는 최대 처리량을 삭감한다.

제4 실시 형태에 있어서도, 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0인 경우(도 41의 스텝 S2151: NO), 이력 예측 움직임 벡터 후보 리스트 HmvpCandList는 비어 있고, 동일 후보는 존재하지 않기 때문에 도 41의 스텝 S2152∼S2155를 스킵하고, 본 동일 요소 확인 처리 순서를 종료한다. 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 값이 0보다 큰 경우(도 41의 스텝 S2152: YES), 인덱스 i가 1에서, 이력 예측 움직임 벡터 후보의 최대수 MaxNumHmvpCand－1과 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 어느 작은 값까지, 스텝 S2153의 처리를 반복한다(도 41의 스텝 S2152∼S2155). 우선, 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 NumHmvpCand－i번째의 요소 HmvpCandList[NumHmvpCand－i]가 등록 대상의 인터 예측 정보 후보 hMvpCand와 동일한지 아닌지를 비교한다(도 41의 스텝 S2153). 동일한 경우(도 41의 스텝 S2153: YES), 동일 후보가 존재하는지 아닌지를 나타내는 플래그 identicalCandExist에 TRUE(참)의 값을 설정하고, 삭제 대상 인덱스 removeIdx에 NumHmvpCand－i의 값을 설정하고, 본 동일 요소 확인 처리를 종료한다(도 41의 스텝 S2154). 동일하지 않은 경우(도 41의 스텝 S2153: NO), i를 1 인크리먼트하고, i가 이력 예측 움직임 벡터 후보의 최대수 MaxNumHmvpCand－1과 이력 예측 움직임 벡터 후보의 수 NumHmvpCand의 어느 작은 값 이하이면, 스텝 S2153 이후의 처리를 행한다(도 41의 스텝 S2152∼S2155). 또한, 인덱스 i가 초기값인 1일 때, 이력 예측 움직임 벡터 후보 리스트의 0으로부터 세어 NumHmvpCand－i번째의 요소 HmvpCandList[NumHmvpCand－i]는 이력 예측 움직임 벡터 후보 리스트에 등록되어 있는 마지막 요소를 나타내고, 인덱스 i가 1씩 인크리먼트됨에 따라 이력 예측 움직임 벡터 후보 리스트의 요소를 내림차순으로 나타낸다. 인덱스 i는 최대로 (MaxNumHmvpCand－1)로 함으로써, 이력 예측 움직임 벡터 후보의 선두의 요소 HMVPCandList[0]을 비교하는 일은 없다.

이상에서 서술한 모든 실시 형태는, 복수를 조합해도 좋다.

이상에서 서술한 모든 실시 형태에 있어서, 화상 부호화 장치가 출력하는 비트 스트림은, 실시 형태에서 이용된 부호화 방법에 따라서 복호할 수 있도록 특정의 데이터 포맷을 갖고 있다. 또한, 이 화상 부호화 장치에 대응하는 화상 복호 장치는, 이 특정의 데이터 포맷의 비트 스트림을 복호할 수 있다.

화상 부호화 장치와 화상 복호 장치의 사이에서 비트 스트림을 주고 받기 위해, 유선 또는 무선의 네트워크가 이용되는 경우, 통신로의 전송 형태에 적합한 데이터 형식으로 비트 스트림을 변환하여 전송해도 좋다. 그 경우, 화상 부호화 장치가 출력하는 비트 스트림을 통신로의 전송 형태에 적합한 데이터 형식의 부호화 데이터로 변환하여 네트워크에 송신하는 송신 장치와, 네트워크로부터 부호화 데이터를 수신하여 비트 스트림으로 복원하여 화상 복호 장치에 공급하는 수신 장치가 형성된다. 송신 장치는, 화상 부호화 장치가 출력하는 비트 스트림을 버퍼하는 메모리와, 비트 스트림을 패킷화하는 패킷 처리부와, 네트워크를 통하여 패킷화된 부호화 데이터를 송신하는 송신부를 포함한다. 수신 장치는, 네트워크를 통하여 패킷화된 부호화 데이터를 수신하는 수신부와, 수신된 부호화 데이터를 버퍼하는 메모리와, 부호화 데이터를 패킷 처리하여 비트 스트림을 생성하고, 화상 복호 장치에 제공하는 패킷 처리부를 포함한다.

또한, 화상 복호 장치에서 복호된 화상을 표시하는 표시부를 구성에 추가함으로써, 표시 장치로 해도 좋다. 그 경우, 표시부는, 복호 화상 신호 중첩부(207)에 의해 생성되고, 복호 화상 메모리(208)에 격납된 복호 화상 신호를 읽어내어 화면에 표시한다.

또한, 촬상부를 구성에 추가하고, 촬상한 화상을 화상 부호화 장치에 입력함으로써, 촬상 장치로 해도 좋다. 그 경우, 촬상부는, 촬상한 화상 신호를 블록 분할부(101)에 입력한다.

도 37에, 본 실시 형태의 부호화 복호 장치의 하드웨어 구성의 일 예를 나타낸다. 부호화 복호 장치는, 본 발명의 실시 형태에 따른 화상 부호화 장치 및, 화상 복호 장치의 구성을 포함한다. 이러한 부호화 복호 장치(9000)는, CPU(9001), 코덱 IC(9002), I/O 인터페이스(9003), 메모리(9004), 광학 디스크 드라이브(9005), 네트워크 인터페이스(9006), 비디오 인터페이스(9009)를 갖고, 각 부는 버스(9010)에 의해 접속된다.

화상 부호화부(9007)와 화상 복호부(9008)는, 전형적으로는 코덱 IC(9002)로서 실장된다. 본 발명의 실시 형태에 따른 화상 부호화 장치의 화상 부호화 처리는, 화상 부호화부(9007)에 의해 실행되고, 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리는, 화상 복호부(9008)에 의해 실행된다. I/O 인터페이스(9003)는, 예를 들면 USB 인터페이스에 의해 실현되고, 외부의 키보드(9104), 마우스(9105) 등과 접속한다. CPU(9001)는, I/O 인터페이스(9003)를 통하여 입력한 유저 조작에 기초하여, 유저의 소망하는 동작을 실행하도록 부호화 복호 장치(9000)를 제어한다. 키보드(9104), 마우스(9105) 등에 의한 유저의 조작으로서는, 부호화, 복호의 어느 쪽의 기능을 실행할지의 선택, 부호화 품질의 설정, 비트 스트림의 입출력선, 화상의 입출력선 등이 있다.

유저가 디스크 기록 매체(9100)에 기록된 화상을 재생하는 조작을 소망하는 경우, 광학 디스크 드라이브(9005)는, 삽입된 디스크 기록 매체(9100)로부터 비트 스트림을 읽어내고, 읽어낸 비트 스트림을, 버스(9010)를 통하여 코덱 IC(9002)의 화상 복호부(9008)에 보낸다. 화상 복호부(9008)는 입력한 비트 스트림에 대하여 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리를 실행하고, 복호 화상을, 비디오 인터페이스(9009)를 통하여 외부의 모니터(9103)로 보낸다. 또한, 부호화 복호 장치(9000)는, 네트워크 인터페이스(9006)를 갖고, 네트워크(9101)를 통하여, 외부의 배신 서버(9106)나, 휴대 단말(9107)과 접속 가능하다. 유저가 디스크 기록 매체(9100)에 기록된 화상을 대신하여, 배신 서버(9106)나 휴대 단말(9107)에 기록된 화상을 재생하는 것을 소망하는 경우는, 네트워크 인터페이스(9006)는, 입력된 디스크 기록 매체(9100)로부터 비트 스트림을 읽어내는 것을 대신하여, 네트워크(9101)에서 비트 스트림을 취득한다. 또한, 유저가 메모리(9004)에 기록된 화상을 재생하는 것을 소망하는 경우는, 메모리(9004)에 기록된 비트 스트림에 대하여, 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리를 실행한다.

유저가 외부의 카메라(9102)에서 촬상한 화상을 부호화하여 메모리(9004)에 기록하는 조작을 소망하는 경우, 비디오 인터페이스(9009)는, 카메라(9102)로부터 화상을 입력하고, 버스(9010)를 통하여, 코덱 IC(9002)의 화상 부호화부(9007)에 보낸다. 화상 부호화부(9007)는, 비디오 인터페이스(9009)를 통하여 입력한 화상에 대하여 본 발명의 실시 형태에 따른 화상 부호화 장치에 있어서의 화상 부호화 처리를 실행하여, 비트 스트림을 작성한다. 그리고 비트 스트림을, 버스(9010)를 통하여, 메모리(9004)에 보낸다. 유저가 메모리(9004)를 대신하여, 디스크 기록 매체(9100)에 비트 스트림을 기록하는 것을 소망하는 경우는, 광학 디스크 드라이브(9005)는, 삽입된 디스크 기록 매체(9100)에 대하여 비트 스트림의 읽어냄을 행한다.

화상 부호화 장치를 갖고 화상 복호 장치를 갖지 않는 하드웨어 구성이나, 화상 복호 장치를 갖고 화상 부호화 장치를 갖지 않는 하드웨어 구성을 실현하는 것도 가능하다. 그러한 하드웨어 구성은, 예를 들면 코덱 IC(9002)가, 화상 부호화부(9007), 또는 화상 복호부(9008)로 각각 치환됨으로써 실현된다.

이상의 부호화 및 복호에 관한 처리는, 하드웨어를 이용한 전송, 축적, 수신 장치로서 실현되어도 좋은 것은 물론, ROM(리드·온리·메모리)이나 플래시 메모리 등에 기억되어 있는 펌웨어나, 컴퓨터 등의 소프트웨어에 의해 실현되어도 좋다. 그 펌웨어 프로그램, 소프트웨어 프로그램을 컴퓨터 등으로 판독 가능한 기록 매체에 기록하여 제공해도 좋고, 유선 혹은 무선의 네트워크를 통하여 서버로부터 제공해도 좋고, 지상파 혹은 위성 디지털 방송의 데이터 방송으로서 제공해도 좋다.

이상, 본 발명을 실시 형태를 기초로 설명했다. 실시 형태는 예시이며, 그들 각 구성 요소나 각 처리 프로세스의 조합에 여러가지 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

100 : 화상 부호화 장치
101 : 블록 분할부
102 : 인터 예측부
103 : 인트라 예측부
104 : 복호 화상 메모리
105 : 예측 방법 결정부
106 : 잔차 생성부
107 : 직교 변환·양자화부
108 : 비트열 부호화부
109 : 역양자화·역직교 변환부
110 : 복호 화상 신호 중첩부
111 : 부호화 정보 격납 메모리
200 : 화상 복호 장치
201 : 비트열 복호부
202 : 블록 분할부
203 : 인터 예측부
204 : 인트라 예측부
205 : 부호화 정보 격납 메모리
206 : 역양자화·역직교 변환부
207 : 복호 화상 신호 중첩부
208 : 복호 화상 메모리

Claims (8)

1. 동화상을 블록 단위로 인터 예측 정보에 의한 인터 예측을 이용하여 부호화하는 화상 부호화 장치로서,
   부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납부와,
   부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출부와,
   부호화 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출부와,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출부
   를 구비하고,
   상기 이력 머지 후보 도출부는, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 화상 부호화 장치.
2. 동화상을 블록 단위로 인터 예측 정보에 의한 인터 예측을 이용하여 부호화하는 화상 부호화 방법으로서,
   부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과,
   부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출 스텝과,
   부호화 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출 스텝과,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출 스텝
   을 구비하고,
   상기 이력 머지 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 화상 부호화 방법.
3. 동화상을 블록 단위로 인터 예측 정보에 의한 인터 예측을 이용하여 부호화하는 화상 부호화 프로그램으로서,
   부호화 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과,
   부호화 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출 스텝과,
   부호화 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출 스텝과,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출 스텝을 컴퓨터에 실행시키고,
   상기 이력 머지 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 컴퓨터 판독가능 기록매체에 기록된 화상 부호화 프로그램.
4. 동화상을 블록 단위로 인터 예측을 이용하여 부호화된 부호화 비트열을 복호하는 화상 복호 장치로서,
   복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납부와,
   복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출부와,
   복호 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출부와,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출부
   를 구비하고,
   상기 이력 머지 후보 도출부는, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 화상 복호 장치.
5. 동화상을 블록 단위로 인터 예측을 이용하여 부호화된 부호화 비트열을 복호하는 화상 복호 방법으로서,
   복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과,
   복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출 스텝과,
   복호 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출 스텝과,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출 스텝
   을 구비하고,
   상기 이력 머지 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 화상 복호 방법.
6. 동화상을 블록 단위로 인터 예측을 이용하여 부호화된 부호화 비트열을 복호하는 화상 복호 프로그램으로서,
   복호 완료 블록의 인터 예측에서 이용한 인터 예측 정보를 이력 예측 움직임 벡터 후보 리스트에 격납하는 부호화 정보 격납 스텝과,
   복호 대상 블록에 공간적으로 근접하는 블록의 인터 예측 정보로부터 공간 머지 후보를 도출하고, 상기 공간 머지 후보를 머지 후보 리스트에 추가하는 공간 머지 후보 도출 스텝과,
   복호 대상 블록과 동일 또는 근방에 위치하는 블록의 인터 예측 정보로부터 시간 머지 후보를 도출하고, 상기 시간 머지 후보를 상기 머지 후보 리스트에 추가하는 시간 머지 후보 도출 스텝과,
   상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보로부터 이력 머지 후보를 도출하는 이력 머지 후보 도출 스텝을 컴퓨터에 실행시키고,
   상기 이력 머지 후보 도출 스텝은, 상기 이력 예측 움직임 벡터 후보 리스트에 격납된 인터 예측 정보 중, 뒤로부터 소정의 수의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하고, 인터 예측 정보의 값이 상이한 경우에 상기 이력 머지 후보로 하고, 뒤로부터 상기 소정의 수보다 전방의 인터 예측 정보에 대해서 상기 공간 머지 후보의 인터 예측 정보와의 비교를 행하지 않고 상기 이력 머지 후보로 하고, 상기 이력 머지 후보를 상기 머지 후보 리스트에 추가하는
   것을 특징으로 하는 컴퓨터 판독가능 기록매체에 기록된 화상 복호 프로그램.
   
7. 삭제
8. 삭제