JP5884937B1

JP5884937B1 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法、及び送信プログラム

Info

Publication number: JP5884937B1
Application number: JP2015239665A
Authority: JP
Inventors: 博哉中村; 福島　茂; 茂福島; 英樹竹原
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-09-28
Filing date: 2015-12-08
Publication date: 2016-03-15
Anticipated expiration: 2032-09-27
Also published as: JP5884697B2; JP2016096553A; JP2013085234A; JP6079912B2; JP2016096554A; JP5884938B1; JP5884939B1; JP2016106486A; JP2016059065A; JP5884936B1; JP2016059066A

Abstract

【課題】動き補償予測を使用する画像符号化方式において、符号化情報を圧縮し、全体の符号量を削減する必要があった。【解決手段】予測動きベクトル候補生成部１２１は、符号化対象ブロックと同一ピクチャ内の符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を生成し、予測動きベクトル候補リストに登録する。予測動きベクトル候補数制限部１２４は、予測動きベクトル候補リストに登録される予測動きベクトルの候補数を予測ブロックのサイズに応じた最大候補数に制限する。予測動きベクトル選択部１２６は、予測動きベクトル候補リストから予測動きベクトルを選択する。符号化部１０９は、予測動きベクトル候補リストにおける選択された予測動きベクトルのインデックスを示す情報を符号化する。【選択図】図１３

Description

本発明は、動画像符号化技術に関し、特に動き補償予測を利用した動画像符号化技術に関する。

動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の規格がある。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、ピクチャを複数の矩形ブロックに分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測と呼ぶ。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４でのインター予測では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピクチャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより、参照ピクチャを特定する。なお、Ｂピクチャでは、符号化・復号済みの参照ピクチャから最大で２枚を選択してインター予測に用いることができる。それらの２枚の参照ピクチャからの予測をそれぞれ主に前方向の予測として使われるＬ０予測（リスト０予測）、主に後方向の予測として使われるＬ１予測（リスト１予測）として区別している。

さらに、Ｌ０予測とＬ１予測の２つのインター予測を同時に用いる双予測も定義されている。双予測の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なインター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値はピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。インター予測に関する符号化情報には、ブロック毎に、Ｌ０予測とＬ１予測、双予測を区別する予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化・復号する。

動き補償を行う動画像符号化方式では、各ブロックで生成される動きベクトルの符号量を削減する為に、動きベクトルに対して予測処理が行われる。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、符号化対象の動きベクトルが周囲の隣接ブロックの動きベクトルと強い相関があることを利用して、周囲の隣接ブロックからの予測を行うことにより予測動きベクトルを算出し、符号化対象の動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出し、その差分動きベクトルを符号化することによって符号量を削減している。

具体的には、図３６（ａ）に示されるように、周囲の隣接ブロックＡ，Ｂ，Ｃの動きベクトルから中央値を算出して予測動きベクトルとし、動きベクトルとその予測動きベクトルとの差分をとることで動きベクトルの符号量を削減している。但し、図３６（ｂ）のように符号化対象ブロックと隣接ブロックの大きさや形状が異なる場合は、左隣に複数の隣接ブロックがある時はその中の一番上のブロックを、上に複数の隣接ブロックがある時はその中の一番左のブロックを予測ブロックとし、決定された予測ブロックの動きベクトルから予測を実施する。

特開２０１１−１４７１７２号公報

しかし、従来の方法では、予測ベクトルは一つしか得られないため、画像によっては予測動きベクトルの予測精度が低下し、符号化効率が良くならない場合もあった。

このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。

本発明はこうした状況に鑑みてなされたものであり、その目的は、予測動きベクトルの候補を算出することにより、差分動きベクトルの符号量の削減を図って符号化効率を向上させる動画像符号化技術を提供することにある。また、別の目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像符号化技術を提供することにある。

各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化装置であって、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成部と、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録部と、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限部と、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部と、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化部とを備え、前記予測動きベクトル候補制限部は、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化装置を提供する。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法であって、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化方法を提供する。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化プログラムであって、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとをコンピュータに実行させ、前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化プログラムを提供する。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理部と、パケット化された前記符号化データを送信する送信部とを備え、前記動画像符号化方法は、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信装置を提供する。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとを備え、前記動画像符号化方法は、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信方法を提供する。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、前記動画像符号化方法は、符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信プログラムを提供する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、複数の予測動きベクトルを算出し、それら複数の予測動きベクトルの中から最適な予測動きベクトルを選択し、差分動きベクトルの発生符号量を削減させて、符号化効率を向上させることができる。

実施の形態に係る動きベクトルの予測方法を実行する動画像符号化装置の構成を示すブロック図である。実施の形態に係る動きベクトルの予測方法を実行する動画像復号装置の構成を示すブロック図である。ツリーブロック、符号化ブロックを説明する図である。予測ブロックの分割モードを説明する図である。予測ブロックグループを説明する図である。予測ブロックグループを説明する図である。予測ブロックグループを説明する図である。予測ブロックグループを説明する図である。予測ブロックグループを説明する図である。動きベクトルの予測方法に関するスライスレベルでのビットストリームのシンタックスを説明する図である。動きベクトルの予測方法に関する予測ブロックレベルでのビットストリームのシンタックスを説明する図である。予測動きベクトルインデックスのシンタックス要素のエントロピー符号の一例を説明する図である。図１の差分動きベクトル算出部の詳細な構成を示すブロック図である。図２の動きベクトル算出部の詳細な構成を示すブロック図である。図１の差分動きベクトル算出部の差分動きベクトル算出処理手順を示すフローチャートである。図２の動きベクトル算出部の動きベクトル算出処理手順を示すフローチャートである。予測動きベクトルの最終候補数設定処理手順を示すフローチャートである。予測動きベクトルの候補の導出及び予測動きベクトルリスト構築処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。動きベクトルのスケーリング演算処理手順を示すフローチャートである。整数演算による動きベクトルのスケーリング演算処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。異なる時間のピクチャの導出処理手順を示すフローチャートである。異なる時間のピクチャの予測ブロックの候補導出処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。予測動きベクトルの候補導出処理手順を示すフローチャートである。動きベクトルのスケーリング演算処理手順を示すフローチャートである。整数演算による動きベクトルのスケーリング演算処理手順を示すフローチャートである。予測動きベクトル候補リストへの予測動きベクトルの候補の登録処理手順を示すフローチャートである。予測動きベクトル候補リストから冗長な予測動きベクトルの候補の削除処理手順を示すフローチャートである。予測動きベクトルの候補数の制限処理手順を示すフローチャートである。予測動きベクトル候補リストへの予測動きベクトルの候補の登録処理手順を示すフローチャートである。予測動きベクトル候補リストへの予測動きベクトルの候補の登録処理手順を示すフローチャートである。従来の予測動きベクトルの算出方法を説明する図である。

本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化済みの周囲のブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化済みの周囲のブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を推定することによって符号量を削減する。また、動画像の復号の場合は、復号済みの周囲のブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号済みの周囲のブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を推定する。

まず、本実施の形態において使用する技術、及び技術用語を定義する。

（ツリーブロック、符号化ブロックについて）
実施の形態では、図３に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化または復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。

図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。

（予測モードについて）
符号化ブロック単位で、復号済みの周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び復号済みのピクチャの画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。

（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて４種類の分割モード（PartMode）を定義する。符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなしたもの（図４（ａ））の分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）、符号化ブロックの輝度信号を水平方向に２分割し、２つの予測ブロックとしたもの（図４（ｂ））の分割モード（PartMode）を２Ｎ×Ｎ分割（PART_2NxN）、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを２つの予測ブロックとしたもの（図４（ｃ））の分割モード（PartMode）をＮ×２Ｎ分割（PART_Nx2N）、符号化ブロックの輝度信号を水平と垂直の均等分割により４つの予測ブロックとしたもの（図４（ｄ））の分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。なお、イントラ予測（MODE_INTRA）のＮ×Ｎ分割（PART_NxN）を除き、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。

符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図４の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図４（ｂ）に示す２Ｎ×Ｎ分割（PART_2NxN）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図４（ｃ）に示すＮ×２Ｎ分割（PART_Nx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図４（ｄ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。

予測モード（PredMode）がインター予測（MODE_INTER）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。

（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。

（予測ブロックグループについて）
複数の予測ブロックで構成されるグループを予測ブロックグループと定義する。図５、図６、図７及び図８は符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに隣接する予測ブロックグループを説明する図である。図９は符号化または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化または復号済みの予測ブロックグループを説明する図である。図５、図６、図７、図８及び図９を用いて予測ブロックグループについて説明する。

図５に示すように、符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックの左側の辺に隣接する予測ブロックＡ１、および符号化または復号対象の予測ブロックの左下の頂点に隣接する予測ブロックＡ０、で構成される第１の予測ブロックグループを左側に隣接する予測ブロックグループと定義する。

なお、図６に示すように、符号化または復号対象の予測ブロックの左側に隣接する予測ブロックのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックＡがその符号化または復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックＡ１とし、符号化または復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックＡ０とする。図６の例では、予測ブロックＡ０と予測ブロックＡ１は同一の予測ブロックとなる。

なお、図７に示すように、符号化または復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化または復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側に隣接する予測ブロックの中で最も下の予測ブロックＡ１０だけを左側に隣接する予測ブロックＡ１とする。

符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックの上側の辺に隣接する予測ブロックＢ１、符号化または復号対象の予測ブロックの右上の頂点に隣接する予測ブロックＢ０、および符号化または復号対象の予測ブロックの左上の頂点に隣接する予測ブロックＢ２で構成される第２の予測ブロックグループを上側に隣接する予測ブロックグループと定義する。

なお、図８に示すように、符号化または復号対象の予測ブロックの上側に隣接する予測ブロックのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックＢがその符号化または復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックＢ１とし、符号化または復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックＢ０とし、符号化または復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＢ２とする。図８の例では、予測ブロックＢ０と予測ブロックＢ１と予測ブロックＢ２は同一の予測ブロックとなる。

なお、図７に示すように、符号化または復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化または復号対象の予測ブロックより小さく、複数存在する場合には、実施の形態においては上側に隣接する予測ブロックの中で最も右の予測ブロックＢ１０だけを上側に隣接する予測ブロックＢ１とする。

図９に示すように、符号化または復号対象の予測ブロックと時間的に異なる符号化または復号済みのピクチャにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化または復号済みの予測ブロックグループＴ０およびＴ１で構成される第３の予測ブロックグループを異なる時間の予測ブロックグループと定義する。

（インター予測モード、参照リストについて）
本発明の実施の形態においては、復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。Ｂスライスでは予測ブロック毎に任意の２枚の参照ピクチャを選択してインター予測ことができ、インター予測モードとしてＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がある。参照ピクチャはリスト構造のＬ０（参照リスト０）とＬ１（参照リスト１）で管理され、Ｌ０またはＬ１の参照インデックスを指定することにより参照ピクチャを特定することができる。Ｌ０予測（Pred_L0）はＬ０で管理されている参照ピクチャを参照するインター予測であり、Ｌ１予測（Pred_L1）はＬ１で管理されている参照ピクチャを参照するインター予測であり、双予測（Pred_BI）はＬ０予測とＬ１予測が共に行われ、Ｌ０とＬ１のそれぞれで管理されている１つずつの参照ピクチャを参照するインター予測である。Ｐスライスのインター予測ではＬ０予測のみが使用でき、Ｂスライスのインター予測ではＬ０予測、Ｌ１予測、Ｌ０予測とＬ１予測を平均または重み付け加算する双予測（Pred_BI）が使用できる。以降の処理において出力に添え字ＬＸ（Ｘは０または１）が付いている定数、変数に関しては、Ｌ０、Ｌ１ごとに処理が行われることを前提とする。

（ＰＯＣについて）
ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力順序で１ずつ増加する値が設定される。ＰＯＣの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、２つのピクチャのＰＯＣが同じ値を持つ場合、同一のピクチャであると判断できる。２つのピクチャのＰＯＣが違う値を持つ場合、ＰＯＣの値が小さいピクチャのほうが、時間的に先に出力されるピクチャであると判断でき、２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。

以下、図面と共に本発明の実施の形態を説明する。図１は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ１０１、動きベクトル検出部１０２、差分動きベクトル算出部１０３、インター予測情報推定部１０４、動き補償予測部１０５、予測方法決定部１０６、残差信号生成部１０７、直交変換・量子化部１０８、第１の符号化ビット列生成部１０９、第２の符号化ビット列生成部１１０、多重化部１１１、逆量子化・逆直交変換部１１２、復号画像信号重畳部１１３、符号化情報格納メモリ１１４、および復号画像メモリ１１５を備える。

画像メモリ１０１は、撮影／表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部１０２、予測方法決定部１０６、および残差信号生成部１０７に供給する。その際、撮影／表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。

動きベクトル検出部１０２は、画像メモリ１０１から供給される画像信号と復号画像メモリ１１５から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部１０５、差分動きベクトル算出部１０３、および予測方法決定部１０６に供給する。

差分動きベクトル算出部１０３は、符号化情報格納メモリ１１４に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部１０２が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部１０６に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部１０６に供給する。差分動きベクトル算出部１０３の詳細な構成と動作は後述する。

インター予測情報推定部１０４は、マージモードのインター予測情報を推定する。マージモードとは、当該予測ブロックの予測モード、参照インデックス（参照リストに登録されている複数の参照ピクチャから動き補償予測に利用する参照ピクチャを特定するための情報）、動きベクトル等のインター予測情報を符号化するのではなく、符号化済みの隣接するインター予測された予測ブロック、あるいは異なるピクチャのインター予測された予測ブロックのインター予測情報を利用するモードである。符号化情報格納メモリ１１４に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージの候補（インター予測情報の候補）を算出してマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から最適なマージ候補を選択し、選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を動き補償予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０６に供給する。

動き補償予測部１０５は、動きベクトル検出部１０２およびインター予測情報推定部１０４により検出された動きベクトルを用いて参照ピクチャから動き補償予測により予測画像信号を生成し、予測画像信号を予測方法決定部１０６に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。

予測方法決定部１０６は差分動きベクトルの符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測（PRED_INTER）では予測ブロック単位でマージモードか否か等の予測方法を決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測フラグ、予測動きベクトルインデックス、Ｌ０、Ｌ１の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第１の符号化ビット列生成部１０９に供給する。

さらに、予測方法決定部１０６は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ１１４に格納する。ここで格納する符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0, predFlagL1、Ｌ０、Ｌ１の参照インデックスrefIdxL0, refIdxL1、Ｌ０、Ｌ１の動きベクトルmvL0, mvL1等である。ここで、予測モードPredModeがイントラ予測（PRED_INTRA）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。予測方法決定部１０６は、決定された予測モードに応じた予測画像信号を残差信号生成部１０７と復号画像信号重畳部１１３に供給する。

残差信号生成部１０７は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部１０８に供給する。

直交変換・量子化部１０８は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１１０と逆量子化・逆直交変換部１１２に供給する。さらに、直交変換・量子化部１０８は、量子化パラメータを符号化情報格納メモリ１１４に格納する。

第１の符号化ビット列生成部１０９は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック及び予測ブロック毎に予測方法決定部１０６によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredModeがインター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、参照インデックス、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第１の符号化ビット列を生成し、多重化部１１１に供給する。なお、予測動きベクトルリストに登録される予測動きベクトルの候補数が１の場合、予測動きベクトルインデックスmvp_idxは０と特定できるので、符号化しない。本実施の形態においては、後述するように符号化対象の予測ブロックのサイズに応じて、予測動きベクトルの候補数が設定される。そこで、第１の符号化ビット列生成部１０９では、符号化対象の予測ブロックのサイズに応じて、予測動きベクトルの候補数を設定し、設定された候補数が１より大きい場合に予測動きベクトルインデックスを符号化する。

第２の符号化ビット列生成部１１０は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、多重化部１１１に供給する。多重化部１１１で、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。

逆量子化・逆直交変換部１１２は、直交変換・量子化部１０８から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１３に供給する。復号画像信号重畳部１１３は、予測方法決定部１０６による決定に応じた予測画像信号と逆量子化・逆直交変換部１１２で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１５に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１１５に格納されることもある。

図２は図１の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部２０１、第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０３、動きベクトル算出部２０４、インター予測情報推定部２０５、動き補償予測部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、符号化情報格納メモリ２０９、および復号画像メモリ２１０を備える。

図２の動画像復号装置の復号処理は、図１の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図２の動き補償予測部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、符号化情報格納メモリ２０９、および復号画像メモリ２１０の各構成は、図１の動画像符号化装置の動き補償予測部１０５、逆量子化・逆直交変換部１１２、復号画像信号重畳部１１３、符号化情報格納メモリ１１４、および復号画像メモリ１１５の各構成とそれぞれ対応する機能を有する。

分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０３に供給される。

第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部２０４またはインター予測情報推定部２０５に供給する。なお、マージモードでない場合、後述する予測動きベクトルリストに登録される予測動きベクトルの候補が１つの場合、予測動きベクトルインデックスは０と特定できるので、予測動きベクトルインデックスは符号化されておらず、予測動きベクトルインデックスを０とする。本実施の形態においては、後述するように復号対象の予測ブロックのサイズに応じて、予測動きベクトルの候補数が設定される。そこで、第１符号化ビット列復号部２０２では、復号対象の予測ブロックのサイズに応じて、予測動きベクトルの候補数を設定し、設定された候補数が１より大きい場合に予測動きベクトルインデックスを復号する。

第２符号化ビット列復号部２０３は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に供給する。

動きベクトル算出部２０４は、復号対象の予測ブロックがマージモードでない時に、符号化情報格納メモリ２０９に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第１符号化ビット列復号部２０２で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第１符号化ビット列復号部２０２で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２０９に格納する。ここで供給・格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0, predFlagL1、Ｌ０、Ｌ１の参照インデックスrefIdxL0, refIdxL1、Ｌ０、Ｌ１の動きベクトルmvL0, mvL1等である。ここで、予測モードがイントラ予測（PRED_INTRA）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。動きベクトル算出部２０４の詳細な構成と動作は後述する。

インター予測情報推定部２０５は、復号対象の予測ブロックがマージモードの時に、マージモードのインター予測情報を推定する。符号化情報格納メモリ１１４に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を算出してマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第１符号化ビット列復号部２０２で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補の予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0, predFlagL1、Ｌ０、Ｌ１の参照インデックスrefIdxL0, refIdxL1、Ｌ０、Ｌ１の動きベクトルmvL0, mvL1等のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２０９に格納する。

動き補償予測部２０６は、動きベクトル算出部２０４で算出された動きベクトルを用いて参照ピクチャから動き補償予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０８に供給する。なお、双予測（Pred_BI）の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。

逆量子化・逆直交変換部２０７は、第１符号化ビット列復号部２０２で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。

復号画像信号重畳部２０８は、動き補償予測部２０６で動き補償予測された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１０に格納する。復号画像メモリ２１０に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１０に格納されることもある。

（シンタックスについて）
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。

図１０は本実施の形態により生成されるビットストリームのスライス単位でスライスヘッダーに記述される第１のシンタックス構造を示す。ただし、本実施の形態に関係のあるシンタックス要素のみを示している。スライスタイプがＢの場合は、時間方向の予測動きベクトルの候補、またはマージ候補を算出する際に用いる異なる時間のピクチャcolPicが処理対象の予測ブロックが含まれるピクチャのＬ０の参照リスト或いはＬ１の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocated_from_l0_flagが設置される。フラグcollocated_from_l0_flagの詳細については後述する。

なお、以上のシンタックス要素はピクチャ単位で設定されるシンタックス要素を記述するピクチャ・パラメータ・セットに設置してもよい。

図１１は予測ブロック単位に記述されるシンタックスパターンを示す。予測ブロックの予測モードPredModeの値がインター予測（MODE_INTER）の場合、マージモードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。

次に、merge_flag[x0][y0]が１の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデックスである。

一方、merge_flag[x0][y0]が０の場合、マージモードでないことを示し、スライスタイプがＢの場合、インター予測モードを識別するシンタックス要素inter_pred_flag[x0][y0]が設置され、このシンタックス要素でＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）を識別する。Ｌ０、Ｌ１ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ０の参照インデックス、及び差分動きベクトルであり、ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ１の参照インデックス、及び差分動きベクトルである。また、ｊは差分動きベクトルの成分を表し、ｊが０はｘ成分を、ｊが１はｙ成分を表す。次に、符号化または復号対象の予測ブロックのサイズに応じて設定される差分動きベクトルの候補数が１より大きい場合に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]はピクチャ内の (x0, y0)に位置する予測ブロックのＬ０、Ｌ１の予測動きベクトルインデックスである。関数NumMVPCand(LX)は、予測方向ＬＸ（Ｘは０或いは１）で予測ブロックの予測動きベクトルの候補の総数を算出する関数を表し、後述の符号化または復号対象の予測ブロックのサイズに応じて規定された最終候補数finalNumMVPCandと同じ値が設定される。図１２は規定された予測動きベクトルの候補数毎の予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]のエントロピー符号の一例である。予測動きベクトルインデックスmvp_idx_lx[x0][y0]は動きベクトルの予測方法により予測動きベクトルの候補数NumMVPCand(LX)が１より大きい場合に符号化される。予測動きベクトルの候補の総数が１つであれば、その１つが予測動きベクトルとなるので、mvp_idx_lx[x0][y0]を伝送せずとも参照する予測動きベクトルの候補が確定する為である。予測動きベクトルの候補数NumMVPCand(LX)が２の場合、予測動きベクトルインデックスが０の時、予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]の符号は'０'となり、予測動きベクトルインデックスが１の時、予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]の符号は'１'となる。予測動きベクトルの候補数NumMVPCand(LX)が３の場合、予測動きベクトルインデックスが０の時、予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]の符号は'０'となり、予測動きベクトルインデックスが１の時、予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]の符号は'１０'となり、予測動きベクトルインデックスが２の時、予測動きベクトルインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]の符号は'１１'となる。本発明の実施の形態においては、符号化または復号対象の予測ブロックのサイズに応じて、予測動きベクトルの候補数が設定され、詳細については後述する。

実施の形態に係る動きベクトルの予測方法は、図１の動画像符号化装置の差分動きベクトル算出部１０３及び図２の動画像復号装置の動きベクトル算出部２０４において実施される。

実施の形態による動きベクトルの予測方法を図面を用いて説明する。動きベクトルの予測方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードがインター予測（MODE_INTER）で、マージモードでない場合に、符号化の場合、符号化対象の動きベクトルから符号化する差分動きベクトルを算出する時に用いる符号化済みの動きベクトルを利用して予測動きベクトルを導出する際、復号の場合、復号対象の動きベクトルを算出する時に用いる復号済みの動きベクトルを利用して予測動きベクトルを導出する際に実施される。

（符号化における動きベクトルの予測）
上述のシンタックスに基づき、動画像のビットストリームを符号化する動画像符号化装置において、実施の形態に係る動きベクトルの予測方法の動作を説明する。動きベクトルの予測方法は、スライス単位で動き補償予測を行う場合、即ちスライスタイプがＰスライス（片方向予測スライス）或いはＢスライス（両方向予測スライス）の場合で、更に、スライスの中の予測ブロックの予測モードがインター予測（MODE_INTER）で、マージモードでない差分動きベクトルを符号化または復号する予測ブロックに適用される。

図１３は、図１の動画像符号化装置の差分動きベクトル算出部１０３の詳細な構成を示す図である。図１３の太枠線で囲まれる部分は差分動きベクトル算出部１０３を示している。

更に、その内部の太点線で囲まれる部分は後述する動きベクトルの予測方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の導出結果を得られるようにしている。以下、この図を用いて、符号化における動きベクトルの予測方法を説明する。

本実施の形態においては、符号化または復号対象の予測ブロックのサイズに応じて、予測動きベクトルの最終候補数finalNumMVPCandを設定する。差分動きベクトル算出部１０３では、符号化対象の輝度信号の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合、finalNumMVPCandを後者よりも小さい数に設定し、そうでない場合、finalNumMVPCandを前者よりも大きい数に設定する。本実施の形態においては、規定するサイズsizePUNumMVPCandを8x8とし、符号化または復号対象の輝度信号の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合は、finalNumMVPCandを１に設定し、それ以外の場合は、finalNumMVPCandを２に設定する。

予測ブロックのサイズが小さい場合、単位面積当たりの予測ブロックの数が多くなるので、後述する冗長な予測動きベクトルの候補を削除する処理、及び前述の予測動きベクトルインデックスを符号化する処理の回数が多くなってしまう。

そこで、本実施の形態においては、符号化および復号対象の予測ブロックが規定したサイズ以下の場合、最終候補数finalNumMVPCandを１とし、冗長な予測動きベクトルの候補を削除する処理及び予測動きベクトルインデックスを符号化および復号する処理をスキップすることで、処理量を削減する。さらに、最終候補数finalNumMVPCandを１では、予測動きベクトルインデックスを符号化する必要がないので、エントロピー符号化の処理量を削減することができる。

差分動きベクトル算出部１０３は、予測動きベクトル候補生成部１２１、予測動きベクトル候補登録部１２２、予測動きベクトル冗長候補削除部１２３、予測動きベクトル候補数制限部１２４、予測動きベクトル候補符号量算出部１２５、予測動きベクトル選択部１２６、および動きベクトル減算部１２７を含む。

この差分動きベクトル算出部１０３での差分動きベクトル算出処理は、符号化対象ブロックで選択されたインター予測方法で用いる動きベクトルの差分動きベクトルをＬ０、Ｌ１毎にそれぞれ算出する。具体的には符号化対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、符号化対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルの差分動きベクトルmvdL0を算出する。符号化対象ブロックのインター予測モード（Pred_L1）がＬ１予測の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルの差分動きベクトルmvdL1を算出する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。

Ｌ０、Ｌ１それぞれについて、差分動きベクトル算出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の差分動きベクトルを算出する処理ではＸが０であり、Ｌ１の差分動きベクトルを算出する処理ではＸが１である。また、ＬＸの差分動きベクトルを算出する処理中に、ＬＸではなく、もう一方のリストの情報を参照する場合、もう一方のリストをＬＹとして表す。

予測動きベクトル候補生成部１２１は、Ｌ０、Ｌ１毎に、上側に隣接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの左側に隣接する予測ブロックグループ：図５のＡ０，Ａ１）、左側に隣接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの上側に隣接する予測ブロックグループ：図５のＢ０，Ｂ１，Ｂ２）、異なる時間の予測ブロックグループ（符号化対象の予測ブロックと時間的に異なるピクチャ内でその予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化済みの予測ブロックグループ：図９のＴ０，Ｔ１）の３つの予測ブロックグループから、予測ブロックグループごとに１つの動きベクトルmvLXA、mvLXB、mvLXColをそれぞれ導出して予測動きベクトル候補とし、予測動きベクトル候補登録部１２２に供給する。以下、mvLXA及びmvLXBを空間的な予測動きベクトル、mvLXColを時間的な予測動きベクトルと呼ぶ。この予測動きベクトル候補の算出に際しては、符号化情報格納メモリ１１４に格納されている符号化済みの予測ブロックの予測モード、参照リスト毎の参照インデックス、参照ピクチャのＰＯＣ、動きベクトル等の符号化情報を用いる。

これらの予測動きベクトルの候補mvLXA、mvLXB、mvLXColは符号化または復号対象ピクチャ（符号化処理においては符号化対象ピクチャ、復号処理においては復号対象ピクチャのことである。以下、断りのない限り、この意味で用いる。）のＰＯＣと参照ピクチャのＰＯＣとの関係に応じてスケーリングすることにより導出されることもある。

予測動きベクトル候補生成部１２１は、各予測ブロックグループ毎に、所定の順序で、それぞれの予測ブロックグループ内の予測ブロックに対して、後述の条件判定を行い、最初に条件に合致した予測ブロックの動きベクトルを選択し、予測動きベクトルの候補mvLXA、mvLXB、mvLXColとする。

左側に隣接する予測ブロックグループから予測動きベクトルを算出する際には、左側に隣接する予測ブロックグループの下から上の順序（図５のＡ０からＡ０，Ａ１の順序）で、上側に隣接する予測ブロックグループから予測動きベクトルを算出する際には、上側に隣接する予測ブロックグループの右から左の順序（図５のＢ０からＢ０，Ｂ１，Ｂ２の順序）で、異なる時間の予測ブロックグループから予測動きベクトルを算出する際には、図９のＴ０からＴ０，Ｔ１の順序で、各予測ブロックに対して、後述の条件判定を行い、最初に条件に合致した予測ブロックの動きベクトルを選択し、予測動きベクトルの候補をそれぞれmvLXA、mvLXB、mvLXColとする。

即ち、左側の隣接予測ブロックグループでは、一番下の予測ブロックが最も優先順位が高く、下から上に向かって優先順位が付けられており、上側の隣接予測ブロックグループでは、一番右の予測ブロックが最も優先順位が高く、右から左に向かって優先順位が付けられている。異なる時間の予測ブロックグループでは、Ｔ０の予測ブロックが最も優先順位が高く、Ｔ０，Ｔ１の順に優先順位が付けられている。

（空間予測ブロックの条件判定のループの説明）
左側の隣接予測ブロックグループ、及び上側の隣接予測ブロックグループの各隣接予測ブロックに対しては、後述するスキャン方法１、２、３、４では、下記の条件判定１、２、３、４の優先順序でそれぞれの条件判定が適用される。ただし、後述するスキャン方法５のみ例外として、条件判定１、３、２、４の優先順序でそれぞれの条件判定が適用される。
条件判定１：符号化または復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルと同じ参照リストＬＸで、同じ参照インデックス、すなわち同じ参照ピクチャを用いた予測が隣接予測ブロックでも行われている。
条件判定２：符号化または復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルとは異なる参照リストＬＹであるが、同じ参照ピクチャを用いた予測が隣接予測ブロックで行われている。
条件判定３：符号化または復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルと同じ参照リストＬＸで、異なる参照ピクチャを用いた予測が隣接予測ブロックで行われている。
条件判定４：符号化または復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルとは異なる参照リストＬＹで、異なる参照ピクチャを用いた予測が隣接予測ブロックで行われている。

これらの条件のいずれかに一致した場合、当該予測ブロックには条件に合致する動きベクトルは存在すると判断し、後に続く条件判定は行わない。なお、条件判定１または条件判定２の条件に合致した場合、該当する隣接予測ブロックの動きベクトルは同じ参照ピクチャに対応するものであるので、そのまま予測動きベクトルの候補とするが、条件判定３または条件判定４の条件に合致した場合、該当する隣接予測ブロックの動きベクトルは異なる参照ピクチャに対応するものであるので、その動きベクトルを基にスケーリングにより算出して予測動きベクトルの候補とする。

空間予測ブロックのスキャンのループの仕方として、上記の４つの条件判定の進め方によって、下記の５通りの方法を設定することができる。それぞれの方法によって予測ベクトルの相応しさと最大処理量が異なり、それらを考慮してこれらの方法から選択し設定する。スキャン方法１については、図１９〜図２３のフローチャートを用いて詳しく後述するが、他のスキャン方法２〜５についても、当業者であればスキャン方法２〜５を実施する手順についてはスキャン方法１を実施する手順に準じて適宜設計できる事項であるから、詳しい説明を省略する。なお、ここでは動画像符号化装置における空間予測ブロックのスキャンのループ処理を説明するが、同様の処理は動画像復号装置においても可能である。

スキャン方法１：
同じ参照ピクチャを用いたスケーリング演算が不要な予測動きベクトルの判定を優先し、４つの条件判定のうち予測ブロック毎に２つの条件判定を行い、条件を満たさなければ、隣の予測ブロックの条件判定に移る。最初の周回では条件判定１と条件判定２の条件判定を行い、次の予測ブロックの周回では条件判定３と条件判定４の条件判定を行う。

具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
３．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
４．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
５．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
６．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
７．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
８．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
９．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
１０．予測ブロックＮ１の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
１１．予測ブロックＮ２の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ

スキャン方法１によれば、同じ参照ピクチャを用いたスケーリング演算が不要な予測動きベクトルが選ばれやすいので、差分動きベクトルの符号量が小さくなる可能性が高くなる効果がある。また、条件判定の周回数が最大２回となるので、ハードウェアへの実装を考慮した際に予測ブロックの符号化情報へのメモリアクセス回数が後述するスキャン方法２に比べて少なくなり、複雑性が低減される。

スキャン方法２：
４つの条件判定のうち予測ブロック毎に１つの条件判定を行い、条件を満たさなければ、隣の予測ブロックの条件判定に移る。予測ブロック毎に条件判定を４周したら終了する。

具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
３．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
４．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
５．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
６．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
７．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
８．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
９．予測ブロックＮ２の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１０．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
１１．予測ブロックＮ１の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ

スキャン方法２によれば、同じ参照ピクチャを用いたスケーリング演算が不要な予測動きベクトルが選ばれやすいので、差分動きベクトルの符号量が小さくなる可能性が高くなる効果がある。また、条件判定の周回数が最大４回となり、ハードウェアへの実装を考慮した際に予測ブロックの符号化情報へのメモリアクセス回数がスキャン方法１に比べて多くなるが、同じ参照リストの予測動きベクトルが選ばれやすくなる。

スキャン方法３：
最初の周回では予測ブロック毎に条件判定１の条件判定を行い条件を満たさなければ、隣の予測ブロックの条件判定に移る。次の周回では予測ブロック毎に条件判定２、条件判定３条件判定４順序で条件判定を行ってから隣に移る。

具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
３．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
４．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
５．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
６．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
７．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
８．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
９．予測ブロックＮ１の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
１０．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１１．予測ブロックＮ２の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ

スキャン方法３によれば、同じ参照リストで同じ参照ピクチャを用いたスケーリング演算が不要な予測動きベクトルが選ばれやすいので、差分動きベクトルの符号量が小さくなる可能性が高くなる効果がある。また、条件判定の周回数が最大２回となるので、ハードウェアへの実装を考慮した際に予測ブロックの符号化情報へのメモリアクセス回数がスキャン方法２に比べて少なくなり、複雑性が低減される。

スキャン方法４：
同じ予測ブロックの条件判定を優先し、１つの予測ブロック内で４つの条件判定を行い、すべての条件に合致しない場合、当該予測ブロックには条件に合致する動きベクトルは存在しないものと判断し、次の予測ブロックの条件判定を行う。

具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
３．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
４．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
５．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
６．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
７．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
８．予測ブロックＮ１の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
９．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１０．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１１．予測ブロックＮ２の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ

スキャン方法４によれば、条件判定の周回数が最大でも１回となるので、ハードウェアへの実装を考慮した際に予測ブロックの符号化情報へのメモリアクセス回数がスキャン方法１、スキャン方法２、スキャン方法３に比べて少なくなり、複雑性が低減される。

スキャン方法５：
スキャン方法４と同様に、同じ予測ブロックの条件判定を優先し、１つの予測ブロック内で４つの条件判定を行い、すべての条件に合致しない場合、当該予測ブロックには条件に合致する動きベクトルは存在しないものと判断し、次の予測ブロックの条件判定を行う。ただし、予測ブロック内の条件判定においては、スキャン方法４は同じ参照ピクチャであることをより優先しているが、スキャン方法５は同じ参照リストであることを優先する。

具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
３．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
４．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
５．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
６．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
７．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
８．予測ブロックＮ１の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
９．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１０．予測ブロックＮ２の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１１．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）、上側に隣接する予測ブロックグループのみ
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）、上側に隣接する予測ブロックグループのみ

スキャン方法５によれば、さらに、スキャン方法４に比べて予測ブロックの参照リストの参照回数を減らすことができ、メモリへのアクセス回数、条件判定等の処理量を削減することにより複雑性を低減することができる。また、スキャン方法４と同様に、条件判定の周回数が最大でも１回となるので、ハードウェアへの実装を考慮した際に予測ブロックの符号化情報へのメモリアクセス回数がスキャン方法１、スキャン方法２、スキャン方法３に比べて少なくなり、複雑性が低減される。

次に、予測動きベクトル候補登録部１２２は算出された予測動きベクトルの候補mvLXA、mvLXB、mvLXColを予測動きベクトルリストmvpListLXに格納する。

次に、予測動きベクトル冗長候補削除部１２３は、ＬＸの予測動きベクトルリストmvpListLXに格納されたそれぞれの予測動きベクトルの候補の動きベクトルの値を比較し、予測動きベクトルの候補の中から同一の動きベクトルの値をもつものを判定し、同一の動きベクトル値をもつと判定された予測動きベクトルの候補について一つを残してそれ以外を予測動きベクトルリストmvpListLXから削除して、予測動きベクトルの候補が重複しないようにし、予測動きベクトルリストmvpListLXを更新する。ただし、規定された最終候補数finalNumMVPCandが１の場合、本冗長判定処理を省略することができる。

予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトルリストmvpListLXに登録されている予測動きベクトルの候補数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXがカウントされた候補数の値に設定される。

さらに、予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを予測ブロックのサイズに応じて規定された最終候補数finalNumMVPCandに制限する。

本実施の形態においては、予測ブロックのサイズに応じて最終候補数finalNumMVPCandを規定している。なぜなら、予測動きベクトルリストに登録される予測動きベクトルの候補数が予測動きベクトルリストの構築状態に応じて変動すると、復号側では予測動きベクトルリストを構築してからでないと、予測動きベクトルインデックスをエントロピー復号することができないからである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出された予測動きベクトル候補mvLXColを含む予測動きベクトルリストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常にエントロピー復号を続けることができない問題がある。予測ブロックのサイズに応じて最終候補数finalNumMVPCandを固定した数に規定すると、予測動きベクトルリストの構築と独立して、予測動きベクトルインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。

予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより小さい場合、予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと同じ値になるまで、（０，０）（水平および垂直成分がともに０）の値を持つ動きベクトルを予測動きベクトルリストmvpListLXに追加することで予測動きベクトルの候補数を規定値に制限する。この場合、重複して（０，０）の値を持つ動きベクトルが追加されることがあるが、復号側では予測動きベクトルインデックスが０から（規定の候補数−１）の範囲内でどのような値をとっても、予測動きベクトルを確定することができる。一方、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより大きい場合、予測動きベクトルリストmvpListLXからfinalNumMVPCand-1より大きいインデックスに登録されている要素をすべて削除し、ＬＸの予測動きベクトル候補数numMVPCandLXを最終候補数finalNumMVPCandと同じ値にすることで予測動きベクトルの候補数を規定値に制限する。更新された予測動きベクトルリストmvpListLXは予測動きベクトル候補符号量算出部１２５と予測動きベクトル選択部１２６に供給される。

一方、図１の動きベクトル検出部１０２にて予測ブロック毎にＬＸ（Ｘ＝０または１）の動きベクトルmvLXが検出される。それらの動きベクトルmvLXは更新された予測動きベクトルリストmvpListLXの予測動きベクトルの候補とともに予測動きベクトル候補符号量算出部１２５に供給される。

予測動きベクトル候補符号量算出部１２５は、ＬＸ（Ｘ＝０または１）の予測動きベクトルリストmvpListLXの中に格納されたそれぞれの予測動きベクトルの候補mvpListLX[i]ごとに動きベクトルmvLXとの差分動きベクトルを算出し、それら差分動きベクトルを符号化したときの符号量をそれぞれ算出し、予測動きベクトル選択部１２６に供給する。

予測動きベクトル選択部１２６は、ＬＸの予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]をＬＸの予測動きベクトルmvpLXとして選択する。予測動きベクトルリストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトルリストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]をＬＸの最適な予測動きベクトルmvpLXとして選択する。選択された予測動きベクトルmvpLXを動きベクトル減算部１２７に供給する。さらに、その選択された予測動きベクトルmvpLXに対応する予測動きベクトルリスト中のインデックスiをＬＸの予測動きベクトルインデックスmvpIdxLXとして出力する。

最後に動きベクトル減算部１２７は、ＬＸの動きベクトルmvLXから選択されたＬＸの予測動きベクトルmvpLXを減算することによりＬＸの差分動きベクトルmvdLXを算出し、差分動きベクトルmvdLXを出力する。
mvdLX = mvLX - mvpLX

図１に戻り、動き補償予測部１０５は、復号画像メモリ１１５に格納されている復号ピクチャの画像信号を参照して動きベクトル検出部１０２から供給されるＬＸ（Ｘ＝０または１）の動きベクトルmvLXに応じて動き補償を行い、予測画像信号を得て、予測方法決定部１０６に供給する。

予測方法決定部１０６は、予測方法を決定する。それぞれの予測モードごとに符号量と符号化歪を算出し、最も少ない発生符号量と符号化歪となる予測ブロックサイズと予測モードが決定される。差分動きベクトル算出部１０３の動きベクトル減算部１２７から供給されたＬＸの差分動きベクトルmvdLXと予測動きベクトル選択部１２６から供給された予測動きベクトルを表すＬＸの予測動きベクトルインデックスmvpIdxLXの符号化が行われ、動き情報の符号量を算出する。さらに、動き補償予測部１０５から供給される予測画像信号と、画像メモリ１０１から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。動き情報の符号量と予測残差信号の符号量とが加算された総発生符号量を算出し、第１の評価値とする。

また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とを動き補償毎に比較することで、最も少ない発生符号量と符号化歪となる予測ブロックサイズと予測モードが決定される。決定された予測ブロックサイズの予測モードに応じた動きベクトルmvLXに対して、上述した動きベクトルの予測方法が行われ、予測動きベクトルを表すインデックスmvpIdxLXが、予測ブロック単位の第２のシンタックスパターンで表されるシンタックス要素mvp_idx_lX[i]として符号化される。尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。

（復号における動きベクトルの予測）
上述のシンタックスに基づき、符号化された動画像のビットストリームを復号する動画像復号装置において、本発明に係る動きベクトルの予測方法の動作を説明する。

実施の形態に係る動きベクトルの予測方法が実施される場合、図２の動画像復号装置の動きベクトル算出部２０４にて処理が行われる。図１４は、実施の形態の動画像符号化装置に対応する図２の動画像復号装置の動きベクトル算出部２０４の詳細な構成を示す図である。図１４の太枠線で囲まれる部分は動きベクトル算出部２０４を示している。更に、その内部の太点線で囲まれる部分は後述する動きベクトルの予測方法の動作部を示しており、対応する動画像符号化装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。以下、この図を用いて、復号における動きベクトルの予測方法を説明する。

本実施の形態においては、符号化側で説明した理由により、符号化側と同様に復号側でも、復号対象の予測ブロックのサイズに応じて、予測動きベクトルの最終候補数finalNumMVPCandを設定する。動きベクトル算出部２０４では、復号対象の輝度信号の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合、finalNumMVPCandを後者よりも小さい数に設定し、そうでない場合、finalNumMVPCandを前者よりも大きい数に設定する。本実施の形態においては、規定するサイズsizePUNumMVPCandを8x8とし、復号対象の輝度信号の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合は、finalNumMVPCandを１に設定し、それ以外の場合は、finalNumMVPCandを２に設定する。

動きベクトル算出部２０４は、予測動きベクトル候補生成部２２１、予測動きベクトル候補登録部２２２、予測動きベクトル冗長候補削除部２２３、予測動きベクトル候補数制限部２２４、予測動きベクトル選択部２２５及び動きベクトル加算部２２６を含む。

この動きベクトル算出部２０４での動きベクトル算出処理は、インター予測で用いる動きベクトルをＬ０，Ｌ１毎にそれぞれ算出する。具体的には復号対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、復号対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出する。復号対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1を算出する。復号対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1をそれぞれ算出する。
符号化側と同様に、復号側でもＬ０、Ｌ１それぞれについて、動きベクトル算出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の動きベクトルを算出する処理ではＸが０であり、Ｌ１の動きベクトルを算出する処理ではＸが１である。また、ＬＸの動きベクトルを算出する処理中に、ＬＸではなく、もう一方のリストの情報を参照する場合、もう一方のリストをＬＹとして表す。

動きベクトル算出部２０４の中の予測動きベクトル候補生成部２２１、予測動きベクトル候補登録部２２２、予測動きベクトル冗長候補削除部２２３及び予測動きベクトル候補数制限部２２４は、符号化側の差分動きベクトル算出部１０３の中の予測動きベクトル候補生成部１２１、予測動きベクトル候補登録部１２２及び予測動きベクトル冗長候補削除部１２３、予測動きベクトル候補数制限部１２４とそれぞれ同じ動作をするように規定することにより、符号化と復号で矛盾しない同一の予測動きベクトルの候補を符号化側及び復号側で得ることができる。

予測動きベクトル候補生成部２２１は、図１３の符号化側の予測動きベクトル候補生成部１２１と同一の処理を行う。復号して符号化情報格納メモリ２０９に記録されていた、復号対象ブロックと同一ピクチャ内の復号対象ブロックと隣接する復号済みの予測ブロック及び異なるピクチャ内の復号対象ブロックと同一位置あるいはその近傍の位置に存在する復号済みの予測ブロック等の動きベクトルを符号化情報格納メモリ２０９から読み出す。符号化情報格納メモリ２０９から読み出された復号済みの他のブロックの動きベクトルから予測ブロックグループごとに予測動きベクトルの候補mvLXA、mvLXB、mvLXColを生成し、予測動きベクトル候補登録部２２２に供給する。

これらの予測動きベクトルの候補mvLXA、mvLXB、mvLXColは参照インデックスに応じてスケーリングすることにより算出されることもある。なお、予測動きベクトル候補生成部２２１は、図１３の符号化側の予測動きベクトル候補生成部１２１と同一の処理を行うので、図１３の符号化側の予測動きベクトル候補生成部１２１で説明した予測動きベクトルを算出するためのスキャン方法１、２、３、４、５の条件判定は予測動きベクトル候補生成部２２１でも適用できるものとし、ここでは詳細な説明は省略する。

次に、予測動きベクトル候補登録部２２２は図１３の符号化側の予測動きベクトル候補登録部１２２と同一の処理を行う。算出された予測動きベクトルの候補mvLXA、mvLXB、mvLXColをＬＸの予測動きベクトルリストmvpListLXに格納する。

次に、予測動きベクトル冗長候補削除部２２３は、図１３の符号化側の予測動きベクトル冗長候補削除部１２３と同一の処理を行う。ＬＸの予測動きベクトルリストmvpListLXに格納された予測動きベクトルの候補の中から同一の動きベクトルの値をもつものを判定し、同一の動きベクトル値をもつと判定された予測動きベクトルの候補について一つを残してそれ以外を予測動きベクトルリストmvpListLXから削除して、予測動きベクトルの候補が重複しないようにし、予測動きベクトルリストmvpListLXを更新する。ただし、規定された最終候補数finalNumMVPCandが１の場合、本冗長判定処理を省略することができる。

次に、予測動きベクトル候補数制限部２２４は、図１３の符号化側の予測動きベクトル候補数制限部１２４と同一の処理を行う。予測動きベクトル候補数制限部２２４では、予測動きベクトルリストmvpListLXに登録されている要素数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXがカウントされた候補数の値に設定される。

さらに、予測動きベクトル候補数制限部２２４では、符号化側で説明した理由により予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを予測ブロックのサイズに応じて規定された最終候補数finalNumMVPCandに制限する。ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより小さい場合、予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと同じ値になるまで、（０，０）の値を持つ動きベクトルを予測動きベクトルリストmvpListLXに追加することで予測動きベクトルの候補数を規定値に制限する。この場合、重複して（０，０）の値を持つ動きベクトルが追加されることがあるが、復号側では予測動きベクトルインデックスが０から規定値−１の範囲内でどのような値をとっても、予測動きベクトルを確定することができる。一方、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより大きい場合、予測動きベクトルリストmvpListLXからfinalNumMVPCand-1より大きいインデックスに登録されている要素をすべて削除し、ＬＸの予測動きベクトル候補数numMVPCandLXを最終候補数finalNumMVPCandと同じ値にすることで予測動きベクトルの候補数を規定値に制限する。更新された予測動きベクトルリストmvpListLXは予測動きベクトル選択部２２５に供給される。

一方、第１符号化ビット列復号部２０２にて復号された予測ブロック毎のＬＸ（Ｘ＝０または１）の差分動きベクトルmvdLXが動きベクトル加算部２２６に供給される。第１符号化ビット列復号部２０２にて復号されたＬＸの予測動きベクトルの予測動きベクトルインデックスmvpIdxLXが予測動きベクトル選択部２２５に供給される。ただし、規定された最終候補数finalNumMVPCandが１の場合、ＬＸの予測動きベクトルの予測動きベクトルインデックスmvpIdxLXが符号化されておらず、予測動きベクトル選択部２２５に供給されない。

予測動きベクトル選択部２２５は、第１符号化ビット列復号部２０２にて復号されたＬＸの予測動きベクトルインデックスmvpIdxLXが供給され、供給されたインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]をＬＸの予測動きベクトルmvpLXとして予測動きベクトルリストmvpListLXから取り出す。ただし、規定された最終候補数finalNumMVPCandが１の場合、予測動きベクトルリストmvpListLXのインデックスiが0に登録されている唯一の予測動きベクトルの候補mvpListLX[0]を取り出す。供給された予測動きベクトルの候補を予測動きベクトルmvpLXとして動きベクトル加算部２２６に供給する。

最後に動きベクトル加算部２２６は、第１符号化ビット列復号部２０２にて復号されて供給されるＬＸの差分動きベクトルmvdLXとＬＸの予測動きベクトルmvpLXを加算することによりＬＸの動きベクトルｍｖを算出し、動きベクトルmvLXを出力する。
mvLX = mvpLX + mvdLX

以上のようにして、予測ブロック毎にＬＸの動きベクトルmvLXが算出される。この動きベクトルを使用して動き補償により予測画像信号が生成され、復号された予測残差信号と加算されることで復号画像信号が生成される。

動画像符号化装置の差分動きベクトル算出部１０３、動画像復号装置の動きベクトル算出部２０４の処理手順について、それぞれ図１５、図１６のフローチャートを用いて説明する。図１５は動画像符号化装置による差分動きベクトル算出処理手順を示すフローチャートであり、図１６は動画像復号装置による動きベクトル算出処理手順を示すフローチャートである。

図１５を参照して符号化側の差分動きベクトル算出処理手順を説明する。符号化側では、まず、差分動きベクトル算出部１０３で、予測動きベクトルの候補の最終候補数finalNumMVCandを設定する（Ｓ１００）。ステップＳ１００の詳細な処理手順については図１７のフローチャートを用いて後述する。

続いて、差分動きベクトル算出部１０３で、符号化対象ブロックで選択されたインター予測で用いる動きベクトルの差分動きベクトルをＬ０、Ｌ１毎にそれぞれ算出する（Ｓ１０１〜Ｓ１０６）。具体的には符号化対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を算出する。符号化対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1を算出する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。

ＬＸの差分動きベクトルmvdLXを算出する場合（Ｓ１０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を算出してＬＸの予測動きベクトルリストmvpListLXを構築する（Ｓ１０３）。差分動きベクトル算出部１０３の中の予測動きベクトル候補生成部１２１で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補登録部１２２で予測動きベクトルリストmvpListLXに算出した予測動きベクトルの候補を追加し、予測動きベクトル冗長候補削除部１２３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部１２４で予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXが設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限することにより、予測動きベクトルリストmvpListLXを構築する。ステップＳ１０３の詳細な処理手順については図１８のフローチャートを用いて後述する。

続いて、予測動きベクトル候補符号量算出部１２５、及び予測動きベクトル選択部１２６により、ＬＸの予測動きベクトルリストmvpListLXからＬＸの予測動きベクトルmvpLXを選択する（Ｓ１０４）。まず、予測動きベクトル候補符号量算出部１２５で、動きベクトルmvLXと予測動きベクトルリストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを算出し、それら差分動きベクトルを符号化したときの符号量を予測動きベクトルリストmvpListLXの要素ごとに算出し、予測動きベクトル選択部１２６で、予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択する。予測動きベクトルリストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトルリストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]を最適予測動きベクトルmvpLXとして選択する。

続いて、動きベクトル減算部１２７で、ＬＸの動きベクトルmvLXから選択されたＬＸの予測動きベクトルmvpLXを減算することによりＬＸの差分動きベクトルmvdLXを算出する（Ｓ１０５）。
mvdLX = mvLX - mvpLX

次に、図１６を参照して復号側の動きベクトル算出処理手順を説明する。復号側では、動きベクトル算出部２０４で、インター予測で用いる動きベクトルをＬ０，Ｌ１毎にそれぞれ算出する（Ｓ２０１〜Ｓ２０６）。具体的には復号対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、復号対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出する。復号対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1を算出する。復号対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1をそれぞれ算出する。

符号化側と同様に、復号側でもＬ０、Ｌ１それぞれについて、動きベクトル算出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の動きベクトルを算出する処理ではＸが０であり、Ｌ１の動きベクトルを算出する処理ではＸが１である。また、ＬＸの動きベクトルを算出する処理中に、ＬＸではなく、もう一方のリストの情報を参照する場合、もう一方のリストをＬＹとして表す。

ＬＸの動きベクトルmvLXを算出する場合（Ｓ２０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を算出してＬＸの予測動きベクトルリストmvpListLXを構築する（Ｓ２０３）。動きベクトル算出部２０４の中の予測動きベクトル候補生成部２２１で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補登録部２２２で予測動きベクトルリストmvpListLXに算出した予測動きベクトルの候補を追加し、予測動きベクトル冗長候補削除部２２３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部２２４で予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXが設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限することにより、予測動きベクトルリストmvpListLXを構築する。ステップＳ２０３の詳細な処理手順については図１８のフローチャートを用いて後述する。

続いて、予測動きベクトル選択部２２５で予測動きベクトルリストmvpListLXから第１符号化ビット列復号部２０２にて復号された予測動きベクトルのインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択された予測動きベクトルmvpLXとして取り出す（Ｓ２０４）。ただし、最大候補数finalNumCandLXが1の場合、予測動きベクトルリストmvpListLXに登録されている唯一の予測動きベクトルの候補mvpListLX[0]を選択された予測動きベクトルmvpLXとして取り出す。

続いて、動きベクトル加算部２２６で第１符号化ビット列復号部２０２にて復号されて供給されるＬＸの差分動きベクトルmvdLXとＬＸの予測動きベクトルmvpLXを加算することによりＬＸの動きベクトルmvLXを算出する（図１６のＳ２０５）。
mvLX = mvpLX + mvdLX

次に、図１５のＳ１００、及び図１６のＳ２００で共通の予測動きベクトルの最終候補数を設定する手順について詳細に説明する。

予測動きベクトル候補数制限部１２４及び予測動きベクトル候補数制限部２２４は符号化または復号対象の予測ブロックのサイズに応じて、予測動きベクトルの最終候補数finalNumMVPCandを設定する。

図１７は予測動きベクトルの最終候補数設定処理手順を示すフローチャートである。

まず、符号化または復号対象の予測ブロックのサイズを得る（Ｓ４０１）。符号化または復号対象の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合（Ｓ４０２のＹＥＳ）、finalNumMVPCandを後者よりも小さい数に設定し（Ｓ４０３）、そうでない場合、finalNumMVPCandを前者よりも大きい数に設定する（Ｓ４０４）。本実施の形態においては、規定するサイズsizePUNumMVPCandを8x8とし、符号化または復号対象の輝度信号の予測ブロックのサイズが規定したサイズsizePUNumMVPCand以下の場合は、finalNumMVPCandを１に設定し、それ以外の場合は、finalNumMVPCandを２に設定する。なお、規定するサイズsizePUNumMVPCandは固定された値であってもよいし、シーケンス、ピクチャまたはスライス単位でシンタックス要素を用意して設定してもよい。また、8x4と4x8等、幅と高さを乗じた値が等しいサイズの場合は同じサイズとみなす。即ち、規定するサイズsizePUNumMVPCandが8x4と設定された場合、4x8も設定されたものとみなす。また、ステップＳ４０２で、符号化または復号対象の予測ブロックのサイズが規定したサイズsizePUNumMVPCand未満の場合、finalNumMVPCandを後者よりも小さい数に設定し、そうでない場合、finalNumMVPCandを前者よりも大きい数に設定するとしてもよい。

次に、図１５のＳ１０３、及び図１６のＳ２０３で共通の予測動きベクトルの候補の導出及び予測動きベクトルリスト構築処理手順を図１８のフローチャートを用いて詳細に説明する。

（動きベクトルの予測方法）
図１８は動画像符号化装置の差分動きベクトル算出部１０３及び動画像復号装置の動きベクトル算出部２０４とで共通する機能を有する予測動きベクトル候補生成部１２１及び２２１、予測動きベクトル候補登録部１２２及び２２２、ならびに予測動きベクトル冗長候補削除部１２３及び２２３、予測動きベクトル候補数制限部１２４及び２２４の処理手順を表すフローチャートである。

予測動きベクトル候補生成部１２１及び２２１は左側に隣接する予測ブロックからの予測動きベクトルの候補を導出し、左側に隣接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXA、及び動きベクトルmvLXA、参照インデックスrefIdxA、リストListAを導出する（図１８のＳ３０１）。なお、Ｌ０のときＸは０、Ｌ１のときＸは１とする（以下同様）。続いて、予測動きベクトル候補生成部１２１及び２２１は上側に隣接する予測ブロックからの予測動きベクトルの候補を導出し、上側に隣接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXB、及び動きベクトルmvLXB、参照インデックスrefIdxB、リストListBを導出する（図１８のＳ３０２）。図１８のステップＳ３０１とＳ３０２の処理は参照する隣接ブロックの位置と数が異なる点以外は共通であり、予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN、ListN（ＮはＡまたはＢ、以下同様）を導出する共通の導出処理手順を図１９〜図２３のフローチャートを用いて後ほど詳細に説明する。

続いて、予測動きベクトル候補生成部１２１及び２２１は異なる時間のピクチャの予測ブロックからの予測動きベクトルの候補を導出し、異なる時間のピクチャの予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXCol、及び動きベクトルmvLXCol、参照インデックスrefIdxCol、リストListColを導出する（図１８のＳ３０３）。このステップＳ３０３の導出処理手順を図２４〜図３０のフローチャートを用いて後ほど詳細に説明する。

続いて、予測動きベクトル候補登録部１２２及び２２２は予測動きベクトルリストmvpListLXを作成し、ＬＸのそれぞれの予測ベクトルの候補mvLXA, mvLXB, mvLXColを追加する（図１８のＳ３０４）。このステップＳ３０４の登録処理手順を図３１のフローチャートを用いて後ほど詳細に説明する。

続いて、予測動きベクトル冗長候補削除部１２３及び２２３は予測動きベクトルリストmvpListLX内で、複数の動きベクトルの候補が同じ値または近い値を持っている場合に、冗長な動きベクトルの候補と判断し、最も小さい順序、即ち最も小さいインデックスiの動きベクトルの候補を除いて冗長な動きベクトルの候補を取り除く（図１８のＳ３０５）。このステップＳ３０５の削除処理手順を図３２のフローチャートを用いて後ほど詳細に説明する。

続いて、予測動きベクトル候補数制限部１２４及び２２４は予測動きベクトルリストmvpListLX内に追加された要素の数をカウントし、その数がＬＸの予測動きベクトル候補数numMVPCandLXに設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限する。（図１８のＳ３０６）。このステップＳ３０６の制限処理手順を図３３のフローチャートを用いて後ほど詳細に説明する。

図１８のＳ３０１、Ｓ３０２の左側または上側に隣接する予測ブロックから予測動きベクトルの候補をそれぞれ導出する手順について詳細に説明する。

図５、図６、図７、図８に示されるように、同一ピクチャ内の符号化ブロック内部を動き補償する為に定義される予測ブロック（図５、図６、図７、図８中の処理対象の予測ブロック）に隣接する周囲の予測ブロックから予測動きベクトルの候補を導出する。

予測動きベクトルの候補は、処理対象の予測ブロックの左側に隣接する予測ブロックＡｋ（ｋ＝０，１）、すなわちＡ０、Ａ１から構成される予測ブロックグループＡ、上に隣接する予測ブロックＢｋ（ｋ＝０，１，２）、すなわちＢ０、Ｂ１、Ｂ２から構成される予測ブロックグループＢからそれぞれ予測動きベクトルの候補を選出する。

次に、図１８のＳ３０１およびＳ３０２の処理手順である左側および上側に隣接する予測ブロックグループＮからの予測動きベクトルの候補の導出方法について説明する。図１９は前述のスキャン方法１による図１８のＳ３０１およびＳ３０２の予測動きベクトル候補導出処理手順を示すフローチャートである。添え字Ｘには参照リストを表す０若しくは１、Ｎには隣接する予測ブロックグループの領域を表すＡ（左側）またはＢ（上側）が入る。

左側の予測ブロックから予測動きベクトルの候補を導出するには（図１８のＳ３０１）、図１９でＮがＡとして符号化または復号対象の予測ブロックの左側に隣接するＡ０、Ａ１の予測ブロックから予測動きベクトルの候補を、上側の予測ブロックから予測動きベクトルの候補を導出するには（図１８のＳ３０２）、図１９でＮがＢとして上側に隣接するＢ０、Ｂ１、Ｂ２予測ブロックから予測動きベクトルの候補を、それぞれ以下の手順で算出する。

まず、符号化または復号対象の予測ブロックに隣接する予測ブロックを特定し、それぞれの予測ブロックＮｋ（ｋ＝０，１，２、ただし２は上側の予測ブロックグループのみ）が利用できる場合は符号化情報格納メモリ１１４または符号化情報格納メモリ２０９に格納されている符号化情報を取得する。ここで取得する隣接する予測ブロックＮｋの符号化情報は、予測モードPredMode、ＬＸを利用するかどうかを示すフラグpredFlagLX [xNk][yNk]、ＬＸの参照インデックスrefIdxLX [xNk][yNk]、ＬＸの動きベクトルmvLX [xNk][yNk]である。符号化または復号対象の予測ブロックの左側に隣接する予測ブロックグループ（Ｎ＝Ａ）の場合（Ｓ１１０１のＹＥＳ）、左下に隣接する予測ブロックＡ０、左に隣接する予測ブロックＡ１を特定して符号化情報を取得し（Ｓ１１０２、Ｓ１１０３）、符号化または復号対象の予測ブロックの上側に隣接する予測ブロックグループ（Ｎ＝Ｂ）の場合（Ｓ１１０１のＮＯ）、右上に隣接する予測ブロックＢ０、上に隣接する予測ブロックＢ１、左上に隣接する予測ブロックＢ２を特定して符号化情報を取得する（Ｓ１１０４、Ｓ１１０５、Ｓ１１０６）。なお、隣接する予測ブロックＮｋが符号化または復号対象予測ブロックを含むスライスの内側に位置する場合は利用でき、外側に位置する場合は利用できない。

次に、予測ブロックグループＮから予測動きベクトルが選出されるか否かを示すフラグavailableFlagLXNを０、予測ブロックグループＮを代表する動きベクトルmvLXNを（０，０）に設定する（Ｓ１１０７）。

続いて、前述の条件判定１または条件判定２に合致する予測動きベクトル候補を導出する（Ｓ１１０８）。予測ブロックグループＮ（ＮはＡまたはＢ）の隣接予測ブロックＮ０、Ｎ１、Ｎ２（Ｎ２は上側の隣接予測ブロックグループＢのみ）の中で、符号化または復号対象予測ブロックで現在対象としている参照リストＬＸと同じ参照リストＬＸ、または符号化または復号対象予測ブロックで現在対象としている参照リストＬＸと反対の参照リストＬＹ（Ｙ＝！Ｘ：現在対象としている参照リストがＬ０のとき、反対の参照リストはＬ１、現在対象としている参照リストがＬ１のとき、反対の参照リストはＬ０）で同じ参照ピクチャの動きベクトルを持つ予測ブロックを探してその動きベクトルを予測動きベクトル候補とする。

図２０は図１９のステップＳ１１０８の導出処理手順を示すフローチャートである。隣接する予測ブロックＮｋ（ｋ＝０，１，２、ただし、２は上側の隣接予測ブロックグループのみ）に対して、ｋが０，１，２の順番にそれぞれ以下の処理を行う（Ｓ１２０１〜Ｓ１２０７）。ＮがＡの場合下から上にＡ０，Ａ１の順序で、ＮがＢの場合、右から左にＢ０，Ｂ１，Ｂ２の順序で、それぞれ以下の処理を行う。

隣接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（Ｓ１２０２のＹＥＳ）、前述の条件判定１の条件判定を行う（Ｓ１２０３）。隣接する予測ブロックＮｋのＬＸを利用するどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち隣接する予測ブロックＮｋが算出対象と同じＬＸの動きベクトルを用いてインター予測されており、隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と処理対象の予測ブロックのインデックスrefIdxLXが同じ、即ち隣接する予測ブロックＮｋがＬＸ予測で同じ参照ピクチャを用いてインター予測されている場合（Ｓ１２０３のＹＥＳ）、ステップＳ１２０４に進み、そうでない場合（Ｓ１２０３のＮＯ）、ステップＳ１２０５の条件判定を行う。

ステップＳ１２０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（Ｓ１２０４）、本予測動きベクトル候補算出処理を終了する。

一方、ステップＳ１２０３がＮＯの場合、前述の条件判定２の条件判定を行う（Ｓ１２０５）。隣接する予測ブロックＮｋのＬＹを利用するどうかを示すフラグpredFlagLYが１、即ち隣接する予測ブロックＮｋが算出対象と異なるＬＹの動きベクトルを用いてインター予測されており、隣接する予測ブロックＮｋの現在対象としている参照リストＬＸと反対の参照リストＬＹの参照ピクチャのＰＯＣと処理対象の予測ブロックのＬＸの参照ピクチャのＰＯＣが同じ、即ち隣接する予測ブロックＮｋがＬＹ予測で同じ参照ピクチャを用いてインター予測されている場合（Ｓ１２０５のＹＥＳ）、ステップＳ１２０６に進み、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（Ｓ１２０６）、本予測動きベクトル候補算出処理を終了する。

これらの条件に合致しない場合、即ちＳ１２０３のＮＯ，またはＳ１２０５のＮＯの場合、ｋを１増加し、次の隣接予測ブロックの処理（Ｓ１２０１〜Ｓ１２０７）を行い、availableFlagLXNが１になるか、隣接ブロックＡ１またはＢ２の処理が終わるまで繰り返す。

続いて、図１９のフローチャートに戻り、availableFlagLXNが０のとき（Ｓ１１０９のＹＥＳ）、即ちステップＳ１１０８で予測動きベクトルの候補が算出できなかった場合、前述の条件判定３または条件判定４に合致する予測動きベクトル候補を算出する（Ｓ１１１０）。予測ブロックグループＮ（ＮはＡまたはＢ）の隣接ブロックＮ０、Ｎ１、Ｎ２（Ｎ２は上側の隣接予測ブロックグループＢのみ）の中で、符号化または復号対象予測ブロックで現在対象としている参照リストＬＸと同じ参照リストＬＸ、または符号化または復号対象予測ブロックで現在対象としている参照リストＬＸと反対の参照リストＬＹ（Ｙ＝！Ｘ：現在対象としている参照リストがＬ０のとき、反対の参照リストはＬ１、現在対象としている参照リストがＬ１のとき、反対の参照リストはＬ０）で異なる参照ピクチャの動きベクトルを持つ予測ブロックを探してその動きベクトルを予測動きベクトル候補とする。

図２１は図１９のステップＳ１１１０の導出処理手順を示すフローチャートである。隣接する予測ブロックＮｋ（ｋ＝０，１，２、ただし、２は上側の隣接予測ブロックグループのみ）に対して、ｋが０，１，２の順番にそれぞれ以下の処理を行う（Ｓ１３０１〜Ｓ１３０７）。ＮがＡの場合下から上にＡ０，Ａ１の順序で、ＮがＢの場合、右から左にＢ０，Ｂ１，Ｂ２の順序で、それぞれ以下の処理を行う。

隣接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（Ｓ１３０２のＹＥＳ）、前述の条件判定３の条件判定を行う（Ｓ１３０３）。隣接する予測ブロックＮｋのＬＸを利用するどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち隣接する予測ブロックＮｋが算出対象と同じＬＸの動きベクトルを用いてインター予測されている場合、ステップＳ１３０４に進み、そうでない場合（Ｓ１３０３のＮＯ）、ステップＳ１３０５の条件判定を行う。

ステップＳ１３０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮのmvLXNが隣接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（Ｓ１３０４）、ステップＳ１３０８に進む。

ステップＳ１３０３がＮＯの場合、前述の条件判定４の条件判定を行う（Ｓ１３０５）。隣接する予測ブロックＮｋのＬＹを利用するどうかを示すフラグpredFlagLYが１、即ち隣接する予測ブロックＮｋが算出対象と異なるＬＹの動きベクトルを用いてインター予測されている場合（Ｓ１３０５のＹＥＳ）、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（Ｓ１３０６）、ステップＳ１３０８に進む。

一方、これらの条件に合致しない場合（Ｓ１３０３のＮＯ，またはＳ１３０５のＮＯの場合）、ｋを１増加し、次の隣接予測ブロックの処理（Ｓ１３０１〜Ｓ１３０７）を行い、availableFlagLXNが１になるか、隣接ブロックＡ１またはＢ２の処理が終わるまで繰り返し、ステップＳ１３０８に進む。

続いて、availableFlagLXNが１のとき（Ｓ１３０８のＹＥＳ）、mvLXNをスケーリングする（Ｓ１３０９）。このステップＳ１３０９の空間予測動きベクトル候補のスケーリング演算処理手順を図２２及び図２３を用いて説明する。

図２２は図２１のステップＳ１３０９の動きベクトルのスケーリング演算処理手順を示すフローチャートである。

現在の符号化または復号対象ピクチャのＰＯＣから、隣接予測ブロックのリストListNが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを算出する（Ｓ１６０１）。なお、現在の符号化または復号対象ピクチャよりも隣接予測ブロックのリストListNで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、現在の符号化または復号対象ピクチャよりも隣接予測ブロックの参照リストListNで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝現在の符号化または復号対象ピクチャのＰＯＣ−隣接予測ブロックの参照リストListNで参照する参照ピクチャのＰＯＣ

現在の符号化または復号対象ピクチャのＰＯＣから現在の符号化または復号対象ピクチャのリストＬＸが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを算出する（Ｓ１６０２）。なお、現在の符号化または復号対象ピクチャよりも現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化または復号対象ピクチャのＰＯＣ−現在の符号化または復号対象ピクチャの参照リストＬＸで参照する参照ピクチャのＰＯＣ

続いて、次式によりmvLXNにスケーリング係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（Ｓ１６０３）、スケーリングされた動きベクトルmvLXNを得る。
mvLXN＝ｔｂ／ｔｄ＊mvLXN

また、ステップＳ１６０３のスケーリング演算を整数精度の演算で行う場合の例を図２３に示す。図２３のステップＳ１６０４〜Ｓ１６０６の処理が、図２２のステップＳ１６０３の処理に相当する。

まず、図２２のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを算出する（Ｓ１６０１、Ｓ１６０２）。

続いて、次式により変数ｔｘを算出する（Ｓ１６０４）。
tx = ( 16384 + Abs( td / 2 ) ) / td

続いて、次式によりスケーリング係数DistScaleFactorを算出する（Ｓ１６０５）。
DistScaleFactor = ( tb * tx + 32 ) >> 6

続いて、次式により、スケーリングされた動きベクトルmvLXNを得る（Ｓ１６０６）。
mvLXN = ClipMv( Sign( DistScaleFactor * mvLXN ) * ( (Abs( DistScaleFactor * mvLXN ) + 127 ) >> 8 ) )

次に、図１８のＳ３０３の異なる時間のピクチャの予測ブロックから予測動きベクトルの候補の導出方法について詳細に説明する。図２４は図１８のステップＳ３０３の予測動きベクトル候補導出処理手順を説明するフローチャートである。

まず、slice_typeとcollocated_from_l0_flagにより、異なる時間のピクチャcolPicを算出する（図２４のＳ２１０１）。

図２５は図２４のステップＳ２１０１の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。slice_typeがＢで、前述のフラグcollocated_from_l0_flagが０の場合（図２５のＳ２２０１のＹＥＳ、Ｓ２２０２のＹＥＳ）、RefPicList1[0]、すなわち参照リストＬ１の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（図２５のＳ２２０３）。そうでない場合、すなわち前述のフラグcollocated_from_l0_flagが１の場合（図２５のＳ２２０１のＮＯ、Ｓ２２０２のＮＯ、Ｓ２２０４のＮＯ）、RefPicList0[0]、すなわち参照リストＬ０の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（図２５のＳ２２０５）。

次に、図２４のフローチャートに戻り、異なる時間の予測ブロックcolPUを算出し、符号化情報を取得する（図２４のＳ２１０２）。

図２６は図２４のステップＳ２１０２の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。

まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下（外側）に位置する予測ブロックを異なる時間の予測ブロックcolPUに設定する（図２６のＳ２３０１）。この予測ブロックは図９の予測ブロックＴ０に相当する。

次に、異なる時間の予測ブロックcolPUの符号化情報を取得する（図２６のＳ２３０２）。異なる時間の予測ブロックcolPUのPredModeがMODE_INTRAか、利用できない場合（図２６のＳ２３０３、Ｓ２３０４）、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予測ブロックcolPUに再設定する（図２６のＳ２３０５）。この予測ブロックは図９の予測ブロックＴ１に相当する。

次に、図２４のフローチャートに戻り、符号化または復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから算出されるＬＸの予測動きベクトルmvLXColと予測ブロックグループＣｏｌの参照リストＬＸの符号化情報が有効か否かを示すフラグavailableFlagLXColを算出する（図２４のＳ２１０３）。

図２７は図２４のステップＳ２１０３のインター予測情報の導出処理を説明するフローチャートである。

異なる時間の予測ブロックcolPUのPredModeがMODE_INTRAか、利用できない場合（図２７のＳ２４０１のＮＯ、Ｓ２４０２のＮＯ）、availableFlagLXColを０、mvLXColを（０，０）とし（図２７のＳ２４０３、Ｓ２４０４）、処理を終了する。

予測ブロックcolPUが利用できてPredModeがMODE_INTRAでない場合（図２７のＳ２４０１のＹＥＳ、Ｓ２４０２のＹＥＳ）、以下の手順でmvColとrefIdxColを算出する。

予測ブロックcolPUのＬ０予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が０の場合（図２７のＳ２４０５のＹＥＳ）、予測ブロックcolPUの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのＬ１の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４０６）、参照インデックスrefIdxColがＬ１の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４０７）、リストListColがＬ１に設定される（図２７のＳ２４０８）。

一方、予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]が０でない場合（図２７のＳ２４０５のＮＯ）、予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０かどうかを判定する。予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０の場合（図２７のＳ２４０９のＹＥＳ）、動きベクトルmvColが予測ブロックcolPUのＬ０の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４１０）、参照インデックスrefIdxColがＬ０の参照インデックスRefIdxL0[xPCol][yPCol] と同じ値に設定され（図２７のＳ２４１１）、リストListColがＬ０に設定される（図２７のＳ２４１２）。

予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が共に０でない場合（図２７のＳ２４０５のＮＯ，Ｓ２４０９のＮＯ）、予測ブロックcolPUのインター予測モードは双予測（Pred_BI）であるので、Ｌ０、Ｌ１の２つの動きベクトルから、一方を選択する（図２７のＳ２４１３）。

図２８は予測ブロックcolPUのインター予測モードが双予測（Pred_BI）のときの予測ブロックのインター予測情報の導出処理手順を示すフローチャートである。

まず、すべての参照リストに登録されているすべてのピクチャのＰＯＣが現在の符号化または復号対象ピクチャのＰＯＣより小さいかどうかを判定し（Ｓ２５０１）、予測ブロックcolPUのすべての参照リストであるＬ０及びＬ１に登録されているすべてのピクチャのＰＯＣが現在の符号化または復号対象ピクチャのＰＯＣより小さい場合で（Ｓ２５０１のＹＥＳ）、Ｘが０、即ち符号化または復号対象の予測ブロックのＬ０の動きベクトルの予測ベクトル候補を算出している場合（Ｓ２５０２のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、Ｘが１、即ち符号化または復号対象の予測ブロックのＬ１の動きベクトルの予測ベクトル候補を算出している場合（Ｓ２５０２のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストＬ０及びＬ１に登録されているピクチャのＰＯＣの少なくとも１つが現在の符号化または復号対象ピクチャのＰＯＣより大きい場合で（Ｓ２５０１のＮＯ）、フラグcollocated_from_l0_flagが０場合（Ｓ２５０３のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが１の場合（Ｓ２５０３のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。

予測ブロックcolPUのＬ０の方のインター予測情報を選択する場合（Ｓ２５０２のＹＥＳ、Ｓ２５０３のＹＥＳ）、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され（Ｓ２５０４）、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され（Ｓ２５０５）、リストListColがＬ０に設定される（Ｓ２５０６）。

予測ブロックcolPUのＬ１の方のインター予測情報を選択する場合（Ｓ２５０２のＮＯ、Ｓ２５０３のＮＯ）、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され（Ｓ２５０７）、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され（Ｓ２５０８）、リストListColがＬ１に設定される（Ｓ２５０９）。

図２７に戻り、予測ブロックcolPUからインター予測情報が取得できたらavailableFlagLXColを１とする（図２７のＳ２４１４）。

次に、図２４のフローチャートに戻り、availableFlagLXColが１の場合（図２４のＳ２１０４のＹＥＳ）、必要に応じてmvLXColをスケーリングする（図２４のＳ２１０５）。この動きベクトルmvLXColのスケーリング演算処理手順を図２９及び図３０を用いて説明する。

図２９は図２４のステップＳ２１０５の動きベクトルのスケーリング演算処理手順を示すフローチャートである。

異なる時間のピクチャcolPicのＰＯＣから、予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを算出する（Ｓ２６０１）。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝異なる時間のピクチャcolPicのＰＯＣ−予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣ

現在の符号化または復号対象ピクチャのＰＯＣから現在の符号化または復号対象ピクチャのリストＬＸが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを算出する（Ｓ２６０２）。なお、現在の符号化または復号対象ピクチャよりも現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化または復号対象ピクチャのＰＯＣ−現在の符号化または復号対象ピクチャの参照リストＬＸで参照する参照ピクチャのＰＯＣ

続いて、ピクチャ間距離ｔｄとｔｂを比較し（Ｓ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（Ｓ２６０３のＹＥＳ）、本スケーリング演算処理を終了する。ピクチャ間距離ｔｄとｔｂが等しくない場合（Ｓ２６０３のＮＯ）、次式によりmvLXColにスケーリング係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（Ｓ２６０４）スケーリングされた動きベクトルmvLXColを得る。
mvLXCol＝ｔｂ／ｔｄ＊mvLXCol

また、ステップＳ２６０４のスケーリング演算を整数精度の演算で行う場合の例を図３０に示す。図３０のステップＳ２６０５〜Ｓ２６０７の処理が、図２９のステップＳ２６０４の処理に相当する。

まず、図２９のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを算出する（Ｓ２６０１、Ｓ２６０２）。

続いて、ピクチャ間距離ｔｄとｔｂを比較し（Ｓ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（Ｓ２６０３のＹＥＳ）、本スケーリング演算処理を終了する。ピクチャ間距離ｔｄとｔｂが等しくない場合（Ｓ２６０３のＮＯ）、次式により変数ｔｘを算出する（Ｓ２６０５）。
tx = ( 16384 + Abs( td / 2 ) ) / td

続いて、次式によりスケーリング係数DistScaleFactorを算出する（Ｓ２６０６）。
DistScaleFactor = ( tb * tx + 32 ) >> 6

続いて、次式により、スケーリングされた動きベクトルmvLXNを得る（Ｓ２６０７）。
mvLXN = ClipMv( Sign( DistScaleFactor * mvLXN ) * ( (Abs( DistScaleFactor * mvLXN ) + 127 ) >> 8 ) )

図１８のＳ３０４の予測動きベクトルの候補を予測動きベクトルリストに追加する手順について詳細に説明する。

図１８のＳ３０１、Ｓ３０２、及びＳ３０３にて算出されたＬＸのそれぞれの予測動きベクトルの候補mvLXA, mvLXB, mvLXColをＬＸの予測動きベクトルリストmvpListLXに追加する（Ｓ３０４）。本発明の実施の形態では、優先順位をつけて、優先順位の高いものからＬＸの予測動きベクトルリストmvpListLXに予測動きベクトルの候補mvLXA, mvLXB, mvLXColを登録することで、優先順位の高い要素を予測動きベクトルリストの前方に配置する。図１８のＳ３０６で予測動きベクトルリストの中の要素数を制限する際に、予測動きベクトルリストの後方に配置された要素を予測動きベクトルリストから外すことで、優先順位の高い要素を残す。

予測動きベクトルリストmvpListLXはリスト構造を成し、予測動きベクトルリスト内部の所在を示すインデックスiで管理され、インデックスiに対応する予測動きベクトルの候補を要素として格納する記憶領域が設けられている。インデックスiの数字は０から開始され、予測動きベクトルリストmvpListLXの記憶領域に、予測動きベクトルの候補が格納される。以降の処理では、予測動きベクトルリストmvpListLXに登録されたインデックスiの要素である予測動きベクトルの候補は、mvpListLX[i]で表す。

次に、図１８のＳ３０４のＬＸの予測動きベクトルリストmvpListLXへのＬＸの予測動きベクトルの候補mvLXA, mvLXB, mvLXColの登録処理方法について詳細に説明する。図３１は図１８のステップＳ３０４の予測動きベクトル候補登録処理手順を示すフローチャートである。

まず、予測動きベクトルリストmvpListLXのインデックスiを０に設定する（Ｓ３１０１）。availableFlagLXAが１の場合（Ｓ３１０２のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXAを登録し（Ｓ３１０３）、インデックスiに1を加算することで更新する（Ｓ３１０４）。

続いて、availableFlagLXBが１の場合（Ｓ３１０５のＹＥＳ）、予測動きベクトルリストmvpListLXmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXBを登録し（Ｓ３１０６）、インデックスiに1を加算することで更新する（Ｓ３１０７）。

続いて、availableFlagLXColが１の場合（Ｓ３１０８のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXColを登録し（Ｓ３１０９）、予測動きベクトルリストへの登録処理を終了する。

以上の処理においては、ＬＸのそれぞれの予測動きベクトルの候補をmvLXA, mvLXB, mvLXColの順序でＬＸの予測動きベクトルリストmvpListLXに追加したが、予測ブロックが規定のサイズ以下で候補数が１となる場合で、分割モード（PartMode）が２Ｎ×Ｎ分割（PART_2NxN）で分割インデックスPartIdxが0となる場合、または分割モード（PartMode）がＮ×２Ｎ分割（PART_Nx2N）で分割インデックスPartIdxが1となる場合に、ＬＸのそれぞれの予測動きベクトルの候補をmvLXB, mvLXA, mvLXColの順序で予測動きベクトルリストmvpListLXに追加することにより、符号化または復号対象の予測ブロックの動きベクトルに近い値を持つ可能性の高い予測動きベクトルmvLXBが選択され易くするために予測動きベクトルリストの先頭に登録することで、差分動きベクトルの符号量を削減することができる。このように、予測動きベクトル候補数制限部１２４は、符号化または復号対象ブロックを予測ブロックに分割する分割モードに応じて、予測動きベクトル候補リストに残される予測動きベクトルの候補の優先順位を設定する。

図４（ｂ）に示す、分割モード（PartMode）が２Ｎ×Ｎ分割（PART_2NxN）において、分割インデックスPartIdxが０となる上側の予測ブロックの動きベクトルは長い辺に接している上側の予測ブロックグループからの予測動きベクトルに近い動きベクトルの値を持つ可能性が高いので、上側の予測ブロックグループからの候補mvLXBを優先的に選択され易くするために予測動きベクトルリストの前方に登録し、分割インデックスPartIdxが１となる下側の予測ブロックの動きベクトルは上側の予測ブロックと異なる動きベクトルの値を持つ可能性が高いので、左側の予測ブロックグループからの予測動きベクトルの候補mvLXAを優先的に選択されやすくするために予測動きベクトルリストの前方に登録する。

図４（ｃ）に示す、分割モード（PartMode）がＮ×２Ｎ分割（PART_Nx2N）において、分割インデックスPartIdxが０となる左側の予測ブロックの動きベクトルは長い辺に接している左側の予測ブロックグループからの予測動きベクトルに近い動きベクトルの値を持つ可能性が高いので、左側の予測ブロックグループからの候補mvLXAを優先的に選択されやすくするために予測動きベクトルリストの前方に登録し、分割インデックスPartIdxが１となる右側の予測ブロックの動きベクトルは左側の予測ブロックと異なる動きベクトルの値を持つ可能性が高いので、上側の予測ブロックグループからの予測動きベクトルの候補mvLXBを優先的に選択されやすくするために予測動きベクトルリストの前方に登録する。

図３４は予測ブロックのサイズ、分割モード（PartMode）及び分割インデックスPartIdxに応じて、ＬＸの予測動きベクトルリストmvpListLXへのＬＸの予測動きベクトルの候補mvLXA, mvLXB, mvLXColの順序を適応的に切り替える登録処理手順を示すフローチャートである。

まず、予測ブロックが規定のサイズ以下で（Ｓ３２０１のＹＥＳ）、分割モード（PartMode）が２Ｎ×Ｎ分割（PART_2NxN）で分割インデックスPartIdxが0であるかまたは分割モード（PartMode）がＮ×２Ｎ分割（PART_Nx2N）で分割インデックスPartIdxが1である場合に（Ｓ３２０２のＹＥＳ）、図３５の処理手順で、ＬＸの予測動きベクトルの候補mvLXB, mvLXA, mvLXColの順序でＬＸの予測動きベクトルリストmvpListLXに登録する（Ｓ３２０３）。以上の条件に合致しない場合（Ｓ３２０１のＮＯ、Ｓ３２０２のＮＯ）、前述の図３１の処理手順で、ＬＸの予測動きベクトルの候補mvLXA, mvLXB, mvLXColの順序でＬＸの予測動きベクトルリストmvpListLXに登録する（Ｓ３２０４）。

図３５は予測ブロックのサイズ、分割モード（PartMode）及び分割インデックスPartIdxに応じて、ＬＸの予測動きベクトルリストmvpListLXへのＬＸの予測動きベクトルの候補mvLXB, mvLXA, mvLXColの順序での登録処理手順を示すフローチャートである。

まず、予測動きベクトルリストmvpListLXのインデックスiを０に設定する（Ｓ３３０１）。availableFlagLXBが１の場合（Ｓ３３０２のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にmvLXBを登録し（Ｓ３３０３）、インデックスiに1を加算することで更新する（Ｓ３３０４）。

続いて、availableFlagLXAが１の場合（Ｓ３３０５のＹＥＳ）、予測動きベクトルリストmvpListLXmvpListLXのインデックスiに対応する位置にmvLXAを登録し（Ｓ３３０６）、インデックスiに1を加算することで更新する（Ｓ３３０７）。

続いて、availableFlagLXColが１の場合（Ｓ３３０８のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にmvLXColを登録し（Ｓ３３０９）、予測動きベクトルリストへの登録処理を終了する。

次に、図１８のＳ３０５の予測動きベクトルリスト中の冗長な予測動きベクトルの候補の削除方法について詳細に説明する。図３２は図１８のＳ３０５の予測動きベクトル冗長候補削除処理手順を示すフローチャートである。

最終候補数finalNumMVPCandが１より大きい場合（Ｓ４１０１のＹＥＳ）、予測動きベクトル冗長候補削除部１２３及び２２３は予測動きベクトルリストmvpListLXに登録されている動きベクトルの候補同士を比較し（Ｓ４１０２）、複数の動きベクトルの候補が同じ値または近い値を持っている場合に（Ｓ４１０３のＹＥＳ）、冗長な動きベクトルの候補と判断し、最も小さい順序、即ち最も小さいインデックスiの動きベクトルの候補を除いて冗長な動きベクトルの候補を取り除く（Ｓ４１０４）。なお、冗長な動きベクトルの候補を取り除いた後、予測動きベクトルリストmvpListLXの中は、削除された予測動きベクトルの候補の格納領域が空いている為、インデックスiが０を基準にして、インデックスiが小さい予測動きベクトルの候補の順で詰めていく（Ｓ４１０５）。例えば、インデックスiが０の予測動きベクトルの候補mvListLX[0]が削除され、インデックスiが１及び２の予測動きベクトルの候補mvListLX[1], mvListLX[2]が残った場合、インデックスiが１の予測動きベクトルの候補mvListLX[1]を新たにインデックスiが０の予測動きベクトルの候補mvListLX[0]に変更する。さらに、インデックスiが２の予測動きベクトルの候補mvListLX[2]を新たにインデックスiが１の予測動きベクトルの候補mvListLX[1]に変更する。さらに、インデックスiが２の予測動きベクトルの候補mvListLX[2]は存在しないものと設定する。

最終候補数finalNumMVPCandが１の場合（Ｓ４１０１のＮＯ）、Ｓ３０５の冗長な予測動きベクトルの候補を削除する処理は行う必要がないので、本冗長候補削除処理を終了する。なぜなら、ステップＳ３０６の要素数を制限する処理で、候補数が１つに制限されるからである。

予測ブロックのサイズが小さい場合、単位面積当たりの予測ブロックの数が多くなるので、冗長な予測動きベクトルの候補を削除する処理の回数も多くなってしまう。

そこで、本実施の形態においては、符号化または復号対象の予測ブロックが規定したサイズ以下の場合、最終候補数finalNumMVPCandを１とすることで、冗長な予測動きベクトルの候補を削除する処理をスキップし、処理量を削減している。

最終候補数finalNumMVPCandが２で、予測動きベクトルリストmvpListLXに予測動きベクトルの候補mvpLXA、mvpLXB、mvpLXColがすべて登録されて候補数が３の場合、予測動きベクトルリストmvpListLXの予測動きベクトルインデックスが０の要素であるmvpListLX[0]がmvpLXAとなり、予測動きベクトルインデックスが１の要素であるmvpListLX[1]がmvpLXBとなり、予測動きベクトルインデックスが２の要素であるmvpListLX[2]がmvpLXColとなる。この場合、総当たりで比較するにはステップＳ４１０２で予測動きベクトルリストmvpListLXの予測動きベクトルインデックスが０の要素であるmvpListLX[0]と予測動きベクトルインデックスが１の要素であるmvpListLX[1]を比較すると共に、予測動きベクトルリストmvpListLXの予測動きベクトルインデックスが０の要素であるmvpListLX[0]と予測動きベクトルインデックスが２の要素であるmvpListLX[2]を比較する必要がありる。この場合、２回の比較処理が必要となる。しかし、処理量を削減するために、最終候補数finalNumMVPCandが２の場合、ステップＳ４１０２で予測動きベクトルリストmvpListLXの予測動きベクトルインデックスが０の要素であるmvpListLX[0]と予測動きベクトルインデックスが１の要素であるmvpListLX[1]だけを比較し、冗長な動きベクトルの候補と判断した場合に予測動きベクトルインデックスが１の要素であるmvpListLX[1]を削除して、予測動きベクトルインデックスが２の要素mvpListLX[2]が存在する場合にその予測動きベクトルインデックスを１に設定して、予測動きベクトルインデックスが１の要素mvpListLX[1]とし、本処理を終了することもできる。この場合、新しい予測動きベクトルインデックスが０の要素であるmvpListLX[0]と予測動きベクトルインデックスが１の要素mvpListLX[1]を比較すると冗長である可能性があるが、仮にこの２つの要素を比較して冗長だと判断した場合に一方を削除して候補数が１となっても、後述のステップＳ３０６で、予測動きベクトルインデックスが１の要素mvpListLX[1] として(0, 0)の値を持つ動きベクトルが登録されて候補数が２となる。一方を削除して(0, 0)の値を持つ動きベクトルを登録することによるメリットは小さいと考えられるので予測動きベクトルインデックスが０の要素であるmvpListLX[0]と予測動きベクトルインデックスが１の要素であるmvpListLX[1]だけを比較して処理量を削減することができる。また、空間予測動きベクトル候補mvpLXAとmvpLXBは同じピクチャの予測ブロックから予測動きベクトル候補を導出するので、互いに動き情報が同じになる可能性が高いが、時間予測動きベクトル候補mvpLXColは異なるピクチャの予測ブロックから予測動きベクトル候補を導出するので、空間予測動きベクトル候補mvpLXA, mvpLXBと異なる動き情報となる可能性が高い。したがって、時間予測動きベクトル候補mvpLXColの比較を省略しても影響は小さいと考えられる。このように、最終候補数が２の場合、予測動きベクトルインデックスが０の予測動きベクトル候補と、予測動きベクトルインデックスが１の予測動きベクトル候補とを比較し、予測動きベクトルインデックスが２の予測動きベクトル候補との比較を省略することにより、冗長候補を削除するための条件判定処理の回数を削減することができる。

次に、図１８のＳ３０６の予測動きベクトルリスト中の動きベクトルの候補数の制限方法について詳細に説明する。図３３は図１８のＳ３０６の予測動きベクトル候補数制限処理手順を説明するフローチャートである。

予測動きベクトル候補数制限部１２４及び予測動きベクトル候補数制限部２２４はＬＸの予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限する。

まず、ＬＸの予測動きベクトルリストmvpListLXに登録されている要素数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXに設定する（Ｓ５１０１）。

続いて、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandよりも小さい場合（Ｓ５１０３のＹＥＳ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiが numMVPCandLXに対応する位置に(0, 0)の値を持つ動きベクトルを登録し（Ｓ５１０４）、numMVPCandLXに1を加算する（Ｓ５１０５）。numMVPCandLXとfinalNumMVPCandが同じ値の場合（Ｓ５１０６のＹＥＳ）、本制限処理を終了し、numMVPCandLXとfinalNumMVPCandが同じ値でない場合（Ｓ５１０６のＮＯ）、同じ値になるまで、ステップＳ５１０４とＳ５１０５の処理を繰り返す。すなわち、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandに達するまで、(0, 0)の値を持つMVを登録する。このように重複して(0, 0)の値を持つMVを登録することにより、予測動きベクトルインデックスが０以上最終候補数finalNumMVPCand未満の範囲内でどのような値をとっても予測動きベクトルを確定することができる。

一方、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandよりも大きい場合（Ｓ５１０３のＮＯ、Ｓ５１０７のＹＥＳ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiがfinalNumMVPCand-1より大きいすべての予測動きベクトル候補を削除し（Ｓ５１０８）、numMVPCandLXにfinalNumMVPCandと同じ値を設定して（Ｓ５１０９）、本制限処理を終了する。

ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと等しい場合（Ｓ５１０３のＮＯ、Ｓ５１０７のＮＯ）、制限処理を施さずに本制限処理を終了する。

本実施の形態においては、予測ブロックのサイズに応じて最終候補数finalNumMVPCandを規定している。なぜなら、予測動きベクトルリストに登録される予測動きベクトルの候補数が予測動きベクトルリストの構築状態に応じて変動すると、復号側では予測動きベクトルリストを構築してからでないと、予測動きベクトルインデックスをエントロピー復号することができないからである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出された予測動きベクトル候補mvLXColを含む予測動きベクトルリストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もその影響を受けて正常にエントロピー復号を続けることができない問題がある。予測ブロックのサイズに応じて最終候補数finalNumMVPCandを固定した数に規定すると、予測動きベクトルリストの構築と独立して、予測動きベクトルインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１画像メモリ、１０２動きベクトル検出部、１０３差分動きベクトル算出部、１０４インター予測情報推定部、１０５動き補償予測部、１０６予測方法決定部、１０７残差信号生成部、１０８直交変換・量子化部、１０９第１の符号化ビット列生成部、１１０第２の符号化ビット列生成部、１１１多重化部、１１２逆量子化・逆直交変換部、１１３復号画像信号重畳部、１１４符号化情報格納メモリ、１１５復号画像メモリ、１２１予測動きベクトル候補生成部、１２２予測動きベクトル候補登録部、１２３予測動きベクトル冗長候補削除部、１２４予測動きベクトル候補数制限部、１２５予測動きベクトル候補符号量算出部、１２６予測動きベクトル選択部、１２７動きベクトル減算部、２０１分離部、２０２第１符号化ビット列復号部、２０３第２符号化ビット列復号部、２０４動きベクトル算出部、２０５インター予測情報推定部、２０６動き補償予測部、２０７逆量子化・逆直交変換部、２０８復号画像信号重畳部、２０９符号化情報格納メモリ、２１０復号画像メモリ、２２１予測動きベクトル候補生成部、２２２予測動きベクトル候補登録部、２２３予測動きベクトル冗長候補削除部、２２４予測動きベクトル候補数制限部、２２５予測動きベクトル選択部、２２６動きベクトル加算部。

Claims

各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化装置であって、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成部と、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録部と、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限部と、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部と、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化部とを備え、
前記予測動きベクトル候補制限部は、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化装置。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法であって、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、
前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化方法。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化プログラムであって、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとをコンピュータに実行させ、
前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする動画像符号化プログラム。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理部と、
パケット化された前記符号化データを送信する送信部とを備え、
前記動画像符号化方法は、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、
前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信装置。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理ステップと、
パケット化された前記符号化データを送信する送信ステップとを備え、
前記動画像符号化方法は、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、
前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信方法。
各ピクチャを分割したブロック単位で動きベクトルを用いて動画像を符号化する動画像符号化方法により符号化された符号化ビット列をパケット化して符号化データを得るパケット処理ステップと、
パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、
前記動画像符号化方法は、
符号化対象ブロックと同一ピクチャ内の前記符号化対象ブロックと近接する符号化済みのブロックのいずれかの動きベクトルから、第１及び第２の予測動きベクトル候補を導出し、符号化対象ブロックと異なる符号化済みのピクチャ内のブロックのいずれかの動きベクトルから、第３の予測動きベクトル候補を導出する予測動きベクトル候補生成ステップと、
所定の条件を満たす前記第１、第２及び第３の予測動きベクトル候補を予測動きベクトル候補リストに登録する予測動きベクトル候補登録ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定数（２以上の自然数）よりも小さい場合に、予測動きベクトル候補の数が所定数に達するまで繰り返して同じ値の予測動きベクトル候補を前記予測動きベクトル候補リストに登録する予測動きベクトル候補制限ステップと、
前記予測動きベクトル候補リストから、前記符号化対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記予測動きベクトル候補リストにおける選択すべき予測動きベクトルのインデックスを示す情報を符号化する符号化ステップとを有し、
前記予測動きベクトル候補制限ステップは、前記予測動きベクトル候補登録部により生成された前記予測動きベクトル候補リストから所定数を超える予測動きベクトル候補を削除することを特徴とする送信プログラム。