JP6135750B2 - 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム - Google Patents

Description

本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測で利用する動き情報を復号する画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラムに関する。

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基いて、対象画像の対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単方向に行うものと、２本の動きベクトルを利用して双方向に行うものがある。

また、動きベクトルについても、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。

ＭＰＥＧ−４ＡＶＣでは、ＭＰＥＧ−２よりも動き補償予測のブロックサイズを細かく且つ多様にすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、符号化ベクトルの符号量が問題となる。

そのため、ＭＰＥＧ−２では単純に処理対象ブロックの左に隣接するブロックの動きベクトルを予測ベクトルとしていたが、ＭＰＥＧ−４ＡＶＣでは複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとすることで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している。さらに、ＭＰＥＧ−４ＡＶＣにおいてダイレクト動き補償予測が知られている。ダイレクト動き補償予測は、符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの動きベクトルを、対象画像と２つの参照画像の距離でスケーリングして新たな動きベクトルを生成し、符号化ベクトルを伝送することなく、動き補償予測を実現するものである。

また、処理対象ブロックに隣接するブロックの動き情報を利用して、符号化ベクトルを伝送することなく動き補償予測を実現する動き補償予測が知られている（例えば、特許文献１参照）。

特開平１０−２７６４３９号公報

上述したように、符号化ベクトルを伝送しないダイレクト動き補償予測は、処理対象ブロックと符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの動きの連続性に着目している。また、特許文献１は処理対象ブロックと処理対象ブロックに隣接するブロックの動きの連続性に着目している。それにより、他のブロックの動き情報を利用することで差分ベクトルを含む動き情報を符号化ベクトルとして符号化せずに符号化効率を向上させている。

ところが従来の動き補償予測では、処理対象ブロックの動きが、処理対象ブロックと隣接するブロックとの動きや、符号化済みの別の画像の処理対象ブロックと同一位置周辺にあるブロックとの動きにずれがある場合、差分ベクトルを含む動き情報を符号化しなければならず、符号化効率の向上が十分に発揮されないという難しい面がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動きベクトルを含む動き情報の符号化効率を、より向上させる技術を提供することにある。

符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成部と、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得部と、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得部と、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成部とを備え、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化装置を提供する。
符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化方法を提供する。
符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとをコンピュータに実行させ、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化プログラムを提供する。
画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理部と、パケット化された前記符号化データを送信する送信部とを備え、前記画像符号化方法は、符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信装置を提供する。
画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとを有し、前記画像符号化方法は、符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信方法を提供する。
画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとを有し、前記画像符号化方法は、符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとをコンピュータに実行させ、前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信プログラムを提供する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動きベクトルを含む動き情報の符号化効率を、より向上させることができる。

画像を最大符号化ブロックに分割する例を説明するための図である。 図２（ａ）、（ｂ）は、符号化ブロックを説明するための図である。 図３（ａ）〜（ｄ）は、予測ブロックを説明するための図である。 予測ブロックサイズを説明するための図である。 予測符号化モードを説明するための図である。 図６（ａ）〜（ｄ）は、動き補償予測の予測方向を説明するための図である。 予測ブロックのシンタックスの一例を説明するための図である。 図８（ａ）〜（ｃ）は、マージインデックスのＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を説明するための図である。 本発明の実施の形態１に係る動画像符号化装置の構成を説明するための図である。 図９の動き情報メモリにおける動き情報の管理方法を説明するための図である。 図９の動き情報生成部の構成を説明するための図である。 図９の差分ベクトル算出部の構成を説明するための図である。 空間候補ブロック群を説明するための図である。 時間候補ブロック群を説明するための図である。 図１１の結合動き情報決定部の構成を説明するための図である。 図１５の結合動き情報候補生成部の構成を説明するための図である。 図１６の双方向結合動き情報候補リスト生成部の構成を説明するための図である。 候補番号管理テーブルを説明するための図である。 図１９（ａ）、（ｂ）は、マージ候補番号からマージインデックスへの変換を説明するための図である。 本発明の実施の形態１に係る動画像符号化装置の符号化の動作を説明するためのフローチャートである。 図９の動き情報生成部の動作を説明するためのフローチャートである。 図１１の差分ベクトル算出部の動作を説明するためのフローチャートである。 図１１の結合動き情報決定部の動作を説明するためのフローチャートである。 図１６の双方向結合動き情報候補リスト生成部の動作を説明するためのフローチャートである。 空間結合動き情報候補リストの生成の動作を説明するためのフローチャートである。 時間結合動き情報候補リストの生成の動作を説明するためのフローチャートである。 双方向結合動き情報候補リストの生成の動作を説明するためのフローチャートである。 図１７の基準方向動き情報決定部の動作を説明するためのフローチャートである。 図１７の逆方向動き情報決定部の動作を説明するためのフローチャートである。 双方向結合動き情報候補の予測方向の決定を説明するための図である。 図３１（ａ）〜（ｃ）は、双方向結合動き情報候補の予測方向の決定の拡張例を説明するための図である。 本発明の実施の形態１に係る動画像復号装置の構成を説明するための図である。 図３２の動き情報再生部の構成を説明するための図である。 図３３の動きベクトル再生部の構成を説明するための図である。 図３３の結合動き情報再生部の構成を説明するための図である。 本発明の実施の形態１に係る動画像復号装置の復号の動作を説明するためのフローチャートである。 図３２の動き情報再生部の動作を説明するためのフローチャートである。 図３３の動きベクトル再生部の動作を説明するためのフローチャートである。 図３３の結合動き情報再生部の動作を説明するためのフローチャートである。 図４０（ａ）、（ｂ）は変形例１に係る候補番号管理テーブルを説明するための図である。 実施の形態１の変形例１に係る別の候補番号管理テーブルの説明するための図である。 双方向結合動き情報候補（ＢＤ２）の導出を説明するためのフローチャートである。 双方向結合動き情報候補（ＢＤ３）の導出を説明するためのフローチャートである。 実施の形態１の変形例２に係る逆方向動き情報決定部の動作を説明するためのフローチャートである。 実施の形態１の変形例３に係る逆方向動き情報決定部の動作を説明するためのフローチャートである。 実施の形態１の変形例４に係る結合動き情報候補生成部の構成を説明するための図である。 実施の形態１の変形例４に係る基準方向動き情報決定部の動作と逆方向動き情報決定部の動作を説明するための図である。 実施の形態１の変形例５に係る２つの予測方向が同一の動き情報の組み合わせを説明するための図である。 図４９（ａ）、（ｂ）は、実施の形態１の変形例６に係るＢＤ０およびＢＤ１の予め定められた組み合わせを説明するための図である。 実施の形態１の効果を説明するための図（その１）である。 実施の形態１の効果を説明するための図（その２）である。 実施の形態１の効果を説明するための図（その３）である。 図５３（ａ）、（ｂ）は、実施の形態２の候補番号管理テーブルを符号化ストリーム中に符号化するシンタックスを説明するための図である。 実施の形態３の候補番号管理テーブルを説明するための図である。 実施の形態３の結合動き情報候補生成部の構成を説明するための図である。 実施の形態３の結合動き情報候補生成部の動作を説明するためのフローチャートである。 実施の形態３の候補番号管理テーブル変更部の動作を説明するためのフローチャートである。 図５８（ａ）〜（ｃ）は、実施の形態３の候補番号管理テーブル変更部の候補番号管理テーブルの変更例を説明するための図である。 実施の形態３の変形例１に係る候補番号管理テーブル変更部の動作を説明するためのフローチャートである。 図６０（ａ）、（ｂ）は、実施の形態３の変形例１に係る候補番号管理テーブル変更部の候補番号管理テーブルを説明するための図である。 実施の形態３の変形例２に係る候補番号管理テーブル変更部の動作を説明するためのフローチャートである。 実施の形態３の変形例３に係る候補番号管理テーブル変更部の動作を説明するためのフローチャートである。 実施の形態４の基準方向動き情報決定部の動作を説明するためのフローチャートである。 実施の形態５の結合動き情報候補生成部の構成を説明するための図である。 実施の形態６の候補番号管理テーブルを説明するための図である。 実施の形態６の基準方向決定部の動作を説明するためのフローチャートである。 時間結合動き情報候補の動きベクトルｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。

まず、本発明の実施の形態の前提となる技術を説明する。

現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の映像圧縮符号化方式として制定され、ＤＶＤおよびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。

さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。

現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。

（符号化ブロック）
本発明の実施の形態では、入力された画像信号を図１のように最大符号化ブロック単位に分割し、分割した符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。

図２（ａ）、（ｂ）に最大符号化ブロックの分割の一例を示す。図２（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。

（予測ブロック）
本発明の実施の形態では、符号化ブロックはさらに予測ブロックに分割される。予測ブロックの分割のパターンを図３（ａ）〜（ｄ）に示す。図３（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図３（ｂ）は水平に分割する２Ｎ×Ｎ、図３（ｃ）は垂直に分割するＮ×２Ｎ、および図３（ｄ）は水平と垂直に分割するＮ×Ｎを示す。つまり、予測ブロックサイズには、図４に示すように、ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素からＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。

本発明の実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図３（ａ）〜（ｄ）としたが、１以上に分割されればよくこれに限定されない。

（予測符号化モード）
本発明の実施の形態では、動き補償予測の予測方向や符号化ベクトル数を予測ブロックのブロックサイズで切り替えることが可能となっている。ここで、動き補償予測の予測方向と符号化ベクトル数を関連付けた予測符号化モードの一例について図５を用いて簡単に説明する。

図５に示す予測符号化モードには、動き補償予測の予測方向が単方向であって符号化ベクトル数が１である単方向モード（ＵｎｉＰｒｅｄ）、動き補償予測の予測方向が双方向であって符号化ベクトル数が２である双方向モード（ＢｉＰｒｅｄ）、および動き補償予測の予測方向が単方向または双方向であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。

（参照画像インデックス）
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化ストリーム中に符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。参照画像インデックスで選択できる複数の参照画像は参照インデックスリストで管理される。動き補償予測の予測方向が単方向であれば、参照画像インデックスは１つ符号化され、動き補償予測の予測方向が双方向であれば、それぞれの予測方向の参照画像を示す参照画像インデックスが符号化される（図５参照）。

（予測ベクトルインデックス）
ＨＥＶＣでは、予測ベクトルの精度を向上させるために、複数の予測ベクトルの候補の中から最適な予測ベクトルを選択し、選択した予測ベクトルを示すための予測ベクトルインデックスを符号化することが検討されている。本発明の実施の形態では、上記の予測ベクトルインデックスを導入する。動き補償予測の予測方向が単方向であれば、予測ベクトルインデックスは１つ符号化され、動き補償予測の予測方向が双方向であれば、それぞれの予測方向の予測ベクトルを示す予測ベクトルインデックスが符号化される（図５参照）。

（マージインデックス）
ＨＥＶＣでは、さらに符号化効率を向上させるために、複数の隣接ブロックの候補及び符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの中から最適なブロックを選択し、選択したブロックを示すマージインデックスを符号化および復号することが検討されている。これは、選択されたマージインデックスの示すブロックの動き補償予測の予測方向、動きベクトル情報、参照画像情報から成る動き情報を処理対象ブロックで利用する動き補償予測技術（マージ技術）である。本発明の実施の形態では、上記のマージインデックス（マージ技術）を導入する。図５に示すように、マージインデックスは予測符号化モードがマージモードの場合に、１つ符号化される。なお、動き情報が双方向であれば、動き情報には各予測方向の動きベクトル情報と参照画像情報が含まれる。

以降、マージインデックスによって示される可能性のあるブロックの持つ動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。

（予測方向）
本発明の実施の形態では、動き補償予測の予測方向としてＬ０方向とＬ１方向の２つを設定する。ここで、動き補償予測の予測方向について図６（ａ）〜（ｄ）を用いて簡単に説明する。動き補償予測の予測方向が単方向の場合はＬ０方向またはＬ１方向のいずれかを利用する。図６（ａ）は単方向であってＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図６（ｂ）は単方向であってＬ０方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図６（ａ）および図６（ｂ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えることもできる。

双方向の場合はＬ０方向とＬ１方向の２つを利用してＢＩ方向と表現する。図６（ｃ）は双方向であってＬ０方向の参照画像が符号化対象画像より前の時刻にあって、Ｌ１方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図６（ｄ）は双方向であってＬ０方向の参照画像とＬ１方向の参照画像が符号化対象画像より前の時刻にある場合を示している。図６（ｃ）および図６（ｄ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に、Ｌ１方向の参照画像をＬ０方向の参照画像に置き換えることもできる。以上で説明したように、動き補償予測の予測方向であるＬ０方向とＬ１方向はそれぞれ時間的に前方向と後方向のいずれでも示すことができる。また、Ｌ０方向とＬ１方向はそれぞれに複数の参照画像が存在することが可能であって、Ｌ０方向の参照画像は参照画像リストＬ０にＬ１方向の参照画像は参照画像リストＬ１に登録されて、それぞれの予測方向の参照画像インデックスによって参照画像リスト中の参照画像の位置が指定されて、参照画像が確定する。以降、予測方向がＬ０方向であるとは参照画像リストＬ０に登録された参照画像と関連づけられた動き情報を利用する予測方向であり、予測方向がＬ１方向であるとは参照画像リストＬ１に登録された参照画像と関連づけられた動き情報を利用する予測方向である。

（シンタックス）
本発明の実施の形態による予測ブロックのシンタックスの一例について図７を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されており、図７は予測ブロックがインターの場合のシンタックスを示す。予測ブロックには、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、動き補償予測の方向（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０とｒｅｆ＿ｉｄｘ＿ｌ１）、差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）および予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０およびｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。

ここで、ｒｅｆ＿ｉｄｘ＿ｌ０とｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｐ＿ｉｄｘ＿ｌ０はＬ０方向に関する情報であって、ｒｅｆ＿ｉｄｘ＿ｌ１とｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］、ｍｖｐ＿ｉｄｘ＿ｌ１はＬ１方向に関する情報である。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅにはＰｒｅｄ＿Ｌ０（Ｌ０方向の単方向）、Ｐｒｅｄ＿Ｌ１（Ｌ１方向の単方向）およびＰｒｅｄ＿ＢＩ（ＢＩの双方向）の３種類がある。

（動き情報の符号量）
図７のシンタックスからもわかるように、マージモードはマージインデックス１つで動き情報を伝送できる。したがって、マージモード（マージフラグが１）と非マージモード（マージフラグが０）の予測誤差が同程度であれば、マージモードの方が動き情報を効率よく符号化できる。すなわち、マージモードの選択率を高くすることで動き情報の符号化効率を向上させることができる。

なお、本発明の実施の形態による予測ブロックのシンタックスを図７のように設定したが、本発明の実施の形態によればマージモードの方が非マージモードより少ない情報で動き情報を符号化できればよく、これに限定されない。例えば、動き情報が差分ベクトルだけでもよい。

（マージインデックスの特性）
図７ではマージインデックスの復号（符号化）の前段にマージの候補数を算出する関数であるＮｕｍＭｅｒｇｅＣａｎｄｓ（）が、予測ベクトルインデックスの復号（符号化）の前段に予測ベクトルの候補数を算出する関数であるＮｕｍＭｖｐＣａｎｄｓ（）が設置されている。これらは隣接ブロックの動き情報の有効性によって、マージの候補数や予測ベクトルの候補数が予測ブロック毎に変化するために、その候補数を取得するために必要な関数である。なお、隣接ブロックの動き情報が有効であるとは、その隣接ブロックが領域外のブロックやイントラモードでないことであって、隣接ブロックの動き情報が無効であるとは、その隣接ブロックが領域外のブロックやイントラモードであることである。

なお、マージの候補数が１である場合はマージインデックスを復号（符号化）しない。マージの候補数が１である場合は指定しなくとも一意に決定できるためである。予測ベクトルインデックスの場合も同様である。

また、マージインデックスの符号列について図８（ａ）〜（ｃ）を用いて説明する。本発明の実施の形態では、マージインデックスの符号列としてＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。図８（ａ）はマージの候補数が２個の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列によるマージインデックスの符号列を、図８（ｂ）はマージの候補数が３個の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列によるマージインデックスの符号列を、図８（ｃ）はマージの候補数が４個の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列によるマージインデックスの符号列を示す。

図８（ａ）〜（ｃ）から同じマージインデックスの値を符号化する場合でもマージの候補数が少ないほどマージインデックスに割り当てられる符号ビット数が小さくなることがわかる。例えば、マージインデックスが１である場合、マージの候補数が２個であれば‘１’の１ビットであるが、マージの候補数が３個であれば‘１０’の２ビットとなる。

以上のように、マージの候補数は少ないほどマージインデックスの符号化効率は向上する。すなわち、選択率の高い候補を残し、選択率の低い候補を削減することでマージインデックスの符号化効率は向上させることができる。また、候補数が同じである場合には、小さいマージインデックスの方が符号量は少なくなるため、選択率の高い候補に小さなマージインデックスを割り当てることで符号化効率を向上させることができる。

（ＰＯＣ）
本発明の実施の形態では、画像の時間情報（距離情報）としてＰＯＣ（Ｐｉｃｔｕｒｅ
Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いる。ＰＯＣはＭＰＥＧ−４ＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。

（隣接ブロックの動き情報の特性）
一般的に処理対象ブロックの動き情報と処理対象ブロックに隣接するブロック（以下、隣接ブロックという）の動き情報の相関度が高いのは、処理対象ブロックと隣接ブロックが同じ動きをしている場合、例えば、処理対象ブロックと隣接ブロックを含めた領域が平行移動している場合である。また、一般的に処理対象ブロックの動き情報と隣接ブロックの動き情報の相関度は、処理対象ブロックと隣接ブロックの接している長さにも依存する。

（別の画像の動き情報の特性）
一方、一般的に時間ダイレクトモードや空間ダイレクトモードで利用されている復号済みの別の画像上で処理対象ブロックと同一位置にあるブロック（以下、同一位置ブロックという）と、当該処理対象ブロックとの相関度が高いのは、当該同一位置ブロックおよび当該処理対象ブロックが静止状態にある場合である。

以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。

［実施の形態１］
（動画像符号化装置１００の構成）
図９は本発明の実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズの決定、予測符号化モードの決定は上位の符号化制御部で決定されているものとする。

動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。

実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。

（動画像符号化装置１００の機能）
以下、各部の機能について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。

減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。

予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、量子化や直交変換などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。

符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを、動き補償予測の予測方向とともにシンタックスに従ってエントロピー符号化して符号列を生成し、当該符号列を端子１１に供給する。

ここで、マージ候補番号はマージインデックスに変換されて符号列を生成する。ここで、マージ候補番号は選択された結合動き情報候補を示す番号である。マージ候補番号からマージインデックスへの変換については後述する。なお、実施の形態１では上記のようにマージインデックスや予測ベクトルインデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用したが、候補数が小さいほど少ないビットで符号化できる符号列であればこれに限定されない。

予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。

動き補償部１０６は、動き情報生成部１０９より供給される参照画像インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給される動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号とする。

加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。

動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および複数の参照画像に相当する画像信号から、動きベクトルおよび参照画像を示す参照画像インデックスを検出し、当該動きベクトルおよび当該参照画像インデックスを動き情報生成部１０９に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向の動きベクトルと参照画像インデックスを検出する。

一般的な動きベクトルの検出方法は、対象画像の画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）などを利用することが可能である。

動き情報生成部１０９は、動きベクトル検出部１０８より供給される動きベクトルと参照画像インデックス、動き情報メモリ１１１より供給される候補ブロック群、およびフレームメモリ１１０内の参照画像インデックスで示される参照画像から、マージ候補番号、または差分ベクトルおよび予測ベクトルインデックスを生成し、マージフラグ、マージ候補番号、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを必要に応じて、符号列生成部１０４、動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細な構成については後述する。

フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（Ｆｉｒｓｔ
Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で制御される。

動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。

また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で制御される。

ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている画像を指す。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、符号化済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。

ここで、動き情報メモリ１１１における動き情報の管理方法について図１０を用いて説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。図１０は処理対象の予測ブロックサイズが１６画素×１６画素である場合の様子を示している。この場合、この予測ブロックの動き情報は図１０の斜線部の１６個のメモリエリアに格納される。

なお、予測符号化モードがイントラモードである場合、Ｌ０方向とＬ１方向の動きベクトルとして（０，０）が記憶され、Ｌ０方向とＬ１方向の参照画像インデックスとして「−１」が記憶される。なお、参照画像インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０方向とＬ１方向の動きベクトルとして（０，０）、Ｌ０方向とＬ１方向の参照画像インデックスとして「−１」が記憶されている。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照画像インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照画像インデックスが「−１」であることである。

続いて、動き情報生成部１０９の詳細な構成について図１１を用いて説明する。図１１は動き情報生成部１０９の構成を示す。動き情報生成部１０９は、差分ベクトル算出部１２０、結合動き情報決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。

以下、各部の機能について説明する。差分ベクトル算出部１２０は、端子１２より供給される候補ブロック群、端子１３より供給される動きベクトルと参照画像インデックス、端子１４より供給される参照画像、および端子１５より供給される画像信号から予測ベクトルインデックスを決定して、差分ベクトルおよびレート歪み評価値を算出する。そして、当該参照画像インデックス、当該動きベクトル、当該差分ベクトル、当該予測ベクトルインデックス、および当該レート歪み評価値を予測符号化モード決定部１２２に供給する。差分ベクトル算出部１２０の詳細な構成については後述する。

結合動き情報決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から結合動き情報候補リストを生成する。そして、結合動き情報決定部１２１は、生成した結合動き情報候補リストの中から結合動き情報候補を選択してマージ候補番号を決定すると共に、レート歪み評価値を算出して、当該結合動き情報候補の動き情報、当該マージ候補番号および当該レート歪み評価値を予測符号化モード決定部１２２に供給する。結合動き情報決定部１２１の詳細な構成については後述する。

予測符号化モード決定部１２２は、差分ベクトル算出部１２０より供給されるレート歪み評価値と、結合動き情報決定部１２１より供給されるレート歪み評価値とを比較する。前者の方が後者未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、マージフラグ、および差分ベクトル算出部１２０より供給される参照画像インデックスと差分ベクトルと予測ベクトルインデックスを端子１６に供給し、差分ベクトル算出部１２０より供給される動きベクトルと参照画像インデックスを端子５０および端子５１に供給する。

前者が後者以上の場合は、マージフラグを１に設定する。予測符号化モード決定部１２２は、マージフラグおよび結合動き情報決定部１２１より供給されるマージ候補番号を端子１６に供給し、結合動き情報決定部１２１より供給される動き情報の動きベクトルと参照画像インデックスを端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細は省略するが、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。

続いて、差分ベクトル算出部１２０の詳細な構成について図１２を用いて説明する。図１２は差分ベクトル算出部１２０の構成を示す。差分ベクトル算出部１２０は、予測ベクトル候補リスト生成部１３０、予測ベクトル決定部１３１および減算部１３２とを含む。端子１７は予測符号化モード決定部１２２に接続されている。

予測ベクトル候補リスト生成部１３０は、実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない予測ベクトル候補リストが生成される。

以下、各部の機能について説明する。予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを削除する。さらに重複している動きベクトルを持つ候補ブロックが複数存在する場合には１つの候補ブロックを残して削除する。予測ベクトル候補リスト生成部１３０は、これら削除後の候補ブロックから予測ベクトル候補リストを生成し、予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。このようにして生成された予測ベクトル候補リストには重複のない予測ベクトル候補が１つ以上含まれるとする。例えば、動きベクトルを持つ候補ブロックが1つもない場合には、ベクトル（０，０）が予測ベクトル候補リストに追加される。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について予測ベクトル候補リストを生成して供給する。

予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給される予測ベクトル候補リストの中から、端子１３より供給される動きベクトルに最適な予測ベクトルを選択する。予測ベクトル決定部１３１は、選択した予測ベクトルを減算部１３２に供給するとともに、参照画像インデックスおよび選択された予測ベクトルを示す情報である予測ベクトルインデックスを端子１７に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について最適な予測ベクトルを選択して供給する。

ここで、最適な予測ベクトルとして、予測ベクトル候補が持つ動きベクトルに基づいて、端子１４より供給される参照画像と端子１５より供給される画像信号から予測誤差量が算出される。そして、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスの符号量と、上述の予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる予測ベクトル候補が選択される。

減算部１３２は、端子１３より供給される動きベクトルから予測ベクトル決定部１３１より供給される予測ベクトルを減算して差分ベクトルを算出し、当該差分ベクトルを端子１７に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について差分ベクトルを算出して供給する。

（予測ベクトル候補リスト生成部１３０に供給される候補ブロック群）
ここで、予測ベクトル候補リスト生成部１３０に供給される候補ブロック群について図１３と図１４を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。

図１３は処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１３に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。

次に、時間候補ブロック群について図１４を用いて説明する。図１４は処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図６に示すブロックＨとブロックＩ６の２ブロックとする。

ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ＣｏｌＰｉｃ上のブロックＩ１からブロックＩ１６、ブロックＡ１からブロックＡ４、ブロックＢ１からブロックＢ４、ブロックＣ、ブロックＤ、ブロックＥ、ブロックＦ１からブロックＦ４、ブロックＧ１からブロックＧ４およびブロックＨの全てを時間候補ブロックとしてもよい。以降特に断らない限り、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記する。以降特に断らない限り、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。

（結合動き情報決定部１２１の構成）
続いて、結合動き情報決定部１２１の詳細な構成について図１５を用いて説明する。図１５は結合動き情報決定部１２１の構成を示す。結合動き情報決定部１２１は、結合動き情報候補生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補生成部１４０は、実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない同一の結合動き情報リストが生成される。

以下、各部の機能について説明する。結合動き情報候補生成部１４０は、端子１２より供給される候補ブロック群から結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補生成部１４０の詳細な構成については後述する。

結合動き情報選択部１４１は、結合動き情報候補生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージ候補番号を端子１７に供給する。

ここで、最適な結合動き情報候補として、結合動き情報候補の予測方向、動きベクトルと参照画像インデックスに基づいて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージ候補番号の符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が選択される。

（結合動き情報候補生成部１４０に供給される候補ブロック群）
ここで、結合動き情報候補生成部１４０に供給される候補ブロック群について図１３と図１４を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。実施の形態１では、空間候補ブロック群を図１３に示すブロックＡ４、ブロックＢ４、ブロックＣおよびブロックＥの４ブロックとする。ここでは、空間候補ブロック群をブロックＡ４、ブロックＢ４、ブロックＣおよびブロックＥの４ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。

次に、時間候補ブロック群について図１４を用いて説明する。実施の形態１では、時間候補ブロック群として、図１４に示すブロックＨとブロックＩ６の２ブロックとする。ここでは、時間候補ブロック群を予測ベクトル候補リスト生成部１３０に供給される時間候補ブロック群と同じとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも０以上のブロックであればよく、これらに限定されない。

（結合動き情報候補生成部１４０の構成）
続いて、実施の形態１の特徴をなす結合動き情報候補生成部１４０の詳細な構成について図１６を用いて説明する。図１６は結合動き情報候補生成部１４０の構成を示す。端子１８は結合動き情報選択部１４１に接続されている。結合動き情報候補生成部１４０は、単方向結合動き情報候補リスト生成部１５０、第１結合動き情報候補リスト削減部１５１、双方向結合動き情報候補リスト生成部１５２および第２結合動き情報候補リスト削減部１５３を含む。

以下、各部の機能について説明する。単方向結合動き情報候補リスト生成部１５０は、端子１２より供給される候補ブロック群から第１結合動き情報候補リストを生成し、当該第１結合動き情報候補リストを第１結合動き情報候補リスト削減部１５１に供給する。

第１結合動き情報候補リスト削減部１５１は、単方向結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して第２結合動き情報候補リストを生成し、当該第２結合動き情報候補リストを双方向結合動き情報候補リスト生成部１５２に供給する。

双方向結合動き情報候補リスト生成部１５２は、第１結合動き情報候補リスト削減部１５１より供給される第２結合動き情報候補リストから双方向結合動き情報候補リストを生成し、当該双方向結合動き情報候補リストを上述の第２結合動き情報候補リストと結合して第３結合動き情報候補リストを生成し、当該第３結合動き情報候補リストを第２結合動き情報候補リスト削減部１５３に供給する。双方向結合動き情報候補リスト生成部１５２の詳細な構成については後述する。

実施の形態１では、双方向結合動き情報候補リスト生成部１５２は、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）と基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）を生成するものとする。そのため、上述の双方向結合動き情報候補リストには、ＢＤ０とＢＤ１が含まれる可能性がある。

第２結合動き情報候補リスト削減部１５３は、双方向結合動き情報候補リスト生成部１５２より供給される第３結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して結合動き情報候補リストを生成し、当該結合動き情報候補リストを端子１８に供給する。

ここで、単方向結合動き情報候補は、所謂マージ技術で利用される候補ブロックの動き情報候補のことであって１つの候補ブロックから得られる動き情報である。一方、双方向結合動き情報は、実施の形態１の特徴となる技術であって２つの候補ブロックから２つの動き情報を利用して得られる動き情報である。本実施の形態では２つの動き情報としてＬ０方向とＬ１方向をそれぞれ１つずつ利用する。

（双方向結合動き情報候補リスト生成部１５２）
続いて、双方向結合動き情報候補リスト生成部１５２の詳細な構成について図１７を用いて説明する。図１７は双方向結合動き情報候補リスト生成部１５２の構成を示す。端子１９は第１結合動き情報候補リスト削減部１５１に、端子２０は第２結合動き情報候補リスト削減部１５３にそれぞれ接続されている。双方向結合動き情報候補リスト生成部１５２は、基準方向決定部１６０、基準方向動き情報決定部１６１、逆方向動き情報決定部１６２および双方向動き情報決定部１６３を含む。

以下、各部の機能について説明する。基準方向決定部１６０は、第２結合動き情報候補リストから双方向結合動き情報候補の基準方向を決定し、当該基準方向および端子１９より供給される第２結合動き情報候補リストを基準方向動き情報決定部１６１に送る。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）の場合の基準方向はＬ０方向となり、基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）の場合の基準方向はＬ１方向となる。

基準方向動き情報決定部１６１は、基準方向決定部１６０より供給される基準方向および第２結合動き情報候補リストから、双方向結合動き情報候補の基準方向の動きベクトルと参照画像インデックスを決定し、当該基準方向、当該基準方向の動きベクトルと当該参照画像インデックス、および当該第２結合動き情報候補リストを逆方向動き情報決定部１６２に送る。

逆方向動き情報決定部１６２は、基準方向動き情報決定部１６１より供給される基準方向、基準方向の動きベクトルと参照画像インデックス、および第２結合動き情報候補リストから、双方向結合動き情報候補の逆方向の動きベクトルと参照画像インデックスを決定する。逆方向動き情報決定部１６２は、当該基準方向の動きベクトルと参照画像インデックス、当該逆方向の動きベクトルと参照画像インデックス、および第２結合動き情報候補リストを双方向動き情報決定部１６３に送る。なお、実施の形態１では、基準方向がＬ０方向であれば、逆方向はＬ１方向とし、基準方向がＬ１方向であれば、逆方向はＬ０方向とする。

双方向動き情報決定部１６３は、逆方向動き情報決定部１６２より供給される基準方向の動きベクトルと参照画像インデックス、および逆方向の動きベクトルと参照画像インデックスから双方向結合動き情報候補を決定する。また、双方向動き情報決定部１６３は、第２結合動き情報候補リストから第３結合動き情報候補リストを生成し、当該第３結合動き情報候補リストを端子２０に送る。

（候補番号管理テーブル）
ここで、実施の形態１で利用するマージ候補番号と結合動き情報候補の関係を示す候補番号管理テーブルについて図１８を用いて説明する。マージ候補番号の０から６は、それぞれ結合動き情報候補リストに含まれるブロックＡの結合動き情報候補（Ａ）、ブロックＢの結合動き情報候補（Ｂ）、時間ブロックの結合動き情報候補（ＣＯＬ）、ブロックＣの結合動き情報候補（Ｃ）、ブロックＥの結合動き情報候補（Ｅ）、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）、および基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）を示す。また、結合動き情報候補リストに含まれる結合動き情報候補の最大数は７（マージインデックスの最大値は６）であるとする。以上のように、ここでは基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）と基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）のマージ候補番号が単方向結合動き情報候補のマージ候補番号よりも大きくなるように割り当てられる。なお、実施の形態１で利用する候補番号管理テーブルを図１８としたが、選択率の高い結合動き情報候補ほど小さいマージ候補番号が割り当てられていればよくこれに限定されない。

ここで、候補番号管理テーブル、および結合動き情報候補リストに含まれる結合動き情報候補の最大数は動画像符号化装置１００内で共有していることとし、図示しない。以下、マージ候補番号からマージインデックスへの変換について図１９（ａ）、（ｂ）を用いて説明する。

図１９（ａ）は、ブロックＡの結合動き情報候補、ブロックＢの結合動き情報候補、時間ブロックの結合動き情報候補、ブロックＣの結合動き情報候補，ブロックＥの結合動き情報候補、基準方向がＬ０の双方向結合動き情報候補、および基準方向がＬ１の双方向結合動き情報候補が全て有効である場合に、マージ候補番号はそのままマージインデックスとなることを示している。

図１９（ｂ）は、結合動き情報候補に無効なブロックが含まれている場合、無効であるマージ候補番号を詰めてからマージ候補番号の小さい順序にマージインデックスが割り当てられる場合を示している。図１９（ｂ）のようにマージ候補番号が１のブロックＢとマージ候補番号が４のブロックＥの結合動き情報候補が無効である場合、マージインデックスの０はマージ候補番号０に、マージインデックスの１はマージ候補番号２に、マージインデックスの２はマージ候補番号３に、マージインデックスの３はマージ候補番号５に、およびマージインデックスの４はマージ候補番号６にそれぞれ変換される。以上のように、ここでは基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）と基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）のマージインデックスは単方向結合動き情報候補のマージインデックスよりも大きくなるように割り当てられる。

実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００ではマージインデックスからマージ候補番号に上記とは逆の変換が行われて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない同一の候補番号管理テーブルが生成される。

（動画像符号化装置１００の動作）
続いて、図２０のフローチャートを用いて、実施の形態１の動画像符号化装置１００における符号化の動作を説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得する（Ｓ１００）。

動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号と複数の参照画像に相当する画像信号から、動きベクトルおよび参照画像を示す参照画像インデックスを検出する（Ｓ１０１）。

動き情報生成部１０９は、動きベクトル検出部１０８より供給される動きベクトルと参照画像インデックス、および動き情報メモリ１１１より供給される候補ブロック群から、マージ候補番号、または差分ベクトルと予測ベクトルインデックスを生成する（Ｓ１０２）。

動き補償部１０６は、フレームメモリ１１０内の参照画像インデックスで示される参照画像を、動きベクトル検出部１０８より供給される動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成する（Ｓ１０３）。

減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と、動き補償部１０６より供給される予測信号との差分を算出して予測誤差信号を算出する（Ｓ１０４）。予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、量子化や直交変換などの処理を行って予測誤差符号化データを生成する（Ｓ１０５）。

符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージ候補番号、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを、予測方向とともにシンタックスに従ってエントロピー符号化して符号列を生成する（Ｓ１０６）。

加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号とを加算して復号画像信号を生成する（Ｓ１０７）。フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する（Ｓ１０８）。動き情報メモリ１１１は、動きベクトル検出部１０８より供給される動きベクトルを、最小の予測ブロックサイズ単位で１画像分記憶する（Ｓ１０９）。

引き続いて、図２１のフローチャートを用いて、動き情報生成部１０９の動作を説明する。差分ベクトル算出部１２０は、端子１２より供給される候補ブロック群、端子１３より供給される動きベクトルと参照画像インデックス、端子１４より供給される参照画像、および端子１５より供給される画像信号から、予測ベクトルインデックスを決定して差分ベクトルとレート歪み評価値を算出する（Ｓ１１０）。

結合動き情報決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、マージ候補番号を決定してレート歪み評価値を算出する（Ｓ１１１）。

予測符号化モード決定部１２２は、差分ベクトル算出部１２０より供給されるレート歪み評価値と、結合動き情報決定部１２１より供給されるレート歪み評価値を比較し、前者が後者より小さい場合はマージフラグを「０」に設定し、そうでない場合は、マージフラグを「１」に設定する（Ｓ１１２）。

引き続いて、図２２のフローチャートを用いて、差分ベクトル算出部１２０の動作を説明する。予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から領域外である候補ブロック、イントラモードである候補ブロック、および重複している動きベクトルを持つ候補ブロックを除いた候補ブロックから、予測ベクトル候補リストを生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について予測ベクトル候補リストを生成する（Ｓ１２０）。

予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給される予測ベクトル候補リストの中から、端子１３より供給される動きベクトルに最適な予測ベクトルを選択する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について最適な予測ベクトルを選択する（Ｓ１２１）。減算部１３２は、端子１３より供給される動きベクトルから、予測ベクトル決定部１３１より供給される予測ベクトルを減算して差分ベクトルを算出する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について差分ベクトルを算出する（Ｓ１２２）。

（結合動き情報決定部１２１の動作）
引き続いて、図２３のフローチャートを用いて、結合動き情報決定部１２１の動作を詳細に説明する。結合動き情報候補生成部１４０は、端子１２より供給される候補ブロック群から結合動き情報候補リストを生成する（Ｓ１３０）。結合動き情報選択部１４１は、結合動き情報候補生成部１４０より供給される結合動き情報候補リストの中から、端子１３より供給される動きベクトルと参照画像インデックス、および予測方向に最適な結合動き情報を決定する（Ｓ１３１）。

（結合動き情報候補生成部１４０の動作）
引き続いて、図２４のフローチャートを用いて、結合動き情報候補生成部１４０の動作を詳細に説明する。単方向結合動き情報候補リスト生成部１５０は、端子１２より供給される空間候補ブロック群から領域外である候補ブロックおよびイントラモードである候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ１４０）。空間結合動き情報候補リストの生成の詳細な動作は後述する。

単方向結合動き情報候補リスト生成部１５０は、端子１２より供給される時間候補ブロック群から領域外である候補ブロックおよびイントラモードである候補ブロックを除いた候補ブロックから、時間結合動き情報候補リストを生成する（Ｓ１４１）。時間結合動き情報候補リストの生成の詳細な動作は後述する。

単方向結合動き情報候補リスト生成部１５０は、空間結合動き情報候補リストと時間結合動き情報候補リストをマージ候補番号の順序で結合して第１結合動き情報候補リストを生成する（Ｓ１４２）。

第１結合動き情報候補リスト削減部１５１は、単方向結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して第２結合動き情報候補リストを生成する（Ｓ１４３）。

双方向結合動き情報候補リスト生成部１５２は、第１結合動き情報候補リスト削減部１５１より供給される第２結合動き情報候補リストから双方向結合動き情報候補リストを生成する（Ｓ１４４）。双方向結合動き情報候補リストの生成の詳細な動作は後述する。

双方向結合動き情報候補リスト生成部１５２は、第２結合動き情報候補リストと双方向結合動き情報候補リストを、マージ候補番号の順序で結合して第３結合動き情報候補リストを生成する（Ｓ１４５）。

第２結合動き情報候補リスト削減部１５３は、双方向結合動き情報候補リスト生成部１５２より供給される第３結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には、１つの結合動き情報候補を残して削除して結合動き情報候補リストを生成する（Ｓ１４６）。

引き続いて、図２５のフローチャートを用いて、空間結合動き情報候補リストの生成の詳細な動作を説明する。実施の形態１では、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとする。

空間候補ブロック群に含まれる４つの候補ブロックであるブロックＡ、ブロックＢ、ブロックＣおよびブロックＥについて以下の処理を繰り返し行う（Ｓ１５０からＳ１５３）。候補ブロックの有効性を検査する（Ｓ１５１）。候補ブロックが領域外でなくイントラモードでもない場合に候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１５１のＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５２）。候補ブロックが有効でなければ（Ｓ１５１のＮＯ）、ステップＳ１５２はスキップされる。

実施の形態１では空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。

引き続いて、図２６のフローチャートを用いて、時間結合動き情報候補リストの生成の詳細な動作を説明する。実施の形態１では、時間結合動き情報候補リストには１以下の候補ブロックの動き情報が含まれるとする。

時間候補ブロック群に含まれる２つの候補ブロックである時間ブロックについて以下の処理を繰り返し行う（Ｓ１６０からＳ１６６）。候補ブロックの有効性を検査する（Ｓ１６１）。候補ブロックが領域外でなくイントラモードでもない場合に候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１６１のＹＥＳ）、時間結合動き情報候補が生成され、時間結合動き情報候補が時間結合動き情報候補がリストに追加され（ステップＳ１６２からステップＳ１６５）、処理を終了する。候補ブロックが有効でなければ（Ｓ１６１のＮＯ）、次の候補ブロックを検査する（Ｓ１６６）。

候補ブロックが有効であれば、時間結合動き情報候補の予測方向の決定を行う（Ｓ１６２）。実施の形態１では結合動き情報候補の予測方向を双方向とする。次に、時間結合動き情報候補のＬ０方向、Ｌ１方向の参照画像の決定を行う（Ｓ１６３）。実施の形態１ではＬ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。ここでは、Ｌ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像としたが、Ｌ０方向の参照画像とＬ１方向の参照画像が決定できればよく、これに限定されない。例えば、符号化ストリーム中にＬ０方向及びＬ１方向の参照画像を符号化してもよく、Ｌ０方向及びＬ１方向の参照画像インデックスを０にしてもよく、処理対象ブロックの隣接ブロックが使用しているＬ０方向の参照画像及びＬ１方向の参照画像で、最も多く使用されている参照画像をＬ０方向、Ｌ１方向ぞれぞれの参照する参照画像としてもよい。

次に、時間結合動き情報候補の動きベクトルを算出する（Ｓ１６４）。本実施の形態における、時間結合動き情報候補は、候補ブロックの動き情報で有効な予測方向である参照画像ＣｏｌＲｅｆＰｉｃと動きベクトルｍｖＣｏｌを基準に、双方向の動き情報を算出する。候補ブロックの予測方向がＬ０方向もしくはＬ１方向の単方向の場合には、その予測方向の参照画像と動きベクトルを基準として選択する。候補ブロックの予測方向が双方向である場合には、Ｌ０方向或いはＬ１方向のいずれか一方の参照画像と動きベクトルを基準として選択する。例えば、ＣｏｌＰｉｃと同じ時間方向に存在する参照画像と動きベクトルを基準として選択する、候補ブロックのＬ０方向或いはＬ１方向の参照画像のいずれかＣｏｌＰｉｃと画像間距離が近い方を基準として選択する、候補ブロックのＬ０方向或いはＬ１方向のいずれか動きベクトルが処理対象画像と交差する方を基準として選択する等が挙げられる。双方向動き情報生成の基準とする参照画像と動きベクトルが選択されたら、時間結合動き情報候補の動きベクトルを算出する。

ここでは上記のようにして時間結合動き情報候補を生成したが、符号化済みの別の画像の動き情報を利用して双方向の動き情報が決定できればよく、これに限定されない。例えば、ダイレクト動き補償で行われているように各方向の参照画像と処理対象画像の距離に応じてスケーリングした動きベクトルを双方向の動きベクトルとしてもよい。候補ブロックが無効であれば（Ｓ１６３のＮＯ）、次の候補ブロックを検査する（Ｓ１６５）。

ここでは時間結合動き情報候補リストには１以下の候補ブロックの動き情報が含まれるとしたが、候補ブロックの有効性によって時間結合動き情報候補リストの数が変動すればよく、これに限定されない。予測方向、参照画像および動きベクトルの決定方法についても同様に、これらに限定されない。

（双方向結合動き情報候補リストの生成）
引き続いて、図２７のフローチャートを用いて、双方向結合動き情報候補リストの生成の詳細な動作を説明する。双方向結合動き情報候補リストは空であるとする。基準方向決定部１６０は、第２結合動き情報候補リストから双方向結合動き情報候補の基準方向を決定する（Ｓ１７０）。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）の場合の基準方向はＬ０方向となり、基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）の場合の基準方向はＬ１方向となる。

基準方向動き情報決定部１６１は、基準方向決定部１６０より供給される基準方向および第２結合動き情報候補リストから、双方向結合動き情報候補の基準方向の動きベクトルと参照画像インデックスを決定する（Ｓ１７１）。基準方向動き情報決定部１６１の詳細な動作は後述する。

逆方向動き情報決定部１６２は、基準方向動き情報決定部１６１より供給される基準方向、基準方向の動きベクトル、参照画像インデックスおよび第２結合動き情報候補リストから、双方向結合動き情報候補の逆方向の動きベクトルと参照画像インデックスを決定する（Ｓ１７２）。逆方向動き情報決定部１６２の詳細な動作は後述する。

双方向動き情報決定部１６３は、逆方向動き情報決定部１６２より供給される基準方向、基準方向の動きベクトルと参照画像インデックス、および逆方向の動きベクトルと参照画像インデックスから、双方向結合動き情報候補の予測方向を決定する（Ｓ１７３）。双方向結合動き情報候補の予測方向の決定の詳細な動作は後述する。

双方向動き情報決定部１６３は、双方向結合動き情報候補の予測方向の有効性を検査する（Ｓ１７４）。双方向動き情報決定部１６３は、双方向結合動き情報候補の予測方向が有効であれば（Ｓ１７４のＹＥＳ）、双方向結合動き情報候補リストに双方向結合動き情報候補を追加する（Ｓ１７５）。双方向結合動き情報候補の予測方向が無効であれば（Ｓ１７４のＮＯ）、ステップＳ１７５はスキップされる。

引き続いて、図２８のフローチャートを用いて、基準方向動き情報決定部１６１の詳細な動作を説明する。双方向結合動き情報候補の基準方向としてＬＸ方向（Ｘは０または１）が選ばれたとする。基準方向であるＬＸの有効性を「０」に設定する（Ｓ１９０）。第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）、以下の処理を繰り返す（Ｓ１９１からＳ１９４）。結合動き情報候補のＬＸ方向の有効性を検査する（Ｓ１９２）。結合動き情報候補のＬＸ方向が有効であれば（Ｓ１９２のＹＥＳ）、基準方向であるＬＸの有効性を「１」に設定し、基準方向の動きベクトルと参照インデックスを結合動き情報候補のＬＸ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ１９３）。結合動き情報候補のＬＸ方向が無効であれば（Ｓ１９２のＮＯ）、次の候補を検査する（Ｓ１９４）。

ここでは第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）だけ検査するとしたが、双方向結合動き情報候補の基準方向の動き情報が決定できればよく、これに限定されない。例えば、選択率の高い結合動き情報候補だけから双方向結合動き情報候補を生成する場合には検査数を２や３のような所定数に固定して処理量を削減するとともに冗長な双方向結合動き情報候補の生成可能性を低下させてマージインデックスの符号量を削減することもできる。

引き続いて、図２９のフローチャートを用いて、逆方向動き情報決定部１６２の詳細な動作を説明する。双方向結合動き情報候補の逆方向として基準方向の逆方向が設定される。逆方向としてＬＹ方向（Ｙは０または１）が選ばれたとする。逆方向であるＬＹの有効性を「０」に設定する（Ｓ２００）。第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）、以下の処理を繰り返す（Ｓ２０１からＳ２０５）。

基準方向で選択された結合動き情報候補でないことを検査する（Ｓ２０２）。基準方向で選択された結合動き情報候補でないならば（Ｓ２０２のＹＥＳ）、結合動き情報候補のＬＹ方向の有効性を検査する（Ｓ２０３）。結合動き情報候補のＬＹ方向が有効であれば（Ｓ２０３のＹＥＳ）、逆方向であるＬＹの有効性を「１」に設定し、逆方向の動きベクトルと参照インデックスを結合動き情報候補のＬＹ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ２０４）。基準方向で選択された結合動き情報候補であるならば（Ｓ２０２のＮＯ）、または結合動き情報候補のＬＹ方向が無効であれば（Ｓ２０３のＮＯ）、次の候補を検査する（Ｓ２０５）。

ここでは第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）だけ検査するとしたが、双方向結合動き情報候補の逆方向の動き情報が決定できればよく、これに限定されない。例えば、選択率の高い結合動き情報候補だけから双方向結合動き情報候補を生成する場合には検査数を２や３のような所定数に固定して処理量を削減するとともに冗長な双方向結合動き情報候補の生成可能性を低下させてマージインデックスの符号量を削減することもできる。また、検査を開始するブロックを基準方向で選択された結合動き情報候補の次の結合動き情報候補とすることで、ＢＤ０とＢＤ１が同一になる可能性をなくし、ステップＳ２０２を削減することができる。

引き続いて、図３０の表を用いて、双方向結合動き情報候補の予測方向の決定の詳細な動作を説明する。ＬＸ方向とＬＹ方向がともに有効であれば予測方向は双方向のＢＩとなり、ＬＸ方向のみが有効であれば予測方向は単方向のＬＸ方向となり、ＬＹ方向のみが有効であれば予測方向は単方向のＬＹ方向となり、およびＬＸ方向とＬＹ方向がともに無効であれば予測方向は無効となる。つまり、ＬＸ方向とＬＹ方向がともに有効である場合、当該ＬＸ方向の動き情報を有する結合動き情報候補と、当該ＬＹ方向の動き情報を有する当該ＬＸ方向の動き情報を有する結合動き情報候補とは別の結合動き情報候補とが組み合わされて新たな双方向結合動き情報候補が生成される。また、ＬＸ方向のみが有効である場合、当該有効であるＬＸ予測を有する結合動き情報候補の予測方向が双予測であれば、当該結合動き情報候補の予測方向が単予測に変換されることになる。同様に、ＬＹ方向のみが有効である場合、当該有効であるＬＹ予測を有する結合動き情報候補の予測方向が双予測であれば、当該結合動き情報候補の予測方向が単予測に変換されることになる。

ここでは双方向結合動き情報候補の予測方向の決定を図３０としたが、予測方向が決定できればよく、これに限定されない。図３１（ａ）〜（ｃ）に双方向結合動き情報候補の予測方向の決定の拡張例を示す。例えば、図３１（ａ）のようにＬＸ方向とＬＹ方向の少なくとも一方が無効であれば予測方向を無効にすることや、図３１（ｂ）や図３１（ｃ）のように予測方向を強制的に双方向にしてもよい。

一般的には動きベクトルの精度が比較的高い場合には単方向予測よりも双方向予測の予測効率が高くなる。そのため、図３１（ａ）では、ＬＸ方向とＬＹ方向が共に有効でない場合には、双方向結合動き情報候補の予測方向を無効として、結合動き情報候補の数を減らすことでマージインデックスの符号量を削減することができる。ここで、例えば、単方向結合動き情報候補の中に双方向予測の候補がいる場合に双方向結合動き情報候補の予測方向を無効とするような適応処理とすることもできる。

また、図３１（ｂ）は無効な予測方向の動きベクトルを（０，０）、参照インデックスを「０」とする。このように、最短距離の参照画像を予測信号として双方向結合動き情報候補を強制的に双方向とすることもできる。これは、参照インデックスの「０」は一般的に処理対象画像と最も距離の近い参照画像となるためであって、最短距離の予測信号の信頼度が最も高いためである。

（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図３２に実施の形態１の動画像復号装置２００を示す。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。

動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。また、候補番号管理テーブル、および結合動き情報候補リストに含まれる結合動き情報候補の最大数は動画像復号装置２００内で共有していることとし、図示しない。

実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。

（動画像復号装置２００の機能）
以下、各部の機能について説明する。符号列解析部２０１は、端子３０より供給された符号列を復号して予測誤差符号化データ、マージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージ候補番号、当該動き補償予測の予測方向、当該参照画像インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。なお、マージ候補番号はマージインデックスより変換されて得られる。

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。

加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５に供給する。動き情報再生部２０４の詳細な構成については後述する。

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照画像インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。

フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。

（動き情報再生部２０４の詳細な構成）
続いて、実施の形態１の特徴をなす動き情報再生部２０４の詳細な構成について図３３を用いて説明する。図３３は動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５にそれぞれ接続されている。

以下、各部の機能について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であれば、符号列解析部２０１より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージ候補番号を結合動き情報再生部２１２に供給する。

動きベクトル再生部２１１は、符号化モード判定部２１０より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。動きベクトル再生部２１１の詳細な構成については後述する。

結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージ候補番号と、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。結合動き情報再生部２１２の詳細な構成については後述する。

続いて、動きベクトル再生部２１１の詳細な構成について図３４を用いて説明する。図３４は動きベクトル再生部２１１の構成を示す。動きベクトル再生部２１１は、予測ベクトル候補リスト生成部２２０、予測ベクトル決定部２２１および加算部２２２を含む。端子３５は符号化モード判定部２１０に接続されている。

以下、各部の機能について説明する。予測ベクトル候補リスト生成部２２０は、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の機能を有する。予測ベクトル決定部２２１は、予測ベクトル候補リスト生成部２２０より供給される予測ベクトル候補リスト、および端子３５より供給される予測ベクトルインデックスから、予測ベクトルを決定して加算部２２２に供給する。

加算部２２２は、端子３５より供給される差分ベクトルと、予測ベクトル決定部２２１より供給される予測ベクトルとを加算して動きベクトルを算出し、当該動きベクトルを端子３４に供給する。

続いて、結合動き情報再生部２１２の詳細な構成について図３５を用いて説明する。図３５は結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補生成部２３０および結合動き情報選択部２３１を含む。

以下、各部の機能について説明する。結合動き情報候補生成部２３０は図１５に示す結合動き情報候補生成部１４０と同一の機能を有する。結合動き情報選択部２３１は、結合動き情報候補生成部２３０より供給される結合動き情報候補リスト、および端子３５より供給されるマージ候補番号に基づいて、結合動き情報候補リストの中から動き情報を選択し、当該動き情報を端子３４に供給する。

（動画像復号装置２００の動作）
続いて、図３６のフローチャートを用いて、実施の形態１の動画像復号装置２００における復号の動作を説明する。符号列解析部２０１は、端子３０より供給される符号列を復号して予測誤差符号化データ、マージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する（Ｓ２１０）。

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生する（Ｓ２１１）。

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照画像インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成する（Ｓ２１２）。

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する（Ｓ２１３）。加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成する（Ｓ２１４）。

フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する（Ｓ２１５）。動き情報メモリ２０７は、動き情報再生部２０４より供給される動きベクトルを最小の予測ブロックサイズ単位で１画像分記憶する（Ｓ２１６）。

引き続いて、図３７のフローチャートを用いて、動き情報再生部２０４の動作を説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する（Ｓ２２０）。マージフラグが「１」であれば（Ｓ２２０の１）、結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージ候補番号、および端子３３より供給される候補ブロック群から、動き情報を再生する（Ｓ２２１）。

マージフラグが「０」であれば、（Ｓ２２０の０）、動きベクトル再生部２１１は、符号化モード判定部２１０より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックス、ならびに端子３３より供給される候補ブロック群から、動き情報を再生する（Ｓ２２２）。

引き続いて、図３８のフローチャートを用いて、動きベクトル再生部２１１の動作を説明する。予測ベクトル候補リスト生成部２２０は、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の動作によって予測ベクトル候補リストを生成する（Ｓ３００）。

予測ベクトル決定部２２１は、予測ベクトル候補リスト生成部２２０より供給される予測ベクトル候補リストの中から、端子３５より供給される予測ベクトルインデックスで示される予測ベクトル候補を選択して、予測ベクトルを決定する（Ｓ３０１）。加算部２２２は、端子３５より供給される差分ベクトルと、予測ベクトル決定部２２１より供給される予測ベクトルとを加算して動きベクトルを算出する（Ｓ３０２）。

引き続いて、図３９のフローチャートを用いて、結合動き情報再生部２１２の動作を説明する。結合動き情報候補生成部２３０は、動画像符号化装置１００の結合動き情報候補生成部１４０と同一の動作によって結合動き情報候補リストを生成する（Ｓ３１０）。結合動き情報選択部２３１は、結合動き情報候補生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージ候補番号で示される結合動き情報候補を選択して、結合動き情報を決定する（Ｓ３１１）。

（実施の形態１の変形例）
なお、実施の形態１は以下のように変形できる。

（変形例１：マージ候補番号の順序）
上述の実施の形態１では、候補番号管理テーブルの一例として図１８を挙げたが、結合動き情報候補の最大数は１以上であればよく、選択率の高い結合動き情報候補ほど小さいマージ候補番号が割り当てられていればよく、図１８に限定されない。また、結合動き情報候補リストに含まれる結合動き情報候補の最大数は７（マージインデックスの最大値は６）としたが、２以上であればよい。例えば、双方向結合動き情報候補の選択率が、ブロックＣとブロックＥの結合動き情報候補の選択率よりも高い場合には、図４０（ａ）や図４０（ｂ）のようにしてもよい。

また、図４１のように双方向結合動き情報候補を増加させることもできる。各双方向結合動き情報候補（ＢＤ０〜ＢＤ３）について説明する。双方向結合動き情報候補（ＢＤ０）と双方向結合動き情報候補（ＢＤ１）は実施の形態１と同一であるとする。双方向結合動き情報候補（ＢＤ２）と双方向結合動き情報候補（ＢＤ３）は、基準方向の双方向結合動き情報候補の基準方向の動きベクトルと参照インデックスと、逆方向の双方向結合動き情報候補の基準方向の動きベクトルと参照インデックスの決定方法が、双方向結合動き情報候補（ＢＤ０）と双方向結合動き情報候補（ＢＤ１）とは異なる。

図４２は双方向結合動き情報候補（ＢＤ２）の導出を説明するフローチャートである。図４２は、図２８のフローチャートのステップＳ１９３をステップＳ１９５からステップＳ１９７に置き換えたものである。以下、ステップＳ１９５からステップＳ１９７について説明する。ＬＸの有効性が「１」であるか検査する（Ｓ１９５）。ＬＸの有効性が「１」でなければ（Ｓ１９５のＮＯ）、ＬＸの有効性を「１」として（Ｓ１９６）、次の候補を検査する（Ｓ１９４）。ＬＸの有効性が「１」であれば（Ｓ１９５のＹＥＳ）、基準方向の動きベクトルと参照インデックスを、結合動き情報候補のＬＸ方向の動きベクトルと参照インデックスとして（Ｓ１９７）、処理を終了する。

図４３は双方向結合動き情報候補（ＢＤ３）の導出を説明するフローチャートである。図４３は、図２９のフローチャートのステップＳ２０４をステップＳ２０６からステップＳ２０８に置き換えたものである。以下、ステップＳ２０６からステップＳ２０８について説明する。ＬＹの有効性が「１」であるか検査する（Ｓ２０６）。ＬＹの有効性が「１」でなければ（Ｓ２０６のＮＯ）、ＬＹの有効性を「１」として（Ｓ２０７）、次の候補を検査する（Ｓ２０５）。ＬＹの有効性が「１」であれば（Ｓ２０６のＹＥＳ）、基準方向の動きベクトルと参照インデックスを、結合動き情報候補のＬＹ方向の動きベクトルと参照インデックスとして（Ｓ２０８）、処理を終了する。

つまり、双方向結合動き情報候補（ＢＤ２）は、基準方向で２番目に有効となる結合動き情報候補の基準方向の動きベクトルと参照インデックスと、逆方向で基準方向と同じ候補でない最初に有効となる結合動き情報候補の逆方向の動きベクトルと参照インデックスとを利用した双方向結合動き情報候補となる。

また、双方向結合動き情報候補（ＢＤ３）は、基準方向で最初に有効となる結合動き情報候補の基準方向の動きベクトルと参照インデックスと、逆方向で基準方向と同じ候補でない２番目に有効となる結合動き情報候補の逆方向の動きベクトルと参照インデックスとを組み合わせた双方向結合動き情報候補となる。

このように双方向結合動き情報候補の組み合わせを増加させて、結合動き情報候補の選択率を高めて動き情報の符号化効率を向上させることができる。

（変形例２：双方向結合動き情報候補の同一判定）
上述の実施の形態１では、逆方向動き情報決定部１６２の動作例として図２９を挙げたが、双方向結合動き情報候補が生成されればよく、これに限定されない。例えば、双方向結合動き情報候補の有効性を高める、つまり第２結合動き情報候補リスト削減部１５３によって削除されないようにする目的で、図４４のようにステップＳ２４０を追加してもよい。

基準方向の動きベクトルおよび参照インデックスと、検査対象の結合動き情報候補の逆方向の動きベクトルおよび参照インデックスを利用した双方向結合動き情報候補と同一の動き情報を持つ結合動き情報候補が、第２結合動き情報候補リストの中にないことを検査する（Ｓ２４０）。同一の結合動き情報候補が存在しない場合に（Ｓ２４０のＹＥＳ）、ステップＳ２０５を実施する。同一の結合動き情報候補が存在する場合に（Ｓ２４０のＮＯ）、次の候補を検査する（Ｓ２０６）。この場合、図１６の第２結合動き情報候補リスト削減部１５３および図２４のステップＳ１４６を省略することも可能である。

これにより、第２結合動き情報候補リスト削減部１５３によって双方向結合動き情報候補が削減されることはなくなり、結合動き情報候補の選択率を高めて動き情報の符号化効率を向上させることができる。

（変形例３：双方向結合動き情報候補の基準方向との同一判定）
上述の実施の形態１では、逆方向動き情報決定部１６２の動作例として図２９を挙げたが、図４５のようにステップＳ２５０を追加してもよい。

基準方向で選択された結合動き情報候補の逆方向の動きベクトルおよび参照インデックスと、検査対象の結合動き情報候補の逆方向の動きベクトルおよび参照インデックスとが同一でないことを検査する（Ｓ２５０）。同一でない場合に（Ｓ２５０のＹＥＳ）、ステップＳ２０５を実施する。同一の場合に（Ｓ２５０のＮＯ）、次の候補を検査する（Ｓ２０６）。

これにより、双方向結合動き情報候補が、基準方向で選択された結合動き情報候補と同一になることはなくなり、双方向結合動き情報候補の有効性を高め、結合動き情報候補の選択率を高めることで動き情報の符号化効率を向上させることができる。

（変形例４：削除プロセスの一本化）
上述の実施の形態１では、結合動き情報候補生成部１４０の構成の一例として図１６を挙げたが、より簡易的な構成として、図４６のように第１結合動き情報候補リスト削減部１５１をなくして第２結合動き情報候補リスト削減部１５３だけとして削除部を１つにまとめることもできる。

ただし、この場合の課題として双方向結合動き情報候補リスト生成部１５２に冗長な結合動き情報候補が供給されるため、最初の２つの単方向結合動き情報候補が同一であった場合には、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）と基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）が同じ動き情報となる。そのため、図４７（ｂ）のように、基準方向がＬ０であるかＬ１であるかによって、図２８および図２９の検査順序を変化させることで同一の双方向結合動き情報候補を生成する確率を低下させることができる。

（変形例５：同一方向の利用）
上述の実施の形態１では、逆方向動き情報決定部１６２の逆方向について、基準方向がＬ０方向であれば逆方向はＬ１方向となり、基準方向がＬ１方向であれば逆方向はＬ０方向となる例を挙げた。この点、基準方向がＬ０方向であれば逆方向をＬ０方向とし、基準方向がＬ１方向であれば逆方向をＬ１方向としてもよい。これは、図４８のように第２結合動き情報候補リストに含まれる結合動き情報候補に同一の予測方向の動き情報のみ存在する場合に、双方向結合動き情報候補の生成確率を高め、結合動き情報候補の選択率を高めることで動き情報の符号化効率を向上させることができる。

（変形例６：予め定められた組み合わせ）
上述の実施の形態１では、双方向結合動き情報候補を、基準方向と逆方向において有効である結合動き情報候補ブロックを検索して、基準方向と逆方向の動き情報を利用することで生成した。基準方向と逆方向に検索することで双方向結合動き情報候補の有効性を向上させることができるが、処理量が増加する。

そこで、図４９（ａ）、（ｂ）のように双方向結合動き情報候補を予め定められたより信頼度の高い結合動き情報候補ブロックの組み合わせとして定義しておくことで、検索処理を省き、双方向結合動き情報候補の選択率を向上させて、符号化効率を向上させることができる。

図４９（ａ）は基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）を最も信頼度の高い候補ブロックＡのＬ０方向の動き情報と２番目に信頼度の高い候補ブロックＢのＬ１方向の動き情報を組み合わせて、基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）を最も信頼度の高い候補ブロックＡのＬ１方向の動き情報と２番目に信頼度の高い候補ブロックＢのＬ０方向の動き情報を組み合わせて、予測方向を双方向予測として定義した例である。

図４９（ｂ）は基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）を最も信頼度の高い候補ブロックＡのＬ０方向の動き情報として、基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）を最も信頼度の高い候補ブロックＡのＬ１方向の動き情報として、予測方向を単方向予測として定義した例である。なお、より信頼度の高い候補ブロックの組み合わせであれば、これ以外の組み合わせでもよい。

（変形例７：ＢＤ０、ＢＤ１適応）
上述の実施の形態１では基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）に小さいマージ候補番号を割り当てるとしたが、これに限定されない。例えば、予測方向が双方向である双方向結合動き情報候補に優先的に小さいマージ候補番号を割り当てることで、予測効率の高い双方向予測の双方向結合動き情報候補に小さいマージ候補番号を割り当てることで符号化効率を改善することもできる。さらに、ＢＤ０とＢＤ１がともに双方向予測である場合には、基準方向の動き情報が単方向である双方向結合動き情報候補に優先的に小さいマージ候補番号を割り当てることもできる。これは、一般的には単方向予測よりも双方向予測の方が予測効率が高いにも関わらず単方向予測が選択されている場合、その動き情報の信頼度は高いためである。

（実施の形態１の効果）
（双方向予測の双方向結合動き情報の効果例）
実施の形態１による効果について図５０を用いて説明する。以下、ブロックＮのＬ０方向の動きベクトルをｍｖＬ０Ｎ、Ｌ１方向の動きベクトルをｍｖＬ１Ｎ、Ｌ０方向の参照画像インデックスをｒｅｆＩｄｘＬ０Ｎ、Ｌ１方向の参照画像インデックスをｒｅｆＩｄｘＬ１Ｎ、Ｌ０方向の差分ベクトルをｄｍｖＬ０Ｎ、Ｌ１方向の差分ベクトルをｄｍｖＬ１Ｎ、Ｌ０方向の参照画像インデックスの差分をｄｒｅｆＩｄｘＬ０Ｎ、およびＬ１方向の参照画像インデックスをｄｒｅｆＩｄｘＬ１Ｎと表す。

処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報は、予測方向が双方向（ＢＩ）で、ｍｖＬ０Ｚ＝（２，８）、ｍｖＬ１Ｚ＝（４，２）、ｒｅｆＩｄｘＬ０Ｚ＝０、ｒｅｆＩｄｘＬ１Ｎ＝０であるとする。

このとき、単方向結合動き情報候補が図５０のＡ、Ｂ、ＣＯＬ、Ｃ、Ｅであるとする。これら単方向結合動き情報候補の中には処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報と同一の動き情報はない。したがって、これら単方向結合動き情報候補の中からレート歪み評価値が最小となる単方向結合動き情報候補を選択することになる。そして、その候補のレート歪み評価値と、差分ベクトル算出部１２０で算出されたレート歪み評価値とを比較して、前者が後者より小さくなる場合のみ符号化モードとしてマージモードが利用されることになる。

符号化モードとしてマージモードが選択された場合、それは動き情報の符号化効率と予測誤差のバランスが最適なためであって、予測誤差は最適とはならない。一方、符号化モードとして非マージモードが選択された場合には、動き情報の符号化効率は最適とはならない。

ここで、実施の形態１によって生成された双方向結合動き情報候補は、図５０のＢＤ０、ＢＤ１となる。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）は、ブロックＡのＬ０方向の動き情報とブロックＢのＬ１方向の動き情報よりなる双方向結合動き情報候補である。基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）は、ブロックＡのＬ１方向の動き情報とブロックＢのＬ０方向の動き情報よりなる双方向結合動き情報候補である。このとき、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）は処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報と同じ動き情報を持つことがわかる。つまり、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。

（単方向予測の双方向結合動き情報の効果例）
また、実施の形態１による単方向予測の効果について図５１を用いて説明する。処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報は、予測方向が単方向（ＵＮＩ）で、ｍｖＬ０Ｚ＝（０，８）、ｒｅｆＩｄｘＬ０Ｚ＝２であるとする。

単方向結合動き情報候補のＢ、Ｃ、ＣＯＬが無効（×）であるとし、有効な単方向結合動き情報候補のＡ、Ｅは図５１のような動き情報を持つとする。この場合も単方向結合動き情報候補の中には、処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報はない。

ここでも、実施の形態１によって生成された双方向結合動き情報候補は図５１のＢＤ０、ＢＤ１となる。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）は、ブロックＡのＬ０方向の動き情報よりなる予測方向が単方向の双方向結合動き情報候補である。基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）は、ブロックＥのＬ０方向の動き情報とブロックＡのＬ１方向の動き情報よりなる双方向結合動き情報候補である。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）は、処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報と同じ動き情報を持つことがわかる。つまり、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。

（単方向予測の組み合わせによる双方向結合動き情報の効果例）
また、実施の形態１による予測方向が単方向の動き情報の組み合わせによる効果について図５２を用いて説明する。処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報は、予測方向が単方向（ＢＩ）で、ｍｖＬ０Ｚ＝（２，２）、ｒｅｆＩｄｘＬ０Ｚ＝０、ｍｖＬ１Ｚ＝（―２，２）、ｒｅｆＩｄｘＬ１Ｚ＝０であるとする。

単方向結合動き情報候補のＡ、ＣＯＬ、Ｃが無効（×）であるとし、有効な単方向結合動き情報候補のＢ、Ｅは図５２のような動き情報を持つとする。この場合も単方向結合動き情報候補の中には処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報はない。

ここでも、実施の形態１によって生成された双方向結合動き情報候補は図５２のＢＤ０、ＢＤ１となる。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）はブロックＢのＬ０方向の動き情報とブロックＥのＬ１方向の動き情報よりなる双方向結合動き情報候補であり、ＢＤ１は生成されない。基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）は処理対象ブロック（Ｚ）にとって予測誤差が最小となる動き情報と同じ動き情報を持つことがわかる。つまり、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。

（双方向結合動き情報候補）
以上のように、単方向結合動き情報候補のＬ０方向とＬ１方向の動き情報を利用して双方向結合動き情報候補を生成することで、処理対象ブロックの動きが、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動きとずれがある場合でも、動き情報を符号化することなくインデックスのみで符号化することができる。したがって、符号化効率と予測効率を最適化できる動画像符号化装置および動画像復号装置を実現できる。

（単方向の結合動き情報候補）
また、単方向結合動き情報候補のＬ０方向とＬ１方向の動き情報を利用して新たな単方向の結合動き情報候補を生成する場合についても、単方向結合動き情報候補のＬ０方向とＬ１方向の動き情報を利用して双方向結合動き情報候補を生成する場合と、同様の効果を奏する。

（同一方向の利用による双方向結合動き情報）
また、単方向結合動き情報候補の同一の予測方向の動き情報を利用して双方向結合動き情報候補を生成する場合についても、単方向結合動き情報候補のＬ０方向とＬ１方向の動き情報を利用して双方向結合動き情報候補を生成する場合と、同様の効果を奏する。

（動画像復号処理の簡易化）
以上のように、単方向結合動き情報候補の各方向の動き情報を利用して双方向結合動き情報候補を生成することで、処理対象ブロックの動きが、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動きとずれがある場合でも、予測方向、参照インデックスおよび差分ベクトルの復号、予測ベクトルと差分ベクトルとの加算処理などが不要となり、動画像復号装置の処理を削減することができる。

（削除プロセス）
以上のように、第１結合動き情報候補リスト削減部１５１を設置することで、双方向結合動き情報候補リスト生成部１５２において、基準方向がＬ０の双方向結合動き情報候補（ＢＤ０）と、基準方向がＬ１の双方向結合動き情報候補（ＢＤ１）が同一の動き情報を持つことを回避することができ、双方向結合動き情報候補の有効性を高めて符号化効率を向上させることができる。

（選択率順のマージ候補番号割り当て）
以上のように、選択率の高い結合動き情報候補ほど小さいマージ候補番号を割り当てておくことで、各方向においてより確からしい動き情報の選択率を高め、各方向において精度の高い動き情報を利用して高精度な双方向結合動き情報候補を生成することができる。また、検索の処理を単純化することができ、検索の処理数を制限しても符号化効率の低下を抑制できる。

（メモリリードタイム）
以上のように、単方向結合動き情報候補の各方向の動き情報を利用して双方向結合動き情報候補を生成することで、単方向結合動き情報候補の数を増加させることなく結合動き情報候補の数を増加させることができる。したがって、単方向結合動き情報候補数の増加によってメモリリード時間が長くなるような一般的なＬＳＩを使用している動画像符号化装置および動画像復号装置において、単方向結合動き情報候補数の増加によるメモリリード時間の増大を抑制できる。

（適応切り替え）
以上のように、予測方向が双方向である双方向結合動き情報候補に優先的に小さいマージ候補番号を割り当てることで、予測効率の高い、予測方向が双方向である双方向結合動き情報候補の選択率を高め、基準方向の動き情報が単方向である双方向結合動き情報候補に優先的に小さいマージ候補番号を割り当てることで、信頼度の高い動き情報を利用した双方向結合動き情報候補の選択率を高めて符号化効率を向上させることができる。

［実施の形態２］
（シンタックス）
実施の形態２の動画像符号化装置の構成は、当該動画像符号化装置の上位機能と符号列生成部１０４の機能を除いて実施の形態１の動画像符号化装置１００の構成と同一である。以下、実施の形態２における動画像符号化装置の上位機能と符号列生成部１０４の機能について実施の形態１との相違を説明する。

実施の形態２の動画像符号化装置の上位機能は、符号化ストリーム単位または符号化ストリームの一部であるスライス毎に、候補番号管理テーブルを変更する機能を有する。符号列生成部１０４は、候補番号管理テーブルを図５３（ａ）、（ｂ）のように符号化ストリーム中に符号化して伝送する。図５３（ａ）、（ｂ）では、符号化ストリーム単位での制御のためのＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、およびスライス単位での制御のためのＳｌｉｃｅ＿ｈｅａｄｅｒで候補番号管理テーブルを符号化するシンタックスの例を示している。

"modified_merge_index_flag"でマージ候補番号と結合動き情報候補の標準の関係を変更するかどうかを指定し、"max_no_of_merge_index_minus1"で再定義する個数を指定し、"merge_mode[i]" で結合動き情報候補リストに含まれる候補ブロックの順序を指定する。また、双方向結合動き情報候補の基準方向を指定するための情報である"bd_merge_base_direction"を設置することもできる。

例えば、マージ候補番号と結合動き情報候補の標準の関係が図１８であり、再定義したい候補番号管理テーブルが図４０（ａ）であったとすると、"modified_merge_index_flag"を「１」に設定し、"max_no_of_merge_index_minus1"を「６」に設定し、"merge_mode[i] "をそれぞれ「０」、「１」、「２」、「５」、「６」、「３」、「４」とする。

図５３（ａ）、（ｂ）はシンタックスの一例であって、双方向結合動き情報候補に割り当てるマージ候補番号を符号化ストリーム中で指定でき、双方向結合動き情報候補の基準方向を定められればよく、これに限定されない。

実施の形態２の動画像復号装置の構成は、符号列解析部２０１の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。以下、実施の形態２における動画像復号装置の符号列解析部２０１の機能について実施の形態１との相違を説明する。符号列解析部２０１は、候補番号管理テーブルを図５３（ａ）、（ｂ）のシンタックスにしたがって復号する。

（実施の形態２の効果）
マージ候補番号と結合動き情報候補の最適な関係を、実施の形態２による動画像符号化装置と動画像復号装置でストリーム単位またはスライス単位で共有することで、ストリーム単位やスライス単位で動きの特性が変化するような場合にマージインデックスの符号化効率を向上させることができる。

［実施の形態３］
（結合動き情報候補の置換）
実施の形態３の動画像符号化装置の構成は、結合動き情報候補生成部１４０の機能を除いて実施の形態１の動画像符号化装置１００の構成と同一である。最初に、実施の形態３における候補番号管理テーブルを図５４とし、結合動き情報候補リストに含まれる結合動き情報候補の最大数は５であるとする。結合動き情報候補リストに含まれる結合動き情報候補の最大数が５であること、双方向結合動き情報候補にマージ候補番号が割り当てられていないことが異なる。以下、実施の形態３における結合動き情報候補生成部１４０について図５５を用いて実施の形態１との相違を説明する。

図５５の結合動き情報候補生成部１４０は、図１６の結合動き情報候補生成部１４０に候補番号管理テーブル変更部１５４が追加された構成である。以下、候補番号管理テーブル変更部１５４の機能について説明する。候補番号管理テーブル変更部１５４は、第１結合動き情報候補リスト削減部１５１より供給される第２結合動き情報候補リストから、双方向結合動き情報候補の有効数を算出する。双方向結合動き情報候補の有効数が１以上であれば、候補番号管理テーブルを変更し、第２結合動き情報候補リストを双方向結合動き情報候補リスト生成部１５２に供給する。双方向結合動き情報候補の有効数が０であれば、第２結合動き情報候補リストを結合動き情報候補リストとして端子１８に供給する。

引き続いて、実施の形態３の結合動き情報候補生成部１４０の動作について図５６を用いて実施の形態１との相違を説明する。図５６のフローチャートは、図２４のフローチャートに以下の２つのステップが追加されている。候補番号管理テーブル変更部１５４は、候補番号管理テーブルを変更する（Ｓ２６０）。候補番号管理テーブルが変更されたかを検査する（Ｓ２６１）。候補番号管理テーブルが変更されたならば（Ｓ２６１のＹＥＳ）、ステップＳ１４４を実施する。候補番号管理テーブルが変更されていないならば（Ｓ２６１のＮＯ）、ステップＳ１４４はスキップされる。

以下、候補番号管理テーブル変更部１５４の動作について図５７を用いて説明する。最初に、候補番号管理テーブル変更部１５４は、第２結合動き情報候補リストに含まれない無効な結合動き情報候補の数をカウントし、結合動き情報候補の無効数を算出する（Ｓ２７０）。なお、実施の形態３では、結合動き情報候補の無効数の算出を第２結合動き情報候補リストに含まれない無効な結合動き情報候補の数としたが、無効な結合動き情報候補の数が算出できればよく、これに限定されない。例えば、空間結合動き情報候補の最大数である４と時間結合動き情報候補の最大数である１を合計した５から第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数を減算して無効な結合動き情報候補の数を求めてもよい。また、選択率の高い結合動き情報が無効である場合には双方向結合動き情報候補も選択率が低下することが考えられるため、マージ候補番号が２以上の無効な結合動き情報候補の数をカウントしてもよい。

候補番号管理テーブル変更部１５４は、結合動き情報候補の無効数が１以上であるか調査する（Ｓ２７１）。結合動き情報候補の無効数が１以上であれば（Ｓ２７１のＹＥＳ）、候補番号管理テーブルを変更するため以降の処理を行う。結合動き情報候補の無効数が０であれば（Ｓ２７１のＮＯ）、処理を終了する。

候補番号管理テーブル変更部１５４は、有効な双方向結合動き情報候補の数をカウントし、双方向結合動き情報候補の有効数を算出する（Ｓ２７２）。つまり、ＢＤ０とＢＤ１がともに有効であれば双方向結合動き情報候補の有効数は２となり、ＢＤ０とＢＤ１のいずれか一方が有効であれば双方向結合動き情報候補の有効数は１となり、ＢＤ０とＢＤ１がともに無効であれば双方向結合動き情報候補の有効数は０となる。

候補番号管理テーブル変更部１５４は、結合動き情報候補の無効数と双方向結合動き情報候補の有効数のいずれか小さい方を双方向結合動き情報候補の追加数とする（Ｓ２７３）。候補番号管理テーブル変更部１５４は、双方向結合動き情報候補の追加数分の双方向結合動き情報候補に無効なマージ候補番号を割り当てる（Ｓ２７４）。

以下、候補番号管理テーブル変更部１５４の候補番号管理テーブルの変更例について図５８（ａ）〜（ｃ）を用いて説明する。図５８（ａ）は結合動き情報候補の無効数が１で双方向結合動き情報候補の有効数が１以上の場合の例を示している。最初の無効なマージ候補番号１にＢＤ０が割り当られる。なお、ＢＤ１が有効であればＢＤ１を割り当ててもよい。図５８（ｂ）は結合動き情報候補の無効数が２で双方向結合動き情報候補の有効数が２の場合の例を示している。最初に無効なマージ候補番号２にＢＤ０が、２番目に無効なマージ候補番号４にＢＤ１が割り当られる。図５８（ｃ）は結合動き情報候補の無効数が２で双方向結合動き情報候補の有効数が１（ＢＤ１が有効）の場合の例を示している。最初に無効なマージ候補番号２にＢＤ１が割り当られる。

実施の形態３の動画像復号装置の構成は、結合動き情報候補生成部１４０の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。実施の形態３の動画像復号装置の結合動き情報候補生成部１４０は実施の形態３の動画像符号化装置の結合動き情報候補生成部１４０と同一である。

（実施の形態３の変形例）
なお、実施の形態３は以下のように変形できる。

（変形例１：単方向結合動き情報候補優先）
上述の実施の形態３では、候補番号管理テーブル変更部１５４の動作例として図５７を挙げたが、変更された候補番号管理テーブルが選択率の高い結合動き情報候補ほど小さいマージ候補番号が割り当てられていればよく、これに限定されない。

例えば、既存の単向結合動き情報候補の信頼度が十分に高い場合には、候補番号管理テーブル変更部１５４の動作に図５９のように以下のステップＳ２７５を追加してもよい。図５９のフローチャートは、図５７のフローチャートにステップＳ２７５を追加したものである。候補番号管理テーブル変更部１５４は、無効な結合動き情報候補のマージ候補番号を詰める（Ｓ２７４）。

以下、候補番号管理テーブル変更部１５４の候補番号管理テーブルの変更例について図６０（ａ）、（ｂ）を用いて説明する。図６０（ａ）は結合動き情報候補の無効数が１で双方向結合動き情報候補の有効数が１以上の場合の例を示している。無効なマージ候補番号（マージ候補番号１）が詰められた後、最初に無効なマージ候補番号４にＢＤ０が割り当てられる。なお、ＢＤ１が有効であればＢＤ１を割り当ててもよい。図６０（ｂ）は結合動き情報候補の無効数が２で双方向結合動き情報候補の有効数が２の場合の例を示している。無効なマージ候補番号（マージ候補番号２）が詰められた後、最初に無効なマージ候補番号３にＢＤ０が、２番目に無効なマージ候補番号４にＢＤ１が割り当てられる。このようにすることで、双方向結合動き情報候補には単方向結合動き情報候補よりも大きなマージ候補番号が割り当てられる。

（変形例２：所定ブロック依存）
候補番号管理テーブル変更部１５４の動作はさらに変形することもできる。最初に、本変形例では、所定のブロックに所定の双方向結合動き情報候補が関連付けられているとし、ブロックＣにＢＤ０が、ブロックＤにＢＤ１が関連付けられているものとする。以下、候補番号管理テーブル変更部１５４の動作の別の変形例について図６１を用いて説明する。関連付けられたブロックの個数だけ以下の処理が繰り返される（Ｓ２８０からＳ２８４）。ｉ番目の所定のブロックが無効であるか検査する（Ｓ２８１）。ｉ番目の所定のブロックが無効であれば（Ｓ２８１のＹＥＳ）、候補番号管理テーブルを変更するため以降の処理を行う。ｉ番目の所定のブロックが無効でなければ（Ｓ２８１のＮＯ）、次の所定ブロックを検査する。

変形例２では、所定の結合動き情報候補を、マージ候補番号３のブロックＣとマージ候補番号４のブロックＥの２つであるとしている。そのため、候補番号管理テーブル変更部１５４は、第１の所定の無効なマージ候補番号に双方向結合動き情報候補（ＢＤ０）を割り当て、候補番号管理テーブル変更部１５４は、第２の所定の無効なマージ候補番号に双方向結合動き情報候補（ＢＤ１）を割り当てる（Ｓ２８２）。

以上のように、変形例２による双方向結合動き情報候補リスト生成部１５２は、所定の結合動き情報候補が無効である場合に双方向結合動き情報候補が有効となる。ここでは、所定の結合動き情報候補をブロックＣとブロックＥとしたが、より大きいマージ候補番号を持つ選択率の低い結合動き情報候補が無効である場合に双方向結合動き情報候補が生成されればよく、これに限定されない。

（変形例３：単方向予測の結合動き情報候補の置換）
候補番号管理テーブル変更部１５４の動作はさらに変形することもできる。以下、候補番号管理テーブル変更部１５４の動作の変形例について図６２を用いて説明する。結合動き情報候補の無効数が０であれば（Ｓ２７１のＮＯ）、候補番号管理テーブル変更部１５４は、第２結合動き情報候補リストに含まれる予測方向が単方向（Ｌ０方向またはＬ１方向）である結合動き情報候補の数をカウントし、単方向予測数を算出する（Ｓ２９０）。単方向予測数が１以上であるか調査する（Ｓ２９１）。双方向結合動き情報候補の有効数が１以上であれば（Ｓ２９１のＹＥＳ）、候補番号管理テーブルを変更するため以降の処理を行う。単方向予測数が０であれば（Ｓ２９１のＮＯ）、処理を終了する。候補番号管理テーブル変更部１５４は、予測方向が双方向である双方向結合動き情報候補の数をカウントし、双方向結合動き情報候補の有効数を算出する（Ｓ２９２）。候補番号管理テーブル変更部１５４は、双方向結合動き情報候補の追加数分の双方向結合動き情報候補に予測方向が単方向である結合動き情報候補のマージ候補番号を割り当てる（Ｓ２９４）。

具体例として、候補番号管理テーブル変更部１５４は、双方向結合動き情報候補（ＢＤ０）の予測方向が双方向であれば、最後の予測方向が単方向であるマージ候補番号を、双方向結合動き情報候補（ＢＤ０）に割り当てる。また、候補番号管理テーブル変更部１５４は、双方向結合動き情報候補（ＢＤ１）の動き補償予測の方向が双方向であれば、最後から２番目の予測方向が単方向であるマージ候補番号を、双方向結合動き情報候補（ＢＤ１）に割り当てる。なお、実施の形態３の変形例３では、単方向予測数の算出を第２結合動き情報候補リストに含まれる予測方向が単方向である結合動き情報候補の数としたが、単方向予測数の算出ができればよく、これに限定されない。例えば、選択率の高い結合動き情報は予測方向が単方向であっても信頼度は高いと考えられるため、マージ候補番号が３以上の予測方向が単方向である結合動き情報候補の数をカウントしてもよい。また、結合動き情報候補の無効数が０であれば、予測方向が単方向である結合動き情報候補の数をカウントするとしたが、結合動き情報候補の無効数と単方向予測数の合計数を上限として双方向結合動き情報候補にマージ候補番号を割り当てることができればよく、これに限定されない。

以上のように、変形例３による双方向結合動き情報候補リスト生成部１５２は、予測方向が単方向である結合動き情報候補を、予測方向が双方向の双方向結合動き情報候補に置換する。

（実施の形態３の効果）
以上のように、無効となるマージインデックスを双方向結合動き情報候補のマージ候補番号として利用することで、マージ候補番号の増加によるマージインデックスの符号量の増加を抑制し、結合動き情報候補の選択率を高めて符号化効率を向上させることができる。

以上のように、時間方向や空間方向の動き情報の信頼度が高い場合には、双方向結合動き情報候補のマージ候補番号が単方向結合動き情報候補のマージ候補番号よりも大きくなるようにマージ候補番号を利用することで、マージインデックスの符号化効率を向上させることができる。

以上のように、大きなマージ候補番号を持つ結合動き情報候補を、双方向結合動き情報候補と関連付けることで、信頼度が高く選択率の高いブロックの結合動き情報候補を残しながら、選択率の低いブロックの結合動き情報候補と双方向結合動き情報候補とを適応的に切り替えることができる。したがって、マージ候補番号の増加によるマージインデックスの符号量の増加を抑制し、結合動き情報候補の選択率を高めて符号化効率を向上させることができる。

以上のように、予測方向が単方向である結合動き情報候補を、予測方向が双方向の双方向結合動き情報候補に置換し、予測効率の高い、予測方向が双方向の双方向結合動き情報候補の数を増加させて、結合動き情報候補の選択率を高めて符号化効率を向上させることができる。

［実施の形態４］
（単方向予測の動き情報を優先）
実施の形態４の動画像符号化装置の構成は、基準方向動き情報決定部１６１の機能を除いて実施の形態１の動画像符号化装置１００の構成と同一である。以下、実施の形態４における基準方向動き情報決定部１６１について実施の形態１との相違を説明する。実施の形態４の基準方向動き情報決定部１６１の動作について図６３を用いて説明する。

図６３のフローチャートは、図２８のフローチャートにステップＳ３２０からステップＳ３２３が追加されたものであり、ステップＳ３２１に特徴がある。まず、基準方向であるＬＸの有効性を「０」に設定する（Ｓ１９０）。第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）、以下の処理を繰り返す（Ｓ３２０からＳ３２３）。結合動き情報候補のＬＸ方向の有効性および単方向予測であるかを検査する（Ｓ３２１）。結合動き情報候補のＬＸ方向が有効であり、且つ単方向予測であれば（Ｓ３２１のＹＥＳ）、基準方向であるＬＸの有効性を「１」に設定し、基準方向の動きベクトルと参照インデックスを結合動き情報候補のＬＸ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ３２２）。結合動き情報候補のＬＸ方向が有効であり、且つ単方向予測でないならば（Ｓ３２１のＮＯ）、次の候補を検査する（Ｓ３２３）。

結合動き情報候補のＬＸ方向が有効であり、且つ単方向予測の動き情報候補が存在しない場合、第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）、以下の処理を繰り返す（Ｓ１９１からＳ１９４）。結合動き情報候補のＬＸ方向の有効性を検査する（Ｓ１９２）。結合動き情報候補のＬＸ方向が有効であれば（Ｓ１９２のＹＥＳ）、基準方向であるＬＸの有効性を「１」に設定し、基準方向の動きベクトルと参照インデックスを結合動き情報候補のＬＸ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ１９３）。結合動き情報候補のＬＸ方向が無効であれば（Ｓ１９２のＮＯ）、次の候補を検査する（Ｓ１９４）。このように、実施の形態４の基準方向動き情報決定部１６１は、基準方向の動き情報の決定において単方向である動き情報を優先している点が、実施の形態１と異なる。

実施の形態４の動画像復号装置の構成は、基準方向動き情報決定部１６１の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。実施の形態４の動画像復号装置の結合動き情報候補生成部１４０は実施の形態４の動画像符号化装置の結合動き情報候補生成部１４０と同一である。

（実施の形態４の変形例）
なお、実施の形態４は以下のように変形できる。

（変形例１：単方向限定）
上述の実施の形態４では、基準方向動き情報決定部１６１の動作例として図６３を挙げたが、動き情報の決定において単方向である動き情報が優先されればよく、これに限定されない。例えば、図６３のステップＳ１９１からステップＳ１９４を削除して基準方向の動き情報を単方向である動き情報に限定して選択してもよい。

（変形例２：逆方向の単方向の優先）
上述の実施の形態４では、基準方向動き情報決定部１６１の動作例として図６３を挙げたが、動き情報の決定において単方向である動き情報が優先されればよく、これに限定されない。例えば、逆方向動き情報決定部１６２の逆方向の動き情報の決定においても、実施の形態４の基準方向動き情報決定部１６１と同様に単方向である動き情報を優先してもよい。また、逆方向動き情報決定部１６２の逆方向の動き情報の決定において、実施の形態４の変形例１の基準方向動き情報決定部１６１と同様に単方向である動き情報に限定して選択してもよい。

（実施の形態４の効果）
実施の形態４では、基準方向の動き情報の決定において単方向である動き情報を優先することで、信頼度の高い動き情報を基準方向の動き情報として利用することができ、双方向結合動き情報候補の選択率を高めて符号化効率を向上させることができる。

［実施の形態５］
（各方向削除プロセス）
実施の形態５の動画像符号化装置の構成は、結合動き情報候補生成部１４０の機能を除いて実施の形態１の動画像符号化装置１００の構成と同一である。以下、実施の形態５における結合動き情報候補生成部１４０について実施の形態１との相違を説明する。

実施の形態５の結合動き情報候補生成部１４０の構成について図６４を用いて実施の形態１との相違を説明する。図６４では、図１６の第１結合動き情報候補リスト削減部１５１の代わりにＬ０方向動き情報候補リスト生成部１５５とＬ１方向動き情報候補リスト生成部１５６が設置されている。

実施の形態５の結合動き情報候補生成部１４０の機能について説明する。Ｌ０方向動き情報候補リスト生成部１５５は、第１結合動き情報候補リストに含まれる動き情報候補について、Ｌ０方向の動き情報が重複している動き情報を持つ結合動き情報候補が複数存在する場合には、１つの結合動き情報候補を残して削除してＬ０方向動き情報候補リストを生成し、当該Ｌ０方向動き情報候補リストを双方向結合動き情報候補リスト生成部１５２に供給する。

Ｌ１方向動き情報候補リスト生成部１５６は、第１結合動き情報候補リストに含まれる動き情報候補について、Ｌ１方向の動き情報が重複している動き情報を持つ結合動き情報候補が複数存在する場合には、１つの結合動き情報候補を残して削除してＬ１方向動き情報候補リストを生成し、当該Ｌ１方向動き情報候補リストを双方向結合動き情報候補リスト生成部１５２に供給する。

双方向結合動き情報候補リスト生成部１５２は、Ｌ０方向動き情報候補リスト生成部１５５より供給されるＬ０方向動き情報候補リストと、Ｌ１方向動き情報候補リスト生成部１５６より供給されるＬ１方向動き情報候補リストから、双方向結合動き情報候補リストを生成する。

実施の形態５の動画像復号装置の構成は、結合動き情報候補生成部１４０の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。実施の形態５の動画像復号装置の結合動き情報候補生成部１４０は実施の形態５の動画像符号化装置の結合動き情報候補生成部１４０と同一である。

（実施の形態５の効果）
実施の形態５では、Ｌ０方向とＬ１方向の動き情報の冗長度を削減しておくことで同一の双方向結合動き情報の生成を抑制し、双方向結合動き情報候補の有効性を高めて符号化効率を向上させることができる。

［実施の形態６］
（双方向結合動き情報候補の選択的利用）
実施の形態６の動画像符号化装置の構成は、基準方向決定部１６０の機能を除いて実施の形態１の動画像符号化装置１００の構成と同一である。最初に、実施の形態６における候補番号管理テーブルを図６５とし、結合動き情報候補リストに含まれる結合動き情報候補の最大数は６であるとする。結合動き情報候補リストに含まれる結合動き情報候補の最大数が６であること、双方向結合動き情報候補にマージ候補番号が１つしか割り当てられていないことが異なる。以下、実施の形態６における基準方向決定部１６０について実施の形態１との相違を説明する。実施の形態６の基準方向決定部１６０の動作について図６６を用いて説明する。

基準方向決定部１６０は、第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）、以下の処理を繰り返す（Ｓ３００からＳ３０５）。結合動き情報候補のＬ０方向の有効性を検査する（Ｓ３０１）。結合動き情報候補のＬ０方向が有効であれば（Ｓ３０１のＹＥＳ）、基準方向をＬ０に設定して処理を終了する（Ｓ３０２）。結合動き情報候補のＬ０方向が無効であれば（Ｓ３０１のＮＯ）、結合動き情報候補のＬ１方向の有効性を検査する（Ｓ３０３）。結合動き情報候補のＬ１方向が有効であれば（Ｓ３０３のＹＥＳ）、基準方向をＬ１に設定して処理を終了する（Ｓ３０４）。結合動き情報候補のＬ１方向が無効であれば（Ｓ３０３のＮＯ）、次の候補を検査する（Ｓ３０５）。なお、基準方向が設定できなければ、双方向結合動き情報候補は生成しない（Ｓ３０６）。

実施の形態６の動画像復号装置の構成は、基準方向決定部１６０の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。実施の形態６の動画像復号装置の基準方向決定部１６０は実施の形態６の動画像符号化装置の基準方向決定部１６０と同一である。

（実施の形態６の効果）
実施の形態６では、結合動き情報候補リストに含まれる結合動き情報候補の予測方向によって基準方向をＬ０方向とするかＬ１方向するかを判定することで、双方向結合動き情報候補が１つだけ有効である場合に、双方向結合動き情報候補の有効性を高め、双方向結合動き情報候補の選択性を高めて符号化効率を向上させることができる。

以上述べた実施の形態１から６の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態１から６で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。当該動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

具体的には、双方向結合動き情報候補を示すマージインデックスや、候補番号管理テーブルを符号化ストリーム中に符号化している。また、双方向結合動き情報候補を示すマージインデックスのみを符号化ストリーム中に符号化し、候補番号管理テーブルを動画像符号装置と動画像復号装置で共有することで候補番号管理テーブルを符号化ストリーム中に符号化しなくてもよい。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリなどに記憶されているファームウェアや、コンピュータなどのソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータなどで読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述した実施の形態１において、図２６のフローチャートを用いて、時間結合動き情報候補リストの生成の動作を説明した。そのフローチャートでは、時間結合動き情報候補の動きベクトルを算出する処理がある（Ｓ１６４）。時間結合動き情報候補は、候補ブロックの動き情報で有効な予測方向である参照画像ＣｏｌＲｅｆＰｉｃと動きベクトルｍｖＣｏｌを基準に、双方向の動き情報を算出する。候補ブロックの予測方向がＬ０方向もしくはＬ１方向の単方向の場合には、その予測方向の参照画像と動きベクトルを基準として選択する。候補ブロックの予測方向が双方向である場合には、Ｌ０方向或いはＬ１方向のいずれか一方の参照画像と動きベクトルを基準として選択する。双方向動き情報生成の基準とする参照画像と動きベクトルが選択されたら、時間結合動き情報候補の動きベクトルを算出する。

ここで、双方向動き情報生成の基準とする動きベクトルＣｏｌＭｖと参照画像ＣｏｌＲｅｆＰｉｃからの時間結合動き情報候補の動きベクトルｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法について図６７を用いて説明する。

ＣｏｌＰｉｃとＣｏｌＲｅｆＰｉｃの画像間距離をＣｏｌＤｉｓｔとし、時間結合動き情報候補のＬ０方向の参照画像ＣｏｌＬ０Ｐｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をＣｕｒＬ０Ｄｉｓｔ、時間結合動き情報候補のＬ１方向の参照画像ＣｏｌＬ１Ｐｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をＣｕｒＬ１Ｄｉｓｔとすると、ＣｏｌＭｖをＣｏｌＤｉｓｔとＣｕｒＬ０Ｄｉｓｔ、ＣｕｒＬ１Ｄｉｓｔの距離比率でスケーリングした下記式１の動きベクトルを、時間結合動き情報候補の動きベクトルとする。なお、画像間距離の算出はＰＯＣを用いて行われ、正負の符号を有する。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ ・・・（式１）
なお、図６７のＣｏｌＰｉｃ、ＣｏｌＲｅｆＰｉｃ、ＣｏｌＬ０Ｐｉｃ、ＣｏｌＬ１Ｐｉｃは一例であってこれ以外の関係であってもよい。

１００ 動画像符号化装置、 １０１ 予測ブロック画像取得部、 １０２ 減算部、
１０３ 予測誤差符号化部、 １０４ 符号列生成部、 １０５ 予測誤差復号部、 １０６ 動き補償部、 １０７ 加算部、 １０８ 動きベクトル検出部、 １０９ 動き情報生成部、 １１０ フレームメモリ、 １１１ 動き情報メモリ、 １２０ 差分ベクトル算出部、 １２１ 結合動き情報決定部、 １２２ 予測符号化モード決定部、
１３０ 予測ベクトル候補リスト生成部、 １３１ 予測ベクトル決定部、 １３２ 減算部、 １４０ 結合動き情報候補生成部、 １４１ 結合動き情報選択部、 １５０
単方向動き情報候補リスト生成部、 １５１ 第１結合動き情報候補リスト削減部、 １５２ 双方向結合動き情報候補リスト生成部、 １５３ 第２結合動き情報候補リスト削減部、 １５４ 候補番号管理テーブル変更部、 １５５ Ｌ０方向動き情報候補リスト生成部、 １５６ Ｌ１方向動き情報候補リスト生成部、 １６０ 基準方向決定部、
１６１ 基準方向動き情報決定部、 １６２ 逆方向動き情報決定部、 １６３ 双方向動き情報決定部、 ２００ 動画像復号装置、 ２０１ 符号列解析部、 ２０２ 予測誤差復号部、 ２０３ 加算部、 ２０４ 動き情報再生部、 ２０５ 動き補償部、
２０６ フレームメモリ、 ２０７ 動き情報メモリ、 ２１０ 符号化モード判定部、 ２１１ 動きベクトル再生部、 ２１２ 結合動き情報再生部、 ２２０ 予測ベクトル候補リスト生成部、 ２２１ 予測ベクトル決定部、 ２２２ 加算部、 ２３０ 結合動き情報候補生成部、 ２３１ 結合動き情報選択部。

Claims (6)

1. 符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成部と、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得部と、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得部と、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成部とを備え、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化装置。
2. 符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化方法。
3. 符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとをコンピュータに実行させ、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする画像符号化プログラム。
4. 画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理部と、
   パケット化された前記符号化データを送信する送信部とを備え、
   前記画像符号化方法は、
   符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信装置。
5. 画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理ステップと、
   パケット化された前記符号化データを送信する送信ステップとを有し、
   前記画像符号化方法は、
   符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信方法。
6. 画像符号化方法により符号化された符号列をパケット化して符号化データを得るパケット処理ステップと、
   パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、
   前記画像符号化方法は、
   符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報をそれぞれ１つまたは２つ持つ複数のブロックを選択して、選択されたブロックの動き情報から、動き情報の候補を含む候補リストを生成する候補リスト生成ステップと、
   前記候補リストに含まれる第１の候補から第１の方向の第１の動き情報を取得する第１の動き情報取得ステップと、
   前記候補リストに含まれる前記第１の候補とは異なる第２の候補から前記第１の方向とは異なる第２の方向の第２の動き情報を取得する第２の動き情報取得ステップと、
   前記第１の動き情報と前記第２の動き情報を組み合わせて、動き情報の新たな候補を生成する選択候補生成ステップとを有し、
   前記新たな候補は、前記第１の動き情報または前記第２の動き情報のいずれか一方のみを有することを特徴とする送信プログラム。

Images