JP5725006B2

JP5725006B2 - 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム

Info

Publication number: JP5725006B2
Application number: JP2012285809A
Authority: JP
Inventors: 英樹竹原; 博哉中村; 福島　茂; 茂福島
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-12-28
Filing date: 2012-12-27
Publication date: 2015-05-27
Anticipated expiration: 2032-12-27
Also published as: JP2014014132A; JP5843032B2; JP5725106B2; JP2013240115A; JP2013153431A; JP5725104B2; JP2014014133A; JP2013240116A; JP5725105B2; JP2015159569A; JP5725103B2

Description

本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動き情報を復号する動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラムに関する。

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の処理対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。

動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧ−４ＡＶＣ）のような動画像圧縮符号化では、動き補償予測を行うブロックサイズを細かく且つ多様にすることで、精度の高い動き補償予測を可能としている。一方、ブロックサイズを小さくすることで、符号化ベクトルの符号量は大きくなる問題があった。

そこで、ＭＰＥＧ−４ＡＶＣでは、時間方向の動きの連続性に着目し、処理対象ブロックと同一位置にある処理対象ブロックのある処理対象画像とは別の処理済み画像である参照画像上のブロックが有する動きベクトルをフレーム間距離でスケーリングして処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する、時間ダイレクトモードによる動き補償予測が用いられている。これによって、動きベクトルの符号量が削減されて、符号化効率の向上が実現されていた。

また、特許文献１では、空間方向の動きの連続性に着目し、処理対象ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する方法が開示されている。

特開平１０−２７６４３９号公報

上述したＭＰＥＧ−４ＡＶＣで定義されているような時間ダイレクトモードによる動きベクトルの導出では、導出の際にはスケーリングが必要となるため、複雑な演算が必要となってしまう。また、特許文献１に記載された方法においては、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトルとして利用しており、隣接する複数の予測ブロックをまとめて動き補償予測を行うようにした場合に、並列的な動き補償予測処理が行えない場合がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトル生成に利用しながら、隣接する複数の予測ブロックをまとめて動き補償予測する動き補償予測の並列処理を高効率に実現することのできる動画像符号化および動画像復号技術を提供することにある。

１以上の予測ブロックからなる復号ブロックを復号する動画像復号装置であって、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号部と、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成部と、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成部と、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択部とを備えることを特徴とする動画像復号装置を提供する。
１以上の予測ブロックからなる復号ブロックを復号する動画像復号方法であって、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップとを有することを特徴とする動画像復号方法を提供する。
１以上の予測ブロックからなる復号ブロックを復号する動画像復号プログラムであって、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップとをコンピュータに実行させることを特徴とする動画像復号プログラムを提供する。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信装置であって、動画像が符号化された符号化データを受信する受信部と、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理部と、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号部と、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成部と、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成部と、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択部とを備えることを特徴とする受信装置を提供する。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信方法であって、動画像が符号化された符号化データを受信する受信ステップと、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップとを有することを特徴とする受信方法を提供する。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信プログラムであって、動画像が符号化された符号化データを受信する受信ステップと、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップとをコンピュータに実行させることを特徴とする受信プログラムを提供する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトル生成に利用しながら、隣接する複数の予測ブロックをまとめて動き補償予測する動き補償予測の並列処理を高効率に実現することができる。

図１（ａ）、（ｂ）は、符号化ブロックを説明する図である。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明する図である。予測ブロックサイズタイプを説明する図である。予測符号化モードを説明する図である。マージインデックスと符号列の関係を説明する図である。予測ブロックのシンタックスの一例を説明する図である。実施の形態１に係る動画像符号化装置の構成を示す図である。図７の動き情報生成部の構成を示す図である。図８のマージモード決定部の構成を説明する図である。図９の結合動き情報候補リスト生成部の構成を説明する図である。図９の結合動き情報候補リスト生成部の動作を説明するフローチャートである。予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロック群について説明する図である。予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックにおける予測ブロックについて、予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用した場合の候補ブロック群を示す図である。実施の形態１における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係の一例を説明する図である。図１０の空間結合動き情報候補生成部の動作を説明するフローチャートである。図１０の時間結合動き情報候補生成部の動作を説明するフローチャートである。図１０の第１結合動き情報候補補充部の動作を説明するフローチャートである。組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。図１０の第２結合動き情報候補補充部の動作を説明するフローチャートである。実施の形態１に係る動画像復号装置の構成を示す図である。図２０の動き情報再生部の構成を示す図である。図２１の結合動き情報再生部の構成を示す図である。実施の形態２における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係を説明する図である。予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係を説明する図である。実施の形態３における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係を説明する図である。実施の形態３の結合動き情報候補リスト生成部の動作を説明するフローチャートである。最大符号化ブロック下限ラインと時間候補ブロック群を説明する図である。実施の形態４における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係を説明する図である。実施の形態４の結合動き情報候補リスト生成部の構成を説明する図である。実施の形態４の結合動き情報候補リスト生成部の動作を説明するフローチャートである。実施の形態５の結合動き情報候補リスト生成部の構成を説明する図である。実施の形態５の結合動き情報候補リスト生成部の動作を説明するフローチャートである。予測ベクトルモード決定部の構成を示す。予測ベクトル候補リスト生成部の構成を説明する図である。予測ベクトル候補リスト生成部の動作を説明するフローチャートである。動きベクトル再生部の構成を説明する図である。

まず、本発明の実施の形態の前提となる技術を説明する。

現在、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、画像を複数のブロックに分割して時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。ＭＰＥＧ−４ＡＶＣでは、基本的に処理対象ブロックの複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとする。予測ブロックサイズが正方形でない場合で処理対象ブロックの特定の隣接ブロックの参照インデックスと処理対象ブロックの参照インデックスが一致する場合には、その特定の隣接ブロックの動きベクトルを予測ベクトルとする。

現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。

ＨＥＶＣの標準化では、複数の隣接ブロックと復号済みの別の画像のブロックを候補ブロックとして、これら候補ブロックで構成される候補ブロック群から１つの候補ブロックが選択されて、選択された候補ブロックの情報が符号化および復号されるマージモードが検討されている。

［実施の形態１］
（符号化ブロック）
本実施の形態では、入力された画像信号は最大符号化ブロック単位に分割され、分割された最大符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割回数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。

図１（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図１（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図１（ｂ）の例では、符号化ブロックが１個に分割されている。

（予測ブロック）
本実施の形態では、符号化ブロックはさらに予測ブロック（パーティションともいう）に分割される。符号化ブロックは予測ブロックサイズタイプ（「分割タイプ」やパーティションタイプともいう）によって１以上の予測ブロックに分割される。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明するための図である。図２（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図２（ｂ）は水平に２分割する２Ｎ×Ｎ、図２（ｃ）は垂直に２分割するＮ×２Ｎ、および図２（ｄ）は水平と垂直に４分割するＮ×Ｎを示す。２Ｎ×２Ｎは１個の予測ブロック０、２Ｎ×ＮとＮ×２Ｎは２個の予測ブロック０と予測ブロック１、Ｎ×Ｎは４個の予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３からなる。予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３の順に符号化される。

図３は、符号化ブロックの分割回数と予測ブロックサイズタイプによる予測ブロックサイズを説明するための図である。本実施の形態における予測ブロックサイズは、ＣＵ分割回数が０であって予測ブロックサイズタイプが２Ｎ×２Ｎである６４画素×６４画素からＣＵ分割回数が３であって予測ブロックサイズタイプＮ×Ｎである４画素×４画素までの１３の予測ブロックサイズが存在することになる。例えば、符号化ブロックを非対称に水平や垂直に２分割することもできる。

本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図２（ａ）〜（ｄ）としたが、１以上に分割される組み合わせであればよくこれに限定されない。

（予測符号化モード）
本実施の形態では、動き補償予測や符号化ベクトル数を予測ブロック毎に切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図４を用いて簡単に説明する。図４は、予測符号化モードを説明するための図である。

図４に示す予測符号化モードには、動き補償予測の予測方向が単予測（Ｌ０予測）であって符号化ベクトル数が１であるＰｒｅｄＬ０、動き補償予測の予測方向が単予測（Ｌ１予測）であって符号化ベクトル数が１であるＰｒｅｄＬ１、動き補償予測の予測方向が双予測（ＢＩ予測）であって符号化ベクトル数が２であるＰｒｅｄＢＩ、および動き補償予測の予測方向が単予測（Ｌ０予測／Ｌ１予測）または双予測（ＢＩ予測）であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。ここで、ＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢＩが予測ベクトルモードとなる。

マージモードでは予測方向がＬ０予測／Ｌ１予測／ＢＩ予測のいずれにもなるが、それは、マージモードの予測方向は候補ブロック群から選択された候補ブロックの予測方向をそのまま引き継ぐか、復号済みの情報から導出されるためである。また、マージモードでは符号化ベクトルが符号化されない。これは、マージモードの符号化ベクトルは候補ブロック群から選択された候補ブロックの動きベクトルをそのまま引き継ぐか、あらかじめ定められた規則によって導出されるためである。

（参照インデックス）
本実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。動き補償予測が単予測であれば、参照インデックスは１つ利用され、動き補償予測が双予測であれば、２つの参照インデックスが利用される（図４）。

マージモードでは参照インデックスは符号化されない。これは、マージモードの参照インデックスは候補ブロック群から選択された候補ブロックの参照インデックスをそのまま引き継ぐか、あらかじめ定められた規則によって導出されるためである。

（参照インデックスリスト）
本実施の形態では、動き補償予測で利用できる１以上の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストＬ０（Ｌ０予測の参照インデックスリストともいう）と参照インデックスリストＬ１（Ｌ１予測の参照インデックスリストともいう）がある。動き補償予測が単予測の場合は、参照インデックスリストＬ０の中の参照画像を用いたＬ０予測、または参照インデックスリストＬ１の中の参照画像を用いたＬ１予測のいずれかを利用する。双予測の場合は参照インデックスリストＬ０と参照インデックスリストＬ１の２つを利用したＢＩ予測を利用する。各参照インデックスリストに登録できる参照画像の最大数は１６とする。

（マージインデックス）
本実施の形態では、マージモードの場合には、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像内の処理対象の予測ブロックと同一位置にある同一位置予測ブロック内と同一位置予測ブロックの周辺にあるブロックを候補ブロック群として、候補ブロック群の中から最適な予測符号化モード、動きベクトル、及び参照インデックスを持つ候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。マージモードのときのみマージインデックスが１つ利用される（図４）。マージインデックスの最大個数（マージ候補最大数ともいう）は５であり、マージインデックスは０から４までの整数となる。ここでは、マージインデックスの最大数を５としたが、２以上であればよく、これに限定されない。

以降、マージインデックスの対象となる候補ブロックの動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。以降、動き情報とは予測方向、動きベクトル、及び参照インデックスを含む。

次に、マージインデックスと符号列の関係について説明する。図５はマージインデックスと符号列の関係を説明するための図である。マージインデックスが０の場合の符号列は'０'、マージインデックスが１の場合の符号列は'１０'、マージインデックスが２の場合の符号列は'１１０'、マージインデックスが３の場合の符号列は'１１１０'、マージインデックスが４の場合の符号列は'１１１１'となり、マージインデックスが大きくなるほど符号列が長くなるように設定される。そのため、選択率の高い候補ブロックに小さいマージインデックスを割り当てることで、符号化効率を向上させることができる。

次に、結合動き情報候補リストとマージインデックスの関係について説明する。マージインデックス０は結合動き情報候補リストの最初（０番目）の結合動き情報候補を示す。以下、マージインデックスｍは結合動き情報候補リストのｍ番目の結合動き情報候補を示す。ここで、ｍは０から（マージ候補最大数−１）の整数となる。

（予測ベクトルインデックス）
本実施の形態では、予測ベクトルの精度を向上させるために、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置にある同一位置予測ブロック内と同一位置予測ブロックの周辺にあるブロックを候補ブロック群として、候補ブロック群から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは１つ利用され、動き補償予測が双予測であれば、２つの予測ベクトルインデックスが利用される（図４）。予測ベクトルインデックスの最大数（予測ベクトル候補最大数ともいう）は２であり、予測ベクトルインデックスは０または１の整数となる。ここでは、予測ベクトル候補最大数を２としたが、２以上であればよく、これに限定されない。

次に、予測ベクトルインデックスと符号列の関係について説明する。予測ベクトルインデックスの符号列は予測ベクトルインデックスが０の場合の符号列は'０'、予測ベクトルインデックスが１の場合の符号列は'１'とする。なお、予測ベクトル候補最大数が３以上である場合にはマージインデックスと同様な規則（インデックスが大きくなるほど符号列が長くなる）で符号列が割り当てることができる。

以降、予測ベクトルインデックスの対象となる候補ブロックの動きベクトルを予測ベクトル候補と呼び、予測ベクトル候補の集合体を予測ベクトル候補リストと呼ぶ。

（シンタックス）
本実施の形態による予測ブロックのシンタックスの一例について説明する。図６は本実施の形態に係るシンタックスを説明する図である。図６は符号化木（ＣｏｄｉｎｇＴｒｅｅ）、符号化ブロック（ＣｏｄｉｎｇＵｎｉｔ）、及び予測ブロック（ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）のシンタックス構成の一例を示す。符号化木では符号化ブロックの分割情報が管理される。符号化木にはｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｆｌａｇが設置され、ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｆｌａｇが１であれば符号化木は４個の符号化木に分割される。ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｆｌａｇが０であれば符号化木は符号化ブロック（ＣｏｄｉｎｇＵｎｉｔ）となる。符号化ブロックには、スキップモードフラグ（ｓｋｉｐ＿ｆｌａｇ）、予測モード（ｐｒｅｄ＿ｍｏｄｅ）と予測ブロックサイズタイプ（ｐａｒｔ＿ｍｏｄｅ）が設置され、スキップモードフラグと予測ブロックサイズタイプに応じて１個または２個または４個の予測ブロックに分割される。予測モードはイントラ予測（画面内予測）を行う符号化ブロックであるかインター予測（動き補償予測）を行う符号化ブロックであるかを示す。スキップモードフラグが１である場合はスキップモードとなる。スキップモードは１個の予測ブロックを持つ。符号化ブロック（符号化木）の分割回数は符号化ブロック（符号化木）の深さともいう。

予測ブロックには、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測タイプ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、Ｌ０予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０）、Ｌ０予測の差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］）、Ｌ０予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０）、Ｌ１予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）、Ｌ１予測の差分ベクトル（ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）、及びＬ１予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。

ここで、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは動き補償予測の予測方向（インター予測タイプとも呼ぶ）を示し、Ｐｒｅｄ＿Ｌ０（Ｌ０予測の単予測）、Ｐｒｅｄ＿Ｌ１（Ｌ１予測の単予測）およびＰｒｅｄ＿ＢＩ（ＢＩ予測の双予測）の３種類がある。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ０またはＰｒｅｄ＿ＢＩの場合は、Ｌ０予測に関する情報が設置されて、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ１またはＰｒｅｄ＿ＢＩの場合は、Ｌ１予測に関する情報が設置される。Ｐピクチャ（Ｐスライス）ではｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは一意にＰｒｅｄ＿Ｌ０となるため、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは省略される。

また、スキップモードの場合、予測ブロックはインター予測を行う符号化ブロックであって、予測符号化モードとしてはマージモードとなる。そのため、スキップモードの場合はマージインデックスが設置される。

なお、本実施の形態に係るシンタックスを図６のように設定したが、符号化ブロックや予測ブロックが複数のブロックサイズを有し、マージモードと予測ベクトルモードが利用できればよく、これに限定されない。

以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。

（動画像符号化装置１００の構成）
図７は、本実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、スキップモードの決定、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報や予測ブロック番号ともいう）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態１では予測符号化モードがイントラでない場合について説明する。また、実施の形態１では双予測に対応したＢピクチャ（Ｂスライス）について説明するが、双予測に対応しないＰピクチャ（Ｐスライス）についてはＬ１予測を省略すればよい。

動画像符号化装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。

実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。

（動画像符号化装置１００の機能と動作）
以下、各部の機能と動作について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。

動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および内部に記憶している複数の参照画像に相当する画像信号から、Ｌ０予測とＬ１予測それぞれの動きベクトルと参照画像を示す参照インデックスを検出する。当該Ｌ０予測とＬ１予測の動きベクトル、および当該Ｌ０予測とＬ１予測の参照インデックスを動き情報生成部１０９に供給する。ここでは、動きベクトル検出部１０８は参照画像として内部に記憶している複数の参照画像に相当する画像信号を利用するとしたが、フレームメモリ１１０に記憶されている参照画像を利用することもできる。

一般的な動きベクトルの検出方法は、対象画像の画像信号と、同一位置より所定の移動量だけ移動させた参照画像の予測信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。参照画像が複数ある場合には各参照画像について動きベクトルを検出し、誤差評価値が最小となる参照画像を選択する。誤差評価値としては、絶対差分和を示すＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（ＭｅａｎＳｑｕａｒｅＥｒｒｏｒ）などを利用することが可能である。また、動きベクトル符号量を誤差評価値に加算して評価することも可能である。

動き情報生成部１０９は、動きベクトル検出部１０８より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、動き情報メモリ１１１より供給される候補ブロック群、参照インデックスで示されるフレームメモリ１１０内の参照画像、および予測ブロック画像取得部１０１より供給される画像信号から、予測符号化モードを決定する。

決定された予測符号化モードに基づいて、マージフラグ、マージインデックス、動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを必要に応じて、符号列生成部１０４に供給する。動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の動きベクトルを動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細については後述する。

動き補償部１０６は、動き情報生成部１０９より供給される動き補償予測の予測方向がＬＮ予測であれば、動き情報生成部１０９より供給されるＬＮ予測の参照インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給されるＬＮ予測の動きベクトルに基づき動き補償してＬＮ予測の予測信号を生成する。Ｎは０または１である。ここで、動き補償予測の予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号の平均値が予測信号となる。なお、Ｌ０予測とＬ１予測の予測信号を重みづけしてもよい。動き補償部１０６は、当該予測信号を減算部１０２に供給する。

減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。

予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、直交変換や量子化などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。

符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを図６に示すシンタックスの順序に従ってエントロピー符号化して符号列を生成し、当該符号列を符号化ストリームとして端子１１に供給する。エントロピー符号化は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。

また、符号列生成部１０４は、動画像符号化装置１００で利用された符号化ブロックの分割情報、予測ブロックサイズタイプ、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリーム中に多重化する。

予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。

フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）方式で制御される。

動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。

また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の同一位置予測ブロック内とその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）方式で制御される。

ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックのある画像とは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像としたが、復号済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。

ここで、動き情報メモリ１１１における動き情報の管理方法について説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。各メモリエリアには、少なくとも予測方向、Ｌ０予測の動きベクトル、Ｌ０予測の参照インデックス、Ｌ１予測の動きベクトル、およびＬ１予測の参照インデックスが記憶される。

なお、予測符号化モードがイントラモードである場合、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ予測の参照インデックスとして「−１」が記憶される。これ以降、動きベクトルの（Ｈ、Ｖ）は、Ｈが水平成分、Ｖが垂直成分を表すこととする。なお、参照インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ１予測の参照インデックスとして「−１」が記憶される。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照インデックスが「−１」であることである。

（動き情報生成部１０９の構成）
続いて、動き情報生成部１０９の詳細な構成について説明する。図８は、動き情報生成部１０９の構成を示す。動き情報生成部１０９は、予測ベクトルモード決定部１２０、マージモード決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。

（動き情報生成部１０９の機能と動作）
以下、各部の機能と動作について説明する。予測ベクトルモード決定部１２０は、端子１２より供給される候補ブロック群、端子１３より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、端子１４より供給される参照インデックスで示される参照画像、および端子１５より供給される画像信号から、インター予測タイプを決定し、インター予測タイプに従って、Ｌ０予測とＬ１予測の予測ベクトルインデックスを選択してＬ０予測とＬ１予測の差分ベクトルを算出するとともに、予測誤差を算出し、レート歪み評価値を算出する。そして、当該インター予測タイプに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。

マージモード決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを生成し、当該結合動き情報候補リストの中から１つの結合動き情報候補を選択してマージインデックスを決定し、レート歪み評価値を算出する。そして、当該結合動き情報候補の動き情報、当該マージインデックスおよび当該レート歪み評価値を予測符号化モード決定部１２２に供給する。マージモード決定部１２１の詳細については後述する。

予測符号化モード決定部１２２は、予測ベクトルモード決定部１２０より供給されるレート歪み評価値と、マージモード決定部１２１より供給されるレート歪み評価値とを比較してマージフラグを決定する。

予測ベクトルモードレート歪み評価値がマージモードレート歪み評価値未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、当該マージフラグ、予測ベクトルモード決定部１２０より供給されるインター予測タイプ、参照インデックス、差分ベクトルと予測ベクトルインデックスを端子１６に供給し、予測ベクトルモード決定部１２０より供給される動き情報を端子５０および端子５１に供給する。

マージモードレート歪み評価値が予測ベクトルモードレート歪み評価値以下の場合は、マージフラグを「１」に設定する。予測符号化モード決定部１２２は、当該マージフラグおよびマージモード決定部１２１より供給されるマージインデックスを端子１６に供給し、マージモード決定部１２１より供給される動き情報を端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細な説明は省略するが、予測誤差と符号量から符号量当たりの予測誤差量を算出し、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。そのため、レート歪み評価値が小さい予測符号化モードを選択することで符号化効率を向上させることができる。

（マージモード決定部１２１の構成）
続いて、マージモード決定部１２１の詳細な構成について説明する。図９は、マージモード決定部１２１の構成を説明するための図である。マージモード決定部１２１は、結合動き情報候補リスト生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補リスト生成部１４０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて同一の結合動き情報リストが生成される。

（マージモード決定部１２１の機能と動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部１４０は、端子１２より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補リスト生成部１４０の詳細な構成については後述する。

結合動き情報選択部１４１は、結合動き情報候補リスト生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージインデックスを決定して、当該マージインデックスを端子１７に供給する。

ここで、最適な結合動き情報候補の選択方法について説明する。結合動き情報候補の予測方向、動きベクトルおよび参照インデックスに基づいて動き補償予測されて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージインデックスの符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。

（結合動き情報候補リスト生成部１４０の構成）
続いて、結合動き情報候補リスト生成部１４０の詳細な構成について説明する。図１０は、結合動き情報候補リスト生成部１４０の構成を説明するための図である。端子１９は結合動き情報選択部１４１に接続されている。結合動き情報候補リスト生成部１４０は、空間結合動き情報候補生成部１６０、時間結合動き情報候補生成部１６１、冗長結合動き情報候補削除部１６２、第１結合動き情報候補補充部１６３、および第２結合動き情報候補補充部１６４を含む。以降、結合動き情報候補を生成すると表記するが、導出すると言い換えてもよい。

（結合動き情報候補リスト生成部１４０の機能と動作）
以下、各部の機能と動作について説明する。図１１は、結合動き情報候補リスト生成部１４０の動作を説明するためのフローチャートである。まず、結合動き情報候補リスト生成部１４０は、結合動き情報候補リストを初期化する（Ｓ１００）。初期化された結合動き情報候補リストには結合動き情報候補は存在しない。

次に、空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から０個から空間結合動き情報候補最大数の空間結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０１）、当該結合動き情報候補リストと候補ブロック群を時間結合動き情報候補生成部１６１に供給する。空間結合動き情報候補生成部１６０の詳細な動作については後述する。また、空間結合動き情報候補最大数についても後述する。

次に、時間結合動き情報候補生成部１６１は、空間結合動き情報候補生成部１６０より供給される候補ブロック群から０個から時間結合動き情報候補最大数の時間結合動き情報候補を生成して空間結合動き情報候補生成部１６０より供給される結合動き情報候補リストに追加し（Ｓ１０２）、当該結合動き情報候補リストを冗長結合動き情報候補削除部１６２に供給する。時間結合動き情報候補生成部１６１の詳細な動作については後述する。また、時間結合動き情報候補最大数についても後述する。

次に、冗長結合動き情報候補削除部１６２は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録されている結合動き情報候補を検査し、同一の動き情報を有する結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残してその他の結合動き情報候補を削除し（Ｓ１０３）、当該結合動き情報候補リストを第１結合動き情報候補補充部１６３に供給する。ここで、当該結合動き情報候補リストに登録されている結合動き情報候補は全てが異なる結合動き情報候補となる。

次に、第１結合動き情報候補補充部１６３は、冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに登録された結合動き情報候補から０個から２個の第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０４）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６４に供給する。第１結合動き情報候補補充部１６３の詳細な動作については後述する。

次に、第２結合動き情報候補補充部１６４は、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補の数がマージ候補最大数に達するまで第２補充結合動き情報候補を生成して当該結合動き情報候補リストに追加し（Ｓ１０５）、当該結合動き情報候補リストを端子１９に供給する。第２結合動き情報候補補充部１６４の詳細な動作については後述する。

ここでは、空間結合動き情報候補生成部１６０と時間結合動き情報候補生成部１６１はそれぞれ空間結合動き情報候補と時間結合動き情報候補を生成して結合動き情報候補リストに追加するとしたが、空間結合動き情報候補生成部１６０と時間結合動き情報候補生成部１６１はそれぞれ空間結合動き情報候補と時間結合動き情報候補を生成するのみで、冗長結合動き情報候補削除部１６２の直前に生成した候補から結合動き情報候補リストを生成するようにしてもよい。

（２Ｎ×２Ｎ候補ブロック群について）
以降、予測ブロックの候補ブロック群について説明する。最初に、予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックについて説明する。図１２は予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロック群について説明する図である。図１２では予測ブロックサイズが１６画素×１６画素である例を示す。なお、後述する時間候補ブロックＨ及びＩは、同じく後述する空間候補ブロックＡ〜Ｅが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、図１２中では空間候補ブロックＡ〜Ｅとあわせて図示されている。

空間候補ブロック群は、予測ブロックの左下の画素の左に位置するブロックＡ、予測ブロックの右上の画素の上に位置するブロックＢ、予測ブロックの右上の画素の右斜め上に位置するブロックＣ、予測ブロックの左下の画素の左斜め下に位置するブロックＥ、及び予測ブロックの左上の画素の左斜め上に位置するブロックＤとする。このように、空間候補ブロック群は予測ブロックの位置と大きさに基づいて決定される。時間候補ブロック群は、ＣｏｌＰｉｃの所定領域の代表ブロックであるブロックＨとブロックＩの２つとする。処理対象の予測ブロックの左上の画素の位置を ( ｘ , ｙ )、処理対象の予測ブロックの幅と高さをそれぞれＰＵＷ、ＰＵＨとすると、（（（（ｘ＋ＰＵＷ）＞＞４）＜＜４）, （（（ｙ＋ＰＵＨ）＞＞４）＜＜４））となる画素の位置をブロックの左上の画素の位置として含むＣｏｌＰｉｃ上のブロックを時間候補ブロックＨとする。ここで、＞＞は右方向のビットシフト、＜＜は左方向のビットシフトである。

同様に、（ｘ＋（ＰＵＷ＞＞１），ｙ＋（ＰＵＨ＞＞１））となる画素の位置をブロックの左上の画素の位置として含むＣｏｌＰｉｃ上のブロックを時間候補ブロックＩとする。このように、時間候補ブロック群は予測ブロックの位置と大きさに基づいて決定される。このように、時間候補ブロックをＣｏｌＰｉｃの所定領域（ここでは１６画素×１６画素）の代表ブロックとすることで、ＣｏｌＰｉｃが記憶すべき動きベクトルや参照インデックスを削減できる。１画像で記憶する動きベクトルと参照インデックスを削減することで、複数の復号済み画像をＣｏｌＰｉｃの対象とすることが可能となるため、予測効率を向上させる効果がある。

ここで、予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックは１個の予測ブロックで構成されているため、予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックに対する候補ブロックの位置は符号化ブロックに対する候補ブロックの位置に等しくなり、候補ブロックの位置は符号化ブロックの外となる。

ここでは、ブロックＡを予測ブロックの左下としたが、予測ブロックの左辺に接していればよく、これに限定されない。また、ブロックＢを予測ブロックの右上としたが、予測ブロックの上辺に接していればよく、これに限定されない。また、時間候補ブロック群をブロックＨとブロックＩの２個としたが、これに限定されない。

（２Ｎ×２Ｎ以外の候補ブロック群のへの２Ｎ×２Ｎと同じ位置関係の適用例）
次に、予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックにおける予測ブロックについて、予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用した例について説明する。図１３は予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックにおける予測ブロックについて、予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用した場合の候補ブロック群を示す図である。図１３では図１２と同様、時間候補ブロックＨ及びＩは、空間候補ブロックＡ〜Ｅが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、空間候補ブロックＡ〜Ｅとあわせて図示されている。図１３（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の候補ブロック群を示す。図１３では予測ブロックサイズが１６画素×１６画素である例を示す。なお、時間候補ブロック群は予測ブロックサイズタイプが２Ｎ×２Ｎの場合と同様に導出され、図１３にブロックＨの位置を示す。このように、予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックに含まれる予測ブロックでは、予測ブロックごとに予測ブロックの位置と大きさに基づいて候補ブロック群が決定される。

ここで、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１の場合（図１３（ｂ））、ブロックＡは同一の符号化ブロックの予測ブロック０の内部にあり、ブロックＡの動き情報を得るためには予測ブロック１を処理する前に予測ブロック０の動き情報が確定している必要があるため、予測ブロック１の候補ブロックとしてブロックＡを利用した場合、予測ブロック０と予測ブロック１を同時に処理することはできない。また、最大符号化ブロックがラスタースキャン順、符号化ブロックがジグザグスキャン順で行われるため、ブロックＥは必ず未処理ブロックとなる。同様に、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の場合（図１３（ｄ））、ブロックＢは同一の符号化ブロックの予測ブロック０の内部にあり、ブロックＣは必ず未処理ブロックとなる。予測ブロックサイズタイプがＮ×Ｎの予測ブロック１（図１３（ｆ））、予測ブロック２（図１３（ｇ））、予測ブロック３（図１３（ｈ））についても、同一の符号化ブロックの内部にあるブロックと必ず未処理となるブロックについて図１３の中にそれぞれ示す。

予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２については同一の符号化ブロック内になく且つ必ず未処理とならない候補ブロックの数が３となり、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３については同一の符号化ブロック内になく且つ必ず未処理とならない候補ブロックの数が０となる。候補ブロックが減じることは予測効率の低下に繋がる。

（候補ブロックの位置関係）
図１４は実施の形態１における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係の一例を説明する図である。時間候補ブロック群については図１３と同じである。図１４（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の空間候補ブロック群を示す。図１４では予測ブロックサイズが１６画素×１６画素である例を示す。

ここでは、同一の符号化ブロックの他の予測ブロックの内部にあるブロックを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックに置き換える。つまり、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１の場合（図１４（ｂ））、ブロックＡを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＡとする。予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の場合（図１４（ｄ））、ブロックＢを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＢとする。予測ブロックサイズタイプがＮ×Ｎの予測ブロック１の場合（図１４（ｆ））、ブロックＡとブロックＥを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＡとブロックＥとする。予測ブロックサイズタイプがＮ×Ｎの予測ブロック２の場合（図１４（ｇ））、ブロックＢとブロックＣを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＢとブロックＣとする。予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合（図１４（ｈ））、ブロックＡ、ブロックＢとブロックＤを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＡ、ブロックＢとブロックＤとする。

予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３について有効な候補ブロックの数が５となる。

以上のように、同一の符号化ブロックの他の予測ブロックに含まれる候補ブロックを、符号化ブロックが有する予測ブロックサイズの中で予測ブロックサイズが最大となる予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックにすることで、符号化ブロックに含まれる予測ブロック間における動き情報の依存関係がなくなり、符号化ブロックに含まれる複数の予測ブロックを同時に処理することが可能となる。

（空間結合動き情報候補生成部１６０の詳細な動作）
続いて、空間結合動き情報候補生成部１６０の詳細な動作について説明する。図１５は、空間結合動き情報候補生成部１６０の動作を説明するためのフローチャートである。空間結合動き情報候補生成部１６０は、候補ブロック群の空間候補ブロック群に含まれる候補ブロックであるブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１１０からＳ１１４）。

最初に、候補ブロックが有効であるか検査する（Ｓ１１１）。候補ブロックが有効であるとは、候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ１１１のＹ）、候補ブロックの動き情報を空間結合動き情報候補として結合動き情報候補リストに追加する（Ｓ１１２）。候補ブロックが有効でなければ（Ｓ１１１のＮ）、次の候補ブロックを検査する（Ｓ１１４）。ステップＳ１１２に続いて、結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であるか検査する（Ｓ１１３）。ここでは、空間結合動き情報候補最大数を４とする。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数でなければ（Ｓ１１３のＮ）、次の候補ブロックを検査する（Ｓ１１４）。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であれば（Ｓ１１３のＹ）、処理を終了する。

ここでは、処理対象ブロックとの接線の長く一般的に処理対象ブロックとの相関性の高いと考えられるブロックＡとブロックＢの動き情報を優先して結合動き情報候補リストに登録できるように処理の順序をブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤとしたが、処理対象ブロックと相関性の高い順序または候補ブロックとして選択確率の高い順序で結合動き情報候補が結合動き情報候補リストに登録されればよく、これに限定されない。例えば、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１の場合は、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤ、ブロックＡの順に、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の場合は、ブロックＡ、ブロックＣ、ブロックＥ、ブロックＤ、ブロックＢの順に、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１の場合は、ブロックＢ、ブロックＣ、ブロックＤ、ブロックＡ、ブロックＥの順に、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２の場合は、ブロックＡ、ブロックＥ、ブロックＤ、ブロックＢ、ブロックＣの順に、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合は、ブロックＣ、ブロックＥ、ブロックＡ、ブロックＢ、ブロックＤの順にすることもできる。このように、処理対象の予測ブロックに近い順に結合動き情報候補リストに追加することで、処理対象の予測ブロックに近いブロックに大きなマージインデックスが割り当てられることを防止することができ、符号化効率を向上させることができる。また、空間結合動き情報候補最大数を４としたが、空間結合動き情報候補最大数は１以上でマージ候補最大数以下であればよく、これに限定されない。

（時間結合動き情報候補生成部１６１の詳細な動作）
続いて、時間結合動き情報候補生成部１６１の詳細な動作について説明する。図１６は、時間結合動き情報候補生成部１６１の動作を説明するためのフローチャートである。Ｌ０予測とＬ１予測の各予測方向ＬＸについて以下の処理を繰り返し行う（Ｓ１２０からＳ１２７）。ここで、Ｘは０または１である。また、候補ブロック群の時間候補ブロック群に含まれる候補ブロックであるブロックＨ、ブロックＩの順に以下の処理を繰り返し行う（Ｓ１２１からＳ１２６）。

時間結合動き情報候補生成部１６１は、候補ブロックのＬＮ予測が有効であるか検査する（Ｓ１２２）。ここで、Ｎは０または１である。ここでは、ＮはＸと同じであるとする。候補ブロックのＬＮ予測が有効であるとは、候補ブロックのＬＮ予測の参照インデックスが０以上であることである。候補ブロックのＬＮ予測が有効であれば（Ｓ１２２のＹ）、候補ブロックのＬＮ予測の動きベクトルを基準動きベクトルとする（Ｓ１２３）。候補ブロックのＬＮ予測が有効でなければ（Ｓ１２２のＮ）、ステップ１２３からステップ１２６をスキップして次の候補ブロックを検査する（Ｓ１２６）。

ステップＳ１２３に続いて、時間結合動き情報候補のＬＸ予測の参照画像を決定する（Ｓ１２４）。ここでは、時間結合動き情報候補のＬＸ予測の参照画像は、ＬＸ予測の参照インデックス０の参照画像とする。ここでは、時間結合動き情報候補のＬＸ予測の参照画像をＬＸ予測の参照インデックス０の参照画像としたが、符号化ブロック内の他の予測ブロックの値に依存しなければよく、これに限定されない。次に、基準動きベクトルを処理対象画像と時間結合動き情報候補のＬＸ予測の参照画像の距離に合うようにスケーリングして時間結合動き情報候補のＬＸ予測の動きベクトルを算出し（Ｓ１２５）、次の予測方向を処理する（Ｓ１２７）。時間結合動き情報候補のＬＸ予測の動きベクトルの具体的な算出式については、後述する。Ｌ０予測とＬ１予測について処理が終了したステップＳ１２７に続いて、時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であるか検査する（Ｓ１２８）。時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であれば（Ｓ１２８のＹ）、時間結合動き情報候補のインター予測タイプを決定して、当該時間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１２９）。ここでは、インター予測タイプの決定は、Ｌ０予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ０とし、Ｌ１予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ１とし、Ｌ０予測とＬ１予測の両方が有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿ＢＩとする。

続いて、時間結合動き情報候補のＬＸ予測の動きベクトルの算出式について説明する。時間候補ブロックを有するＣｏｌＰｉｃと時間候補ブロックがＬＸ予測の動き補償予測で参照するピクチャであるＣｏｌＲｅｆＬＸＰｉｃの画像間距離をｔｄ、時間結合動き情報候補のＬＸ予測の参照画像ＲｅｆＬＸＰｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をｔｂ、ＬＸ予測の基準動きベクトルをｍｖＬＸとすると、時間結合動き情報候補のＬＸ予測の動きベクトルｍｖＬＸＣｏｌは式１より算出される。式１より時間結合動き情報候補のＬＸ予測の動きベクトルの算出にはｔｂとｔｄを算出するための減算と、除算、及び乗算が必要となることがわかる。
mvLXCol = tb / td * mvLX; 式１

式１は浮動小数点演算の簡略化のために整数演算とする場合には、例えば、式２から式４のように展開して利用してもよい。Ａｂｓ（ｖ）は値ｖの絶対値を算出する関数、Ｃｌｉｐ３（ｕｖ，ｌｖ，ｖ）は値ｖを下限ｌｖから上限ｕｖまでに制限する関数、Ｓｉｇｎ（ｖ）は値ｖが０以上であれば１を値ｖが０より小さい場合は−１を返す関数である。
tx = (16384+Abs(td/2) ) / td; 式２
DistScaleFactor = Clip3( -1024, 1023, ( tb * tx + 32 ) >> 6 ); 式３
mvLXCol=Sign(DistScaleFactor*mvLX)*((Abs(DistScaleFactor*mvLX)+127)>>8); 式４

ここでは、結合動き情報候補リストに登録できる時間結合動き情報候の最大数である時間結合動き情報候補最大数を１とした。そのため、図１６には空間結合動き情報候補生成部１６０の動作を説明するフローチャートである図１４で示したステップＳ１１５に相当する処理を省略したが、時間結合動き情報候補最大数が２以上である場合にはステップＳ１２９の後にステップＳ１１５に相当する処理を追加することもできる。

ここでは、ＮはＸと同じであるとしたが、ＮはＸと異なっていても良く、これに限定されない。

（第１結合動き情報候補補充部１６３の詳細な動作）
続いて、第１結合動き情報候補補充部１６３の詳細な動作について説明する。図１７は、第１結合動き情報候補補充部１６３の動作を説明するためのフローチャートである。最初に、より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式５より算出する（Ｓ１７０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>1)
MaxNumGenCand=0; (NumCandList<=1) 式５

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ１７１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ１７１のＮ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ１７１のＹ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ１７２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ１７２からＳ１８０）。結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ１７３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。図１８は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図１８のようにＭとＮは異なる値であって、ＭとＮの合計値が小さくなる順に設定される。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ１７４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ１７４のＹ）、結合動き情報候補ＭのＬ０予測の参照画像と動きベクトルが結合動き情報候補ＮのＬ１予測の参照画像と動きベクトルと異なるか検査する（Ｓ１７５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ１７４のＮ）、次の組み合わせを処理する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が異なれば（Ｓ１７５のＹ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせてインター予測タイプがＰｒｅｄ＿ＢＩである双結合動き情報候補を生成する（Ｓ１７６）。ここでは、第１補充結合動き情報候補として、ある結合動き情報候補のＬ０予測とそれとは異なる結合動き情報候補のＬ１予測の動き情報を組み合わせた双結合動き情報を生成する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が同じであれば（Ｓ１７５のＮ）、次の組み合わせを処理する。ステップＳ１７６に続いて、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１７８）。ステップＳ１７８に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ１７９）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ１７９のＹ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ１７９のＮ）、次の組み合わせを処理する。

ここでは、第１補充結合動き情報候補を、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルと参照画像を、別の結合動き情報候補のＬ１予測の動きベクトルと参照画像と組み合わせて、動き補償予測の方向が双方向である双結合動き情報候補としたが、これに限定されない。例えば、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルとＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が双方向である結合動き情報候補、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルまたはＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が単方向である結合動き情報候補としてもよい。第１補充結合動き情報候補の別の例として、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルを基準としてＬ１予測の動きベクトルをスケーリングにより求め、それらを組み合わせて動き補償予測の方向が双方向である新たな結合動き情報候補を生成してもよい。また、それらを任意に組み合わせてもよい。

ここで、第１補充結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して新たな有効となる結合動き情報候補を生成することで、符号化効率を高めることができる。

（第２結合動き情報候補補充部１６４の詳細な動作）
続いて、第２結合動き情報候補補充部１６４の詳細な動作について説明する。図１９は、第２結合動き情報候補補充部１６４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式６より算出する（Ｓ１９０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; 式６

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ１９１からＳ１９５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである第２補充結合動き情報候補を生成する（Ｓ１９２）。第２補充結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１９４）。次のｉについて処理する（Ｓ１９５）。

ここでは、第２補充結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２補充結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定することもできる。なお、ここではＢピクチャについて説明したが、Ｐピクチャの場合は、Ｌ０予測の動きベクトルが（０，０）で、インター予測タイプがＰｒｅｄ＿Ｌ０である第２補充結合動き情報候補を生成する。

ここで、第２補充結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、マージモードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図２０は、実施の形態１に係る動画像復号装置２００の構成を示す図である。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。

動画像復号装置２００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。符号化ブロックの分割、スキップモードの決定、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の制御部で決定されているものとし、ここでは予測符号化モードがイントラでない場合について説明する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。

実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。

（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該インター予測タイプ、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。

また、符号列解析部２０１は、動画像復号装置２００で利用される符号化ブロックの分割情報、予測ブロックサイズタイプ、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリームから復号する。

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、インター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。

加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。

フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する。

（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図２１は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５に、端子３６は動き情報メモリ２０７にそれぞれ接続されている。

（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスを結合動き情報再生部２１２に供給する。

動きベクトル再生部２１１は、符号化モード判定部２１０より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動きベクトルを再生して動き情報を生成し、端子３４及び端子３６に供給する。

結合動き情報再生部２１２は、端子３３より供給される候補ブロック群から結合動き情報候補リストを生成し、当該結合動き情報候補リストから符号化モード判定部２１０より供給されるマージインデックスによって示される結合動き情報候補の動き情報を選択して端子３４及び端子３６に供給する。

（結合動き情報再生部２１２の詳細な構成）
続いて、結合動き情報再生部２１２の詳細な構成について説明する。図２２は、結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補リスト生成部２３０および結合動き情報選択部２３１を含む。端子３５は符号化モード判定部２１０に接続されている。

（結合動き情報再生部２１２の詳細な動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部２３０は動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の機能を有し、動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の動作によって結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部２３１に供給する。

結合動き情報選択部２３１は、結合動き情報候補リスト生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージインデックスで示される結合動き情報候補を選択して結合動き情報を決定し、当該結合動き情報の動き情報を端子３４及び端子３６に供給する。

以上のように、動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成することができる。

［実施の形態２］
以下、実施の形態２について説明する。実施の形態１とは予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックについて空間結合動き情報候補生成部１６０において利用する空間候補ブロック群が異なる。以下、実施の形態２の予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの空間候補ブロック群について説明する。

図２３は実施の形態２における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群の位置関係を説明する図である。図２３（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の空間候補ブロック群を示す。図２３では予測ブロックサイズが１６画素×１６画素である例を示す。このように、予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックに含まれる予測ブロックでは、予測ブロックごとに予測ブロックの位置と大きさに基づいて候補ブロック群が決定される。

ここでは、前記の第１の例に加えて、必ず未処理となるブロックも予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックに置き換える。つまり、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１の場合（図２３（ｂ））、ブロックＥを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＥとする。予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の場合（図２３（ｄ））、ブロックＣを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＣとする。予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合（図２３（ｈ））、ブロックＣとブロックＥを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックのブロックＣとブロックＥとする。

以上のように、必ず未処理となる候補ブロックを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックにすることで、必ず未処理となる候補ブロックを有効となる可能性のある候補ブロックとすることができ、マージモードの選択肢を増加させることでマージモードの選択率が上がり、符号化効率を向上させることができる。入れ替えた候補ブロックの動き情報を他の結合動き情報候補の動き情報と組み合わせて新たな動き情報を生成したり、入れ替えた候補ブロックの動き情報を修正して、第２補充結合動き情報候補よりも相対的に選択率の高い第１補充結合動き情報候補を結合動き情報候補リストに追加することで、符号化効率を高めることができる。特に、双結合動き情報候補を利用する場合には少なくとも２つの結合動き情報候補が必要となるため、結合動き情報候補リストに入れ替えた候補ブロック以外の結合動き情報候補が１個しか登録されていない場合に、入れ替えた候補ブロックの動き情報が効果的に作用する。

また、空間結合動き情報候補生成部１６０の動作において、結合動き情報候補リストへの登録順序をブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤとしたが、以下のように変形することもできる。

予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１の場合は、ブロックＢ、ブロックＣ、ブロックＤ、ブロックＡ、ブロックＥの順に、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の場合は、ブロックＡ、ブロックＥ、ブロックＤ、ブロックＢ、ブロックＣの順に、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１の場合は、ブロックＢ、ブロックＣ、ブロックＤ、ブロックＡ、ブロックＥの順に、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２の場合は、ブロックＡ、ブロックＥ、ブロックＤ、ブロックＢ、ブロックＣの順にすることもできる。このように、処理対象の予測ブロックに近い順に結合動き情報候補リストに追加することで、処理対象の予測ブロックに近いブロックに大きなマージインデックスが割り当てられることを防止することができ、符号化効率を向上させることができる。

［実施の形態３］
最初に、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例について説明する。実施の形態１とは予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群と時間候補ブロック群が異なる。以下、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例の予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの空間候補ブロック群と時間候補ブロック群について説明する。本例では、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを予測ブロックサイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックとする。

図２４は予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと候補ブロック群の位置関係を説明する図である。図２４では、時間候補ブロックＨ及びＩは、空間候補ブロックＡ〜Ｅが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、空間候補ブロックＡ〜Ｅとあわせて図示されている。図２４（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の空間候補ブロック群を示す。図２４では予測ブロックサイズが１６画素×１６画素である例を示す。予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの時間候補ブロック群として、図２４に示すように予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロックとして導出した時間候補ブロック群を利用する。

以上のように、予測ブロックサイズタイプに依存せず、候補ブロックが予測サイズタイプが２Ｎ×２Ｎである予測ブロックの候補ブロックとなる。換言すると、予測ブロックサイズタイプに依存せず、予測ブロックサイズタイプが２Ｎ×２Ｎである場合の候補ブロックが、符号化ブロックの全ての予測ブロックにおいて、共通に利用される。すなわち、結合動き情報候補リスト生成部１４０及び２３０によれば、候補ブロックが同一であれば同一の結合動き情報候補リストが生成されるため、予測ブロックサイズタイプに依存せず、予測ブロックサイズタイプが２Ｎ×２Ｎである場合に導出される結合動き情報候補リストを、符号化ブロックの全ての予測ブロックにおいて、共通に利用することができる。これにより、予測ブロックタイプサイズが確定する前に候補ブロックを確定し、結合動き情報候補リストを確定することができる。また、符号化ブロックが複数の予測ブロックに分割される場合、予測ブロック毎に候補ブロックを導出する必要がなくなるため、図１１に示した結合動き情報候補リストを生成する回数を１／２（２分割の場合）または１／４（４分割の場合）に削減することができる。また、符号化ブロックの予測ブロックを並列に処理することができる。

以下、実施の形態３の別の一例について説明する。実施の形態１とは予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックについて空間結合動き情報候補生成部１６０において利用する空間候補ブロック群と時間候補ブロック群と結合動き情報候補リスト生成部１４０の動作が異なる。以下、実施の形態３の予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの空間候補ブロック群と時間候補ブロック群について説明する。

ここでは、予測ブロックが複数に分割される場合は、符号化ブロック内の全ての予測ブロックの候補ブロックとして予測ブロック０の候補ブロックを利用する。

図２５は実施の形態３における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと候補ブロック群の位置関係を説明する図である。図２５では、時間候補ブロックＨ及びＩは、空間候補ブロックＡ〜Ｅが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、空間候補ブロックＡ〜Ｅとあわせて図示されている。図２５（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の空間候補ブロック群と時間候補ブロック群を示す。図２５では予測ブロックサイズが１６画素×１６画素である例を示す。予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの時間候補ブロック群として、図２５に示すように予測ブロック０として導出した時間候補ブロック群を利用する。

次に、結合動き情報候補リスト生成部１４０の動作について説明する。図２６は実施の形態３の結合動き情報候補リスト生成部１４０の動作を説明するフローチャートである。実施の形態１の結合動き情報候補リスト生成部１４０の動作である図１１とは、ステップＳ１０６及びステップＳ１０７が追加されていることが異なる。実施の形態１とは異なるステップＳ１０６とステップＳ１０７について説明する。予測ブロック０であるか検査する（Ｓ１０６）。予測ブロック０であれば（Ｓ１０６のＹ）、ステップＳ１００からＳ１０５の処理を行って処理を終了する。予測ブロック０でなければ（Ｓ１０６のＮ）、処理対象の予測ブロックの結合動き情報候補リストとして予測ブロック０の結合動き情報候補リストを利用し（Ｓ１０７）、処理を終了する。

以上のように、符号化ブロックが複数に分割される場合は、符号化ブロック内の全ての予測ブロックの候補ブロックとして予測ブロック０の候補ブロックを利用することで、符号化ブロックが複数の予測ブロックに分割される場合、予測ブロック０以外の予測ブロックの結合動き情報候補リストを生成する必要がなくなるため、図１１に示した結合動き情報候補リストを生成する回数を１／２（２分割の場合）または１／４（４分割の場合）に削減することができる。すなわち、予測ブロック０で導出される結合動き情報候補リストを、符号化ブロックのいずれの予測ブロックにおいても、共通に利用することができる。また、結合動き情報候補リストを予測ブロックサイズタイプが確定すれば、予測ブロックの位置が確定する前に生成することができるため、回路設計やソフトウェア設計を柔軟にし、回路規模やソフトウェア規模を削減することが可能となる。また、符号化ブロックの予測ブロックを並列に処理することができる。

さらに、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの候補ブロックの位置を、予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロックとは異なる候補ブロックの位置とすることで、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックとなる選択確率を高めることができ、上記の予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例よりも符号化効率を向上させることができる。さらに、予測ブロック０は同一の符号化ブロックの他の予測ブロックに含まれる候補ブロック及び必ず未処理となる候補ブロックが含まれないため、結合動き情報候補が有効となる確率を上げて予測効率を向上させることができる。なお、最も符号化効率の高いスキップモードは予測ブロックサイズタイプが２Ｎ×２Ｎと同等であるため、本実施の形態による影響を受けない。

実施の形態３では符号化ブロックの代表ブロックとして符号化ブロック内の最初の予測ブロックである予測ブロック０を利用したが、それに限定されない。例えば、符号化ブロック内で最初にマージモードを利用する予測ブロックとすることもできる。この場合、Ｓ１０６とＳ１０７は以下のようになる。符号化ブロック内で結合動き情報候補リストが既に生成されていないか検査する（Ｓ１０６）。符号化ブロック内で結合動き情報候補リストが既に生成されていなければ（Ｓ１０６のＹ）、ステップＳ１００からＳ１０５の処理を行って処理を終了する。符号化ブロック内で結合動き情報候補リストが既に生成されていれば（Ｓ１０６のＮ）、符号化ブロック内で結合動き情報候補リストが既に生成された結合動き情報候補リストを利用し（Ｓ１０７）、処理を終了する。

以上のように、符号化ブロック内で最初にマージモードを利用する予測ブロックの結合動き情報候補リストを符号化ブロック内の他の予測ブロックでも利用することで、少なくとも最初にマージモードを利用する予測ブロックの予測効率を向上させることができる。また、符号化ブロックの代表ブロックとして符号化ブロック内の最後の予測ブロック（２分割の場合は予測ブロック１、４分割の場合は予測ブロック３）を利用することもできる。この場合、時間候補ブロック群の位置を、予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロックとは異なる候補ブロックの位置とすることで、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックとなる選択確率を高めることができ、予測効率を向上させることができる。

また、実施の形態２のように、結合動き情報候補リストへの追加順を処理対象の予測ブロックに近い順とすることもできる。

［実施の形態３の変形例１］
以下、実施の形態３の変形例１について説明する。実施の形態３とは最大符号化ブロック下限ラインで時間候補ブロック群が制限されることが異なる。最大符号化ブロック下限ラインでの時間候補ブロック群の制限について説明する。図２７は最大符号化ブロック下限ラインと時間候補ブロック群を説明する図である。図２７のように最大符号化ブロック下限ラインは最大符号化ブロックの最下部の画素が含まれるラインである。最大符号化ブロック下限ラインより下にあるブロックは利用しないように制限することで、動画像符号化装置１００及び動画像復号装置２００において、時間候補ブロック群のための一時記憶領域の容量を削減することができる。

予測ブロックサイズタイプが２Ｎ×２Ｎではない符号化ブロックにおける予測ブロックについて予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用した場合、最大符号化ブロック下限ラインが設置されている場合、図２７の最大符号化ブロック下限ラインに接する予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１の時間候補ブロック（Ｈ１）の位置は利用できなくなる。

ところが、実施の形態３のように、予測ブロックが複数に分割される場合は符号化ブロック内の全ての予測ブロックの候補ブロックとして予測ブロック０の候補ブロックを利用することで、時間候補ブロック群として時間候補ブロック（Ｈ０）を利用することになるため、時間候補ブロックを有効とすることができ、予測効率を向上させることができる。これは、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２と予測ブロック３についても同様である。

［実施の形態４］
以下、実施の形態４について説明する。実施の形態１とは予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの空間候補ブロック群と時間候補ブロック群と結合動き情報候補リスト生成部１４０の構成と動作が異なる。以下、実施の形態４の予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと空間候補ブロック群と時間候補ブロック群について説明する。

ここでは、空間候補ブロック群を予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用したものとする。時間候補ブロック群として、予測ブロック０として導出した時間候補ブロック群を利用する。

図２８は実施の形態４における予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックと候補ブロック群の位置関係を説明する図である。図２８では、時間候補ブロックＨ及びＩは、空間候補ブロックＡ〜Ｅが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、空間候補ブロックＡ〜Ｅとあわせて図示されている。図２８（ａ）から（ｈ）はそれぞれ予測ブロックサイズタイプがＮ×２Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×２Ｎの予測ブロック１、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０、予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック０、予測ブロックサイズタイプがＮ×Ｎの予測ブロック１、予測ブロックサイズタイプがＮ×Ｎの予測ブロック２、予測ブロックサイズタイプがＮ×Ｎの予測ブロック３の場合の空間候補ブロック群を示す。図２８では予測ブロックサイズが１６画素×１６画素である例を示す。予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの時間候補ブロック群として、図２８に示すように予測ブロック０として導出した時間候補ブロック群を利用する。勿論、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの時間候補ブロック群として、予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロックとして導出した時間候補ブロック群を利用することもできる。

次に、結合動き情報候補リスト生成部１４０の構成と動作について説明する。図２９は実施の形態４の結合動き情報候補リスト生成部１４０の構成を説明する図である。実施の形態１とは時間結合動き情報候補生成部１６１の位置が第１結合動き情報候補補充部１６３の後段に設置されていることが異なる。図３０は実施の形態４の結合動き情報候補リスト生成部１４０の動作を説明するフローチャートである。実施の形態１の結合動き情報候補リスト生成部１４０の動作である図１１とは、ステップＳ１０６及びステップＳ１０８が追加されていること、ステップＳ１０２の位置が異なる。実施の形態１とは異なる点について説明する。

空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から０個から空間結合動き情報候補最大数の空間結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０１）、当該結合動き情報候補リストと候補ブロック群を冗長結合動き情報候補削除部１６２に供給する。

次に、冗長結合動き情報候補削除部１６２は、空間結合動き情報候補生成部１６０より供給される結合動き情報候補リストに登録されている結合動き情報候補を検査し、同一の動き情報を有する結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残してその他の結合動き情報候補を削除し（Ｓ１０３）、当該結合動き情報候補リストを第１結合動き情報候補補充部１６３に供給する。

次に、第１結合動き情報候補補充部１６３は、冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに登録された結合動き情報候補から０個から２個の第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０４）、当該結合動き情報候補リストと候補ブロック群を時間結合動き情報候補生成部１６１に供給する。

次に、時間結合動き情報候補生成部１６１は、処理対象の予測ブロックが予測ブロック０であるか検査する（Ｓ１０６）。処理対象の予測ブロックが予測ブロック０であれば（Ｓ１０６のＹ）、冗長結合動き情報候補削除部１６２より供給される候補ブロック群から０個から時間結合動き情報候補最大数の時間結合動き情報候補を生成して冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに追加し（Ｓ１０２）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６４に供給する。処理対象の予測ブロックが予測ブロック０でなければ（Ｓ１０６のＮ）、候補ブロック０の時間結合動き情報候補を結合動き情報候補リストに追加し（Ｓ１０８）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６４に供給する。

次に、第２結合動き情報候補補充部１６４は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録された結合動き情報候補の数がマージ候補最大数に達するまで第２補充結合動き情報候補を生成して当該結合動き情報候補リストに追加し（Ｓ１０５）、当該結合動き情報候補リストを端子１９に供給する。

以上のように、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの空間候補ブロック群を予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用したものとし、時間候補ブロック群を予測ブロック０の時間候補ブロック群とすることで、予測ブロックサイズタイプが確定すれば、時間候補ブロック群を確定することができる。すなわち、予測ブロック０で導出される時間結合動き情報候補を、符号化ブロックのいずれの予測ブロックにおいても、共通に利用するこができる。一方、空間候補ブロック群は、予測ブロックごとに予測ブロックの位置と大きさに基づいて決定される。空間結合動き情報候補の導出には候補ブロックの動き情報がそのまま利用されるため演算は不要であって処理時間は短いが、時間結合動き情報候補の導出には式１または式２から式４のようなベクトルを演算する処理が必要となること、インター予測タイプを決定する処理があることから処理時間が長くなる。

そこで、結合動き情報候補リストを生成するための処理において最も処理時間を要する時間結合動き情報候補の導出を符号化ブロックで１回とすることで、予測ブロックが複数に分割される場合の処理時間を短縮することができる。

さらに、空間結合動き情報候補として処理対象の予測ブロックに隣接したブロックを利用することで、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックとなる選択確率を高めることができ、上記の予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例よりも符号化効率を向上させることができる。また、時間候補ブロック群としてＣｏｌＰｉｃの所定領域の代表ブロックを利用していることから、空間候補ブロック群と比較して時間候補ブロック群の精度は相対的に低くなるため、時間候補ブロック群の精度を落としても予測効率の低下を抑制できる。

ここでは、時間結合動き情報候補を導出する時間が空間結合動き情報候補の導出、冗長結合動き情報候補削除部１６２の動作、第１結合動き情報候補補充部１６３の動作よりも十分に長いとして、結合動き情報候補リスト生成部１４０の動作を図３０としたが、例えば、予測効率を優先してＳ１０６、Ｓ１０２、及びＳ１０８をＳ１０１やＳ１０３の後段に移動させてもよく、処理効率を優先してＳ１０６、Ｓ１０２、及びＳ１０８をＳ１０５の後段に設置することもできる。Ｓ１０６、Ｓ１０２、及びＳ１０８をＳ１０５の後段に設置する場合には、第２結合動き情報候補補充部１６４から出力される結合動き情報候補リストに登録された結合動き情報候補の数がマージ候補最大数より１小さい数とする。

ここでは、予測効率を重視して空間候補ブロック群を予測ブロックサイズタイプが２Ｎ×２Ｎである符号化ブロックの予測ブロックと同じ位置関係を適用したものとしたが、符号化ブロック内の予測ブロックの並列処理を実現するために同一の符号化ブロックの他の予測ブロックに含まれる候補ブロックは候補ブロックとして利用しないとしたり、空間候補ブロック群を他の実施の形態と組み合わせたりして、時間候補ブロック群として予測ブロック０として導出した時間候補ブロック群を利用してもよい。

また、ここでは、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの時間候補ブロック群を、符号化ブロック内の最初の予測ブロックである予測ブロック０で導出した時間候補ブロック群であるとしたが、これに限定されない。例えば、予測ブロックサイズタイプが２Ｎ×２Ｎである場合の予測ブロックの時間候補ブロック群としてもよく、符号化ブロック内の最後の予測ブロック（２分割の場合は予測ブロック１、４分割の場合は予測ブロック３）の時間候補ブロック群としてもよい。予測ブロックサイズタイプが２Ｎ×２Ｎである場合の予測ブロックの時間候補ブロック群とした場合には、時間候補ブロック群を予測ブロックサイズタイプや予測ブロックの位置が確定する前に生成することができるため、回路設計やソフトウェア設計を柔軟にし、回路規模やソフトウェア規模を削減することが可能となる。

［実施の形態５］
以下、実施の形態５について説明する。実施の形態１とは結合動き情報候補リスト生成部１４０の構成と動作が異なり、符号列生成部１０４と符号列解析部２０１の動作が異なる。

最初に、結合動き情報候補リスト生成部１４０の構成について説明する。図３１は実施の形態５の結合動き情報候補リスト生成部１４０の構成を説明する図である。図１０の実施の形態１の結合動き情報候補リスト生成部１４０とは、候補ブロック設定部１６５が空間結合動き情報候補生成部１６０の前段に追加されていることが異なる。ここでは、予測効率を優先した候補ブロック配置であるか並列処理や処理時間短縮などの処理効率を優先した候補ブロック配置であるかをフラグなどで切り替える。

次に、結合動き情報候補リスト生成部１４０の動作について説明する。図３２は実施の形態５の結合動き情報候補リスト生成部１４０の動作を説明するフローチャートである。図１１の実施の形態１の結合動き情報候補リスト生成部１４０の動作とは、ステップＳ１００の前段に、ステップＳ１０６からＳ１０８が追加されていることが異なる。ステップＳ１０６からステップＳ１０８について説明する。最初に、ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇが１であるか判定する（Ｓ１０６）。ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇが１であれば（Ｓ１０６のＹ）、予測効率を優先するブロック配置とする（Ｓ１０７）。予測効率を優先するブロック配置とは、例えば、予測ブロックサイズタイプが２Ｎ×２Ｎ以外の予測ブロックの候補ブロック群を予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロックと同じ位置関係を適用した図１２のような処理対象の予測ブロックに隣接する候補ブロックだけからなるブロック配置となる。ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇが０であれば（Ｓ１０６のＮ）、処理効率を優先するブロック配置とする（Ｓ１０８）。処理効率を優先するブロック配置とは、例えば、図１４、図２３、図２４、図２５、または図２８のような処理対象の予測ブロックに隣接しない候補ブロックを含むブロック配置となる。ステップＳ１０７またはステップＳ１０８に引き続いて、ステップＳ１００以降の処理が実施される。ここで、本実施の形態では、例えば図１２に示すような予測効率を優先するブロック配置に基づき、符号化ブロックの予測ブロックごとに、その位置と大きさに基づいて候補ブロック群の決定および結合動き情報候補リストの生成を行う、又は例えば図２４若しくは図２５に示すような処理効率を優先するブロック配置に基づき、符号化ブロックの全ての予測ブロックにおいて共通に利用される候補ブロックから結合動き情報候補リストの生成を行うかが切り替えられる。

動画像符号化装置１００では、ｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇが０であるか１であるかは動画像符号化装置１００よりも上位で設定されているものとする。ここでは、図３２に示す動作を結合動き情報候補リスト生成部１４０で実施するとしたが、動画像符号化装置１００よりも上位で設定することもできる。

符号列生成部１０４は、ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇをＳＰＳ、ＰＰＳ、スライスヘッダなど符号化ブロック以外の位置に多重化する。符号列解析部２０１は、ＳＰＳ、ＰＰＳ、スライスヘッダなど符号化ブロック以外の位置に多重化されたｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇを復号して動き情報再生部２０４に供給する。

ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇを符号化ストリーム中に多重化することで、予測効率を優先した符号化ストリームであるかどうかを容易に判断できる。また、予測効率を優先したブロック配置による符号化ストリームと処理効率を優先したブロック配置による符号化ストリームを共通の復号装置で復号できる。ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇが０または１のいずれかしか復号しない復号装置については、例えば、運用規定やＭＰＥＧ−４ＡＶＣのような符号化ツールを分類したプロファイルなどでｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇを０または１のいずれかに固定して符号化ストリームを生成し、ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇを無視または暗示的に設定することで符号化ストリームを正しく復号することができる。また、ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇを符号化ブロックのより上位のヘッダに多重化することで、図３２に示す動作を削減することができる。

ここでは、ｃｕ＿ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇによって予測効率を優先したブロック配置と処理効率を優先したブロック配置とを切り替えたが、例えば、符号化ブロックの分割回数が所定回数以上の場合には処理効率を優先したブロック配置とし、符号化ブロックが所定閾サイズ以上でない場合には予測効率を優先したブロック配置としたり、符号化ブロックが所定閾サイズ以下の場合には処理効率を優先したブロック配置とし、符号化ブロックが所定閾サイズ以下でない場合には予測効率を優先したブロック配置としたりすることもできる。また、所定閾サイズを最小の符号化ブロックサイズである８×８とすることで、最も処理量が増加する場合のみに適用することができ、処理量と予測効率を最適にバランスさせることができる。この場合、ステップＳ１０８において、符号化ブロックが所定閾サイズであるか判定することになる。符号化ブロックが符号化ブロックの分割回数が所定回数以上（または所定閾サイズ以下）の場合には処理効率を優先したブロック配置とし、符号化ブロックが符号化ブロックの分割回数が所定回数以上（または所定閾サイズ以下）でない場合には予測効率を優先したブロック配置とすることで、予測効率と処理量を容易に調節することが可能となる。なお、所定閾サイズまたは所定回数をＳＰＳ、ＰＰＳ、スライスヘッダなど符号化ブロック以外の位置に多重化するもできる。また、ｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇが１である場合には所定閾サイズまたは所定回数を定義し、ｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇが０である場合には所定閾サイズまたは所定回数を定義しないような意味としてｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇを利用して符号化ストリーム中に多重化することで、より柔軟に処理量と予測効率を調節することが可能となる。すなわち、ｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇを０とすることで、所定閾サイズまたは所定回数によらず、常に予測効率を優先したブロック配置とし、ｅｎａｂｌｅ＿ｃｕ＿ｐａｒａｌｌｅｌ＿ｆｌａｇを１とすることで、所定閾サイズまたは所定回数によって、予測効率と処理効率を切り替えて、処理量と予測効率を最適にバランスさせることを可能とする。

［実施の形態６］
以下、実施の形態６について説明する。実施の形態３の動画像符号化装置１００の予測ベクトルモード決定部１２０の構成と動きベクトル再生部２１１の動作について詳細に説明する。以下、予測ベクトルモード決定部１２０の詳細な構成について説明する。

（予測ベクトルモード決定部１２０の構成）
続いて、予測ベクトルモード決定部１２０の詳細な構成について説明する。図３３は、予測ベクトルモード決定部１２０の構成を示す。予測ベクトルモード決定部１２０は、予測ベクトル候補リスト生成部１３０および予測ベクトル決定部１３１を含む。端子１７は予測符号化モード決定部１２２に接続されている。

予測ベクトル候補リスト生成部１３０は、実施の形態６に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００内の動きベクトル再生部２１１の中にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて同一の予測ベクトル候補リストが生成される。

（予測ベクトルモード決定部１２０の動作）
以下、予測ベクトルモード決定部１２０の動作について説明する。

最初に、Ｌ０予測について以下の処理を行う。以下、Ｘは０とする。予測ベクトル候補リスト生成部１３０は、端子１３より供給されるＬＸ予測の参照インデックスを取得する。端子１２より供給される候補ブロック群とＬＸ予測の参照インデックスから予測ベクトル候補最大数の予測ベクトル候補を含むＬＸ予測の予測ベクトル候補リストを生成する。予測ベクトル候補リスト生成部１３０は、当該ＬＸ予測の予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。

予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬＸ予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬＸ予測の予測ベクトルとして選択して、当該ＬＸ予測の予測ベクトルインデックスを決定する。

予測ベクトル決定部１３１は、端子１３より供給されるＬＸ予測の動きベクトルからＬＸ予測の予測ベクトルを減算してＬＸ予測の差分ベクトルを算出し、当該ＬＸ予測の差分ベクトルと当該ＬＸ予測の予測ベクトルインデックスを出力する。

予測ベクトル決定部１３１は、端子１５より供給される画像信号と、端子１４より供給される参照画像を端子１３より供給されるＬＸ予測の動きベクトルおよびＬＸ予測の参照インデックスに基づいて動き補償予測したＬＸ予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、ＬＸ予測の差分ベクトル、ＬＸ予測の参照インデックス、およびＬＸ予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿ＬＸのレート歪評価値を算出する。

次に、Ｘを１としてＬ１予測についてＬ０予測と同じ処理を行う。

続いて、予測ベクトル決定部１３１は、端子１５より供給される画像信号と、Ｌ０予測の予測信号およびＬ１予測の予測信号を平均したＢＩ予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ０予測とＬ１予測の差分ベクトル、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿ＢＩのレート歪評価値を算出する。

予測ベクトル決定部１３１は、Ｐｒｅｄ＿Ｌ０のレート歪評価値、Ｐｒｅｄ＿Ｌ１のレート歪評価値、およびＰｒｅｄ＿ＢＩのレート歪評価値を比較して、最小のレート歪評価値である予測符号化モードを１つ選択する。そして、予測符号化モードに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。なお、予測符号化モードがＰｒｅｄ＿Ｌ０であれば、Ｌ１予測の動きベクトルは（０，０）、Ｌ１予測の参照インデックスは「−１」となり、予測符号化モードがＰｒｅｄ＿Ｌ１であれば、Ｌ０予測の動きベクトルは（０，０）、Ｌ０予測の参照インデックスは「−１」となる。

（予測ベクトル候補リスト生成部１３０の構成）
続いて、予測ベクトル候補リスト生成部１３０の詳細な構成について説明する。図３４は、予測ベクトル候補リスト生成部１３０の構成を説明するための図である。端子１８は予測ベクトル決定部１３１に接続されている。予測ベクトル候補リスト生成部１３０は、空間予測ベクトル候補生成部１５０、時間予測ベクトル候補生成部１５１、冗長予測ベクトル候補削除部１５２、及び予測ベクトル候補補充部１５３を含む。

（予測ベクトル候補リスト生成部１３０の動作）
以下、各部の機能と動作について説明する。予測ベクトル候補リスト生成部１３０は必要に応じてＬ０予測の予測ベクトル候補リストとＬ１予測の予測ベクトル候補リストを生成する。以下、ＬＸ予測として説明する。Ｘは０または１とする。図３５は、予測ベクトル候補リスト生成部１３０の動作を説明するためのフローチャートである。

まず、予測ベクトル候補リスト生成部１３０は、ＬＸ予測の予測ベクトル報候補リストを初期化する（Ｓ２００）。初期化されたＬＸ予測の予測ベクトル候補リストには予測ベクトル候補は存在しない。

端子１２より供給される空間候補ブロック群に含まれる候補ブロックを第１グループであるブロックＥとブロックＡ、第２グループであるブロックＣ、ブロックＢ、及びブロックＤの２グループに分け、第１グループ、第２グループの順に以下の処理を繰り返す（Ｓ２０１からＳ２０３）。

ここで、端子１２より供給される候補ブロック群は２Ｎ×２Ｎの候補ブロック群についてはマージモードと同一とし、２Ｎ×２Ｎ以外の候補ブロック群については２Ｎ×２Ｎと同じ位置関係の適用した候補ブロック群とする。また、端子１３より供給されるＬＸ予測の参照インデックス、端子１２より供給される候補ブロック群、及びＬＸ予測の予測ベクトル報候補リストは予測ベクトル候補リスト生成部１３０内部で共有されているものとして説明する。

空間予測ベクトル候補生成部１５０は、第ｉグループ（ｉは１または２）の候補ブロック群からＬＸ予測の空間予測ベクトル候補を０個または１個生成し、当該ＬＸ予測の空間予測ベクトル候補をＬＸ予測の予測ベクトル候補リストに追加し（Ｓ２０２）、当該ＬＸ予測の予測ベクトル候補リストと候補ブロック群を時間予測ベクトル候補生成部１５１に供給する。

ここで、空間予測ベクトル候補の具体的な導出方法について説明する。第１グループ及び第２グループについて以下の処理を繰り返す。第１グループは候補ブロックとしてブロックＥ、ブロックＡを順に検査し、第２グループは候補ブロックとしてブロックＣ、ブロックＢ、ブロックＤの順に検査する。

各候補ブロックについて、Ｌ０予測、Ｌ１予測の順に以下の処理を行う。以降、各候補ブロックのＬ０予測、Ｌ１予測をＬＮ予測として説明する。

候補ブロックのＬＮ予測の参照インデックスが示す参照画像が端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像と同一であるか検査する。

候補ブロックのＬＮ予測の参照インデックスが示す参照画像が端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像と同一であれば、候補ブロックのＬＮ予測の動きベクトルを空間予測ベクトル候補として処理を終了する。

候補ブロックのＬＮ予測の参照インデックスが示す参照画像が端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像と同一でなければ、次のＬＮ予測または次の候補ブロックを検査する。

全ての候補ブロックの検査が完了すれば、処理を終了する。

以上のように、各グループから０個または１個の空間予測ベクトル候補が導出され、ＬＸ予測としては０個から２個の空間予測ベクトル候補が導出される。

次に、時間予測ベクトル候補生成部１５１は、時間候補ブロック群からＬＸ予測の時間予測ベクトル候補を０個または１個生成し、当該ＬＸ予測の時間予測ベクトル候補をＬＸ予測の予測ベクトル候補リストに追加し（Ｓ２０４）、当該ＬＸ予測の予測ベクトル候補リストと候補ブロック群を予測ベクトル候補補充部１５３に供給する。

ここで、時間予測ベクトル候補の具体的な導出方法について説明する。
時間候補ブロック群を候補ブロックとしてブロックＨ、ブロックＩの順に検査する。
各候補ブロックについて、Ｌ０予測、Ｌ１予測の順に以下の処理を行う。以降、各候補ブロックのＬ０予測、Ｌ１予測をＬＮ予測として説明する。
候補ブロックのＬＮ予測が有効であるか検査する。候補ブロックのＬＮ予測が有効であるとは参照インデックスが０以上であることである。
候補ブロックのＬＮ予測が有効であれば、候補ブロックのＬＮ予測の動きベクトルを基準動きベクトルとして時間予測ベクトル候補を導出して処理を終了する。時間予測ベクトル候補の導出方法については後述する。
候補ブロックのＬＮ予測が有効でなければ、次の候補ブロックを検査する。
全ての候補ブロックの検査が完了すれば、処理を終了する。

ここで、時間予測ベクトル候補の導出方法について説明する。時間候補ブロックのあるＣｏｌＰｉｃと時間候補ブロックがＬＮ予測の動き補償予測で参照するピクチャであるＣｏｌＲｅｆＬＸＰｉｃの画像間距離をｔｄ、ＬＸ予測の参照インデックスが示す参照画像ＲｅｆＬＸＰｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をｔｂ、ＬＸ予測の基準動きベクトルをｍｖＬＸとして、時間予測ベクトル候補ｍｖＬＸＣｏｌは式１より算出される。

冗長予測ベクトル候補削除部１５２は、時間予測ベクトル候補生成部１５１より供給されるＬＸ予測の予測ベクトル候補リストに登録されている予測ベクトル候補を検査し、同一のベクトルを有する予測ベクトル候補が複数存在する場合には１つの予測ベクトル候補を残してその他の予測ベクトル候補を削除し、ＬＸ予測の予測ベクトル候補リストに登録されている予測ベクトル候補数が予測ベクトル候補最大数を超えている場合はＬＸ予測の予測ベクトル候補リストに登録されている予測ベクトル候補数が予測ベクトル候補最大数以下となるようにＬＸ予測の予測ベクトル候補リストの後方の予測ベクトル候補を削除して（Ｓ２０５）、当該ＬＸ予測の予測ベクトル候補リストを予測ベクトル候補補充部１５３に供給する。ここで、当該ＬＸ予測の予測ベクトル候補リストに登録されている結合動き情報候補は全てが異なる結合動き情報候補となる。

予測ベクトル候補補充部１５３は、予測ベクトル補充候補を生成し、冗長予測ベクトル候補削除部１５２より供給されるＬＸ予測の予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数になるように当該予測ベクトル補充候補をＬＸ予測の予測ベクトル候補リストに追加し（Ｓ２０６）、端子１８に供給する。予測ベクトル補充候補は動きベクトル（０，０）とする。ここでは、予測ベクトル補充候補を動きベクトル（０，０）としたが、（１，１）などの所定値でもよく、空間予測ベクトル候補の水平成分や垂直成分を＋１や−１などした動きベクトルでもよい。

ここでは、端子１２より供給される空間候補ブロック群に含まれる候補ブロックを２グループに分けて、各グループから１個ずつ空間予測動きベクトル候補を選択できるようにしたが、１グループにして２個の空間予測動きベクトル候補を選択してもよい。

以下、動きベクトル再生部２１１の詳細な構成について説明する。

（動きベクトル再生部２１１の詳細な構成）
続いて、動きベクトル再生部２１１の詳細な構成について説明する。図３６は、動きベクトル再生部２１１の構成を説明する図である。動きベクトル再生部２１１は、予測ベクトル候補リスト生成部２２０、予測ベクトル選択部２２１および加算部２２２を含む。端子３５は符号化モード判定部２１０に接続されている。

（動きベクトル再生部２１１の詳細な動作）
以下、各部の機能と動作について説明する。動きベクトル再生部２１１は、端子３５より供給されるインター予測タイプがＬ０予測であれば、Ｌ０予測について動きベクトルの算出を行い、インター予測タイプがＬ１予測であれば、Ｌ１予測について動きベクトルの算出を行い、インター予測タイプがＢＩ予測であれば、Ｌ０予測とＬ１予測について動きベクトルの算出を行う。各ＬＸ予測の動きベクトルの算出は以下のように行われる。

動きベクトル再生部２１１は、端子３５より供給されるＬＸ予測の参照インデックス及び端子３３より供給される候補ブロック群からＬＸ予測の予測ベクトル候補リストを生成する。当該ＬＸ予測の予測ベクトルリストからＬＸ予測の予測ベクトルインデックスによって示される予測ベクトル候補をＬＸ予測の予測ベクトルとして選択し、ＬＸ予測の予測ベクトルとＬＸ予測の差分ベクトルを加算してＬＸ予測の動きベクトルを算出する。

当該ＬＸ予測の動きベクトルとインター予測タイプとが組み合わされて動き情報が生成され、端子３４及び端子３６に供給される。

以上のように、マージ候補最大数が５であって相対的に候補数の多いマージモードでは、２Ｎ×２Ｎ以外の候補ブロック群については符号化ブロック内の全ての予測ブロックの候補ブロックとして予測ブロック０の候補ブロックを利用することで、結合動き情報候補リストを符号化ブロック内で共通化して候補選択に要する処理を並列化可能とし、予測ベクトル候補最大数が２であって相対的に候補数の少ない予測ベクトルモードでは、２Ｎ×２Ｎ以外の候補ブロック群については２Ｎ×２Ｎと同じ位置関係の適用した候補ブロックを利用し、予測効率を最適化することで、処理効率と予測効率を好適にすることができる。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００動画像符号化装置、１０１予測ブロック画像取得部、１０２減算部、１０３予測誤差符号化部、１０４符号列生成部、１０５予測誤差復号部、１０６動き補償部、１０７加算部、１０８動きベクトル検出部、１０９動き情報生成部、１１０フレームメモリ、１１１動き情報メモリ、１２０予測ベクトルモード決定部、１２１マージモード決定部、１２２予測符号化モード決定部、１３０予測ベクトル候補リスト生成部、１３１予測ベクトル決定部、１４０結合動き情報候補リスト生成部、１４１結合動き情報選択部、１５０空間予測ベクトル候補生成部、１５１時間予測ベクトル候補生成部、１５２冗長予測ベクトル候補削除部、１５３予測ベクトル候補補充部、１６０空間結合動き情報候補生成部、１６１時間結合動き情報候補生成部、１６２冗長結合動き情報候補削除部、１６３第１結合動き情報候補補充部、１６４第２結合動き情報候補補充部、１６５候補ブロック設定部、１６６代替結合動き情報候補補充部、２００動画像復号装置、２０１符号列解析部、２０２予測誤差復号部、２０３加算部、２０４動き情報再生部、２０５動き補償部、２０６フレームメモリ、２０７動き情報メモリ、２１０符号化モード判定部、２１１動きベクトル再生部、２１２結合動き情報再生部、２３０結合動き情報候補リスト生成部、２３１結合動き情報選択部。

Claims

１以上の予測ブロックからなる復号ブロックを復号する動画像復号装置であって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号部と、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成部と、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成部と、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択部と
を備えることを特徴とする動画像復号装置。
１以上の予測ブロックからなる復号ブロックを復号する動画像復号方法であって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップと
を有することを特徴とする動画像復号方法。
１以上の予測ブロックからなる復号ブロックを復号する動画像復号プログラムであって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップと
をコンピュータに実行させることを特徴とする動画像復号プログラム。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信装置であって、
動画像が符号化された符号化データを受信する受信部と、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理部と、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号部と、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成部と、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成部と、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択部と
を備えることを特徴とする受信装置。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信方法であって、
動画像が符号化された符号化データを受信する受信ステップと、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップと
を有することを特徴とする受信方法。
符号化ストリームから、１以上の予測ブロックからなる復号ブロックを復号する受信プログラムであって、
動画像が符号化された符号化データを受信する受信ステップと、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された、前記符号化ストリームの符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出することを示す情報であった場合、復号対象の予測ブロックのあるピクチャとは別の復号済みのピクチャの予測ブロックから、前記復号ブロック内の予測ブロックの全てに対して共通に利用する時間結合動き情報候補を導出する時間結合動き情報候補生成ステップと、
前記時間結合動き情報候補を含む複数の結合動き情報候補を生成する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から１つの結合動き情報候補を選択し、選択された前記１つの結合動き情報候補を前記復号対象の予測ブロックの動き情報として利用する結合動き情報選択ステップと
をコンピュータに実行させることを特徴とする受信プログラム。