JP5987768B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム - Google Patents

Description

本発明は、動画像信号の符号化技術に関し、特に動き補償予測に利用する動画像符号化技術に関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い、所定の符号化処理単位（以後、符号化対象ブロック）で、対象ピクチャと参照ピクチャとの間での動き量（以後、動きベクトル）を検出し、予測信号を生成する動き補償予測が用いられる。

ＡＶＣでは、動き補償予測において１つの参照ピクチャから１本の動きベクトルを利用して単一方向に予測信号を生成する単予測と、２つの参照ピクチャから２本の動きベクトルを利用して予測信号を生成する双予測が用いられる。これらを、符号化対象ブロックとなる１６×１６画素の２次元ブロック内で、予測処理対象となっているブロック（以後、予測対象ブロック）の大きさ（以後、予測ブロックサイズ）を可変にする手法や、複数の参照ピクチャの中から予測に用いる参照ピクチャを選択する手法に適用すること、また動きベクトルの精度を１／４画素精度で表現することで、予測信号の精度を向上し、伝送する差分（以後、予測誤差）の情報量を削減している。符号化側では、予測モード情報や参照画像を指定する情報を選択して動きベクトル情報と共に伝送し、復号側では、伝送された予測モード情報や参照画像を指定する情報と復号された動きベクトル情報に従って動き補償予測処理が施される。

動きベクトルの伝送については、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（以降、予測ベクトル）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。

しかしながら、ＡＶＣにおいては、予測ブロックサイズを小さくした場合に、符号化対象ブロックの画素に対して、符号化する際に必要となる動きベクトルの数が増大し、予測誤差を符号化した際に要する符号量に対して、動きベクトルの符号化に要する符号量が増大し、予測誤差を十分な精度で符号化出来ず、符号化された画像信号の品質が低下する課題があった。

動きベクトルの符号化に要する符号量が増大する課題を解決するために、ＡＶＣでは予測対象ブロックと同一位置にある参照ピクチャのブロックの符号化に用いられた動きベクトルを利用して、符号化ベクトルを伝送することなく動き補償予測を実現するダイレクト動き補償予測を用いることが可能になっている。

また、他の解決手段としては、特許文献１のように、符号化装置において予測ブロックサイズが小さい場合に、双予測を禁止し単予測のみを用いることで、符号化する動きベクトル数を少なくして、動きベクトルの符号量増大を防ぐ手法が知られている。

ＷＯ２００６／０８２６９０号公報

上述したダイレクト動き補償予測は、予測対象ブロックと同一位置にある参照ピクチャのブロックにおける時間方向の動きの連続性に着目し、他のブロックの動き情報をそのまま利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに動き補償予測処理を行う。

しかしながら、動きの連続性が十分保たれていない場合や、他ブロックの動き情報における動きベクトルが正確な動きを示していない場合などに、他のブロックの動き情報をそのまま利用する方式を用いた際には、ずれの生じた動き情報を用いた予測画像が生成される。その場合、精度良い動き補償予測画像を生成できず、符号化効率が向上しないという難しい面がある。

更に、１／４画素の動きベクトル精度で表現された動きベクトルより、予測信号を生成する際に、隣接する複数画素を用いた補間フィルタを用いて、動きベクトルにより指定された１／４画素精度の位置に対する予測画素を生成する為に、動き補償予測時に予測信号を生成するために、予測ブロックサイズに対して水平・垂直それぞれに補間フィルタのタップ数に相当する画素分の領域の参照ピクチャの画像信号を取得する必要があり、特に予測ブロックサイズを小さくした場合に、参照ピクチャのメモリアクセス量が増大する課題があり、ダイレクト動き補償予測を用いた際にも同様の課題が残る。

特許文献１の手法によれば、単予測に予測手法を制限することにより、動きベクトルの数と共に、符号化装置における参照ピクチャのメモリアクセス量に関しては削減できるが、復号装置においては、符号化される動きベクトルの数に対する制限を認識できないため、実時間の復号処理を実現するためには、双予測が施される場合を想定した復号処理能力が必要となる。また、ダイレクト動き補償予測などの、符号化ベクトルを伝送しない予測手法を用いた場合に、暗黙で双予測が用いられる条件の場合には、双予測の予測信号生成が必要となり、復号装置に要求される最大メモリアクセス量を削減する事が出来ず、課題は解決しない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測を使用する際の参照ピクチャのメモリアクセス量を所定量以下に制限しつつ、符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化装置であって、符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築部（１５０６）と、前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加部と、前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化部（１１８）と、前記動き情報候補を変換する動き情報変換部（１５０７）と、前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測部（１１２）とを備える。前記動き情報変換部（１５０７）は、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加部が前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、前記動き補償予測部（１１２）は、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行う。

本発明のさらに別の態様は、動画像符号化方法である。この方法は、ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法であって、符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、前記動き情報候補を変換する動き情報変換ステップと、前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備える。前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行う。

本発明のさらに別の態様は、送信装置である。この装置は、ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法により符号化された前記符号化ストリームをパケット化して符号化データを得るパケット処理部と、パケット化された前記符号化データを送信する送信部とを備える。前記動画像符号化方法は、符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、前記動き情報候補を変換する動き情報変換ステップと、前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備える。前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行う。

本発明のさらに別の態様は、送信方法である。この方法は、ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法により符号化された前記符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとを備える。前記動画像符号化方法は、符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、前記動き情報候補を変換する動き情報変換ステップと、前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備える。前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行う。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、参照ピクチャのメモリアクセス量を所定量以下に制限しつつ、符号化効率を向上させることができる。

本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。 符号化対象画像の分割構造の一例を示す図である。 ＣＵ／予測ブロックサイズの詳細な定義を示す図である。 図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明するための図である。 本発明の実施の形態１に係る動画像符号化装置における符号化ブロック単位の符号化処理の動作の流れを示すフローチャートである。 図５のステップＳ５０３におけるＣＵ予測モード／予測信号生成処理の詳細動作を説明するためのフローチャートである。 図６のステップＳ６０８における動き補償予測ブロック（ＰＵ）サイズ選択／予測信号生成処理の詳細動作を説明するためのフローチャートである。 図８（ａ）（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。 動き補償予測に水平・垂直７タップフィルタを用いた場合の動き補償予測に必要な参照画像メモリ量の概算値を示す図である。 本発明の実施の形態１に係る、動き補償予測のブロックサイズ及び予測処理を制御する制御パラメータを説明するための図である。 本発明の実施の形態１に係る動画像復号装置の構成を示す図である。 本発明の実施の形態１に係る動画像復号装置における符号化ブロック単位の復号処理の動作の流れを示すフローチャートである。 図１２のステップＳ１２０２におけるＣＵ単位復号処理の詳細動作を説明するためのフローチャートである。 図１３のステップＳ１３１０におけるＣＵ単位動き補償予測復号処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態１の動画像符号化装置における動き補償予測ブロック構造選択部の詳細な構成を示す図である。 結合動き情報算出部の構成を示す図である。 図１５の動き補償予測ブロック構造選択部を介して動作する、図７のステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０５である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。 図１７のステップＳ１７０１における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。 空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。 図１８のステップＳ１８００における空間結合動き情報候補リスト生成処理の詳細動作を説明するためのフローチャートである。 図１８のステップＳ１８０１における結合動き情報候補削除処理の詳細動作を説明するためのフローチャートである。 結合動き情報候補が４つの場合のリスト中の候補の比較関係を示す図である。 図２３（ａ）（ｂ）は、結合動き情報候補の比較内容の一例を示す図である。 時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。 図１８のステップＳ１８０２における時間結合動き情報候補リスト生成処理の詳細動作を説明するためのフローチャートである。 時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。 図１８のステップＳ１８０３における第１結合動き情報候補リスト追加処理の詳細動作を説明するためのフローチャートである。 第１結合動き情報候補リスト追加処理における、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である 図１８のステップＳ１８０４における第２結合動き情報候補リスト追加処理の詳細動作を説明するためのフローチャートである。 図１７のステップＳ１７０３における結合動き情報候補単予測変換処理の詳細動作を説明するためのフローチャートである。 図１７のステップＳ１７０４における結合予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。 結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。 図１７のステップＳ１７０５における予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。 予測ブロックの動き情報に関するシンタックスである。 予測ブロックサイズによる双予測及び予測処理の制限を制御するパラメータに関するシンタックスである。 本発明の実施の形態１の動画像復号装置における動き情報復号部の詳細な構成を示す図である。 図１４のステップＳ１４０２、Ｓ１４０６、Ｓ１４０８、Ｓ１４１０における予測ブロック単位復号処理の詳細動作を説明するためのフローチャートである。 図３７のステップＳ３７０２における動き情報復号処理の詳細動作を説明するためのフローチャートである。 図３８のステップＳ３８０１における結合予測動き情報復号処理の詳細動作を説明するためのフローチャートである。 図３８のステップＳ３８０５における予測動き情報復号処理の詳細動作を説明するためのフローチャートである。 レベルと連動した予測ブロックサイズ制御パラメータの制限を示す一例である。 本発明の実施の形態１の別構成における、予測ブロックサイズの分割構造を示す図である。 本発明の実施の形態１の別構成における、動き補償予測のブロックサイズ及び予測処理を制御する制御パラメータを説明するための図である。 本発明の実施の形態１において、動き補償予測のブロックサイズ及び予測処理を制御する２つの制御パラメータを１つの符号化伝送パラメータとして統合した一例である。 本発明の実施の形態２に係る、動き補償予測のブロックサイズ及び予測処理を制御する制御パラメータを説明するための図である 本発明の実施の形態２に係る、双予測を制御する制御パラメータと予測ブロックサイズの関係を示す図である 本発明の実施の形態２における、予測ブロックサイズによる双予測及び予測処理の制限を制御するパラメータに関するシンタックスの一例である。 本発明の実施の形態３における、結合動き情報候補生成における空間周辺予測ブロックの定義の一例を示す図である。 本発明の実施の形態３における、動き補償予測ブロック（ＰＵ）サイズ選択／予測信号生成処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態３における、動き補償予測モード／予測信号生成処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態３における、結合予測動き情報復号処理の一例の詳細動作を説明するためのフローチャートである。 本発明の実施の形態４における、動き補償予測ブロック生成処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態５における、結合動き情報候補リスト生成処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態５における、結合動き情報候補単予測変換処理の詳細動作を説明するためのフローチャートである。 本発明の実施の形態６における、結合動き情報候補単予測変換処理の詳細動作を説明するためのフローチャートである。

以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。

（実施の形態１）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像符号化装置は、入力端子１００、入力画像メモリ１０１、符号化ブロック取得部１０２、減算部１０３、直交変換・量子化部１０４、予測誤差符号化部１０５、逆量子化・逆変換部１０６、加算部１０７、フレーム内復号画像バッファ１０８、ループフィルタ部１０９、復号画像メモリ１１０、動きベクトル検出部１１１、動き補償予測部１１２、動き補償予測ブロック構造選択部１１３、イントラ予測部１１４、イントラ予測ブロック構造選択部１１５、予測モード選択部１１６、符号化ブロック構造選択部１１７、ブロック構造／予測モード情報付加情報符号化部１１８、予測モード情報メモリ１１９、多重化部１２０、出力端子１２１、及び符号化ブロック制御パラメータ生成部１２２を備える。

入力端子１００より入力される画像信号は、入力画像メモリ１０１に格納され、入力画像メモリ１０１より、符号化対象ピクチャに対する処理対象の画像信号が、符号化ブロック取得部１０２に入力される。符号化ブロック取得部１０２により符号化対象ブロックの位置情報に基づいて切り出された符号化対象ブロックの画像信号は、減算部１０３、動きベクトル検出部１１１、動き補償予測部１１２、及びイントラ予測部１１４に供給される。

図２は、符号化対象画像の一例を示す図である。実施の形態１に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック単位で符号化処理され、予測ブロックは符号化ブロックを基準に構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。ＣＵの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合は、更に水平・垂直に分割された予測ブロックを符号化ブロック（ＣＵ）として階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。４分割されたＣＵの上位階層ＣＵから見た分割領域をここでは分割１、分割２、分割３、分割４と定義する。

図３は、予測ブロックサイズの詳細な定義の一例を示す図である。ＣＵのブロックサイズ（ＣＵサイズ）は、ＣＵ分割数（ＣＵ＿Ｄｅｐｔｈ）が０である６４画素×６４画素から、ＣＵ分割数が３である８×８画素まで定義され、最大の予測ブロックサイズはＣＵ＿Ｄｅｐｔｈ＝０で非分割（２Ｎ×２Ｎ）の６４画素×６４画素、最小の予測ブロックサイズはＣＵ＿Ｄｅｐｔｈ＝３で水平・垂直への分割（Ｎ×Ｎ）の４画素×４画素までの予測ブロックサイズが存在することになる。

画面間の相関を用いて予測を行う、動き補償予測を行う場合の予測ブロックサイズは、ＣＵの予測ブロックへの分割構成に対して、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）を可能としており、計１３種類の予測ブロックサイズが定義可能であるが、画面内の相関を用いて予測を行うイントラ予測の場合の予測ブロックサイズは、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）を可能としないため、計５種類の予測ブロックサイズが定義される。

本発明の実施の形態１に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。定義できる符号化ブロックサイズは、図３に示すMaximum_cu_sizeやMinimum_cu_sizeなどの制御パラメータを用いて最大ＣＵサイズや最小ＣＵサイズを設定し、これらの制御パラメータを符号化・復号することで、変化させることが可能である。

図１に戻り、減算部１０３は、符号化ブロック取得部１０２より供給される画像信号と符号化ブロック構造選択部１１７より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０４に供給する。

直交変換・量子化部１０４は、減算部１０３より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０５及び逆量子化・逆変換部１０６に供給する。

予測誤差符号化部１０５は、直交変換・量子化部１０４より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１２０に供給する。

逆量子化・逆変換部１０６は、直交変換・量子化部１０４より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０７に供給する。

加算部１０７は、逆量子化・逆変換部１０６より供給される復号予測誤差信号と、符号化ブロック構造選択部１１７より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号をフレーム内復号画像バッファ１０８及びループフィルタ部１０９に供給する。

フレーム内復号画像バッファ１０８は、符号化対象ブロックに隣接した領域の同一フレーム内の復号画像をイントラ予測部１１４に供給すると共に、加算部１０７より供給される復号画像信号を格納する。

ループフィルタ部１０９は、加算部１０７より供給される復号画像信号に対して、符号化によって生じる歪の除去や符号化前画像に近づける復元処理を、フィルタを施すことにより行い、フィルタ処理を行った結果の復号画像を復号画像メモリ１１０に供給する。

復号画像メモリ１１０は、ループフィルタ部１０９より供給されるフィルタ処理を行った復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１１１と動き補償予測部１１２に供給する。

動きベクトル検出部１１１は、符号化ブロック取得部１０２より供給される符号化対象ブロックの画像信号と、復号画像メモリ１１０に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を動き補償予測部１１２及び動き補償予測ブロック構造選択部１１３に供給する。

一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。

動き補償予測部１１２は、動き補償予測ブロック構造選択部１１３より指定される予測ブロック構造を指定する情報及び参照画像指定情報と、動きベクトル検出部１１１より入力される動きベクトル値に従って、復号画像メモリ１１０内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。

動き補償予測ブロック構造選択部１１３より指定される予測モードが単一の参照画像からの予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが２つの参照画像からの予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード選択部１１６に供給する。ここでは双予測の重みづけ平均の比率を１：１とする。

図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明するための図である。単一の参照画像からの予測を行う処理を単予測と定義し、単予測の場合はＬ０予測またはＬ１予測という、参照画像管理リストに登録された２つの参照画像のいずれか一方を利用した予測を行う。

図４（ａ）は単予測であってＬ０予測の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は単予測であってＬ０予測の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０予測の参照画像をＬ１予測の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて単予測を行うこともできる。

２つの参照画像からの予測を行う処理を双予測と定義し、双予測の場合はＬ０予測とＬ１予測の双方を利用してＢＩ予測と表現する。図４（ｃ）は双予測であってＬ０予測の参照画像が符号化対象画像より前の時刻にあって、Ｌ１予測の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双予測であってＬ０予測の参照画像とＬ１予測の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測種別と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。また双予測の場合に、同一の参照ピクチャを用いてＬ０予測及びＬ１予測のそれぞれを行ってもよい。なお、動き補償予測を単予測で行うか双予測で行うかの判断は、例えばＬ０予測を利用するか否か及びＬ１予測を利用するか否かを示す情報（例えば、フラグ）に基づき判断される。

双予測は２つの参照画像メモリへの画像情報アクセスが必要となるため、単予測と比較して２倍以上のメモリ帯域を必要とする場合がある。ハードウェアを構成する場合、動き補償予測の予測ブロックサイズが小さい場合の双予測がメモリ帯域のボトルネックとなり、本発明の実施の形態ではメモリ帯域のボトルネックを抑制する。

図１に戻り、動き補償予測ブロック構造選択部１１３は、動きベクトル検出部１１１より入力される各参照画像に対して検出された動きベクトル値と、予測モード情報メモリ１１９に格納された動き情報（予測種別、動きベクトル値、及び参照画像指定情報）をもとに、符号化ブロック制御パラメータ生成部１２２で生成された、実施の形態１において定義した予測ブロックサイズ及び動き補償予測モードに関する制御パラメータが入力され、制御パラメータに基づいて決められた、予測ブロックサイズ及び動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１１２に設定する。設定した値によって、動き補償予測部１１２から供給される動き補償予測信号と、符号化ブロック取得部１０２より供給される符号化対象ブロックの画像信号を用いて、最適な予測ブロックサイズと動き補償予測モードを決定する。

動き補償予測ブロック構造選択部１１３は、決定した予測ブロックサイズ、動き補償予測モード、予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を、動き補償予測信号及び予測誤差に対する誤差評価値と共に予測モード選択部１１６に供給する。

イントラ予測部１１４は、イントラ予測ブロック構造選択部１１５より指定される予測ブロック構造を指定する情報と定義されたイントラ予測モードに従って、フレーム内復号画像バッファ１０８より供給される符号化対象ブロックに隣接した同一フレーム内の復号画像を用いて、イントラ予測信号を生成しイントラ予測ブロック構造選択部１１５に供給する。

イントラ予測ブロック構造選択部１１５は、予測モード情報メモリ１１９に格納されたイントラ予測モード情報と複数の定義されたイントラ予測モードに従って、符号化ブロック制御パラメータ生成部１２２で生成された、実施の形態１において定義した予測ブロックサイズに関する制御パラメータが入力され、制御パラメータに基づいて決められた予測ブロックサイズのそれぞれに対して用いられるイントラ予測モードをイントラ予測部１１４に設定する。設定した値によって、イントラ予測部１１４から供給されるイントラ予測信号と、符号化ブロック取得部１０２より供給される符号化対象ブロックの画像信号を用いて、最適な予測ブロックサイズとイントラ予測モードを決定する。

また、イントラ予測ブロック構造選択部１１５は、決定した予測ブロックサイズ、イントラ予測モードを特定する情報を、イントラ予測信号及び予測誤差に対する誤差評価値と共に予測モード選択部１１６に供給する。

予測モード選択部１１６は、動き補償予測ブロック構造選択部１１３より供給される、決定した予測ブロックサイズ、動き補償予測モード、予測モードに応じた予測種別、動きベクトル、参照画像指定情報を特定する情報、及び予測誤差に対する誤差評価値と、イントラ予測ブロック構造選択部１１５より供給される、決定した予測ブロックサイズ、イントラ予測モード、及び予測誤差に対する誤差評価値より、階層的に構成されるＣＵサイズ単位の最適な予測モードを、誤差評価値を比較し選択する。

予測モード選択部１１６により選択された、ＣＵサイズ単位の最適な予測モード情報として、予測ブロックサイズ、予測信号、誤差評価値のＣＵサイズ単位の総和と共に、動き補償予測が選択された場合には、動き補償予測モード、予測モードに応じた予測種別、動きベクトル、参照画像指定情報を特定する情報、及び動き補償予測信号が、イントラ予測が選択された場合には、イントラ予測モード、及びイントラ予測信号が、符号化ブロック構造選択部１１７に供給される。

符号化ブロック構造選択部１１７は、予測モード選択部１１６より供給されたＣＵサイズ単位の最適な予測モード情報を元に、符号化ブロック制御パラメータ生成部１２２で生成された、実施の形態１において定義した符号化ブロックサイズに関する制御パラメータが入力され、制御パラメータに基づいて決められた符号化ブロックサイズ構成において最適なＣＵ＿Ｄｅｐｔｈ構成を選択し、ＣＵ分割構成を指定する情報と、指定された分割構成毎のＣＵサイズにおける最適な予測モード情報と予測モードに関連する付加情報（動き情報、イントラ予測モード）を、ブロック構造／予測モード情報付加情報符号化部１１８に供給すると共に、選択した予測信号を減算部１０３及び加算部１０７に供給する。

ブロック構造／予測モード情報付加情報符号化部１１８は、符号化ブロック構造選択部１１７より供給された、ＣＵ分割構成を指定する情報と、指定した分割構成毎のＣＵサイズにおける最適な予測モード情報と予測モードに関連する付加情報と、符号化ブロック制御パラメータ生成部１２２より供給された、符号化ブロック及び予測ブロック構造に関する制御パラメータを、所定のシンタックス構造に従って符号化することで、符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報を符号化し、多重化部１２０に供給すると共に、これらの情報を予測モード情報メモリ１１９に格納する。

予測モード情報メモリ１１９は、ブロック構造／予測モード情報付加情報符号化部１１８より供給される符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。実施の形態１は画面間の予測である動き補償予測に注目したものであるため、モード情報における動き補償予測に関連する情報である動き情報（予測種別、動きベクトル、及び参照画像インデックス）に対して、説明を加える。

動き補償予測の処理対象である予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とし、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。

ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画像メモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。

予測モード情報メモリ１１９は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き補償予測ブロック構造選択部１１３に供給すると共に、イントラ予測ブロックの隣接ブロックのイントラ予測モード情報をイントラ予測ブロック構造選択部１１５に供給する。

多重化部１２０は、予測誤差符号化部１０５から供給される予測誤差の符号化列と、ブロック構造／予測モード情報付加情報符号化部１１８から供給される符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報及び付加情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１２１経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。

符号化ブロック制御パラメータ生成部１２２は、実施の形態１における、符号化ブロック構造を定義するパラメータである、図３に示すMaximum_cu_sizeやMinimum_cu_size等の制御パラメータや、動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータ等の、符号化ブロック構造や予測ブロック構造を定義するためのパラメータを生成し、動き補償予測ブロック構造選択部１１３、イントラ予測ブロック構造選択部１１５、符号化ブロック構造選択部１１７、及びブロック構造／予測モード情報付加情報符号化部１１８に供給する。動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータに関する詳細については後述する。

図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図５は、本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れを示すフローチャートである。符号化ブロック単位毎に、ＣＵ分割の制御パラメータであるＣＵ＿Ｄｅｐｔｈを０に初期化（Ｓ５００）し、符号化ブロック取得部１０２より符号化処理対象ブロック画像を取得する（Ｓ５０１）。動きベクトル検出部１１１は、符号化対象ブロック画像よりＣＵ分割に応じた予測対象のブロック画像と復号画像メモリ１１０に格納された複数の参照画像より、ＣＵ分割に応じた参照画像毎の動きベクトル値を算出する（Ｓ５０２）。

続いて、動き補償予測ブロック構造選択部１１３は、動きベクトル検出部１１１より供給される動きベクトルと、予測モード情報メモリ１１９に格納された動き情報及びイントラ予測モード情報を用いて、実施の形態１において定義した予測ブロックサイズ、動き補償予測モードのそれぞれに対する予測信号を、動き補償予測部１１２を用いて取得し、最適なＣＵ単位の予測ブロックサイズ及び予測モードを選択した結果を出力する。また、イントラ予測ブロック構造選択部１１５は、予測ブロックサイズ、イントラ予測モードのそれぞれに対する予測信号を、イントラ予測部１１４を用いて取得し、最適なＣＵ単位の予測ブロックサイズ及び予測モードを選択した結果を出力する。符号化ブロック構造選択部１１７は、これらの結果を用いて最適な符号化ブロック構造における予測モードと予測信号を生成する（Ｓ５０３）。ステップＳ５０３の処理の詳細については後述する。

続いて、減算部１０３は、符号化ブロック取得部１０２より供給された符号化処理ブロック画像と、符号化ブロック構造選択部１１７より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０４）。ブロック構造／予測モード情報付加情報符号化部１１８は、符号化ブロック構造選択部１１７より供給される符号化構造、予測モード、動き補償予測の場合の予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報、イントラ予測の場合のイントラ予測モード情報を、所定のシンタックス構造に従って符号化し、符号化構造と予測モード情報に関連する付加情報の符号化データを生成する（Ｓ５０５）。

続いて、予測誤差符号化部１０５は、直交変換・量子化部１０４で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０６）。多重化部１２０は、ブロック構造／予測モード情報付加情報符号化部１１８から供給される符号化構造と予測モード情報に関連する付加情報の符号化データと、予測誤差符号化部１０５から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０７）。

加算部１０７は、逆量子化・逆変換部１０６より供給される復号予測誤差信号と、符号化ブロック構造選択部１１７より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０８）。予測モード情報メモリ１１９は、ブロック構造／予測モード情報付加情報符号化部１１８より供給される符号化構造と予測モード情報に関連する付加情報として、動き補償予測が用いられた場合の動き情報（予測種別、動きベクトル、及び参照画像指定情報）と、イントラ予測が用いられた場合のイントラ予測モード情報を、最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。

加算部１０７によって、生成された復号画像信号はフレーム内復号画像バッファ１０８に格納されると共に、ループフィルタ部１０９において、歪除去のためのループフィルタ処理が施され（Ｓ５１０）、フィルタを施された復号画像信号が復号画像メモリ１１０に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５１１）。

［ＣＵ単位の予測モード／予測信号生成処理の詳細］
次に、図５のフローチャートにおけるステップＳ５０３であるＣＵ単位の予測モード／予測信号生成処理の詳細について、図６のフローチャートを用いて説明する。

最初に、設定された最大ＣＵサイズと最小ＣＵサイズの間の階層数を示す値をＭａｘ_ＣＵ＿Ｄｅｐｔｈとして、対象ＣＵのＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより小さいか否かを判定する（Ｓ６００）。実施の形態１においては、図３に示すＣＵ分割構成を取るものとし、Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈ＝３とする。

ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより小さい場合には（Ｓ６００：ＹＥＳ）、ＣＵ＿Ｄｅｐｔｈを１加算して（Ｓ６０１）、現在の対象ＣＵを４分割した一階層下のＣＵに対する、ＣＵ単位の予測モード／予測信号生成処理を行う（Ｓ６０２−Ｓ６０５）。図２で示したＣＵの分割領域に対して、分割１領域の処理（Ｓ６０２）、分割２領域の処理（Ｓ６０３）、分割３領域の処理（Ｓ６０４）、分割４領域の処理（Ｓ６０５）の順で、再帰的に図６のフローチャートで説明されるＣＵ単位の予測モード／予測信号生成処理が行われる。

各ＣＵ分割領域の予測モード算出結果の内、誤差評価値が積算され、４つの分割ＣＵの誤差評価値総和が算出される（Ｓ６０６）。

一方、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈ以上の場合（Ｓ６００：ＮＯ）には、図１のイントラ予測ブロック構造選択部１１５及びイントラ予測部１１４において、イントラ予測モードの算出と予測信号の生成が行われ（Ｓ６０７）、対象ＣＵにおけるイントラ予測のモード情報、予測信号と誤差評価値が算出される。

続いて、動き補償予測ブロック構造選択部１１３及び動き補償予測部１１２において、動き補償予測ブロックサイズの選択と、選択された予測ブロック単位の動き補償予測モード及び予測信号生成が行われ（Ｓ６０８）、対象ＣＵにおける動き補償予測の予測ブロックサイズ、モード情報、動き情報、予測信号と誤差評価値が算出される。ステップＳ６０８の詳細に関しては、後述する。

続いて、符号化ブロック構造選択部１１７は、対象ＣＵにおけるイントラ予測の誤差評価値と、動き補償予測の誤差評価値を比較して、誤差の少ない予測手法を選択しイントラ／インター（動き補償予測）の判定を行う（Ｓ６０９）。

次に、再帰的に施された図６のフローチャートの処理（図６のＳ６０２−Ｓ６０５）と誤差評価値の総和算出（Ｓ６０６）によって生成された、対象ＣＵよりも下位階層の（ＣＵ＿Ｄｅｐｔｈが大きい）ＣＵに対する誤差評価値と、対象ＣＵの誤差評価値を比較し、予測に適用するＣＵ＿Ｄｅｐｔｈの判定を行う（Ｓ６１０）。

再帰的に図６のフローチャートで示される処理が呼び出されるために、最も下位（ＣＵ＿Ｄｅｐｔｈ＝Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈ）のＣＵから上位のＣＵに対して、順次比較が行われ、ＣＵの分割領域毎の最適なＣＵ＿Ｄｅｐｔｈと予測モードが選択できる。

最後に、選択された、対象ＣＵと対象ＣＵより下位のＣＵの間での最適ＣＵ＿Ｄｅｐｔｈ、予測モード及び、選択されたイントラ予測または動き補償予測に関する付加情報と、誤差評価値及び予測信号が格納され（Ｓ６１１）、対象ＣＵにおける予測モード／予測信号生成処理が終了する。

［動き補償予測ブロックサイズ選択／予測信号生成処理の詳細］
次に、図６のフローチャートにおけるステップＳ６０８である対象ＣＵにおける動き補償予測ブロックサイズ選択及び、予測ブロック単位の動き補償予測モード／予測信号生成処理の詳細について、図７のフローチャートを用いて説明する。

最初に、対象ＣＵに対して予測対象となる符号化ブロック画像を取得する（Ｓ７００）。次に、図３に示した構成により、ＣＵ内分割モード毎の動き補償予測モード／予測信号生成処理を行う（Ｓ７０１〜Ｓ７０５）。

先ず、ＣＵ内分割モードが２Ｎ×２Ｎの場合の動き補償予測モード／予測信号生成処理を、分割数を示す値であるＮｕｍＰａｒｔを１に設定して行う（Ｓ７０１）。続いて、ＮｕｍＰａｒｔを２に設定して、２Ｎ×Ｎの場合（Ｓ７０２）、Ｎ×２Ｎの場合（Ｓ７０３）の動き補償予測モード／予測信号生成処理を行う。

次に、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈと等しく且つ、対象ＣＵサイズが８×８で、後述するinter_4x4_enableフラグが１である場合（Ｓ７０４：ＹＥＳ）、ＮｕｍＰａｒｔを４に設定して、Ｎ×Ｎの場合の動き補償予測モード／予測信号生成処理を行う（Ｓ７０５）。ステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０５で施される、動き補償予測モード／予測信号生成処理の詳細は後述する。ステップＳ７０４の条件を満たさない場合（Ｓ７０４：ＮＯ）には、ステップＳ７０５をスキップし後続するステップが施される。

実施の形態１においては、２Ｎ×２Ｎ（Ｓ７０１）、２Ｎ×Ｎ（Ｓ７０２）、Ｎ×２Ｎ（Ｓ７０３）、及びＮ×Ｎ（Ｓ７０５）の順で、ＣＵ内分割における動き補償予測／予測信号生成を行っているが、上記ＣＵ分割それぞれのステップの処理順に関しては、順序が変更されても構わず、また並列処理を可能とするＣＰＵ等で処理を施す場合に、Ｓ７０１、Ｓ７０２、Ｓ７０３及びＳ７０５を並列に行うことも可能である。

続いて、動き補償予測モード／予測信号生成を行った、ＣＵ内分割モード毎の誤差評価値を比較し、最適なＣＵ内分割モードである最適予測ブロックサイズ（ＰＵ）を選択する（Ｓ７０６）。選択されたＰＵに対する予測モード情報／誤差評価値／予測信号が格納され（Ｓ７０７）、図６のフローチャートにおけるステップＳ６０８の処理が終了する。

［実施の形態１における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。

第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。

ここで、空間的に隣接するブロックとは予測対象ブロックと同じ画像に属する符号化済みブロックの中で、予測対象ブロックに隣接するブロックを指す。ここで、時間的に隣接するブロックとは予測対象ブロックとは別の符号化済みの画像に属するブロックの中で、予測対象ブロックと同一空間位置及びその周辺にあるブロックを指す。

結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（結合動き情報インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。ＳｋｉｐモードはＣＵ内分割モードが２Ｎ×２Ｎの場合に用いることが可能であり、Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。

第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、双予測であるか単予測であるかを示す予測種別、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。

動き検出予測モードには、単予測と双予測のどちらを使用するか予測モードで指示し、単予測単予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（予測ベクトルインデックス）と差分ベクトルの２つを符号化することで伝送される。

[実施の形態１における、動き補償予測のブロックサイズ及び予測処理を制限する手法に関する説明]
次に、動き補償予測における予測時に必要な参照画像メモリ量に関する概算値を図９に示し、実施の形態１における予測ブロックサイズと予測処理の制限手法の説明を行う。動き補償予測においては、動きの精度を細かくすることで予測精度を向上させており、ＡＶＣを例にとると、１／４画素精度で動きベクトルを検出・伝送することが可能となっている。

実施の形態１においても、１／４画素精度で動きベクトルを検出・伝送する構成を取り、１／４画素精度の動きに対する動き補償予測信号を生成する際には、参照画像に存在する整数動き位置の画素を複数画素用いて、補間フィルタにより１／４画素精度の動き位置の参照画像の画素を算出する。実施の形態１における動画像符号化装置、動画像復号装置においては、補間フィルタとして７タップのＦＩＲフィルタを用いる。

７タップのフィルタを施す為には、対象となる位置に最も近い水平・垂直の整数動き位置の画素に対して、水平および垂直にプラスマイナス６画素の画素を取得する必要がある。予測ブロックの右境界部分において３／４画素離れた動き位置の予測画像を取得する際には、対象となる位置に最も近い整数動き位置の画素が、予測ブロックの１画素外に属する画素となるため、更に１画素取得する画素が増加し、予測ブロックサイズに対して、水平および垂直にタップ数と同じ７画素分のフィルタ処理に必要な参照画像取得が必要となる。

図９は、７タップフィルタを施す場合の、実施の形態１における図３で示した動き補償予測の定義可能なそれぞれの予測ブロックサイズにおいて、単予測及び双予測を行う際にメモリ帯域として確保が必要な、参照画像のメモリアクセス量を示す。符号化装置及び復号装置の参照画像メモリの構成によっては、メモリアクセスが水平４画素単位で可能な構成や、水平・垂直２×２画素単位で可能な構成など、様々な構成を取ることができるが、上記メモリアクセス量は、参照画像メモリの構成に関わらず最小限取得が必要なメモリアクセス量の最大値を示している。

予測ブロックサイズの大きさに関わらず、フィルタ処理の為に追加で取得が必要となる水平・垂直のサイズは変わらないため、４×４画素サイズの場合が最も符号化ブロックサイズ（ＬＣＵ）単位でのメモリアクセス量は大きくなり、６４×６４画素サイズの６倍近くのアクセスが必要となる。また、双予測の動き補償予測の場合には、異なる位置の参照画像から２つの予測信号を取得するため、単予測の２倍のメモリアクセスが必要となる。

動き補償予測のブロックサイズが小さい場合や、双予測の動き補償の場合に確保する必要があるメモリ帯域は、特に符号化する画像サイズが大きくなりハイビジョン以上の高精細画像になる場合に大きくなり、符号化装置及び復号装置の実現性が困難になる課題がある。本発明においては、メモリ帯域を制限するための、参照画像のメモリアクセス最大量が段階的に制御できる、動き補償予測の制限手法と制限するための制御パラメータの定義及び設定手法を提供し、高精細画像における動画像符号化装置の実現性と符号化効率を両立することを可能とする。

続いて、図１０に本発明の実施の形態１における、図１の符号化ブロック制御パラメータ生成部１２２において生成する、動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータの一例を示し、説明する。

制御パラメータは、最も小さな動き補償予測ブロックサイズである４×４画素の動き補償予測の有効・無効を制御するパラメータである、inter_4x4_enableと、動き補償予測の内、双予測が施される予測処理のみを禁止するブロックサイズを定義する、inter_bipred_restriction_idcの２つのパラメータで構成される。

図９の必要な参照画像メモリ量を比較すると、最もアクセス量が大きな条件から、４×４双予測、４×８／８×４双予測、４×４単予測、８×８双予測、８×１６／１６×８双予測、４×８／８×４単予測、１６×１６双予測の順となっており、単予測に関しては、４×４画素の最小予測ブロックサイズ以外は比較的アクセス量が少ない。

そのため、最小予測ブロックサイズに関しては、動き補償予測処理そのものを禁止する制御パラメータであるinter_4x4_enableを用意し、各ブロックサイズに関して、更に双予測に対する制限を加えるinter_bipred_restriction_idcを制御パラメータとして用意することで、段階的なメモリアクセス量の制御を明示的に実現できる。

ちなみに、４×８／８×４単予測に関しては、１６×１６双予測よりはメモリアクセス量が多くなるが、４×８／８×４単予測に対して制限を加える場合には、それよりもメモリアクセス量の大きな４×４及び４×８／８×４双予測にも制限をかける必要があり、その場合には最小ＣＵサイズを１６×１６に設定することで、ＣＵ内分割モードがＮ×Ｎである８×８ブロックより小さな予測ブロックサイズの動き補償予測全体を禁止できるため、動き補償予測処理そのものを禁止に関しては、固定的な最小予測ブロックサイズに対する制限を有する構成で、段階的なメモリアクセス量の制御が可能である。

上記制御を行う場合には、inter_4x4_enableとinter_bipred_restriction_idcに加えて、最小ＣＵサイズ値を組合せて、メモリアクセス量の制御を行う構成となる。

実施の形態１においてinter_bipred_restriction_idcは、図１０に示すように０から５までの値を定義し、双予測に対する制限なしの状態から、１６×１６ブロック以下のサイズの双予測を制限する状態までを、制御可能としているが、定義の範囲は一例であり、この値よりも少なくまたは多くの制御値を定義することも、本発明の実施の形態の別構成として実現できる。

所定サイズの動き補償予測全体の無効化を制御するパラメータと、所定サイズ以下の動き補償予測の双予測を制限する制御パラメータを組合せて、メモリアクセス量の最大値が所定範囲内に収まるように制御する手法が、本発明の実施の形態１における構成である。

［動画像復号装置全体構成］
図１１は、本発明の実施の形態１に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像復号装置は、入力端子１１００、多重分離部１１０１、予測差分情報復号部１１０２、逆量子化・逆変換部１１０３、加算部１１０４、フレーム内復号画像バッファ１１０５、ループフィルタ部１１０６、復号画像メモリ１１０７、予測モード／ブロック構造復号部１１０８、予測モード／ブロック構造選択部１１０９、イントラ予測情報復号部１１１０、動き情報復号部１１１１、予測モード情報メモリ１１１２、イントラ予測部１１１３、動き補償予測部１１１４、及び出力端子１１１５を備える。

入力端子１１００より符号化ビットストリームが多重分離部１１０１に供給される。多重分離部１１０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、符号化ブロック及び予測ブロック構造に関する制御パラメータ、符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報である、予測モード、動き補償予測の場合の予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報である動き情報、イントラ予測の場合のイントラ予測モード情報で構成される符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部１１０２に供給し、制御パラメータ、及び当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列を予測モード／ブロック構造復号部１１０８に供給する。

予測差分情報復号部１１０２は、多重分離部１１０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部１１０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部１１０３に供給する。

逆量子化・逆変換部１１０３は、予測差分情報復号部１１０２より供給される、量子化された予測誤差信号を、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部１１０４に供給する。

加算部１１０４は、逆量子化・逆変換部１１０３より供給される復号予測誤差信号と、予測モード／ブロック構造選択部１１０９より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレーム内復号画像バッファ１１０５及びループフィルタ部１１０６に供給する。

フレーム内復号画像バッファ１１０５は、図１の動画像符号化装置におけるフレーム内復号画像バッファ１０８と同じ機能を有し、イントラ予測の参照画像としてイントラ予測部１１１３に同一フレーム内の復号画像信号を供給すると共に、加算部１１０４から供給された復号画像信号を格納する。

ループフィルタ部１１０６は、図１の動画像符号化装置におけるループフィルタ部１０９と同じ機能を有し、加算部１１０４より供給される復号画像信号に対して、歪除去のフィルタを施し、フィルタ処理を行った結果の復号画像を復号画像メモリ１１０７に供給する。

復号画像メモリ１１０７は、図１の動画像符号化装置における復号画像メモリ１１０と同じ機能を有し、ループフィルタ部１１０６から供給された復号画像信号を格納し、参照画像信号を動き補償予測部１１１４に供給する。また、復号画像メモリ１１０７は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子１１１５に供給する。

予測モード／ブロック構造復号部１１０８は、多重分離部１１０１より供給される、符号化ブロック及び予測ブロック構造に関する制御パラメータより、図３で示されるＣＵ構造を定義する制御パラメータや、図１０で示されるような動き補償予測のブロック構成及び予測処理を制限する制御パラメータを生成する。

また、予測モード／ブロック構造復号部１１０８は、多重分離部１１０１より供給される、当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列より、符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報を復号し、予測ブロックサイズ及び予測モードを生成すると共に、動き補償予測の場合の予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報である動き情報、イントラ予測の場合のイントラ予測モード情報を分離し、当該符号化ブロック単位のＣＵ分割構成と、予測モード情報を予測モード／ブロック構造選択部１１０９に供給する。

予測モード／ブロック構造復号部１１０８は、予測ブロックにイントラ予測が用いられている場合には、イントラ予測情報復号部１１１０に予測ブロックサイズと共に、イントラ予測モード情報を供給し、動き補償予測が用いられている場合には、動き情報復号部１１１１に予測ブロックサイズと共に、動き補償予測モード、並びに予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を供給する。

イントラ予測情報復号部１１１０は、予測モード／ブロック構造復号部１１０８より供給された予測ブロックサイズ、イントラ予測モード情報を復号し、符号化対象ブロックに対する予測ブロック構造と各予測ブロックにおけるイントラ予測モードを再生する。イントラ予測情報復号部１１１０は、再生したイントラ予測モードをイントラ予測部１１１３に供給すると共に、予測モード情報メモリ１１１２に対しても供給する。

動き情報復号部１１１１は、予測モード／ブロック構造復号部１１０８より供給された、予測ブロックサイズ、動き補償予測モード、並びに予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号し、復号した動き情報と、予測モード情報メモリ１１１２より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測種別、動きベクトル及び参照画像指定情報を再生し、動き補償予測部１１１４に供給する。また、動き情報復号部１１１１は再生した動き情報を、予測モード情報メモリ１１１２に対しても供給する。動き情報復号部１１１１の詳細な構成については後述する。

予測モード情報メモリ１１１２は、図１の動画像符号化装置における予測モード情報メモリ１１９と同じ機能を持ち、動き情報復号部１１１１より供給される再生した動き情報、及びイントラ予測情報復号部１１１０から供給されるイントラ予測モードを、最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、予測モード情報メモリ１１１２は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部１１１１に供給すると共に、同一フレーム内の復号済隣接ブロックのイントラ予測モード情報を、対象予測ブロックのモード情報の予測候補として、イントラ予測情報復号部１１１０に供給する。

イントラ予測部１１１３は、図１の動画像符号化装置におけるイントラ予測部１１４と同じ機能を持ち、イントラ予測情報復号部１１１０より供給されるイントラ予測モードに従って、フレーム内復号画像バッファ１１０５よりイントラ予測の参照画像を入力し、イントラ予測信号を生成して、予測モード／ブロック構造選択部１１０９に供給する。

動き補償予測部１１１４は、図１の動画像符号化装置における動き補償予測部１１２と同じ機能を持ち、動き情報復号部１１１１より供給される動き情報に基づいて、復号画像メモリ１１０７内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測種別が双予測であれば、各予測種別の予測信号を平均したものを予測信号として生成し、予測信号を予測モード／ブロック構造選択部１１０９に供給する。

予測モード／ブロック構造選択部１１０９は、予測モード／ブロック構造復号部１１０８より供給された、当該符号化ブロック単位のＣＵ分割構成と、予測モード情報を元に、ＣＵ分割を行い、再生された予測ブロック構造単位の予測モードによって、動き補償予測の場合には、動き補償予測部１１１４より動き補償予測信号を入力し、イントラ予測の場合には、イントラ予測部１１１３よりイントラ予測信号を入力し、再生された予測信号を加算部１１０４に供給する。

出力端子１１１５は、復号画像メモリ１１０７より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。

図１１に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図１２は、本発明の実施の形態１に係る動画像復号装置における復号処理の符号化ブロック単位の動作の流れを示すフローチャートである。最初にＣＵ分割の制御パラメータであるＣＵ＿Ｄｅｐｔｈを０に初期化（Ｓ１２００）し、多重分離部１１０１は、入力端子１１００より供給された符号化ビットストリームを予測誤差情報の符号化列と、当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列に分離する（Ｓ１２０１）。分離された符号化ブロック単位の予測誤差情報の符号化列と、当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列が予測差分情報復号部１１０２及び、予測モード／ブロック構造復号部１１０８に供給され、ＣＵ分割構造を元にしたＣＵ単位の復号処理が施される（Ｓ１２０２）。ステップＳ１２０２の詳細動作に関しては、後述する。

続いて、当該符号化ブロック単位のＣＵ分割構成は、ステップＳ１２０２で予測モード／ブロック構造復号部１１０８において復号され、復号された符号化構造情報が予測モード情報メモリ１１１２に格納される（Ｓ１２０３）。

ＣＵ単位の復号処理（Ｓ１２０２）により復号された復号画像信号は、ループフィルタ部１１０６においてループフィルタ処理が施され（Ｓ１２０４）、復号画像メモリ１１０７に格納され（Ｓ１２０５）、符号化ブロック単位の復号処理が終了する。実施の形態１において、符号化ブロック単位の処理でループフィルタを施しているが、ループフィルタを施した復号画像信号は、同一フレームの復号処理には参照されず、後続するフレームの動き補償予測において参照されるため、符号化ブロック単位の処理を行わずに、フレーム全体の復号処理完了後に、フレーム全体に対して施すことも可能である。

［ＣＵ単位の復号処理の詳細］
続いて、図１２のフローチャートにおけるステップＳ１２０２であるＣＵ単位の復号処理の詳細について、図１３のフローチャートを用いて説明する。

最初に、設定された最大ＣＵサイズと最小ＣＵサイズの間の階層数を示す値Ｍａｘ_ＣＵ＿Ｄｅｐｔｈに対して、対象ＣＵのＣＵ＿Ｄｅｐｔｈが小さいか否かを判定する（Ｓ１３００）。図３における最大ＣＵサイズ及び最小ＣＵサイズに関する制御パラメータが符号化・伝送されるため、復号処理において制御パラメータを復号することで、符号化時のＭａｘ_ＣＵ＿Ｄｅｐｔｈは復号される。Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈを定義する符号化情報の一例に関しては後述する。

ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより小さい場合には（Ｓ１３００：ＹＥＳ）、ＣＵ分割情報を取得する（Ｓ１３０１）。一例としては、１ビットのフラグ情報（cu_split_flag）が、ＣＵを分割するか否かの選択に合わせて、符号化・伝送され、このフラグ情報を復号することで、ＣＵが分割されているか否かを認識する。

ＣＵが分割されている場合（Ｓ１３０２：ＹＥＳ）には、ＣＵを分割して復号するため、ＣＵ分割ＣＵ＿Ｄｅｐｔｈを１加算して（Ｓ１３０３）一階層下のＣＵに対するＣＵ単位の復号処理を行う（Ｓ１３０４−Ｓ１３０７）、ＣＵの分割領域に対して分割１領域の処理（Ｓ１３０４）、分割２領域の処理（Ｓ１３０５）、分割３領域の処理（Ｓ１３０６）、分割４領域の処理（Ｓ１３０７）の順で再帰的に図１３のフローチャートで説明される処理が行われる。

ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈ以上の場合（Ｓ１３００：ＮＯ）及び、ＣＵが分割されていない場合（Ｓ１３０２：ＮＯ）には、復号対象となるＣＵの大きさが確定し、確定したＣＵ内の予測モードに応じた復号処理が施される。

最初に、ＣＵ内の予測にイントラ予測が用いられているか、動き補償予測が用いられているかを示す情報を取得する。（Ｓ１３０８）。実施の形態１においては、ＣＵ単位でｓｋｉｐモードであるか否かを示すｓｋｉｐフラグ情報（skip_flag）、また当該ＣＵがｓｋｉｐモードで無い場合にイントラ予測であるか動き補償予測であるかを示す予測モードフラグ情報（pred_mode_flag）が符号化時にＣＵ単位の予測モード情報として符号化されており、これらを復号する事により、イントラ予測であるか、動き補償予測（ｓｋｉｐモードを含む）であるかの情報が取得できる。

続いて、当該ＣＵがイントラ予測である場合には（Ｓ１３０９：ＹＥＳ）、ＣＵ単位のイントラ予測復号処理が、図１１のイントラ予測情報復号部１１１０及びイントラ予測部１１１３で行われ（Ｓ１３１１）、対象ＣＵにおけるイントラ予測信号を生成し、復号誤差信号と加算されることにより、復号画像信号を生成し（Ｓ１３１２）、ＣＵ単位の復号処理を終了する。

当該ＣＵがイントラ予測でない場合には（Ｓ１３０９：ＮＯ）、ＣＵ単位の動き補償予測復号処理が、図１１の動き情報復号部１１１１及び動き補償予測部１１１４で行われ（Ｓ１３１０）、対象ＣＵにおける動き補償予測信号を生成し、復号誤差信号と加算されることにより、復号画像信号を生成し（Ｓ１３１２）、ＣＵ単位の復号処理を終了する。ステップＳ１３１０の動作の詳細に関しては後述する。

続いて、図１３のフローチャートにおけるステップＳ１３１０である対象ＣＵにおける動き補償予測復号処理の詳細について、図１４のフローチャートを用いて説明する。最初に、ＣＵ単位の予測モードを示す情報として復号したｓｋｉｐフラグを取得し（Ｓ１４００）、ｓｋｉｐフラグが１である、すなわちｓｋｉｐモードである場合（Ｓ１４０１：ＹＥＳ）には、ＣＵ内の予測ブロック分割モードは２Ｎ×２Ｎとなり、ＮｕｍＰａｒｔが１に設定され２Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０２）。

ｓｋｉｐ＿ｆｌａｇが０である、すなわちｓｋｉｐモードでない場合（Ｓ１４０１：ＮＯ）には、ＣＵ分割（ＰＵ）モードとして、符号化時に当該ＣＵで選択した動き補償予測ブロックサイズの種別であるＣＵ内分割モード値を、予測モード情報より取得し（Ｓ１４０３）、ＰＵモードが２Ｎ×２Ｎの場合（Ｓ１４０４：ＹＥＳ）には、ＮｕｍＰａｒｔが１に設定され２Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０２）。

ＰＵモードが２Ｎ×２Ｎでない場合（Ｓ１４０４：ＮＯ）、ＰＵモードが２Ｎ×Ｎの場合（Ｓ１４０５：ＹＥＳ）には、ＮｕｍＰａｒｔが２に設定され２Ｎ×Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０６）。

続いて、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈと等しく且つ、対象ＣＵサイズが８×８で、後述するinter_4x4_enableフラグが１である場合（Ｓ１４０７：ＹＥＳ）には、更にＰＵモードがＮ×２Ｎであるか否かを判定し（Ｓ１４０９）、ＰＵモードがＮ×２Ｎである場合（Ｓ１４０９：ＹＥＳ）には、ＮｕｍＰａｒｔが２に設定され、Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０８）。

ＰＵモードがＮ×２Ｎでない場合（Ｓ１４０９：ＮＯ）には、ＰＵモードはＮ×Ｎとなり、ＮｕｍＰａｒｔを４に設定して、Ｎ×Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４１０）。

ステップＳ１４０７の条件を満たさない場合（Ｓ１４０７：ＮＯ）には、当該ＣＵにおいてＮ×Ｎ予測ブロックは適用されないため、ＮｕｍＰａｒｔが２に設定され、Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０８）。ステップＳ１４０２、Ｓ１４０６、Ｓ１４０８、Ｓ１４１０で施される、ＰＵモード毎の予測ブロック単位復号処理の詳細は後述する。

実施の形態１においては、復号したＰＵモードに対する予測ブロック単位の復号処理を選択するための条件判断に関しては、図１４のフローチャートに示すように、ステップＳ１４０４からＳ１４０９までに示した順番で処理を行っているが、復号したＰＵモードに従って、予測ブロック単位の復号処理が施される構成であれば、条件分岐の順番に関しては異なる構成でも実現可能である。

ＰＵモード毎の予測ブロック単位復号処理が施された後、ＰＵモード及び予測ブロック単位の動き情報等のモード情報が、図１１における予測モード情報メモリ１１１２に格納され（Ｓ１４１１）、当該ＣＵに対する動き補償予測復号処理が終了する。

［実施の形態１の詳細機能説明］
続いて、本発明の実施の形態１に係る動画像符号化装置の動き補償予測ブロック構造選択部１１３の動作、図７のフローチャートにおけるステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０５の処理の詳細動作を、以下説明する。

［実施の形態１における動画像符号化装置における動き補償予測ブロック構造選択部の詳細動作説明］
図１５は、実施の形態１の動画像符号化装置における動き補償予測ブロック構造選択部１１３の詳細な構成を示す図である。動き補償予測ブロック構造選択部１１３は、最適な動き補償予測モード及び予測ブロック構造を決定する機能を有する。

動き補償予測ブロック構造選択部１１３は、動き補償予測生成部１５００、予測誤差算出部１５０１、予測ベクトル算出部１５０２、差分ベクトル算出部１５０３、動き情報符号量算出部１５０４、予測モード／ブロック構造評価部１５０５、結合動き情報算出部１５０６、結合動き情報単予測変換部１５０７、及び結合動き補償予測生成部１５０８を含む。

図１における動き補償予測ブロック構造選択部１１３に対して、動きベクトル検出部１１１より入力された動きベクトル値が、動き補償予測生成部１５００に供給され、予測モード情報メモリ１１９より入力された動き情報が、予測ベクトル算出部１５０２、及び結合動き情報算出部１５０６に供給される。

また、動き補償予測部１１２に対して、動き補償予測生成部１５００、及び結合動き補償予測生成部１５０８から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、動き補償予測部１１２より、生成された動き補償予測画像が予測誤差算出部１５０１に供給される。予測誤差算出部１５０１には更に、符号化ブロック取得部１０２より符号化対象となる予測ブロックの画像信号が供給される。

また、予測モード／ブロック構造評価部１５０５から、予測モード選択部１１６に対して、予測ブロック構造、符号化する動き情報と確定した予測モード情報、及び動き補償予測信号を供給する。

動き補償予測生成部１５００は、各予測ブロック構造において、予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、図１０で示される双予測制限情報に従って動き補償予測を行い、参照画像指定情報を予測ベクトル算出部１５０２に供給し、参照画像指定情報と動きベクトルを出力する。

予測誤差算出部１５０１は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部１５０１内に、図１における減算部１０３、直交変換・量子化部１０４、逆量子化・逆変換部１０６、加算部１０７の機能を有することで実現できる。

予測誤差算出部１５０１は、各予測モード及び各予測ブロック構造において算出された予測誤差評価値と、動き補償予測信号を予測モード／ブロック構造評価部１５０５に供給する。

予測ベクトル算出部１５０２は、動き補償予測生成部１５００より参照画像指定情報を供給され、予測モード情報メモリ１１９から供給される隣接ブロックの動き情報における候補ブロック群より、指定された参照画像に対する動きベクトル値を入力し、複数の予測ベクトルを予測ベクトル候補リストと共に生成し、差分ベクトル算出部１５０３に、参照画像指定情報と共に供給する。予測ベクトル算出部１５０２は、予測ベクトルの候補を作成し、予測ベクトル候補として登録する。

差分ベクトル算出部１５０３は、予測ベクトル算出部１５０２より供給された、予測ベクトル候補のそれぞれに対して、動き補償予測生成部１５００から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際、符号量が最も少ない。差分ベクトル算出部１５０３は、最も少ない情報量である予測ベクトルに対する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部１５０４に供給する。

動き情報符号量算出部１５０４は、差分ベクトル算出部１５０３より供給される、差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、および予測モードより、各予測ブロック構造及び各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部１５０４は、結合動き補償予測生成部１５０８より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。

動き情報符号量算出部１５０４は、各予測ブロック構造及び各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード／ブロック構造評価部１５０５に供給する。

予測モード／ブロック構造評価部１５０５は、予測誤差算出部１５０１より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部１５０４から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モード及び予測ブロックサイズを選択し、選択した予測モード、予測ブロックサイズと選択した予測モードに対する動き情報を、予測モード選択部１１６に出力する。また、予測モード／ブロック構造評価部１５０５は同様に、予測誤差算出部１５０１より供給された動き補償予測信号に対して、選択した予測モード、予測ブロックサイズにおける予測信号を選択して予測モード選択部１１６に出力する。

結合動き情報算出部１５０６は、予測モード情報メモリ１１９より供給される隣接ブロックの動き情報における候補ブロック群を用いて、単予測であるか双予測であるかを示す予測種別、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き情報単予測変換部１５０７に供給する。

図１６は、結合動き情報算出部１５０６の構成を示す図である。結合動き情報算出部１５０６は、空間結合動き情報候補リスト生成部１６００、結合動き情報候補リスト削除部１６０１、時間結合動き情報候補リスト生成部１６０２、第１結合動き情報候補リスト追加部１６０３および第２結合動き情報候補リスト追加部１６０４を含む。結合動き情報算出部１５０６は、空間的に隣接する候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、同一の動き情報を持つ候補を削除したのち、時間的に隣接する候補ブロック群より作成した動き情報の候補を追加することで、有効な動き情報のみを結合動き情報候補として登録する。この時間結合動き情報候補リスト生成部を結合動き情報候補リスト削除部より後段に配置した点が、本実施の形態の特徴的な構成であり、時間結合動き情報候補を同一の動き情報を削除する処理の対象からはずすことにより、符号化効率を落とすことなく演算量を削減することが可能である。結合動き情報算出部１５０６の詳細動作に関しては、後述する。

図１５に戻り、結合動き情報単予測変換部１５０７は、結合動き情報算出部１５０６より供給される結合動き情報候補リスト及び、候補リストに登録される動き情報に対して、図１０で示される双予測制限情報に従って、予測種別が双予測である動き情報を単予測の動き情報に変換し、結合動き補償予測生成部１５０８に供給する。

結合動き補償予測生成部１５０８は、結合動き情報単予測変換部１５０７より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測種別に応じて１つの参照画像（単予測）もしくは異なる２つの参照画像（双予測）の参照画像指定情報と動きベクトル値を動き補償予測部１１２に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部１５０４に供給する。

図１５の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード／ブロック構造評価部１５０５で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部１５０１及び動き情報符号量算出部１５０４より受け取り、結合動き補償予測生成部１５０８内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。

図１７は、図７のフローチャートにおけるステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０５ステップの動き補償予測モード／予測信号生成処理の詳細動作を説明するためのフローチャートである。この動作は、図１５の動き補償予測ブロック構造選択部１１３における詳細動作を示している。

最初に、定義されたＣＵ内の予測ブロックサイズ分割モード（ＰＵ）に従って設定されたＮｕｍＰａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測ブロックサイズ毎に（Ｓ１７００）、ステップＳ１７０１からステップＳ１７０８までのステップが実行される（Ｓ１７０９）。先ず、結合動き情報候補リスト生成を行う（Ｓ１７０１）。

続いて、予測ブロックサイズが、図１０に示した双予測を制限する制御パラメータinter_bipred_restriction_idcにより設定される双予測を制限する予測ブロックサイズであるbipred_restriction_size以下である場合（Ｓ１７０２：ＹＥＳ）には、生成された結合動き情報候補リスト内の各候補における双予測の動き情報を単予測の動き情報に置き換える、結合動き情報候補単予測変換を行う（Ｓ１７０３）。予測ブロックサイズが、bipred_restriction_size以下でない場合（Ｓ１７０２：ＮＯ）には、続くステップＳ１７０４に進む。

次に、生成または置き換えられた結合動き情報候補リストの動き情報を元に、結合予測モード評価値を生成する（Ｓ１７０４）。続いて、予測モード評価値を生成し（Ｓ１７０５）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１７０６）。ただし、ステップＳ１７０４及びＳ１７０５の評価値生成の順序はこれに限らない。

選択された予測モードに従い予測信号を出力し（Ｓ１７０７）、選択された予測モードに従い動き情報を出力する（Ｓ１７０８）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１７０１、Ｓ１７０３、Ｓ１７０４及びＳ１７０５の詳細動作に関しては後述する。

図１８は、図１７のステップＳ１７０１の結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図１５の結合動き情報算出部１５０６における構成の詳細動作を示している。

図１６の空間結合動き情報候補リスト生成部１６００は、予測モード情報メモリ１１９より供給される空間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ１８００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。

続いて、結合動き情報候補リスト削除部１６０１において、生成された空間結合動き情報候補リストより、同一の動き情報を持つ結合動き情報候補を削除して動き情報候補リストを更新する（Ｓ１８０１）。結合動き情報候補削除の詳細な動作は後述する。

時間結合動き情報候補リスト生成部１６０２は、続いて予測モード情報メモリ１１９より供給される時間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから時間結合動き情報候補リストを生成し（Ｓ１８０２）、時間結合動き情報候補リストと結合して結合動き情報候補リストとする。時間結合動き情報候補リスト生成の詳細な動作は後述する。

次に、第１結合動き情報候補リスト追加部１６０３は、時間結合動き情報候補リスト生成部１６０２で生成された結合動き情報候補リストに登録された結合動き情報候補から０個から２個の第１結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１８０３）、当該結合動き情報候補リストを第２結合動き情報候補リスト追加部１６０４に供給する。第１結合動き情報候補リスト追加の詳細な動作は後述する。

次に、第２結合動き情報候補リスト追加部１６０４は、第１結合動き情報候補リスト追加部１６０３より供給される結合動き情報候補リストに依存しない０個から４個の第２結合動き情報候補を生成して第１結合動き情報候補リスト追加部１６０３より供給される結合動き情報候補リストに追加し（Ｓ１８０４）、処理を終了する。第２結合動き情報候補リスト追加の詳細な動作は後述する。

予測モード情報メモリ１１９より、結合動き情報算出部１５０６に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。

図１９は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態１においては、隣接するブロック群の内、図１９に示すようなブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２の５ブロックを空間候補ブロック群とする。

図２０は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる５つの候補ブロックのうち、ブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２について、ブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０の順序で以下の処理を繰り返し行う（Ｓ２０００〜Ｓ２００３）。

最初に候補ブロックの有効性を検査する（Ｓ２００１）。候補ブロックが領域外でなくイントラモードでない場合、候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ２００１：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ２００２）。

ステップＳ２０００からＳ２００３までの繰り返し処理に続いて、空間結合動き情報候補リストに追加された候補数が４未満だった場合（Ｓ２００４：ＹＥＳ）、候補ブロックＢ２の有効性を検査する（Ｓ２００５）。ブロックＢ２が領域外でなくイントラモードでない場合（Ｓ２００５：ＹＥＳ）、ブロックＢ２の動き情報を空間結合動き情報候補リストに追加する（Ｓ２００６）。

ここでは、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。

図２１は、結合動き情報候補削除の詳細動作を説明するためのフローチャートである。空間結合動き情報候補リスト作成処理により、生成される結合動き情報候補の最大数をＭａｘＳｐａｔｉａｌＣａｎｄとすると、ｉ＝ＭａｘＳｐａｔｉａｌＣａｎｄ−１からｉ＞０までの結合動き情報候補（候補（ｉ））に対して以下の処理を繰り返し行う（Ｓ２１００〜Ｓ２１０６）。

候補（ｉ）が存在していれば（Ｓ２１０１のＹＥＳ）、ｉｉ＝ｉ−１からｉｉ＞＝０までの結合動き情報候補（候補（ｉｉ））に対して以下の処理を繰り返し行い（Ｓ２１０２〜Ｓ２１０５）、候補（ｉ）が存在しない場合（Ｓ２１０１のＮＯ）はステップＳ２１０２からＳ２１０５までの候補（ｉｉ）についての繰り返し処理をスキップする。

まず、候補（ｉ）の動き情報（動き情報（ｉ））と候補（ｉｉ）の動き情報（動き情報（ｉｉ））が同一であるか検査し（Ｓ２１０３）、同じである場合（Ｓ２１０３のＹＥＳ）、候補（ｉ）を結合動き情報候補リストから削除し（Ｓ２１０４）、候補（ｉｉ）についての繰り返し処理を終了する。

動き情報（ｉ）と動き情報（ｉｉ）が同一でない場合（Ｓ２１０３のＮＯ）、ｉｉから１を減算し、候補（ｉｉ）についての処理を繰り返す（Ｓ２１０２〜Ｓ２１０５）。

ステップＳ２１００からＳ２１０５までの繰り返し処理に続いて、ｉから１を減算し、候補（ｉ）についての処理を繰り返す（Ｓ２１００〜Ｓ２１０６）。

図２２に結合動き情報候補が４つの場合のリスト中の候補の比較関係を示す。すなわち時間結合動き情報候補を含まない４つの空間結合動き情報候補について総当たりで比較して同一性を判定し、重複する候補を削除する。

ここで、結合予測モードは時間方向や空間方向の動きの連続性を用いて、予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であるが、空間結合動き情報候補が空間方向の連続性を基づいているのに対し、時間結合動き情報候補は時間方向の連続性に基づいて後述する方法で生成されており、これらの性質は異なるものである。よって時間結合動き情報候補と空間結合動き情報候補に同一の動き情報が含まれることは稀であり、同一の動き情報を削除するための結合動き情報候補削除処理の対象から時間結合動き情報候補を除いても、最終的に得られる結合動き情報候補リストに同一の動き情報が含まれることは稀である。

また、後述するように時間結合動き情報候補ブロックは最小予測ブロックよりも大きなサイズである最小時間予測ブロック単位で管理されるため、時間的に隣接する予測ブロックの大きさが最小時間予測ブロックよりも小さな場合には、本来の位置とはずれた位置の動き情報が用いられることとなり、その結果、動き情報に誤差を含む場合が多い。そのため、空間結合動き情報候補の動き情報とは異なる動き情報となることが多く、同一の動き情報を削除するための結合動き情報候補削除処理の対象から除いても影響が少ない。

図２３は、空間結合動き情報候補の最大数が４である場合の結合動き情報候補削除における候補の比較内容の一例である。図２３（ａ）は空間結合動き情報候補のみを結合動き情報候補削除処理の対象とした場合の比較内容であり、図２３（ｂ）は空間結合動き情報候補と時間結合動き情報を処理の対象とした場合の比較内容である。空間結合動き情報候補のみを結合動き情報候補削除処理の対象とすることにより、動き情報を比較の回数が１０回から６回に減少している。

このように、時間結合動き情報候補を結合動き情報候補削除処理の対象にしないことにより、同一の動き情報を適切に削除しながら、動き情報の比較の回数を１０回から６回に削減することが可能である。

また、すべての空間予測候補の同一を比較せず、空間的な位置が近い候補間同士の比較のみ行うことで 結合動き情報候補削除処理の回数を削減することも可能である。具体的には、図１９のＢ１位置から算出された結合動き情報はＡ１位置の結合動き情報と比較し、Ｂ０位置から算出された結合動き情報はＢ１位置の結合動き情報のみと比較し、Ａ０位置から算出された結合動き情報はＡ１のみと比較し、Ｂ２位置から算出された結合動き情報はＡ１、Ｂ１のみと比較することで、動き情報の比較回数を最大５回に制限できる。

上記のように特定の空間予測候補のみ結合動き情報の同一比較を行う場合、空間結合動き情報候補リスト生成中に（Ｓ１８００）、結合動き情報候補削減処理（Ｓ１８０１）を行った方が、同一結合動き情報が残存してしまうことによる符号化効率低下の影響が少ない。つまり、空間結合動き情報候補リスト生成時に結合動き情報の同一比較を行うことで、不要な結合動き情報を追加せずにすむため、図２０のステップＳ２００４の最大空間予測候補数を４つに制限する場合に、Ｂ２位置から算出される結合動き情報が追加できる可能性が高まるためである。

続いて、時間結合動き情報候補リスト生成について説明する。図２４は、時間結合動き情報候補リスト生成に用いる時間方向周辺予測ブロックの定義を説明する図である。時間候補ブロック群は、予測対象ブロックが属する画像とは別の復号済みの画像ＣｏｌＰｉｃに属するブロックの中で、予測対象ブロックと同位置及びその周辺にあるブロックを示す。ブロック群は、その管理が最小時間予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小時間予測ブロックサイズの単位で管理される。本発明の実施の形態１においては、最小時間予測ブロックサイズは最小予測ブロックサイズを垂直方向、水平方向にそれぞれ２倍した大きさとする。時間的に隣接するブロックの予測ブロックのサイズが最小時間予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内のすべての候補ブロックに同一の動きの情報が格納される。一方、予測ブロックのサイズが最小時間予測ブロックサイズよりも小さな場合には、時間方向周辺予測ブロックの左上に位置する予測ブロックの動きの情報を時間方向周辺予測ブロックの情報とする。図２４（ｂ）に予測ブロックサイズが最小時間予測ブロックサイズより小さい場合の時間方向周辺予測ブロックの動き情報を示す。

図２４（ａ）におけるＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態１においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。

図２５は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ１１について（Ｓ２５００、Ｓ２５０５）、ブロックＨ、ブロックＩ１１の順序で候補ブロックの有効性を検査する（Ｓ２５０１）。候補ブロックが有効である場合（Ｓ２５０１：ＹＥＳ）、ステップＳ２５０２〜ステップＳ２５０４の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ２５０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。

候補ブロックが有効である場合（Ｓ２５０１：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ２５０２）。実施の形態１ではＬ０予測の参照画像を、Ｌ０予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１予測の参照画像を、Ｌ１予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。

ここでの参照画像選択候補の確定手法は、Ｌ０予測の参照画像とＬ１予測の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、例えばＬ０予測の参照画像及びＬ１予測の参照画像の参照画像インデックスが０である参照画像を選択する手法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像を選択する手法や、符号化ストリーム中で各予測種別の参照画像を指定する手法を用いることが可能である。

次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ２５０３）。実施の形態１における、時間結合動き情報は、候補ブロックの動き情報で有効な予測種別である動きベクトル値をもとに、双予測の動き情報を算出する。候補ブロックの予測種別がＬ０予測もしくはＬ１予測の単予測の場合には、予測に用いられている予測種別（Ｌ０予測或いはＬ１予測）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双予測動き情報生成の基準値とする。

候補ブロックの予測種別が双予測である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測種別に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、符号化側で選択してシンタックスで明示的に伝送する等が挙げられる。

双予測動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。

図２６は、時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。

基準動きベクトル値ＣｏｌＭｖに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔとする。ＣｏｌＭｖを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれに登録する動きベクトルとする。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式２）
となる。

図２５に戻り、このようにして生成された、双予測の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ２５０４）、時間結合動き情報候補リスト作成処理が終了する。

続いて、第１結合動き情報候補リスト追加部１６０３の詳細な動作について説明する。図２７は、第１結合動き情報候補リスト追加部１６０３の動作を説明するためのフローチャートである。最初に、時間結合動き情報候補リスト生成部１６０２より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式３より算出する（Ｓ２７００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>１)
MaxNumGenCand=0; (NumCandList<=1) （式３）

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ２７０１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ２７０１：ＮＯ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ２７０１：ＹＥＳ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ２７０２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ２７０２からＳ２７０８）。

結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ２７０３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。

図２８は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図２８のようにＭとＮは異なる値であって、まずＭを０に固定してＮの値を１〜４（最大値はNumCandList）に変化させ、その後、Ｎの値を０に固定してＭの値を１〜４（最大値はNumCandList）に変化させる。このような組み合わせ定義は、最も選択される確率の高い動き情報である結合動き情報候補リスト内で最初の動き情報を有効に活用しつつ、実際には組み合わせテーブルを持たずに計算で組み合わせパターンを算出できる効果がある。

結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ２７０４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ２７０４：ＹＥＳ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせて双結合動き情報候補を生成する（Ｓ２７０５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ２７０４：ＮＯ）、次の組み合わせを処理する。ここで、第１追加結合動き情報候補として、Ｌ０予測の動き情報とＬ１予測が同一である場合があり、動き補償を双予測で行ってもＬ０予測もしくはＬ１予測の単予測と同じ結果が得られるため、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である追加結合動き情報候補生成は、動き補償予測の演算量を増加させる要因となる。そのため、通常は、Ｌ０予測の動き情報とＬ１予測の動き情報が同一であるかどうか比較し、同一でない場合にのみ、第１追加結合動き情報候補とする。

ステップＳ２７０５に続いて、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２７０６）。ステップＳ２７０６に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ２７０７）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ２７０７のＹＥＳ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ２７０７のＮＯ）、次の組み合わせを処理する。

ここで、第１追加結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情報候補を生成することで、符号化効率を高めることができる。

続いて、第２結合動き情報候補リスト追加部１６０４の詳細な動作について説明する。図２９は、第２結合動き情報候補リスト追加部１６０４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補リスト追加部１６０３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式４より算出する（Ｓ２９００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; （式４）

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ２９０１からＳ２９０５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である第２追加結合動き情報候補を生成する（Ｓ２９０２）。第２追加結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２９０３）。次のｉについて処理する（Ｓ２９０４）。

ここでは、第２追加結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２追加結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定することもできる。なお、ここではＢピクチャ（Ｂスライス）について説明したが、Ｐピクチャ（Ｐスライス）の場合は、Ｌ０予測の動きベクトルが（０，０）で、予測種別がＬ０予測である第２追加結合動き情報候補を生成する。

ここで、第２追加結合動き情報候補として、Ｌ０予測の参照画像とＬ１予測の参照画像が同一である場合、第１追加結合動き情報候補リスト生成部と同様に、動き補償を双予測で行ってもＬ０予測もしくはＬ１予測の単予測と同じ結果が得られため、Ｌ０予測の参照画像とＬ１予測の参照画像が同一である追加結合動き情報候補生成は、動き補償予測の演算量を増加させる要因となる。しかし、本発明の実施の形態では後述する動き補償部で一括して双予測を単予測に変換する処理を行うため、第２追加結合動き情報候補リスト追加部でのＬ０予測の動き情報とＬ１予測の動き情報の同一性判断を行う必要はなく演算量が削減できる。

ここで、第２追加結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、結合予測モードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

図３０は、図１７のステップＳ１７０３における結合動き情報候補単予測変換処理の詳細動作を説明するためのフローチャートである。最初に、結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ３０００からＳ３００５）。

先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ３００１）。続いて、動き情報の予測種別が単予測である場合（Ｓ３００２：ＹＥＳ）、そのままインデックスｉに格納された動き情報に対しての処理を終了し、次のインデックスに進む（Ｓ３００５）。

動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ３００２：ＮＯ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報のＬ１情報を無効にする（Ｓ３００３）。実施の形態１においては、このようにＬ１情報を無効にすることで双予測の動き情報をＬ０予測の単予測に変換させているが、逆にＬ０情報を無効にして、双予測の動き情報をＬ１予測の単予測に変換させることも可能であり、暗黙に単予測に変換する際の無効にする予測種別を定義することで実現できる。

次に、単予測に変換したインデックスｉの動き情報を格納し（Ｓ３００４）、次のインデックスに進む（Ｓ３００５）。ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について処理を行い、結合動き情報候補単予測変換処理が終了する。

実施の形態１において、予測ブロックサイズによる結合動き情報の双予測制限は、結合動き情報候補リストを一旦生成した後に、図３０のフローチャートに示す結合動き情報候補の単予測変換処理を行っている。結合動き情報の単予測変換処理に関しては、結合動き情報候補生成処理である図１８のフローチャートで示される処理の内部で、候補生成毎に判断を加えて、単予測の結合動き情報候補リストを生成することも可能であるが、その場合には、予測ブロックサイズによる条件判断が各処理に入ることになり、処理が複雑になり、リスト構築処理の負荷が増大する。実施の形態１では、一旦リストを構築した後に単予測への動き情報の変換処理を施すことで、リスト構築処理の負荷増大を防いだ、双予測の制限処理を実現できる効果を有する。

図３１は、図１１のステップＳ１７０２における結合予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。この動作は、図１５の結合動き補償予測生成部１５０８を用いた構成の詳細動作を示している。

最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ３１００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ３１０１からＳ３１０９）。

先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ３１０２）。続いて動き情報符号量を算出する（Ｓ３１０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。

結合動き情報インデックスの符号列としては、実施の形態１では、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。図３２は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報インデックスが小さいほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報候補数が５個である場合、結合動き情報インデックスが１であれば'１０'の２ビットで表現されるが、結合動き情報インデックスが３であれば'１１１０'の４ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。

続いて、動き情報の予測種別が単予測である場合（Ｓ３１０４：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１１２に設定して、動き補償単予測ブロックを生成する（Ｓ３１０５）。動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ３１０４：ＮＯ）には、２つの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１１２に設定して、動き補償双予測ブロックを生成する（Ｓ３１０５）。

続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ３１０７）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ３１０８）。

全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ３１０９）、結合予測モード評価値生成処理を終了する。

図３３は、図１７のステップＳ１７０３の予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。

最初に、予測モードが単予測であるか否かを判別する（Ｓ３３００）。図３４に予測ブロックの動き情報に関するシンタックスを示す。図３４中のmerge_flagは結合予測モードであるかどうかを示し、merge_flagが０の場合が動き検出予測モードを示す。動き検出予測モードである場合で双予測を用いることが可能なＢスライスの場合、予測種別が単予測であるか双予測であるかを示すフラグinter_pred_flagを伝送する。ここで、予測ブロックのサイズが双予測制限ブロックサイズ以下である場合にも双予測を禁止せずinter_pred_flagを伝送する。これは、予測ブロックのサイズが双予測制限ブロックサイズ以下であるかどうかに応じてinter_pred_flagを伝送するかどうかを切り替えると、エントロピー符号化・復号化に条件分岐が必要になるため、処理が複雑になるのを防止するためである。

図３３のフローチャートに戻り、単予測であれば（Ｓ３３００：ＹＥＳ）、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ３３０１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ３３０２）。

次に、ＬＸ予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ３３０３）。続いて、予測ベクトル候補リストを生成し（Ｓ３３０４）、予測ベクトルの中から最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ３３０５）。最適予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを実際に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分ベクトルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的に算出してもよい。

続いて、再度予測モードが単予測である否かを判別し（Ｓ３３０６）、予測モードが単予測であればステップＳ３３１１に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ３３０７）。参照リストＬＸがＬ１であれば、ステップＳ３３１１に進み、Ｌ１でない、すなわちＬ０の場合には、予測ブロックサイズがbipred_restriction_size以下である場合（Ｓ３３０８：ＹＥＳ）には、Ｌ１予測に対する情報を算出せず、予測モードを単予測に変換し（Ｓ３３１０）、ステップＳ３３１１に進む。

予測ブロックサイズがbipred_restriction_sizeより大きい場合（Ｓ３３０８：ＮＯ）には、ＬＸをＬ１として（Ｓ３３０９）、ステップＳ３３０３からステップＳ３３０６までの処理と同じ処理が行われる。

実施の形態１においては、復号装置において、図３４に示された予測ブロックの動き情報に関するシンタックスに従い復号を行った場合に、予測ブロックサイズに対する双予測制限時に対象となる予測ブロックサイズで双予測の動き情報が復号されないように、ステップＳ３３０８及びステップＳ３３１０の処理を用いて、予測モード評価値生成処理で双予測を制限する構成を取っている。

動きベクトル検出時に、双予測を想定した動きベクトル検出を行った場合には、単予測で用いられる動きベクトル情報と、上記ステップにおいて双予測を制限することで生成された単予測の動きベクトル情報が異なる場合があるため、単予測の新たな動き情報候補が登録されることで、単純に双予測の動き情報を使用しないように制限した場合よりも、符号化効率を向上させることができる。

続いて、動き情報符号量を算出する（Ｓ３３１１）。単予測モードの場合に、符号化する動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの３要素、双予測モードの場合には、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの計６要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。本実施の形態における予測ベクトルインデックスの符号列生成手法としては、結合動き情報インデックスの符号列と同様にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いるものとする。

続いて、参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１１２に設定して、動き補償予測ブロックを生成する（Ｓ３３１２）。

さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ３３１３）、予測誤差評価値と、参照画像に対する動き情報である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償予測ブロックと共に出力し（Ｓ３３１４）、予測モード評価値生成処理を終了する。

以上の処理が、実施の形態１における動画像符号化装置における動き補償予測ブロック構造選択部１１３の詳細動作となる。

本発明の実施の形態１において、動き補償予測におけるメモリアクセス量を制限するための制御パラメータである、図１０に示した、inter_4x4_enable及びinter_bipred_restriction_idcを、復号装置で認識するために伝送するシンタックスの一例を図３５に示す。

図３５においては、図１０に示した制御パラメータ値をそのまま、シーケンスや画像単位で設定するヘッダ情報の一部として伝送する構成を取っている。一例では、シーケンス単位のパラメータを伝送するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）の内部において伝送され、図３に示す最小ＣＵサイズに対する情報がlog2_min_coding_block_size_minus3で８を基準とした（８×８を示す）２のべき乗値で定義され、最大ＣＵサイズ（実施の形態１における符号化ブロックサイズ）が最大ＣＵ分割数（Max_CU_Depth）を示す値となるlog2_diff_max_min_coding_block_sizeとして、伝送される。

inter_4x4_enableは、inter_4x4_enable_flagとして、log2_min_coding_block_size_minus3が０すなわち最小ＣＵサイズが８×８の場合にのみ伝送されることで、inter_4x4_enableによる制御が有効な条件の時にのみ制御パラメータを送ることで、無効な制御情報の伝送を防ぐことができる。一方、inter_bipred_restriction_idcに関しては、最小ＣＵサイズが１６×１６の場合においても制御に必要となるため、常に伝送される構成を取る。

実施の形態１においては、これらの制御パラメータ値をシーケンス単位のパラメータで符号化伝送する構成を示したが、フレーム単位等の所定符号化ブロック単位以上の間隔で設定を変更させることも可能であり、シーケンス単位での制御パラメータ構成に制限されることはなく、所定単位に制御パラメータを復号装置が取得できることが、実施の形態１における構成の特徴である。

［実施の形態１における動画像復号装置における動き情報復号部の詳細動作説明］
図３６は、図１１に示した実施の形態１の動画像復号装置における動き情報復号部１１１１の詳細な構成を示す図である。動き情報復号部１１１１は、動き情報ビットストリーム復号部３６００、予測ベクトル算出部３６０１、ベクトル加算部３６０２、動き補償予測復号部３６０３、結合動き情報算出部３６０４、結合動き情報単予測変換部３６０５、及び結合動き補償予測復号部３６０６を含む。

図１１における動き情報復号部１１１１に対して、予測モード／ブロック構造復号部１１０８より入力された動き情報に関するビットストリームが、動き情報ビットストリーム復号部３６００に供給され、予測モード情報メモリ１１１２より入力された動き情報が、予測ベクトル算出部３６０１、及び結合動き情報算出部３６０４に供給される。

また、動き情報復号部１１１１に対して、動き補償予測復号部３６０３、及び結合動き補償予測復号部３６０６から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、予測種別を示す情報を含めた復号された動き情報が、動き補償予測部１１１４及び予測モード情報メモリ１１１２に供給される。

動き情報ビットストリーム復号部３６００は、入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、結合動き補償予測復号部３６０６に供給され、参照画像指定情報が予測ベクトル算出部３６０１に供給され、予測ベクトルインデックスがベクトル加算部３６０２に供給され、差分ベクトル値がベクトル加算部３６０２に供給される。

予測ベクトル算出部３６０１は、予測モード情報メモリ１１１２より供給された隣接ブロックの動き情報と、動き情報ビットストリーム復号部３６００より供給された参照画像指定情報から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生成し、参照画像指定情報と共にベクトル加算部３６０２に供給する。予測ベクトル算出部３６０１の動作に関しては、動画像符号化装置における図１５の予測ベクトル算出部１５０２と同一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生成される。

ベクトル加算部３６０２は、予測ベクトル算出部３６０１より供給された予測ベクトル候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部３６００から供給された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報と共に、動き補償予測復号部３６０３に供給される。

動き補償予測復号部３６０３は、ベクトル加算部２６０２より参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部１１１４に設定することで、動き補償予測信号を生成する。

結合動き情報算出部３６０４は、予測モード情報メモリ１１１２から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、結合動き情報単予測変換部３６０５に供給する。

結合動き情報算出部３６０４の動作に関しては、動画像符号化装置における図１５の結合動き情報算出部１５０６と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。

結合動き情報単予測変換部３６０５では、動画像符号化装置における図１５の結合動き情報単予測変換部１５０７と同一の動作が行われ、結合動き情報算出部３６０４より供給される結合動き情報候補リスト及び、候補リストに登録される動き情報に対して、図１０で示される双予測制限情報に従って、予測種別が双予測である動き情報を単予測の動き情報に変換し、結合動き補償予測復号部３６０６に供給する。

結合動き補償予測復号部３６０６は、結合動き情報単予測変換部３６０５より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部３６００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部１１１４に設定することで、動き補償予測信号を生成する。

図３７は、図１４のステップＳ１４０２、Ｓ１４０５、Ｓ１４０８、Ｓ１４１０の予測ブロック単位復号処理の詳細動作を説明するためのフローチャートである。最初に、ＣＵ単位の符号化ストリームを取得し（Ｓ３７００）、ＣＵ内の予測ブロックサイズ分割モード（ＰＵ）に従って設定されたＮｕｍＰａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測ブロックサイズ毎に（Ｓ３７０１）、ステップＳ３７０２からステップＳ３７０６までのステップが実行される（Ｓ３７０７）。

ＣＵ単位の符号化ストリームより分離された動き情報の符号化列は、図１１の予測モード／ブロック構造復号部１１０８より動き情報復号部１１１１に供給され、予測モード情報メモリ１１１２より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ３７０２）。ステップＳ３７０２の処理の詳細については後述する。

分離された予測誤差情報の符号化列は、予測差分情報復号部１１０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部１１０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ３７０３）。

動き情報復号部１１１１より、復号対象ブロックの動き情報が動き補償予測部１１１４に供給され、動き補償予測部１１１４は動き情報にしたがって動き補償予測を行い、予測信号を算出する（Ｓ３７０４）。加算部１１０４は、逆量子化・逆変換部１１０３から供給された復号予測誤差信号と、動き補償予測部１１１４から予測モード／ブロック構造選択部１１０９に供給され、更に予測モードで動き補償予測が選択されることで加算部１１０４に供給された予測信号とを加算し、復号画像信号を生成する（Ｓ３７０５）。

加算部１１０４より供給された復号画像信号は、フレーム内復号画像バッファ１１０５に格納されると共に、ループフィルタ部１１０６に供給される。また、動き情報復号部１１１１より供給された復号対象ブロックの動き情報が予測モード情報メモリ１１１２に格納される（Ｓ３７０６）。これが、対象ＣＵ内のすべての予測ブロックに対して施されることにより、予測ブロック単位の復号処理が終了する。

図３８は、図３７のステップＳ３７０２の動き情報復号処理の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部３６００と予測ベクトル算出部３６０１、及び結合動き情報算出部３６０４により、図３７のステップＳ３７０２の動き情報復号処理が行われる。

動き情報復号処理は、特定のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックのＣＵ単位で復号されたＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ３８００：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ３８０１）。ステップＳ３８０１の詳細処理については、後述する。

一方、Ｓｋｉｐモードでない場合には（Ｓ３８００：ＮＯ）、マージフラグを復号する（Ｓ３８０２）。マージフラグが１を示している場合（Ｓ３８０３：ＹＥＳ）には、ステップＳ３８０１の結合予測動き情報復号に進む。

マージフラグが１でない場合（Ｓ３８０３：ＮＯ）、動き予測フラグを復号し（Ｓ３８０４）、予測動き情報復号を行い（Ｓ３８０５）、処理を終了する。ステップＳ３８０５の詳細動作については、後述する。

図３９は、図３８のステップＳ３８０１の結合予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に予測モードに結合予測モードを設定し（Ｓ３９００）、結合動き情報候補リストを生成する（Ｓ３９０１）。ステップＳ３９０１の処理は、動画像符号化装置における図１７のステップＳ１７０１の結合動き情報候補リスト生成処理と同一の処理である。

続いて、予測ブロックサイズが、図１０に示した双予測を制限する制御パラメータinter_bipred_restriction_idcにより設定される双予測を制限する予測ブロックサイズであるbipred_restriction_size以下である場合（Ｓ３９０２：ＹＥＳ）には、格納された結合動き情報候補リスト内の各候補における双予測の動き情報を単予測の動き情報に置き換える、結合動き情報候補単予測変換を行う（Ｓ３９０３）。この処理では、図３０のフローチャートで示した符号化装置における結合動き情報単予測変換処理と同じ処理が施される。予測ブロックサイズが、bipred_restriction_size以下でない場合（Ｓ３９０２：ＮＯ）には、ステップＳ３９０４に進む。

つぎに、結合動き情報インデックスを復号し（Ｓ３９０４）、続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納されている動き情報を取得する（Ｓ３９０５）。取得する動き情報としては、単予測／双予測を示す予測種別、参照画像指定情報、動きベクトル値となる。

実施の形態１においては、結合動き情報の双予測から単予測への変換処理は、結合動き情報のインデックスの値を変更することがないため、復号装置においては復号に必要なインデックスの結合動き情報にのみ変換処理を行うことも可能であり、その場合には図３９のステップＳ３９０４及びステップＳ３９０５を行った後に、予測ブロックサイズによる双予測の制限を行うステップＳ３９０２及びステップＳ３９０３が行われる。

生成された動き情報は、結合予測モードの動き情報として格納され（Ｓ３９０６）、結合動き補償予測復号部３６０６に供給される。

図４０は、図３８のステップＳ３８０５の予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に、予測種別が単予測であるか否かを判別する（Ｓ４０００）。単予測であれば、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ４００１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ４００２）。

次に、参照画像指定情報を復号し（Ｓ４００３）、差分ベクトル値を復号する（Ｓ４００４）。次に、予測ベクトル候補リストを生成し（Ｓ４００５）、予測ベクトル候補リストが１より大きな場合（Ｓ４００６：ＹＥＳ）、予測ベクトルインデックスを復号し（Ｓ４００７）、予測ベクトル候補リストが１の場合（Ｓ４００６：ＮＯ）、予測ベクトルインデックスに０を設定する（Ｓ４００８）。

ここで、ステップＳ４００５では、動画像符号化装置における図３３のフローチャートのステップＳ３３０４と同様の処理が行われる。

次に、予測ベクトル候補リストより、予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ４００９）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ４０１０）。

続いて、再度予測種別が単予測である否かを判別し（Ｓ４０１１）、予測種別が単予測であればステップＳ４０１４に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ４０１２）。参照リストＬＸがＬ１であれば、ステップＳ４０１４に進み、Ｌ１でない、すなわち、Ｌ０であれば予測ブロックサイズがbipred_restrcition_size以下である場合には（Ｓ４０１３：ＹＥＳ）、ステップＳ４０１６に進み、予測ブロックサイズがbipred_restriction_sizeより大きい場合には（Ｓ４０１３：ＮＯ）、ＬＸをＬ１として（Ｓ４０１５）、ステップＳ４００３からステップＳ４０１１までの処理と同じ処理が行われる。

予測ブロックサイズがbipred_restrcition_size以下である場合には、双予測の動き補償が禁止されるため、復号装置におけるメモリアクセス量の制限を確実にするために、伝送された動き情報を単予測に変換して（Ｓ４０１６）、ステップＳ４０１４に進む。

続いて、生成された動き情報として、単予測の場合には、１つの参照画像に対する参照画像指定情報と動きベクトル値が、双予測の場合には、２つの参照画像に対する参照画像指定情報と動きベクトル値が、動き情報として格納され（Ｓ４０１４）、動き補償予測復号部３６０３に供給される。

実施の形態１における、予測動き情報復号処理においては、符号化時に伝送された動き情報に対してシンタックスに従って復号を行うため、動画像符号化装置における、図３３の予測モード評価値生成処理において施しているような、メモリアクセス量の制限を確実にするために双予測制限に関する条件分岐を行う、ステップＳ４０１３の条件判断及びステップＳ４０１６の処理を省略する形態においても実現可能であるが、実施の形態１においては、メモリ帯域の制限を復号装置においても確実にする構成として、図４０のフローチャートによる予測動き情報復号処理をとる。

図４１は、図３５に示したような、シーケンス単位のパラメータを伝送するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）等で、符号化処理／復号処理の最大画像サイズもしくは所定時間単位の最大処理画素数を定義するlevel_idcが伝送される場合に、参照画像のメモリアクセス量の負荷は、最大処理画素数に比例して増大するため、使用可能な最大処理画素数に連動させて、動き補償予測の予測ブロックサイズと双予測の制限を加える構成の一例である。符号化装置で定義され伝送されるlevel_idcに応じて、inter_4x4_enable及びinter_bipred_restriction_idcの取り得る値に制限を加えることで、符号化装置・復号装置の想定される画像サイズに応じたメモリアクセスの制限をかけることが可能となり、符号化装置及び復号装置の用途に応じて、必要なメモリ帯域を確保できる、処理負荷及び装置の規模を削減しつつ符号化効率を維持できる符号化装置及び復号装置が実現できる。

図４１は、一例としてlevel_idcが６段階に設定されている場合に、少ない画素数の符号化を想定した条件の場合には、inter_4x4_enableは制約なく（０と１のどちらも設定可能）、inter_bipred_restriction_idcに対しても定義された値のすべてを設定可能としているが、level_idcの増加に伴い、図９で示したメモリアクセス量の大きな予測処理から段階的に予測ブロックサイズ及び双予測の制限を加えることで、inter_4x4_enable（常に０のみにする）及びinter_bipred_restriction_idc（取り得る値の最小値を大きくする）を、最大画像サイズや最大処理画素数と連動して制御することができる。

また、図４１のように、level_idcを基準に最大画像サイズや最大処理画素数と連動してinter_4x4_enableやinter_bipred_restriction_idcの値を、伝送せずに暗黙で制限下の固定値に設定し、符号化装置・復号装置にて、設定された制限による動き補償予測及び双予測の制限をおこなうことも可能であり、その場合にはlevel_idcが伝送されることで、対応したinter_4x4_enableやinter_bipred_restriction_idcの値が復号できる構成になる。

実施の形態１においては、inter_4x4_enableという４×４予測ブロックサイズの動き補償予測を禁止する制御パラメータを用いているが、動き補償予測の予測ブロック制限に関しても、inter_bipred_restriction_idcと同様に、指定された予測ブロックサイズ以下のブロックサイズの動き補償予測を禁止する制御パラメータを用いることも可能であり、よりメモリアクセス量を細かく制御することを可能にする。

実施の形態１において、４×８画素と８×４画素のように、予測ブロックサイズの面積は同一で水平・垂直の画素数が異なる場合の双予測の制限を、同一基準で行っているが、一般的に参照画像メモリのアクセス単位が水平方向に４画素や８画素などの複数画素で構成される場合が多いことを想定し、水平方向の画素数が少ない４×８画素を、よりメモリアクセス量が多い予測ブロックサイズであると定義して、動き補償予測や双予測の制限を加えることも可能であり、より復号装置の構成に適したメモリアクセス量の制御が可能となる。

また、実施の形態１において、動き補償予測の効率を向上させるために、図４２に示すように、ＣＵ内の分割を更に細かくて左右や上下が非対称の予測ブロックを定義する場合においても、非対称のブロックに対する、予測ブロックサイズの制限を加えることにより、段階的なメモリアクセス量の制御が可能である。

図４２に示す、実施の形態１の別構成における、ＣＵの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）に加えて、水平方向のみへの上１／４、下３／４の非対称分割（２Ｎ×ｎＵ）、水平方向のみへの上３／４、下１／４の非対称分割（２Ｎ×ｎＤ）、垂直方向のみへの左１／４、右３／４の非対称分割（ｎＬ×２Ｎ）、垂直方向のみへの左３／４、右１／４の非対称分割（ｎＲ×２Ｎ）となっており、水平４画素、垂直４画素未満の予測ブロックサイズを適用しないように、ＣＵサイズが１６×１６以上のＣＵにのみ、非対称分割の分割構成が適用可能になっている。

続いて、図４３に図４２の予測ブロック構成における、動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータの一例を示し、説明する。制御パラメータは、最も小さなＣＵサイズである８×８ブロックを分割する構成である、４×４、４×８及び８×４予測ブロックの動き補償予測の有効・無効を制御するパラメータである、inter_pred_enable_idcと、動き補償予測の内、双予測が施される予測処理のみを禁止するブロックサイズを定義する、inter_bipred_restriction_idcの２つのパラメータで構成される。

図４３の制御パラメータの構成では、inter_bipred_restriction_idcに対して、水平・垂直の画素数のメモリアクセスに与える影響を加味した、１６×１６画素以下の予測ブロックサイズの大きさの順番を小さい方から、４×４、４×８、８×４、８×８、４×１６／１２×１６（ｎＬ×２Ｎ／ｎＲ×２Ｎ）、８×１６、１６×１２／１６×４（２Ｎ×ｎＵ／２Ｎ×ｎＤ）、１６×８、１６×１６と定義し、双予測を制限する予測ブロックサイズの値を設定する。これにより、動き補償予測の効率を向上させた非対称構成の予測ブロックに対しても、図１０で示した制御パラメータを用いた構成と同様に、細かい単位でのメモリアクセス量の制御を行うことが可能となり、動き補償予測の効率を向上させたうえで、許容されるメモリ帯域に応じた、メモリアクセス量の制御を可能とする。

実施の形態１においては、inter_bipred_restriction_idcで定義された予測ブロックサイズを基準に、定義されたサイズ以下の予測ブロックに双予測の制限を加えているが、値による制限を、定義されたサイズ未満の予測ブロックに双予測の制限を加えるようにすることも、双予測の制限を加える予測ブロックサイズ未満の予測ブロックサイズにおいて動き補償予測を行わない場合に、定義されたサイズの予測ブロックに双予測の制限を加えるようにすることも、本発明を実現する構成として可能である。定義されたサイズ未満の予測ブロックに双予測の制限を加えるようにする場合には、実施の形態１の符号化装置における、図１７のフローチャートで示すステップＳ１７０２、図３３のフローチャートで示すステップＳ３３０８、実施の形態１の復号装置における、図３９のフローチャートで示すステップＳ３９０２、図４０のフローチャートで示すステップＳ４０１３における条件判断が、bipred_restriction_size未満で有るか否かになると共に、inter_bipred_restriction_idcで定義する予測ブロックサイズの値が１つ大きい予測ブロックサイズとして設定されることで、実現される。

実施の形態１においては、図３５に示したように、動き補償予測におけるメモリアクセス量を制限するための制御パラメータである、inter_4x4_enable及びinter_bipred_restriction_idcを、それぞれ個別のパラメータとして符号化伝送する構成を一例として示したが、これらの制御パラメータ情報が、動画像符号化装置及び動画像復号装置のメモリアクセス量制限を制御するパラメータとして伝送できる構成であれば、図４４に示すようなinter_4x4_enableとinter_bipred_restriction_idcの組合せで定義する情報（inter_mc_restrcution_idc）を符号化伝送する構成も可能であり、所定もしくは所定以下の予測ブロックサイズでの動き補償予測処理を行わないように制御する情報と、所定以下の予測ブロックサイズでの双予測を行わないように制御する情報により、更に動き補償予測及び結合動き情報候補の単予測制限を行う処理を１つの指示情報に統合して符号化伝送及び復号できる効果が生じる。

また、実施の形態１においては、動き補償予測に対してメモリアクセス量を制限するための、結合動き補償予測に用いられる双予測を禁止する手段として、結合動き情報候補インデックスに格納された後の動き情報を、条件に応じて双予測の動き情報から単予測の動き情報に変換し格納し、予測処理に使用するため、双予測の結合動き情報候補を禁止するのでなく、単予測の動き情報として用いることが可能となり、双予測を禁止する条件の予測ブロックサイズにおける動き補償予測の予測精度が向上し、符号化効率が向上する効果を有する。

（実施の形態２）
続いて、本発明の実施の形態２に係る動画像符号化装置及び動画像復号装置の説明を行う。実施の形態２においては、実施の形態１と同様に、予測ブロックサイズによる動き補償予測の制限と、予測ブロックサイズ以下の双予測の制限の組合せで、最大メモリアクセス量を制限する構成は同一であるが、双予測の制限を定義するパラメータを制限する予測ブロックサイズを示す情報ではなく、最小ＣＵサイズにおけるＣＵ分割構造に対する双予測の制限を加える構造を取る。

図４５に本発明の実施の形態２における、動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータの一例を示し、説明する。

制御パラメータは、最も小さな動き補償予測ブロックサイズである４×４画素の動き補償予測の有効・無効を制御するパラメータである、inter_4x4_enableと、動き補償予測の内、双予測が施される予測処理のみを禁止する最小ＣＵサイズにおけるＣＵ分割構造を定義する、inter_bipred_restriction_for_mincb_idcの２つのパラメータで構成される。

inter_bipred_restriction_for_mincb_idcは、４つの値を定義し、制限なし、Ｎ×Ｎ制限、Ｎ×２Ｎ／２Ｎ×Ｎ以下制限、ＣＵ内すべての分割（ＰＵ）で制限の４つの状態を制御する。最小ＣＵサイズは、実施の形態１における、図３５のシンタックスで示されるようにlog2_min_coding_block_size_minus3で８を基準とした（８×８を示す）２のべき乗値で定義され、inter_bipred_restriction_for_mincb_idcの値と最小ＣＵサイズの連動により、双予測を制限するブロックサイズbipred_restriction_sizeが設定される。

実施の形態２における、符号化装置及び復号装置の構成は、実施の形態１と同様の構成をとることができ、実施の形態１におけるbipred_restriction_sizeが、上記log2_min_coding_block_size_minus3とinter_bipred_restriction_for_mincb_idcの組合せで定義される点が、異なる構成となっている。具体的なbipred_restriction_sizeの定義を図４６に示す。

inter_bipred_restriction_for_mincb_idcは、図４７に示すシンタックスの一例に示されるように、実施の形態１における図３５のシンタックスと同様に構成され、シーケンス単位のパラメータとしてｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）で伝送され、inter_bipred_restriction_idcに代わってinter_bipred_restriction_for_mincb_idcが伝送する値となる。

メモリアクセス量が大きくなり、メモリ帯域の制限が必要になる状態は、符号化時の最小ＣＵサイズに対して生じるため、最小ＣＵサイズと連動して双予測の制限を加える構成は、管理・伝送するパラメータの無駄が少なく、なお且つ符号化装置においてメモリアクセス量の制限を加えたい場合に、より大きなサイズでの双予測制限を少ない制御パラメータ値で定義できる効果を有する。

さらに、実施の形態２においては、ＣＵ内の分割を更に細かくて左右や上下が非対称の予測ブロックを定義して、動き補償予測効率を向上させる場合においても、ブロックサイズ毎のサイズ制限を各ＣＵ階層で追加しなくても、最小ＣＵサイズにおける定義のみを追加すれば良いため、拡張性も高いと共に、ハイビジョンを終える超高精細画像の符号化・復号処理を行う際に、予測ブロックサイズの大きさや双予測の制限を明示的に行うことが容易に実現できる効果を有する。

（実施の形態３）
続いて、本発明の実施の形態３に係る動画像符号化装置及び動画像復号装置の説明を行う。実施の形態３においては、メモリアクセス量を制限する為の動き補償予測や双予測の制限に加えて、予測ブロックサイズが小さくなった際の結合動き予測候補生成処理の動作回数を制限することで、結合動き予測候補生成に要する処理負荷を軽減させる構成を取る。

具体的には、所定のＣＵサイズ以下予測ブロックサイズにおける、各予測ブロックにおいて、同一の隣接ブロックの動き情報を用いて同一の結合動き情報候補生成処理を行う構成となる。実施の形態３では、最小ＣＵサイズである８×８ＣＵサイズの予測ブロックに対して、上記構成を取る構成を取り、実施の形態３の８×８ＣＵサイズの結合動き情報候補生成における空間周辺予測ブロックの位置を、図４８を用いて説明する。

８×８ＣＵにおいて、８×８画素の予測ブロック（２Ｎ×２Ｎ）に対する空間候補ブロック群のブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２の５ブロックの位置は、図４８（ａ）に示すように、図１９に示した、実施の形態１における空間候補ブロック群の定義と同一の位置を示す。

これに対して、４×８画素の予測ブロック（Ｎ×２Ｎ）、８×４画素の予測ブロック（２Ｎ×Ｎ）、４×４画素の予測ブロック（Ｎ×Ｎ）に対する空間候補ブロック群の位置に関しては、図４８（ｂ）、（ｃ）、（ｄ）に示すように、図１９に示した、実施の形態１における空間候補ブロック群の定義で示される、対象予測ブロックの隣接位置のブロックではなく、８×８画素に対する空間候補ブロック群と同じ位置が、すべての予測ブロックに対して用いられる。時間候補ブロック群の位置に関しても同様に、８×８画素の予測ブロックと同一の位置が、４×８画素、８×４画素、４×４画素すべての予測ブロックに対して用いられる。

すなわち、対象となる８×８ＣＵに対して、構成されるすべての予測ブロック構造において、同一の結合動き情報候補が用いられることになり、符号化装置及び復号装置における結合動き情報生成処理は１回の生成処理で実現できる。

続いて、実施の形態３における、動画像符号化装置の符号化ブロック単位の符号化処理の説明を行う。実施の形態１における符号化ブロック単位の符号化処理に対して、図７のフローチャートで示される動き補償予測ブロックサイズ選択／予測信号生成処理と、図１７のフローチャートで示される動き補償予測モード／予測信号生成処理のみが異なるため、これらの処理に関して説明する。

図４９に実施の形態３における動き補償予測ブロックサイズ選択／予測信号生成処理のフローチャートを示す。実施の形態１の図７のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

最初に、対象ＣＵに対して予測対象となる符号化ブロック画像を取得する（Ｓ７００）。次に、対象ＣＵのＣＵサイズが８×８であるか否かを判定する（Ｓ４９０８）。対象ＣＵのＣＵサイズが８×８である場合（Ｓ４９０８：ＹＥＳ）には、結合動き情報候補リスト生成処理が行われる（Ｓ４９０９）。対象ＣＵのＣＵサイズが８×８でない場合（Ｓ４９０８：ＮＯ）には、ステップＳ７０１に進む。ステップＳ４９０９の詳細に関しては、実施の形態１における図１８の結合動き情報候補リスト生成処理と同一の処理が行われる。

ステップＳ４９０９を行った後、対象ＣＵ内の最小予測ブロックサイズがbipred_restriction_size以下である場合（Ｓ４９１０：ＹＥＳ）、結合動き情報候補単予測変換処理が行われる（Ｓ４９１１）。対象ＣＵ内の最小予測ブロックサイズがbipred_restriction_size以下でない場合には（Ｓ４９１０：ＮＯ）、ステップＳ７０１に進む。ステップＳ４９１１の詳細に関しては、実施の形態１における図３０の結合動き情報候補単予測変換処理と同一の処理が行われる。

実施の形態３においては、双予測を制限する予測ブロックサイズであるbipred_restriction_sizeにおける結合動き情報候補生成処理が、対象となるＣＵにおいて用いられる予測ブロックサイズである場合（inter_4x4_enableが１の場合には、４×４／４×８／８×４／８×８の予測ブロック、inter_4x4_enableが０の場合には、４×８／８×４／８×８の予測ブロック）には、対象ＣＵに対して同一に生成する結合動き情報候補リストに対して双予測の動き情報を単予測に変換する処理を行う。つまり、bipred_restriction_sizeが３（８×８以下制限）に拡張された処理が行われることになる。

図４９の説明に戻り、ステップＳ４９１１の結合動き情報候補単予測変換処理を行った後、ステップＳ７０１に進む。ステップＳ７０１以降、ステップＳ７０７までの処理に関しては、実施の形態１における図７のフローチャートにおけるステップＳ７０１からステップＳ７０７までの処理と同一の処理が行われる。

実施の形態３においては、８×８ＣＵサイズに対する、結合動き情報候補リスト生成処理と結合動き情報候補単予測変換処理が同一の動作で行われ、符号化装置においては１回の生成処理によって、８×８ＣＵサイズ内のすべての結合動き情報候補を生成することが可能となる効果を有する。また、実施の形態３において、図４９のフローチャートのステップＳ４９１０の処理を行わない構成においては、８×８ＣＵサイズに対して結合動き情報候補リスト生成処理が同一の動作で行われ、且つbipred_restriction_sizeを拡張しない状態での結合動き情報候補単予測変換処理を可能とする効果を有するが、符号化装置においては８×８ＣＵサイズ内の予測ブロックサイズ毎の結合動き情報候補単予測変換処理が必要となる。

次に、図５０に実施の形態３における動き補償予測モード／予測信号生成処理のフローチャートを示し説明する。実施の形態１の図１７のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

定義されたＣＵ内の予測ブロックサイズ分割モード（ＰＵ）に従って設定されたＮｕｍＰａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測ブロックサイズ毎に（Ｓ１７００）、対象ＣＵサイズが８×８でない場合（Ｓ５０１０：ＮＯ）には、ステップＳ１７０１からステップＳ１７０８までのステップが実行される（Ｓ１７０９）。ステップＳ１７０１からステップＳ１７０８までの処理に関しては、実施の形態１における図１７のフローチャートと同一の処理が行われる。

対象ＣＵサイズが８×８である場合（Ｓ５０１０：ＹＥＳ）には、ステップＳ１７０１からステップＳ１７０３までの処理を行わずに、ステップＳ１７０４に進む。すなわち、対象ＣＵサイズが８×８である、予測ブロックサイズの場合には、図４９で示した動き補償予測ブロックサイズ選択／予測信号生成処理のフローチャート内の処理で生成された結合動き情報候補をそのまま使用して、結合予測モードの動き補償予測を行う構成となっている。

続いて、実施の形態３における、動画像復号装置の符号化ブロック単位の復号処理は実施の形態１と同一の処理を行い、結合動き予測における結合動き情報候補リスト生成のために用いる候補ブロックの位置のみを対象となるＣＵが８×８の場合に、図４８で示したようにすべての予測ブロックで同一位置の候補ブロックを取得し、図３９のフローチャートで示された結合動き情報復号処理におけるステップＳ３９０２の判断条件として、ＣＵサイズが８×８の場合には、ＣＵ内で定義可能な最小予測ブロックサイズがbipred_restriction_size以下であるか否かの条件に置き換わる構成で実現できる。

なお、実施の形態３において、図３９のフローチャートで示された結合動き情報復号処理におけるステップＳ３９０２の判断条件を変更しない構成で実現した場合には、８×８ＣＵサイズに対して結合動き情報候補リスト生成処理を同一の動作で行い、且つbipred_restriction_sizeを拡張しない状態での結合動き情報候補単予測変換処理を可能とする効果を有する。復号装置においては、符号化ストリームを復号することで、復号対象ブロックに対する予測ブロックサイズは特定されるため、特定された予測ブロックサイズに対する単一の結合動き情報候補単予測変換処理が行われる。

また、実施の形態３における、動画像復号装置において、更に結合動き情報候補生成処理を少ない処理で実現できる構成として、実施の形態１における符号化ブロック単位の復号処理に対して、図３９の結合動き情報復号処理を図５１で示すフローチャートの処理に置き換える構成をとることが可能であり、その動作を説明する。図３９のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

予測モードに結合予測モードを設定した後（Ｓ３９００）、対象となっている予測ブロックのＣＵサイズが８×８であるか否かを判断する（Ｓ５１０７）。ＣＵサイズが８×８でない場合（Ｓ５１０７：ＮＯ）には、ステップＳ３９０１に進み、実施の形態１と同様の結合予測動き情報復号処理が行われる。

一方、ＣＵサイズが８×８である場合には（Ｓ５１０７：ＹＥＳ）、対象となっている予測ブロックが対象ＣＵ内の最初の結合予測モードであるか否かを判断する（Ｓ５１０８）。最初の結合予測モードである場合には（Ｓ５１０８：ＹＥＳ）、結合動き情報候補リスト生成処理が行われる（Ｓ５１０９）。ステップＳ５１０９においては、図４８で示したように、ＣＵ内の全予測ブロックで同一位置の候補ブロックを取得する構成で、ステップＳ３９０１と同じ処理が行われる。

最初の結合予測モードでない場合には（Ｓ５１０８：ＮＯ）、既に対象ＣＵで同一に生成される結合動き情報候補リストが生成済であるため、結合動き情報候補リスト生成処理を行わず、ステップＳ３９０４に進む。対象ＣＵにおいて一度の結合動き情報候補リスト生成で復号処理が可能となるため、８×８ＣＵ内に複数の結合予測モードが存在する場合の結合動き情報候補リスト生成処理が削減される。

ステップＳ５１０９を行った後、ＣＵ内で定義可能な最小予測ブロックサイズがbipred_restriction_size以下であるか否かの判断を行い（Ｓ５１１０）、最小予測ブロックサイズがbipred_restriction_size以下である場合（Ｓ５１１０：ＹＥＳ）には、結合動き情報候補単予測変換処理を行い（Ｓ３９０３）、最小予測ブロックサイズがbipred_restriction_sizeより大きい場合（Ｓ５１１０：ＮＯ）には、ステップＳ３９０４に進む。

ステップＳ３９０４からステップＳ３９０６の処理に関しては、実施の形態１における図３９のフローチャートの処理と同一の処理が行われ、結合予測モードの動き情報が復号され格納される。

実施の形態３における動画像符号化装置及び動画像復号装置によれば、メモリアクセス量を制限する為の動き補償予測や双予測の制限と予測ブロックサイズが小さくなった際の結合動き予測候補生成処理の処理削減を、それぞれの制限に対して整合がとれた構成で実現可能とし、メモリ帯域の制限及び結合動き情報候補生成処理削減を両立しつつ符号化効率を向上させることができる。

実施の形態３における同一結合動き情報候補リストを構成する単位は、８×８サイズとして説明を行ったが、８×８サイズに限定される必要はなく、ピクチャ単位やシーケンス単位などの所定単位で、同一リストを生成する最大予測ブロックサイズを定義するパラメータ情報を伝送することで、その単位を変化されることが可能である。パラメータとしては、例えばlog2_parallel_merge_level_minus2として、同一リストを生成する予測ブロックサイズの水平・垂直サイズの基準となる、２のべき乗値に対応する値が定義できる。

（実施の形態４）
続いて、本発明の実施の形態４に係る動画像符号化装置及び動画像復号装置の説明を行う。実施の形態４においては、実施の形態３と同様に、メモリアクセス量を制限する為の動き補償予測や双予測の制限に加えて、予測ブロックサイズが小さくなった際の結合動き予測候補生成処理の動作回数を制限することで、結合動き予測候補生成に要する処理負荷を軽減させる構成を取る。

実施の形態４における、動画像符号化装置においては、実施の形態１に示した動画像符号化装置に対して、図１５に示す、動き補償予測ブロック構造選択部１１３において、結合動き情報単予測変換部１５０７が無くなり、結合動き情報算出部１５０６より出力された、動きベクトル、参照画像指定情報、結合動き情報候補リストが直接、結合動き補償予測生成部１５０８に供給される構成を取る。

また、実施の形態４における、動画像復号装置においては、実施の形態１に示した動画像復号装置に対して、図３６に示す、動き情報復号部１１１１において、結合動き情報単予測変換部３６０５が無くなり、結合動き情報算出部３６０４より出力された、動きベクトル、参照画像指定情報、結合動き情報候補リストが直接、結合動き補償予測復号部３６０６に供給される構成を取る。

実施の形態４においては、結合動き情報単予測変換部で行われていた動き情報の双予測から単予測への変換処理の変わりに、動き補償予測時に予測ブロックサイズがbipred_restriction_size以下の場合に双予測の動き情報のＬ０予測もしくはＬ１予測の一方の動き情報のみを用いた単予測の動き補償を行うことで、メモリアクセス量に制限を加えた動き補償予測をおこなう構造を取る。

具体的には、実施の形態４における符号化処理では、実施の形態１における、図１７のフローチャートで示される動き補償予測モード／予測信号生成処理において、ステップＳ１７０２及びステップＳ１７０３の処理が無くなり、図３１のフローチャートで示される結合予測モード評価値生成処理におけるステップＳ３１０５及びステップＳ３１０６で行われる、動き補償（単／双）予測ブロック生成処理の内部、及び図３３のフローチャートで示される予測モード評価値生成処理のステップＳ３３１２で行われる動き補償予測ブロック生成処理の内部で、単予測への制限処理が行われる。

実施の形態４において、図３１のフローチャートのステップＳ３１０５、ステップＳ３１０６及び、図３３のフローチャートのステップＳ３３１２で施される動き補償予測ブロック生成の動作を、図５２のフローチャートに示し、説明する。図５２のフローチャートは実施の形態４において、図１に示す動画像符号化装置における動き補償予測部１１２の詳細動作となり、以下の動作を行う。

供給された動き情報の予測種別が単予測である場合（Ｓ５２００：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償単予測ブロックを生成する（Ｓ５２０３）。

供給された動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ５２００：ＮＯ）、Ｌ０予測の動き情報とＬ１予測の動き情報（参照画像情報及び動きベクトル）が同一であるかどうか判定し、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ５２０１：ＹＥＳ）、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ５２０４）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。

供給されたＬ０予測の動き情報とＬ１予測の動き情報が同一でない場合（Ｓ５２０１：ＮＯ）、予測ブロックサイズがbipred_restriction_size以下であるかどうかを判定し、予測ブロックサイズがbipred_restriction_size以下である場合（Ｓ５２０２：ＹＥＳ）、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ５２０１：ＹＥＳ）と同様に、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ５２０４）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。双予測制限は双予測を単予測に制限することで動き補償予測のメモリ帯域を抑制することが目的であるため、双予測制限によって制限される予測リスト（Ｌ０／Ｌ１）は、Ｌ１単予測にしても良い。

供給された予測ブロックサイズがbipred_restriction_sizeより大きい場合（Ｓ５２０２：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償双予測ブロックを生成する（Ｓ５２０５）。

また、実施の形態４における復号処理では、実施の形態１における、図３９のフローチャートで示される結合予測動き情報復号処理において、ステップＳ３９０２及びステップＳ３９０３の処理が無くなり、図３７のフローチャートで示される予測ブロック単位復号処理におけるステップＳ３７０４で行われる、動き補償予測信号算出処理の内部で、単予測への制限処理が、符号化処理と同様に、図５２のフローチャートで示した処理で行われる。

実施の形態４においては、双予測の制限処理を結合動き情報候補リストを単予測に変換する構成を用いずに、動き補償予測時に双予測の動き情報のうち、Ｌ０予測もしくはＬ１予測の一方の動き情報のみを用いて、単予測の動き補償予測を行う構成を用いることで、メモリアクセス量の制限を実現する。

また、双予測の制限処理において、予測信号としては単予測と同一でありながら、動き情報は双予測となる結合動き情報候補を維持することができる。これにより、bipred_restriction_size以下の予測ブロックであっても、Ｌ０予測、Ｌ１予測ともに動き情報が保存されるため、以降に符号化・復号される予測ブロックの隣接参照動き情報として双予測の情報がそのまま利用でき、以降に符号化・復号される予測ブロックの動き予測処理の予測効率を向上させることができる。

また、結合動き情報候補リストとしては同じ動き情報を用いる、異なる大きさの予測ブロックサイズにおいて、動き補償予測時の双予測制限で、メモリアクセス量の制限を可能とするため、予測ブロックサイズが小さくなった際に、同一の結合動き予測候補リスト生成を行う場合に、同一リストを構成する基準の予測ブロックサイズとbipred_restriction_sizeが異なる場合でも、実施の形態４の構成をとることにより、結合動き情報候補リスト生成時に同一リスト構成と双予測制限の両方を加味した条件判断を加える必要がなく、動き補償予測時の双予測制限だけで機能を実現できる効果を有すると共に、メモリアクセスの制限を行うために制御するbipred_restriction_sizeより大きな予測ブロックサイズにおいて、結合動き情報に双予測の制限を加える必要がなくなるため、符号化効率を向上させる効果を有する。

また、動き補償予測時に双予測制限する構成では、動き情報を符号化するための２つの予測モード（結合予測モード、動き検出予測モード）の双方の双予測制限を一括して対応可能であるため、最小の構成で双予測制限を実現できる。

（実施の形態５）
続いて、本発明の実施の形態５に係る動画像符号化装置及び動画像復号装置の説明を行う。実施の形態５においては、実施の形態１と同様に、メモリアクセス量の制限を行うための、予測ブロックサイズによる動き補償予測制限と、双予測動き補償の制限を行うが、双予測の制限を行うための、結合動き情報候補リストの動き情報に対する双予測から単予測への変換手法が異なる構成を取る。

実施の形態５においては、実施の形態１と同様の構成及び処理を行うが、実施の形態１における、図１８のフローチャートで示される、結合動き情報候補リスト生成処理、及び図３０のフローチャートで示される、結合動き情報候補単予測変換処理が異なる構成を取る。

図５１のフローチャートで、実施の形態５における結合動き情報候補リスト生成処理の説明を行う。実施の形態５においては、符号化処理に対する図１７のフローチャートにおけるステップＳ１７０１及び、復号処理に対する図３９のフローチャートにおけるステップＳ３９０１において、図５３に示される処理が施される。実施の形態１の図１８のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

ステップＳ１８００からステップＳ１８０２までの処理によって、結合動き情報の候補となる、空間候補ブロック群から同一の情報を削除した形での空間結合動き情報候補と、時間結合動き情報候補が算出され、候補ブロックの動き情報から算出された結合動き情報が生成される。次に、ステップＳ１８０２までに生成された結合動き情報の数である、num_list_before_combined_mergeを格納する（Ｓ５３０５）。この値は、後述する結合動き情報候補単予測変換処理において用いられる。

続いて、ステップＳ１８０３からステップＳ１８０４までの処理によって、結合動き情報候補リストに登録された複数の結合動き情報候補の動き情報を組合せて生成した、第１結合動き情報候補と、結合動き情報候補リストに登録された動き情報に依存せずに生成した、第２結合動き情報候補が必要に応じて追加され、結合動き情報候補リスト生成処理を終了する。

実施の形態５における、結合動き情報候補リスト生成処理においての実施の形態１と異なる処理は、num_list_before_combined_mergeの格納処理であり、隣接ブロックより定義される候補ブロック群の動き情報を登録した結合動き情報と、候補ブロック群の動き情報の組合せや、候補ブロックの動き情報に依存しない動き情報を登録した結合動き情報の、境界のリスト番号を保存している。

続いて、図５４のフローチャートで、実施の形態５における結合動き情報候補単予測変換処理の説明を行う。実施の形態５においては、符号化処理に対する図１７のフローチャートにおけるステップＳ１７０３及び、復号処理に対する図３９のフローチャートにおけるステップＳ３９０３において、図５４に示される処理が施される。実施の形態１の図３０のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

図５２のフローチャートで示す結合動き情報候補単予測変換処理は、図３０のフローチャートに対して、動き情報が単予測でない場合（Ｓ３００２：ＮＯ）の処理が異なり、結合動き情報候補リストのインデックスｉがnum_list_before_combined_mergeより小さい場合（Ｓ５４０７：ＹＥＳ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報のＬ１情報を無効にする（Ｓ３００３）。

一方、インデックスｉがnum_list_before_combined_merge以上である場合（Ｓ５４０７：ＮＯ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報のＬ０情報を無効にする（Ｓ５４０８）。

ステップＳ３００３及びステップＳ５４０８で、単予測に変換されたインデックスｉの動き情報が結合動き情報候補リストに格納され（Ｓ３００４）、次のインデックスに進む（Ｓ３００５）。

実施の形態５における、結合動き情報候補単予測変換においては、結合動き情報候補リスト内の候補動き情報を、隣接する候補ブロックの動き情報から算出された動き情報と、登録された複数の動き情報の組合せや、候補ブロックの動き情報に依存せずに生成した動き情報に対して、単予測変換時に無効にする動き情報を予測種別（Ｌ０予測／Ｌ１予測）で切り替える。これにより、特に第１結合動き情報候補リスト追加部で追加された動き情報に対して、単予測変換時に無効にされた予測種別の動き情報を残して、単予測変換時に有効にされた予測種別の動き情報を無効にすることができ、結合動き情報として有効な動き情報を多く残すことが可能となり、符号化効率を向上させることができる。

また、双予測が制限された予測ブロックサイズにおいて、Ｌ０予測とＬ１予測が偏らずに候補として用いられるため、符号化・復号時に用いられた動き情報として保存される動き情報においてもＬ０予測とＬ１予測の偏りが少なくなる。そのため、後続する予測ブロックの結合動き情報候補生成時に、第１結合動き情報候補リスト追加部で生成できる双予測の動き情報の精度が向上し、符号化効率を向上させることができる。

実施の形態５においては、インデックスｉがnum_list_before_combined_mergeより小さい時にＬ１情報を無効にし、インデックスｉがnum_list_before_combined_merge以上の場合にＬ０情報を無効にしたが、num_list_before_combined_mergeを基準に無効にする予測種別を切り替えることが、この実施の形態における特徴であり、インデックスｉがnum_list_before_combined_mergeより小さい時にＬ０情報を無効にし、インデックスｉがnum_list_before_combined_merge以上の場合にＬ１情報を無効にする構成を取ることも可能である。

（実施の形態６）
続いて、本発明の実施の形態６に係る動画像符号化装置及び動画像復号装置の説明を行う。実施の形態６においては、実施の形態５と同様の構成をとり、結合動き情報候補単予測変換における無効にする予測種別（Ｌ０予測／Ｌ１予測）を切り替える点が特徴であるが、インデックスの固定位置を基準に切り替える構成を取る。

実施の形態６においては、実施の形態５と同様の構成及び処理を行うが、実施の形態５における、図５３のフローチャートで示される、結合動き情報候補リスト生成処理は行わず、実施の形態１と同一の、図１８のフローチャートで示される、結合動き情報候補リスト生成処理が行われる。

また、実施の形態６においては、実施の形態５における、図５４のフローチャートで示される、結合動き情報候補単予測変換処理が、図５５のフローチャートで示される処理に置き換わる構成を取る。実施の形態６においては、符号化処理に対する図１７のフローチャートにおけるステップＳ１７０３及び、復号処理に対する図３９のフローチャートにおけるステップＳ３９０３において、図５５に示される処理が施される。

以下、図５５のフローチャートの説明を行う。図５４のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。

図５５のフローチャートで示す結合動き情報候補単予測変換処理は、図５４のフローチャートに対して、動き情報が単予測でない場合（Ｓ３００２：ＮＯ）の処理が異なり、結合動き情報候補リストのインデックスｉが２より小さい場合（Ｓ５５０７：ＹＥＳ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報のＬ１情報を無効にする（Ｓ３００３）。

一方、インデックスｉが２以上である場合（Ｓ５５０７：ＮＯ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報のＬ０情報を無効にする（Ｓ５４０８）。

ステップＳ３００３及びステップＳ５４０８で、単予測に変換されたインデックスｉの動き情報が結合動き情報候補リストに格納され（Ｓ３００４）、次のインデックスに進む（Ｓ３００５）。

実施の形態６における、結合動き情報候補単予測変換においては、結合動き情報候補リスト内の候補動き情報を、隣接する候補ブロックの動き情報から算出された動き情報によって第１結合動き情報候補リスト追加部で、双予測の追加動き情報を生成するために必要な最小限の動き情報である２つの動き情報と、リストの後半で登録される第１結合動き情報候補リスト追加部及び第２結合動き情報候補リスト追加部で追加された動き情報に対して、インデックスの位置で固定的に単予測変換時に無効にする動き情報を予測種別（Ｌ０予測／Ｌ１予測）を切り替える構成を取る。

実施の形態６における、結合動き情報候補単予測変換においては、実施の形態５に対して、隣接ブロックより定義される候補ブロック群の動き情報を登録した結合動き情報と、候補ブロック群の動き情報の組合せや、候補ブロックの動き情報に依存しない動き情報を登録した結合動き情報の、境界のリスト番号を保存する処理を無くすことができるため、処理負荷が軽減できると共に、実施の形態５と同様に、第１結合動き情報候補リスト追加部で追加された動き情報に対して、単予測変換時に無効にされた予測種別の動き情報を残して、単予測変換時に有効にされた予測種別の動き情報を無効にすることができ、結合動き情報として有効な動き情報を多く残すことが可能となり、符号化効率を向上させることができる。

また、実施の形態６では、第１結合動き情報候補、第２結合動き情報候補だけでなく、空間予測候補や時間予測候補に対しても無効にする予測種別を切り替えることができるため、予測種別が双予測で同一の動き情報が登録されている場合に、結合動き情報としてＬ０単予測、Ｌ１単予測の動き情報をそれぞれ利用可能になるため、符号化効率を向上させることができる。

実施の形態６における、結合動き情報候補単予測変換において、無効にする予測種別（Ｌ０予測／Ｌ１予測）を切り替えるインデックスの位置を２に固定しているが、固定のインデックスで予測種別を切り替えることが実施の形態６における特徴であり、空間結合動き情報候補、時間結合動き情報候補、第１結合動き情報候補、第２結合動き情報候補として登録可能な動き情報の数と、最大で登録可能な結合動き情報候補の数に応じて、固定にする切り替え位置のインデックスの値を設定することも可能である。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 入力端子、 １０１ 入力画像メモリ、 １０２ 符号化ブロック取得部、 １０３ 減算部、 １０４ 直交変換・量子化部、 １０５ 予測誤差符号化部、 １０６ 逆量子化・逆変換部、 １０７ 加算部、 １０８ フレーム内復号画像バッファ、 １０９ ループフィルタ部、 １１０ 復号画像メモリ、 １１１ 動きベクトル検出部、 １１２ 動き補償予測部、 １１３ 動き補償予測ブロック構造選択部、 １１４ イントラ予測部、 １１５ イントラ予測ブロック構造選択部、 １１６ 予測モード選択部、 １１７ 符号化ブロック構造選択部、 １１８ ブロック構造／予測モード情報付加情報符号化部、 １１９ 予測モード情報メモリ、 １２０ 多重化部、 １２１ 出力端子、 １２２ 符号化ブロック制御パラメータ生成部、 １１００ 入力端子、 １１０１ 多重分離部、 １１０２ 予測差分情報復号部、 １１０３ 逆量子化・逆変換部、 １１０４ 加算部、 １１０５ フレーム内復号画像バッファ、 １１０６ ループフィルタ部、 １１０７ 復号画像メモリ、 １１０８ 予測モード／ブロック構造復号部、 １１０９ 予測モード／ブロック構造選択部、 １１１０ イントラ予測情報復号部、 １１１１ 動き情報復号部、 １１１２ 予測モード情報メモリ、 １１１３ イントラ予測部、 １１１４ 動き補償予測部、 １１１５ 出力端子、 １５００ 動き補償予測生成部、 １５０１ 予測誤差算出部、 １５０２ 予測ベクトル算出部、 １５０３ 差分ベクトル算出部、 １５０４ 動き情報符号量算出部、 １５０５ 予測モード／ブロック構造評価部、 １５０６ 結合動き情報算出部、 １５０７ 結合動き情報単予測変換部、 １５０８ 結合動き補償予測生成部、 １６００ 空間結合動き情報候補リスト生成部、 １６０１ 結合動き情報候補リスト削除部、 １６０２ 時間結合動き情報候補リスト生成部、 １６０３ 第１結合動き情報候補リスト追加部、 １６０４ 第２結合動き情報候補リスト追加部、 ３６００ 動き情報ビットストリーム復号部、 ３６０１ 予測ベクトル算出部、 ３６０２ ベクトル加算部、 ３６０３ 動き補償予測復号部、 ３６０４ 結合動き情報算出部、 ３６０５ 結合動き情報単予測変換部、 ３６０６ 結合動き補償予測復号部。

Claims (6)

1. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化装置であって、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築部と、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加部と、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化部と、
   前記動き情報候補を変換する動き情報変換部と、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測部とを備え、
   前記動き情報変換部は、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加部が前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測部は、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする動画像符号化装置。
2. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法であって、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、
   前記動き情報候補を変換する動き情報変換ステップと、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備え、
   前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする動画像符号化方法。
3. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化プログラムであって、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、
   前記動き情報候補を変換する動き情報変換ステップと、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとをコンピュータに実行させ、
   前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする動画像符号化プログラム。
4. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法により符号化された前記符号化ストリームをパケット化して符号化データを得るパケット処理部と、
   パケット化された前記符号化データを送信する送信部とを備え、
   前記動画像符号化方法は、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、
   前記動き情報候補を変換する動き情報変換ステップと、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備え、
   前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする送信装置。
5. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法により符号化された前記符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、
   パケット化された前記符号化データを送信する送信ステップとを備え、
   前記動画像符号化方法は、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、
   前記動き情報候補を変換する動き情報変換ステップと、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備え、
   前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする送信方法。
6. ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、その特定された予測ブロック単位で、符号化ストリームを生成する動画像符号化方法により符号化された前記符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、
   パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、
   前記動画像符号化方法は、
   符号化対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記符号化対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築ステップと、
   前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加ステップと、
   前記符号化対象となる前記予測ブロックに用いる前記動き情報候補リスト内の動き情報候補を指定するインデックス情報を符号化する符号化ステップと、
   前記動き情報候補を変換する動き情報変換ステップと、
   前記動き情報候補に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記符号化対象となる予測ブロックの予測信号を生成する動き補償予測ステップとを備え、
   前記動き情報変換ステップは、前記動き情報候補のうち、前記双予測を示す予測種別情報を、前記候補リスト追加ステップが前記動き情報候補リストに動き情報候補を追加した後に、前記単予測を示す予測種別情報に変換する予測変換を行い、
   前記動き補償予測ステップは、前記符号化対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ予測種別情報が前記双予測を示す場合に、前記予測変換により変換された動き情報に基づいて前記動き補償予測を行うことを特徴とする送信プログラム。

Images