JP5642305B2 - 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム - Google Patents

Description

本発明は、動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムに関するもので、とりわけ、２つの予測信号を平均化することにより最終的なブロック予測信号（双予測信号）を生成する動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図２０は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図２０（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ〜Ｍからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

この場合、対象ブロック８０２の真上にある隣接画素である画素群８０１を下方に引き伸ばして予測信号を生成する。また図２０（Ｂ）では、対象ブロック８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図２０（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれについて対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトル、及び、対象ブロックの画素信号と予測信号との残差信号を符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図１９は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面７０１上の対象ブロック７０２を例に予測信号の生成手順を説明する。参照画面７０３は既に再生済みであり、領域７０４は対象ブロック７０２と空間的に同一位置の領域である。ブロックマッチングでは、領域７０４を囲む探索範囲７０５を設定し、この探索範囲７０５の画素信号から対象ブロック７０２の画素信号との絶対値誤差和が最小となる領域７０６を検出する。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、参照画面７０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法もよく用いられる。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について２種類の手法がある。第１の手法は、１つの再生済み画面を参照して予測信号を生成する片予測であり、第２の手法は、１つあるいは２つの再生済み画面を参照して得られる２つの予測信号を平均化する双予測である。片予測には、表示順で過去の再生済み画面を参照する前方向予測と、表示順で未来の再生済み画面を参照する後方向予測とがある。画面間予測の種類については、例えば特許文献３に記載されている。

H．264では、参照画面７０３の候補として、複数の再生済み画面から成る２つの参照画面リストを作成して第２の画面間手法（双予測）を行う。各参照画面リストに登録される複数の参照画面を対象としてブロックマッチングを行い、領域７０６に相当する領域を２つ検出し、検出した２つの予測信号を平均化する。

図５と図６にて参照画面リストの例を説明する。図５（Ａ）では、画面５０５が符号化対象画像、画面５０１から画面５０４が再生済み画面を示している。図５（Ｂ）では、画面５１０が符号化対象画面、画面５０７、５０８、５０９と５１１が再生済み画面を示している。各画像（画面）の識別はフレーム番号（frame_num）にて行われる。図６のList0とList1が２つの参照画面リストを示しており、図６（Ａ）が図５（Ａ）の参照画面リスト、図６（Ｂ）と（Ｃ）が図５（Ｂ）の参照画面リストの例を示している。図６（Ａ）と（Ｃ）では、各参照画面リストにそれぞれ４個の参照画面が登録されており、図６（Ｂ）では、各参照画面リストにそれぞれ２個の参照画面が登録されている。各参照画面は参照画面インデックス（ref_idx）にて識別される。参照画面リストに登録できる再生済み画像は、基本的に任意である。なお、本件では、内容理解を容易にするために、上記の参照画面リストList0、List1に合せて、例えば、第０の動き情報、第１の動き情報といった呼称を用いている。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号

双予測では、類似する２つの予測信号の平均化による平滑化効果で予測信号に含まれるノイズを取り除くことが可能となる。ところが、このような平滑化効果の大きいブロックはテクスチャ領域やノイズを含む平坦領域であることが多く、参照画面内に類似信号が複数個存在する。

これらの領域の信号はランダム性が強いため、これらの領域にて対象ブロックに類似する２つの予測信号を複数の参照画面から探索すると、隣接するブロック間の動きベクトルがばらつくことがある。動きベクトルは、隣接ブロックの動きベクトルとの差で符号化するため、隣接ブロック間で動きベクトルがばらつくとその符号量が大きくなってしまう。

双予測の符号量を少なくする手法としては、従来例で示したように、隣接ブロックの状況に用いて２つの動きベクトルを復号側で導出する方法があるが、利用できる予測信号の制限が強すぎるため２つの予測信号の類似性を高めることが難しく、十分な平滑化効果が得られない。

上述の課題を解決するために、本発明では、対象ブロックと類似する予測信号を生成する１つの動きベクトルを符号化し、もう１つの動きベクトルを符号化済みの動き情報から選択的に求めることにより、２つの動きベクトルを符号化する双予測に対して少ない符号量で、効率良く予測信号のノイズを抑制する動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムを提供することを目的とする。

本発明の一側面に係る動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含むことを特徴とする。

ここで、前記第０の付加情報は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第１の付加情報は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成してもよい。

上記の動画像予測符号化装置では、前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。

本発明の一側面に係る動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、前記動き補償手段は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。

ここで、前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成してもよい。

上記の動画像予測復号装置では、前記復号手段は、さらに、画面あるいはスライス毎に、画面あるいはスライスのヘッダに含まれる前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含まないことを示す場合には、前記第１の付加情報として第１の予測動き情報インデックスを復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルと第１の予測動き情報インデックスとを復号し、前記第１の動き情報復元手段は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを復元してもよい。

本発明は、動画像予測符号化方法に係る発明、動画像予測復号方法に係る発明、動画像予測符号化プログラムに係る発明、動画像予測復号プログラムに係る発明として捉えることもでき、以下のように記述することができる。

本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定ステップと、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定ステップと、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含むことを特徴とする。

ここで、前記第０の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第０の付加情報を生成し、前記第１の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第１の付加情報を生成し、前記動き情報記録ステップにおいて、前記動画像予測符号化装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別してもよい。

上記の動画像予測符号化方法では、前記第１の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録ステップに保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成し、前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。

本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元ステップと、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。

ここで、前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録ステップにおいて、前記動画像予測復号装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、前記第０の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、前記第１の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成してもよい。

上記の動画像予測復号方法では、前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、画面あるいはスライスのヘッダに含まれる前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含まないことを示す場合には、前記動画像予測復号装置は、前記第１の付加情報として第１の予測動き情報インデックスを復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第１の付加情報として差分動きベクトルと第１の予測動き情報インデックスとを復号し、前記第１の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを復元してもよい。

本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、として機能させるための動画像予測符号化プログラムであり、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含むことを特徴とする。

ここで、前記第０の付加情報は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第１の付加情報は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成してもよい。

上記の動画像予測符号化プログラムでは、前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を画面あるいはスライスのヘッダに含めて符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。

本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、として機能させるための動画像予測復号プログラムであり、前記復号手段は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、前記動き補償手段は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。

ここで、前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成してもよい。

上記の動画像予測復号プログラムでは、前記復号手段は、さらに、画面あるいはスライス毎に、画面あるいはスライスのヘッダに含まれる前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含まないことを示す場合には、前記第１の付加情報として第１の予測動き情報インデックスを復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルと第１の予測動き情報インデックスとを復号し、前記第１の動き情報復元手段は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを復元してもよい。

本発明の動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムによれば、符号化済みの動き情報に基づいて双予測に有効な１つの動きベクトルを指示できるので、少ない符号量で双予測の性能を高める効果がある。

本実施形態に係る動画像予測符号化装置を示すブロック図である。 図１に示す予測信号生成器を説明するブロック図である。 図２に示す第１の動き推定処理を説明するフローチャートである。 図２に示す第０の動き推定処理を説明するフローチャートである。 画面の符号化順の例を説明する模式図である。 参照画面リストの例を説明する図である。 隣接ブロックの例を説明する図である。 隣接ブロックの別例を説明する図である。 図１に示す動画像予測符号化装置の動画像予測符号化方法の手順を示すフローチャートである。 本実施形態に係る動画像予測復号装置を示すブロック図である。 図１０に示す動き情報復元器を説明するブロック図である。 図１１に示す第１の動き情報復元処理を説明するフローチャートである。 図１１に示す第０の動き情報復元処理を説明するフローチャートである。 図１０に示す動画像予測復号装置の動画像予測復号方法の手順を示すフローチャートである。 本実施形態に係る動画像予測符号化方法を実行することができるプログラムを示すブロック図である。 本実施形態に係る動画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 画面間予測における動き推定処理を説明するための模式図である。 従来の画面内予測方法を説明するための模式図である。

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。また、動画像を構成する「フレーム」、「画面」、「画像」（図５の５０１から５１１）は本明細書内の説明では同じ意味とする。

図１は、本実施形態に係る動画像予測符号化装置１００を示すブロック図である。この動画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、出力端子１１２、動き情報用メモリ１１３を備えている。変換器１０６及び量子化器１０７は残差信号圧縮手段として機能し、逆量子化器１０８及び逆変換器１０９は残差信号復元手段として機能し、動き情報用メモリは動き情報記録手段として機能する。また、動き情報用メモリ１１３は、予測信号生成器１０３に含まれてもよい。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域（対象ブロック、対象領域）に分割する。本実施形態では、８×８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。

予測信号生成器１０３は、対象ブロック内の各予測ブロックの予測信号を生成するために必要な動き情報を検出すると共に、予測信号を生成する。また、復号装置にて動き情報の復元に必要となる付加情報を生成する。予測信号の生成方法は本発明では限定されないが、背景技術で説明したような画面間予測（片予測、双予測）や画面内予測（画面内予測については図示せず）が適用可能である。

本実施形態では、双予測にて予測信号を生成する。双予測の１つの動き情報は図１９に示したブロックマッチングにて、Ｌ１０２経由で入力される対象ブロックの元の信号と双予測信号との絶対値誤差和が最小となるようにＬ１０４経由で取得される画像信号を用いて検出する。そして、もう１つの動き情報は、符号化済みの動き情報に基づいて生成する。

本実施形態では、双予測について説明するため、動き情報は、第０の動き情報と第１の動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0][0/1]またはmv[1][0/1]）を含む。第０の動き情報の参照画面の候補は図６のList0、第１の動き情報の参照画面の候補は図６のList1にて指示される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。

なお、図６に示す参照画面リストに登録される再生画像は、予め定めておいたルールに従って自動的に決まってもよいし、フレーム単位やシーケンス単位で明示的に符号化してもよい。この際、各参照画面の識別には図５と図６に示すようにフレーム番号が利用できる。

予測信号生成器１０３にて生成された動き情報はＬ１０３ｂを経由して、動き情報用メモリ１１３に出力される。

動き情報用メモリ１１３は、入力された動き情報を保存する。保存した動き情報は、Ｌ１１３を経由して予測信号生成器に入力され、後続するブロックの動き情報の符号化に利用される。

予測信号生成器１０３にて生成された付加情報はＬ１０３ｃを経由して、符号化器１１１に出力される。

予測信号生成器１０３にて生成された予測信号は、Ｌ１０３ａ経由で減算器１０５と加算器１１０に出力される。

減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割して入力された対象ブロックの画素信号からラインＬ１０３ａを経由して入力される対象ブロックに対する予測信号を減算して、残差信号を生成する。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、入力された残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。

符号化器１１１は、予測信号生成器より入力された付加情報と量子化器１０７から入力された量子化変換係数をエントロピー符号化し、符号化データはＬ１１１を経由で出力端子１１２に出力される。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。

出力端子１１２は、符号化器１１１から入力した情報をまとめて外部に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とＬ１０３ａ経由で入力される予測信号とを加算し、符号化対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の符号化対象ブロックの予測信号生成に用いるため、符号化された符号化対象ブロックの再生信号は、逆処理にて復元されフレームメモリ１０４に記憶される。

次に、予測信号生成器１０３について詳しく説明する。そこで、まず、動き情報、予測動き情報と付加情報について述べる。

上記で示したとおり、双予測における動き情報は、第０の動き情報と第１の動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0]またはmv[1]）を含む。第０の動き情報の参照画面の候補は図６のList0、第１の動き情報の参照画面の候補は図６のList1にて指示される。

本実施形態の双予測では、予測信号生成器１０３にて、既に符号化済みの動き情報を予測動き情報として利用する。符号化済みの動き情報には、符号化済みの隣接ブロックに付随する動き情報や、対象領域の符号化済みの動き情報が含まれる。なお、隣接ブロックに付随する動き情報とは、隣接ブロックが符号化対象であったときに予測信号の生成に用いた動き情報を指しており、動き情報用メモリ１１３に保存されている。

予測動き情報も、第０の予測動き情報と第１の予測動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0]またはmv[1]）を含む。第０の予測動き情報の参照画面の候補は図６のList0、第１の予測動き情報の参照画面の候補は図６のList1にて指示される。

予測動き情報の具体的な利用方法としては、List0の参照画面を参照してブロックマッチングにて検出した第０の動き情報の動きベクトルを差分符号化する際に、第０の予測動き情報に基づいて、予測動きベクトルを生成する。また、List1の参照画面を用いる第１の動き情報を第１の予測動き情報に基づいて生成する。

予測動き情報の例を図７にて説明する。図７に示すブロック４００が対象ブロックであり、それに隣接するブロック４０１から４０４に付随する動き情報が予測動き情報の候補となる。隣接ブロックの動き情報はそれぞれ第０の動き情報と第１の動き情報を含んでいる。両方を予測動き情報の候補としてもよいし、一方に限定してもよい（第Ｎの動き情報を予測する場合には、隣接ブロックの第Ｎの動きベクトルのみを候補とする）。

また、ブロック４１０が、参照画面内でブロック４００と空間的に同じ位置のブロック（co-located block）を示す。ブロック４１０とそれに隣接するブロック４１１から４１５に付随する動き情報が予測動き情報の候補となる。nは予測動き情報の候補を識別する番号を示しており、選択された候補は、予測動き情報インデックス（mvp_idx[0]またはmvp_idx[1]）にて指示される。本実施形態では、第０の動き情報を先に符号化するため、第１の予測動き情報としては、ブロック４００に付随する第０の動き情報を利用することも可能である（例ではn=4とする）。

なお、予測動き情報の候補の位置と番号は、符号化側と復号側で予め定められていればよく、本発明では限定されない。また、予測動き情報の候補の数は、符号化側と復号側で予め定められていてもよいし、符号化してもよい。

また、予測動き情報のref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトル（pmv[0][0/1]またはpmv[1][0/1]）として用いる。この際、予測動き情報に含まれる参照画面インデックス（ref_idx[0]またはref_idx[1]）は、対象ブロックの参照画面インデックス（ref_idx[0]またはref_idx[1]）に更新される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。

付加情報は、第０の付加情報と第１の付加情報にて構成される。第０の付加情報は、ref_idx[0]と差分動きベクトル（mvd[0][0/1]＝mv[0][0/1]−pmv[0][0/1]）とmvp_idx[0]を含む。第１の付加情報は、ref_idx[1]とmvp_idx[1]を含む。本実施形態ではmv[1][0/1]＝pmv[1][0/1]とするため、mvd[1][0/1]のベクトル値は常に０となる。mvd[1][0/1]は符号化しなくても復号側で復元できるため、第１の付加情報に含める必要がない。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。

図２は、本実施形態に係る予測信号生成器１０３の構成を示すブロック図である。この予測信号生成器１０３は、第１の動き情報推定器１２１、第０の動き情報推定器１２２、予測信号合成器１２３を備えている。

第１の動き情報推定器１２１では、Ｌ１０４を経由して入力されるList1の参照画面を用いて、Ｌ１１３を経由して入力される複数の第１の予測動き情報の候補（参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする）からＬ１０２を経由して入力される対象ブロックの元の信号に最も類似する第１の予測信号を生成する１つの第１の予測動き情報の候補と参照画面インデックスの組を選択する。第１の予測信号をＬ１２１ａ経由で予測信号合成器１２３に出力し、選択された第１の予測動き情報と参照画面インデックスの組に基づいて生成される第１の動き情報を、Ｌ１２１ｂとＬ１０３ｂ１を経由して第０の動き情報推定器１２２と動き情報用メモリ１１３にそれぞれ出力する。さらに、第１の付加情報を生成し、Ｌ１０３ｃ１経由で符号化器１１１に出力する。

第０の動き情報推定器１２２では、Ｌ１２１ｂから入力される第１の動き情報とＬ１０４を経由して入力されるList1の参照画面を用いて、第１の予測信号を生成する。そして、Ｌ１０４を経由して入力されるList0の参照画面を探索し、第１の予測信号と探索した第０の予測信号の候補により生成される双予測信号とＬ１０２を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第０の動き情報を検出する。検出した第０の動き情報により生成される第０の予測信号をＬ１２２経由で予測信号合成器１２３に出力する。また、第０の動き情報を、Ｌ１０３ｂ２を経由して動き情報用メモリ１１３に出力する。さらに、第０の付加情報を生成し、Ｌ１０３ｃ２経由で符号化器１１１に出力する。

なお、第０の動き情報推定器１２２による処理を先に実行して、第０の動き情報と第０の付加情報を第０の予測信号よりも先に求めても良い。この場合は、探索した第０の予測信号の候補により生成される予測信号とＬ１０２を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第０の動き情報を検出する。そして、第０の予測信号を利用して、第１の動き情報推定器１２１を実行する。つまり、Ｌ１０４を経由して入力されるList1の参照画面を用いて、Ｌ１１３を経由して入力される複数の第１の予測動き情報の候補（参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする）から第１の予測信号の候補を生成し、第０の予測信号と第１の予測信号の候補により生成される双予測信号がＬ１０２を経由して入力される対象ブロックの元の信号に最も類似するように第１の予測動き情報の候補と参照画面インデックスの組を選択する。この変形は、第０の動き情報を第１の動き情報推定器１２１に入力することにより実施できる。

予測信号合成器１２３では、Ｌ１２１ａとＬ１２２を経由して入力される第１の予測信号と第０の予測信号を平均化して、対象ブロックの予測信号を生成、Ｌ１０３ａ経由で減算器１０５と加算器１１０に出力される。

図３に第１の動き情報推定器１２１のフローチャートを示す。最初にステップＳ３０１にて対象ブロックの予測に用いるList1の参照画面の数をM（図６（Ａ）や（Ｃ）ではＭ＝４、図６（Ｂ）ではＭ＝２）に設定するとともに、第１の動き情報に含まれるList1の参照画面インデックスref_idx[1]を0に設定し、List1の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップＳ３０２にて、予測動きベクトルの候補数をＮ（図７ではＮ＝１１、但し、第１の動き情報推定器１２１を第０の動き情報推定器１２２よりも先に実施する場合には、ブロック４００の第０の動き情報は決定していないためn=4はスキップする）に設定し、第１の付加情報に含まれる予測動き情報インデックスmvp_idx[1]を0に設定し、予測動き情報数のカウントnを0に初期化する。

次に、ステップＳ３０３にて、隣接ブロックの動きベクトルから予測動きベクトル候補nの動きベクトルを取得し、ステップＳ３０４にて、n番目の予測測動きベクトルpmv[1][m][n][0/1]を生成する（ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する。図面でも同様に省略する）。この際、隣接ブロックの動きベクトルを対象画面と参照画面の距離（参照画面インデックスにより識別されるフレーム番号）に応じてスケーリングして、予測動きベクトルとする。その後、ステップＳ３０５にて、第m番目の参照画面とn番目のスケーリング後の予測動きベクトル(pmv[1][m][n])に基づいて対象ブロックの予測信号を生成し、ステップＳ３０６にて、生成した予測信号と対象ブロックの元の信号との差分信号の絶対値和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和が動きベクトル評価値D以上の場合には、ステップＳ３０８に進む。絶対値和が動きベクトル評価値Dより小さい場合には、ステップＳ３０７に進み、第１の付加情報に含まれる予測動き情報インデックスmvp_idx[1]をnに更新し、参照画面インデックスをref_idx[1]をmに更新し、動きベクトル評価値DをステップＳ３０６にて算出した予測信号と対象ブロックの元の信号との差分信号の絶対値和に更新する。さらに第１の動き情報に含まれる動きベクトルmv[1]を予測動きベクトルpmv[1][ref_idx[1]][mvp_idx[1]]に設定し、参照画面インデックスをref_idx[1]に設定する。その後、ステップＳ３０８に進む。

ステップＳ３０８では、nの値がＮより小さいか否かを判定し、nがNより小さい場合には、ステップＳ３０９に進み、nがNに達した場合にはステップＳ３１０に進む。ステップＳ３０９では、nの値に１を加算し、ステップＳ３０３に戻る。その後、nがＮに達するまでステップＳ３０３からステップＳ３０７を繰り返す。ステップＳ３１０では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップＳ３１１に進み、mの値に１を加算し、ステップＳ３０２に戻る。その後、mがMに達するまでステップＳ３０２からステップＳ３０９を繰り返す。mがMに達した場合には、ステップＳ３１２にて第１の付加情報（ref_idx[1]、mvp_idx[1]）を符号化器１１１に出力すると共に、第１の動き情報（ref_idx[1]とmv[1]）を動き情報用メモリ１１３に格納して、第０の動き情報推定器１２２に出力し、処理を終了する。

図４に第０の動き情報推定器１２２のフローチャートを示す。最初にステップＳ３５１にて、第１の動き情報に基づいて双予測における第１の予測信号を生成する。次に、ステップＳ３５２にて、対象ブロックの予測に用いるList0の参照画面の数をM（図６（Ａ）や（Ｃ）ではＭ＝４、図６（Ｂ）ではＭ＝２））に設定するとともに、第０の動き情報に含まれるList0の参照画面インデックスref_idx[0]を0に設定し、List0の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップＳ３５３にて、複数の候補から第０の動きベクトルを差分符号化する際に用いる予測動きベクトルを識別する予測動き情報インデックスmvp_idx[0]を決定する。選択方法は、例えば、図３のステップＳ３０３からＳ３０９に示す手法が利用できる。そして、予測動きベクトルの候補pmv[0][m][n]を生成する。この際、図３のステップＳ３０４にて説明したように、隣接ブロックの動きベクトルを対象画面と参照画面の距離（参照画面インデックスにより識別されるフレーム番号）に応じてスケーリングして予測動きベクトルとする。

次に、ステップＳ３５４にて、フレームメモリ１０４に格納されているref_idx[0]にて指示される参照画面を取得し、第１の予測信号とあわせて平均化することによって得られる双予測信号と元の信号との差分信号の絶対値和が最小となる第０の動きベクトルmv[0]を探索する。続いてステップＳ３５５では、第０の差分動きベクトルmvd[0]（＝mv[0]−pmv[0][m][n]）を生成する。続いて、ステップＳ３５６にて、生成した双予測信号と対象ブロックの元の信号との差分信号の絶対値和と第０の付加情報（mvd[0]とmとn）の符号量評価値（λ(QP)×(mvd、m、nの符号量)、λは予測誤差信号を変換した変換係数を量子化する際の量子化精度を決めるパラメータＱＰにてきまる重み値）の和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和＋符号量評価値が動きベクトル評価値D以上の場合には、ステップＳ３５８に進む。絶対値和＋符号量評価値が動きベクトル評価値Dより小さい場合には、ステップＳ３５７に進み、第０の付加情報に含まれる予測動き情報インデックスmvp_idx[0]をnに更新し、参照画面インデックスをref_idx[0]をmに更新し、差分動きベクトルmvd[0]を（mv[0]−pmv[0][ref_idx[1]][mvp_idx[1]]）に更新し、DをステップＳ３５６にて算出した双予測信号と対象ブロックの元の信号との差分信号の絶対値和＋符号量評価値に更新する。さらに第０の動き情報に含まれる動きベクトルmv[0]を更新する。その後、ステップＳ３５８に進む。

ステップＳ３５８では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップＳ３５９に進み、mの値に１を加算し、ステップＳ３５３に戻る。その後、mがMに達するまでステップＳ３５３からステップＳ３５９を繰り返す。mがMに達した場合には、ステップＳ３６０にて、第０の付加情報（ref_idx[0]、mvd[0]、mvp_idx[0]）を符号化器１１１に出力すると共に、第０の動き情報（ref_idx[0]とmv[0]）を動き情報用メモリ１１３に格納して、処理を終了する。

なお、第０の動き情報推定器１２２を先に実行して、第０の動き情報と第０の付加情報を第０の予測信号よりも先に求めても良い。この場合、図４のステップＳ３５１は省略され、ステップＳ３５６では、双予測信号ではなく、第０の予測信号と元の信号との差分信号の絶対値和を求める。図３では、図７のn=4で指示される第０の動き情報を予測動き情報の候補として活用することが可能となる。第０の動き情報に基づいて双予測における第０の予測信号を生成するステップを追加し、ステップＳ３０６で、生成した第１の予測信号と第０の予測信号を平均化することにより生成される双予測信号と元の予測信号との差分信号の絶対値和を算出するように変更することにより、この変形は実現できる。

このように、既に符号化済みの動き情報に基づいて双予測の第１の動きベクトルを生成し、動きベクトルの代わりに、図６と図７に示すような複数の候補から参照画面インデックスと予測動き情報を識別する識別情報を符号化することにより、少ない符号量で、ランダム性の高いテクスチャ領域やノイズを含む平坦領域の対象ブロックの信号に類似する１つの類似信号を生成できる。さらに、参照画面上を探索して、第２の類似信号を生成する第０の動きベクトルを検出して符号化することにより、２つの動きベクトルを共に符号化済みの動き情報から求める場合に比較して、双予測信号の平滑化効果を高める効果が期待できる。

図９は、本実施形態に係る動画像予測符号化装置１００における動画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を８×８の符号化ブロック（それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。）に分割する。

まず、予測信号生成器１０３を構成する第１の動き情報推定器１２１がフレームメモリ１０４から得られるList１の参照画面と動き情報用メモリから得られる第１の予測動き情報の候補を用いて、対象ブロックに類似する第１の予測信号を生成すると共に、第１の予測信号の生成に必要となる第１の動き情報と第１の付加情報を生成する（ステップＳ１００）。このステップの詳細については、図３にて説明済みである。次に、第０の動き情報推定器１２２がフレームメモリ１０４から得られるList0の参照画面と動き情報用メモリから得られる第０の予測動き情報の候補と、第１の動き情報推定器１２１から得られる第１の動き情報を用いて、対象ブロックに類似する第０の予測信号を生成すると共に、第０の予測信号の生成に必要となる第０の動き情報と第０の付加情報を生成する（ステップＳ１５０）。このステップの詳細については、図４にて説明済みである。

次に、第０の付加情報と第１の付加情報を符号化器１１１でエントロピー符号化すると共に、第０の動き情報と第１の動き情報を動き情報用メモリ１１３に格納する（ステップＳ１０１）。続いて、ステップＳ１０２では、予測信号生成器１０３を構成する予測信号合成器１２３にて、第０の予測信号と第１の予測信号を平均化して、対象ブロックの双予測信号を生成する。符号化対象ブロックの画素信号と予測信号との差分を示す残差信号は、変換器１０６、量子化器１０７及び符号化器１１１により変換符号化される（ステップＳ１０３）。付加情報と量子化変換係数の符号化データは出力端子１１２を介して出力される（ステップＳ１０４）。後続の符号化対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０にて、復号された残差信号と予測信号とが加算され、符号化対象ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面として記憶される（ステップＳ１０５）。そして、すべての符号化対象ブロックの処理が完了していない場合にはステップＳ１００に戻り、次の符号化対象ブロックに対する処理が行われる。すべての符号化対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０６）。

次に、本実施形態に係る動画像予測復号方法について説明する。図１０は、本実施形態に係る動画像予測復号装置２００を示すブロック図である。この動画像予測復号装置２００は、入力端子２０１、復号器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、動き補償器２０７、動き情報復元器２０８、フレームメモリ１０４、動き情報用メモリ１１３を備えている。逆量子化器２０３、逆変換器２０４は、残差信号復元手段として機能し、動き情報用メモリ１１３は動き情報記録手段として機能する。逆量子化器２０３及び逆変換器２０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器２０４はなくてもよい。

入力端子２０１は、上述した動画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された符号化ブロックについて、誤差信号を変換量子化してエントロピー符号化した量子化変換係数の情報の符号化データと、ブロックの双予測信号を生成するための第０の付加情報と第１の付加情報の符号化データが含まれている。

復号器２０２は、入力端子２０１に入力された圧縮データを解析し、復号対象ブロックに関して、量子化変換係数の符号化データ、付加情報の符号化データに分離して、エントリピー復号し、Ｌ２０２ａ、Ｌ２０２ｂ経由で、それぞれ、逆量子化器２０３、動き情報復元器２０８に出力する。

動き情報復元器２０８は、第０の付加情報（ref_idx[0]、mvd[0]、mvp_idx[0]）と第１の付加情報（ref_idx[1]、mvp_idx[1]）を、Ｌ２０２ｂを経由して入力し、Ｌ１１３経由で取得される復号済みの動き情報を利用して、第０の動き情報（ref_idx[0]、mv[0]）と第１の動き情報（ref_idx[1]、mv[1]）を復元する。復元された第０の動き情報と第１の動き情報はＬ２０８ａとＬ２０８ｂ経由で動き補償器２０７と動き情報用メモリ１１３にそれぞれ出力される。動き情報用メモリは動き情報を保存する。

動き補償器２０７は、２つの動き情報に基づいてフレームメモリ１０４から既再生信号を取得し、２つの予測信号を平均化して、復号対象ブロックの双予測信号を生成する。生成された予測信号はＬ１２６経由で加算器２０５に出力される。

復号器２０２にて復号された復号対象ブロックにおける残差信号の量子化変換係数は、Ｌ２０３経由で逆量子化器２０３に出力される。逆量子化器２０３は、復号対象ブロックにおける残差信号の量子化係数を逆量子化する。逆変換器２０４は、逆量子化したデータを逆離散コサイン変換して残差信号を生成する。

加算器２０５は、動き補償器２０７で生成された双予測信号を、逆量子化器２０３および逆変換器２０４により復元された残差信号に加算して、復号対象ブロックの再生画素信号をラインＬ２０５経由で出力端子２０６およびフレームメモリ１０４に出力する。出力端子２０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ１０４は、つぎの復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。

図１１は、本実施形態に係る動き情報復元器２０８の構成を示すブロック図である。この動き情報復元器２０８は、第１の動き情報復元器２１１、第０の動き情報復元器２１２を備えている。

これらの第１の動き情報復元器２１１と第０の動き情報復元器２１２は同時に動作することが可能である。

第０の動き情報復元器２１２は、第０の付加情報（ref_idx[0]、mvp_idx[0]、mvd[0]）を入力として、Ｌ１１３経由で得られる隣接ブロックの動き情報から第０の予測動きベクトル（pmv[0][ref_idx[0]][mvp_idx[0]]）を生成し、予測動きベクトルと付加情報に含まれる差分動きベクトル（mvd[0]）を加算することにより、第０の動き情報に含まれる動きベクトルを生成することにより、第０の動き情報を復元する。同様に、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。

第１の動き情報復元器２１１は、第１の付加情報（ref_idx[1]、mvp_idx[1]）を入力として、Ｌ１１３経由で得られる復号済みの動き情報から第１の予測動きベクトル（pmv[1][ref_idx[1]][mvp_idx[1]]）を生成する。この予測動きベクトルを第１の動き情報に含まれる動きベクトル（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]）とすることにより、第１の動き情報を復元する。このとき、差分動きベクトルmvd[1]をゼロベクトルに設定し、これを予測動きベクトルと加算して、第１の動きベクトルを復元するようにしてもよい。なお、この際、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトルとして用いる。

図１３に第０の動き情報復元器２１２のフローチャートを示す。最初にステップＳ４５１にて第０の付加情報（ref_idx[0]とmvp_idx[0]とmvd[0]）の復号データを入力する。次に、ステップＳ４５２にて、入力されたref_idx[0]とmvp_idx[0]に基づいて、図７に示すような隣接ブロックの動き情報（ブロック４００の動き情報は未定のため含めない）から、mvp_idx[0]にて指示される動き情報を入力し、予測動きベクトル（pmv[0][ref_idx[0]][mvp_idx[0]]）を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップＳ４５３にて、生成した予測動きベクトルと差分動きベクトルを加算して、第０の動きベクトルを復元する（mv[0]＝pmv[0][ref_idx[0]][mvp_idx[0]]＋mvd[0]）。最後にステップＳ４５４にて第０の動き情報（ref_idx[0]とmv[0]）を動き補償器２０７と動き情報用メモリ１１３に出力して、処理を終了する。

図１２に第１の動き情報復元器２１１のフローチャートを示す。最初にステップＳ４０１にて第１の付加情報（ref_idx[1]とmvp_idx[1]）の復号データを入力し、ステップＳ４０２にて差分動きベクトル（mvd[1]）のベクトル値を０に設定する。次に、ステップＳ４０３にて、入力されたref_idx[1]とmvp_idx[1]に基づいて、図７に示すように復号済みの動き情報（n=4を含めることが可能）から、mvp_idx[1]にて指示される動き情報を入力し、予測動きベクトル（pmv[1][ref_idx[1]][mvp_idx[1]]）を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップＳ４０４にて、生成した予測動きベクトルと差分動きベクトルを加算して、第１の動きベクトルを復元する（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]]＋mvd[1]）。最後にステップＳ４０５にて第１の動き情報（ref_idx[1]とmv[1]）を動き補償器２０７と動き情報用メモリ１１３に出力して、処理を終了する。なお、mvd[1]のベクトル値は常に０となるため、ステップＳ４０２を省略し、ステップＳ４０４にて予測動きベクトルを動きベクトルに設定してもよい（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]]）。

次に、図１４を用いて、図１０に示す動画像予測復号装置２００における動画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される（ステップＳ２０１）。そして、復号器２０２にて圧縮データのデータ解析し、エントロピー復号を行い、双予測信号の生成に必要となる第０の付加情報と第１の付加情報、ならびに量子化変換係数を復号する（ステップＳ２０２）。

次に、動き情報復元器２０８を構成する第０の動き情報復元器２１２にて、第０の付加情報と動き情報用メモリ１１３に保存されている隣接ブロックの動き情報を用いて、第０の動き情報を復元する（ステップＳ２５０）。このステップの詳細については、図１３にて説明済みである。

続いて、動き情報復元器２０８を構成する第１の動き情報復元器２１１にて、第１の付加情報と動き情報用メモリ１１３に保存されている隣接ブロックの動き情報を用いて、第１の動き情報を復元する（ステップＳ２００）。このステップの詳細については、図１２にて説明済みである。

次に、復元された動き情報に基づいて、動き補償器２０７が復号対象ブロックの双予測信号を生成する共に、動き情報を動き情報用メモリ１１３に保存する（Ｓ２０７）。

復号器２０２にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、逆変換器２０４において逆変換が行われ、再生残差信号が生成される（Ｓ２０８）。そして、生成された双予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の復号対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０９）。次の圧縮データがある場合には、Ｓ２０２〜Ｓ２０９のプロセスを繰り返し（Ｓ２１０）、全てデータが最後まで処理される。

次に、本発明を含む複数の双予測方法を選択的に利用する手法について説明する。上記で説明した１本の差分動きベクトルのみを符号化する双予測（双予測タイプ２と呼ぶ）は、従来の２本の差分動きベクトルを符号化する双予測（双予測タイプ１と呼ぶ）ならびに片予測と適応的に組み合わせて利用できる。これらの予測方式は、画面単位、複数のブロックをまとめたスライス単位、あるいはブロック単位で切り替えて利用することが可能である。切り替え処理には、切り替え情報を符号化する方法や、参照画面のフレーム番号に基づいて復号側にて決定する方法が利用できる。

なお、双予測タイプ１と双予測タイプ２を切り替える処理は、図２の第１の動き情報推定器１２１に、ブロックマッチング機能と探索した動きベクトルから予測ベクトルを減算して差分動きベクトルを算出する機能を追加し、図１１の第１の動き情報復元器に差分動きベクトルを復号器から取得する機能を追加することにより実現できる。下記に具体的な方法を説明する。

（画面/スライス単位切り替え、双予測タイプの切り替え情報符号化）
画面/スライス単位で双予測タイプ１と双予測タイプ２を切り替える場合には、双予測タイプの切り替え情報（例えば、BiPred_type）を、画面あるいはスライスのヘッダに含めて符号化する。

図５（Ａ）のようにすべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ２が有効となるため、符号化側で、双予測タイプ２の利用を選択する。そして、符号化装置は、画面あるいはスライスのヘッダ情報にて、双予測タイプ２を示す指示情報（例えば、BiPred_type=1）を符号化する。一方、図５（Ｂ）のように、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、符号化装置は、双予測タイプ１を選択し、画面あるいはスライスのヘッダ情報にて、双予測タイプ１を示す指示情報（例えば、BiPred_type=0）を符号化する。

双予測タイプ１を利用する場合には、画面内あるいはスライス内のブロックを符号化する際に、動きベクトルmv[1]を探索し。第０の付加情報（ref_idx[0]とmvd[0]とmvp_idx[0]を符号化）と同じく、第１の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に符号化する。双予測タイプ２を利用する場合には、第０の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を符号化し、第１の付加情報としてref_idx[1]とmvp_idx[1]を符号化する。

復号側では、画面あるいはスライスのヘッダ情報にて復号した指示情報に基づいて、画面内あるいはスライス内の各ブロックを復号する際に、mvd[1]の復元方法を切り替える。つまり、双予測タイプ１を示す指示情報（例えば、BiPred_type=0）を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第１の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に復号する。双予測タイプ２を示す指示情報（例えば、BiPred_type=1）を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第１の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。第０の付加情報としては、指示情報の値に関わらず、ref_idx[0]とmvd[0]とmvp_idx[0]を復号する。

なお、符号化側における双予測タイプ１と双予測タイプ２の切り替え方法は、ここで示した方法に依存しない。例えば、すべての参照画面が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ２を利用するようにしてもよい。また、実際に双予測タイプ１と双予測タイプ２を適用した場合の符号化効率（例えば、符号化誤差信号の２乗和＋符号化ビット数を変換した評価値）を調査して、符号化効率が高いほうを選択する方法が採用できる。

さらに、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。

なお、ブロックの予測方法で片予測と双予測の両方を用いる場合には、予測タイプ（片予測または双予測）を符号化側にて選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ１と双予測タイプ２の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ１と双予測タイプ２の切り替え処理を実施する。

（画面/スライス単位切り替え、参照画面のフレーム番号に基づく決定）
図５（Ａ）や図５（Ｂ）に示す参照画面の候補は、符号化側と復号側で同一である。そのため、参照画面の候補のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ１と双予測タイプ２のいずれを用いるかを決定できる。つまり、すべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ２を利用し、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、双予測タイプ１を利用する。この方法では、指示情報を送る必要はない。

なお、すべての参照画面の候補が、符号化対象画面に対して表示順で未来の画面の場合には、双予測タイプ２を利用するようにしてもよい。

（ブロック単位切り替え、切り替え情報符号化）
ブロック単位で双予測タイプ１と双予測タイプ２を切り替える場合には、双予測タイプの切り替え情報（例えば、BiPred_block_type）を、ブロックの付加情報に含めて符号化する。

双予測の２つの参照画面が符号化対象画面より表示順で過去の画面の場合には双予測タイプ２が有効となるため、符号化側で、双予測タイプ２の利用を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ２を示す指示情報（例えば、BiPred_block_type=1）を含め、第０の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第１の付加情報であるref_idx[1]、mvp_idx[1]と共に符号化する。一方、双予測の２つの参照画面に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ１を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ１を示す指示情報（例えば、BiPred_block_type=0）を含め、第０の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第１の付加情報であるref_idx[1]、mvd[1]（第１の付加情報にmvd[1]を含める）、mvp_idx[1]と共に符号化する。

復号側では、ブロックの付加情報に双予測タイプの切り替え情報（例えば、BiPred_block_type）を含めて復号し、復号値に基づいてmvd[1]の復元方法を切り替える。つまり、ブロックの付加情報として、双予測タイプ１を示す指示情報（例えば、BiPred_block_type=0）を復号した場合には、第０の付加情報として、ref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第１の付加情報として、ref_idx[1]とmvd[1]とmvp_idx[1]を復号する。一方、ブロックの付加情報として、双予測タイプ２を示す指示情報（例えば、BiPred_block_type=1）を復号した場合には、第０の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第１の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。

なお、符号化側における双予測タイプ１と双予測タイプ２の切り替え方法は、ここで示した方法に依存しない。例えば、２つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ２を利用するようにしてもよい。また、実際に双予測タイプ１と双予測タイプ２を適用した場合の符号化効率（例えば、符号化誤差信号の２乗和＋符号化ビット数を変換した評価値）をブロック毎に調査して、符号化効率が高いほうを選択する方法が採用できる。

また、ブロックの予測方法で片予測と双予測の両方を用いる場合には、符号化側にて予測タイプ（片予測または双予測）を選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ１と双予測タイプ２の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ１と双予測タイプ２の切り替え処理を実施する。

（ブロック単位切り替え、参照画面のフレーム番号に基づく決定）
図５（Ａ）や図５（Ｂ）に示す参照画面の候補は、符号化側と復号側で同一である。そのため、ブロックの付加情報として符号化/復号する双予測に用いる２つの参照画面のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ１と双予測タイプ２のいずれを用いるかを決定できる。つまり、双予測に用いる２つの参照画面が、いずれも符号化対象画面より表示順で過去の画面の場合には双予測タイプ２を利用し、２つの参照画面の一方か両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ１を利用する。この方法では指示情報を送る必要はない。なお、２つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ２を利用するようにしてもよい。

（画面/スライス単位切り替えとブロック単位切り替えの組み合わせ）
画面/スライス単位で、双予測タイプの切り替えを画面/スライス単位で行うかブロック単位で行うかを示す指示情報を符号化/復号する。

双予測タイプの切り替えを画面/スライス単位で行う場合には、加えて、上記で説明したように、双予測タイプの切り替え情報（例えば、BiPred_type）を、画面あるいはスライスのヘッダに含めて符号化/復号する。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。

双予測タイプの切り替えをブロック画面単位で行う場合には、加えて、上記で説明したように、ブロック単位で、双予測タイプの切り替え情報（例えば、BiPred_block_type）を、ブロックの付加情報に含めて符号化/復号する。この際、 さらに、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２の切り替え処理を行うか否かを指示する指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。

また、画面/スライス単位で、双予測タイプ１のみを利用するか、双予測タイプ２のみを利用するか、２つの双予測タイプを画面/スライス内の各ブロックで切り替えるか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、異なるブロックサイズに対して個別に指示情報を送るようにしてもよい。

あるいは、画面/スライス単位で、双予測タイプ２を利用するか否かを示す指示情報を符号化/復号する。双予測タイプ２を利用する画面/スライスでは、さらに、画面/スライス内の各ブロックで双予測タイプ１と双予測タイプ２を切り替えるか、画面/スライス内のすべてのブロックで双予測タイプ２を利用するか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、これら指示情報を個別に送るようにしてもよい。

上記では、図７に示す第１の予測動きベクトルの候補に、対象ブロック４００の第０の動き情報を含めていた。しかしながら、第０の動き情報を第１の予測動き情報とし、予測動き情報を第０の動き情報に含まれる第１の参照画面インデックスと第１の動き情報に含まれる第１の参照画面インデックスに基づいてスケーリングして第１の動き情報として利用する方法を双予測タイプ３として別に用意してもよい。つまり、第０の動き情報に含まれる動きベクトルが第１の動き情報の参照画面インデックスが指し示す参照画面の動きベクトルとなるようにスケーリングする。この場合には、双予測タイプ２における第１の予測動き情報の候補には、対象ブロックの第０の動き情報を含めなくても良い（図７のn=4を候補から除外する）。そして、双予測タイプ３を利用する場合には、第１の予測動き情報インデックスの符号化/復号は行わない。つまり、第１の付加情報を符号化/復号する際には、第１の参照画面インデックス（ref_idx[1]）を含み、差分動きベクトル（mvd[1]）と第１の予測動き情報インデックス（mvp_idx[1]）を含まないようにする。

双予測タイプ３の利用方法としては、画面/スライス単位あるいはブロック単位で、双予測タイプ１と双予測タイプ２と双予測タイプ３を切り替える指示情報を符号化/復号するようにしてもよい。また、画面/スライス単位あるいはブロック単位で、双予測タイプ１と双予測タイプ３、あるいは、双予測タイプ２と双予測タイプ３を切り替える指示情報を符号化/復号するようにしてもよい。

また、上記にて双予測タイプ１の代用として使う方法も考えられる。つまり、複数の参照画面候補に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ３を利用し、複数の参照画面候補が表示順ですべて符号化対象画面に対して過去の画面の場合には、双予測タイプ２を利用するようにしてもよい。

あるいは、第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と異なる場合には、双予測タイプ２の代わりに双予測タイプ３を利用し（第１の予測動き情報インデックスの符号化/復号は不要）、一方、第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ２を利用する（第１の予測動き情報インデックスを符号化/復号）ようにしてもよい。

なお、双予測タイプの切り替え情報は、BiPred_typeやBiPred_block_typeのような識別情報には限定されない。差分動きベクトルの符号化/復号を行うか否かを示す情報であればよい。例えば、mvd_list1_zero_flagやmvd_list0_zero_flagのように第１の付加情報や第０の付加情報にmvdが含まれるか否かを指示するフラグ情報を符号化/復号するようにしてもよい。双予測タイプ１、双予測タイプ２ならびに双予測タイプ３を画面/スライス単位あるいはブロック単位で切り替える場合には、双予測タイプ２か双予測タイプ３のいずれかを利用する場合に、付加情報にmvdを含まないことを指示するフラグを送る。双予測タイプ２と双予測タイプ３の切り替えは、上記のように参照画面インデックスに基づいて行ってもよいし（第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ２を利用する）、更に選択情報を符号化/復号してもよい。

図１５は、動画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。図１５（Ａ）に示すように動画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、符号化モジュールＰ１１１及び動き情報記憶モジュールＰ１１３を備えている。さらに、図１５（Ｂ）に示すように予測信号生成モジュールＰ１０３は、第１の動き情報推定モジュールＰ１２１、第０の動き情報推定モジュールＰ１２２及び予測信号合成モジュールＰ１２３を備えている。上記各モジュールが実行されることにより実現される機能は、上述した動画像予測符号化装置１００の機能と同じである。すなわち、動画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、動き情報用メモリ１１３、第１の動き情報推定器１２１、第０の動き情報推定器１２２及び予測信号合成器１２３の機能と同様である。

また、図１６は、動画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。図１６（Ａ）に示すように動画像予測復号プログラムＰ２００は、復号モジュールＰ２０１、動き情報復号モジュールＰ２０２、動き補償モジュールＰ２０３、動き情報記憶モジュールＰ２０４、逆量子化モジュールＰ２０５、逆変換モジュールＰ２０６、加算モジュールＰ２０７及び記憶モジュールＰ１０４を備えている。さらに、図１６（Ｂ）に示すように動き情報復号モジュールＰ２０２は、第１の動き情報復元モジュールＰ２１１及び第０の動き情報復元モジュールＰ２１２を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した動画像予測復号装置２００の各構成要素と同じである。すなわち、動画像予測復号プログラムＰ２００の各モジュールの機能は、復号器２０２、動き情報復元器２０８、動き補償器２０７、動き情報用メモリ１１３、逆量子化器２０３、逆変換器２０４、加算器２０５、フレームメモリ１０４、第１の動き情報復元器２１１及び第０の動き情報復元器２１２の機能と同様である。

このように構成された動画像予測符号化プログラムＰ１００または動画像予測復号プログラムＰ２００は、後述の図１７及び図１８に示す記録媒体１０に記憶され、後述するコンピュータで実行される。

図１７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図１７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る動画像符号化装置または動画像復号装置として動作することが可能になる。

図１８に示すように、動画像予測符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラをメモリ１６に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。

本発明では、さらに下記の変形が可能である。

（１）第０の付加情報と第１の付加情報の関係
上記では、第１の付加情報がref_idx[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvd[0]とmvp_idx[0]を含んでいるが、この構成は逆であってもよい。つまり、第１の付加情報が、ref_idx[1]とmvd[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvp_idx[0]を含む。この場合、第０の予測動き情報を隣接ブロックの動き情報から生成すると共に第０の予測信号を生成し、続いて、双予測信号と対象ブロックの元の信号との絶対値和＋付加情報の評価値が最小となる第１の動き情報を探索する。

また、第１の付加情報がref_idx[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvp_idx[0]を含むようにしてもよい。つまり、差分の動きベクトルは符号化されず、２つの差分動きベクトルの復号側で水平・垂直ベクトル値を0に設定する。または、第０の予測動きベクトルと第１の予測動きベクトルをそれぞれ第０の動きベクトルと第１の動きベクトルに設定する。

（２）参照画面
上記では、参照画面インデックスを第１の付加情報に含めて符号化/復号しているが、mvp_idxにて示される隣接ブロックの動き情報に付随する参照画面インデックスに基づいて決まるようにしてもよい（例えば、図７の隣接ブロック４０１から４０４については、付随するList1の参照画面インデックスをそのまま利用し、隣接ブロック４１０から４１５については、対象ブロックと隣接ブロックの参照画面インデックスが指示する参照画面の違いに基づいて、隣接ブロックに含まれる動きベクトルにスケーリング処理を施すようにする）。また、第１の動き情報の参照画面インデックスを予め決めておいても良い。これらの場合は、復号側にて一意に復元できるため、参照画面インデックスref_idxを第１の付加情報に含めて符号化する必要がない。

参照画面の選択とそのリストは図５と図６の例に限定されない。参照画面リストは画面/スライス単位で符号化しても良いし、参照画面の数は、図５のように４枚なく、他の任意の数であっても本発明は実施できる。

（３）予測動き情報
上記では、図７に示すように複数の符号化/復号済みの動き情報を予測動き情報の候補としているが、その数と利用する隣接ブロックの位置は限定されない。

第１の予測動きベクトルの候補に隣接ブロックの第０の動きベクトルを含めてもよいし、第０の予測動きベクトルの候補に隣接ブロックの第１の動きベクトルを含めても本発明の双予測は実施できる。第１の予測動き情報の候補に、先に符号化/復号されている第０の動き情報を加えても良い。

符号化/復号済みの動き情報に含まれる参照画面インデックスと対象ブロックに付随する動き情報に含まれる参照画面インデックスが異なる場合に、動きベクトルのスケーリング処理を行うか否かも本発明では限定されない。

なお、予測動きベクトルの候補が１つの場合には、予測動き情報インデックスmvp_idxを第１の付加情報に含めて符号化する必要がない。

予測動きベクトルの生成方法も本発明では限定されない。例えば、奇数個の予測動きベクトルの候補の中央値を、予測動きベクトルとして採用するようにしてもよい。この場合も、予測動きベクトルは復号側で一意に決まるため、予測動き情報インデックスmvp_idxを第１の付加情報に含めて符号化する必要がない。

図８に示すように、複数のブロックサイズを用いる符号化/復号方式の場合であっても、予測動き情報の候補を決定する方法が規定されていれば、本発明の双予測は実施できる。例えば、図８の例では、対象ブロック４００に隣接するブロック４２１からブロック４２８を予測情報の候補としても良いし、隣接ブロックの番号付け方法を予め定めておき、画面単位やスライス単位で指示される数の隣接ブロックの動き情報を予測動きベクトルの候補に設定するにようにしてもよい。

（４）第０の動き情報と付加情報
なお、第０の動き情報と付加情報の構成については、本発明では限定されない参照画面インデックスや予測動き情報インデックスを符号化せずに固定値としてもよいし、予め定めた方法で導出するようにしてもよい。

また、第０の動き情報や付加情報についても、第１の動き情報や付加情報と同じように、mvd[0]を符号化せず、復号側にてmv[0]=pmv[0]（あるいはmvd[0]=0）と設定するようにしてもよい。

（５）フレーム番号
上記では、参照画面や符号化対象画面の識別にフレーム番号(frame_num)を用いているが、参照画面を識別できる情報であれば、別の情報であっても、本発明の実施に影響はない。

（６）第１の差分動きベクトルmvd[1]の復元
上記で説明した本発明の双予測では、第１の差分動きベクトルmvd[1]のベクトル値は０となる。そのため、mvd[1]は符号化せず、復号側で、mvd[1]のベクトル値を０に設定するか、あるいは動きベクトルmv[1]をpmv[1]に設定している。別の実施形態として、mvd[1]=0を第１の付加情報に含め、0値を効率良くエントロピー符号化する方法も有効と言える。

エントロピー符号化に算術符号化を用いる場合には、例えば、第０の差分動きベクトルと第１の差分動きベクトルを異なる確率モデルで符号化/復号する。例えば、差分動きベクトルのベクトル値０の確率頻度が異なる２つの確率モデルを差分動きベクトルの符号化/復号用に用意する。そして、第１の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値０の頻度をより高く設定した第２の確率モデルを使用し、第０の差分動きベクトルを符号化/復号する場合には、別の第１の確率モデルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に確率モデルを用意してもよい。

なお、双予測タイプ２を適用するブロックの第１の差分動きベクトルのみで第２の確率モデルを使用し、それ以外の差分動きベクトルの符号化/復号では、第１の確率モデルを使用するようにしてもよい。

可変長符号化を用いる場合には、第０の差分動きベクトルと第１の差分動きベクトルを異なる可変長テーブルを用いて符号化/復号する。例えば、差分動きベクトルのベクトル値０に割り当てる符号長が異なる２つの可変長テーブルを用意する。そして、第１の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値０に割り当てる符号長をより短く設定した第２の可変長テーブルを使用し、第０の差分動きベクトルを符号化/復号する場合には、別の第１の可変長テーブルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に可変長テーブルを用意してもよい。

なお、双予測タイプ２を適用するブロックの第１の差分動きベクトルのみで第２の可変長テーブルを使用し、それ以外の差分動きベクトルの符号化/復号では、第１の可変長テーブル使用するようにしてもよい。

（７）Ｎ予測
上記では画面間予測の予測タイプを片予測と双予測としているが、３個以上の予測信号を合成する予測方法に対しても本発明は適用できる。３個以上の予測信号を合成して予測信号を生成する場合には、mvdを含まない付加情報の数は１つ以上であれば、いくつでもよい。

（８）変換器、逆変換器
残差信号の変換処理は、固定のブロックサイズで行っても良いし、部分領域にあわせて対象領域を再分割して変換処理を行っても良い。

（９）色信号
上記では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行っても良い。また、輝度信号の処理と連動して行っても良い。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…符号化器、１１２…出力端子、１１３…動き情報用メモリ、１２１…第１の動き情報推定器、１２２…第０の動き情報推定器、１２３…予測信号合成器、２０１…入力端子、２０２…復号器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…動き補償器、２０８…動き情報復元器、２１１…第１の動き情報復元器、２１２…第０の動き予測情報復元器。

Claims (12)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、
   前記動きベクトルを保存する動き情報記録手段と、
   前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、
   前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、
   前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、
   前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、
   を具備し、
   前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
   前記予測信号生成手段が、
   前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、
   前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、
   前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、
   を含むことを特徴とする動画像予測符号化装置。
2. 前記第０の動き情報推定手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第０の付加情報を生成し、
   前記第１の動き情報推定手段は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第１の付加情報を生成し、
   前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、
   前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
   前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別する、
   請求項１に記載の動画像予測符号化装置。
3. 複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、
   前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、
   前記動きベクトルを保存する動き情報記録手段と、
   前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、
   前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
   前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、
   を具備し、
   前記復号手段は、第０の付加情報と第１の付加情報とを復号し、
   前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
   前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
   前記動き情報復元手段が、
   前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、
   前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、
   前記動き補償手段は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号装置。
4. 前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
   前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
   前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、
   前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
   前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、
   前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、
   前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成する、
   請求項３に記載の動画像予測復号装置。
5. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
   入力画像を複数の領域に分割する領域分割ステップと、
   前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、
   前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、
   前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、
   前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、
   前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、
   前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、
   前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、
   を具備し、
   前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
   前記予測信号生成ステップが、
   前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定ステップと、
   前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定ステップと、
   前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、
   を含むことを特徴とする動画像予測符号化方法。
6. 前記第０の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第０の付加情報を生成し、
   前記第１の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第１の付加情報を生成し、
   前記動き情報記録ステップにおいて、前記動画像予測符号化装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、
   前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
   前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別する、
   請求項５に記載の動画像予測符号化方法。
7. 動画像予測復号装置により実行される動画像予測復号方法であって、
   複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、
   前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、
   前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、
   前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、
   前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、
   前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、
   を具備し、
   前記復号ステップにおいて、前記動画像予測復号装置は、第０の付加情報と第１の付加情報とを復号し、
   前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
   前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
   前記動き情報復元ステップが、
   前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元ステップと、
   前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元ステップと、を含み、
   前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号方法。
8. 前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
   前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
   前記動き情報記録ステップにおいて、前記動画像予測復号装置は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、
   前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
   前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、
   前記第０の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、
   前記第１の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成する、
   請求項７に記載の動画像予測復号方法。
9. コンピュータを、
   入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、
   前記動きベクトルを保存する動き情報記録手段と、
   前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、
   前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、
   前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、
   前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、
   として機能させるための動画像予測符号化プログラムであり、
   前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
   前記予測信号生成手段が、
   前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第０の動きベクトルと類似する第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、
   前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第１の予測信号を生成する第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、
   前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、
   を含むことを特徴とする動画像予測符号化プログラム。
10. 前記第０の動き情報推定手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第０の付加情報を生成し、
    前記第１の動き情報推定手段は、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第１の付加情報を生成し、
    前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、
    前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
    前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別する、
    請求項９に記載の動画像予測符号化プログラム。
11. コンピュータを、
    複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、
    前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、
    前記動きベクトルを保存する動き情報記録手段と、
    前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、
    前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
    前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、
    として機能させるための動画像予測復号プログラムであり、
    前記復号手段は、第０の付加情報と第１の付加情報とを復号し、
    前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
    前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
    前記動き情報復元手段が、
    前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、
    前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、
    前記動き補償手段は、前記第０の動きベクトルと第１の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号プログラム。
12. 前記第０の付加情報は、第０の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
    前記第１の付加情報は、第１の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、
    前記動き情報記録手段は、前記第０の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第１の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、
    前記第０の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第０の予測動きベクトルと共に第０の予測参照画面インデックスを識別し、
    前記第１の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第１の予測動きベクトルと共に第１の予測参照画面インデックスを識別し、
    前記第０の動き情報復元手段は、前記第０の付加情報に含まれる参照画面インデックスと前記第０の予測参照画面インデックスとをさらに基礎として、前記第０の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第０の予測動きベクトルを生成し、
    前記第１の動き情報復元手段は、前記第１の付加情報に含まれる参照画面インデックスと前記第１の予測参照画面インデックスとをさらに基礎として、前記第１の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第１の予測動きベクトルを生成する、
    請求項１１に記載の動画像予測復号プログラム。

Images