JP7085044B2 - 画像予測復号方法 - Google Patents

Description

本発明の実施形態は、画像予測復号方法に関するものであり、より詳細には、周囲ブロックの動き情報を用いて対象ブロックの予測信号を生成する画像予測復号方法に関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像に対しては、ＭＰＥＧ－１～４やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）Ｈ．２６１～Ｈ．２６４に規定された技術が広く用いられている。

これらの符号化技術では、符号化の対象となる画像を複数のブロックに分割してブロックベースの符号化及び復号処理が行われる。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する領域の既再生の画像信号（即ち、圧縮された画像データが復元されたもの）を用いて予測信号が生成され、当該予測信号と対象ブロックの画素信号との差分である差分信号が符号化される。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する領域の既再生の画像信号を参照して動きの補正を行うことにより、予測信号が生成され、当該予測信号と対象ブロックの信号との差分である差分信号が符号化される。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する領域の既再生の画素値を所定の方向に外挿して予測信号を生成する方法が採用されている。図１７は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図１７の（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ～Ｍからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

図１７の（Ａ）に示す予測では、対象ブロック８０２の真上に存在する隣接画素である画素群８０１を下方に引き伸ばすことにより予測信号が生成される。また図１７の（Ｂ）では、対象ブロック８０４の左に存在する既再生画素（Ｉ～Ｌ）を右に引き伸ばすことにより予測信号が生成される。予測信号を生成する具体的な方法については、例えば、特許文献１を参照されたい。このように図１７の（Ａ）～（Ｉ）に示す方法で生成された９つの予測信号の候補それぞれと対象ブロックの画素信号との差分をとり、これら差分を比較することにより、最小の差分値を与える候補が最適の予測信号として選択される。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、対象ブロックの画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号が生成される。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との差分である残差信号とが符号化される。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図１６は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面７０１上の対象ブロック７０２を例に予測信号の生成手順を説明する。画面７０３は既再生画像であり、当該既再生画像内の領域７０４は対象ブロック７０２と空間的に同一位置の領域である。ブロックマッチングでは、領域７０４を含む探索範囲７０５が設定される。この探索範囲から対象ブロック７０２の画素信号に対する絶対値誤差和が最小となる信号を有する領域７０６が検出される。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、複数の参照画面を用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法もよく用いられる。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプが用意されることがある。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、表示順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、表示順で未来の再生済み画面を参照する後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、二つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。

Ｈ．２６４では、参照画面の候補として、複数の再生済み画面から成る二つの参照画面リストを用いて第３の手法が行われる。より詳細には、各参照画面リストに登録される複数の参照画面を用いてブロックマッチングが行われ、領域７０６に相当する二つの領域が検出され、検出された二つの予測信号が平均化される。

図５と図６にて参照画面リストの例を説明する。図５の（Ａ）では、画面５０５が符号化対象画像、画面５０１から画面５０４が既再生画像を示している。各画像（画面）の識別はフレーム番号（frame_num）にて行われる。図６の（Ａ）の参照画面リスト識別番号List0及びList1が二つの参照画面リストを示しており、この例では、二つの参照画面リストのそれぞれに４個の参照画面が登録されている。各参照画面は参照画面番号（ref_idx）にて識別される。

参照画面リストに登録できる再生済み画像は、基本的に任意である。図６の（Ａ）に示す表５２１のように、二つの参照画面リストに登録されている参照画面が全て過去の再生済み画像であってもよい。この場合、二つの予測信号が共に前方向予測となるため、二つの予測信号を平均化する予測手法を双方向予測ではなく２方向予測と呼ぶ。

この２方向予測では、動きベクトルと参照画面番号の二つの組み合わせ（動き情報）を符号化する必要がある。そこで、符号量を減らすため、隣接ブロックの動き情報のうち、List0で識別される動き情報とList1で識別される動き情報を用いて２方向予測を行う手法がある。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号

２方向予測では、類似する二つの予測信号の平均化により、平滑化効果で予測信号に含まれるノイズをより効果的に取り除くことが可能となる。そのためには、同じ参照画面から動きベクトルが僅かに異なる二つの信号を取得するとよい。しかしながら、隣接ブロックの動き情報を用いた２方向予測の従来法では、二つの予測信号の生成に用いる動き情報の選択は参照画面リストにて制限されている。この制限により、隣接ブロックの二つの動き情報の組が同じ参照画面に基づく値の近い動きベクトルを含んでいても、選択できないことがある。

ここで、図７のブロック４００が符号化対象ブロック、ブロック４０１からブロック４０３が対象ブロックの隣接ブロックであるときに、三つの隣接ブロックがそれぞれList0とList1で識別される二つの動き情報を持つことを想定する。背景技術の手法によれば、三つの隣接ブロックの動き情報であって、List0で識別される三つの動き情報とList1で識別される三つの動き情報からそれぞれ一つの動き情報が選択され、二つの予測信号が生成される。一般に、参照画面番号ref_idxに要する符号量は当該参照画面番号ref_idxが「０」のときに少なくなるので、隣接ブロックの動き情報に含まれる参照画面番号ref_idxが全て０となることが多い。参照画面番号が「０」である場合には、図６の（Ａ）の参照画面リスト（５２１）を用いると、二つの予測信号がそれぞれ、フレーム番号(frame_num）が「３」の参照画面とフレーム番号が「２」の参照画面から取得されることになる。この場合には、高い平滑化効果を得ることはできない。

別の例として、二つの参照画面リストが異なる参照画面で構成されている場合を想定する。図５の（Ｂ）に示すようにフレーム番号が「３」で識別される画面５１０が符号化対象画像で、フレーム番号が「０」、「１」、「２」、「４」で識別される画面５０７、５０８、５０９、５１１が再生済み画像であり、参照画面リストが図６の（Ｂ）に示すリスト５２２である場合には、異なる参照画面から二つの予測信号が生成されることなる。この場合にも、高い平滑化効果を得ることはできない。

したがって、予測信号のノイズを抑制し得る画像予測復号装置、画像予測復号方法及び画像予測復号プログラムが必要である。

本発明の一側面は、画像予測復号に関するものである。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から、復号対象フレーム内の復号対象となる対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記指示情報の符号化データを復号して、指示情報を復元するステップと、上記復号済みの前フレーム内の領域に付随する動き情報について、上記前フレームと上記復号対象フレームとの画面間の時間方向の距離に応じて動きベクトルをスケーリングした動き情報とし、メモリに保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、上記一つ以上の動き情報の組の中から上記対象領域の上記予測信号の生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する動き情報と上記対象領域の位置によって決定された上記復号済みの前フレーム内の領域に付随する動き情報との動き情報の組、又は、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて上記メモリに保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の上記予測信号を生成するステップと、上記メモリによって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号を上記再生残差信号に加算することで、上記対象領域の画素信号を復元するステップと、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

以上説明したように、本発明の幾つかの側面によれば、予測信号のノイズを抑制し得る画像予測復号方法が提供される。

一実施形態に係る画像予測符号化装置の構成を示す図である。 図１に示す予測信号生成器の構成を示す図である。 図２に示す動き情報導出器の処理を示すフローチャートである。 対象ブロックの隣接画素を用いて候補動き予測情報（二つの動き情報の組み合わせ）から一つの候補予測情報を選択する手法の例を説明するための模式図である。 画面の符号化順の例を説明する模式図である。 参照画面リストの例を説明する図である。 隣接ブロックの例を説明する図である。 隣接ブロックの別例を説明する図である。 一実施形態に係る画像予測符号化方法の手順を示すフローチャートである。 一実施形態に係る画像予測復号装置の構成を示す図である。 一実施形態に係る画像予測復号方法の手順を示すフローチャートである。 一実施形態に係る画像予測符号化方法をコンピュータに実行させるプログラムの構成を示す図である。 一実施形態に係る画像予測復号方法をコンピュータに実行させるプログラムの構成を示す図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 画面間予測における動き推定処理を説明するための模式図である。 従来の画面内予測方法を説明するための模式図である。

以下、図面を参照して幾つかの実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附し、重複する説明を省略する。また、本明細書においては、動画像を構成する「フレーム」、「画面」、「画像」（図５の５０１から５１１）は同じものを意味する。

図１は、一実施形態に係る画像予測符号化装置の構成を示す図である。図１に示す画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、量子化変換係数符号化器１１１、出力端子１１２、予測情報用メモリ１１３、及び、予測情報符号化器１１４を備えている。一実施形態においては、変換器１０６及び量子化器１０７は、残差信号符号化手段として機能し、逆量子化器１０８及び逆変換器１０９は残差信号復元手段として機能し、予測情報用メモリは動き情報記録手段として機能する。なお、予測情報用メモリ１１３は、予測信号生成器１０３に含まれていてもよい。また、一実施形態においては、量子化変換係数符号化器１１１も、残差信号符号化手段の一部として機能してもよく、この場合には、量子化変換係数符号化器１１１によって生成されたデータを復号して逆量子化器に出力する要素が残差信号復元手段の一部を構成する。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。一実施形態では、符号化対象の画像は、８×８の画素からなる複数のブロックに分割され得る。これら複数の領域又はブロックは、以下に説明する処理が適用される対象領域又は対象ブロックとなる。なお、ブロックの大きさ及び形状は、これに限定されるものではない。また、画面内にサイズの異なるブロックが混在していてもよい。

予測信号生成器１０３は、対象ブロック内の各予測ブロックの予測信号を生成するために必要な動き情報を検出すると共に、予測信号を生成する。予測信号の生成方法は、限定されるものではないが、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）であり得る。一実施形態では、図１６に示したブロックマッチングにて動き情報が検出され得る。ブロックマッチングでは、対象ブロックの原信号（画素信号）に対する絶対値誤差和が最小となる予測信号がラインＬ１０４経由で取得される既再生画像から検出される。

一実施形態では、動き情報には、動きベクトル、参照画面リストの識別番号（図５のList0とList1）、及び、参照画面番号（図５のref_idx）が含まれ得る。

図６に示すように各参照画面リストが複数の参照画面にて構成されている場合には、動き情報に含まれる動きベクトルがいずれの参照画面を対象とするものかを示すために、動きベクトルと同時に参照画面番号が検出される。また、２方向予測を利用する場合には、予測タイプ（前方向/後方向/２方向）も同時に決定される。予測タイプが前方向予測の場合は、参照画面リストの識別番号がList0となる動き情報が検出され、後方向予測の場合は、参照画面リストの識別番号がList1となる動き情報が検出される。２方向予測の場合には、List0とList1で識別される二つの動き情報が検出される。なお、図６に示す参照画面リストに登録される既再生画像は、予め定めておいたルールに従って自動的に決定されてもよく、参照画面リストに登録される既再生画像を特定する情報が、フレーム単位やシーケンス単位で明示的に符号化されてもよい。一実施形態では、当該情報として、図５と図６に示すようにフレーム番号が利用され得る。

図１に戻り、動き情報と予測タイプはラインＬ１０３ｃ及びラインＬ１０３ｂを経由して、それぞれ予測情報用メモリ１１３及び予測情報符号化器１１４に出力される。

予測情報用メモリ１１３は、入力された動き情報と予測タイプを保存する。

予測情報符号化器１１４は、符号化対象ブロックの動き情報をエントロピー符号化し、符号化データをラインＬ１１４経由で出力端子１１２に出力する。エントロピー符号化の方法は限定されるものではないが、算術符号化や可変長符号化などであり得る。

予測信号生成器１０３によって生成された予測信号は、ラインＬ１０３ａ経由で減算器１０５と加算器１１０に出力される。

減算器１０５は、対象ブロックの画素信号からラインＬ１０３ａを経由して入力される対象ブロックの予測信号を減算して、残差信号を生成する。減算器１０５は、残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、入力された残差信号を離散コサイン変換して、変換係数を生成する。また、量子化器１０７は、変換器１０６により生成された変換係数を量子化して、量子化変換係数を生成する。量子化変換係数符号化器１１１は、量子化器１０７によって生成された量子化変換係数をエントロピー符号化する。量子化変換係数符号化器１１１によって生成された符号化データはラインＬ１１１経由で出力端子１１２に出力される。量子化変換係数符号化器１１１におけるエントロピー符号化の方法は、限定されるものではないが、算術符号化や可変長符号化などであり得る。

出力端子１１２は、予測情報符号化器１１４及び量子化変換係数符号化器１１１から受け取った情報をまとめて外部に出力する。

逆量子化器１０８は、量子化器１０７によって生成された量子化変換係数を逆量子化して、変換係数を生成する。逆変換器１０９は、逆量子化器１０８によって生成された変換係数に逆離散コサイン変換を適用して残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３ａ経由で入力される予測信号とを加算し、符号化対象ブロックの再生画像信号を生成し、当該再生画素信号をフレームメモリ１０４に格納する。なお、変換器１０６と逆変換器１０９の処理に変わる他の変換処理が用いられてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の符号化対象ブロックの予測信号の生成に用いるために、符号化対象ブロックの再生画素信号は、参照画面、即ち既再生画像の一部として、フレームメモリ１０４に記憶される。

一実施形態では、予測信号生成器１０３は、対象ブロックに隣接するブロック（隣接ブロック）に付随する動き情報を利用して対象ブロックの予測信号を生成することも可能である。隣接ブロックに付随する動き情報とは、隣接ブロックが符号化対象であったときに予測信号の生成に用いた動き情報である。隣接ブロックに付随する動き情報は予測情報用メモリ１１３に保存されている。なお、ブロック毎に、隣接ブロックに付随する動き情報を利用して予測信号を生成したこと、又は、ブロックマッチングにて検出した動きベクトルを用いて予測信号を生成したことを示す情報を、圧縮データに符号化状態で含めてもよい。

ここでは、対象ブロックの予測信号を２方向予測で生成する場合を考える。以下、図７の（Ａ）を例にとって説明する。対象ブロック４００の直左と直上において当該対象ブロックに隣接する二つのブロック４０１及びブロック４０２が隣接ブロックとされ、これらブロックに付随する動き情報が予測に用いられる。このとき、二つの隣接ブロックに付随する予測タイプが２方向予測であれば、最大四つの動き情報が対象ブロックの予測信号の生成に利用できる。予測信号生成器１０３は、候補となる四つの動きの情報（四つの候補動き情報）から、動きベクトルの値又は参照画面のフレーム番号の値が異なる二つの動き情報を選択する。参照画面のフレーム番号（frame_num）は参照画面リスト識別番号(List0又はList1）と参照画面番号（ref_idex）の組み合わせで識別され得る。そして、それぞれの動き情報に基づいてフレームメモリ１０４から二つの予測信号を取得し、当該二つの予測信号を画素単位で平均化することにより、予測信号が得られる。二つの予測信号が類似していれば、平滑化によるノイズ除去の効果で予測性能が改善する。

予測情報符号化器１１４は、動き情報ではなく、４個の候補動き情報のうち対象ブロックの予測信号の生成に使用する二つの動き情報を識別するための情報（指示情報）を符号化する。したがって、動き情報を符号化することによって得られる符号化データの符号量よりは少ない符号量で予測信号が生成され得る。指示情報は、候補動き情報を識別する２個の指示情報であってもよく、２個の候補動き情報の組み合わせを識別する指示情報であってもよい。

また、予測情報用メモリ１１３は、実際に対象ブロックの予測信号生成に用いた２個の動き情報を対象ブロックに付随する動き情報として保存する。２個の動き情報が、そのまま保存されてもよいが、既存の画像予測符号化及び復号では、List0及びList1の二つの参照画面リストを参照する制約を有しているので、以下に説明するように、２個の動き情報が保存され得る。

即ち、二つの動き情報の参照画面リスト識別番号が同じ場合には、二つの動き情報に含まれる参照画面リスト番号が予め定められたルールに従って変更され得る。例えば、二つの動き情報のうち、より小さい参照画面番号（ref_idx）を有する一方の動き情報の参照画面リスト識別番号をList0に割り当て、他方の動き情報の参照画面リスト識別番号をList1に割り当てる。

二つの動き情報の参照画面番号も同じ場合には、各成分の絶対値和がより小さい動きベクトルを有する一方の動き情報の参照画面リスト識別番号をList0に割り当てて、他方の動き情報の参照画面リスト識別番号をList1に割り当てる。

この割当てによって、割当て前のフレーム番号と異なるフレーム番号が参照されることとなる場合には、当該割当て前のフレーム番号を参照できるように、参照画面番号(ref_idx）が変更され得る。

また、図６の（Ｂ）に示すように二つの参照画面リストが同じフレーム番号を含んでいない場合には、図６の（Ｃ）に示すように同じフレーム番号を含むように拡張した参照画面リスト（５２３）を用いて、動き情報を管理してもよい。この拡張した参照画面リストは、隣接ブロックに付随する動き情報を用いて対象ブロックの予測信号を生成する場合は、そのまま利用できる。また、フレーム番号が記録されているので、画面間の時間方向の距離に応じて動きベクトルをスケーリングする場合（例えば、図５の（Ａ）の画面５０４を対象とした動きベクトルを、画面５０３を対象とした動きベクトルに変換する場合には、各ベクトル成分を２倍する）にも利用できる。なお、ここで示した動きベクトルの保存方法は互いに変換が可能であるため、どの保存方法を用いても符号化結果には影響しない。

更に予測信号生成器１０３の処理を詳しく説明する。図２は、一実施形態に係る予測信号生成器の構成を示す図である。図２に示すように、予測信号生成器１０３は、動き情報導出器１２１、動き予測情報選択器１２２、及び、動き補償器１２３を備えている。なお、この図では、従来のブロックマッチングによる動き検出の部分は省略されている。

動き情報導出器１２１は、隣接ブロックとして用いる直上と直左ブロックの予測タイプが共に２方向予測の場合には、これら隣接ブロックに付随する４個の動き情報を比較する。動き情報導出器１２１は、動き情報を構成する要素、即ち、動きベクトル、参照画面リスト識別番号、参照画面番号のいずれかの値が他の三つの動き情報と異なる動き情報を、対象ブロックの予測に利用可能な候補動き情報とする。動きベクトルの値と参照画面のフレーム番号の値（参照画面のフレーム番号は参照画面リストと参照画面番号の組み合わせで分かる）が同じ動き情報があれば、いずれか一つだけを候補動き情報とする。そして、動き情報導出器１２１は、任意の二つの候補動き情報の組を候補２方向予測情報として導出する。この場合、最大六つの候補２方向予測情報が導出され得る。対象ブロックの直上及び直左のブロックの少なくとも一方を隣接ブロックとして採用する場合であって２方向予測の場合には、以下に説明する個数の二つの動き情報の組合せパターンを隣接ブロックから導出可能である。即ち、
（１）直上ブロック（４０２）か直左ブロック（４０１）の二つの動き情報を採用する場合：２パターン
（２）直上ブロック（４０２）の一つの動き情報と直左ブロック（４０１）の一つの動き情報で、二つの動き情報に含まれる参照画面リストが異なる場合：４パターン
（３）直上ブロック（４０２）の一つの動き情報と直左ブロック（４０１）の一つの動き情報で、二つの動き情報に含まれる参照画面リストが同じ場合：２パターン

図３に動き情報導出器１２１による処理のフローチャートを示す。最初にステップＳ３０１にて、対象ブロックの予測に利用する隣接ブロックの数Ｎを設定し、現在の隣接ブロック番号ｎを「０」とする。例えば、ブロック４０１をｎ＝０、ブロック４０２をｎ＝１に設定する。また、候補動き情報の数Ｌを０に初期化する。次にｎ番のブロックの動き情報と予測タイプを予測情報用メモリ１１３から取得する（ステップＳ３０２）。そして、予測タイプに基づいてｎ番の隣接ブロックに付随する動き情報の数Ｍを設定する（ステップＳ３０３）。

次に、ｎ番の隣接ブロックのｍ番目の動き情報をＬ個の候補動き情報と比較する（ステップＳ３０４）。全ての候補動き情報が比較対象の動き情報と異なる場合、或いは、Ｌ＝０の場合には処理はステップＳ３０５に進む。ステップＳ３０５では、ｎ番の隣接ブロックのｍ番目の動き情報を候補動き情報に追加して、Ｌの値を１だけ増分する。その後、処理はステップＳ３０６に進む。

ステップＳ３０４で候補動き情報の中にｍ番目の動き情報と同じものが見つかった場合には、処理はステップＳ３０６に進む。なお、ステップＳ３０４においては、比較した二つの動きベクトルの値が同じであり、且つ、比較した二つの参照画面番号と参照画面リスト識別番号の組に対応するフレーム番号が同じであれば、参照画面リストが違っていても同じ動き情報と判断する。これは、二つの動き情報の動きベクトルとその参照画面のフレーム番号が同じ場合には、その動き情報から生成される予測信号が一致するためである。

ステップＳ３０６では、ｍの値を１だけ増分する。続くステップＳ３０７にて、ｎ番目の隣接ブロックに付随する全ての動き情報について、ステップＳ３０４～ステップＳ３０６の処理を完了したか否かを判定し、完了している場合には処理はステップＳ３０８に進み、未完了の場合には処理はステップＳ３０４に戻る。

ステップＳ３０８では、隣接ブロックの番号ｎの値を１だけ増分する。そして、ステップＳ３０９にて、全ての隣接ブロックの処理が完了したか否かを判定する。完了している場合には処理はステップＳ３１０に進み、未完了の場合には処理はステップＳ３０２に戻る。

最後に、ステップＳ３１０では、Ｌ個の候補動き情報から動きベクトルの値か参照画面のフレーム番号の値（参照画面のフレーム番号は参照画面リストと参照画面番号の組み合わせで分かる）が異なる二つの動き情報の組を全て導出し、候補２方向予測情報として設定する。

なお、動き情報導出器１２１がどの隣接ブロックからの動き情報を利用するかについては、符号化側と復号側の双方に対して予め定められていてもよい。また、動き情報導出器１２１がどの隣接ブロックからの動き情報を利用したかを特定するための情報が、符号化状態で、復号側に伝達されてもよい。

動き予測情報選択器１２２では、動き情報導出器１２１からラインＬ１２１を経由で入力された候補２方向予測情報から最適な一つを選択する。具体的には、「二つの候補動き情報に基づいてラインＬ１０４経由でフレームメモリ１０４から取得した二つの信号を平均して得られた信号」と「ラインＬ１０２経由で得られた対象ブロックの画素信号」との差分絶対値和を最小にする候補２方向予測情報を選択する。そして、選択した候補２方向予測情報、又は、選択した候補２方向予測情報を構成する二つの候補動き情報を識別する指示情報をラインＬ１０３ｂ経由で予測情報符号化器に出力する。

また、動き予測情報選択器１２２は、選択した二つの動き情報をラインＬ１０３ｃ経由で予測情報用メモリに出力して保存させ、また、ラインＬ１２２経由で動き補償器１２３に出力する。動き補償器１２３は、入力された二つの動き情報に基づいて、ラインＬ１０４経由で取得した既再生画像から抽出した二つの既再生画素信号を平均して予測信号を生成し、当該予測信号をラインＬ１０３ａ経由で減算器１０５と加算器１１０に出力する。

なお、動き予測情報選択器１２２にて最適な一つの候補２方向予測情報を選択する手法は限定されるものではない。例えば、図４に示すように、符号化対象画像４５１内の対象ブロック４６１の画素信号の変わりに、それに隣接する逆Ｌ字の既再生の領域（４６２）を用いてもよい。領域４６２は既再生の領域であるため、復号装置でも利用できる。図に示すように、一つの動き情報４７３に基づいて参照画面４５２から領域４６２に対応する予測領域（４７２）を取得することができる。すべての候補２方向予測情報について、二つの候補動き情報について逆Ｌ字の領域を取得しその信号を平均することで、領域４６２に対して差分絶対値和を最小とする候補２方向予測情報を見つけることができる。この手法によれば、復号装置でも符号化装置と同じ候補２方向予測情報を選択できるため、指示情報を送る必要がないという利点がある。

このように、対象ブロックに隣接するブロックに付随する動き情報から、元の信号との差が小さい予測信号を生成し、且つ、動きベクトルの値か参照画面のフレーム番号の値（参照画面のフレーム番号は参照画面リストと参照画面番号の組み合わせで分かる）の異なる二つの動き情報を選択することで、動き情報を送ることなく、対象ブロックの２方向予測を行う。動き情報は参照画面リストを識別する情報を含むため、参照画面リストが同じ動き情報を用いた２方向予測が可能となる。ゆえに、二つの参照画面リストに含まれる参照画面がまったく異なる場合でも、同じ参照画面の動きベクトルを用いた２方向予測が実施できる。例えば、同じ参照画面の動きベクトルを利用して、二つの類似信号による２方向予測を行うことで、平滑化効果により予測性能を向上することが期待できる。

図９は、一実施形態に係る画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を８ｘ８の符号化ブロック（それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。）に分割する。

次いで、動き情報導出器１２１が、符号化対象の対象ブロックに隣接するブロックに付随する動き情報を予測情報用メモリ１１３から取得し、その構成要素のいずれかの値が他の動き情報と異なるものを対象ブロックの予測に利用可能な候補動き情報として抽出する。そして、任意の二つの候補動き情報の組を候補２方向予測情報として導出する（ステップＳ３００）。このステップＳ３００の詳細については、図３にて説明済みである。

次に、動き予測情報選択器１２２が、複数の候補２方向予測情報から対象ブロックの予測信号の生成に用いる一つを選択する。そして、動き予測情報選択器１２２は、選択した候補２方向予測情報、又は、選択した候補２方向予測情報を構成する二つの候補動き情報を識別する指示情報を決定する（ステップＳ３２０）。続くステップＳ１０１では、選択した二つの動き情報を予測情報用メモリ１１３に格納すると共に、予測情報符号化器１１４にて指示情報を符号化する。

次いで、ステップＳ１０２では、動き補償器１２３が、選択した動き情報に基づき、フレームメモリ１０４から取得した二つの既再生画像から画素信号を取得し、これら画素信号を平均して対象ブロックの予測信号を生成する。なお、隣接ブロックの動き情報を利用しない予測手法では、図１６に説明したブロックマッチングにて動き情報を検出し、その動き情報に基づいて対象ブロックの予測信号を生成する。動き情報と二つの予測手法の切り替えのための情報は予測情報符号化器１１４にて符号化される。また、動き情報は、予測情報用メモリ１１３に保存される。

次いで、符号化対象ブロックの画素信号と予測信号との差分を示す残差信号が、変換器１０６、量子化器１０７、及び量子化変換係数符号化器１１１により変換符号化される（ステップＳ１０３）。指示情報と量子化変換係数の符号化データは出力端子１１２を介して出力される（ステップＳ１０４）。

後続の符号化対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０にて、復号された残差信号と予測信号とが加算され、符号化対象ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面（既再生画像信号）として記憶される（ステップＳ１０５）。そして、すべての符号化対象ブロックの処理が完了していない場合には、処理はステップＳ１０１に戻り、次の符号化対象ブロックに対する処理が行われる。すべての符号化対象ブロックの処理が完了している場合には、処理が終了する（ステップＳ１０６）。

次に、一実施形態に係る画像予測復号装置について説明する。図１０は、一実施形態に係る画像予測復号装置を示すブロック図である。図１０に示す画像予測復号装置２００は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、量子化変換係数復号器２０７、予測情報復号器２０８、フレームメモリ１０４、動き情報決定器２０９、動き情報導出器１２１、予測情報用メモリ１１３、動き補償器１２６を備えている。逆量子化器２０３及び逆変換器２０４は、残差信号復号手段として機能し、予測情報用メモリは動き情報記録手段として機能する。逆量子化器３０３及び逆変換器３０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器３０４はなくてもよい。

入力端子２０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数のブロックについて、残差信号の変換量子化によって生成された量子化変換係数のエントロピー符号化による符号化データ、並びに、予測情報の符号化データ、即ち、ブロックの予測信号を生成するための動き情報又は隣接ブロックに付随する動き情報から復号対象のブロックの予測信号の生成に用いる動き情報を識別するための指示情報の符号化データ、及び、動き情報と指示情報のいずれが符号化されているかを示す情報の符号化データが含まれている。

データ解析器２０２は、入力端子２０１に入力された圧縮データを解析し、復号対象ブロックに関して、量子化変換係数の符号化データ、予測情報の符号化データに分離して、これら符号化データをそれぞれ、ラインＬ２０２ａ、ラインＬ２０２ｂ経由で量子化変換係数復号器２０７、予測情報復号器２０８に出力する。

予測情報復号器２０８は、動き情報又は指示情報の符号化データをエントロピー復号する。復号された動き情報はラインＬ２０８経由で動き情報決定器２０９に送られ、そのまま、ラインＬ２０７ａとラインＬ２０７ｂを経由して動き補償器１２６と予測情報用メモリ１１３に出力される。予測情報用メモリ１１３は動き情報を保存し、動き補償器１２６は、動き情報に基づいて、フレームメモリ１０４から取得した既再生画像から画素信号を取得し、当該画素信号を用いて復号対象ブロック内の各予測ブロックの予測信号を生成する。生成された予測信号はラインＬ１２６経由で加算器２０５に出力される。

一方、予測情報復号器２０８が指示情報の符号化データをエントロピー復号した場合は、動き情報導出器１２１が機能する。動き情報導出器１２１は、図３で詳細を説明したように、復号対象ブロックに隣接するブロックに付随する動き情報を予測情報用メモリ１１３から取得し、その構成要素のいずれかの値が異なる情報を復号対象ブロックの予測に利用可能な候補動き情報として抽出する。そして、動き情報導出器１２１は、任意の二つの候補動き情報の組を候補２方向予測情報として導出し、当該候補２方向予測情報をラインＬ１２１経由で動き情報決定器２０９に出力する。

動き情報決定器２０９は、ラインＬ１２１経由で入力された複数の候補２方向予測情報から、ラインＬ２０８経由で入力された指示情報にて識別される一つの候補２方向予測情を選択する。選択された候補２方向予測情報を構成する二つの動き情報は、ラインＬ２０７ａとラインＬ２０７ｂを経由して動き補償器１２６と予測情報用メモリ１１３に出力される。予測情報用メモリ１１３は動き情報を保存し、動き補償器１２６は、二つの動き情報に基づいて、フレームメモリ１０４から取得した既再生画像から画素信号を取得し、当該画素信号を用いて復号対象ブロック内の各予測ブロックの予測信号を生成する。生成された予測信号はＬ１２６経由で加算器２０５に出力される。

量子化変換係数復号器２０７は、符号化対象ブロックにおける残差信号の量子化変換係数の符号化データをエントロピー復号し、復元した量子化変換係数をラインＬ２０７経由で逆量子化器２０３に出力する。

逆量子化器２０３は、ラインＬ２０７経由で入力した復号対象ブロックの量子化変換係数を逆量子化して、変換係数を生成する。逆変換器２０４は、変換係数を逆離散コサイン変換して、残差信号を復元する。

加算器２０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器２０３および逆変換器２０４により復元された残差信号に加算して、復号対象ブロックの再生画素信号を生成する。再生画素信号は、ラインＬ２０５経由で出力端子２０６およびフレームメモリ１０４に出力される。出力端子２０６は、再生画素信号を含む再生画像を外部に（例えばディスプレイ）出力する。

フレームメモリ１０４は、次の復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。

次に、図１１を参照して、一実施形態に係る画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される（ステップＳ２０１）。そして、データ解析器２０２にて圧縮データのデータ解析を行い、ブロックの予測信号を生成するための動き情報又は隣接ブロックに付随する動き情報から復号対象のブロックの予測信号の生成に用いる動き情報を識別するための指示情報、動き情報と指示情報のいずれが符号化されているかを示す情報の符号化データ、及び、量子化変換係数の符号化データを抽出する。動き情報の符号化データ又は指示情報の符号化データは予測情報復号器２０８にて復号される。

動き情報が復元された場合には、復元された動き情報に基づいて、動き補償器１２６が復号対象ブロックの予測信号を生成する。復元された動き情報は予測情報用メモリ１１３に保存される。

指示情報が復元された場合には、動き情報導出器１２１が、予測情報用メモリ１１３から隣接ブロックの動き情報を取得する。動き情報導出器１２１は、予め定められた隣接ブロックから動き情報を取得してもよく、また、符号化側から伝達された情報に基づいて、隣接ブロックから動き情報を取得してもよい。

次いで、動き情報導出器１２１が、図３に詳細を示すように、取得した複数の動き情報のうちその構成要素のいずれかの値が異なる動き情報を、復号対象ブロックの予測に利用可能な候補動き情報として抽出する。そして、動き情報導出器１２１は、任意の二つの候補動き情報の組を候補２方向予測情報として導出する（ステップＳ３００）。

次いで、動き情報決定器２０９が、復元された指示情報を用いて、導出された複数の候補２方向予測情報から一つの２方向予測情報を選択し、二つの動き情報を復元する（ステップＳ２０３）。

その後、復元された二つの動き情報に基づいて、動き補償器１２６が復号対象ブロックの予測信号を生成し、当該二つの動き情報を予測情報用メモリに保存する（Ｓ２０７）。

次いで、量子化変換係数復号器２０７にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、更に逆変換器２０４において逆量子化器２０３からの出力に逆変換が適用され、再生残差信号が生成される（Ｓ２０８）。

次いで、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の復号対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０９）。そして、ステップＳ２１０の判定により次の圧縮データがあると判定される場合には、Ｓ２０２～Ｓ２０９のプロセスが繰り返され（Ｓ２１０）、全てのデータが最後まで処理される。

図１２は、一実施形態に係る画像予測符号化方法をコンピュータに実行させるプログラムの構成を示す図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、量子化変換係数符号化モジュールＰ１１１、予測情報記憶モジュールＰ１１３、及び予測情報符号化モジュールＰ１１４を備えている。予測信号生成モジュールＰ１０３は、動き情報導出モジュールＰ１２１、動き予測情報選択モジュールＰ１２２、及び動き補償モジュールＰ１２３を含んでいる。

ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、量子化変換係数符号化モジュールＰ１１１、予測情報記憶モジュールＰ１１３、予測情報符号化モジュールＰ１１４、動き情報導出モジュールＰ１２１、動き予測情報選択モジュールＰ１２２、動き補償モジュールＰ１２３がコンピュータに実行させる機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、量子化変換係数符号化器１１１、予測情報用メモリ１１３、予測情報符号化器１１４、動き情報導出器１２１、動き予測情報選択器１２２、動き補償器１２３それぞれの機能と同様である。

図１３は、一実施形態に係る画像予測復号方法をコンピュータに実行させるプログラムの構成を示す図である。画像予測復号プログラムＰ２００は、データ解析モジュールＰ２０１、予測情報復号モジュールＰ２０２、動き情報導出モジュールＰ１２１、動き情報決定モジュールＰ２０３、予測情報記憶モジュールＰ２０５、動き補償モジュールＰ１２６、量子化変換係数復号モジュールＰ２０６、逆量子化モジュールＰ２０７、逆変換モジュールＰ２０８、加算モジュールＰ２０９、及び記憶モジュールＰ１０４を備えている。

データ解析モジュールＰ２０１、予測情報復号モジュールＰ２０２、動き情報導出モジュールＰ１２１、動き情報決定モジュールＰ２０３、予測情報記憶モジュールＰ２０５、動き補償モジュールＰ１２６、量子化変換係数復号モジュールＰ２０６、逆量子化モジュールＰ２０７、逆変換モジュールＰ２０８、加算モジュールＰ２０９、記憶モジュールＰ１０４がコンピュータに実行させる機能は、データ解析器２０２、予測情報復号器２０８、動き情報導出器１２１、動き情報決定器２０９、予測情報用メモリ１１３、動き補償器１２６、量子化変換係数復号器２０７、逆量子化器２０３、逆変換器２０４、加算器２０５、フレームメモリ１０４それぞれの機能と同様である。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ２００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図１４は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１５は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図１４に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ－ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化プログラムＰ１００又は画像予測復号プログラムＰ２００にアクセス可能になり、当該画像予測符号化プログラムＰ１００又は画像予測復号プログラムＰ２００によって、画像予測符号化装置１００又は画像予測復号装置２００として動作することが可能になる。

図１５に示すように、画像予測符号化プログラム及び画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像予測復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

種々の実施形態について説明してきたが、本発明は、下記の変形態様を更に含み得る。

（動き情報の候補）
上記実施形態では、動き情報は動きベクトル、参照画面リストの識別番号（図５のList0とList1）、及び、参照画面番号（図５のref_idx）で構成されているが、参照画面リストの識別番号と参照画面番号の代わりに、フレーム番号によって動き情報が構成されてもよい。これは、フレーム番号を用いても、隣接ブロックに付随する動き情報を用いて上述した実施形態と同様の結果及び効果を得ることができるからである。

（候補２方向動き情報の制限）
上記実施形態では、動き情報導出器にて、候補動き情報の全ての組み合わせを候補２方向動き情報としていたが、下記の条件を満たす動き情報の組のみを候補２方向動き情報としてもよい。
１）対象ブロックの直上と直左ブロックのみ
２）同じ参照画面を指示する二つの動き情報
３）二つの動きベクトルは同じではないが、近い値（絶対値差がある値より小さい）を有する。即ち、直上のブロックの動きベクトル(MVXa、 MVYa)、及び、直左のブロックの動きベクトル（MVXb、 MVYb）が、
(| MVXa - MVXb| !=0) || (| MVYa - MVYb | !=0)を満たし、且つ
(| MVXa - MVXb| <= N) && (| MVYa - MVYb | <= N)を満たす（Nは小さい値）
なお、条件を満たす候補２方向動き情報が存在しない場合には、指示情報を送らずに他の予測処理を用いるようにしてもよい。

また、候補２方向動き情報の数をフレーム単位やブロック単位で指定し、指定した数を特定する情報を圧縮データに含めてもよい。さらに、このような候補２方向動き情報の制限の適用を指示する情報をフレーム単位で符号化してもよい。

（指示情報の識別番号）
指示情報の識別番号を決める際、対象ブロック（図８の４００）の右上のブロック（図８の４０４）の動き情報を利用して、直左ブロック（４０１）と直上ブロック（４０２）の優先順位を決めてもよい。ここで、
直上のブロックの動きベクトル(MVXa、 MVYa)
直左のブロックの動きベクトル(MVXb、 MVYb）及び
左上のブロックの動きベクトル(MVXc、 MVYc)について、
|MVXa - MVXc| +|MVYa - MVYc| < |MVXb - MVXc| + |MVYb - MVYc|が成立する場合には、直左ブロックの動き情報に符号量の小さい識別番号を与える。成立しない場合には、直上ブロックの動き情報に符号量の小さい識別番号を与える。このように、対象ブロックとの相関がより高いと推測される隣接ブロックの動き情報を優先すれば、指示情報の符号量が削減できる可能性がある。

（候補動きベクトルの導出と選択）
上記実施形態ではでは、動きベクトルの水平方向と垂直方向の成分をまとめて候補動きベクトルの導出と選択を行っているが、動きベクトルの水平方向と垂直方向の成分に対して個別に候補動きベクトルの導出及び選択に用いてもよい。また、上記では、隣接ブロックの単独の動きベクトルを候補動きベクトルとしていたが、二つの動きベクトルの平均値や画面間の時間方向の距離に応じてスケーリングした動きベクトル（例えば、図５の（Ａ）の画面５０４を対象とした動きベクトルを、画面５０３を対象とした動きベクトルに変換する場合には、各ベクトル成分を２倍する）を候補動きベクトルとしてもよい。

（予測タイプ）
上記実施形態では、二つの隣接ブロックの予測タイプを共に２方向予測としているが、その一方が前方向あるいは後方向予測であっても本発明は適用できる。この場合、最大三つの候補２方向予測情報が導出される。また、この場合には、以下に説明する個数の二つの動き情報の組合せパターンを隣接ブロックから導出可能である。即ち、
（１）直上ブロック（４０２）か直左ブロック（４０１）の二つの動き情報を採用する場合：１パターン
（２）直上ブロック（４０２）の一つの動き情報と直左ブロック（４０１）の一つの動き情報で、二つの動き情報に関わる参照画面リストが異なる場合：１パターン
（３）直上ブロック（４０２）の一つの動き情報と直左ブロック（４０１）の一つの動き情報で、二つの動き情報に関わる参照画面リストが同じ場合：１パターン

また、二つの隣接ブロックの双方が前方向又は後方向予測であってもよいし、一方が前方向予測であり他方が後方向予測であってもよい。

（隣接ブロックの数）
対象ブロックの予測に利用可能な隣接ブロックの数は、限定されない。図７の（Ｂ）のように、ブロック４０１～４０３の３個を隣接ブロックとしてもよい。また、前フレームのブロックに付随する動き情報を利用してもよい。また、図８に示すように隣接ブロック（４０１～４０５）が再分割されている場合には、それら小さいブロックに付随する動き情報を候補動き情報に含めてもよい。また、対象ブロックに隣接してないブロックの動き情報を利用してもよい。

（Ｎ方向予測）
上記実施形態では隣接ブロックに付随する動き情報を用いて行う対象ブロックの予測方法を２方向予測としているが、予測方法は、それに限定されるものではなく、１方向予測でも３方向予測でもよい。この場合には、図３のステップＳ３１０で候補Ｎ方向予測情報を導出し、その選定を行えばよい。なお、Ｎ個の動き情報を保存してもよいが、Ｎが３以上の場合には、参照画面番号や動きベクトルの値によって、保存する動き情報を２個に制限してもよい。

（変換器、逆変換器）
残差信号の変換処理は、固定のブロックサイズで行ってよく、部分領域にあわせて対象領域を再分割して変換処理を行ってもよい。

（色信号）
上記実施形態の説明では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行ってもよい。また、輝度信号の処理と連動して処理を行ってもよい。

以上、本発明をその幾つかの実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

本発明の別の実施形態の一側面は画像予測符号化に関するものである。

本発明の別の実施形態の一側面に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、上記領域分割手段により分割された上記複数の領域のうち、符号化対象の対象領域の画素信号との相関が高い画素信号を既再生画像から取得するための動き情報を決定し、該動き情報に基づいて上記既再生画像から上記対象領域の予測信号を生成する予測信号生成手段と、上記動き情報を保存する動き情報記録手段と、上記対象領域の予測信号と上記対象領域の画素信号との差分である残差信号を生成する残差信号生成手段と、上記残差信号生成手段により生成された上記残差信号を符号化する残差信号符号化手段と、上記残差信号符号化手段によって生成された符号化データを復号して、再生残差信号を生成する残差信号復元手段と、上記予測信号と上記再生残差信号とを加算して上記対象領域の再生画素信号を生成する加算手段と、上記加算手段によって生成された上記再生画素信号を、既再生画像の一部として保存する画像記録手段と、を備え、上記予測信号生成手段は、上記動き情報記録手段に保存されている複数の動き情報の中から、その構成要素のいずれかの値が異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、上記一つ以上の動き情報の組から対象領域の予測信号生成に用いる動き情報の組を選択し、選択された組の二つの動き情報を上記動き情報記録手段に保存させる動き予測情報選択手段と、選択された上記組の二つの動き情報に基づいて上記既再生画像から取得した二つの信号を合成して上記対象領域の予測信号を生成する動き補償手段と、を含む。

本発明の別の実施形態の一側面に係る画像予測符号化方法は、入力画像を複数の領域に分割するステップと、上記複数の領域のうち符号化対象の対象領域の予測信号を生成するステップであって、該対象領域の画素信号との相関が高い画素信号を既再生画像から取得するための動き情報を決定し、該動き情報に基づいて該既再生画像から上記予測信号を生成する、該ステップと、動き情報記録手段によって上記動き情報を保存するステップと、上記対象領域の予測信号と上記対象領域の画素信号との差分である残差信号を生成するステップと、上記残差信号を符号化するステップと、上記残差信号を符号化するステップにおいて生成された符号化データを復号して、再生残差信号を生成するステップと、上記予測信号と上記再生残差信号とを加算して上記対象領域の再生画素信号を生成するステップと、画像記録手段によって、上記再生画素信号を既再生画像の一部として保存するステップと、を含み、上記予測信号を生成するステップが、上記動き情報記録手段に保存されている複数の動き情報の中から、その構成要素のいずれかの値が異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、上記一つ以上の動き情報の組から対象領域の予測信号生成に用いる動き情報の組を選択し、選択された組の二つの動き情報を上記動き情報記録手段に保存させるステップと、選択された上記組の二つの動き情報に基づいて上記既再生画像から取得した二つの信号を合成して上記対象領域の予測信号を生成するステップと、を含む。

本発明の別の実施形態の一側面に係る画像予測符号化プログラムは、コンピュータを、領域分割手段と、予測信号生成手段と、動き情報記録手段と、残差信号生成手段と、残差信号符号化手段と、残差信号復元手段と、加算手段と、画像記録手段と、として機能させる。予測信号生成手段は、動き情報導出手段と、予測情報選択手段と、動き補償手段と、を含む。

本発明の別の実施形態の一側面に係る画像予測符号化によれば、参照画面リストによって制限されることなく、構成要素の値が異なる二つの動き情報を選出することが可能となる。その結果、予測信号の生成に平滑化の効果を与え得る。

一実施形態においては、上記画像記録手段が複数の既再生画像を保存しており、上記動き情報が、上記既再生画像を識別する情報と動きベクトルを含んでおり、上記画像記録手段に保存されている既再生画像は、既再生画像を符号化した際のフレーム番号を用いて識別されており、上記既再生画像のフレーム番号は一致するが動きベクトルの値が異なる二つの動き情報を含む動き情報の組が導出されてもよい。

一実施形態においては、上記画像記録手段が複数の既再生画像を保存しており、上記画像記録手段に保存されている複数の既再生画像が、一つ以上の既再生画像で構成される二つの参照画面リストを用いて、識別されており、上記動き情報が、上記二つの参照画面リストを識別する情報と上記動きベクトルを含んでおり、上記参照画面リストを識別する情報は一致するが、動きベクトルの値が異なる二つの動き情報を含む動き情報の組が導出されてもよい。

一実施形態においては、上記対象領域に隣接する領域に付随する複数の動き情報から該対象領域の予測信号の生成に用いる上記動き情報の組が選択されてもよい。

また、一実施形態においては、選択された二つの動き情報から成る動き情報の組を指示する情報を符号化してもよい。

本発明の別の実施形態の別の一側面は、画像予測復号に関するものである。

本発明の別の実施形態の別の一側面に係る画像予測復号装置は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データと、残差信号の符号化データを抽出するデータ解析手段と、上記動き情報を保存する動き情報記録手段と、上記動き情報に基づいて上記対象領域の予測信号を生成する動き補償手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の画素信号を復元し、復元した該画素信号を既再生画像の一部として保存する画像記録手段と、上記動き情報記録手段に保存されている複数の動き情報の中から、その構成要素のいずれかの値が異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から実際に対象領域の予測信号生成に用いる動き情報の組を決定し、決定した組の二つの動き情報を上記動き情報記録手段に保存させる動き情報決定手段と、備え、上記動き補償手段は、決定された上記組の二つの動き情報に基づいて上記既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する。

本発明の別の実施形態の別の一側面に係る画像予測復号方法は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データと、残差信号の符号化データを抽出するステップと、動き情報記録手段によって上記動き情報を保存するステップと、上記動き情報に基づいて上記対象領域の予測信号を生成するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の画素信号を復元し、画像記録手段によって復元した該画素信号を既再生画像の一部として保存するステップと、上記動き情報記録手段に保存されている複数の動き情報の中から、その構成要素のいずれかの値が異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、上記導出した動き情報の組の中から実際に対象領域の予測信号生成に用いる動き情報の組を決定し、決定された組の二つの動き情報を上記動き情報記録手段に保存させるステップと、含み、上記予測信号を生成するステップにおいて、決定された上記組の二つの動き情報に基づいて上記既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する。

本発明の別の実施形態の別の一側面に係る画像予測復号プログラムは、コンピュータを、データ解析手段と、動き情報記録手段と、動き補償手段と、残差信号復元手段と、画像記録手段と、動き情報導出手段と、動き情報決定手段と、として機能させる。

本発明の別の実施形態の一側面に係る画像予測復号によれば、上述した一側面の画像予測符号化によって生成された圧縮データから画像を復元することができる。この画像では、ノイズが低減され得る。

一実施形態においては、上記動き情報記録手段に保存されている複数の動き情報の中から、その構成要素のいずれかの値が異なる二つの動き情報から成る一つの動き情報の組を識別するための指示情報の符号化データを抽出し、予測情報復号手段によって指示情報を復号し、復号された上記指示情報に基づいて、上記動き情報導出手段が導出した一つ以上の動き情報の組の中から、対象領域の予測信号生成に用いる動き情報の組を抽出してもよい。

一実施形態においては、上記画像記録手段が複数の既再生画像を保存しており、上記動き情報が、上記複数の既再生画像を識別する情報と動きベクトルを含んでおり、記画像記録手段に保存されている複数の既再生画像は、該複数の既再生画像をそれぞれ復号した際のフレーム番号を用いて識別されており、上記既再生画像のフレーム番号は一致するが動きベクトルの値が異なる二つの動き情報を含む動き情報の組を導出してもよい。

一実施形態においては、上記画像記録手段が複数の既再生画像を保存しており、上記画像記録手段に保存されている複数の既再生画像が、一つ以上の既再生画像で構成される二つの参照画面リストを用いて、識別されており、上記動き情報が、上記二つの参照画面リストを識別する情報と上記動きベクトルを含んで構成されており、上記参照画面リストを識別する情報は一致するが、動きベクトルの値が異なる二つの動き情報を含む動き情報の組を導出してもよい。

また、一実施形態においては、上記対象領域に隣接する領域に付随する複数の動き情報から対象領域の予測信号の生成に用いる上記動き情報の組を導出してもよい。

本発明の別の実施形態の別の一側面に係る画像予測復号装置は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ又は上記対象領域に隣接する隣接領域に付随する複数の動き情報のうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データを抽出するデータ解析手段と、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元する予測情報復号手段と、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定する動き情報決定手段と、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する動き補償手段と、上記対象領域の上記予測信号の生成に用いられた動き情報を保存する動き情報記録手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元し、復元された上記画素信号を既再生画像の一部として保存する画像記録手段と、を備える。

本発明の別の実施形態の別の一側面に係る画像予測復号方法は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ又は上記対象領域に隣接する隣接領域に付随する複数の動き情報のうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データを抽出するステップと、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元するステップと、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成するステップと、上記動き情報記録手段によって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、画像記録手段によって、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

本発明の別の実施形態の別の一側面に係る画像予測復号プログラムは、コンピュータを、データ解析手段と、予測情報復号手段と、動き情報導出手段と、動き情報決定手段と、動き補償手段と、動き情報記録手段と、残差信号復元手段と、画像記録手段と、として機能させる。

本発明の別の実施形態の一側面は、画像予測復号に関するものである。

本発明の別の実施形態の一側面に係る画像予測復号装置は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ又は上記対象領域に隣接する隣接領域に付随する複数の動き情報のうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データを抽出するデータ解析手段と、上記動き情報の符号化データ又は上記指示情報の符号化データを復号し、上記動き情報が復号される場合には、参照画面リスト番号及び参照画面番号と動きベクトルとを含む動き情報を復元し、上記指示情報が復号される場合には指示情報を復元する予測情報復号手段と、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報であって、二つの異なる隣接領域からそれぞれ得られる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定する動き情報決定手段と、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記動き情報と、画像記録手段に保存されている既再生画像とに基づいて、上記対象領域の予測信号を生成する動き補償手段と、上記対象領域の上記予測信号の生成に用いられた動き情報を保存する動き情報記録手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元し、復元された上記画素信号を既再生画像の一部として保存する画像記録手段と、を備える。上記動き情報の組である上記二つの動き情報は、上記参照画面リスト番号が異なることとしてもよい。

本発明の別の実施形態の一側面に係る画像予測復号方法は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ又は上記対象領域に隣接する隣接領域に付随する複数の動き情報のうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データを抽出するステップと、上記動き情報の符号化データ又は上記指示情報の符号化データを復号し、上記動き情報が復号される場合には、参照画面リスト番号及び参照画面番号と動きベクトルとを含む動き情報を復元し、上記指示情報が復号される場合には指示情報を復元するステップと、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報であって、二つの異なる隣接領域からそれぞれ得られる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記動き情報と、画像記録手段に保存されている既再生画像とに基づいて、上記対象領域の予測信号を生成するステップと、上記動き情報記録手段によって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、画像記録手段によって、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。上記動き情報の組である上記二つの動き情報は、上記参照画面リスト番号が異なることとしてもよい。

本発明の別の実施形態の一側面に係る画像予測復号プログラムは、コンピュータを、データ解析手段と、予測情報復号手段と、動き情報導出手段と、動き情報決定手段と、動き補償手段と、動き情報記録手段と、残差信号復元手段と、画像記録手段と、として機能させる。

本発明の一側面に係る画像予測復号装置は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ、又は復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元する予測情報復号手段と、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定する動き情報決定手段と、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する動き補償手段と、上記対象領域の上記予測信号の生成に用いられた動き情報を保存する動き情報記録手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元し、復元された上記画素信号を既再生画像の一部として保存する画像記録手段と、を備える。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ、又は復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元するステップと、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、該決定した上記動き情報の組である二つの動き情報、又は、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成するステップと、上記動き情報記録手段によって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、画像記録手段によって、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

本発明の一側面に係る画像予測復号プログラムは、コンピュータを、データ解析手段と、予測情報復号手段と、動き情報導出手段と、動き情報決定手段と、動き補償手段と、動き情報記録手段と、残差信号復元手段と、画像記録手段と、として機能させる。

本発明の一側面に係る画像予測復号装置は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ、又は復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元する予測情報復号手段と、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定する動き情報決定手段と、上記指示情報が復元された場合に、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する動き情報と上記復号済みの前フレーム内の領域に付随する動き情報との組、又は、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて、画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成し、上記動き情報の符号化データを復号して二つの動き情報が復元された場合に、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する動き補償手段と、上記対象領域の上記予測信号の生成に用いられた動き情報を保存する動き情報記録手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元し、復元された上記画素信号を既再生画像の一部として保存する画像記録手段と、を備える。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ、又は復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元するステップと、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、上記指示情報が復元された場合に、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する動き情報と上記復号済みの前フレーム内の領域に付随する動き情報との組、又は、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて、画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成し、上記動き情報の符号化データを復号して二つの動き情報が復元された場合に、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成するステップと、上記動き情報記録手段によって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、画像記録手段によって、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

本発明の一側面に係る画像予測復号プログラムは、コンピュータを、圧縮データの中から画像内の複数の領域のうち復号対象となる対象領域の予測信号を生成するための動き情報の符号化データ、又は復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、上記動き情報の符号化データを復号して、参照画面リスト番号及び参照画面番号と動きベクトルとをそれぞれ含む二つの動き情報を復元し、又は、上記指示情報の符号化データを復号して、指示情報を復元する予測情報復号手段と、上記指示情報が復元された場合に、動き情報記録手段に保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出する動き情報導出手段と、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定する動き情報決定手段と、上記指示情報が復元された場合に、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する動き情報と上記復号済みの前フレーム内の領域に付随する動き情報との組、又は、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて、画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成し、上記動き情報の符号化データを復号して二つの動き情報が復元された場合に、上記復元された上記二つの動き情報に基づいて画像記録手段に保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成する動き補償手段と、上記対象領域の上記予測信号の生成に用いられた動き情報を保存する動き情報記録手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元し、復元された上記画素信号を既再生画像の一部として保存する画像記録手段と、として機能させる。

本発明の一側面は、画像予測復号に関するものである。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から、復号対象フレーム内の復号対象となる対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記指示情報の符号化データを復号して、指示情報を復元するステップと、上記復号済みの前フレーム内の領域に付随する動き情報について、上記前フレームと上記復号対象フレームとの画面間の時間方向の距離に応じて動きベクトルをスケーリングした動き情報とし、メモリに保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、導出された上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、該決定した前記動き情報の組である二つの動き情報に基づいて上記メモリに保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成するステップと、上記メモリによって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から、復号対象フレーム内の復号対象となる対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記指示情報の符号化データを復号して、指示情報を復元するステップと、メモリに保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、上記一つ以上の動き情報の組の中から上記対象領域の予測信号生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、該決定した前記動き情報の組である二つの動き情報に基づいて上記メモリに保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の予測信号を生成するステップと、上記メモリによって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

本発明の一側面に係る画像予測復号方法は、圧縮データの中から、復号対象フレーム内の復号対象となる対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、上記指示情報の符号化データを復号して、指示情報を復元するステップと、メモリに保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、上記一つ以上の動き情報の組の中から上記対象領域の上記予測信号の生成に用いる動き情報の組を上記指示情報に基づいて決定するステップと、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する動き情報と上記対象領域の位置によって決定された上記復号済みの前フレーム内の領域に付随する動き情報との決定された動き情報の組、又は、上記復号対象フレーム内の上記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて上記メモリに保存されている既再生画像から取得される二つの信号を合成して、上記対象領域の上記予測信号を生成するステップと、上記メモリによって、上記対象領域の上記予測信号の生成に用いられた動き情報を保存するステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元するステップと、上記予測信号と上記再生残差信号とに基づいて、上記対象領域の画素信号を復元するステップと、復元された上記画素信号を既再生画像の一部として保存するステップと、を含む。

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…量子化変換係数符号化器、１１２…出力端子、１１３…予測情報用メモリ、１１４…予測情報符号化器、１２１…動き情報導出器、１２２…動き予測情報選択器、１２３…動き補償器、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…量子化変換係数復号器、２０８…予測情報復号器、２０９…動き情報決定器。

Claims (1)

1. 圧縮データの中から、復号対象フレーム内の復号対象となる対象領域に隣接する隣接領域に付随する複数の動き情報と復号済みの前フレーム内の領域に付随する動き情報とのうち該対象領域の予測信号の生成に用いる動き情報の組を特定する指示情報の符号化データと、残差信号の符号化データとを抽出するステップと、
   前記指示情報の符号化データを復号して、指示情報を復元するステップと、
   前記復号済みの前フレーム内の領域に付随する動き情報について、前記前フレームと前記復号対象フレームとの画面間の時間方向の距離に応じて動きベクトルをスケーリングした動き情報とし、メモリに保存されている複数の動き情報の中から、参照画面リスト番号及び参照画面番号によって特定されるフレーム番号又は動きベクトルが異なる二つの動き情報から成る一つ以上の動き情報の組を導出するステップと、
   前記一つ以上の動き情報の組の中から前記対象領域の前記予測信号の生成に用いる動き情報の組を前記指示情報に基づいて決定するステップと、
   前記復号対象フレーム内の前記対象領域に隣接する隣接領域に付随する動き情報と前記対象領域の位置によって決定された前記復号済みの前フレーム内の領域に付随する動き情報との動き情報の組、又は、前記復号対象フレーム内の前記対象領域に隣接する隣接領域に付随する二つの動き情報に基づいて前記メモリに保存されている既再生画像から取得される二つの信号を合成して、前記対象領域の前記予測信号を生成するステップと、
   前記メモリによって、前記対象領域の前記予測信号の生成に用いられた動き情報を保存するステップと、
   前記残差信号の符号化データから前記対象領域の再生残差信号を復元するステップと、
   前記予測信号を前記再生残差信号に加算することで、前記対象領域の画素信号を復元するステップと、
   復元された前記画素信号を既再生画像の一部として保存するステップと、を含む、画像予測復号方法。
   

Images