WO2011121731A1

WO2011121731A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2011121731A1
Application number: PCT/JP2010/055712
Authority: WO
Inventors: 三好　秀誠
Original assignee: 富士通株式会社
Priority date: 2010-03-30
Filing date: 2010-03-30
Publication date: 2011-10-06
Also published as: KR20120135296A; US20130011072A1; JP5522252B2; US9036918B2; KR101380460B1; CN102823247B; JPWO2011121731A1; CN102823247A

Abstract

　隣接ブロックの符号化モードを判定し、イントラ符号化モードでない隣接ブロックの動きベクトルおよびこの隣接ブロックの参照画像を示す参照インデックスに基づいて、処理対象ブロックが静止領域および動領域のいずれに属するかを判定する。判定の結果に基づいて、処理対象ブロックの参照画像を示す参照インデックスを決定する。隣接ブロックが全てイントラ符号化モードである場合、処理対象ブロックが属するフィールドと異なるフィールドの直近の画像に付されたインデックス番号を選択する。処理対象ブロックが静止領域に属する場合、処理対象ブロックが属するフィールドと同じフィールドの直近の画像に付されたインデックス番号を選択する。処理対象ブロックが動領域に属する場合、隣接ブロックの参照画像を示す参照インデックスの中で時間的に最も近い参照画像のインデックス番号を選択する。

Description

画像処理装置および画像処理方法

　この発明は、画像処理装置および画像処理方法に関する。

　動画像の画像処理技術の一つに、画像情報をインター予測（画面間予測）を使用して符号化した第１符号化情報を、この第１符号化情報の動きベクトルを使用して、第２符号化情報にトランスコードする技術がある。このような技術において、例えば第１符号化情報の動きベクトルを再利用できない場合に、符号化対象ブロックの予測モードを、周辺のブロックの予測モードに基づいて、インター予測からイントラ予測（画面内予測）に変更して第２符号化情報を生成する技術がある。また、符号化対象マクロブロックの予測モードを、隣接する符号化済みマクロブロック、および符号化されていない隣接マクロブロックに対応する直前の画像内のマクロブロックのそれぞれと同一の予測モードの中から選択する技術がある。また、フレーム間やフィールド間の動きベクトルを用いて、補間されるフレームやフィールドに対する動きベクトルを推定し、この動きベクトルを用いて、補間されるフレームやフィールドの画素を生成する技術がある。

　インター予測を使用して動画像を符号化するシステムにおいて、動画像データを送信する側の装置では、次のような処理が行われる。過去の参照画像から符号化対象画像への動きを表す動きベクトルデータが生成される。その動きベクトルデータを用いて参照画像から符号化対象画像の予測画像が生成される。その予測画像と実際の符号化対象画像との差分データが生成される。そして、その差分データおよび動きベクトルデータが符号化されて送信される。受信側の装置では、受信した動きベクトルデータおよび差分データを用いて復号対象画像が再生される。このときの符号化および復号の処理は、一フレームの原画像を複数のブロック（マクロブロック）に分割し、このブロック単位で行われる。

　動画像の表示方式の一つに、一フレームの画像を、奇数番目の走査線からなるフィールドと偶数番目の走査線からなるフィールドとに分割し、それらのフィールドを交互に表示するインターレース方式がある。インターレース方式では、符号化対象画像に対して複数の参照画像の候補が存在し、その中から適当な参照画像が選択される。複数の参照画像の候補には、それぞれインデックス番号が付される。一フレームの画像において、空間的に上側に位置するフィールドをトップフィールドと呼び、空間的に下側に位置するフィールドをボトムフィールドと呼ぶことがある。

　図９は、参照画像の候補に対するインデックス番号の付し方を説明する図である。例えば図９に示すように、Ｐｔ０とした符号化対象ブロックの画像１がトップフィールドの画像である場合、直近の同じフィールドタイプ、すなわちトップフィールドのＰｔ１とした参照画像の候補２にインデックス番号ｒｅｆＩｄｘＬ０として０が付される。符号化対象ブロックの画像１に対して直近の異なるフィールドタイプ、すなわちボトムフィールドのＰｂ１とした参照画像の候補３に１のインデックス番号が付される。ＰｔｎおよびＰｂｎは、それぞれトップフィールドおよびボトムフィールドの画像であることを示す。また、Ｐｔｎの画像およびＰｂｎの画像は、同じフレームに含まれる画像である。

　トップフィールドとトップフィールドというようにフィールド同士が空間的に上下の同じ側にある場合を同パリティと呼び、トップフィールドとボトムフィールドというようにフィールド同士が空間的に上下の異なる側にある場合を異パリティと呼ぶことがある。２のインデックス番号は、同パリティにおいて次に直近のＰｔ２とした参照画像の候補４に付される。３のインデックス番号は、異パリティにおいて次に直近のＰｂ２とした参照画像の候補５に付される。このように、符号化対象ブロックに近い順に、同パリティの画像から始まって、同パリティの画像と異パリティの画像とに対して交互にインデックス番号が付される。符号化対象ブロックの画像がボトムフィールドの画像である場合も同様である。

　インターレース方式でインター予測を使用して動画像を符号化する場合、例えば図９に示すように、符号化対象ブロックＰｔ０に対して参照画像の候補がＰｔ１、Ｐｂ１、Ｐｔ２およびＰｂ２のように複数存在することがある。実際に符号化する際には、複数の参照画像の候補の中から適当な一つが選択される。従って、差分データおよび動きベクトルデータと一緒に、選択された参照画像を示す参照インデックスも符号化される。これに対して、直近の同パリティの画像を参照画像とするように予めアルゴリズムで決まっていることがある。符号化する側のアルゴリズムおよび復号する側のアルゴリズムがこのようなアルゴリズムである場合には、符号化する側から復号する側へ参照インデックスを通知しなくても、復号する側で参照インデックスが０であることが暗黙的にわかる。従って、参照インデックスを省略して符号化することができるので、参照インデックスも符号化する場合に比べて、符号化の効率が良くなる。

　動画像符号化方式の規格の一つであるＩＴＵ－Ｔ　Ｈ．２６４／ＩＳＯ／ＩＥＣ　ＭＰＥＧ－４ＡＶＣには、このように参照インデックスを省略して符号化する、Ｐ８×８ｒｅｆ０やＰ＿ＳＫＩＰと呼ばれるマクロブロックが用意されている。動画像を符号化する際には、動画像データの圧縮率が高くなるので、Ｐ８×８ｒｅｆ０やＰ＿ＳＫＩＰができるだけ多く選択されるのが望ましい。なお、ＩＴＵ－Ｔは、Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　Ｓｅｃｔｏｒ（国際電気通信連合電気通信標準化部門）の略である。ＩＳＯは、Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ（国際標準化機構）の略である。ＩＥＣは、Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ　Ｃｏｍｍｉｓｓｉｏｎ（国際電気標準会議）の略である。ＭＰＥＧ－４は、Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　４の略である。ＡＶＣは、Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇの略である。

特開２００６－２９５７３４号公報特開２００９－５５５４２号公報特開２００３－１６３８９４号公報

　しかしながら、従来のインターレース方式における符号化技術では、以下に説明するように、参照インデックスを省略して符号化することができるマクロブロックタイプが選択され難い。そのため、符号化の効率が悪いという問題点がある。静止しているシーンのときには、トップフィールドおよびボトムフィールドのいずれにおいても、符号化対象ブロックの画像が直近の同パリティの画像と同じであることが多い。従って、参照画像として直近の同パリティの画像が選択される傾向にある。直近の同パリティの画像が選択される場合には、参照インデックスが０であるので、上述したＰ８×８ｒｅｆ０やＰ＿ＳＫＩＰが選択され易くなる。

　それに対して動きのあるシーンのときには、トップフィールドおよびボトムフィールドのいずれにおいても、符号化対象ブロックの画像が直近の同パリティの画像と異なってしまうことが多い。このことは、図１０に示すように、ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）構造がＩピクチャ（図には現れていない）もしくはＰピクチャとＰピクチャとの間に２枚のＢピクチャを挟むＩＢＢＰ構造であるような場合に、顕著となる。動き補償予測では、符号化対象の画像と同じピクチャタイプの画像が参照画像として用いられる。

　従って、符号化対象ブロックの画像１１がボトムフィールドにおけるＰピクチャの画像Ｐｂ０である場合、このＰｂ０に対して直近のボトムフィールドにおけるＰピクチャの画像は、Ｐｂ１とした画像１２である。このＰｂ１はＰｂ０の画像から６フィールド時間離れているため、Ｐｂ１からＰｂ０へ移行する間に絵柄が大きく変化してしまうおそれがある。

　一方、Ｐｔ０とした直近のトップフィールドにおけるＰピクチャの画像１３はＰｂ０から１フィールド時間しか離れていない。従って、１フィールド時間離れている場合の絵柄の変化は、上述した６フィールド時間離れている場合と比べて小さい。このボトムフィールドの画像の例ほどではないが、符号化対象ブロックの画像がトップフィールドの画像である場合も、直近の異パリティの画像の方が直近の同パリティの画像よりも、符号化対象ブロックの画像から離れている時間が短い。このように、動きのあるシーンのときには、参照画像として直近の異パリティの画像を選択した方が予測精度が良くなる可能性が高いので、直近の異パリティの画像が選択される傾向にある。この場合には、参照インデックスが１であるので、上述したＰ８×８ｒｅｆ０やＰ＿ＳＫＩＰは選択されない。

　なお、上述した問題は、静止しているシーンと動きのあるシーンに限らず、画面内の静止している領域（静止領域）と動きのある領域（動領域）についても同様である。すなわち、図１１に示すように、静止領域２１では、参照画像として直近の同パリティの画像が選択される傾向にあり、動領域２２では、参照画像として直近の異パリティの画像が選択される傾向にある。従って、動領域２２では、上述したＰ８×８ｒｅｆ０やＰ＿ＳＫＩＰが選択されない。このように、従来の符号化技術では、参照インデックスを省略して符号化することができるマクロブロックタイプが選択され難いため、符号化の効率が悪くなってしまう。

　この画像処理装置および画像処理方法は、動画像の画像処理において符号化の効率を良くすることを目的とする。

　画像処理装置は、一フレームを異なるタイミングで表示される複数のフィールドに分ける。画像処理装置は、各フィールドの画像をそれぞれ複数のブロックに分割する。画像処理装置は、ブロックごとに過去の複数の参照画像の候補から選択した参照画像およびこの参照画像に対する動きベクトルに基づいて動き補償予測を行う。画像処理装置は、イントラモード判定部、動きベクトル判定部および参照インデックス決定部を備えている。イントラモード判定部は、処理対象ブロックに隣接する複数の隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かを判定する。動きベクトル判定部は、イントラモード判定部により隣接ブロックのうちの少なくとも一つがイントラ符号化モードでないと判定された場合に、処理対象ブロックが静止領域および動領域のいずれに属するかを判定する。その判定は、イントラ符号化モードでないと判定された隣接ブロックの動きベクトルおよびイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスに基づいて行われる。参照インデックス決定部は、イントラモード判定部により全ての隣接ブロックがイントラ符号化モードであると判定された場合に、処理対象ブロックが属するフィールドと異なるフィールドの時間的に最も近い画像に付されたインデックス番号を選択する。参照インデックス決定部は、動きベクトル判定部により静止領域に属すると判定された場合に、処理対象ブロックが属するフィールドと同じフィールドの時間的に最も近い画像に付されたインデックス番号を選択する。参照インデックス決定部は、動きベクトル判定部により動領域に属すると判定された場合に、イントラモード判定部によりイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスの中で時間的に最も近い参照画像のインデックス番号を選択する。参照インデックス決定部は、選択したインデックス番号を処理対象ブロックの参照画像を示す参照インデックスに決定する。

　開示の画像処理装置および画像処理方法によれば、動画像の画像処理において符号化の効率を良くすることができるという効果を奏する。

実施例１にかかる画像処理装置を示すブロック図である。実施例１にかかる画像処理方法を示すフローチャートである。実施例２にかかる符号化装置のハードウェア構成を示すブロック図である。実施例２にかかる符号化装置の機能的構成を示すブロック図である。実施例２にかかる画像処理装置を示すブロック図である。符号化対象マクロブロック、隣接マクロブロックおよび参照画像の関係を説明する図である。実施例２にかかる画像処理方法を示すフローチャートである。実施例３にかかる復号装置の機能的構成を示すブロック図である。参照画像の候補に対するインデックス番号の付し方を説明する図である。ＩＢＢＰ構造における参照画像の選択例を説明する図である。静止領域および動領域に対する参照画像の選択例を説明する図である。

　以下に、この発明にかかる画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。画像処理装置および画像処理方法は、処理対象ブロックに隣接する隣接ブロックの画像の符号化モード、隣接ブロックの参照画像を示す参照インデックスおよびこの参照画像に対する隣接ブロックの動きベクトルに基づいて、処理対象ブロックの参照画像を示す参照インデックスを決定するものである。この実施の形態では、一フレームは、異なるタイミングで表示される複数のフィールド、例えばトップフィールドとボトムフィールドとに分けられる。各フィールドの画像は、それぞれ複数のブロックに分割されて処理される。画像処理装置は、ブロックごとに過去の複数の参照画像の候補から選択した参照画像およびこの参照画像に対する動きベクトルに基づいて動き補償予測を行う。

（実施例１）
・画像処理装置の説明
　図１は、実施例１にかかる画像処理装置を示すブロック図である。図１に示すように、画像処理装置は、イントラモード判定部３１、動きベクトル判定部３２および参照インデックス決定部３３を備えている。これらイントラモード判定部３１、動きベクトル判定部３２および参照インデックス決定部３３は、例えば後述する画像処理方法をプロセッサに実行させるプログラムをプロセッサが実行することによって実現される。あるいは、ハードウェアで実現してもよい。イントラモード判定部３１は、処理対象ブロックに隣接する複数の隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かを判定する。

　動きベクトル判定部３２は、イントラモード判定部３１により隣接ブロックのうちの少なくとも一つがイントラ符号化モードでないと判定された場合に、処理対象ブロックが静止領域および動領域のいずれに属するかを判定する。この判定は、イントラ符号化モードでないと判定された隣接ブロックの動きベクトルおよびイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスに基づいて行われる。

　参照インデックス決定部３３は、イントラモード判定部３１により全ての隣接ブロックがイントラ符号化モードであると判定された場合、処理対象ブロックに対して直近の異パリティの画像に付されたインデックス番号を選択する。参照インデックス決定部３３は、動きベクトル判定部３２により静止領域に属すると判定された場合、処理対象ブロックに対して直近の同パリティの画像に付されたインデックス番号を選択する。参照インデックス決定部３３は、動きベクトル判定部３２により動領域に属すると判定された場合、イントラモード判定部３１によりイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスの中で直近の参照画像のインデックス番号を選択する。参照インデックス決定部３３は、選択したインデックス番号を処理対象ブロックの参照画像を示す参照インデックスに決定する。

・画像処理方法の説明
　図２は、実施例１にかかる画像処理方法を示すフローチャートである。図２に示すように、一つの処理対象ブロックに対する画像処理が開始されると、まず、イントラモード判定部３１により、処理対象ブロックに隣接する複数の隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かが判定される（ステップＳ１）。全ての隣接ブロックがイントラ符号化モードであると判定された場合（ステップＳ１：Ｙｅｓ）、参照インデックス決定部３３により、処理対象ブロックの参照画像を示す参照インデックスとして、直近の異パリティの画像に付されたインデックス番号が選択される（ステップＳ２）。そして、一つの処理対象ブロックに対する一連の処理が終了する。

　隣接ブロックのうちの少なくとも一つがイントラ符号化モードでないと判定された場合（ステップＳ１：Ｎｏ）、動きベクトル判定部３２により、処理対象ブロックが静止領域および動領域のいずれに属するかが判定される（ステップＳ３）。この判定は、イントラ符号化モードでないと判定された隣接ブロックの動きベクトルおよびイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスに基づいて行われる。

　処理対象ブロックが静止領域に属すると判定された場合（ステップＳ３：Ｙｅｓ）、参照インデックス決定部３３により、処理対象ブロックの参照画像を示す参照インデックスとして、直近の同パリティの画像に付されたインデックス番号が選択される（ステップＳ４）。そして、一つの処理対象ブロックに対する一連の処理が終了する。

　処理対象ブロックが動領域に属すると判定された場合（ステップＳ３：Ｎｏ）、参照インデックス決定部３３により、処理対象ブロックの参照画像を示す参照インデックスとして、イントラ符号化モードでないと判定された隣接ブロックの参照画像に付されたインデックス番号が選択される（ステップＳ５）。イントラ符号化モードでないと判定された隣接ブロックが複数存在する場合には、該当する複数の隣接ブロックの参照画像のうち直近の参照画像に付されたインデックス番号が選択される。そして、一つの処理対象ブロックに対する一連の処理が終了する。以上の処理が全ての処理対象ブロックに対して行われる。

　実施例１によれば、符号化する際に隣接ブロックの符号化モード、隣接ブロックの動きベクトルおよび隣接ブロックの参照画像を示す参照インデックスに基づいて、処理対象ブロックの参照インデックスが決まる。従って、復号する際にも同じようにして処理対象ブロックの参照インデックスを決めることによって、符号化する側と復号する側とで、同じ処理対象ブロックに対して同じ参照インデックスが決まることになる。それによって、符号化する側から復号する側に参照インデックスを通知しなくても、復号する側で復号することができる。つまり、参照インデックスを省略して符号化し、復号することができる。また、参照インデックスが０でない場合でも隣接ブロックに応じて適当な参照インデックスが決まるので、参照インデックスが０である場合に参照インデックスの符号化を省略できる場合と比べて、より多くのブロックで参照インデックスを省略して符号化することができる。従って、符号化の効率を良くすることができる。

（実施例２）
　実施例２は、実施例１の画像処理装置および画像処理方法を動画像の符号化装置および符号化方法に適用したものである。実施例２を適用可能な動画像符号化方式の一例として、例えばＩＴＵ－Ｔ　Ｈ．２６４／ＩＳＯ／ＩＥＣ　ＭＰＥＧ－４ＡＶＣやＩＳＯ／ＩＥＣ　ＭＰＥＧ－２／ＭＰＥＧ－４が挙げられる。ＭＰＥＧ－２は、Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　２の略である。

・符号化装置の説明
　図３は、実施例２にかかる符号化装置のハードウェア構成を示すブロック図である。図３に示すように、符号化装置は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置）４１、画像処理プロセッサ４２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ、ランダムアクセスメモリ）４３、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ、ハードディスクドライブ）４４、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ、読み出し専用メモリ）４５、入力装置４６、モニタ４７、媒体読み取り装置４８およびネットワークインターフェース４９を備えている。各構成部はバス５０に接続されている。

　ＨＤＤ４４は、内蔵するハードディスクに画像処理プログラムや動画像データを記憶している。画像処理プログラムは、動画像データを画像処理するプログラムであり、例えば媒体読み取り装置４８により着脱可能な記録媒体から読み出されてハードディスクにインストールされている。動画像データは、例えば媒体読み取り装置４８により着脱可能な記録媒体から読み出されたデータや、ネットワークインターフェース４９を介してネットワークから受信したデータや、テレビジョン放送を受信したデータである。

　ＲＡＭ４３は、ＣＰＵ４１のワークエリアとして使用される。ＲＡＭ４３は、ＨＤＤ４４から読み出された動画像データを格納する。ＲＡＭ４３は、画像処理プロセッサ４２による画像処理結果を格納する。画像処理プロセッサ４２は、ＨＤＤ４４から画像処理プログラムを読み出して画像処理プロセスを実行し、ＲＡＭ４３から読み出した動画像データに対して符号化や復号などの処理を行う。ＣＰＵ４１は、符号化装置の全体の動作を制御する。実施例２にかかる符号化装置は、画像処理プロセッサ４２が画像処理プロセスを実行することにより実現される。

　ＲＯＭ４５は、ブートプログラムなどのプログラムを記憶している。入力装置４６は、例えばキーボードや、タッチパネル式の入力パッドや、マウスなどのポインティングデバイスや、リモートコントローラ等の操作機器のスイッチやボタンを含む。モニタ４７は、例えばＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ、ブラウン管）ディスプレイやＴＦＴ（Ｔｈｉｎ　Ｆｉｌｍ　Ｔｒａｎｓｉｓｔｏｒ、薄膜トランジスタ）液晶ディスプレイなどの動画像やデータを表示する装置である。媒体読み取り装置４８は、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ、デジタルバーサタイルディスク）やメモリカードなどの着脱可能な記録媒体から動画像データを含むデータの読み出しを制御する。

　ネットワークインターフェース４９は、通信回線を通じてインターネットなどのネットワークに接続され、ネットワークに接続された他の装置との間で動画像データを含むデータの送受信を制御する。ネットワークインターフェース４９は、モデムやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ、構内通信網）アダプタなどを含む。符号化装置がテレビジョン放送を受信する装置である場合には、符号化装置は、アンテナ線に接続される図示しないインターフェースを備えている。

　図４は、実施例２にかかる符号化装置の機能的構成を示すブロック図である。図４に示すように、符号化装置は、予測誤差生成部６１、直交変換部６２、量子化部６３および符号化部としてのエントロピー符号化部６４を備えている。符号化装置に入力された原画のデータは、符号化対象のフィールドごとに例えば１６×１６ピクセルのマクロブロックのデータに分割される。符号化処理は、マクロブロック単位で行われる。従って、実施例２では、実施例１の符号化対象ブロックおよび隣接ブロックはそれぞれ符号化対象マクロブロックおよび隣接マクロブロックとなる。

　予測誤差生成部６１には、現在の符号化対象マクロブロックのデータが入力する。予測誤差生成部６１は、現在の符号化対象マクロブロックのデータと、後述する予測画像選択部７２から与えられる動き補償された参照画像のデータとの例えば差分を求めることによって予測誤差信号を生成する。動き補償された参照画像は、後述するインター予測画像生成部７０において過去の参照画像に対して動き補償することによって生成される。

　直交変換部６２は、予測誤差生成部６１の出力信号に対して直交変換処理を行い、水平方向および垂直方向の周波数成分に分離された信号を生成する。量子化部６３は、直交変換部６２の出力信号に対して量子化処理を行い、符号化することによって予測誤差信号の符号量を低減する。エントロピー符号化部６４は、量子化部６３の出力信号および動きベクトルを、シンボルの出現頻度に応じて可変長の符号を割り当てることによって符号化して、ビットストリームとして出力する。動きベクトルは、後述する動きベクトル計算部７１から与えられる。

　また、符号化装置は、逆量子化部６５、逆直交変換部６６、復号画像生成部６７および復号画像記憶部６８を備えている。逆量子化部６５は、量子化部６３の出力信号に対して逆量子化処理を行う。逆直交変換部６６は、逆量子化部６５の出力信号に対して逆直交変換処理を行う。このように逆量子化部６５および逆直交変換部６６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。つまり、符号化前の予測誤差信号がほぼ再生される。

　復号画像生成部６７は、再生された予測誤差信号と、後述する予測画像選択部７２から与えられる動き補償された参照画像のデータとを例えば加算することによって、現在の符号化対象マクロブロックの予測されるデータを再生する。復号画像記憶部６８は、再生された符号化対象マクロブロックの予測されるデータを記憶する。復号画像記憶部６８に記憶されたマクロブロックのデータは、これ以降の符号化処理を行う際に参照画像として用いられる。

　また、符号化装置は、イントラ予測画像生成部６９、予測画像生成部としてのインター予測画像生成部７０、動きベクトル計算部７１および予測画像選択部７２を備えている。イントラ予測画像生成部６９は、符号化対象マクロブロックと同じフィールド内で符号化対象マクロブロックの周辺に位置する既に符号化された画素を用いて予測画像を生成する。インター予測画像生成部７０は、復号画像記憶部６８から得た参照画像のデータを動きベクトルで動き補償することにより、動き補償された参照画像のデータを生成する。参照画像のデータは、後述する参照インデックスの決め方によって決まる参照インデックスに基づいて復号画像記憶部６８から読み出される。

　動きベクトル計算部７１は、現在の符号化対象マクロブロックのデータと、復号画像記憶部６８から得た参照画像のデータとの空間的なずれを示す動きベクトルを求める。予測画像選択部７２は、イントラ予測画像生成部６９の出力データおよびインター予測画像生成部７０の出力データのいずれか一方を選択する。復号画像記憶部６８は、例えばフレームメモリを備えており、例えば図３に示すハードウェア構成においてＲＡＭ４３により実現される。符号化装置の、復号画像記憶部６８を除く他の構成部は、例えば図３に示すハードウェア構成において、画像処理プロセッサ４２がＨＤＤ４４から画像処理プログラムを読み出して画像処理プロセスを実行することにより実現される。

　図５は、実施例２にかかる画像処理装置を示すブロック図である。図５に示すように、画像処理装置は、実施例１にかかる画像処理装置の構成に加えて、符号化モード格納部８１、動きベクトル格納部８２および参照インデックス格納部８３を備えている。この画像処理装置は、例えば動きベクトル計算部７１、インター予測画像生成部７０またはその両方に含まれる。符号化モード格納部８１、動きベクトル格納部８２および参照インデックス格納部８３は、例えば図３に示すハードウェア構成においてＲＡＭ４３により実現される。

　符号化モード格納部８１は、符号化対象マクロブロックに隣接する既に符号化された隣接マクロブロックの符号化モードを格納する。符号化モードとして、例えばイントラ符号化モードおよびインター符号化モードが挙げられる。隣接マクロブロックの予測画像がイントラ予測によって生成されている場合に、符号化モード格納部８１にイントラ符号化モードが格納される。隣接マクロブロックの予測画像がインター予測によって生成されている場合に、符号化モード格納部８１にインター符号化モードが格納される。

　動きベクトル格納部８２は、インター符号化モードの隣接マクロブロックの動きベクトルを格納する。動きベクトル格納部８２は、隣接マクロブロックの動きベクトルの縦方向成分を格納してもよいし、縦方向成分と横方向成分の両方を格納してもよい。

　参照インデックス格納部８３は、インター符号化モードの隣接マクロブロックの参照画像を示す参照インデックスを格納する。インター符号化モードの隣接マクロブロックが複数存在する場合、例えばＡ、ＢおよびＣの三つの隣接マクロブロックが存在する場合（図６参照）、隣接マクロブロックＡ、ＢおよびＣのそれぞれに参照画像が存在する。その場合、参照インデックス格納部８３は、それら三つの参照画像を示す三つの参照インデックスのうち、対応する隣接マクロブロックに時間的に最も近い参照画像であることを示す参照インデックスを格納してもよい。

　イントラモード判定部３１は、符号化対象マクロブロックの番号に基づいて、この符号化対象マクロブロックの隣接マクロブロックを認識する。イントラモード判定部３１は、符号化モード格納部８１に格納されている符号化モードに基づいて、隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かを判定する。

　動きベクトル判定部３２は、動きベクトル格納部８２に格納されている動きベクトルおよび参照インデックス格納部８３に格納されている参照インデックスに基づいて、処理対象マクロブロックが静止領域および動領域のいずれに属するかを判定する。判定の基準として、例えば全てのインター符号化モードの隣接マクロブロックについて、次の（１）の条件と（２）の条件の両方を満たすか否かが挙げられる。

　（１）参照画像を示す参照インデックスが０である。
　（２）動きベクトルが０もしくは０と見なし得る程度に小さい値である。

　この（１）と（２）の条件を全てのインター符号化モードの隣接マクロブロックが満たす場合に、動きベクトル判定部３２は、処理対象マクロブロックが静止領域に属すると判定する。そうでない場合に、動きベクトル判定部３２は、処理対象マクロブロックが動領域に属すると判定する。その際、動きベクトルについては、縦方向成分、または縦方向成分と横方向成分の両方に基づいて判定してもよい。

　また、画面の境界部分や、分割されたスライスの境界部分では、全ての隣接マクロブロックについて、符号化モードや動きベクトルや参照インデックスなどの情報が存在しないことがある。全ての隣接マクロブロックの情報が存在しない場合、動きベクトル判定部３２は、処理対象マクロブロックが静止領域に属すると判定してもよい。参照インデックス決定部３３については、実施例１において説明したとおりである。

・画像処理方法（参照インデックスの決め方）の説明
　図６は、符号化対象マクロブロック、隣接マクロブロックおよび参照画像の関係を説明する図である。図６に示すように、符号化対象マクロブロック９１に対して、左側に位置する符号化済みの左マクロブロックＡ９２、上側に位置する符号化済みの上マクロブロックＢ９３および右上側に位置する符号化済みの右上マクロブロックＣ９４を隣接マクロブロックとする。なお、隣接マクロブロックは、これらＡ、ＢおよびＣの三つに限らず、符号化済みの周辺マクロブロックであってもよい。符号化対象マクロブロック９１の求めるべき参照画像９５を示す参照インデックスをｒｅｆＩｄｘＬ０とする。

　左マクロブロックＡ９２について、参照画像Ａ９６を示す参照インデックスをｒｅｆＩｄｘＬ０Ａとし、動きベクトルをｍｖＬ０Ａとする。動きベクトルｍｖＬ０Ａの横方向成分および縦方向成分をそれぞれｍｖＬ０Ａ＿ｘおよびｍｖＬ０Ａ＿ｙとする。上マクロブロックＢ９３について、参照画像Ｂ９７を示す参照インデックスをｒｅｆＩｄｘＬ０Ｂとし、動きベクトルをｍｖＬ０Ｂとする。動きベクトルｍｖＬ０Ｂの横方向成分および縦方向成分をそれぞれｍｖＬ０Ｂ＿ｘおよびｍｖＬ０Ｂ＿ｙとする。右上マクロブロックＣ９４について、参照画像Ｃ９８を示す参照インデックスをｒｅｆＩｄｘＬ０Ｃとし、動きベクトルをｍｖＬ０Ｃとする。動きベクトルｍｖＬ０Ｃの横方向成分および縦方向成分をそれぞれｍｖＬ０Ｃ＿ｘおよびｍｖＬ０Ｃ＿ｙとする。以下、これらの参照インデックスおよび動きベクトルの表記を用いて、図６を例にして実施例２にかかる画像処理方法（参照インデックスの決め方）について説明する。また、インデクッス番号の付し方は、図９に示す付し方に従うとする。

　図７は、実施例２にかかる画像処理方法を示すフローチャートである。図７に示すように、一つの処理対象ブロックに対する画像処理が開始されると、まず、動きベクトル判定部３２により、左マクロブロックＡ９２、上マクロブロックＢ９３および右上マクロブロックＣ９４のうちの少なくとも一つに隣接マクロブロックとしての情報が存在するか否かが判定される。つまり、少なくとも一つの隣接マクロブロックが利用可能であるか否かが判定される（ステップＳ１１）。

　隣接マクロブロックとして利用可能なマクロブロックがない場合（ステップＳ１１：Ｎｏ）、動きベクトル判定部３２により、符号化対象マクロブロック９１が静止領域に属すると判定される。その判定結果に基づいて、参照インデックス決定部３３によりｒｅｆＩｄｘＬ０は０に決定される（ステップＳ１５）。これによって、符号化対象マクロブロック９１の求めるべき参照画像９５として、符号化対象マクロブロック９１に対して直近の同パリティの画像が選択されたことになる。そして、一つの符号化対象マクロブロック９１に対する一連の処理が終了する。利用可能な隣接マクロブロックがない場合の例として、例えば符号化対象マクロブロック９１が画面の境界部分や、分割されたスライスの境界部分に位置する場合が挙げられる。

　一方、いずれか一つでも隣接マクロブロックとして利用可能である場合（ステップＳ１１：Ｙｅｓ）、イントラモード判定部３１により、その利用可能な隣接マクロブロックがイントラ符号化モードであるか否かが判定される。利用可能な隣接マクロブロックが複数存在する場合には、全ての利用可能な隣接マクロブロックがイントラ符号化モードであるか否かが判定される（ステップＳ１２）。

　全ての利用可能な隣接マクロブロックがイントラ符号化モードであると判定された場合（ステップＳ１２：Ｙｅｓ）、参照インデックス決定部３３によりｒｅｆＩｄｘＬ０は１に決定される（ステップＳ１３）。これによって、符号化対象マクロブロック９１の求めるべき参照画像９５として、符号化対象マクロブロック９１に対して直近の異パリティの画像が選択されたことになる。そして、一つの符号化対象マクロブロック９１に対する一連の処理が終了する。全ての利用可能な隣接マクロブロックがイントラ符号化モードである場合の例として、物体の移動によってオクルージョンが発生する場合が挙げられる。このような場合は、符号化対象マクロブロック９１が動領域に属すると見なすことができるので、直近の異パリティの画像が選択されることによって予測効率が上がる。

　利用可能な隣接マクロブロックのうちの少なくとも一つがイントラ符号化モードでない、すなわちインター符号化モードであると判定された場合（ステップＳ１２：Ｎｏ）、動きベクトル判定部３２により、符号化対象マクロブロック９１が静止領域および動領域のいずれに属するかが判定される（ステップＳ１４）。具体的には、例えば左マクロブロックＡ９２、上マクロブロックＢ９３および右上マクロブロックＣ９４の三つが利用可能なインター符号化モードの隣接マクロブロックであるとする。この場合、次の（３）、（４）および（５）の条件を満たす場合、静止領域と判定される（ステップＳ１４）。あるいは、（３）、（４）および（５）の三つとも満たさなくても、いずれか一つ、または二つ以上の組み合わせを満たす場合に、静止領域と判定してもよい。なお、図７のステップＳ１４の表記において、＊はＡ、ＢまたはＣを表している。また、図７のステップＳ１４の表記においては、動きベクトルの横方向成分（ｘ成分）については省略している。

　（３）ｒｅｆＩｄｘＬ０Ａ＝０　かつ　ｍｖＬ０Ａ＿ｘ＝ｍｖＬ０Ａ＿ｙ＝０
　（４）ｒｅｆＩｄｘＬ０Ｂ＝０　かつ　ｍｖＬ０Ｂ＿ｘ＝ｍｖＬ０Ｂ＿ｙ＝０
　（５）ｒｅｆＩｄｘＬ０Ｃ＝０　かつ　ｍｖＬ０Ｃ＿ｘ＝ｍｖＬ０Ｃ＿ｙ＝０

　また、動きベクトルの横方向成分および縦方向成分が０であるか否かを判定する代わりに、横方向成分の絶対値および縦方向成分の絶対値を用いて次のように判定してもよい。動きベクトルの横方向成分および縦方向成分についてそれぞれ閾値ＴＨｘおよびＴＨｙを予め設定し、次の（６）および（７）の条件を満たすときに、動きベクトルが実質的に０であると見なしてもよい。あるいは、動きベクトルの横方向成分の絶対値と縦方向成分の絶対値との和について閾値ＴＨを予め設定し、次の（８）の条件を満たすときに、動きベクトルが実質的に０であると見なしてもよい。次の（６）、（７）および（８）の条件の表記において、＊はＡ、ＢまたはＣを表している。

　（６）｜ｍｖＬ０＊＿ｘ｜＜ＴＨｘ
　（７）｜ｍｖＬ０＊＿ｙ｜＜ＴＨｙ
　（８）｜ｍｖＬ０＊＿ｘ｜＋｜ｍｖＬ０＊＿ｙ｜＜ＴＨ

　なお、インターレース方式の場合、トップフィールドとボトムフィールドとは空間的に上下の異なる側にある。従って、上述した（３）から（８）までの条件において、動きベクトルの横方向成分（ｘ成分）を判定の基準から省略してもよい。

　符号化対象マクロブロック９１が静止領域に属すると判定された場合（ステップＳ１４：Ｙｅｓ）、参照インデックス決定部３３によりｒｅｆＩｄｘＬ０は０に決定される（ステップＳ１５）。これによって、符号化対象マクロブロック９１の求めるべき参照画像９５として、符号化対象マクロブロック９１に対して直近の同パリティの画像が選択されたことになる。そして、一つの符号化対象マクロブロック９１に対する一連の処理が終了する。符号化対象マクロブロック９１が静止領域に属する場合、直近の同パリティの画像との間で絵柄の変化が殆どない。従って、直近の同パリティの画像が選択されることによって予測効率が上がる。

　上述した静止領域の判定条件を満たさない場合、符号化対象マクロブロック９１は動領域に属すると判定される（ステップＳ１４：Ｎｏ）。この場合、ステップＳ１１で利用可能であると判定され、かつステップＳ１２でインター符号化モードであると判定された隣接マクロブロックを対象とし、参照インデックス決定部３３によりｒｅｆＩｄｘＬ０は次のように決定される。

　例えば左マクロブロックＡ９２、上マクロブロックＢ９３および右上マクロブロックＣ９４の三つが利用可能なインター符号化モードの隣接マクロブロックであるとする。図９に示す付し方に従ってインデクッス番号が付されるとしたので、ｒｅｆＩｄｘＬ０の優先順位は１、０、３、２の順となる。従って、次の（９）から（１２）に従ってｒｅｆＩｄｘＬ０が決定される（ステップＳ１６）。

　（９）ｒｅｆＩｄｘＬ０Ａ、ｒｅｆＩｄｘＬ０ＢおよびｒｅｆＩｄｘＬ０Ｃのいずれかが１である場合、ｒｅｆＩｄｘＬ０＝１
　（１０）上記（９）でない場合で、かつｒｅｆＩｄｘＬ０Ａ、ｒｅｆＩｄｘＬ０ＢおよびｒｅｆＩｄｘＬ０Ｃのいずれかが０である場合、ｒｅｆＩｄｘＬ０＝０
　（１１）上記（１０）でない場合で、かつｒｅｆＩｄｘＬ０Ａ、ｒｅｆＩｄｘＬ０ＢおよびｒｅｆＩｄｘＬ０Ｃのいずれかが３である場合、ｒｅｆＩｄｘＬ０＝３
　（１２）上記（１１）でない場合で、かつｒｅｆＩｄｘＬ０Ａ、ｒｅｆＩｄｘＬ０ＢおよびｒｅｆＩｄｘＬ０Ｃのいずれかが２である場合、ｒｅｆＩｄｘＬ０＝２

　そして、一つの符号化対象マクロブロック９１に対する一連の処理が終了する。以上の処理が全ての符号化対象マクロブロック９１に対して行われる。インター符号化モードの隣接マクロブロックがあり、かつ符号化対象マクロブロック９１が動領域に属する場合、符号化対象マクロブロック９１と参照画像との時間的な隔たりが大きくなるほど予測が当たり難くなる。従って、パリティが同じであるか異なっているかに拘わらず、直近の画像が選択されることによって予測効率が上がる。

　実施例２によれば、符号化装置において、符号化対象マクロブロック９１の既に符号化された隣接マクロブロックの符号化モード、動きベクトルおよび参照インデックスに基づいて、符号化対象マクロブロック９１の参照インデックスが決まる。復号装置においても、符号化装置から出力された画像データのビットストリームを復号する際に、符号化装置と同じようにして復号対象のマクロブロックの参照インデックスが決まるようにすれば、符号化装置から復号装置へ参照インデックスを通知しなくてもよい。従って、実施例１と同様に、符号化装置において、より多くのマクロブロックで参照インデックスを省略して符号化することができるので、符号化の効率を良くすることができる。

（実施例３）
　実施例３は、実施例１の画像処理装置および画像処理方法を動画像の復号装置および復号方法に適用したものである。実施例３を適用可能な動画像復号方式の一例として、例えばＩＴＵ－Ｔ　Ｈ．２６４／ＩＳＯ／ＩＥＣ　ＭＰＥＧ－４ＡＶＣやＩＳＯ／ＩＥＣ　ＭＰＥＧ－２／ＭＰＥＧ－４が挙げられる。実施例３にかかる復号装置のハードウェア構成については、図３に示す構成と同様であるので、説明を省略する。

　図８は、実施例３にかかる画像処理装置を適用した復号装置の機能的構成を示すブロック図である。図８に示すように、復号装置は、復号部としてのエントロピー復号部１０１、逆量子化部１０２、逆直交変換部１０３、動き補償画像生成部１０４、予測値生成部１０５、復号画像生成部１０６および復号画像記憶部１０７を備えている。実施例２と同様に、復号処理は、復号対象のフィールドごとに例えば１６×１６ピクセルのマクロブロック単位で行われる。復号装置は、例えば実施例２にかかる符号化装置により符号化された符号化情報を復号して画像を再生する。

　エントロピー復号部１０１は、入力ストリームの符号化情報を復号して差分情報および動きベクトルを生成する。逆量子化部１０２は、エントロピー復号部１０１で生成された差分情報に対して逆量子化処理を行う。逆直交変換部１０３は、逆量子化部１０２の出力信号に対して逆直交変換処理を行う。エントロピー復号部１０１、逆量子化部１０２および逆直交変換部１０３により、例えば実施例２にかかる符号化装置のエントロピー符号化部６４、量子化部６３および直交変換部６２（図４参照）のそれぞれに対応する逆の処理を行うことで、入力ストリームから予測誤差信号が再生される。

　動き補償画像生成部１０４は、例えば図５に示す構成の画像処理装置を備えている。例えば図５に示す構成の画像処理装置は、実施例２において説明したように、復号対象マクロブロックに隣接する隣接マクロブロックの符号化モード、動きベクトルおよび参照インデックスに基づいて復号対象マクロブロックを復号する際の参照インデックスを決定する。動き補償画像生成部１０４は、復号画像記憶部１０７から、決定された参照インデックスに対応する参照画像を読み出し、この参照画像と入力ストリームから通知された動きベクトルに基づいて動き補償画像信号を生成する。予測値生成部１０５は、動き補償画像生成部１０４で生成された動き補償画像信号に基づいて、復号画像の予測値を表す予測信号を生成する。動き補償画像生成部１０４および予測値生成部１０５は、例えば実施例２にかかる符号化装置の動きベクトル計算部７１およびインター予測画像生成部７０（図４参照）と同様にして予測信号を生成する。

　復号画像生成部１０６は、予測値生成部１０５で生成された予測信号と、再生された予測誤差信号とを例えば加算することによって、復号画像を生成する。復号画像記憶部１０７は、再生された復号画像のデータを記憶する。復号画像記憶部１０７に記憶された復号画像のデータは、これ以降の復号処理を行う際に参照画像として用いられる。復号画像記憶部１０７は、例えばフレームメモリを備えており、例えば図３に示すハードウェア構成においてＲＡＭ４３により実現される。復号装置の、復号画像記憶部１０７を除く他の構成部は、例えば図３に示すハードウェア構成において、画像処理プロセッサ４２がＨＤＤ４４から画像処理プログラムを読み出して画像処理プロセスを実行することにより実現される。実施例３にかかる画像処理方法における参照インデックスの決め方については、実施例２と同様であるので、説明を省略する。

　実施例３によれば、復号装置において、復号対象マクロブロックの隣接マクロブロックの符号化モード、動きベクトルおよび参照インデックスに基づいて、復号対象マクロブロックの参照インデックスが決まる。符号化装置においても、符号化対象マクロブロックの参照インデックスが同様にして決まるようにすれば、符号化装置から復号装置へ参照インデックスを通知しなくてもよい。従って、この復号装置と、この復号装置と同様にして符号化対象マクロブロックの参照インデックスを決定する符号化装置を用いることによって、実施例１と同様に、符号化の効率を良くすることができる。

　３１　イントラモード判定部
　３２　動きベクトル判定部
　３３　参照インデックス決定部
　６１　予測誤差生成部
　６２　直交変換部
　６３　量子化部
　６４　符号化部
　６５，１０２　逆量子化部
　６６，１０３　逆直交変換部
　６７，１０６　復号画像生成部
　７０　予測画像生成部
　１０１　復号部
　１０４　動き補償画像生成部
　１０５　予測値生成部

Claims

　一フレームを異なるタイミングで表示される複数のフィールドに分け、各フィールドの画像をそれぞれ複数のブロックに分割し、ブロックごとに過去の複数の参照画像の候補から選択した参照画像および該参照画像に対する動きベクトルに基づいて動き補償予測を行う画像処理装置において、
　処理対象ブロックに隣接する複数の隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かを判定するイントラモード判定部と、
　前記イントラモード判定部により前記隣接ブロックのうちの少なくとも一つがイントラ符号化モードでないと判定された場合に、該イントラ符号化モードでないと判定された隣接ブロックの動きベクトルおよび該イントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスに基づいて前記処理対象ブロックが静止領域および動領域のいずれに属するかを判定する動きベクトル判定部と、
　前記イントラモード判定部により全ての前記隣接ブロックがイントラ符号化モードであると判定された場合に、前記処理対象ブロックが属するフィールドと異なるフィールドの時間的に最も近い画像に付されたインデックス番号を選択し、前記動きベクトル判定部により静止領域に属すると判定された場合に、前記処理対象ブロックが属するフィールドと同じフィールドの時間的に最も近い画像に付されたインデックス番号を選択し、前記動きベクトル判定部により動領域に属すると判定された場合に、前記イントラモード判定部によりイントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスの中で時間的に最も近い参照画像のインデックス番号を選択し、該選択したインデックス番号を前記処理対象ブロックの参照画像を示す参照インデックスに決定する参照インデックス決定部と、
　を備えることを特徴とする画像処理装置。
　画面内で前記複数のフィールドの縦方向の位置が異なっており、前記動きベクトル判定部は、前記イントラモード判定部によりイントラ符号化モードでないと判定された隣接ブロックの動きベクトルの縦方向成分に基づいて判定を行うことを特徴とする請求項１に記載の画像処理装置。
　前記隣接ブロックの情報が存在しない場合、前記動きベクトル判定部は、前記処理対象ブロックが静止領域に属すると判定することを特徴とする請求項１に記載の画像処理装置。
　前記参照インデックス決定部により決定された参照インデックス、該参照インデックスに対応する参照画像および該参照画像に対する前記処理対象ブロックの動きベクトルに基づいて、前記処理対象ブロックの予測画像を生成する予測画像生成部と、
　前記処理対象ブロックの原画に対する前記処理対象ブロックの予測画像の誤差を生成する予測誤差生成部と、
　前記予測誤差生成部により生成された誤差を直交変換する直交変換部と、
　前記直交変換部の出力信号を量子化する量子化部と、
　前記量子化部の出力信号および前記参照画像に対する前記処理対象ブロックの動きベクトルを符号化する符号化部と、
　を備えることを特徴とする請求項１に記載の画像処理装置。
　前記量子化部の出力信号を逆量子化する逆量子化部と、
　前記量子化部の出力信号を逆直交変換して前記予測画像の誤差を再生する逆直交変換部と、
　前記逆直交変換部により再生された前記予測画像の誤差および前記予測画像生成部により生成された予測画像に基づいて前記処理対象ブロックの復号画像を生成する復号画像生成部と、
　を備えることを特徴とする請求項４に記載の画像処理装置。
　前記処理対象ブロックの予測画像の誤差および該処理対象ブロックの動きベクトルの各情報が符号化された符号化情報を復号する復号部と、
　前記復号部の出力信号を逆量子化する逆量子化部と、
　前記逆量子化部の出力信号を逆直交変換して前記処理対象ブロックの予測画像の誤差を再生する逆直交変換部と、
　前記参照インデックス決定部により決定された参照インデックス、該参照インデックスに対応する参照画像および該参照画像に対する前記処理対象ブロックの動きベクトルに基づいて、前記処理対象ブロックの動き補償画像を生成する動き補償画像生成部と、
　前記動き補償画像生成部により生成された前記処理対象ブロックの動き補償画像に基づいて前記処理対象ブロックの復号画像の予測値を生成する予測値生成部と、
　前記逆直交変換部により再生された前記予測画像の誤差および前記予測値生成部により生成された前記復号画像の予測値に基づいて前記処理対象ブロックの復号画像を生成する復号画像生成部と、
　を備えることを特徴とする請求項１に記載の画像処理装置。
　一フレームを異なるタイミングで表示される複数のフィールドに分け、各フィールドの画像をそれぞれ複数のブロックに分割し、ブロックごとに過去の複数の参照画像の候補から選択した参照画像および該参照画像に対する動きベクトルに基づいて動き補償予測を行う画像処理方法において、
　処理対象ブロックに隣接する複数の隣接ブロックの符号化モードが全てイントラ符号化モードであるか否かを判定するステップと、
　全ての前記隣接ブロックがイントラ符号化モードであると判定された場合に、前記処理対象ブロックの参照画像を示す参照インデックスとして、前記処理対象ブロックが属するフィールドと異なるフィールドの時間的に最も近い画像に付されたインデックス番号を選択するステップと、
　前記隣接ブロックのうちの少なくとも一つがイントラ符号化モードでないと判定された場合に、該イントラ符号化モードでないと判定された隣接ブロックの動きベクトルおよび該イントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスに基づいて前記処理対象ブロックが静止領域および動領域のいずれに属するかを判定するステップと、
　前記処理対象ブロックが静止領域に属すると判定された場合に、前記処理対象ブロックの参照画像を示す参照インデックスとして、前記処理対象ブロックが属するフィールドと同じフィールドの時間的に最も近い画像に付されたインデックス番号を選択するステップと、
　前記処理対象ブロックが動領域に属すると判定された場合に、前記処理対象ブロックの参照画像を示す参照インデックスとして、前記イントラ符号化モードでないと判定された隣接ブロックの参照画像を示す参照インデックスの中で時間的に最も近い参照画像のインデックス番号を選択するステップと、
　を含むことを特徴とする画像処理方法。
　画面内で前記複数のフィールドの縦方向の位置が異なっており、前記処理対象ブロックが静止領域および動領域のいずれに属するかを判定するステップでは、前記イントラ符号化モードでないと判定された隣接ブロックの動きベクトルの縦方向成分に基づいて判定を行うことを特徴とする請求項７に記載の画像処理方法。
　前記隣接ブロックの情報が存在しない場合、前記処理対象ブロックが静止領域に属すると判定するステップを、さらに含むことを特徴とする請求項７に記載の画像処理方法。