JPWO2010016534A1 - 動画像符号化装置および動画像復号装置 - Google Patents

Abstract

符号量を抑えつつ、動画像の局所的な性質に適した方法で動き補償画像を補正する。本発明に係る動画像符号化装置は、補正方法の異なる３つの動き補償画像補正部（１１，１２，１３）を備えており、何れの補正部により補正された動き補償画像（１０９）を予測画像（１０６）として利用するかを切替可能に構成されている。

Description

本発明は、動画像を符号化して符号化データを生成する動画像符号化装置と、当該符号化データから動画像を再生する動画像復号装置に関する。

従来のフレーム間予測を行う動画符号化装置は、時間的冗長性を除去して動画像の圧縮率を高めるため、動き補償予測を用いているものが多い。

動き補償予測では、まず、処理対象フレームと参照フレームとの間で物体が移動した距離と方向を表す動きベクトルを算出する。処理対象フレームとは、ある時点で符号化処理または復号処理の対象となっているフレームであり、参照フレームとは、その時点で符号化処理または復号処理を終えたフレームである。参照フレームの局所復号画像（以下「参照画像」とも呼称する）は、フレームメモリに記録される。

つづいて、動き補償画像を生成し、処理対象フレームの入力画像と動き補償画像との差分を符号化する。動き補償画像とは、参照画像の各画素の画素値によって構成された画像のことである。動き補償画像上の各ブロック内の画素には、そのブロックから動きベクトルの示す変位分離れた位置にある、参照画像上のブロック内の画素の画素値が割り当てられている。

入力画像と動き補償画像の各画素値の差分である予測残差の分散や絶対値は、入力画像の画素値の分散や絶対値に較べて小さい。そのため、入力画像を直接符号化する場合に較べ、予測残差を符号化することによって、発生符号量を低減できる。これにより、フレーム間予測において、圧縮率を高めることが可能である。

従来、予測残差の絶対値や分散を低減して動き補償予測の性能を改善する方法がいくつか考案されている。たとえば、非特許文献１の方法では、フレーム間の画素値変化を推定し、推定結果に基づいて動き補償画像を補正する。

ここで、図１４と図１５を参照して、非特許文献１の方法において、動き補償画像を補正する手順を説明する。

まず、図１４について説明する。図１４は、処理対象フレームの局所復号画像（以下、「処理対象画像１４０」とも呼称する）を示した図である。図１４に示したように、処理対象フレームは、所定のサイズ（Ｌ×Ｍ画素）のブロックに分割されており、符号化処理および復号処理はブロック毎に行われる。図１４における矢印は、ブロック処理順を示す。すなわち、左上のブロックを起点とするラスタスキャン順に処理される。

斜線で示す領域１４１は、ある時点で既に符号化または復号処理を終えた処理済領域である。一方、ブロック１４２は、その時点で符号化または復号対象となっている処理対象ブロックである。

次に、図１５について説明する。図１５の（ａ）は、参照画像を示した図であり、特に、動きベクトル１５１によって符号化対象ブロック１４２と関連付けられている参照フレーム上の参照ブロック１５２、及び、その参照ブロック１５２に隣接する参照ブロック隣接領域１５３を示している。図１５の（ｂ）は、処理対象フレームの局所復号画像を示した図であり、特に、符号化対象ブロック１４２、及び、その符号化対象ブロック１４２に隣接する符号化対象ブロック隣接領域１５４を示している。

非特許文献１の方法において、動き補償画像を補正する手順は次の通りである。

１．符号化対象ブロック隣接領域１５４における各画素と参照ブロック隣接領域１５３の上の対応する画素との画素値差分を計算する。

２．上記の画素値差分に基づいて、符号化対象ブロック１４２の各画素における補正値を計算する。各画素における補正値は、その画素の真上に位置する符号化対象ブロック隣接領域１５４内の画素の画素値差分と、その位置の真左に位置する符号化対象ブロック隣接領域１５４内の画素の画素値差分との加重平均とする。

３．符号化対象ブロック１４２の各画素に対応する動き補償画像に上記の補正値を加える。

上記の手順によると、符号化対象ブロック隣接領域１５４と参照ブロック隣接領域１５３とにおける画素値の差分値に基づいて、処理対象画像１４０と参照画像との間（すなわち、フレーム間）の画素値変化を推定し、動き補償画像を補正する。補正によって、フレーム間の画素値変化を補償できるため、補正された動き補償画像と符号化対象ブロックとの差分である予測残差の分散および絶対値は、補正を行わない動き補償画像を用いる場合に較べて小さい。したがって、予測残差を符号化することにより、発生符号量を低減できる。すなわち、圧縮効率を高めることが可能となる。

特許文献１にも、動き補償画像を補正する別の方法が開示されている。特許文献１の方法は、大局的な輝度変化が生じている動画像の符号化時に、大局的な輝度変化量を補償する方法である。具体的には、特許文献１の方法では、大局的な輝度変化を補償する際に、処理対象画像１４０プレーンと参照画像プレーン間における大局的な輝度変化量であるゲインの変化分を表すパラメータの他に、コントラストの変化を表すパラメータも用いる方法である。これにより、大局的な輝度変化を生じている動画像の符号化時に、従来よりも更に効率の良い符号化を行うことが可能となる。

日本国公開特許公報「特開平１０−１３６３８５（１９９８年５月２２日公開）」

"ＶＣＥＧ−ＡＨ１９：Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ ｕｓｉｎｇ Ｎｅｉｇｈｂｏｒｉｎｇ Ｐｉｘｅｌｓ、" ＩＴＵ−Ｔ ＳＧ１６ Ｑ６ Ａｎｔａｌｙａ会合、２００８．１

しかしながら、非特許文献１に記載の方法には、符号量が最小化されていないという問題があった。すなわち、符号化対象ブロックにおける動き補償画像の各画素の画素値を、常に、その画素の真上に位置する符号化対象ブロック隣接領域内の画素の画素値差分と、その画素の真左に位置する符号化対象ブロック隣接領域内の画素の画素値差分とを参照することによって補正しているため、符号化対象ブロックでの画素値変化と該符号化対象ブロックに隣接する符号化対象ブロック隣接領域での画素値変化との間の相関が活用されておらず、この点で符号量に減少の余地が残されていた。この問題について、もう少し具体的に説明すれば以下のとおりである。

まず、画素値変化の横方向の相関が、画素値変化の縦方向の相関に較べて高い場合を検討する。この場合、補正対象画素の真左に位置する符号化対象ブロック隣接領域１５４上の画素を利用して動き補償画像を補正する方が、真上に位置する符号化対象ブロック隣接領域１５４上の画素を利用するより適している。ここでいう、横方向の相関とは、左右に隣接する二画素における、左の画素のフレーム間の画素値変化と右の画素のフレーム間の画素値変化との相関のことである。

一方、フレーム間の画素値変化の縦方向の相関の方が高い場合には、真上に位置する符号化対象ブロック隣接領域１５４の画素の画素値変化を動き補償画像の補正に利用する方が適している。縦方向の相関とは、上下に隣接する二画素における、上の画素のフレーム間の画素値変化と下の画素のフレーム間の画素値変化の相関のことである。

このように、動画像の局所的な性質に応じて、複数の補正方法の中から有効な補正方法を選択して動き補償画像を補正することにより、唯一の補正方法を常に適用する場合に較べ、予測残差の分散および絶対値を低減することができる。そのため、動画像の符号化データの符号量を減少できる。すなわち、選択可能な補正方法の候補が多いほど、より適切な方法で補正される可能性が高くなり、符号量はより減少する。一方、非特許文献１に記載の方法においては、一定の方法により動き補償画像を補正しているため、この点で符号量に減少の余地が残されている。

また、特許文献１に記載の方法は、大局的な輝度変化を生じている動画像のみを対象とした方法であるため、動画像の局所的な性質に適した方法で動き補償画像を補正することができないという問題があった。

なお、動画像の局所的な性質に応じて、複数の補正方法の中から有効な補正方法を選択可能にするためのアプローチとして、いずれの補正方法を使用するかを示す付加情報を符号化する方法が考えられる。しかしながら、その場合、付加情報の符号量分だけ動画像の符号化に要する符号量が増加してしまうという新たな問題が生じる。

本発明は上記の課題を解決するためになされたものであり、その目的は、符号量の増加を最低限に抑えつつ、動画像の局所的な性質に適した方法で動き補償画像を補正する動画像符号化装置を提供することにある。さらに、当該動画像符号化装置で符号化されたデータを復号することのできる動画像復号装置を提供することにある。

上記課題を解決するために、本発明に係る動画像符号化装置は、入力画像と予測画像との差分をブロック毎に符号化する動画像符号化装置であって、符号化対象ブロックにおける上記入力画像のフレーム間の画素値変化と、該符号化対象ブロックに隣接する隣接領域における局所復号画像のフレーム間の画素値変化との関連性を示す指標を算出する算出手段と、上記隣接領域に含まれる相異なる領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する複数の補正手段と、上記複数の補正手段のうち何れの補正手段によって補正された動き補償画像を上記予測画像として利用するかを上記指標に基づいて選択する選択手段と、を備えている、ことを特徴とする。

上記構成によれば、符号化対象ブロックにおける入力画像のフレーム間の画素値変化と、該符号化対象ブロックに隣接する隣接領域における局所復号画像のフレーム間の画素値変化との関連性を示す指標に基づき、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択して動き補償画像を補正する。これにより、常に単一の補正方法を用いて動き補償画像を補正する従来の構成と比べて、動画像の局所的な性質に適した方法で動き補正画像を補正することができる。すなわち、従来の構成より精度の高い予測画像を生成することができる。したがって、予測残差の符号化に要する符号量を低減させることができる。

なお、上記算出手段は、上記符号化対象ブロックを符号化している時点で利用可能である情報であれば、どんな情報を参照して上記指標を算出するものであってもよい。例えば、上記算出手段が上記指標を算出するために参照可能な情報としては、例えば、上記符号化対象ブロックよりも前に復号されている、局所復号画像、動き情報（動きベクトル、参照画像、動き補償制度、パーティション情報）、符号化モード（画面内予測モード、画面間予測モード、スキップモード、ダイレクト予測モード）などが挙げられる。

本発明に係る動画像符号化装置において、上記複数の補正手段は、上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第１の補正手段と、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第２の補正手段と、上記符号化対象ブロックの上辺に隣接する領域、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第３の補正手段とのうち、２以上の補正手段を含んでいる、ことが好ましい。

符号化処理を左上から右下へとラスタスキャン順に進めていく場合、符号化対象ブロックの符号化処理を行う時点で、該符号化対象ブロックの上辺に隣接する領域、及び、該符号化対象ブロックの左辺に隣接する領域の符号化が完了している。動画像符号化装置においては、あるブロックの符号化が完了すると、そのブロックの局所復号画像が生成されるので、第１の補正手段、第２の補正手段、及び、第３の補正手段は、局所復号画像のフレーム間変化（処理対象フレームと参照フレームとの間の変化）を参照して動き補償画像を補正することができる。また、第１の補正手段、第２の補正手段、及び、第３の補正手段は、動き補償画像を補正するために参照する領域が異なるので、これら３つの補正手段のうち２以上の補正手段を適宜用いることによって、動画像の局所的な性質に適した方法で動き補正画像を補正することができる。

本発明に係る動画像符号化装置において、上記算出手段は、上記動き補償画像の画素値を参照して上記指標を算出する、ことが好ましい。

動き補償画像は、動画像符号化装置において上記符号化対象ブロックを符号化している時点で利用可能な情報である。また、動画像復号装置においても上記符号化対象ブロックを復号している時点で利用可能な情報である。したがって、上記の構成によれば、動画像符号化装置が生成する符号化データに、どの補正手段を選択したのかを示す新たな情報を付加することなく、動画像復号装置においても動画像符号化装置と同じ補正手段を選択することができる。

なお、上記指標としては、例えば、上記動き補償画像におけるエッジ強度、又は、エッジ方向を示す数値などを用いることができる。

本発明に係る動画像符号化装置において、上記算出手段は、上記隣接領域における上記局所復号画像の画素値を参照して上記指標を算出する、ことが好ましい。

上記隣接領域における上記局所復号画像の画素値は、動画像符号化装置において上記符号化対象ブロックを符号化している時点で利用可能な情報である。また、動画像復号装置においても上記符号化対象ブロックを復号している時点で利用可能な情報である。したがって、上記の構成によれば、動画像符号化装置が生成する符号化データに、どの補正手段を選択したのかを示す新たな情報を付加することなく、動画像復号装置においても動画像符号化装置と同じ補正手段を選択することができる。

なお、上記指標としては、例えば、上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像の画素値の連続性、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像の画素値の連続性を示す数値などを用いることができる。

本発明に係る動画像符号化装置において、上記算出手段は、上記隣接領域における上記局所復号画像の画素値変化を参照して上記指標を算出する、ことが好ましい。

上記隣接領域における上記局所復号画像の画素値変化は、動画像符号化装置において上記符号化対象ブロックを符号化している時点で利用可能な情報である。また、動画像復号装置においても上記符号化対象ブロックを復号している時点で利用可能な情報である。したがって、上記の構成によれば、動画像符号化装置が生成する符号化データに、どの補正手段を選択したのかを示す新たな情報を付加することなく、動画像復号装置においても動画像符号化装置と同じ補正手段を選択することができる。

なお、上記指標としては、例えば、上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像の画素値変化の大きさ、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像の画素値変化の大きさを示す数値などを用いることができる。

本発明に係る動画像符号化装置において、上記算出手段は、上記符号化対象ブロックの動きベクトルと、該符号化対象ブロックに隣接する符号化済ブロックの動きベクトルとを参照して上記指標を算出する、ことが好ましい。

上記符号化対象ブロックの動きベクトルと、該符号化対象ブロックに隣接する符号化済ブロックの動きベクトルとは、動画像符号化装置において上記符号化対象ブロックを符号化している時点で利用可能な情報である。また、動画像復号装置においても上記符号化対象ブロックを復号している時点で利用可能な情報である。したがって、上記の構成によれば、動画像符号化装置が生成する符号化データに、どの補正手段を選択したのかを示す新たな情報を付加することなく、動画像復号装置においても動画像符号化装置と同じ補正手段を選択することができる。

なお、上記指標としては、例えば、上記符号化対象ブロックの動きベクトルと該符号化対象ブロックの上辺に隣接する符号化済ブロックの動きベクトルとの類似性、及び、上記符号化対象ブロックの動きベクトルと該符号化対象ブロックの左辺に隣接する符号化済ブロックの動きベクトルとの類似性を示す数値などを用いることができる。

上記課題を解決するために、本発明に係る動画像復号装置は、入力画像と予測画像との差分をブロック毎に符号化することによって得られた符号化データを復号する動画像復号装置であって、復号対象ブロックにおける上記入力画像のフレーム間の画素値変化と、該復号対象ブロックに隣接する隣接領域における局所復号画像のフレーム間の画素値変化との関連性を示す指標を算出する算出手段と、上記隣接領域に含まれる相異なる領域における上記局所復号画像のフレーム間の画素値変化に基づいて動き補償画像を補正する複数の補正手段と、上記入力画像を再現するために、上記複数の補正手段のうち何れの補正手段によって補正された動き補償画像を上記予測画像として利用するかを上記指標に基づいて選択する選択手段と、を備えている、ことを特徴としている。

上記の構成によれば、上記動画像符号化装置が符号化した符号化データを、復号可能な動画像復号装置を実現することができる。

以上のように、本発明に係る動画像符号化装置は、符号化対象ブロックにおける画素値変化と、該符号化対象ブロックに隣接する隣接領域における画素値変化との関連性に基づいて、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択して動き補償画像を補正する。

これにより、常に単一の補正方法を用いて補正する場合に比べて、動画像の局所的な性質に適した方法で補正することができる。すなわち、補正の精度を高める効果を奏する。したがって、予測残差の符号化に要する符号量を低減させることができる。

本発明の実施形態に係る予測画像生成部の要部構成と、各部間のデータの流れを示した図である。 本発明の実施形態に係る動画像符号化装置の要部構成と、各部間のデータの流れとを示したブロック図である。 本発明の実施形態に係る予測画像処理部の要部構成と、各部間のデータの流れを示したブロック図である。 本発明の実施形態に係る予測画像処理部の処理の流れを示したフローチャートである。 符号化対象ブロックにおいて、エッジがある例を示した図である。 本発明の実施形態に係る予測画像生成部の処理の流れを示したフローチャートである。 本発明の実施形態に係る動画像復号装置の要部構成と、各部間のデータの流れを示した図である。 本発明の実施形態に係る予測画像生成部の要部構成と、各部間のデータの流れを示したブロック図である。 本発明の実施形態に係る予測画像生成部の処理の流れを示したフローチャートである。 本発明の実施形態に係る予測画像生成部の要部構成と、各部間のデータの流れを示したブロック図である。 本発明の実施形態に係る予測画像生成部の処理の流れを示したフローチャートである。 本発明の実施形態に係る予測画像生成部の要部構成と、各部間のデータの流れを示したブロック図である。 本発明の実施形態に係る予測画像生成部の処理の流れを示したフローチャートである。 ある時点での処理対象画像を示す図である。 ある時点での参照画像と、その時点での処理対象画像とを示した図である。

〔実施形態１〕
本発明の動画像符号化装置と動画像復号装置の第一の実施形態について、図１〜図７を参照して以下に説明する。

（動画像符号化装置の構成）
まず、本実施形態に係る動画像符号化装置２００の要部構成について、図２を参照して説明する。

図２は動画像符号化装置２００の要部構成と、各部間のデータの流れとを示したブロック図である。図２に示すように、動画像符号化装置２００（動画像符号化装置）は、画像入力部２０、動き検出部２１、予測画像処理部２２、予測残差算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、局所復号画像生成部２８、フレームメモリ２９、可変長符号化部２０１、および符号化データ出力部２０２を備えている。各部の詳細な処理については後述する。

（予測画像処理部２２の構成）
次に、予測画像処理部２２の構成について、図３を参照して説明する。図３は、予測画像処理部２２の要部構成と、各部間のデータの流れを示したブロック図である。図３に示すように、予測画像処理部２２は、予測画像生成部１、予測画像選択部３０、画像比較部３１、および予測画像候補記録部３２を含む。各部の詳細な処理については後述する。

（予測画像生成部１の構成）
つづいて、予測画像生成部１の構成について、図１を参照して説明する。図１は、予測画像生成部１の要部構成と、各部間のデータの流れを示したブロック図である。図１に示すように、予測画像生成部１は、予測画像候補生成部１０、補正方法選択部２（算出手段、選択手段）、スイッチ３、およびスイッチ４を含む。予測画像候補生成部１０はさらに、動き補償画像補正部１１（補正手段）、動き補償画像補正部１２（補正手段）、および動き補償画像補正部１３（補正手段）を含む。各部の詳細な処理については後述する。

以降の説明において数式を用いる場合は、次のように表記する。局所復号された処理対象画像（処理対象フレームの局所復号画像）Ｉｃにおいて、画像左上に位置する画素を原点として位置（Ｘ，Ｙ）にある画素の画素値をＩｃ（Ｘ，Ｙ）と表記する。同様に局所復号された参照画像（参照フレームの局所復号画像）Ｉｒにおいて、位置（Ｘ，Ｙ）にある画素の画素値をＩｒ（Ｘ，Ｙ）と表記する。特に断りがなければ、ここでいう画素値は対応する画素の輝度値を表すが、本実施形態で示す方法は、画素値が色差を表す場合にも有効である。また、画素値が、被写体までの距離、被写体熱量等の他の物理量を表す場合にも有効である。

（動画像符号化装置の処理）
動画像符号化装置の処理について、まず、図２を参照して以下に説明する。

まず、画像入力部２０は、入力画像１００を、動き検出部２１、予測画像処理部２２、および予測残差算出部２３に入力する。入力画像１００とは、図１４に示すような、これから符号化しようとする符号化対象画像のことである。図１４については、すでに説明しているため、ここでは詳細を省略する。

つぎに、動き検出部２１は、フレームメモリ２９から局所復号画像１０３を取得し、局所復号画像１０３と入力画像１００との画素値を比較する。これにより、動きベクトル１０５を導出し、これを予測画像処理部２２および可変長符号化部２０１に出力する。

上述した局所復号画像１０３については、詳細を後述する。

予測画像処理部２２は、動きベクトル１０５に基づいて動き補償画像を生成する。さらに、局所復号画像１０３の符号化対象ブロック隣接領域の画素の画素値の変化に基づいて、動き補償画像を補正した画像を生成する。そして、補正前後の動き補償画像のうち入力画像１００を良く近似する方の画像を、予測画像１０６として予測残差算出部２３に出力する。また、補正フラグ１０７を可変長符号化部２０１に出力する。補正フラグ１０７とは、予測画像１０６が動き補償画像を補正して生成されたものか否か（すなわち、補正の有無）を示すものである。予測画像処理部２２の内部の詳細な処理は後述する。

予測残差算出部２３は、予測画像１０６と、入力画像１００との画素値の差分を算出し、予測残差１０１（Ｌ×Ｍ画素）を生成する。そして、生成した予測残差１０１を直交変換部２４に出力する。このとき入力画像１００は、図１４に示すように、所定の順序でブロック単位に符号化されるもので、各ブロックのブロックサイズはＬ×Ｍ画素である。同様に、予測画像１０６のサイズもＬ×Ｍ画素である。

直交変換部２４は、離散コサイン変換を実行し、入力された予測残差１０１を周波数変換した際の各周波数成分係数を導出する。そして、各周波数成分係数を量子化部２５に出力する。

量子化部２５は、各周波数成分係数を所定の量子化ステップで量子化し、変換係数レベル１０２を導出する。そして、変換係数レベル１０２を、可変長符号化部２０１および逆量子化部２６に出力する。

逆量子化部２６は、変換係数レベル１０２を逆量子化し、周波数変換係数として復元する。そして復元した周波数変換係数を逆直交変換部２７に出力する。

逆直交変換部２７は、周波数変換係数に逆離散コサイン変換を適用し、予測残差１０１（Ｌ×Ｍ画素）を再構築する。そして、再構築された予測残差１０１を局所復号画像生成部２８に出力する。

局所復号画像生成部２８は、再構築された予測残差１０１を予測画像１０６に加えて、局所復号画像１０３（Ｌ×Ｍ画素）を生成する。つづいて、局所復号画像１０３をフレームメモリ２９に記録する。

なお、局所復号画像生成部２８は、ブロック単位で生成した局所復号画像１０３をフレームメモリ２９に順次記録する。したがって、動画像符号化装置２００が符号化の処理をしている間は、参照フレームの局所復号画像の全部と、処理対象フレームの局所復号画像の一部（復号済領域）とがフレームメモリ２９に記録されている。

可変長符号化部２０１は、入力された変換係数レベル１０２、動きベクトル１０５、および補正フラグ１０７をそれぞれ符号化し、それらを多重化する。そして、多重化したデータを符号化データ１０８として符号化データ出力部２０２に出力する。

符号化データ出力部２０２は、符号化データ１０８を必要に応じて、本発明に係る動画像復号装置（詳細は後述する）に出力する。

（予測画像処理部２２の処理）
ここで、図３および図４を参照して、予測画像処理部２２の全体的な処理の流れを説明する。図４は、予測画像処理部２２の処理の流れを示したフローチャートである。

図３に示すように、まず、動きベクトル１０５が入力されると、予測画像選択部３０は補正フラグ１０７を設定するために保持する変数Ｋの値を０に設定する。すでに変数Ｋの値が０に設定されている場合は、１に設定する（ステップＳ１）。なお、新しい動きベクトル１０５が予測画像選択部３０に入力されると、変数Ｋは初期化されて未設定の状態となる。

次に、ステップＳ１において設定した変数Ｋの値に基づき、予測画像選択部３０は補正フラグ１０７の値を設定する。具体的には、変数Ｋの値が０の場合、補正フラグ１０７を「補正なし」に設定し、変数Ｋの値が１の場合、補正フラグ１０７を「補正あり」に設定する。そして、予測画像選択部３０は、補正フラグ１０７の値を変える度に、予測画像生成部１および予測画像候補記録部３２に補正フラグ１０７を出力する（ステップＳ２）。つまり、補正フラグ１０７を「補正なし」に設定したとき、予測画像選択部３０は、「補正なし」に設定された補正フラグ１０７を、予測画像生成部１および予測画像候補記録部３２に出力する。さらに、補正フラグ１０７を「補正あり」に設定したときも同様に、予測画像選択部３０は、「補正あり」に設定された補正フラグ１０７を、予測画像生成部１および予測画像候補記録部３２に出力する。

つづいて、予測画像生成部１は、動きベクトル１０５、局所復号画像１０３、および補正フラグ１０７に基づいて、予測画像１０６を生成する（ステップＳ３）。そして、予測画像１０６を画像比較部３１と予測画像候補記録部３２とに出力する。なお、予測画像生成部１の内部の詳細な処理については後述する。

つづいて、画像比較部３１は、ステップＳ３において生成された予測画像１０６（Ｌ×Ｍ画素）と、入力画像１００（Ｌ×Ｍ画素）とを比較し、評価値Ｒ１１２を計算する。そして、評価値Ｒ１１２を、予測画像候補記録部３２に出力する（ステップＳ４）。

ここで、評価値Ｒ１１２は、予測画像１０６がどの程度入力画像１００を近似しているかを表す差分絶対値和であり、次式（式１）により求められる。

ここで、Ｏ（ｉ，ｊ）、Ｐ（ｉ，ｊ）はそれぞれ入力画像１００と予測画像１０６のブロック内の位置（ｉ，ｊ）の画素の画素値を表す。なお、評価値Ｒ１１２を式１により求めた場合、評価値Ｒ１１２が小さいほど、予測画像１０６は入力画像１００をより良く近似しているといえる。

つづいて、予測画像候補記録部３２は、ステップＳ２において入力された補正フラグ１０７と、ステップＳ３において入力された予測画像１０６と、ステップＳ４において入力された評価値Ｒ１１２とを関連付けて、動画像符号化装置２００の内部の、フレームメモリとは別のメモリ（図示せず）に記録する（ステップＳ５）。

つづいて、予測画像選択部３０は、変数Ｋの値が１であるか否かを判定する（ステップＳ６）。

ステップＳ６においてＮｏの場合は、ステップＳ１に戻る。Ｎｏの場合は、すなわち、変数Ｋの値は０であり、補正フラグは「補正なし」に設定されている。すなわちこの時点では、「補正なし」のパターンで生成された予測画像１０６が生成されている。ステップＳ１に戻ることにより、Ｋの値が１に設定される。したがって、次は、「補正あり」のパターンで予測画像１０６が生成される。

ステップＳ６においてＹｅｓの場合、予測画像候補記録部３２は、ステップＳ２において生成された予測画像１０６のうち、評価値Ｒ１１２が最小となる予測画像１０６を選択する。そして選択した予測画像１０６に関連する補正フラグ１０７とともに、図２において示されている、動画像符号化装置２００の予測残差算出部２３および局所復号画像生成部２８に予測画像１０６を出力する。さらに、予測画像候補記録部３２は、補正フラグ１０７を、図２に示されている、可変長符号化部２０１に出力する。（ステップＳ７）。

以上の処理により、予測画像処理部２２によって、動き補償画像を補正することなく生成された予測画像１０６と、動き補償画像を補正して生成された予測画像１０６とから、入力画像１００をより良く近似する予測画像１０６が選択される。これにより、予測画像１０６と入力画像１００との画素値の差分はより小さくなる。すなわち、予測残差１０１をより小さくすることが可能である。

（予測画像生成部１の処理）
図１および図６を参照して、動画像符号化装置２００の特徴的な構成要素である予測画像生成部１の処理について、説明する。

予測画像生成部１は、複数の動き補償画像補正部のうち、補正方法選択部２が選択した動き補償画像補正部によって補正された動き補償画像に基づいて、上記予測画像１０６を生成する生成手段である。予測画像生成部１の処理の詳細を以下に説明する。

図６は、予測画像生成部１の処理の流れを示したフローチャートである。

図１に示すように、まず、予測画像候補生成部１０の動き補償画像生成部１４に、局所復号画像１０３と動きベクトル１０５とが入力される。入力された局所復号画像１０３および動きベクトル１０５に基づき、動き補償画像生成部１４が動き補償画像１０９（Ｌ×Ｍ画素）を生成する（ステップＳ１０）。動き補償画像生成部１４は、生成した動き補償画像１０９（Ｌ×Ｍ画素）を、スイッチ４、補正方法選択部２、および動き補償画像補正部１１〜１３のそれぞれに出力する（ステップＳ１１）。

動き補償画像１０９を構成する画素の画素値Ｍ（ｉ，ｊ）は次式（式２）により計算される。

上記（ｘｃ、ｙｃ）は処理対象ブロック内左上に位置する画素の、処理対象画像内の位置とする。また、（ｄＸ、ｄＹ）は動きベクトル１０５の示す変位（画素単位）とする。

スイッチ４には、図３に示されている予測画像選択部３０が出力した補正フラグ１０７が入力される。スイッチ４は、入力された補正フラグ１０７に基づき、動き補償画像１０９の補正は不要かどうかを判定する（ステップＳ１２）。補正フラグ１０７が「補正なし」を示しており、補正は不要であると判定した場合、動き補償画像１０９を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ２１）。

一方、補正フラグ１０７が「補正あり」を示しており、補正は必要であると判定した場合、予測画像生成部１は以下のステップを実行する。

まず補正方法選択部２は、動き補償画像１０９の符号化済み領域を参照して、符号化対象ブロックにおける上記入力画像１００のフレーム間の画素値変化と、当該符号化対象ブロックに隣接する隣接領域における局所復号画像１０３のフレーム間の画素値変化との関連性を示す指標を算出する。具体的には、符号化対象ブロックにおける動き補償画像１０９の画素値変化と、該符号化対象ブロックに隣接する隣接領域における動き補償画像１０９の画素値変化との関連性を示す指標を算出する。そして、算出した指標に基づいて複数の補正手段の何れかを選択する。つまり、動き補償画像補正部１１〜１３のうちのどの補正部を用いて補正を行うか選択する。

補正方法選択部２は、符号化対象ブロックにおける動き補償画像１０９のエッジ強度を計算し（ステップＳ１３）、計算結果に基づいて、最も適切な補正を行う動き補償画像補正部を選択する（ステップＳ１７〜１９）。ステップＳ１７〜１９の詳細については後述する。ここでいうエッジ強度とは、動き補償画像１０９において縦横のどちらの方向にエッジが存在している可能性が高いかを示す度合いである。

（エッジの例）
ここで、エッジについて、図５を参照して説明する。図５は、動き補償画像１０９の符号化対象ブロック５１において、エッジ５４がある例を示した図である。

図５に示すように、符号化対象ブロック５１は、エッジ５４によって左から順に領域Ｒ_１と領域Ｒ_２とに分割されている。このエッジ５４を境界として、画素値が不連続に変化している。以降の説明において、このように、符号化対象ブロック５１の上辺から下辺に至る境界が存在し、この境界によって画素値が不連続に変化するとき、この境界のことを縦エッジとよぶ。また、このとき、縦方向にエッジが存在するという。

これに対し、仮に、符号化対象ブロック５１の左辺から右辺に至る境界が存在し、この境界によって画素値が不連続に変化するとき、この境界のことを横エッジとよぶ。また、このとき、横方向にエッジが存在するという。

さらに、エッジが存在する方向と、符号化対象ブロック５１の画素値変化の相関とについて説明する。

図５に示すように、エッジ５４は、符号化対象ブロック５１の上辺に隣接する領域５３の上辺にまで至っている。したがって、符号化対象ブロック５１に隣接する領域５３にも、エッジ５４を境に画素値の不連続な変化が現れ、領域５３は左から順に領域Ｒ_Ｔ１と領域Ｒ_Ｔ２に分割されている。一方、符号化対象ブロック５１の左辺に隣接する領域５２、すなわち領域Ｒ_Ｌ１にはエッジが存在しない。したがって、領域５２には画素値の不連続な変化は現れない。

このとき、領域Ｒ_１と領域Ｒ_Ｌ１との相関、領域Ｒ_１と領域Ｒ_Ｔ１との相関、および領域Ｒ_２と領域Ｒ_Ｔ２との相関は高いといえる。

（画素値の相関）
符号化対象ブロックの画素値に対して相関が高い領域を参照したほうが、良い推定結果が得られる。したがって、領域Ｒ_１における画素値変化を推定する場合、領域Ｒ_１と相関の高い領域Ｒ_Ｔ１を、領域Ｒ_２における画素値変化を推定する場合、領域Ｒ_２と相関の高い領域Ｒ_Ｔ２を参照して推定することが望ましい。

すなわち、符号化対象ブロックに縦エッジが存在する場合、当該符号化対象ブロックの画素と相関の高い、符号化対象ブロックの上辺に隣接する領域の画素を参照して画素値を推定すればよい。一方、符号化対象ブロックに横エッジが存在する場合、当該符号化対象ブロックの画素と相関の高い、符号化対象ブロックの左辺に隣接する領域の画素を参照して画素値を推定すればよい。

（エッジの検出）
次に、補正方法選択部２がエッジの有無をどのように検出するかを、下記式（式３および４）を参照して以下に説明する。

式３は、動き補償画像１０９における縦エッジ強度ＥＶを算出するための式であり、式４は、横エッジ強度ＥＨを算出するための式である。

式３によって求められた縦エッジ強度ＥＶが所定の閾値より大きい場合、符号化対象ブロックに縦エッジがあると判定する。逆に、所定の閾値以下の場合、縦エッジがないと判定する。

同様に、式４によって求められた横エッジ強度ＥＨが所定の閾値より大きい場合、符号化対象ブロックに横エッジがあると判定する。逆に、所定の閾値以下の場合、横エッジがないと判定する。

つづいて、動き補償画像１０９を補正する複数の補正手段である、動き補償画像補正部１１〜１３について説明する。動き補償画像補正部１１〜１３は、動き補償画像１０９を補正する際に参照する領域がそれぞれ異なる補正手段である。以下に、動き補償画像補正部１１〜１３のそれぞれの詳細を説明する。

（動き補償画像補正部１１）
まず、動き補償画像補正部１１について説明する。動き補償画像補正部１１は、局所復号画像１０３、動きベクトル１０５、および動き補償画像１０９に基づいて、動き補償画像１０９を補正する。

具体的には、動き補償画像補正部１１は、符号化対象ブロックの上辺および左辺に隣接する画素のフレーム間の画素値変化に基づき動き補償画像１０９を補正する。補正後の画像の画素値Ｍａ（ｉ，ｊ）は次式（式５および６）により求める。

ここで、ΔＳＴ（ｉ，０）は、符号化対象ブロックの上辺に隣接する画素のフレーム間の画素値変化を表す。一方、ΔＳＬ（０，ｊ）は符号化対象ブロックの左辺に隣接する画素のフレーム間の画素値変化を表す。これらは、次式（式７および８）により定義される。

上記の式５で計算されるＭａ（ｉ，ｊ）を画素値とする画像は、符号化対象ブロックの上辺または左辺に隣接する画素の画素値変化に基づいて、動き補償画像１０９を補正した画像である。動き補償画像補正部１１は、補正後の画像をスイッチ３に出力する。

（動き補償画像補正部１２）
次に、動き補償画像補正部１２について説明する。

まず、動き補償画像補正部１２に入力されるデータは、動き補償画像補正部１１と同じである。しかし動き補償画像補正部１２は、動き補償画像補正部１１が用いている式とは異なる式を用いて動き補償画像１０９を補正する。

具体的には、動き補償画像補正部１２は、符号化対象ブロックの上辺に隣接する画素の画素値の変化のみに基づいて、動き補償画像１０９を補正する。補正後の画像の画素値Ｍｂ（ｉ，ｊ）は次式（式９および１０）により求める。

上記の式９で計算されるＭｂ（ｉ，ｊ）を画素値とする画像は、符号化対象ブロックの上辺に隣接する画素の画素値の変化に基づいて、動き補償画像を補正した画像である。動き補償画像補正部１２は、補正後の画像をスイッチ３に出力する。

（動き補償画像補正部１３）
つづいて、動き補償画像補正部１３について説明する。動き補償画像補正部１３の入力データは、動き補償画像補正部１１および１２と同じであるが、動き補償画像補正部１１および１２が用いている式とは異なる式を用いて動き補償画像１０９を補正する。

具体的には、動き補償画像補正部１３は、符号化対象ブロックの左辺に隣接する画素の画素値の変化のみに基づいて、動き補償画像１０９を補正する。補正後の画像の画素値Ｍｃ（ｉ，ｊ）は次式（式１１および１２）により求める。

上記の式１１で計算されるＭｃ（ｉ，ｊ）を画素値とする画像は、符号化対象ブロックの左辺に隣接する画素の画素値変化に基づいて、動き補償画像を補正した画像である。動き補償画像補正部１３は、補正後の画像をスイッチ３に出力する。

ここまでで、スイッチ３には、動き補償画像補正部１１〜１３のそれぞれが補正した動き補償画像が３つ入力されている。

（動き補償画像補正部の選択）
補正方法選択部２は、ステップＳ１３において求められたエッジ強度に基づいて、縦横の方向のどちらにエッジがあるかを判定し、動き補償画像補正部１１〜１３のうちいずれか最適なものを次の通り選択する。

補正方法選択部２は、まず、ステップＳ１３において求められたエッジ強度に基づいて、縦エッジがあるかどうかを判定する（ステップＳ１４）。次に横エッジがあるかどうかを判定する（ステップＳ１５およびＳ１６）。

まず、ステップＳ１４においてＹｅｓ、ステップＳ１５においてＮｏである場合を考える。具体的には、符号化対象ブロックに縦エッジが存在し、かつ、横エッジが存在しないと判定された場合である。この場合、補正方法選択部２は、動き補償画像補正部１２を選択する（ステップＳ１７）。上述したように、動き補償画像補正部１２は、符号化対象ブロックの上辺に隣接する画素の画素値の変化に基づいて補正することから、この場合、最も適切な領域を参照する補正部であると考えられるからである。

次に、ステップＳ１４においてＮｏ、ステップＳ１６においてＹｅｓである場合を考える。具体的には、符号化対象ブロックに横エッジが存在し、かつ、縦エッジが存在しないと判定された場合である。この場合、補正方法選択部２は、動き補償画像補正部１３を選択する（ステップＳ１９）。上述したように、動き補償画像補正部１３は、符号化対象ブロックの左辺に隣接する画素の画素値の変化に基づいて補正することから、この場合、最も適切な領域を参照する補正部であると考えられるからである。

つづいて、ステップＳ１４およびステップＳ１５の両方においてＹｅｓの場合、または、ステップＳ１４およびステップＳ１６の両方においてＮｏの場合について説明する。具体的には、符号化対象ブロックに縦エッジ、横エッジが共に存在すると判定された場合、または、両エッジが共に存在しないと判定された場合である。この場合、補正方法選択部２は、動き補償画像補正部１１を選択する（ステップＳ１８）。上述したように、動き補償画像補正部１１は、符号化対象ブロックの上辺および左辺に隣接する画素のフレーム間の画素値変化に基づいて補正することから、この場合、最も適切な領域を参照する補正部であると考えられるからである。

つづいて、動き補償画像補正部１１〜１３のそれぞれが、動き補償画像１０９を補正する（ステップＳ２０）。

補正方法選択部２は、上記の選択結果１１１をスイッチ３に出力する。

スイッチ３は、動き補償画像補正部１１〜１３のうち、選択された動き補償画像補正部につながる入力に切替える。これにより、選択された動き補償画像補正部によって補正された動き補償画像１０９を補正後動き補償画像１１０としてスイッチ４に出力する。

スイッチ４は、入力される補正フラグ１０７に応じて、動き補償画像１０９と補正後動き補償画像１１０のいずれかを選択する。具体的には、補正フラグ１０７が、「補正あり」を示していれば、補正後動き補償画像１１０を選択し、「補正なし」を示していれば、動き補償画像１０９を選択する。つづいて、選択した画像を予測画像１０６として、予測残差算出部２３と局所復号画像生成部２８とに出力する（ステップＳ２１）。

上記のように、予測画像生成部１は、動き補償画像１０９のエッジ強度に基づいて、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択し、これを用いて動き補償画像１０９を補正する。これにより、常に単一の補正方法を用いて補正する場合に比べて、動画像の局所的な性質に適した方法で補正することができる。すなわち、補正の精度を高めることができる。したがって、予測残差の符号化に要する符号量を低減させることができる。さらに、どの動き補償画像補正部を用いて補正したかを示す情報を符号化していないため、符号量は増加しない。すなわち、補正方法が増えたとしても、符号量増加を回避することができる。

（エッジ角度を利用した判定）
なお、上述した補正方法選択部２の説明では、縦横エッジ強度に基づいて補正方法を判定すると説明したが、判定基準はこれに限らない。たとえば、以下に示すように、動き補償画像１０９のエッジ角度を計算し、当該エッジ角度に応じて補正方法を決定してもよい。ここでいうエッジ角度とは、符号化対象ブロックの上辺または下辺に対する角度のことをいう。つまり、上辺または下辺に対して水平である角度を０度とする。なお、エッジ角度は、エッジ方向を示す数値であるとも換言できる。

動き補償画像１０９のエッジ角度Dは、たとえば、次式（式１３）により計算することができる。

エッジ角度Ｄが９０度または−９０度に近い場合（たとえば、｜Ｄ｜＞７５度の場合）は、動き補償画像が縦方向のエッジを含むと判定することができる。そのため、符号化対象ブロック上辺に隣接する画素の画素値の変化を利用して補正することが望ましい。したがって、動き補償画像補正部１２が選択される。

一方、エッジ角度Ｄが０度に近い場合（たとえば、｜Ｄ｜＜１５度の場合）は、動き補償画像が横方向のエッジを含むと判定することができる。そのため、符号化対象ブロック左辺に隣接する画素の画素値の変化を利用して補正することが望ましい。したがって、動き補償画像補正部１３が選択される。

上記以外の場合（たとえば、１５度≦｜Ｄ｜≦７５度の場合）は、動き補償画像が横エッジを含むとも、縦エッジを含むとも判定できない。したがって、動き補償画像補正部１１が選択される。

上記の判定方法によると、動き補償画像１０９のエッジ角度に基づいて、最適な補正方法を選択できる。これにより、単一の補正方法を適用する場合に較べて、より正確に動き補償画像１０９を補正できる。

（動画像復号装置の構成）
次に、本実施形態に係る動画像復号装置７００について図７を参照して以下に説明する。

図７は動画像復号装置７００の要部構成と、各部間のデータの流れを示した図である。図７に示すように、動画像復号装置７００は、符号化データ入力部７０、可変長符号復号部７１、逆量子化部２６、逆直交変換部２７、局所復号画像生成部７４、局所復号画像出力部７５、予測画像生成部１、およびフレームメモリ２９を備えている。なお、本発明における動画像符号化装置２００と共通する部材には同じ番号を付し、詳細な説明を省略する。その他の部材の詳細な処理については後述する。

（動画像復号装置７００の処理）
つづいて、動画像復号装置７００の処理について図７を参照して以下に説明する。

図７に示すように、まず、符号化データ入力部７０は、符号化データ１０８を符号化対象ブロック単位で、可変長符号復号部７１に順次入力する。以下、符号化対象ブロック毎に実行される処理について説明する。

可変長符号復号部７１は、符号化データ１０８から動きベクトル１０５と補正フラグ１０７と変換係数レベル１０２とを復号する。つづいて、動きベクトル１０５と補正フラグ１０７とを予測画像生成部１に出力する。さらに、変換係数レベル１０２を逆量子化部２６に出力する。

逆量子化部２６は、変換係数レベル１０２に逆量子化を施し、周波数変換係数として復元する。つづいて、これを逆直交変換部２７に出力する。

逆直交変換部２７は、入力された周波数変換係数に逆離散コサイン変換を適用し、予測残差１０１を再構築する。そして、予測残差１０１を局所復号画像生成部７４に出力する。

次に予測画像生成部１の処理について以下に説明する。ただし、動画像復号装置７００の予測画像生成部１の処理は、本発明に係る符号化装置の予測画像生成部１の処理と同一であるため、ここでは詳細な説明を省略する。

予測画像生成部１は、入力された動きベクトル１０５と、補正フラグ１０７と、フレームメモリ２９から取得した参照画像（局所復号画像１０３）とに基づいて動き補償画像１０９を生成する。このとき、補正フラグ１０７に基づいて補正の有無を判定し、必要に応じて動き補償画像１０９を補正した補正後動き補償画像１１０を生成する。

補正後動き補償画像１１０の生成においては、動き補償画像１０９の特性に応じて最適な補正方法が選択される。そして、動き補償画像１０９または、補正後動き補償画像１１０のいずれかを予測画像１０６として、局所復号画像生成部７４に出力する。

局所復号画像生成部７４は、予測画像生成部１から入力された予測画像１０６を逆直交変換部２７から入力された予測残差１０１に加算し、局所復号画像１０３を生成する。つづいて、局所復号画像１０３をフレームメモリ２９に記録し、さらに、局所復号画像出力部７５に出力する。

局所復号画像出力部７５は、局所復号画像１０３を再生画像として、必要に応じて外部の再生装置など（図示せず）に出力する。

上記のように、本実施形態に係る動画像復号装置は、本実施形態に係る動画像符号化装置に備えられている予測画像生成部と同一のものを備えている。これにより、動きベクトル、補正フラグ、および局所復号画像に基づいて、予測画像を生成することが可能である。したがって、どの動き補償画像補正部を用いて補正したかを示す情報は復号データに含まれている必要はなく、復号量を減少させることができる。さらに、単一の補正方法を適用して動き補償画像を補正する場合に比べ、原画像（動画像符号化装置への入力画像）をより忠実に表現する予測画像を生成できる。したがって、この予測画像に予測残差を加えて生成される再生画像は、原画像をより忠実に再現できる。

〔実施形態２〕
（動画像符号化装置の構成）
本発明に係る動画像符号化装置の第二の実施形態について説明する。

まず、本実施形態に係る動画像符号化装置の構成について、以下に説明する。本実施形態における動画像符号化装置の構成は、実施形態１に係る動画像符号化装置２００において、図１に示した予測画像生成部１を、異なる機能を有する予測画像生成部１ａに置き換えた構成となっている。以下、実施形態１との相違点である、予測画像生成部１ａの詳細を説明する。

（予測画像生成部１ａの構成）
予測画像生成部１ａの構成について、図８を参照して説明する。図８は、本発明の実施形態に係る予測画像生成部１ａの要部構成と、各部間のデータの流れを示したブロック図である。

図８に示すように、補正方法選択部２ａ（算出手段、補正手段）以外の部材は、図１を参照して説明した予測画像生成部１が備える部材と共通するため、同一の符号を付与して、詳細な説明を省略する。

（予測画像生成部１ａの処理）
図８および図９を参照して、本発明の実施形態に係る予測画像生成部１ａの処理について、以下に説明する。

図９は、本発明の実施形態に係る予測画像生成部１ａの処理の流れを示したフローチャートである。

図８に示すように、まず、予測画像候補生成部１０に、局所復号画像１０３と動きベクトル１０５とが入力される。これらに基づき、動き補償画像生成部１４は動き補償画像１０９を生成（ステップＳ３０）する。つづいて、動き補償画像生成部１４は動き補償画像１０９を、スイッチ４、および動き補償画像補正部１１〜１３のそれぞれに出力する（ステップＳ３１）。

ここで、実施形態１と異なる点は、動き補償画像１０９が補正方法選択部２ａに入力されておらず、代わりに、局所復号画像１０３が補正方法選択部２ａに入力されている点である。したがって、本実施形態では、補正方法選択部２ａは、局所復号画像１０３を参照して、動き補償画像１０９を補正する最適な補正方法を選択する。選択基準の詳細は後述する。

なお、動き補償画像１０９を構成する画素の算出方法については、実施形態１と同様であるため、ここでは説明を省略する。

（スイッチ４）
一方、スイッチ４には、補正フラグ１０７が入力される。スイッチ４は、入力された補正フラグ１０７に基づき、動き補償画像１０９の補正は不要かどうかを判定する（ステップＳ３２）。補正フラグ１０７が「補正なし」を示しており、補正は不要であると判定した場合、動き補償画像１０９を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ４１）。

一方、補正フラグ１０７が「補正あり」を示しており、補正は必要であると判定した場合、予測画像生成部１ａは以下のステップを実行する。

まず補正方法選択部２ａは、局所復号画像１０３を参照して、符号化対象ブロックにおける上記入力画像１００のフレーム間の画素値変化と、当該符号化対象ブロックに隣接する隣接領域における局所復号画像１０３のフレーム間の画素値変化との関連性を示す指標を算出する。そして、算出した指標に基づいて複数の補正手段の何れかを選択する。つまり、動き補償画像補正部１１〜１３のうちのどの補正部を用いて補正を行うか選択する。

具体的には、補正方法選択部２ａは、符号化対象ブロックに相当する、局所復号画像１０３上のブロックの上辺または左辺に隣接する領域において、画素値の不連続性を計算し（ステップＳ３３）、計算結果に基づいて、最も適切な補正を行う動き補償画像補正部を選択する（ステップＳ３７〜３９）。ステップＳ３７〜３９の詳細については後述する。ここでいう不連続性とは、隣接する画素の画素値が極端に変化する、つまり画素値変化の度合いを示すものである。

（不連続性の検出）
次に、補正方法選択部２ａが不連続性をどのように検出するかを、下記式（式１４および１５）を参照して以下に説明する。

補正方法選択部２ａは、まず、局所復号画像１０３において符号化対象ブロックの上辺に隣接する領域において、画素値の横方向の不連続性ＤＨを式１４によって求める。

次に、局所復号画像１０３において符号化対象ブロックの左辺に隣接する領域において、画素値の縦方向の不連続性ＤＶを式１５によって求める。

式１４によって求められた不連続性ＤＨが所定の閾値より大きい場合は、局所復号画像１０３の符号化対象ブロック上辺に隣接する領域が不連続であると判定する。一方、所定の閾値以下の場合は、不連続ではないと判定する。

同様に、式１５によって求められた不連続性ＤＶが所定の閾値より大きい場合、局所復号画像１０３の符号化対象ブロックの左辺に隣接する領域が不連続であると判定する。一方、所定の閾値以下の場合、不連続ではないと判定する。

（動き補償画像補正部の選択）
補正方法選択部２ａは、ステップＳ３３において求められた不連続性に基づいて、動き補償画像補正部１１〜１３のうちいずれか最適なものを次の通り選択する。

補正方法選択部２ａは、まず、ステップＳ３３において求められた不連続性に基づいて、符号化対象ブロック上辺の隣接領域が不連続であるかどうかを判定する（ステップＳ３４）。次に同ブロック左辺の隣接領域が不連続であるかどうかを判定する（ステップＳ３５およびＳ３６）。

まず、ステップＳ３４においてＹｅｓ、ステップＳ３５においてＮｏである場合を考える。具体的には、符号化対象ブロック上辺の隣接領域が不連続であり、かつ、同ブロック左辺の隣接領域は不連続ではないと判定された場合である。この場合、符号化対象ブロックには縦エッジが存在すると推定できる。

実施形態１で説明した場合と同様に、符号化対象ブロックに縦エッジが存在すると推定される場合、補正方法選択部２ａは、動き補償画像補正部１２を選択する（ステップＳ３７）。

次に、ステップＳ３４においてＮｏ、ステップＳ３６においてＹｅｓである場合を考える。具体的には、符号化対象ブロック上辺に隣接する領域が連続であり、かつ同ブロック左辺に隣接する領域が不連続である場合である。この場合、符号化対象ブロックには横エッジが存在すると推定できる。

実施形態１で説明した場合と同様に、符号化対象ブロックに縦エッジが存在すると推定される場合は、補正方法選択部２ａは、動き補償画像補正部１３を選択する（ステップＳ１９）。

つづいて、ステップＳ３４およびステップＳ３５の両方においてＹｅｓの場合、または、ステップＳ３４およびステップＳ３６の両方においてＮｏの場合について説明する。具体的には、符号化対象ブロック上辺に隣接する領域と同ブロック左辺に隣接する領域が、共に連続もしくは共に不連続である場合である。この場合、符号化対象ブロックには、縦エッジ、横エッジが共に存在する、または、両エッジが共に存在しないと推定できる。

実施形態１で説明した場合と同様に、符号化対象ブロックに、縦エッジおよび横エッジが存在するともしないとも判定できない場合は、補正方法選択部２ａは、動き補償画像補正部１１を選択する（ステップＳ３８）。

つづいて、動き補償画像補正部１１〜１３のそれぞれが、動き補償画像１０９を補正する（ステップＳ４０）。

補正方法選択部２ａは、上記の選択結果１１１をスイッチ３に出力する。

スイッチ３は、動き補償画像補正部１１〜１３のうち、選択された動き補償画像補正部につながる入力に切替える。これにより、選択された動き補償画像補正部によって補正された動き補償画像１０９を補正後動き補償画像１１０としてスイッチ４に出力する。

スイッチ４は、入力される補正フラグ１０７に応じて、動き補償画像１０９および補正後動き補償画像１１０のいずれかを選択する。具体的には、補正フラグ１０７が、「補正あり」を示していれば、補正後動き補償画像１１０を選択し、「補正なし」を示していれば、動き補償画像１０９を選択する。つづいて、選択した画像を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ４１）。

上記のように、予測画像生成部１ａは、符号化対象ブロックに相当する局所復号画像１０３上のブロックの、上辺または左辺に隣接する領域における画素値の不連続性に基づいて、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択し、これを用いて動き補償画像１０９を補正する。これにより、実施形態１と同様の効果を得ることができる。

〔実施形態３〕
（動画像符号化装置の構成）
本発明に係る動画像符号化装置の第三の実施形態について説明する。

まず、本実施形態に係る動画像符号化装置の構成について、以下に説明する。本実施形態における動画像符号化装置の構成は、実施形態１に係る動画像符号化装置２００において、図１に示した予測画像生成部１を、異なる機能を有する予測画像生成部１ｂに置き換えた構成となっている。以下、実施形態１との相違点である、予測画像生成部１ｂの詳細を説明する。

（予測画像生成部１ｂの構成）
予測画像生成部１ｂの構成について、図１０を参照して説明する。図１０は、本発明の実施形態に係る予測画像生成部１ｂの要部構成と、各部間のデータの流れを示したブロック図である。

図１０に示すように、補正方法選択部２ｂ（算出手段、補正手段）以外の部材は、図１を参照して説明した予測画像生成部１が備える部材と共通するため、同一の符号を付与して、詳細な説明を省略する。

（予測画像生成部１ｂの処理）
図１０および図１１を参照して、本発明の実施形態に係る予測画像生成部１ｂの処理について、以下に説明する。

図１１は、本発明の実施形態に係る予測画像生成部１ｂの処理の流れを示したフローチャートである。

図１０に示すように、まず、予測画像候補生成部１０に、局所復号画像１０３と動きベクトル１０５とが入力される。これらに基づき、動き補償画像生成部１４は動き補償画像１０９を生成する（ステップＳ５０）。つづいて、動き補償画像生成部１４は動き補償画像１０９を、スイッチ４、および動き補償画像補正部１１〜１３のそれぞれに出力する（ステップＳ５１）。

ここで、実施形態１と異なる点は、動き補償画像１０９が補正方法選択部２ｂに入力されておらず、代わりに、動きベクトル１０５と局所復号画像１０３とが補正方法選択部２ｂに入力されている点である。したがって、本実施形態では、補正方法選択部２ｂは、動きベクトル１０５と局所復号画像１０３とを参照して、動き補償画像１０９を補正する最適な補正方法を選択する。選択基準の詳細は後述する。

なお、動き補償画像１０９を構成する画素の算出方法については、実施形態１と同様であるため、ここでは説明を省略する。

（スイッチ４）
一方、スイッチ４には、補正フラグ１０７が入力される。スイッチ４は、入力された補正フラグ１０７に基づき、動き補償画像１０９の補正は不要かどうかを判定する（ステップＳ５２）。補正フラグ１０７が「補正なし」を示しており、補正は不要であると判定した場合、動き補償画像１０９を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ６１）。

一方、補正フラグ１０７が「補正あり」を示しており、補正は必要であると判定した場合、予測画像生成部１ｂは以下のステップを実行する。

まず補正方法選択部２ｂは、動きベクトル１０５と局所復号画像１０３とを参照して、符号化対象ブロックにおける上記入力画像１００のフレーム間の画素値変化と、当該符号化対象ブロックに隣接する隣接領域における局所復号画像１０３のフレーム間の画素値変化との関連性を示す指標を算出する。具体的には、処理対象ブロックにおけるフレーム間（すなわち、符号化対象フレームと参照フレームとの間）の画素値変化と、符号化対象ブロックに相当する局所復号画像１０３上のブロック上辺または左辺に隣接する領域における画素値変化の関連性を数値化した指標を算出する。そして、算出した指標に基づいて複数の補正手段の何れかを選択する。つまり、動き補償画像補正部１１〜１３のうちのどの補正部を用いて補正を行うか選択する。

補正方法選択部２ｂは、局所復号画像１０３の符号化対象ブロックの上辺または左辺に隣接する領域において、フレーム間の画素値変化を計算し（ステップＳ５３）、計算結果に基づいて、最も適切な補正を行う動き補償画像補正部を選択する（ステップＳ５７〜５９）。ステップＳ５７〜５９の詳細については後述する。ここでいう画素値変化とは、フレーム間で対応する画素の画素値の差分である。

（画素値変化の検出）
補正方法選択部２ｂが画素値変化をどのように検出するかを、説明する。

補正方法選択部２ｂは、まず、符号化対象ブロックの上辺と左辺とにそれぞれ隣接する各画素の画素値変化を表すΔＳＴとΔＳＬを計算する（ΔＳＴとΔＳＬの算出は、実施形態１における動き補償画像補正部１１の説明中の式７および式８を参照）。

次に、補正方法選択部２ｂは、符号化対象ブロック上辺に隣接する領域における画素値変化の大きさＡＴおよび、同ブロック左辺に隣接する領域における画素値変化の大きさＡＬをそれぞれ次の式（式１６および１７）によって求める。

式１６によって求められた画素値変化の大きさＡＴが所定の閾値より大きい場合は、局所復号画像１０３の符号化対象ブロック上辺に隣接する領域における画素値変化は大きいと判定する。一方、所定の閾値以下の場合は、画素値変化は小さいと判定する。

同様に、式１７によって求められた画素値変化の大きさＡＬが所定の閾値より大きい場合、局所復号画像１０３の符号化対象ブロックの左辺に隣接する領域における画素値変化は小さいと判定する。一方、所定の閾値以下の場合、画素値変化は小さいと判定する。

（動き補償画像補正部の選択）
補正方法選択部２ｂは、ステップＳ５３において求められた画素値変化の大きさに基づいて、動き補償画像補正部１１〜１３のうちいずれか最適なものを次の通り選択する。

補正方法選択部２ｂは、まず、ステップＳ５３において求められた画素値変化の大きさに基づいて、符号化対象ブロック上辺の隣接領域における画素値の変化が大きいかどうかを判定する（ステップＳ５４）。次に同ブロック左辺の隣接領域における画素値の変化が大きいかどうかを判定する（ステップＳ５５およびＳ５６）。

まず、ステップＳ５４においてＹｅｓ、ステップＳ５５においてＮｏである場合を考える。具体的には、符号化対象ブロック上辺の隣接領域における画素値の変化が大きく、かつ、同ブロック左辺の隣接領域は画素値の変化が小さいと判定された場合である。

この場合、補正方法選択部２ｂは、動き補償画像補正部１２を選択する（ステップＳ５７）。実施形態１で説明したように、動き補償画像補正部１２は、符号化対象ブロックの上辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。

次に、ステップＳ５４においてＮｏ、ステップＳ５６においてＹｅｓである場合を考える。具体的には、符号化対象ブロック上辺に隣接する領域における画素値変化が小さく、かつ、同ブロック左辺に隣接する領域における画素値変化が大きいと判定された場合である。

この場合、補正方法選択部２ｂは、動き補償画像補正部１３を選択する（ステップＳ５９）。実施形態１で説明したように、動き補償画像補正部１３は、符号化対象ブロックの左辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。

つづいて、ステップＳ５４およびステップＳ５５の両方においてＹｅｓの場合、または、ステップＳ５４およびステップＳ５６の両方においてＮｏの場合について説明する。具体的には、符号化対象ブロック上辺に隣接する領域と同ブロック左辺に隣接する領域における画素値変化が、共に大きいか、または、共に小さい場合である。

この場合、補正方法選択部２ｂは、動き補償画像補正部１１を選択する（ステップＳ５８）。実施形態１で説明したように、動き補償画像補正部１１は、符号化対象ブロックの上辺および左辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。

つづいて、動き補償画像補正部１１〜１３のそれぞれが、動き補償画像１０９を補正する（ステップＳ６０）。

補正方法選択部２ｂは、上記の選択結果１１１をスイッチ３に出力する。

スイッチ３は、動き補償画像補正部１１〜１３のうち、選択された動き補償画像補正部につながる入力に切替える。これにより、選択された動き補償画像補正部によって補正された動き補償画像１０９を補正後動き補償画像１１０としてスイッチ４に出力する。

スイッチ４は、入力される補正フラグ１０７に応じて、動き補償画像１０９および補正後動き補償画像１１０のいずれかを選択する。具体的には、補正フラグ１０７が、「補正あり」を示していれば、補正後動き補償画像１１０を選択し、「補正なし」を示していれば、動き補償画像１０９を選択する。つづいて、選択した画像を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ６１）。

上記のように、予測画像生成部１ｂは、符号化対象ブロックに相当する局所復号画像１０３上のブロックの、上辺または左辺に隣接する復号済現画像上の領域における、フレーム間の画素値変化の大きさに基づいて、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択し、これを用いて動き補償画像１０９を補正する。これにより、実施形態１と同様の効果を得ることができる。

〔実施形態４〕
（動画像符号化装置の構成）
本発明に係る動画像符号化装置の第四の実施形態について説明する。

まず、本実施形態に係る動画像符号化装置の構成について、以下に説明する。本実施形態における動画像符号化装置の構成は、実施形態１に係る動画像符号化装置２００において、図１に示した予測画像生成部１を、異なる機能を有する予測画像生成部１ｃに置き換えた構成となっている。以下、実施形態１との相違点である、予測画像生成部１ｃの詳細を説明する。

（予測画像生成部１ｃの構成）
予測画像生成部１ｃの構成について、図１２を参照して説明する。図１２は、本発明の実施形態に係る予測画像生成部１ｃの要部構成と、各部間のデータの流れを示したブロック図である。

図１２に示すように、補正方法選択部２ｃ（算出手段、補正手段）以外の部材は、図１を参照して説明した予測画像生成部１が備える部材と共通するため、同一の符号を付与して、詳細な説明を省略する。

（予測画像生成部１ｃの処理）
図１２および図１３を参照して、本発明の実施形態に係る予測画像生成部１ｃの処理について、以下に説明する。

図１３は、本発明の実施形態に係る予測画像生成部１ｃの処理の流れを示したフローチャートである。

図１２に示すように、まず、予測画像候補生成部１０に、動きベクトル１０５と局所復号画像１０３とが入力される。これらに基づき、動き補償画像生成部１４は動き補償画像１０９を生成する（ステップＳ７０）。つづいて、動き補償画像生成部１４は動き補償画像１０９を、スイッチ４、および動き補償画像補正部１１〜１３のそれぞれに出力する（ステップＳ７１）。

ここで、実施形態１と異なる点は、動き補償画像１０９が補正方法選択部２ｃに入力されておらず、代わりに、動きベクトル１０５が補正方法選択部２ｃに入力されている点である。したがって、本実施形態では、補正方法選択部２ｃは、動きベクトル１０５を参照して、動き補償画像１０９を補正する最適な補正方法を選択する。選択基準の詳細は後述する。

なお、動き補償画像１０９を構成する画素の算出方法については、実施形態１と同様であるため、ここでは説明を省略する。

（スイッチ４）
一方、スイッチ４には、補正フラグ１０７が入力される。スイッチ４は、入力された補正フラグ１０７に基づき、動き補償画像１０９の補正は不要かどうかを判定する（ステップＳ７２）。補正フラグ１０７が「補正なし」を示しており、補正は不要であると判定した場合、動き補償画像１０９を予測画像１０６として、図３に示されている予測画像処理部２２の画像比較部３１および予測画像候補記録部３２に出力する（ステップＳ８１）。

一方、補正フラグ１０７が「補正あり」を示しており、補正は必要であると判定した場合、予測画像生成部１ｃは以下のステップを実行する。

まず補正方法選択部２ｃは、動きベクトル１０５を参照して、符号化対象ブロックにおける上記入力画像１００のフレーム間の画素値変化と、当該符号化対象ブロックに隣接する隣接領域における局所復号画像１０３のフレーム間の画素値変化との関連性を示す指標を算出する。具体的には、符号化対象ブロックの動きベクトル１０５と、同ブロックに隣接する符号化済みブロックの動きベクトル１０５との類似度（類似性）を数値化した指標を算出する。そして、算出した指標に基づいて複数の補正手段の何れかを選択する。つまり、動き補償画像補正部１１〜１３のうちのどの補正部を用いて補正を行うかを選択する。

補正方法選択部２ｃは、符号化対象ブロックの動きベクトル１０５と、同ブロックの上辺または左辺に隣接する符号化済みブロックの動きベクトルと１０５の類似度を計算し（ステップＳ７３）、計算結果に基づいて、最も適切な補正を行う動き補償画像補正部を選択する（ステップＳ７７〜７９）。ステップＳ７７〜７９の詳細については後述する。

（画素値変化の検出）
補正方法選択部２ｃが画素値変化をどのように検出するかを、説明する。

補正方法選択部２ｃは、まず、符号化対象ブロックの動きベクトルＭＣと、同ブロック上辺に隣接する符号化済みブロックの動きベクトルＭＴとの非類似度ＳＶを求める。非類似度ＳＶの値は次式（式１８）によって求められる。

補正方法選択部２ｃは、さらに、符号化対象ブロックの動きベクトルＭＣと、同ブロック左辺に隣接する符号化済みブロックの動きベクトルＭＬとの非類似度ＳＬを求める。非類似度ＳＨの値は次式（式１９）によって求められる。

式１８によって求められた非類似度ＳＶが所定の閾値より小さい場合は、符号化対象ブロックの動きベクトルと、同ブロック上辺に隣接する符号化済みブロックとの間の動きベクトルは類似していると判定する。一方、所定の閾値以上の場合は、符号化対象ブロックの動きベクトルと、同ブロック上辺に隣接する符号化済みブロックとの間の動きベクトルは類似していないと判定する。

同様に、式１９によって求められた非類似度ＳＨが所定の閾値より小さい場合は、符号化対象ブロックの動きベクトルと、同ブロック左辺に隣接する符号化済みブロックとの間の動きベクトルは類似していると判定する。一方、所定の閾値以上の場合は、符号化対象ブロックの動きベクトルと、同ブロック左辺に隣接する符号化済みブロックとの間の動きベクトルは類似していないと判定する。

（動き補償画像補正部の選択）
補正方法選択部２ｃは、ステップＳ７３において求められた動きベクトルの類似度に基づいて、動き補償画像補正部１１〜１３のうちいずれか最適なものを次の通り選択する。

補正方法選択部２ｃは、まず、ステップＳ７３において求められた動きベクトルの類似度に基づいて、符号化対象ブロックとその上辺に隣接する符号化済みブロックとにおける動きベクトルが類似しているかどうかを判定する（ステップＳ７４）。次に符号化対象ブロックと同ブロック左辺に隣接する符号化済みブロックとにおける動きベクトルが類似しているかどうかを判定する（ステップＳ７５およびＳ７６）。

まず、ステップＳ７４においてＹｅｓ、ステップＳ７５においてＮｏである場合を考える。具体的には、符号化対象ブロックにおける動きベクトルと同ブロック上辺に隣接する符号化済みブロックにおける動きベクトルとが類似しており、かつ、符号化対象ブロックにおける動きベクトルと同ブロック左辺に隣接する符号化済みブロックにおける動きベクトルとが類似していないと判定された場合である。

この場合、補正方法選択部２ｃは、動き補償画像補正部１２を選択する（ステップＳ７７）。これは、次のことが言えるからである。符号化対象ブロックにおける動きベクトルとその上辺に隣接する符号化済みブロックにおける動きベクトルとが類似している場合は、符号化対象ブロックと同ブロック上辺に隣接するブロックとが同一オブジェクトに属する可能性が高い。そして、両ブロックが同一オブジェクトに属する場合には、両ブロック間での画素値変化の相関は高い。実施形態１で説明したように、動き補償画像補正部１２は、符号化対象ブロックの上辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。

次に、ステップＳ７４においてＮｏ、ステップＳ７６においてＹｅｓである場合を考える。具体的には、符号化対象ブロックにおける動きベクトルと同ブロック上辺に隣接する符号化済みブロックにおける動きベクトルとが類似しておらず、かつ、符号化対象ブロックにおける動きベクトルと同ブロック左辺に隣接する符号化済みブロックにおける動きベクトルとが類似していると判定された場合である。

この場合、補正方法選択部２ｃは、動き補償画像補正部１３を選択する（ステップＳ７９）。これは、次のことが言えるからである。符号化対象ブロックにおける動きベクトルと同ブロック左辺に隣接する符号化済みブロックにおける動きベクトルとが類似している場合は、符号化対象ブロックと同ブロック左辺に隣接するブロックとが同一オブジェクトに属する可能性が高い。そして、両ブロックが同一オブジェクトに属する場合には、両ブロック間での画素値変化の相関は高い。実施形態１で説明したように、動き補償画像補正部１３は、符号化対象ブロックの左辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。

つづいて、ステップＳ７４およびステップＳ７５の両方においてＹｅｓの場合、または、ステップＳ７４およびステップＳ７６の両方においてＮｏの場合について説明する。具体的には、符号化対象ブロックにおける動きベクトルとその上辺に隣接する符号化済みブロックにおける動きベクトルとが類似しており、かつ符号化対象ブロックにおける動きベクトルとその左辺に隣接する符号化済みブロックにおける動きベクトルとが類似している場合、または両方とも類似していない場合である。

この場合、補正方法選択部２ｃは、動き補償画像補正部１１を選択する（ステップＳ７８）。これは、次のことが言えるからである。符号化対象ブロックにおける動きベクトルとその上辺に隣接する符号化済みブロックにおける動きベクトルとが類似しており、かつ符号化対象ブロックにおける動きベクトルとその左辺に隣接する符号化済みブロックにおける動きベクトルとが類似している場合には、符号化対象ブロックと、同ブロックの上辺に隣接する符号化済みブロックおよび左辺に隣接する符号化済みブロックとが同一オブジェクトに属する可能性が高い。実施形態１で説明したように、動き補償画像補正部１１は、符号化対象ブロックの上辺および左辺に隣接する画素の画素値の変化に基づいて補正するので、この場合、最適な動き補償画像補正部であると考えられる。一方、符号化対象ブロックにおける動きベクトルとその上辺に隣接する符号化済みブロックにおける動きベクトルとが類似しておらず、かつ符号化対象ブロックにおける動きベクトルとその左辺に隣接する符号化済みブロックにおける動きベクトルとが類似していない場合には、符号化対象ブロックと、同ブロックの上辺または左辺に隣接する符号化済みブロックとが、同一オブジェクトに存在するかどうかを推測できない。すなわち、両ブロック間の画素値変化の相関が測れない。しかしながら、実施形態１で説明したように、動き補償画像補正部１１は、符号化対象ブロックの上辺および左辺に隣接する画素の画素値の変化に基づいて補正するので、この場合にも、動き補償画像補正部１１は、最適な動き補償画像補正部であると考えられる。

つづいて、動き補償画像補正部１１〜１３のそれぞれが、動き補償画像１０９を補正する（ステップＳ８０）。

補正方法選択部２ｃは、上記の選択結果１１１をスイッチ３に出力する。

スイッチ３は、動き補償画像補正部１１〜１３のうち、選択された動き補償画像補正部につながる入力に切替える。これにより、選択された動き補償画像補正部によって補正された動き補償画像１０９を補正後動き補償画像１１０としてスイッチ４に出力する。

スイッチ４は、入力される補正フラグ１０７に応じて、動き補償画像１０９と補正後動き補償画像１１０のいずれかを選択する。具体的には、補正フラグ１０７が、「補正あり」を示していれば、補正後動き補償画像１１０を選択し、「補正なし」を示していれば、動き補償画像１０９を選択する。つづいて、選択した画像を予測画像１０６として、予測残差算出部２３と局所復号画像生成部２８とに出力する（ステップＳ８１）。

上記のように、予測画像生成部１ｃは、符号化対象ブロックの上辺または左辺に隣接する復号済現画像上の領域における、フレーム間の動きベクトルの類似度に基づいて、複数の動き補償画像補正部から、最適な補正方法を用いるものを選択し、これを用いて動き補償画像１０９を補正する。これにより、実施形態１と同様の効果を得ることができる。

本発明は、動画像符号化装置として、映像機器全般に搭載されて幅広く利用できる。たとえば、HDDレコーダ、携帯電話装置の端末などに搭載して実現できる。

１、１ａ、１ｂ、１ｃ 予測画像生成部
２、２ａ、２ｂ、２ｃ 補正方法選択部（算出手段）（選択手段）
３ スイッチ
４ スイッチ
１０ 予測画像候補生成部
１１、１２、１３ 動き補償画像補正部（補正手段）
１４ 動き補償画像生成部
２０ 画像入力部
２１ 動き検出部
２２ 予測画像処理部
２３ 予測残差算出部
２４ 直交変換部
２５ 量子化部
２６ 逆量子化部
２７ 逆直交変換部
２８ 局所復号画像生成部
２９ フレームメモリ
２００ 動画像符号化装置（動画像符号化装置）
２０１ 可変長符号化部
２０２ 符号化データ出力部
３０ 予測画像選択部
３１ 画像比較部
３２ 予測画像候補記録部
５１、１４２ 符号化対象ブロック
５２、５３、１４１ 領域
５４ エッジ
７００ 動画像復号装置（動画像復号装置）
７０ 符号化データ入力部
７１ 可変長符号復号部
７４ 局所復号画像生成部
７５ 局所復号画像出力部
１００ 入力画像
１０１ 予測残差
１０２ 変換係数レベル
１０３ 局所復号画像
１０５、１５１ 動きベクトル
１０６ 予測画像（予測画像）
１０７ 補正フラグ
１０８ 符号化データ
１０９ 動き補償画像（動き補償画像）
１１０ 補正後動き補償画像
１１１ 選択結果
１１２ 評価値Ｒ
１４０ 処理対象画像
１５２ 参照ブロック
１５３ 参照ブロック隣接領域
１５４ 符号化対象ブロック隣接領域

Claims (11)

1. 入力画像と予測画像との差分をブロック毎に符号化する動画像符号化装置であって、
   符号化対象ブロックにおける上記入力画像のフレーム間の画素値変化と、該符号化対象ブロックに隣接する隣接領域における局所復号画像のフレーム間の画素値変化との関連性を示す指標を算出する算出手段と、
   上記隣接領域に含まれる相異なる領域における上記局所復号画像のフレーム間の画素値変化に基づいて動き補償画像を補正する複数の補正手段と、
   上記複数の補正手段のうち何れの補正手段によって補正された動き補償画像を上記予測画像として利用するかを上記指標に基づいて選択する選択手段と、を備えている、ことを特徴とする動画像符号化装置。
2. 上記複数の補正手段は、
   上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第１の補正手段と、
   上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第２の補正手段と、
   上記符号化対象ブロックの上辺に隣接する領域、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像のフレーム間の画素値変化に基づいて上記動き補償画像を補正する第３の補正手段とのうち、２以上の補正手段を含んでいる、ことを特徴とする請求項１に記載の動画像符号化装置。
3. 上記算出手段は、上記動き補償画像の画素値を参照して上記指標を算出する、ことを特徴とする請求項１または２に記載の動画像符号化装置。
4. 上記指標は、上記動き補償画像におけるエッジ強度、又は、エッジ方向を示す数値である、ことを特徴とする請求項３に記載の動画像符号化装置。
5. 上記算出手段は、上記隣接領域における上記局所復号画像の画素値を参照して上記指標を算出する、ことを特徴とする請求項１または２に記載の動画像符号化装置。
6. 上記指標は、上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像の画素値の連続性、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像の画素値の連続性を示す数値である、ことを特徴とする請求項５に記載の動画像符号化装置。
7. 上記算出手段は、上記隣接領域における上記局所復号画像の画素値変化を参照して上記指標を算出する、ことを特徴とする請求項１または２に記載の動画像符号化装置。
8. 上記指標は、上記符号化対象ブロックの上辺に隣接する領域における上記局所復号画像の画素値変化の大きさ、及び、上記符号化対象ブロックの左辺に隣接する領域における上記局所復号画像の画素値変化の大きさを示す数値である、ことを特徴とする請求項７に記載の動画像符号化装置。
9. 上記算出手段は、上記符号化対象ブロックの動きベクトルと、該符号化対象ブロックに隣接する符号化済ブロックの動きベクトルとを参照して上記指標を算出する、ことを特徴とする請求項１または２に記載の動画像符号化装置。
10. 上記指標は、上記符号化対象ブロックの動きベクトルと該符号化対象ブロックの上辺に隣接する符号化済ブロックの動きベクトルとの類似性、及び、上記符号化対象ブロックの動きベクトルと該符号化対象ブロックの左辺に隣接する符号化済ブロックの動きベクトルとの類似性を示す数値である、ことを特徴とする請求項９に記載の動画像符号化装置。
11. 入力画像と予測画像との差分をブロック毎に符号化することによって得られた符号化データを復号する動画像復号装置であって、
    復号対象ブロックにおける上記入力画像のフレーム間の画素値変化と、該復号対象ブロックに隣接する隣接領域における局所復号画像のフレーム間の画素値変化との関連性を示す指標を算出する算出手段と、
    上記隣接領域に含まれる相異なる領域における上記局所復号画像のフレーム間の画素値変化に基づいて動き補償画像を補正する複数の補正手段と、
    上記入力画像を再現するために、上記複数の補正手段のうち何れの補正手段によって補正された動き補償画像を上記予測画像として利用するかを上記指標に基づいて選択する選択手段と、を備えている、ことを特徴とする動画像復号装置。

Images