JP4886479B2 - 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置 - Google Patents

Description

本発明は、動画像の動きを表す動きベクトルを補正する動きベクトル補正装置及び動きベクトル補正プログラム、並びにその動きベクトル補正装置を用いた補間フレーム生成装置及び映像補正装置に関する。

ニュース映像などには、他の報道者などが静止画撮影のために発光したフラッシュによる明滅が含まれている場合がある。その急激な輝度変化はニュース映像の視聴者に不快感を与えることがある。また、このような映像を符号化やフレームレート変換する際に、映像圧縮率や品質の低下などの要因となる。また、放送局において映像を利用する際に編集上の制限となる場合があり、一種の映像雑音ともいうことができる。

このような映像の補正方法としては、部分的に消失した輝度値を近傍映像などから修復する方法がある（非特許文献１）。これは、劣化領域が小さい場合には有効であるが、フラッシュのように輝度変動がフレームの広範囲にわたる場合には適用が難しい。
フレーム全体の明滅に対しては、時間方向の低域通過フィルタを適用する方法がある（非特許文献２）。この手法では、明滅を低減することはできるが完全に取り除くことは原理的に難しい。

そこで、フラッシュによる明滅等を補正するために、補正対象の映像フレームの前後の、フラッシュの影響のない映像フレームから、その間の映像の動き情報を考慮して補間フレームを作成して代替挿入することが考えられる。この場合、動き情報として動きベクトルを検出して補間フレーム作成のために使用する。

このように、動きベクトルを検出して使用するものとしては、他にも、動画像の符号化処理やフレームレート変換における補間フレームの生成処理などがある。
何れの用途においても、検出された動きベクトルが適切でないと画質が劣化してしまうため、検出された動きベクトルが適切かどうかを判断して、補正する方法が従来から提案されている（例えば、特許文献１〜６、非特許文献３）。

通常、動画像における動きベクトルは、その周囲の動きベクトル（以下、周辺ベクトルという）と相関を持った大きさと向きとを有しており。周囲と極端に異なる値を持つことは少ない。そのため、周辺ベクトルとの差が極端に大きいベクトルを補正する手法が用いられる。
また、動きベクトルを補正する手法としては、周辺ベクトルの平均ベクトルに基づいて補正する手法（特許文献２〜６）や、周辺ベクトルの内の中間ベクトルに置き換える手法（特許文献１、非特許文献３）などがある。
特開平６−１７８２８５号公報（段落００２７） 特開平７−１３１７８３号公報（段落００４５） 特開平７−１７７５０１号公報（段落００１２） 特開平７−２３１４４６号公報（段落００２１） 特開２００４−１８００４４号公報（段落００３９） 特開２００４−２７４６２８号公報（段落００２６） 小川ほか，「ＧＭＲＦモデルを用いた静止画像における失われた輝度値の復元」，信学論（Ｄ），ｖｏｌ．Ｊ８９−Ｄ，ｎｏ．６，ｐｐ．１３２７−１３３５，Ｊｕｎ．２００６ Ｎ．Ｎｏｍｕｒａ ｅｔ ａｌ．，"Ａ ｎｅｗ ａｄａｐｔｉｖｅ ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒ： Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｓｅｉｚｕｒｅ ｐａｔｉｅｎｔｓ"，Ｐｓｙｃｈｉａｔｒｙ ａｎｄ Ｃｌｉｎｉｃａｌ Ｎｅｕｒｏｓｃｉｅｎｃｅｓ，ｖｏｌ．５４，ｐｐ．６８５−６９０，Ｄｅｃ．２０００ Ｊ．Ａｓｔｏｌａ，Ｐ．Ｈａａｖｉｓｔａ ａｎｄ Ｙ．Ｎｅｕｖｏ，"Ｖｅｃｔｏｒ ｍｅｄｉａｎ Ｆｉｌｔｅｒｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，ｖｏｌ．７８，ｎｏ．４，ｐｐ．６７８−６８９，Ａｐｒ．１９９０

しかしながら、単純に周辺ベクトルの平均ベクトルを求めて、この平均ベクトルに基づいて補正対象の動きベクトルを補正するものや、周辺ベクトル内における中間ベクトルを用いる手法においては、周辺ベクトル内に他と比較して異常なベクトル（以下、不正ベクトルという）が存在する場合、平均ベクトルや中間ベクトルそのものに信頼性がなく、動きベクトルを適切に補正できないという問題があった。
すなわち、周囲に存在する不正ベクトルの偏差が大きく、また不正ベクトルの数が多くなる程、平均ベクトルや中間ベクトルへの影響が大きく、動きベクトルの適切な補正が困難であった。

そこで、本発明は、不正ベクトルの影響を適切に除去して動きベクトルを補正する動きベクトル補正装置及び動きベクトル補正プログラムを提供することを目的とする。
また、この動きベクトル補正装置によって補正した動きベクトルを用いて、フレーム間を補間する補間フレームを生成する補間フレーム生成装置を提供することを他の目的とする。
さらに、この動きベクトル補正装置によって補正した動きベクトルを用いて、フラッシュなどの影響により大きく輝度変動した領域を含むフレームを補正する映像補正装置を提供することを他の目的とする。

そのために、請求項１に記載の動きベクトル補正装置は、動画像における所定の単位領域毎に検出された動きベクトルを補正する動きベクトル補正装置であって、動きベクトル検出手段と、平均ベクトル算出手段と、補正処理手段とを備えた構成とした。

かかる構成によれば、動きベクトル補正装置は、動きベクトル検出手段によって、動画像における２つのフレーム間における動きベクトルを、単位領域毎に検出する。ここで、動きベクトル補正装置は、動きベクトル検出手段によるブロックマッチング法を用いた動きベクトルの検出において、動画像における任意のフレームである注目フレームに対して時間的に前の前フレーム及び注目フレームについて、時間的に後の後フレーム間の輝度値を用いたブロック間コストと、注目フレーム及び前フレーム間、又は注目フレーム及び後フレーム間の何れかのエッジ情報、あるいは、前記注目フレーム及び前記前フレーム間と前記注目フレーム及び前記後フレーム間とのエッジ情報を用いたブロック間コストと、を算出し、輝度値を用いたブロック間コストとエッジ情報を用いたブロック間コストとの和が最小になる動きベクトルを検出する。
そして、動きベクトル補正装置は、平均ベクトル算出手段によって、補正対象の動きベクトルである補正対象ベクトルが検出された単位領域の周辺の、例えば、８近傍や２４近傍の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で向きや大きさの偏差の大きなベクトルを除外して、周辺ベクトルの平均ベクトルを算出する。

そして、動きベクトル補正装置は、補正処理手段によって、補正対象ベクトルと平均ベクトル算出手段によって算出された平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、平均ベクトルを選択し、差分の絶対値が所定の値以下の場合は、補正対象ベクトルを選択し、補正対象ベクトルが検出された単位領域における動きベクトルとして出力する。
これによって、補正対象ベクトルが周辺ベクトルとの相関が低い不正なベクトルであると判断される場合に、選択的に平均ベクトルに置き換えることができる。

請求項２に記載の動きベクトル補正装置は、請求項１に記載の動きベクトル補正装置において、前記平均ベクトル算出手段は、前記周辺ベクトルの成分毎に、成分値の大きさが上位の４分の１及び下位の４分の１を除外して成分値の平均値を算出し、当該平均値を成分とするベクトルを前記平均ベクトルとするように構成した。

かかる構成によれば、動きベクトル補正装置は、周辺ベクトルの中から、他のベクトルとの偏差が大きなベクトルから順に、全体の２分の１のベクトルを除外して平均値を算出した四分位平均ベクトルを平均ベクトルとして算出する。
これによって、周囲の動きベクトルとの相関が低い不正ベクトルが複数含まれる場合であっても、これらの不正ベクトルを適切に除外して平均ベクトルを算出することができる。

請求項３に記載の動きベクトル補正プログラムは、動画像における所定の単位領域毎に検出された動きベクトルを補正するために、コンピュータを、動きベクトル検出手段、平均ベクトル算出手段、補正処理手段、として機能させる構成とした。

かかる構成によれば、動きベクトル補正プログラムは、動きベクトル検出手段によって、動画像における２つのフレーム間における動きベクトルを、単位領域毎に検出する。ここで、動きベクトル補正プログラムは、動きベクトル検出手段によるブロックマッチング法を用いた動きベクトルの検出において、動画像における任意のフレームである注目フレームについて、時間的に前の前フレーム及び注目フレームに対して時間的に後の後フレーム間の輝度値を用いたブロック間コストと、注目フレーム及び前フレーム間、又は注目フレーム及び後フレーム間の何れかのエッジ情報、あるいは、前記注目フレーム及び前記前フレーム間と前記注目フレーム及び前記後フレーム間とのエッジ情報を用いたブロック間コストと、を算出し、輝度値を用いたブロック間コストとエッジ情報を用いたブロック間コストとの和が最小になる動きベクトルを検出する。
そして、動きベクトル補正プログラムは、平均ベクトル算出手段によって、補正対象の動きベクトルである補正対象ベクトルが検出された単位領域の周辺の、例えば、８近傍や２４近傍の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で向きや大きさの偏差の大きなベクトルを除外して、周辺ベクトルの平均ベクトルを算出する。

そして、動きベクトル補正プログラムは、補正処理手段によって、補正対象ベクトルと平均ベクトル算出手段によって算出された平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、平均ベクトルを選択し、差分の絶対値が所定の値以下の場合は、補正対象ベクトルを選択し、補正対象ベクトルが検出された単位領域における動きベクトルとして出力する。
これによって、補正対象ベクトルが周辺ベクトルとの相関が低い不正なベクトルであると判断される場合に、選択的に平均ベクトルに置き換えることができる。

請求項４に記載の補間フレーム生成装置は、請求項１又は請求項２に記載の動きベクトル補正装置と、補間フレーム生成手段とを備えた構成とした。

かかる構成によれば、補間フレーム生成装置は、動きベクトル補正装置によって、動画像における２つのフレーム間における動きベクトルを、所定の単位領域毎に検出し、当該動きベクトルを補正する。
そして、補間フレーム生成装置は、補間フレーム生成手段によって、２つのフレームと、動きベクトル補正装置によって補正された動きベクトルとに基づいて、当該２つのフレームの間を補間する補間フレームを生成する。
これによって、補間フレーム生成装置は、不正ベクトルの影響が除去された動きベクトルに基づいて、補間フレームを生成することができる。

請求項５に記載の映像補正装置は、動画像における時間的に前後のフレームに対して、輝度変動が大きい輝度変動領域を含むフレームを補正する映像補正装置であって、請求項１又は請求項２に記載の動きベクトル補正装置と、補間フレーム生成手段と、輝度変動領域検出手段と、フレーム合成手段とを備えた構成とした。

かかる構成によれば、映像補正装置は、動きベクトル補正装置によって、輝度変動領域を含む補正対象フレームに対して、時間的に前の前フレームおよび時間的に後の後フレーム間の動きベクトルを、所定の単位領域毎に検出し、当該動きベクトルを補正する。
そして、映像補正装置は、補間フレーム生成手段によって、前フレームと、後フレームと、動きベクトル補正装置で補正した動きベクトルとに基づいて、動画像において、補正対象フレームの位置における補間フレームを生成する。

一方、映像補正装置は、輝度変動領域検出手段によって、前フレーム又は後フレームと、補正対象フレームとを比較して、補正対象フレームにおいて、所定の単位領域毎に、所定の基準に基づいて、輝度変動が大きい輝度変動領域かどうかを検出する。
そして、この単位領域が輝度変動領域として検出された場合は、この単位領域の画素データとして補間フレーム生成装置によって生成された補間フレームの画素データを選択し、この単位領域が輝度変動領域でない場合は、補正対象フレームの画素データを選択することによって、補間フレームと補正対象フレームとを合成して補正フレームを生成する。
これによって、映像補正装置は、例えば、フラッシュなどの影響により、前後のフレームと輝度が大きく変動した領域のみを選択的に、不正ベクトルの影響が除去された動きベクトルに基づいて生成された補間フレームに置き換えて補正フレームを生成することができる。

請求項１又は請求項３に記載の発明によれば、補正対象ベクトルが周辺ベクトルとの相関が低い不正ベクトルであると判断される場合に、選択的に平均ベクトルに置き換えるため、必要以上に平均化処理をされることなく補正対象ベクトルを補正することができる。
請求項２に記載の発明によれば、周辺ベクトルの中に不正ベクトルが複数含まれる場合であっても、これらの不正ベクトルを適切に除外して平均ベクトルを算出するため、動きベクトルの検出精度が悪い領域においても適切な動きベクトルに補正することができる。
請求項４に記載の発明によれば、不正ベクトルの影響が除去された動きベクトルに基づいて、補間フレームを生成するため、補間フレームにブロックノイズなどの画質劣化の発生を抑制することができる。
請求項５に記載の発明によれば、前後のフレームと輝度が大きく変動した領域のみを選択的に、補間フレームに置き換えて補正フレームを生成するため、フラッシュなどの影響を受けずに輝度変動していない領域は、元のフレームの先鋭な画像を維持することができる。

以下、本発明の実施形態について図面を参照して説明する。
＜フレーム補正装置の構成＞
まず、図１を参照して、本発明の実施形態であるフレーム補正装置（映像補正装置）１の構成について説明する。ここで、図１は、本発明の実施形態のフレーム補正装置の構成を示すブロック図である。

図１に示したように、フレーム補正装置（映像補正装置）１は、補間フレーム生成装置１０と、フラッシュ非到達領域検出部１４と、フレーム合成部１５とを備えて構成される。本実施形態のフレーム補正装置１は、フラッシュによる明滅が含まれるフラッシュフレーム（補正対象フレーム）ｆ_ｎを、フラッシュの影響を受けていない直前のフレーム（前フレーム）ｆ_ｎ−１と、直後のフレーム（後フレーム）ｆ_ｎ＋１とに基づき、直前のフレームｆ_ｎ−１と、直後のフレームｆ_ｎ＋１との間の動きベクトルを使用して補正フレームｆ’_ｎを算出する装置である。
以下、各部の構成について説明する。

補間フレーム生成装置１０は、動きベクトル検出部１１と、動きベクトル補正部１２と、補間フレーム生成部１３とを備えて構成される。
補間フレーム生成装置１０は、フラッシュフレームｆ_ｎの直前のフレームｆ_ｎ−１と直後のフレームｆ_ｎ＋１とに基づき、フラッシュフレームｆ_ｎに代えて使用する補間フレームｆ_ｉｎを生成し、フレーム合成部１５に出力する。

動きベクトル検出部１１は、フラッシュフレームｆ_ｎの直前のフレームｆ_ｎ−１と、直後のフレームｆ_ｎ＋１とに基づき、これらのフレーム間の動きベクトルｖを、単位ブロック（所定の単位領域）毎に検出して、動きベクトル補正部１２に出力する。
例えば、フレームの画素サイズが７２０×４８０のときに、単位ブロックを１６×１６の画素サイズとすると、フレームを４５×３０＝１３５０個の単位ブロックに分割し、動きベクトル検出部１１は、この単位ブロック毎に動きベクトルｖを検出して出力する。

ここで、動きベクトルの検出方法について説明する。
２つのフレーム間の動きベクトルｖは、例えば、ブロックマッチング法によって検出することができる。ブロックマッチング法によれば、動きベクトルｖを検出する一方のフレーム（例えば、ｆ_ｎ−１）を、前記したように所定の単位ブロックに分割する。そして、他方のフレームｆ_ｎ＋１における同サイズの単位ブロックの位置を様々に変化させ、フレームｆ_ｎ−１における補正対象ブロックとのブロック間のコストが最小となる位置を探索する方法である。このときの両フレームにおける単位ブロックの相対位置として動きベクトルｖが検出される。
なお、ブロック間のコストは、例えば、両フレームのブロックの対応する画素同士の差分の絶対値の和（絶対差分和）や差分の二乗の和（差分二乗和）として算出すことができる。このブロックマッチングを、最初に単位ブロックに分割したフレームｆ_ｎ−１のすべての単位ブロックについて行うことによって、単位ブロック毎の動きベクトルｖを得ることができる。

また、動きベクトルｖの検出のために、フラッシュフレームｆ_ｎも参照するようにしてもよい。例えば、フラッシュフレームｆ_ｎの直前のフレームｆ_ｎ−１と直後のフレームｆ_ｎ＋１との間におけるブロック間のコストとして、ｆ_ｎ−１（ｒ）とｆ_ｎ＋１（ｒ＋ｖ）との差分二乗和を算出すると共に、直前のフレームｆ_ｎ−１とフラッシュフレームｆ_ｎとの間のブロック間のコストとして、ｆ_ｎ−１（ｒ）とｆ_ｎ（ｒ＋ｖ／２）との差分二乗和を算出し、２つのブロック間のコストに基づいて、例えば、これらのブロック間のコストの和が最小になる動きベクトルｖを検出する。ただし、ベクトルｒは各単位ブロック内における座標を示し、ｆ_ｎ（ｒ）などは、フレームｆ_ｎの座標ｒにおける輝度値（画素データ）を示す。
これによって、フラッシュフレームｆ_ｎにおける動きベクトルｖの推定精度を向上することができる。

ここで、フラッシュフレームｆ_ｎは、フラッシュの影響を受けて高輝度になっている領域では、輝度値が上昇しているため、ブロックマッチングを精度よく行うことができない。そこで、直前のフレームｆ_ｎ−１とフラッシュフレームｆ_ｎとの間のブロック間のコストは、これらのフレームの輝度値に代えてエッジ情報を用いて行うようにすればよい。エッジ情報としては、例えば、ソーベルフィルタなどの１次微分フィルタやラプラシンアンフィルタなどの２次微分フィルタを用いてエッジ抽出したエッジ抽出画像を用いることができる。フラッシュの影響を受けて高輝度になった領域においても、エッジ情報は比較的変化せずに保存されているため、このエッジ抽出画像に対してブロックマッチングを行うことで、適切にブロック間のコストを算出することができるようになる。
また、フラッシュフレームｆ_ｎと直前のフレームｆ_ｎ−１との間のブロック間のコストに代えて、あるいは加えて、フラッシュフレームｆ_ｎと直後のフレームｆ_ｎ＋１との間のブロック間のコストを算出して用いるようにしてもよい。

なお、単位ブロックの形状は、１６×１６の正方形領域に限定されるものではなく、８×１６や１６×８などの長方形領域としてもよいし、正三角形や正六角形領域としてフレームを稠密に単位ブロックに分割するようにしてもよい。
また、ブロック間のコストを他のコスト関数によって算出するようにしてもよく、さらに、ブロックマッチング法以外の方法により動きベクトルｖを検出するようにしてもよい。

動きベクトル補正部（動きベクトル補正装置）１２は、動きベクトル検出部１１によって単位ブロック毎に検出された動きベクトルｖを入力し、各単位ブロックにおける動きベクトル（補正対象ベクトル）ｖを、当該単位ブロック（補正対象ブロック）の周辺の複数の単位ブロック（周辺ブロック）における動きベクトル（周辺ベクトル）を参照して補正し、得られた補正ベクトルｖ_ｃｒｒを補間フレーム生成部１３に出力する。

ここで、図２を参照（適宜図１参照）して、動きベクトル補正部１２の詳細な構成について説明する。なお、図２は、本発明の実施形態における動きベクトル補正部の構成を示すブロック図である。

図２に示したように、動きベクトル補正部１２は、動きベクトル保持部２１と、四分位平均ベクトル算出部２２と、補正処理部２３とを備えて構成される。

ここで、図３を参照して、本発明による動きベクトルの補正方法について説明する。なお、図３は、フレーム中の補正対象ブロック及びその周辺ブロックで検出された動きベクトルを示す図である。
図３は、単位ブロックに分割されたフレームの一部分を示すものであり、３×３の９個のブロック領域を示している。

動画像における動きベクトルは、通常は、その周囲の動きベクトルと相関をもった大きさと向きとを有しており、周囲と極端に異なる値を持つことは少ない。そのため、周辺ベクトルとの差が極端に大きな動きベクトルを補正する。本発明では、周辺ベクトルの中から外れた値の動きベクトル（不正ベクトル）を除外した上で、周辺ベクトルの平均ベクトルを算出し、補正対象ベクトルと、その平均ベクトルとの差が極端に大きい場合に、補正対象ベクトルを補正する。

例えば、図３に示した例では、補正対象ベクトルｖ_１は、周辺ベクトルｖ_２〜ｖ_９とは異なる向きを示しており、補正すべきベクトルである。また、周辺ベクトルｖ_２〜ｖ_９においても、周辺ベクトルｖ_２は、他の周辺ベクトルｖ_３〜ｖ_９とは、その向きと大きさとが大きく異なる不正ベクトルである。
本発明は、このような不正ベクトルを除外して平均ベクトルを算出することにより、補正対象ベクトルｖ_１の周囲に不正ベクトルが存在した場合でも、その影響を受けずに適切な補正を行うものである。

図３において、３×３のブロックの中心に位置するブロック“１”が補正対象ブロックであり、ブロック“２”〜ブロック“９”が周辺ブロックである。図３に示した例では、８近傍の周辺ブロックにおける周辺ベクトルｖ_２〜ｖ_９を参照して、補正対象ベクトルｖ_１を補正する。

図４は、他の実施形態の補正対象ブロックとその周辺ブロックの関係を示す図である。図４に示した例では、５×５の２５個のブロック領域を示しており、中心のブロックを補正対象ブロックとすると、２４近傍の周辺ブロックにおける２４個の動きベクトルを周辺ベクトルとして参照して、補正対象ベクトルを補正する場合の例である。
なお、参照する周辺ブロックはこれらに限定されるものではなく、例えば、５×５ブロックの内で、中心から離れた、四隅のブロックを除く２０近傍の周辺ブロックにおける動きベクトルを参照するようにしてもよい。

図２に戻って、動きベクトル補正部１２の各部の構成について説明する。
動きベクトル保持部２１は、動きベクトル検出部１１（図１参照）によって、単位ブロック毎に検出された動きベクトルｖを一時的に保持する記憶手段である。そして、少なくとも補正対象ベクトルｖ_ｔと、この補正対象ベクトルｖ_ｔを補正するために参照する周辺ベクトルｖ_ｎとを保持し、これらのベクトル値を同時に参照することができるようにするための記憶手段である。動きベクトル保持部２１は、保持した動きベクトルｖの内で、補正対象ベクトルｖ_ｔを補正処理部２３の選択部２３ａ及び差分算出部２３ｂに出力し、周辺ベクトルｖ_ｎを四分位平均ベクトル算出部２２に出力する。
例えば、図３に示したように、３×３のブロック領域を参照する場合は、動きベクトル保持部２１は、補正対象ベクトルｖ_ｔとして動きベクトルｖ_１を出力し、周辺ベクトルｖ_ｎとして動きベクトルｖ_２〜ｖ_９を出力する。

なお、動きベクトル保持部２１は、補正対象ベクトルｖ_ｔ及び周辺ベクトルｖ_ｎのみを保持するようにし、補正対象ベクトルｖ_ｔを更新する際に、保持する周辺ベクトルｖ_ｎも順次更新するようにしてもよいし、フレーム内のすべての単位ブロックにおける動きベクトルｖを保持し、補正対象となるベクトルに応じて、補正対象ベクトルｖ_ｔと、対応する周辺ベクトルｖ_ｎとを出力するようにしてもよい。

四分位平均ベクトル算出部（平均ベクトル算出手段）２２は、動きベクトル保持部２１から出力された周辺ベクトルｖ_ｎに基づき、不正ベクトルを除外した平均ベクトルとして四分位平均ベクトルｖ_ｑを算出し、補正処理部２３の選択部２３ａ及び差分算出部２３ｂに出力する。

ここで、図５を参照して、四分位平均ベクトルｖ_ｑの算出方法について説明する。なお、図５は、四分位平均ベクトルを算出する方法を説明するためのグラフ図である。
図５は、周辺ベクトルｖ_ｎ（図３に示した例では、ベクトルｖ_２〜ｖ_９）のｘ成分値（又は、ｙ成分値）の大きさを横軸に示し、その累積頻度を縦軸に示したグラフである。四分位平均ベクトルｖ_ｑは、図５に示した累積頻度の中で、ｘ成分値（又は、ｙ成分値）の大きさが、下位の４分の１のｘ成分値（又は、ｙ成分値）と、上位の４分の１のｘ成分値（又は、ｙ成分値）をもつ周辺ベクトルを不正ベクトルであると判定して除外し、残りの２分の１のｘ成分値（又は、ｙ成分値）の平均値をｘ成分値（又は、ｙ成分値）とする平均ベクトルである。なお、本実施形態では、ｘ成分とｙ成分とは、それぞれ独立に順位付けして四分位平均を算出するようにした。
これによって、周辺ベクトルｖ_ｎから不正ベクトルの影響を除去した適切な平均ベクトルを算出することができる。

四分位平均ベクトルｖ_ｑを、補正対象ブロックを囲むＮ個の単位ブロックからなるＮ近傍の周辺ブロックにおけるＮ個の周辺ベクトルｖ_ｎのｘ成分値とｙ成分値とから求める場合の算出式は、式（１）のようになる。

式（１）において、ｘ_（ｉ）は、周辺ベクトルｖ_ｎのｘ成分値のうちｉ番目に大きい値を示し、ｙ_（ｉ）は、周辺ベクトルｖ_ｎのｙ成分値のうちｉ番目に大きい値を示す。
例えば、図３に示したように、３×３のブロック領域における周辺ベクトルｖ_ｎを参照する場合は、Ｎ＝８であり、上位４分の１、すなわち、１番目及び２番目のｘ成分値（又は、ｙ成分値）と、下位４分の１、すなわち、７番目及び８番目のｘ成分値（又は、ｙ成分値）を除外して、３番目から６番目までの４個のｘ成分値（又は、ｙ成分値）の平均値が、四分位平均ベクトルｖ_ｑのｘ成分値（又は、ｙ成分値）となる。

同様に、図４に示したように、５×５のブロック領域において、２４近傍の周辺ブロックにおける周辺ベクトルｖ_ｎを参照する場合は、Ｎ＝２４であり、上位４分の１及び下位４分の１を除外した残りの、７番目から１８番目までの１２個のｘ成分値（又は、ｙ成分値）の平均値が、四分位平均ベクトルｖ_ｑのｘ成分値（又は、ｙ成分値）となる。

なお、本実施形態では、動きベクトルｖをｘ成分とｙ成分とによって表現する直交座標表現としたが、これに限定されるものではなく、例えば、方向と大きさとを成分とする極座標表現のベクトルとして、四分位平均ベクトルを算出するようにしてもよい。

また、本実施形態では、上位４分の１及び下位４分の１の成分値を除外して周辺ベクトルｖ_ｎの中の不正ベクトルによる影響を除外するようにしたが、これに限定されるものではなく、上位３分の１及び下位３分の１や、上位２個及び下位２個の成分を除外するというように、除外する範囲を適宜変更してもよい。
あるいは、平均値との絶対差分を算出し、この絶対差分が所定の閾値以上である場合に不正ベクトルであると判断してこの成分値を除外するようにしてもよい。
また、周辺ベクトルｖ_ｎの成分値の平均値及び標準偏差を算出し、各成分値の平均値からの偏差と標準偏差に基づいて、例えば、平均値からの偏差が標準偏差を超える成分値を除外するようにしてもよい。

このように、平均ベクトルを算出する際に、不正ベクトルと判断される成分を除外することにより適切な平均ベクトルを得ることができる。また、不正ベクトルが含まれない場合においても、周辺ベクトルｖ_ｎの中の中央値に近い成分値に限定して平均値を算出することにより、過度にベクトルを平均化することがなく、このベクトルを用いて、例えば、補間フレームを生成する場合において、画像のボケなどの画質劣化を抑制することができる。

図２に戻って、動きベクトル補正部１２の構成について説明を続ける。
図２に示したように、補正処理部２３は、選択部２３ａと、差分算出部２３ｂと、判定部２３ｃとを備えて構成される。補正処理部２３は、動きベクトル保持部２１から出力された補正対象ベクトルｖ_ｔを、四分位平均ベクトル算出部２２から出力された周辺ベクトルの四分位平均ベクトルｖ_ｑに基づいて補正し、得られた補正ベクトルｖ_ｃｒｒを補間フレーム生成部１３（図１参照）に出力する。

差分算出部２３ｂは、補正対象ベクトルｖ_ｔと四分位平均ベクトルｖ_ｑとの差分の絶対値｜ｖ_ｔ−ｖ_ｑ｜を算出し、判定部２３ｃに出力する。
判定部２３ｃは、差分算出部２３ｂが算出した差分の絶対値｜ｖ_ｔ−ｖ_ｑ｜と、所定の閾値ｔｈｒ１とを比較して、補正対象ベクトルｖ_ｔが補正すべき不正なベクトルかどうかを判定し、判定結果を選択部２３ａに出力する。
選択部２３ａは、式（４）に示したように、判定部２３ｃの判定結果に基づき、差分の絶対値が閾値ｔｈｒ１よりも小さい場合は、補正対象ベクトルｖ_ｔをそのまま補正ベクトルｖ_ｃｒｒとして出力し、差分の絶対値が閾値ｔｈｒ１以上の場合は、四分位平均ベクトルｖ_ｑを補正ベクトルｖ_ｃｒｒとして出力する。

すなわち、補正対象ベクトルｖ_ｔが、周辺ベクトルｖ_ｎと向き又は大きさが大きく異なる不正ベクトルである場合は、四分位平均ベクトルｖ_ｑに置き換えられ、適切なベクトルに補正されると共に、補正対象ベクトルｖ_ｔが不正ベクトルでない場合は、元のベクトルのまま出力される。

このため、例えば、図１に示したように、補間フレーム生成部１３によって、補間フレームｆ_ｉｎを生成する際に、補正対象ベクトルｖ_ｔが不正ベクトルであった場合に、補間フレームｆ_ｉｎにブロックノイズが発生することを防止することができると共に、補正対象ベクトルｖ_ｔが不正ベクトルでない場合に、ベクトルの平均化処理による画像のボケやにじみの発生を回避し、先鋭さを維持した補間フレームｆ_ｉｎを得ることができる。

図１に戻って、フレーム補正装置１の構成について説明を続ける。
補間フレーム生成部１３は、フラッシュフレームｆ_ｎの直前のフレームｆ_ｎ−１と、直後のフレームｆ_ｎ＋１と、動きベクトル補正部１２によって出力された動きベクトルｖの補正ベクトルｖ_ｃｒｒとに基づいて、フラッシュフレームｆ_ｎに代えて使用するための補間フレームｆ_ｉｎを生成してフレーム合成部１５に出力する。

本実施形態における補間フレーム生成部１３は、動きベクトル補正部１２よって出力された、フラッシュ直前のフレームｆ_ｎ−１からフラッシュ直後のフレームｆ_ｎ＋１への動きベクトルｖの補正ベクトルｖ_ｃｒｒを使用して、式（３）に示すように、その補正ベクトルｖ_ｃｒｒから推定されるフレーム間の動きの中点に画素を配することによって補間フレームｆ_ｉｎを生成する。
ただし、式（３）において、ベクトルｒは各単位ブロック内における座標を示し、ｆ_ｎ（ｒ）などは、フレームｆ_ｎの座標ｒにおける輝度値などの画素データを表わす。

補間フレームｆ_ｉｎの品質は、動きベクトルｖの推定精度に依存するが、前記したように、本実施形態では、動きベクトル補正部１２によって、動きベクトルｖが適切に補正された補正ベクトルｖ_ｃｒｒを用いるためブロックノイズの発生やボケを抑えた高品質な補間フレームを生成することができる。

フラッシュ非到達領域検出部（輝度変動領域検出手段）１４は、フラッシュフレームｆ_ｎと、フラッシュの影響を受けていないフラッシュフレームｆ_ｎの直前のフレームｆ_ｎ−１とに基づいて、フラッシュフレームｆ_ｎの単位ブロック毎に、当該単位ブロックがフラッシュの影響を受けていないフラッシュ非到達領域かどうかを検出し、検出結果であるフラッシュ非到達領域検出信号をフレーム合成部１５に出力する。

本実施形態では、フラッシュ非到達領域の検出には、動きベクトル検出部１１と同様のブロックマッチング法を用いる。すなわち、フラッシュフレームｆ_ｎを所定の単位ブロックに分割し、式（４）に示したように、もう一方のフレームｆ_ｎ−１においてブロックの位置ｕを様々に変化させ、ブロック間のコスト関数ｄ（ｕ）が最小となる位置ｕを探索して、動きベクトルｖを求める。ただし、式（４）において、Ｓは位置ｕを変化させる探索領域を表す。

通常、フラッシュによる影響があるフラッシュ領域では、元の状態よりも輝度が上昇する。そこで、本実施形態では、式（５）に示したように、各画素毎に輝度の上昇に対してペナルティを課すコスト関数ｄ（ｕ）を導入し、フラッシュ領域が誤った位置で検出されることを回避するようにした。

ただし、式（５）において、ｆ_ｎ（ｒ）はフラッシュフレームｆ_ｎの座標ｒにおける輝度値（画素データ）を示す。また、Ｂはフレームにおける検出対象の単位ブロック領域を示し、｜Ｂ｜は、当該ブロック内の画素の総数を示す。また、ｗは、輝度の上昇に対するペナルティ値を示し、ｔｈｒ２は、各画素毎に輝度が上昇したかどうかを判断するための閾値である。

そして、ブロック間のコスト ｍｉｎ ｄ（ｕ）、すなわちｄ（ｖ）が予め定めた閾値ｔｈｒ３以下となった場合は、この単位ブロックをフラッシュ非到達領域（輝度変動領域でない）と判断し、例えば、フラッシュ非到達領域検出信号“１”を出力し、ｍｉｎ ｄ（ｕ）が閾値ｔｈｒ３を超えた場合は、この単位ブロックをフラッシュ到達領域（輝度変動領域である）と判断してフラッシュ非到達領域検出信号“０”を出力する。
これによって、フラッシュが到達して輝度が上昇した近景領域と、フラッシュが到達せずに輝度変動しない背景（遠景）領域とを適切に判別することができる。

なお、フラッシュ非到達領域検出部１４においてフレームを分割する際の単位ブロックと、動きベクトル検出部１１においてフレームを分割する際の単位ブロックは、位置及び形状を一致させる必要はないが、両者を一致させて、フラッシュ非到達領域検出部１４で動きベクトルｖを求める代わりに、例えば、動きベクトル補正部１２で補正した補正ベクトルｖ_ｃｒｒを用い、式（５）によってｄ（ｖ_ｃｒｒ／２）をフラッシュ非到達領域検出のためのブロック間のコストとして算出するようにしてもよい。これによって、フラッシュ非到達領域検出部１４は、動きベクトルｖの検出を省略することができる。

フレーム合成部１５は、フラッシュフレームｆ_ｎと、補間フレーム生成装置１０の補間フレーム生成部１３から出力された補間フレームｆ_ｉｎとを、フラッシュ非到達領域検出部１４によって検出されたフラッシュ非到達領域検出信号に基づいて、所定の単位ブロック毎に選択的に出力することにより合成し、合成したフレームを補正フレームｆ’_ｎとして出力する。

これによって、フラッシュフレームｆ_ｎにおいて、フラッシュの影響を受けている領域では、前後のフレームｆ_ｎ−１、ｆ_ｎ＋１に基づいて生成した補間フレームｆ_ｉｎを用いるため、フラッシュによる明滅を除去することができると共に、フラッシュの影響を受けていない領域では、当該フレームｆ_ｎの画像をそのまま用いるため、補間処理による画質の劣化を避けることができ、良好な品質の補正フレームｆ’_ｎを合成することができる。

以上説明したフレーム補正装置１は、一部またはすべてを専用のハードウェアを作成して実施することができるが、一般的なコンピュータプログラムを実行させ、コンピュータ内の演算装置、記憶装置、入力装置などを動作させることにより実現することもできる。このプログラム（動きベクトル補正プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

＜フレーム補正装置の動作＞
次に、図６を参照（適宜図１参照）して、フレーム補正装置（映像補正装置）１の動作について説明する。ここで、図６は、本発明の実施形態のフレーム補正装置の処理の流れを示すフローチャートである。

フレーム補正装置１は、動画像において、フラッシュの影響を受けているフラッシュフレームｆ_ｎと、フラッシュの影響を受けていない直前のフレームｆ_ｎ−１と、直後のフレームｆ_ｎ＋１とが入力されると（ステップＳ１１）、動きベクトル検出部１１によって、直前のフレームｆ_ｎ−１と直後のフレームｆ_ｎ＋１との間の動きベクトルｖを、所定の単位ブロック毎に順次検出する（ステップＳ１２）。続いて、検出した動きベクトルｖを、動きベクトル補正部１２によって補正し、補正ベクトルｖ_ｃｒｒを出力する（ステップＳ１３）。そして、この補正ベクトルｖ_ｃｒｒを用いて、直前のフレームｆ_ｎ−１と直後のフレームｆ_ｎ＋１との補正ベクトルｖ_ｃｒｒの中点における補間フレームｆ_ｉｎを生成する（ステップＳ１４）。

また、フレーム補正装置１は、フラッシュ非到達領域検出部１４によって、直前のフレームｆ_ｎ−１とフラッシュフレームｆ_ｎとに基づいて、所定の単位ブロック毎にフラッシュ非到達領域かどうかを検出し、フラッシュ非到達領域検出信号を出力する（ステップＳ１５）。

そして、フレーム補正装置１は、フレーム合成部１５によって、ステップＳ１５で出力したフラッシュ非到達領域検出信号に基づいて、単位ブロック毎に、その単位ブロックがフラッシュの影響を受けているフラッシュ到達領域の場合は、ステップＳ１４で生成した補間フレームの画素データを選択し、そのブロックがフラッシュの影響を受けていないフラッシュ非到達領域の場合は、フラッシュフレームｆ_ｎの画素データを選択することによって、補正フレームｆ’_ｎを合成する（ステップＳ１６）。

これによって、フレーム補正装置１は、補正対象であるフラッシュフレームｆ_ｎのフラッシュの影響を受けた領域を選択的に補正することができる。
なお、ステップＳ１２からステップＳ１４までの補間フレームを生成するための処理と、ステップＳ１５のフラッシュ非到達領域を検出する処理とは、処理の順序が入れ替わってもよく、また、並行して処理を行うようにしてもよい。
＜動きベクトル補正部の動作＞
次に、図７を参照（適宜図１及び図２参照）して、動きベクトル補正部１２の動作について説明する。ここで、図７は、本発明の実施形態の動きベクトル補正部の処理の流れを示すフローチャートである。なお、図７に示したフローチャートの処理は、図６に示したフローチャートのステップＳ１３に相当する動きベクトル補正処理である。

動きベクトル補正部１２は、動きベクトル保持部２１によって、動きベクトル検出部１１で所定の単位ブロック毎に検出された動きベクトルｖの内の、少なくとも補正対象ベクトルｖ_ｔとその周辺ベクトルｖ_ｎとを保持する（ステップＳ２１）。これによって、これらのベクトルを同時に参照することができる。

次に、動きベクトル補正部１２は、四分位平均ベクトル算出部２２によって、動きベクトル保持部２１で保持された周辺ベクトルｖ_ｎの中から不正ベクトルを除外した、四分位平均ベクトルｖ_ｑを算出する（ステップＳ２２）。

そして、動きベクトル補正部１２は、補正処理部２３の差分算出部２３ｂによって、動きベクトル保持部２１に保持された補正対象ベクトルｖ_ｔと、四分位平均ベクトル算出部２２で算出された四分位平均ベクトルｖ_ｑとの差分の絶対値を算出し（ステップＳ２３）、判定部２３ｃによって、差分算出部２３ｂで算出された差分の絶対値が予め定められた所定の閾値ｔｈｒ１以上かどうかを判定する（ステップＳ２４）。

ここで、差分の絶対値が閾値ｔｈｒ１以上の場合は（ステップＳ２４でＹｅｓ）、選択部２３ａによって、補正ベクトルｖ_ｃｒｒとして四分位平均ベクトルｖ_ｑを出力し（ステップＳ２５）、差分が閾値ｔｈｒ１未満の場合は（ステップＳ２４でＮｏ）、選択部２３ａによって、補正ベクトルｖ_ｃｒｒとして補対対象ベクトルｖ_ｔをそのまま出力する（ステップＳ２６）。

これによって、補正対象ベクトルｖ_ｔが、周辺ベクトルｖ_ｎと比較して、その大きさや向きが大きく異なる場合にのみ補正することにより、動きベクトルｖ_ｔを適切に補正することができる。また、補正が必要な場合も、四分位平均ベクトルｖ_ｑを用いることにより、周辺ベクトルｖ_ｎ内に不正ベクトルが複数存在するような場合であっても、それらの不正ベクトルを適切に除外して平均ベクトルを算出することができる。

＜実験例＞
次に、図８から図１０を参照して、本発明の動きベクトル補正部１２によって、動きベクトルの補正処理を行った実験結果について説明する。ここで、図８は、動きベクトルを補正するフレームの例の概要を示す図であり、図９は、図８に示したフレームから動きベクトルを検出した結果を示す図であり、図１０は、図９に示した動きベクトルを補正した結果を示す図である。

図８に示したように、本実験例で用いた動画像のフレームは、大相撲の放送番組において、優勝力士が土俵上で優勝杯を受け取ったシーンである。また、フレームの右端には優勝旗の一部が撮影されている。このうち、力士と優勝杯と優勝旗とが、フラッシュの影響を受けて輝度が上昇した領域であり、その他の領域はフラッシュの影響を受けていない背景領域である。

フレームサイズは７２０×４８０画素であり、動きベクトルを検出するための単位ブロックは１６×１６画素とした。また、四分位平均ベクトルを算出するために、図４に示した２４近傍の周辺ベクトルを参照した。

図９は、単位ブロック毎にブロックマッチング法によって検出した動きベクトルを線分で示している。
図９に示したように、力士や優勝杯の輝度値が平坦な領域に、周囲のベクトルと向きや大きさが極端に異なる不正ベクトルが多く検出されていることが分る。

図１０に示したように、本発明の動きベクトル補正部１２によって、図９において不正ベクトルとみられる動きベクトルが選択的に、周囲のベクトルと相関をもったベクトルに適切に補正されているのが分る。

さらに、図９に示した動きベクトルを用いて、当該フレームの前後のフレームから補間フレームを作成すると、ブロックノイズが目立っていたが、図１０に示した補正後の動きベクトルを用いて作成した補間フレームでは、ブロックノイズの発生が抑制され、フレーム全面で連続性のある画像が得られることを確認した。
また、本発明のフレーム補正装置１によって、このフラッシュフレームを補正することにより、フラッシュの影響がない背景領域の輝度値は変化せず、人物領域のみが適切に補正されて、動画像として閲覧した場合にはフレーム間の動きに連続性のある良好な結果が得られることを確認した。

以上説明したように、本発明による動きベクトル補正部（動きベクトル補正装置）１２は、周囲に不正ベクトルが複数存在する場合でも良好に動きベクトルを補正することが可能となる。これによって動きベクトルに基づいた動画像の符号化や、フレームレート変換、フレーム補間処理などにおいて、画質の向上を図ることが可能となる。また、カメラの動きの推定や、被写体の動き検出などにおいても不正な動きベクトルを補正することによって、推定精度を向上させることができる。従って、本発明の動きベクトル補正装置は、画像処理や動画処理の広い分野での利用が可能である。

本発明の実施形態のフレーム補正装置の構成を示すブロック図である。 本発明の実施形態の動きベクトル補正部の構成を示すブロック図である。 フレーム中の補正対象ブロック及びその周辺ブロックで検出された動きベクトルを示す図である。 他の実施形態の補正対象ブロックとその周辺ブロックの関係を示す図である。 四分位平均ベクトルを算出する方法を説明するためのグラフ図である。 本発明の実施形態のフレーム補正装置の処理の流れを示すフローチャートである。 本発明の実施形態の動きベクトル補正部の処理の流れを示すフローチャートである。 動きベクトルを補正するフレームの例の概要を示す図である。 図８に示したフレームから動きベクトルを検出した結果を示す図である。 図９に示した動きベクトルを補正した結果を示す図である。

符号の説明

１ フレーム補正装置（映像補正装置）
１０ 補間フレーム生成装置
１１ 動きベクトル検出部（動きベクトル検出手段）
１２ 動きベクトル補正部（動きベクトル補正装置）
１３ 補間フレーム生成部（補間フレーム生成手段）
１４ フラッシュ非到達領域検出部（高輝度領域検出手段）
１５ フレーム合成部（フレーム合成手段）
２１ 動きベクトル保持部
２２ 四分位平均ベクトル算出部（平均ベクトル算出手段）
２３ 補正処理部（補正処理手段）
ｖ 動きベクトル
ｖ_ｃｒｒ 補正ベクトル
ｖ_ｎ 周辺ベクトル
ｖ_ｑ 四分位平均ベクトル（平均ベクトル）
ｖ_ｔ 補正対象ベクトル
ｆ_ｎ フラッシュフレーム（補正対象フレーム）
ｆ_ｎ−１ 直前のフレーム（前フレーム）
ｆ_ｎ＋１ 直後のフレーム（後フレーム）
ｆ_ｉｎ 補間フレーム
ｆ’_ｎ 補正フレーム

Claims (5)

1. 動画像における所定の単位領域毎に検出された動きベクトルを補正する動きベクトル補正装置であって、
   前記動画像における２つのフレーム間における動きベクトルを、前記単位領域毎に検出する動きベクトル検出手段と、
   補正対象の動きベクトルである補正対象ベクトルが検出された前記単位領域の周辺の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内で偏差の大きなベクトルを除外して、前記周辺ベクトルの平均ベクトルを算出する平均ベクトル算出手段と、
   前記補正対象ベクトルと前記平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、前記平均ベクトルを選択し、前記差分の絶対値が前記所定の値以下の場合は、前記補正対象ベクトルを選択し、前記補正対象ベクトルが検出された単位領域における動きベクトルとする補正処理手段と、を備え、
   前記動きベクトル検出手段は、
   ブロックマッチング法による動きベクトルの検出として、
   前記動画像における任意のフレームである注目フレームについて、時間的に前の前フレーム及び前記注目フレームに対して時間的に後の後フレーム間の輝度値を用いたブロック間コストと、
   前記注目フレーム及び前記前フレーム間、又は前記注目フレーム及び前記後フレーム間の何れかのエッジ情報、あるいは、前記注目フレーム及び前記前フレーム間と前記注目フレーム及び前記後フレーム間とのエッジ情報を用いたブロック間コストと、を算出し、
   前記輝度値を用いたブロック間コストと前記エッジ情報を用いたブロック間コストとの和が最小になる動きベクトルを検出する
   ことを特徴とする動きベクトル補正装置。
2. 前記平均ベクトル算出手段は、前記周辺ベクトルの成分毎に、成分値の大きさが上位の４分の１及び下位の４分の１の成分値を除外して平均値を算出し、当該平均値を成分とするベクトルを前記平均ベクトルとすることを特徴とする請求項１に記載の動きベクトル補正装置。
3. 動画像における所定の単位領域毎に検出された動きベクトルを補正するために、コンピュータを、
   前記動画像における２つのフレーム間における動きベクトルを、前記単位領域毎に検出する動きベクトル検出手段、
   補正対象の動きベクトルである補正対象ベクトルが検出された前記単位領域の周辺の単位領域において検出された動きベクトルである周辺ベクトルにおいて、所定の基準に基づいて、当該周辺ベクトルの内の偏差の大きなベクトルを除外して、前記周辺ベクトルの平均ベクトルを算出する平均ベクトル算出手段、
   前記補正対象ベクトルと前記平均ベクトルとの差分の絶対値が所定の値よりも大きい場合は、前記平均ベクトルを選択し、前記差分の絶対値が前記所定の値以下の場合は、前記補正対象ベクトルを選択し、前記補正対象ベクトルが検出された単位領域における動きベクトルとする補正処理手段、として機能させ、
   前記動きベクトル検出手段は、
   ブロックマッチング法による動きベクトルの検出として、
   前記動画像における任意のフレームである注目フレームについて、時間的に前の前フレーム及び前記注目フレームに対して時間的に後の後フレーム間の輝度値を用いたブロック間コストと、
   前記注目フレーム及び前記前フレーム間、又は前記注目フレーム及び前記後フレーム間の何れかのエッジ情報、あるいは、前記注目フレーム及び前記前フレーム間と前記注目フレーム及び前記後フレーム間とのエッジ情報を用いたブロック間コストと、を算出し、
   前記輝度値を用いたブロック間コストと前記エッジ情報を用いたブロック間コストとの和が最小になる動きベクトルを検出する
   ことを特徴とする動きベクトル補正プログラム。
4. 動画像における２つのフレーム間における動きベクトルを、所定の単位領域毎に検出し、当該動きベクトルを補正する請求項１又は請求項２に記載の動きベクトル補正装置と、
   前記２つのフレームと、前記動きベクトル補正装置によって補正された動きベクトルとに基づいて、前記２つのフレーム間を補間する補間フレームを生成する補間フレーム生成手段と、
   を備えることを特徴とする補間フレーム生成装置。
5. 動画像において時間的に前の前フレーム及び時間的に後の後フレームに対して輝度変動が大きい輝度変動領域を含むフレームを補正する映像補正装置であって、
   前記輝度変動領域を含む補正対象フレームに対して、前記前フレーム及び前記後フレーム間の動きベクトルを、所定の単位領域毎に検出し、当該動きベクトルを補正する請求項１又は請求項２に記載の動きベクトル補正装置と、
   前記前フレームと、前記後フレームと、前記動きベクトル補正装置によって補正された動きベクトルとに基づいて、前記動画像において、前記補正対象フレームの位置における補間フレームを生成する補間フレーム生成手段と、
   前記前フレーム又は前記後フレームと、前記補正対象フレームとを比較して、前記補正対象フレームにおいて、前記単位領域毎に、所定の基準に基づいて、輝度変動が大きい輝度変動領域かどうかを検出する輝度変動領域検出手段と、
   前記輝度変動領域検出手段によって前記単位領域が輝度変動領域として検出された場合は、当該単位領域の画素データとして前記補間フレーム生成装置によって生成された補間フレームの画素データを選択し、前記単位領域が輝度変動領域でない場合は、前記補正対象フレームの画素データを選択することによって、前記補間フレームと前記補正対象フレームとを合成して補正フレームを生成するフレーム合成手段と、
   を備えることを特徴とする映像補正装置。

Images