JP5000589B2 - 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動きベクトルに基づいて原画像の間に内挿画像を生成する画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。

２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画像素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。

図８は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像８−１と時間ｔにおける原画像８−２とを用いて、時間的にちょうど半分（中間）の時刻において内挿画像８−３を作成して出力することにより、フレームレートを増やしている。

ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図８における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。以下では、ｆ（ｔ−１）を基準画像とした場合について説明する。

図９は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図９に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図９における個所９−１のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック９−２を定義している。

次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。例えば、特許文献１および２には、パターンマッチング法によって動きベクトルを検出する方法が開示されている。

このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。

次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。割付座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図９に示す例では、基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。

内挿座標へのベクトルの割付について、簡略化のため、水平方向の１次元処理として図１０を用いて説明する。図１０は、内挿座標へのベクトルの割付の例を示す図である。基準原画像ｆ（ｔ−１）の座標ｘについて、矢印１０−１で示す動きベクトルＶｘが求まったとすると、内挿画像を時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。

このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域との相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。

最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。
特開昭５５−１６２６８３号公報（１９８０年１２月１８日） 特開昭５５−１６２６８４号公報（１９８０年１２月１８日）

しかしながら、上記従来の構成によって、動いている物体の映像を構成する原画像の動きベクトルを検出し、メディアンフィルタや平均ベクトルなどを用いて、最終的に内挿座標に割り付ける動きベクトルを決定する場合、誤った動きベクトルが内挿座標に割り付けられてしまうことがある。このような従来技術における問題について、図２を用いて説明する。

図２は、小物体が移動する映像の原画像を示す図であり、（ａ）は、時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、時間的に未来の原画像ｆ（ｔ）を示す図である。

図２（ａ）における個所２−１のように、細い線で囲まれた部分は、１ピクセル（画素）を表している。また、図２（ａ）に示すように、原画像ｆ（ｔ−１）では、固定的に分割された８×８ピクセルの画素群ごとに、動きベクトルの検出単位である検出ブロック２−２〜２−６を構成している。また、図２（ｂ）に示すように、原画像ｆ（ｔ）では、原画像ｆ（ｔ−１）と同様に、固定的に分割された８×８ピクセルの画素群ごとに、動きベクトルの検出単位であるブロック２−９〜２−１３を構成している。

また、図２（ａ）および（ｂ）に示すとおり、白抜きの画素群によって表される小物体Ａは移動している。さらに、図２（ａ）および（ｂ）において、斜線等のパターンによって示される領域（白抜き以外の領域）は、小物体Ａの背景領域、すなわち、小物体Ａとは異なる物体である。図２（ａ）および（ｂ）において、同一のパターンで示されている領域は、同じ背景領域を表している。また、図２（ａ）の矢印２−７は、物体Ａの動きベクトルを示しており、矢印２−８は、背景領域の動きベクトルを示している。

このとき、図２（ａ）において物体Ａの動きを正しく検出できたとすると、検出ブロック２−２および２−３においては、物体Ａの動きを示す動きベクトルが検出され、検出ブロック２−４〜２−６においては、背景領域の動きを示す動きベクトルが検出されることとなる。

ここで、メディアンフィルタを使用する場合、正しく検出された動きベクトルが、フィルタリング処理によって、誤った動きベクトルに変更されてしまうことがある。例えば、図２（ａ）の原画像ｆ（ｔ−１）では、検出ブロック２−２および２−３において、小物体Ａの動きを示す動きベクトルのみが検出されているが、他の検出ブロックにおいては、小物体Ａの動きとは反対の背景領域の動きを示す動きベクトルが検出されているため、メディアンフィルタによるフィルタリングによって、検出ブロック２−２および２−３の動きベクトルも全て背景領域の動きを示すことになる。

また、メディアンフィルタや平均ベクトルを用いる場合、消える領域、現れる領域における動きベクトルは誤検出されてしまう。例えば、図２（ａ）の検出ブロック２−２、２−３および図２（ｂ）の検出ブロック２−１２、２−１３に発生する消える領域、現れる領域では、メディアンフィルタや平均ベクトルを用いた場合、背景領域の動きを示す動きベクトルが検出されることになる。したがって、図２（ａ）の検出ブロック２−２〜２−６において検出される動きベクトルは、全て背景の動きを示すことになる。

したがって、このようにして決定された動きベクトルに基づいて内挿画像を作成する場合、原画像ｆ（ｔ−１）もしくは原画像ｆ（ｔ）のどちらかを使用して内挿画像を作成すると、「消える領域」もしくは「現れる領域」のどちらかに物体が映し出されてしまう。また、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の両方を使用して内挿画像を作成する場合、「消える領域」および「現れる領域」の両方に物体が映し出されてしまい、生成される内挿画像の精度は低下するという問題が発生する。

さらに、図２の検出ブロック２−２は、物体の輪郭部と背景領域とが混じり合った領域であり、物体の動きベクトルとなるか、背景領域の動きベクトルとなるかは、過去の原画像ｆ（ｔ−１）における小物体Ａの背景領域と、未来の原画像ｆ（ｔ）における小物体Ａの背景領域とに依存して決定される。このため、動きベクトルは、必ずしも正確に決定されるとは限られず、生成される内挿画像の精度の低下を招来するという問題が生じる。この問題は、メディアンフィルタの使用の有無に関わらず発生することになる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、精度良く内挿画像を生成することが可能な画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。

上記の構成によれば、動きベクトル割付手段は、第１の原画像と第２の原画像との間に内挿する内挿画像に、第１の原画像の各ブロックを始点とし、第２の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第１の原画像は第１の時刻に対応する原画像であり、第２の原画像は第２の時刻に対応する原画像である。ここで、第１の時刻と第２の時刻とは異なっている。例えば、第１の時刻より第２の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第１の時刻より第２の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。

また、状態判定手段は、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する。例えば、状態判定手段は、各ブロックにエッジが含まれているか否かによって特徴点か非特徴点かを判定したり、各ブロックの平均エネルギーが周辺エネルギーよりも大きいか否かによって特徴点か非特徴点かを判定する。つまり、エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であると判定できる。特徴点は、例えば、移動する小物体などを表す領域である。

また、内挿画像生成手段は、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する。ここで、特徴点（または非特徴点）の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点（または非特徴点）の移動を正しく捉えていない誤った動きベクトルということになる。

つまり、内挿画像生成手段は、異常ベクトルが割り付けられた内挿画像のブロックにおいて、異常ベクトルの始点が特徴点であり終点が非特徴点の場合、終点の画像（原画のブロック）を用いて内挿画像を作画し、異常ベクトルの始点が非特徴点であり終点が特徴点の場合、始点の画像（原画のブロック）を用いて内挿画像を作画する。これは、例えば、第１の原画像および第２の原画像の双方から作画する場合において、ブレンド率を変更する構成によって実現可能となる。

これにより、本発明に係る画像補間装置では、正しい動きベクトルが割り付けられなかった内挿画像のブロックにおいて、始点および終点のうち非特徴点を用いて作画が行われることになる。したがって、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、１つの特徴点が分裂して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。

また、本発明に係る画像補間方法は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定ステップと、上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴としている。

上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点と終点とがいずれも非特徴点となるように補正する内挿ベクトル補正手段と、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。

上記の構成によれば、動きベクトル割付手段は、第１の原画像と第２の原画像との間に内挿する内挿画像に、第１の原画像の各ブロックを始点とし、第２の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第１の原画像は第１の時刻に対応する原画像であり、第２の原画像は第２の時刻に対応する原画像である。ここで、第１の時刻と第２の時刻とは異なっている。例えば、第１の時刻より第２の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第１の時刻より第２の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。

また、状態判定手段は、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する。例えば、状態判定手段は、各ブロックにエッジが含まれているか否かによって特徴点か非特徴点かを判定したり、各ブロックの平均エネルギーが周辺エネルギーよりも大きいか否かによって特徴点か非特徴点かを判定する。つまり、エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であると判定できる。特徴点は、例えば、移動する小物体などを表す領域である。

また、内挿ベクトル補正手段は、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する。ここで、特徴点（または非特徴点）の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点（または非特徴点）の移動を正しく捉えていない誤った動きベクトルということになる。

さらに、内挿ベクトル補正手段は、一方の原画像のみを参照して作画する場合、全ての異常動きベクトルについて、始点および終点が非特徴点となるように補正する構成であってもよいし、始点および終点のブロックのうち、作画に用いる側のブロックが特徴点となっている異常動きベクトルについて、始点および終点が非特徴点となるように補正する構成であってもよい。

また、内挿ベクトル補正手段は、両方の原画像を参照して作画する場合においても、異常ベクトルを、始点と終点とがいずれも非特徴点となるように補正する構成であってもよく、特に限定はされない。

そして、内挿画像生成手段は、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する。

これにより、本発明に係る画像補間装置では、正しい動きベクトルが割り付けられなかった内挿画像のブロックにおいて、動きベクトルが補正されることによって、非特徴点のみを用いて作画が行われることになる。したがって、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、１つの特徴点が分裂して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。

また、本発明に係る画像補間方法は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する内挿ベクトル補正ステップと、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴としている。

上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１原画像と該第２原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正手段とを備えていることを特徴としている。

上記の構成によれば、動きベクトル割付手段は、第１の原画像と第２の原画像との間に内挿する内挿画像に、第１の原画像の各ブロックを始点とし、第２の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第１の原画像は第１の時刻に対応する原画像であり、第２の原画像は第２の時刻に対応する原画像である。ここで、第１の時刻と第２の時刻とは異なっている。例えば、第１の時刻より第２の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第１の時刻より第２の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。

また、内挿画像生成手段は、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する。ここで、内挿画像は、一方の原画像のみから生成される構成であってもよいし、両方の原画像から生成される構成であってもよく、特に限定はされない。

また、状態判定手段は、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点に該当するか否かを判定する。特定の条件としては、例えば、各ブロックにエッジが含まれていることや、各ブロックの平均エネルギーが周辺エネルギーよりも大きいことなどがある。エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であることを示している。特徴点とは、例えば、移動する小物体などを表す領域である。

また、内挿画像補正手段は、内挿画像を構成するブロックのうち、状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する。ここで、特徴点（または非特徴点）の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点（または非特徴点）の移動を正しく捉えていない誤った動きベクトルということになる。

つまり、内挿画像補正手段は、内挿画像生成手段によって生成された内挿画像のうち、異常動きベクトルに基づいて生成されたブロックの画像を表す画素値を、正常動きベクトルに基づいて生成されたブロックの画像を表す画素値を用いて面内補間する。補間の方法としては、例えば、リニア補間やバイリニア補間などがある。

これにより、本発明に係る画像補間装置では、異常動きベクトルに基づいて生成された誤った画像は、正常動きベクトルに基づいて生成された正しい画像によって補間される。つまり、内挿画像生成手段は、より信頼性の高い画像に基づいて、信頼性の低い画像を補正する。したがって、本発明に係る画像補間装置によれば、精度よく内挿画像を生成することが可能となる。

また、本発明に係る画像補間方法は、第１の原画像の各ブロックを始点とし第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップと、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定ステップの判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正ステップとを含んでいることを特徴としている。

上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。

本発明に係る画像補間装置では、上記状態判定手段は、上記第１の原画像の各ブロック、および、上記第２の原画像の各ブロックについて、ブロックの平均エネルギーと、当該ブロックから所定の範囲内に位置するブロックの平均エネルギーの平均値との差の絶対値が、予め定められた閾値よりも大きいか否かによって特徴点か非特徴点かを判定することが好ましい。

上記の構成によれば、状態判定手段は、上記第１の原画像の各ブロック、および、上記第２の原画像の各ブロックについて、ブロックの平均エネルギーを算出する。また、状態判定手段は、各ブロックについて、所定の範囲内に位置する周辺ブロックの平均エネルギーの平均値を算出する。そして、ブロックの平均エネルギーと周辺ブロックの平均エネルギーの平均値との差分の絶対値が、予め定められた閾値よりも大きいか否かを判定する。各ブロックの平均エネルギーは、例えば、各ブロックに含まれる画素の輝度によって評価できる。

これにより、第１の原画像および第２の原画像を構成する各ブロックの状態を、正確に判定することができる。

本発明に係る画像補間装置では、上記状態判定手段は、上記第１の原画像の各ブロック、および、上記第２の原画像の各ブロックについて、エッジが含まれているか否かによって特徴点か非特徴点かを判定することが好ましい。

上記の構成によれば、状態判定手段は、第１の原画像の各ブロック、および、第２の原画像の各ブロックの状態として、エッジが含まれているかいないかを判定する。ここで、エッジとは、例えば、移動している小物体の端などである。エッジが含まれているかいないかは、例えば、隣接画素間のエネルギー差分や周波数分解による周波数判定によって行う。

これにより、第１の原画像および第２の原画像を構成する各ブロックの状態を、高速に判定することができる。

本発明に係る画像補間装置では、上記状態判定手段の判定結果を記憶する記憶手段をさらに備えていることが好ましい。

上記の構成によれば、記憶手段は、状態判定手段における判定結果を記憶する。

これにより、画像補間装置において、状態判定手段における判定結果は、必要に応じて、任意のタイミングにおいて利用することが可能となる。例えば、ある時刻において動きベクトルの検出対象となる未来画は、次の時刻において、過去画として利用することができる。つまり、未来画についての状態判定手段による判定結果を、記憶部に保持しておけば、過去画の判定結果としても用いることができるため、未来画として状態判定を行った後、再度、過去画として状態判定を行う必要はない。つまり、本発明に係る画像補間装置では、未来画と過去画とについて、それぞれ個別に状態判定を行う部材を用意する必要はなく、未来画の状態判定を行う部材のみ用意すればよい。したがって、画像補間装置を簡素な構成とすることができるため、画像補間装置のコストを低減し、小型化することが可能となる。

本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。

本発明に係る映像再生装置は、上記画像補間装置を備えていることが好ましい。

なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。

また、本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点と終点とがいずれも非特徴点となるように補正する内挿ベクトル補正手段と、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。

また、本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１原画像と該第２原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成手段と、第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正手段とを備えていることを特徴としている。

それゆえ、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、１つの特徴点が分裂して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。また、信頼性の高い動きベクトルに基づいて生成された内挿画像によって内挿画像を補間するため、精度よく内挿画像を生成することが可能となる。

〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延部２と検出ブロック特徴検査部３，４（状態判定手段）と遅延部５，６と動きベクトル検出部７とベクトル割付部８（動きベクトル割付手段）と状態記録部１０（記憶手段）と補正部９（内挿ベクトル補正手段、内挿画像補正手段）と作画部１１（内挿画像生成手段）とを備えている。

画像補間装置１は、外部から入力される映像信号に含まれる時刻ｔにおける原画像（未来画）ｆ（ｔ）と、１つ前の時刻ｔ−１における原画像（過去画）ｆ（ｔ−１）とから、内挿画像を生成する。画像補間装置１では、外部からの映像信号は、遅延部２、検出ブロック特徴検査部３、遅延部５、および、ベクトル割付部８に入力される。以下では、外部から時刻ｔにおける原画像ｆ（ｔ）を表す映像信号が入力されたときの処理について説明する。

遅延部２は、入力された外部からの映像信号を遅延させて、検出ブロック特徴検査部４、遅延部６、および、ベクトル割付部８に出力する。外部から原画像ｆ（ｔ）を表す映像信号が入力されるタイミングにおいて、遅延部２は、原画像ｆ（ｔ−１）を表す映像信号を出力する。遅延部２は、例えば、ＤＤＲなどのメモリによって構成される。

検出ブロック特徴検査部３は、原画像ｆ（ｔ）の特徴を検査し、検査結果を状態記録部１０に出力する。また、検出ブロック特徴検査部４は、原画像ｆ（ｔ−１）の特徴を検査し、検査結果を状態記録部１０に出力する。検出ブロック特徴検査部３，４における処理内容の詳細については後述する。

遅延部５は、原画像ｆ（ｔ）を遅延させて動きベクトル検出部７に出力する。また、遅延部６は、原画像ｆ（ｔ−１）を遅延させて動きベクトル検出部７に出力する。遅延部５，６は、動きベクトルの検出において検出ブロックの特徴を示す上記検査結果を用いる場合、検出ブロックの検査後に動きベクトルを検出する処理が実行されるため、検出ブロック特徴検査部３，４における検査処理の時間分、映像信号の出力を遅延させるのものである。遅延部５，６は、例えば、ＳＲＡＭなどのメモリやフリップフロップなどによって構成される。なお、遅延部５，６は、動きベクトルを検出する際に、検出ブロック特徴検査部３，４での検査結果を使用しない場合には、省略してもよい。

動きベクトル検出部７は、原画像ｆ（ｔ）もしくは原画像ｆ（ｔ−１）を基準画像として、図２に示すように、原画像を、複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部７は、ブロックマッチングや勾配法によって動きベクトルを算出するが、動きベクトルは他の方法によって算出されてもよい。また、動きベクトル検出部７は、検出ブロックの特徴を用いて動きベクトルを検出する場合、状態記録部１０から必要に応じて検出ブロックの特徴を示す上記検査結果を読み出す。動きベクトル検出部７は、検出した動きベクトルを、ベクトル割付部８に出力する。

ベクトル割付部８は、動きベクトル検出部７において検出された動きベクトルを、内挿画像の各座標に割り付ける。割付座標の単位は任意であるが、本実施形態では、基準画像のブロック単位より小さな領域が指定される。

また、ベクトル割付部８は、動きベクトルが未割付の内挿座標においては、ゼロベクトルを割り付け、複数の動きベクトルが割り付けられている内挿座標においては、最も適した動きベクトルを選択する。最も適した動きベクトルを決定する方法としては、内挿座標に割り付けられた動きベクトルによって指定される原画像ｆ（ｔ）と原画像ｆ（ｔ−１）の特定領域の相関が最も高いもので代表する。相関を表すデータ（相関値）の算出には、一般的に、輝度データが用いられるが、ＲＧＢのデータを使用してもよいし、ＹＵＶのデータを使用してもよい。相関値としては、対応する画素ごとに差分の絶対値を計算し加算した結果であるＳＡＤ（絶対差和）や対応する画素ごとに差分の絶対値を計算し加算した結果であるＤＦＤ（差の２乗和）などを算出する。さらに、ベクトル割付部８は、メディアンフィルタなどによるフィルタ処理を行い、内挿画像の各座標に動きベクトルを割り付ける。そして、ベクトル割付部８は、内挿座標に割り付けられた動きベクトルの情報を、補正部９に出力する。

補正部９は、検出ブロック特徴検査部３，４での検査結果に基づいて、ベクトル割付部８において内挿画像に割り付けられた動きベクトルを補正する。そして、補正部９は、補正後の動きベクトルを、作画部１１に出力する。作画部１１は、補正部９からの補正後の動きベクトルに基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。

また、補正部９は、ベクトル割付部８において内挿画像に割り付けられた動きベクトルを、作画部１１に出力してもよい。この場合、作画部１１は、補正部９からの動きベクトルに基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。そして、補正部９は、検出ブロック特徴検査部３，４での検査結果に基づいて、内挿画像の補正を指示する制御信号を、作画部１１に供給し、作画部１１は、補正部９からの制御信号に基づいて、内挿画像を補正する。

（動きベクトルの検出について）
図２は、小物体Ａが移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。画像補間装置１は、時刻ｔと時刻ｔ−１の間の内挿画像を生成する。時刻ｔ−１は、時刻ｔの１つ前の時刻であり、原画像ｆ（ｔ−１）は内挿画像に対して過去の画像となり、原画像ｆ（ｔ）は内挿画像に対して未来の画像となる。

図２（ａ）に示すとおり、原画像ｆ（ｔ−１）において、個所２−１のように細い線で囲まれた部分は、１ピクセル（画素）を表しており、８×８ピクセルの画素群ごとに検出ブロック２−２〜２−６を構成している。同様に、図２（ｂ）に示すとおり、原画像ｆ（ｔ）においても、８×８ピクセルの画素群ごとに検出ブロック２−９〜２−１３を構成している。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する小物体Ａを表している。また、図２（ａ）および（ｂ）において、斜線等によって示される領域は、小物体Ａの背景領域を表している。図２（ａ）および（ｂ）において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図２（ａ）の矢印２−７は、小物体Ａの動きベクトルを示しており、矢印２−８は、背景領域の動きベクトルを示している。

図２に示す例では、小物体Ａは、物体の大きさを越えて動いおり、勾配を超えてしまう。そのため、勾配法により動きベクトルを検出する場合、小物体が含まれる検出ブロックにおける動きベクトルとして、背景領域に依存したベクトル、もしくは、背景領域の動きを示すベクトルを検出する結果となるため、勾配法によって正確な動きベクトルを検出することは困難である。

また、ブロックマッチングにより動きベクトルを検出する場合、例えば、図２（ａ）の検出ブロック２−２など、小物体が含まれる検出ブロックにおいて、背景領域の相関値を主として捉えられることが多くなり、動きベクトルとして背景領域の動きを示すベクトルが検出される結果となる。

そのため、勾配法やブロックマッチング法によって検出された動きベクトルを用いてｆ（ｔ−１）に基づいて内挿画像を作画する場合、小物体の擬似輪郭が、正しい小物体の位置から離れたところに出現してしまうという問題がある。

（動きベクトルの割り付け）
図３は、図２に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であり、（ａ）は原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図であり、（ｂ）は内挿座標に割り付けられた動きベクトルを用いて原画像ｆ（ｔ−１）から作画した内挿画像ｆｉ（ｔ−１）を示す図であり、（ｃ）は内挿座標に割り付けられた動きベクトルを用いて原画像ｆ（ｔ）から作画した内挿画像ｆｉ（ｔ−１）を示す図である。

以下に、内挿座標への動きベクトルの割り付けについて説明する。図３（ａ）は、図２（ａ）および（ｂ）に示す原画像と内挿画像を、小物体Ａの動き方向の断面をとって一次元表示し、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）とを動きベクトルで対応付けて示したものである。図３（ａ）の例では、動きベクトルは、過去画ｆ（ｔ−１）から未来画ｆ（ｔ）に対して求められており、理想的に求まったものとして示している。図３（ａ）において、実線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおいて割り付けられた動きベクトルを示しており、破線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおける競合により割り付けられなかった動きベクトルを示しており、一点鎖線の矢印は、原画において検出されない動きベクトルであって、予め定められた条件にしたがって内挿ブロックに割り付けられた動きベクトルを示している。

図３（ａ）において、原画像ｆ（ｔ−１）は、検出ブロック３−１〜３−５を含んでおり、原画像ｆ（ｔ）は、検出ブロック３−６〜３−１０を含んでいる。図３（ａ）の検出ブロック３−１〜３−５は、図２（ａ）の検出ブロック２−２〜２−６に対応しており、図３（ａ）の検出ブロック３−６〜３−１０は、図２（ｂ）の検出ブロック２−９〜２−１３に対応している。

また、図３（ａ）に示す例では、内挿画像ｆｉ（ｔ−１）は、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との中間点において作成される。また、内挿画像ｆｉ（ｔ−１）は、内挿ブロック３−１１〜３−２０を含んでいる。内挿ブロック３−１１〜３−２０には、基準となる原画像において検出された動きベクトルが割り付けられる。内挿ブロックは、検出ブロックよりも小さい領域であり、検出ブロックよりも少ない画素で構成されている。

図３（ａ）に示す例では、検出ブロック３−１における動きベクトルとして、背景画像の動きを示すベクトルが検出される。そして、検出ブロック３−１において検出された動きベクトルは、内挿ブロック３−１１に割り付けられ、内挿ベクトル３−２１として示されている。

また、検出ブロック３−２における動きベクトルとして、小物体の動きを示すベクトルが検出される。そして、検出ブロック３−２において検出された動きベクトルは、内挿ブロック３−１５、３−１６に割り付けられ、内挿ベクトル３−３２、３−３３として示されている。なお、内挿ベクトルとは、内挿ブロックに割り付けられた動きベクトルである。

また、検出ブロック３−３における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック３−３において検出された動きベクトルは、内挿ブロック３−１４、３−１５に割り付けられ、内挿ベクトル３−２３、３−２８として示されている。ここで、内挿ブロック３−１５において、物体の動きを示すベクトル３−３２と背景の動きを示すベクトル３−２８とが競合するが、最終的に作画に用いられる動きベクトルは１つである。したがって、ベクトルの競合が発生した場合に作画に用られる動きベクトルを決定するための条件が予め定められ、画像補間装置１は、その条件にしたがって、最終的に１つの動きベクトルを決定することになる。図３（ａ）に示す例では、内挿ブロック３−１５には、予め定められた条件にしたがって、小物体の動きを示すベクトル３−３２が割り付けられるものとする。

また、検出ブロック３−４における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック３−４において検出された動きベクトルは、内挿ブロック３−１６、３−１７に割り付けられ、内挿ベクトル３−２９、３−３４として示されている。ここで、内挿ブロック３−１６において、物体の動きを示すベクトル３−３３と背景の動きを示すベクトル３−２９とが競合する。図３（ａ）に示す例では、内挿ブロック３−１６には、予め定められた条件にしたがって、小物体の動きを示すベクトル３−３３が割り付けられるものとする。

また、検出ブロック３−５に示されている背景領域の画像は、未来画においては、小物体によって隠れてしまう。つまり、原画像ｆ（ｔ−１）の検出ブロック３−５に示されている背景画像が移動して、原画像ｆ（ｔ）において表示されるはずの領域には、小物体が位置している。そのため、検出ブロック３−５については、正しい動きベクトルを検出することはできない。しかしながら、解が存在しないとする検出方法はない。したがって、検出ブロック３−５については、ｆ（ｔ）において検出ブロック３−５と類似する領域を示す動きベクトルが検出されることになる。なお、図３（ａ）では、検出ブロック３―５において検出された動きベクトルは、図示されていない。

なお、内挿ブロック３−１２、３−１３、３−１８、３−１９には、割り付くベクトルが存在しない結果となる。一般的に、内挿点に割り付けられるベクトルが存在しない場合、作画は不可能になってしまう。そのため、動きベクトルの割付処理においては、より広い範囲の内挿ブロックに割り付くようなベクトル割付の条件が予め設定されている。それでも割り付かない場合には、ゼロベクトルを割り付けてもよいし、周辺の内挿ブロックに割り付けられているベクトルの平均値を用いてもよい。

本発明に係る画像補間装置１においても、上述の説明と同様にして、図３（ａ）に示すように、内挿座標に対して動きベクトルが割り付けられる。本発明に係る画像補間装置１では、動きベクトル検出部７が原画像ｆ（ｔ−１）の全ての検出ブロックについて動きベクトルの検出を行い、ベクトル割付部８がベクトルの割付処理を行う。さらに、ベクトル割付部８は、動きベクトルが割り付けられなかった内挿ブロック（未割付けブロック）に対して、未割付けブロックに隣接する内挿ブロックに割り付けられた内挿ベクトルを割り付ける。これにより、図３（ａ）に示す例では、ベクトル割付部８は、内挿ブロック３−１２、３−１３、３−１８、３−１９に対して、それぞれ、隣接する内挿ブロック３−１１、３−１４、３−１７、３−２０に割り付けられているとベクトルと同じベクトルが割り付けられる。内挿ブロック３−１２、３−１３、３−１８、３−１９に割り付けられるベクトルは、それぞれ、内挿ベクトル３−２６、３−２７、３−３０、３−３１として示されている。

（内挿画像の作画における問題点）
次に、内挿ベクトルを用いた内挿画像の作画方法について説明する。内挿画像を作画する方法としては、過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する方法と、過去画および未来画の双方から作画する方法とがある。

片側から作画する方法について説明すれば、次のとおりである。図２（ａ）において、図面左上の座標を（０，０）、図面右方向をｘ座標の正の方向、図面下方向をｙ座標の正の方向とし、過去画ｆ（ｔ−１）における座標（ｘ，ｙ）の画素値をＰｐ（ｘ，ｙ）、未来画ｆ（ｔ）における座標（ｘ，ｙ）の画素値をＰｆ（ｘ，ｙ）と表す。また、内挿画ｆｉ（ｔ−１）において、座標（ｘ，ｙ）に割り付いている動きベクトルを（Ｖｘ，Ｖｙ）、座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）とする。ここで、内挿画ｆｉ（ｔ−１）は、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）との中間（１／２の位置）に作画されるものとする。

このとき、過去画ｆ（ｔ−１）のみから内挿画ｆｉ（ｔ−１）を作画する場合、
Ｐ（ｘ，ｙ）＝Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）
となる。また、未来画ｆ（ｔ）のみから内挿画ｆｉ（ｔ−１）を作画する場合、
Ｐ（ｘ，ｙ）＝Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。さらに、過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の双方向から作画する場合、
Ｐ（ｘ，ｙ）＝α×Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）＋（１−α）×Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。

ここで、Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）、Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）は、単一画素を示すのではなく、過去画、未来画を代表する値を意味する。例えば、ベクトルが少数値を示す場合などにおいては、原画像をリニア補間した値やガウシアンフィルタによりフィルタリングされた値などを意味する。また、αは過去画および未来画の混合比率であり、ブレンド率と呼ばれる。αの値としては、１／２に固定してもよいし、内挿画の時間的内分点の比率によって変動させてもよい。

図３（ｂ）は、図３（ａ）に示す内挿ベクトルをもとに、過去画ｆ（ｔ−１）のみから作画した内挿画ｆｉ（ｔ−１）を示す図である。また、図３（ｃ）は、図３（ａ）に示す内挿ベクトルをもとに、未来画ｆ（ｔ）のみから作画した内挿画ｆｉ（ｔ−１）を示す図である。図３（ｂ）の内挿ブロック３−３４〜３−４３は、図３（ａ）の内挿ブロック３−１１〜３−２０に対応している。図３（ｃ）の内挿ブロック３−４４〜３−５３は、図３（ａ）の内挿ブロック３−１１〜３−２０に対応している。

図３（ｂ）に示す内挿ブロック３−３４を作画する場合、画像補間装置の作画部は、図３（ａ）に示す内挿ベクトル３−２１に基づいて、原画像ｆ（ｔ−１）における内挿ブロック３−３４に対応する領域を参照する。すなわち、作画部は、原画像ｆ（ｔ−１）において内挿ベクトル３−２１の起点となっている領域を参照する。図３（ａ）に示すとおり、内挿ベクトル３−２１の起点となる領域には、小物体のエッジが含まれている。このため、図３（ｂ）に示すとおり、内挿画ｆｉ（ｔ−１）の内挿ブロック３−３４には、小物体のエッジが含まれてしまう。これは、図３（ａ）に示す例において、原画像ｆ（ｔ−１）における動きベクトルの検出が、背景の相関を重視して行われたことに起因する。

また、図３（ｂ）に示す内挿ブロック３−３５および３−３６を作画する場合、図３（ａ）に示す内挿ベクトル３−２６および３−２７に基づいて、原画像ｆ（ｔ−１）における内挿ブロック３−３５および３−３６（すなわち、３−１２および３−１３）に対応する領域が参照される。図３（ａ）に示すとおり、内挿ベクトル３−２６および３−２７の起点となる領域には、小物体のエッジが含まれている。このため、図３（ｂ）に示すとおり、内挿画ｆｉ（ｔ−１）の内挿ブロック３−３５および３−３６には、小物体のエッジが含まれてしまう。これは、図３（ａ）に示す例において、内挿ブロック３−３５および３―３６（すなわち、内挿ブロック３−１２および３−１３）において、隣接する内挿ブロックの内挿ベクトルが割り付けられたことに起因する。

一方、図３（ｃ）に示す内挿ブロック３−５１および３−５２を作画する場合、図３（ａ）に示す内挿ベクトル３−３１および３−２５に基づいて、原画像ｆ（ｔ）における内挿ブロック３−５１および３−５２（すなわち、３−１８および３−１９）に対応する領域が参照される。図３（ａ）に示すとおり、内挿ベクトル３−３０、３−３１および３−２５の指し示す領域には、小物体のエッジが含まれている。このため、図３（ｃ）に示すとおり、内挿画ｆｉ（ｔ−１）の内挿ブロック３−５１および３−５２には、小物体のエッジが含まれてしまう。

このように、過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する場合、内挿画ｆｉ（ｔ−１）において、２つの小物体が作画されてしまう。

また、過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の双方向から作画する場合、内挿画ｆｉ（ｔ−１）は、図３（ｂ）および図３（ｃ）をアルファブレンドしたものになる。この場合、内挿ブロック３−１５〜３−１６において、小物体が正しく作画されると共に、内挿ブロック３−１１〜３−１３には、図３（ｂ）の内挿ブロック３−３４〜３−３６の小物体が作画され、内挿ブロック３−１８〜３−２０には、図３（ｃ）の内挿ブロック３−５１〜３−５３の小物体が作画されることになる。したがって、過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の双方向から作画する場合、内挿画ｆｉ（ｔ−１）において、３つの小物体が作画されてしまう。

（検出ブロック特徴検査部）
本発明に係る画像補間装置１における内挿画像の作画方法について説明する。本発明に係る画像補間装置１では、上述したとおり、動きベクトル検出部７が原画像ｆ（ｔ−１）の全ての検出ブロックについて動きベクトルの検出を行い、ベクトル割付部８がベクトルの割付処理を行って、内挿ブロックに動きベクトルを割り付ける。

また、画像補間装置１では、検出ブロック特徴検査部３，４が各検出ブロックの特徴を検査する。そして、検出ブロック特徴検査部３，４における検査結果に基づいて、補正部９がベクトル割付部８によって内挿ブロックに割り付けられた動きベクトルを補正し、作画部１１が補正後の動きベクトルに基づいて作画する。あるいは、ベクトル割付部８によって内挿ブロックに割り付けられた動きベクトルに基づいて、作画部１１が内挿画像を生成した後、検出ブロック特徴検査部３，４における検査結果に基づいて、補正部９が生成された内挿画像を補正する。そして、画像補間装置１では、補正部９における補正によって最終的に内挿ブロックに割り付けられた動きベクトルに基づいて作画処理が行われる。

検出ブロック特徴検査部３，４は、検出ブロックの特徴検査として、検出ブロックにエッジが含まれているか否かを検査する。また、検出ブロック特徴検査部３，４は、検出ブロックの特徴検査として、検査ブロックの平均エネルギーを検査する。本実施の形態では、検出ブロックの特徴検査において、輝度データを使用するが、輝度データ以外に、ＲＧＢデータやＹＵＶデータが用いられてもよい。以下に、検出ブロック特徴検査部３，４および補正部９における処理について、より詳細に説明する。

（検出ブロックのエッジ検出）
検出ブロック特徴検査部３，４が、検出ブロックの特徴として、検出ブロックが小物体のエッジを含む領域か、含まない領域かを検査する構成について、図３を用いて説明する。検出ブロック特徴検査部３，４は、例えば、隣接画素間のエネルギー差分や、周波数分解による周波数判定を用いて、検出ブロックにエッジが含まれているか、含まれていないかを判定する。

本実施の形態では、検出ブロック特徴検査部３，４による検出ブロックの検査結果を２値化したものを、特徴点ステータスと呼ぶ。図３（ａ）では、検出ブロック特徴検査部３，４が検出ブロックにエッジが含まれているか否かを検査し、エッジが含まれているという検査結果が示された検出ブロックについては、特徴点ステータスを「Ｈ」として示し、エッジが含まれていないという検査結果が示された検出ブロックについては、特徴点ステータスを「Ｌ」として示す。以下では、特徴点ステータスが「Ｈ」の検出ブロックを特徴点と呼び、特徴点以外の検出ブロックについては、非特徴点と呼ぶ。図３では、検出ブロック３−１、３―２、３−９、３−１０が特徴点に該当する。

検査ブロック特徴検査部３，４は、検査結果、すなわち、各検出ブロックが特徴点であるか、非特徴点であるかを表す情報(特徴点データ）を状態記録部１０に出力する。状態記録部１０は、特徴点データを記憶する。特徴点データは、動きベクトル検出部７および補正部９によって参照される。状態記録部１０において保持される特徴点データは、取得したデータであってもよいし、加工したデータであってもよい。また、フラグ化して回路規模の削減を行うことも可能である。さらに、現在の検出時にはデータを保持して、外部や内部のメモリに格納する場合にのみフラグ化する構成であってもよく、特に限定はされない。

補正部９は、内挿ブロックに割り付けられたベクトルに対して、補正処理を施す。このとき、補正部９は、状態記録部１０において記憶されている特徴点データを読み出し、特徴点の整合を検査する。

補正部９における特徴点の整合を検査する処理について、より詳細に説明する。図３に示すとおり、過去画ｆ（ｔ−１）において、内挿ブロック３−１１に割り付けられた内挿ベクトル３−２１に基づいて参照される領域（内挿ベクトル３−２１の起点となる領域）には、小物体のエッジが含まれており、特徴点となっている。一方、未来画ｆ（ｔ）において、ベクトル３−２１に基づいて参照される領域（内挿ベクトル３−２１の終点となる領域）は、非特徴点である。したがって、補正部９は、内挿ブロック３−１１について、内挿ベクトル３−２１に基づいて参照される過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の特徴点の不整合（すなわち、内挿ベクトル３−２１の始点と終点の特徴点ステータスの不一致）を検出する。

また、図３に示すとおり、過去画ｆ（ｔ−１）において、内挿ブロック３−１４に割り付けられた内挿ベクトル３−２３に基づいて参照される領域（すなわち、内挿ベクトル３−２３の始点）は、小物体のエッジが含まれておらず非特徴点となっている。さらに、未来画ｆ（ｔ）において、内挿ベクトル３−２３に基づいて参照される領域（すなわち、内挿ベクトル３−２３の終点）もまた、非特徴点である。したがって、補正部９は、内挿ブロック３−１４について、内挿ベクトル３−２３に基づいて参照される過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の特徴点の整合（すなわち、内挿ベクトル３−２３の始点と終点の特徴点ステータスの一致）を検出する。

補正部９は、同様にして、図４に示す全ての内挿ブロック３−１１〜３―２０に割り付けられた内挿ベクトルについて、特徴点の整合を検査する。その結果、補正部９は、内挿ブロック３−１１、３−１２、３−１３、３−１８、３−１９、３−２０に割り付けられている内挿ベクトルの始点となる過去画の検出ブロックと終点となる未来画の検出ブロックとを比較し、特徴点ステータスの不一致、すなわち、特徴点の不整合を検出する。特許請求の範囲においては、特徴点ステータが不一致の内挿ベクトルを異常動きベクトルと呼ぶ。そして、これらの内挿ブロックは、図３（ｂ）および（ｃ）において小物体が分裂して出現する内挿ブロックと一致する。

（補正・作画処理）
補正部９および作画部１１は、特徴点の整合・不整合に基づいて内挿画像を作成する。補正部９および作画部１１による作画処理では、ベクトル割付部８によって割り付けられた内挿ベクトルに基づいて一旦生成した内挿画像を補正することによって最終的な内挿画像を作画する方法と、ベクトル割付部８によって割り付けられた内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて内挿画像を作画する方法とがある。

はじめに、内挿画像を過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する場合において、ベクトル割付部８によって割り付けられた内挿ベクトルに基づいて一旦生成した内挿画像を補正することによって最終的な内挿画像を作画する方法について説明する。ここでは、補正部９は、ベクトル割付部８において内挿ブロックに割り付けられた内挿ベクトルを作画部１１に出力し、内挿画像を作画する指示を与える。これにより、作画部１１は、ベクトル割付部８によって割り付けられた内挿ベクトルを用いて内挿画像を一旦作画する。さらに、補正部９は、内挿ベクトルの始点の検出ブロックと終点の検出ブロックとで、特徴点の不整合を検出した場合、当該内挿ベクトルが割り付けられている内挿ブロックについて、小物体が内挿画像に出現しないように内挿画像内において補間することを指示する。例えば、補正部９は、内挿ベクトルの始点の検出ブロックと終点の検出ブロックとで、特徴点の不整合を検出した場合、内挿ベクトルが割り付けられた内挿ブロックについては、内挿画像内の水平方向もしくは垂直方向の補間を指示されていない内挿ブロックの画像データを用いて、リニア補間やバイリニア補間により作画する。

また、作画処理では、補間が必要な内挿ブロックにおいて、一旦割り付けられたベクトルを用いて作画した後（すなわち、画像データを生成した後）、画像データの補間値によって上書きしてもよいし、一旦割り付けられたベクトルを用いて作画することなく、上書きしてもよい。

なお、補正部９から作画部１１へ出力される面内補間する内挿ブロックのベクトルは、検出したベクトルとは異なるベクトルであってもよい。

次に、内挿画像を過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する場合において、ベクトル割付部８によって割り付けられた内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて内挿画像を作画する方法について説明する。

片方向から作画するに当たって、小物体から現れる領域および小物体に隠れる領域の情報は存在しない。ここで、現れる領域とは、小物体の移動によって、過去画においては小物体が存在しているが、未来画においては背景が現れる領域である。また、隠れる領域とは、小物体の移動によって、過去画においては背景であるが、未来画において小物体によって隠れる領域である。つまり、未来画において背景が現れる領域は、過去画においては小物体が存在し、対応する背景の情報が存在していない。また、未来画において小物体によって隠れる領域の背景の情報は、過去画においては存在していたが、未来画においては存在しなくなる。

このため、内挿ベクトルのうち、現れる領域や隠れる領域を指し示すベクトルに基づいて作画した場合、誤った情報に基づいて作画されることになる。特に、当該ベクトルが指し示している特徴点、あるいは、当該ベクトルの起点となっている特徴点が内挿画像の作画に用いられた場合には、特徴点は周辺の非特徴点と比較して著しく際立った領域であり、上述したように、小物体が分裂して示される結果となる。そこで、これらの領域を、片方向からの情報のみで表現する最もふさわしい方法としては、小物体周辺の情報を用いて表示することとなる。つまり、現れる領域や隠れる領域などを指し示す内挿ベクトルが割り付けられた内挿ブロックにおいては、当該内挿ベクトルの始点や終点の特徴点の情報を用いずに、その特徴点周辺の非特徴点の情報を用いて作画することによって、小物体が分裂して表示されるような事態を回避できる。

従って、例えば、特徴点を指し示すベクトルであって、始点と終点の検出ブロックの特徴点ステータスが一致しないベクトルに対しては、当該ベクトルが非特徴点を指し示すようにベクトルを補正する。また、特徴点が基点となるベクトルであって、始点と終点の検出ブロックの特徴点ステータスが一致しないベクトルに対しては、非特徴点をベクトルが基点となるようにベクトルを補正する。

内挿ベクトルを補正する場合、ブロックサイズをＢＳとし、時刻ｔ−１と時刻ｔとの間において時間間隔の１／ｆｉの時刻に内挿画像を内挿するとき、補正対象の内挿ベクトルにＢＳ×ｆｉを加算もしくは減算する。加算もしくは減算の判定は、最初に内挿点に割り付けられていたベクトルが指し示す作画する側のブロックを中心に、その周辺ブロックで特徴点とならないブロックを指し示す方向とする。

例えば、図３において作画を過去画のみから行う場合を例に説明する。図３の例では、検出ブロックのサイズは「８×８」であり、時刻ｔ−１と時刻ｔとの間において時間間隔の１／２の時刻に内挿画像を内挿する。内挿ブロック３−１１に割り付けられた内挿ベクトル３−２１は、補正部９において、始点と終点の特徴点の不整合が検出される。すなわち、内挿ベクトル３−２１は、異常ベクトルを示す。このとき、内挿ベクトル３−２１の始点は、検出ブロック３−１であり、検出ブロック３−１は特徴点であるため、内層画像の作画に用いた場合、上述のとおり小物体を分裂して表示してしまうことになる。そのため、補正部９は、内挿ブロック３−１１の内挿ベクトルを、当該内挿ベクトルの始点が非特徴点となるように補正する。ここで、検出ブロック３−１に隣接する一方の検出ブロック３−２は特徴点であり、検出ブロック３−１に隣接するもう一方の検出ブロック３−３７は非特徴点である。したがって、補正部９は、内挿ブロック３−１１の内挿ベクトルの始点が検出ブロック３−３７となるように、内挿ブロック３−１１の内挿ベクトルを補正する。

図３は原画および内挿画像の水平方向の断面図であり、検出ブロック３−１から見て検出ブロック３―３７の方向に原点がある場合、内挿ベクトル３−２１は負の方向を指し示す大きさ８のベクトルである。そして、内挿ブロック３−１１の補正後の内挿ベクトルの始点を検出ブロック３−３７とするため、内挿ベクトル３−２１のｘ方向成分（すなわち−８）にＢＳ×ｆｉ（すなわち８×２＝１６）を加算する。これにより、内挿ブロック３−１１の内挿ベクトルは、内挿ベクトル３−２１から、内挿ベクトル３−３４に補正される。

また、内挿ブロック３−１２および３−１３については、内挿ベクトル３−２６および３−２７の始点が検出ブロック３−２（特徴点）であるため、始点が検出ブロック３−３（非特徴点）となるような内挿ベクトルに変更する。図３の例では、内挿ベクトル３−２６および３−２７は負の方向を指し示す大きさ８のベクトルである。そして、これらのベクトルのｘ方向成分（すなわち−８）にＢＳ×ｆｉ（すなわち８×２＝１６）を減算する。これにより、内挿ブロック３−１２および３−１３の内挿ベクトルは、内挿ベクトル３−２６および３−２７から、内挿ベクトル３−３５および３−３６に補正される。

この例では、水平方向（ｘ成分方向）のみを示したが、垂直方向に対しても同様の手順で対応が可能となる。なお、特徴点の検出ブロックの周辺に複数の非特徴点の検出ブロックが存在する場合に、どの方向へベクトルをずらすかは、あらかじめ優先順位を決めておくものとする。

したがって、過去画において参照される領域および未来画において参照される領域は、いずれも非特徴点となる。このとき、内挿ブロック３−１１において作画される画像は、本来の状態とは異なるが、原画像における非特徴点の画像が表示されるため、特徴点の画像（小物体の画像）が誤表示される場合に比較して、作画される内挿画像の破綻は大幅に軽減される。

その後、補正部９は、補正した内挿ベクトルを作画部１１に出力する。そして、作画部１１は、補正部９から供給される補正後の内挿ベクトルを用いて内挿画像を作画する。

なお、内挿画像を過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する上述の方法において、特徴点ステータスの不一致が検出された検出ブロックのうち、作画に用いられる側の原画の検出ブロックが非特徴点の場合には、補正部９における補正処理を行わず、作画に用いられる側の原画の検出ブロックが特徴点の場合にのみ、補正部９における補正処理を行う構成であってもよい。

例えば、作画に用いる原画像が過去画である場合、図３に示す内挿ブロック３−１１、３−１２、３−１３に割り付けられた内挿ベクトルについては、過去画における始点の領域は特徴点を示しているため、上述した内挿画像の補間もしくは内挿ベクトルの修正を行い、内挿ブロック３−１８、３−１９、３−２０については、過去画における始点の領域は特徴点を示していないため、上述した面内補間もしくは内挿ベクトルの修正を行うことなく、そのまま処理することも可能である。

さらに、過去画および未来画の双方から作画する場合の例について説明する。図３に示すとおり、過去画ｆ（ｔ−１）において、内挿ブロック３−１１、３−１２、３−１３に割り付けられた内挿ベクトルに基づいて参照される領域は特徴点である。つまり、内挿ベクトル３−２１、３−２６、３−２７の始点の検出ブロック３−１、３−２は、小物体のエッジが含まれた特徴点である。そこで、補正部９は、作画部１１に対して、内挿ブロック３−１１、３−１２、３−１３については、未来画ｆ（ｔ）からのみ作画する指示を与える。上述のとおり、過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の双方向から作画する場合、内挿画像の画素値は、
Ｐ（ｘ，ｙ）＝α×Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）＋（１−α）×Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
によって表されるが、未来画からのみ作画する指示とは、上式において、α＝０として画素値を算出する指示を意味する。つまり、この場合には、内挿ベクトル３−２１、３−２６、３−２７の終点の検出ブロック３−６、３−３８、すなわち、非特徴点を用いて作画が行われる。

また、図３に示すとおり、作画時に、未来画ｆ（ｔ）において、内挿ブロック３−１８、３−１９、３−２０に割り付けられた内挿ベクトルに基づいて参照される領域は特徴点である。つまり、内挿ベクトル３−３０、３−３１、３−２５の終点の検出ブロック３−９、３−１０は、小物体のエッジが含まれた特徴点である。そこで、補正部９は、作画部１１に対して、内挿ブロック３−１８、３−１９、３−２０については、過去画ｆ（ｔ−１）からのみ作画する指示を与える。過去画からのみ作画する指示とは、上式において、α＝１として画素値を算出する指示を意味する。つまり、この場合、内挿ベクトル３−３０、３−３１、３−２５の始点の検出ブロック３−５等、すなわち、非特徴点を用いて作画が行われる。

これにより、内挿ベクトルの始点および終点の特徴点ステータスが不一致の場合、始点および終点のうち非特徴点の原画像を用いて作画が行われることになる。したがって、始点および終点の特徴点ステータスが不一致の内挿ベクトルが割り付けられた内挿ブロックにおいて、特徴点は作画されない。したがって、内挿画像において、特徴点の画像が２重もしくは３重に出現することを防止することが可能となる。

なお、検出ブロック特徴検査部３，４による検査処理において、検査対象を検出ブロック内のみに限定する構成であってもよいし、検出ブロックの境界にエッジが重なった場合を考慮して、検出ブロックを１ピクセル拡張した領域を検査対象とする構成であってもよい。

また、正しく物体の動きを捉えるために、エッジを含む検出ブロックに対しては、エッジを含む領域と、より相関を取りやすくする重み付けや、候補ベクトルの与え方に変更することも可能である。

（検出ブロックのエネルギー検出）
検出ブロック特徴検査部３，４が、検出ブロックの特徴として、検出ブロックのエネルギーを検査する構成について、図４〜図５を用いて説明する。図４は、小物体Ｂが移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。時刻ｔ−１は、時刻ｔの１つ前の時刻であり、原画像ｆ（ｔ−１）は内挿画像に対して過去の画像となり、原画像ｆ（ｔ）は内挿画像に対して未来の画像となる。

図４（ａ）に示すとおり、原画像ｆ（ｔ−１）において、個所４−１のように細い線で囲まれた部分は、１ピクセル（画素）を表しており、４×４ピクセルの画素群ごとに検出ブロック４−２〜４−１０を構成している。同様に、図４（ｂ）に示すとおり、原画像ｆ（ｔ）においても、４×４ピクセルの画素群ごとに検出ブロック４−１４〜４−２２を構成している。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する小物体Ｂを表している。また、図４（ａ）および（ｂ）において、斜線等によって示される領域は、小物体Ｂの背景領域を表している。図４（ａ）および（ｂ）において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図４（ａ）の矢印４−１２は、小物体Ｂの動きベクトルを示しており、矢印４−１３は、背景領域の動きベクトルを示している。

図５は、図４に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であって、原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。また、図５は、図４（ａ）および（ｂ）に示す原画像と内挿画像とについて、小物体Ｂの動き方向の断面をとって一次元表示し、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）とを動きベクトルで対応付けて示したものである。

図５において、原画像ｆ（ｔ−１）は、検出ブロック５−１〜５−１０を含でおり、原画像ｆ（ｔ）は、検出ブロック５−１１〜５−２０を含んでいる。図５の検出ブロック５−１〜５−９は、図４の検出ブロック４−２〜４−１０に対応しており、図５の検出ブロック５−１１〜５−１９は、図４の検出ブロック４−１４〜４−２２に対応している。

図５に示す例では、検出ブロック５−４のように、小物体を示しているものの、エッジを含まない検出ブロック（全ての領域が小物体を表す検出ブロック）における処理について説明する。なお、図５に示す検出ブロック５−３、５−５のような小物体のエッジを含む検出ブロックにおいて検出される動きベクトルを用いて内挿画像を作画する場合の問題点と作画方法の例については、図２〜図３を用いて説明したとおりであり、ここでは説明を省略する。

図５に示す例では、検出ブロック５−３の動きベクトルの検出において、背景領域の相関を重視しているものとする。また、内挿ブロックへの動きベクトルの割付け時に原画像ブロックの境界と割付けブロックの境界とが隣接した時の処理は割り付けるルールとして示している。通常、原画のブロックのサイズは、内挿ブロックのサイズより小さく、原画のブロックの境界と内挿ブロックの境界とは一致しない場合が多い。そのため、一般的には、原画ブロックの中心において検出された動きベクトルを、原画ブロックの領域に一部でも重なって存在する内挿ブロックの全てに対して割り付けることになるが、図５に示す例では、内挿ブロックの境界と原画ブロックの境界とが一致（例えば原画ブロック５−３の境界と内挿ブロック５−２５の境界とが一致）する構成として示されており、接した境界の外側の内挿ブロックに動きベクトルを割り付けるか否かは仕様となるが、図５に示す例では、割り付ける仕様とする。つまり、図５に示す例では、検出ブロック５−３において検出された動きベクトルが内挿ブロック５−２４に割り付けられるが、内挿ブロック５−２４に隣接する内挿ブロック５−２５にも、検出ブロック５−３において検出された動きベクトルが割り付けられることとなる。

したがって、図５に示す例では、内挿ブロック５−２５には、背景の動きを示す動きベクトルが割り付けられる。そして、図５に示すとおり、作画処理において内挿ブロック５−２５に割り付けられた内挿ベクトルに基づいて参照される検出ブロック（すなわち、内挿ベクトルの始点および終点となる検出ブロック）は、過去画ｆ（ｔ−１）においては検出ブロック５−４であり、未来画ｆ（ｔ）においては検出ブロック５−１２である。

ここで、検出ブロック５−４および検出ブロック５−１２は、いずれも、エッジ領域ではないため、エッジを含む検出ブロックを特徴点としただけの場合、検出ブロック５−４および検出ブロック５−１２は、検出ブロック特徴検査部３，４において、いずれも非特徴点と判定される。そのため、補正部９は、特徴点は整合（すなわち、特徴点ステータスは一致）していると判定する。ところが、実際には、検出ブロック５−４は小物体であるのに対し、検出ブロック５−１２は背景領域であるため、内挿ブロック５−２５には適切な内挿ベクトルが割り付けられていない。この結果、過去画ｆ（ｔ−１）を用いて内挿画像を作画した場合、内挿ブロック５−２５には小物体を示す画像が出現するため、小物体が分裂して表示されてしまう場合がある。

そこで、検出ブロック特徴検査部３，４が、検出ブロックの特徴として、検出ブロックのエネルギーを検査する構成によって、より正確に小物体と背景領域とを識別することが可能となる。以下では、検出ブロックのエネルギーを検査する構成について、検出ブロックの平均エネルギーを輝度情報を用いて表す場合について説明する。

ｍ×ｎ個の画素によって構成される検出ブロックについて、各画素を座標として捉えた場合、左上の画素の座標を（０，０）とし、座標（ｉ，ｊ）の画素の輝度をＹ（ｉ，ｊ）とすると、検査対象の検出ブロックの平均エネルギーＥは、数１によって表される。

また、特徴点の検査対象の画像について、各検出ブロックを座標として捉えた場合、左上の検出ブロックの座標を（０，０）、検査対象となる検出ブロックの座標を（ｋ，ｌ）とし、周辺エリアを検査対象の検出ブロックを中心に水平方向に±ａ、垂直方向に±ｂの範囲、すなわち、（ｋ±ａ，ｌ±ｂ）の範囲のブロックとしたとき、周辺エリアの平均エネルギーＥａｖ（すなわち、周辺エリアの検出ブロックの平均エネルギーの平均値）は、数２によって表される。

ここで、ａおよびｂは、少なくとも１以上であり、好ましくは、物体を物体として認知可能な動きのスピードをカバーする領域や処理規模の制約によって決定される動き表現を行う探索範囲をカバーする領域とする。

そして、検出ブロック特徴検査部３，４は、例えば、｜Ｅ−Ｅａｖ｜（検出ブロックの平均エネルギーＥと周辺エリアの平均エネルギーＥａｖとの差の絶対値）と閾値Ｋとを比較し、｜Ｅ−Ｅａｖ｜＞Ｋを満たしている場合、検査対象の検出ブロックは特徴的であると判定する。ここで、閾値Ｋは、固定値としてもよい。また、輝度差の視認性は、輝度値によって異なるため、閾値Ｋは、周辺エリアの平均エネルギーＥａｖに応じて変動する値としてもよい。

検査対象の検出ブロックの平均エネルギーが周辺エリアの平均エネルギーと比較して差が大きいということは、画像における特徴点であることを意味しており、認知され易くなる。この傾向は特に輝度差に関して強いことが知られている。反対に、検出ブロックの平均エネルギーが周辺エリアの平均エネルギーと比較して差が小さいということは、検査対象の検出ブロックが周辺エリアと同化している可能性が高い。この場合、誤って割り付けられた内挿ベクトルに基づいて当該検出ブロックが内挿画像の作画に用いられたとしても、視認される可能性は低いため、問題とはならない。

図５に示す例では、小物体Ｂを含む検出ブロックが周辺エリアと比較して特徴的なエネルギー値を示しているとき、図５において動きベクトルが割り付けられていない内挿ブロック５−２６，５−２７，５−３５，５−３６には、周辺の内挿ブロックに割り付けられているベクトルの様子から、背景の動きを表す動きベクトルが割り付けられることになる。

そして、内挿画像の作画時には、内挿ブロック５−２６，５−２７に割り付けられる内挿ベクトル（背景の動きを表す動きベクトル）に基づいて、過去画ｆ（ｔ−１）においては小物体を示す検出ブロック５−４，５−５が参照され、未来画ｆ（ｔ）においては、検出ブロック５−１２，５−１３が参照される。未来画ｆ（ｔ）の検出ブロック５−１２，５−１３は、過去画ｆ（ｔ−１）において小物体Ｂの影（後ろ）に隠れていた領域であって、小物体Ｂおよび背景の移動の結果、新たに現れる領域である。

また、内挿ブロック５−３５，５−３６に割り付けられる内挿ベクトル（背景の動きを示す動きベクトル）に基づいて、過去画ｆ（ｔ−１）においては、背景を示す検出ブロック５−９が参照され、未来画ｆ（ｔ）においては、小物体の領域を示す検出ブロック５−１７が参照される。過去画ｆ（ｔ−１）の検出ブロック５−９は、未来画ｆ（ｔ）において小物体Ｂの影（後ろ）に隠れる領域である。

ここで、検出ブロック特徴検査部３，４は、検出ブロックの平均エネルギーと周辺エリアの平均エネルギーとの比較の結果、検出ブロック５−４，５−５，５−１７，５−１８について、特徴点であると判定する。

そして、内挿ブロック５−３０〜５−３２に割り付けられる内挿ベクトル（小物体の動きを表すベクトル）の始点は過去画ｆ（ｔ−１）における検出ブロック５−４，５−５であり、終点は未来画ｆ（ｔ）における検出ブロック５−１７，５−１８である。ここで、過去画における検出ブロック５−４，５−５および未来画における検出ブロック５−１７，５−１８は、上述のとおり、いずれも特徴点と判定されており、特徴点が整合している。

また、上述のとおり、内挿ブロック５−２６，５−２７に割り付けられる内挿ベクトル（背景の動きを示すベクトル）の始点は、過去画ｆ（ｔ−１）における検出ブロック５−４，５−５であり、終点は未来画ｆ（ｔ）における検出ブロック５−１２，５−１３である。ここで、過去画における検出ブロック５−４，５−５は、特徴点であるのに対し、未来画における検出ブロック５−１２，５−１３は、非特徴点である。したがって、補正部９は、内挿ブロック５−２６，５−２７に割り付けられる内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とは、整合していない（すなわち、内挿ベクトルの始点と終点の特徴点ステータスが不一致）と判定する。

また、上述のとおり、内挿ブロック５−３５，５−３６（背景の動きを示すベクトル）に割り付けられる内挿ベクトルの始点は過去画ｆ（ｔ−１）における検出ブロック５−９，５−１０であり、終点は未来画ｆ（ｔ）における検出ブロック５−１７，５−１８である。ここで、過去画における検出ブロック５−９，５−１０は、非特徴点であるのに対し、未来画における検出ブロック５−１７，５−１８は、特徴点である。したがって、補正部９は、内挿ブロック５−３５，５−３６に割り付けられた内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とは、特徴点が整合していない（すなわち、内挿ベクトルの始点と終点の特徴点ステータスが不一致）と判定する。

内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とが整合していないと判定された場合、原画像の片側から作画する方法の場合には、エッジのみを特徴点として用いた場合と同様に、内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて作画してもよいし、内挿ベクトルを補正せずに一旦内挿画像を生成した後、面内補間するようにしてもよい。また、原画像の双方から作画する方法では、非特徴点の原画を用いて内挿画像を作画することにより、対応可能となる。

（特徴点と内挿ベクトルの割付）
また、原画像において小物体の動きベクトルが正しく検出されたとしても、小物体の動きベクトルが割り付けられるべき内挿点において、背景の動きベクトルと衝突（すなわち、競合）する場合に問題が生じる。この問題について、図６〜７を用いて説明する。図６は、小物体Ｃが移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。時刻ｔ−１は、時刻ｔの１つ前の時刻であり、原画像ｆ（ｔ−１）は内挿画像に対して過去の画像となり、原画像ｆ（ｔ）は内挿画像に対して未来の画像となる。

図６（ａ）に示すとおり、原画像ｆ（ｔ−１）において、個所６−１のように細い線で囲まれた部分は、１ピクセル（画素）を表しており、４×４ピクセルの画素群ごとに検出ブロック６−２〜６−１０を構成している。同様に、図６（ｂ）に示すとおり、原画像ｆ（ｔ）においても、４×４ピクセルの画素群ごとに検出ブロック６−１４〜７−２２を構成している。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する小物体Ｃを表している。また、図６（ａ）および（ｂ）において、斜線等によって示される領域は、小物体Ｃの背景領域を表している。図６（ａ）および（ｂ）において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図６（ａ）の矢印６−１２は、小物体Ｃの動きベクトルを示しており、矢印６−１３は、背景領域の動きベクトルを示している。

図７は、図６に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であって、原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。また、図７は、図６（ａ）および（ｂ）に示す原画像と内挿画像とについて、小物体Ｃの動き方向の断面をとって一次元表示し、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）とを動きベクトルで対応付けて示したものである。

図７に示すとおり、過去画ｆ（ｔ−１）の検出ブロック７−１には、小物体Ｃが含まれている。ここでは、検出ブロック７―１において、未来画ｆ（ｔ）の検出ブロック７−６に含まれる小物体Ｃに向かう動きベクトルが検出されるものとする。

また、過去画ｆ（ｔ−１）の検出ブロック７−２、７−３は、背景領域を示す検出ブロックである。検出ブロック７−２、７−３においては、それぞれ、未来画ｆ（ｔ）において対応する背景領域を示す検出ブロック７−４、７−５に向かう動きベクトルが正しく検出されるものとする。

このとき、内挿ブロック７−７では、検出ブロック７−１において検出された小物体の動きベクトルと、検出ブロック７−２において検出された背景領域の動きベクトルとが競合する。また、内挿ブロック７−８では、検出ブロック７−１において検出された小物体の動きベクトルと、検出ブロック７−３において検出された背景領域の動きベクトルとが競合する。この場合、内挿ブロック７−７および７−８において競合するベクトルは、どちらも正しい。

ここで、内挿ブロック７−７および７−８に割り付けるベクトルを決定するためにＳＡＤなどの画素相関値を用いる場合、背景領域を示す検出ブロック７−２、７−３と検出ブロック７−４、７−５とは完全に一致することを表す結果となるのに対し、小物体を含む（エッジを含む）検出ブロック７−１と検出ブロック７−６とでは、小物体のほかに含まれている背景領域が異なっているため、画素相関値が高くなる。すなわち、背景領域を示す検出ブロックの画素相関（検出ブロック７−２、７−３と検出ブロック７−４、７−５との画素相関）は高く、エッジを含む検出ブロックの画素相関（検出ブロック７−１と検出ブロック７−６）は低い。したがって、動きベクトルの競合が発生している内挿ブロック７−７および７−８においては、割り付けられる内挿ベクトルとして、背景領域の動きベクトルが選択されることになる。このため、内挿画像を作画した場合において、小物体が消滅してしまう。

なお、この例に限らず、一般的に、検出ブロックを固定に区切る場合、小物体の輪郭が検出ブロックと一致するとは限らず、小物体を示す検出ブロックには背景領域も含まれる可能性が高い。そして、過去画と未来画との間で小物体もしくは背景が動いている場合、小物体を示す検出ブロックに含まれる背景領域が同一のものとなる可能性は低くなる。したがって、エッジを含む領域は画素相関値が高くなり（すなわち、画素相関が低くなり）、内挿ブロックにおいて動きベクトルの競合が発生した場合、エッジを含む領域の動きベクトルが負ける可能性が高く、内挿画において、エッジの欠落が発生する可能性が高くなる。

また、内挿ブロックにおいて競合が発生した場合において、小物体の動きベクトルがうまく割り付けられたとしても、図７に示すように小物体の領域が小さい場合には、メディアンフィルタ等を使用したときに、物体のベクトルが消滅することもあり得る。

これに対して、本発明に係る画像補間装置１では、検出ブロック特徴検査部３、４において、各検出ブロックが特徴点であるか否かを検査する構成であり、内挿ブロックに割り付けられた動きベクトルに基づいて参照される検出ブロックが、過去画および未来画のいずれにおいても特徴点の場合（内挿ベクトルの始点および終点の検出ブロックがどちらも特徴点の場合）には、ベクトル割付部８において、当該動きベクトルを、当該内挿ブロックに割り付ける内挿ベクトルとして無条件で決定する構成であってもよい。また、内挿ブロックに割り付ける内挿ベクトルを決定するためにＳＡＤ値を用いる場合において、始点および終点の検出ブロックがどちらも特徴点となる動きベクトルについては、対応するＳＡＤ値に一定のハンディを与えるなどして、優先的に内挿ブロックに割り付けられるような構成としてしてもよい。さらに、ベクトル割付部８において、検出された動きベクトルに対してメディアンフィルタを適用する構成の場合であっても、上記の始点および終点の検出ブロックがどちらも特徴点となる動きベクトルに対しては、メディアンフィルタを省略する構成としてもよい。

さらに、これらの構成において、誤検出された動きベクトルが内挿ブロックに割り付けられないように、検出された動きベクトルに基づいて参照される検出ブロックの画素相関（動きベクトルの始点の検出ブロックと終点のブロックの画素相関）が、予め定められた閾値よりも高い場合にのみ、内挿ベクトルとして割り付けられることが好ましい。また、検出された動きベクトルに基づいて参照される検出ブロックが、過去画および未来画のいずれにおいてもエッジ領域である場合にのみ（動きベクトルの始点の検出ブロックと終点の検出ブロックとがいずれもエッジ領域の場合にのみ）、内挿ベクトルとして割り付けられることが好ましい。

（変形例）
なお、本実施の形態では、画像補間装置１は、２つの検出ブロック特徴検査部３および４を備えた構成について説明しているが、検出ブロック特徴検査部を１つ削減して、１つだけ備えた構成であってもよい。つまり、本実施の形態に係る画像補間装置１では、検出ブロックを固定とした検出においては、過去画としても未来画としても、同様な検出ブロックとなるため、ある時刻において動きベクトルの検出対象となる未来画は、次の時刻において、過去画として利用することができる。すなわち、未来画の特徴検査の結果を、記憶部に保持しておけば、過去画の特徴検査の結果としても用いることができるため、未来画として特徴検査を行った後、再度、過去画として特徴検査を行う必要はなく、画像補間装置１は、未来画の特徴を検査する検出ブロック特徴検査部を１つだけ備えた構成であってもよい。

また、本発明に係る画像補間装置１は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る画像補間装置１は、ＤＶＤ再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。

（他の構成）
なお本発明を、以下のように表現することも可能である。

（第１の構成）
時間的に異なる２枚の原画像の時間的内分点に内挿画像を生成する画像補間方法および装置において、時間的に過去に相当する画像をF(n-1)、時間的に未来の画像をF(n)としたとき、原画F(n-1)もしくはF(n)の座標を画素グループとして固定的に区切り、画素グループ（以下、検出ブロック）を単位に前記２枚の異なる原画像の相関を動きベクトルで表現する画像補間の方法および装置において、F(n-1)からF(n)に向かって動きベクトルを検出する手段（detect1）もしくはF(n)からF(n-1)に向かって動きベクトルを検出する手段（detect2）を有し、検出ブロック自身の特徴を検査する機能を有し、原画座標上に検査結果を記録する手段を有し、前記、検査結果を用いてベクトルを補正する手段を有することを特徴とする画像補間方法および装置。

（第２の構成）
第１の構成の画像補間装置において、検出ブロック自身を検査する機能として、請求項６で求める平均エネルギーと検出ブロック自身の平均エネルギーの差分量を特徴量として前記２枚の原画上の検出ブロックの座標上に状態を記録することを特徴とする画像補間装置。

（第３の構成）
第１の構成の画像補間装置において、検出ブロックを検査するブロックは未来側の原画像側にのみ存在することを特徴とする画像補間装置。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像補間装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る画像補間装置は、映像信号に含まれる原画像から補間画像を精度良く生成することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。

本発明に係る画像補間装置１の構成を示すブロック図である。 小物体が移動する映像の原画像を示す図であり、（ａ）は、時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、時間的に未来の原画像ｆ（ｔ）を示す図である。 図２に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であり、（ａ）は原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図であり、（ｂ）は内挿座標に割り付けられた動きベクトルを用いて原画像ｆ（ｔ−１）から作画した内挿画像ｆｉ（ｔ−１）を示す図であり、（ｃ）は内挿座標に割り付けられた動きベクトルを用いて原画像ｆ（ｔ）から作画した内挿画像ｆｉ（ｔ−１）を示す図である。 小物体が移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。 図４に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であって、原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。 小物体が移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。 図６に示す原画像ｆ（ｔ）およびｆ（ｔ−１）から内挿画像ｆｉ（ｔ−１）を作画する処理を説明するための図であって、原画像ｆ（ｔ−１）を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。 入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。 ベクトルを算出するために基準画像をブロックに分割する例を示す図である。 内挿座標へのベクトルの割付の例を示す図である。

符号の説明

１ 画像補間装置
２，５，６ 遅延部
３，４ 検出ブロック特徴検査部（状態判定手段）
７ 動きベクトル検出部
８ ベクトル割付部（動きベクトル割付手段）
９ 補正部（内挿ベクトル補正手段、内挿画像補正手段）
１０ 状態記憶部（記憶手段）
１１ 作画部（内挿画像生成手段）

Claims (13)

1. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、
   第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、
   上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
2. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、
   第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、
   内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する内挿ベクトル補正手段と、
   内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
3. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１原画像と該第２原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、
   内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成手段と、
   第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、
   上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正手段とを備えていることを特徴とする画像補間装置。
4. 上記状態判定手段は、
   上記第１の原画像の各ブロック、および、上記第２の原画像の各ブロックについて、ブロックの平均エネルギーと、当該ブロックから所定の範囲内に位置するブロックの平均エネルギーの平均値との差の絶対値が、予め定められた閾値よりも大きいか否かによって特徴点か非特徴点かを判定することを特徴とする請求項１から３までのいずれか１項に記載の画像補間装置。
5. 上記状態判定手段は、
   上記第１の原画像の各ブロック、および、上記第２の原画像の各ブロックについて、エッジが含まれているか否かによって特徴点か非特徴点かを判定することを特徴とする請求項１から３までのいずれか１項に記載の画像補間装置。
6. 上記状態判定手段の判定結果を記憶する記憶手段をさらに備えていることを特徴とする請求項１から５までのいずれか１項に記載の画像補間装置。
7. 請求項１から６までのいずれか１項に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
8. 請求項１から６までのいずれか１項に記載の画像補間装置を備えていることを特徴とする映像再生装置。
9. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、
   第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定ステップと、
   上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴とする画像補間方法。
10. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１の原画像と該第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、
    第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、
    内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する内挿ベクトル補正ステップと、
    内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴とする画像補間方法。
11. 第１の時刻に対応する第１の原画像の各ブロックを始点とし、第１の時刻とは異なる第２の時刻に対応する第２の原画像の何れかのブロックを終点とする動きベクトルを、該第１原画像と該第２原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、
    内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップと、
    第１の原画像の各ブロック、および、第２の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、
    上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定ステップの判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正ステップとを備えていることを特徴とする画像補間方法。
12. 請求項１から６までのいずれか１項に記載の画像補間装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
13. 請求項１２に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images