JP4658686B2 - 双方向動きベクトル検出による内挿画像生成装置及びプログラム - Google Patents

Description

本発明は、テレビジョン方式を変換する場合における、動きベクトルを用いて内挿画像を生成する技術に関する。

動きベクトルにより動画像の動きを補正する技術は、テレビジョン信号を高能率に符号化する場合に、フレーム間の符号化効率を向上させるために用いられる。また、この技術は、テレビジョン方式を変換する場合に、フレーム数を変換して動きの不連続性を軽減するためにも用いられる。

図１は、テレビジョン方式を変換する場合の、フィールド数及びフレーム数の変換を説明する図である。図１（ａ）は、ＮＴＳＣ−ＰＡＬ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ−Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）変換の場合における、フィールド数の変換を説明する図である。図１（ａ）に示すように、ＮＴＳＣのフィールドから内挿フィールドを生成し、ＰＡＬのフィールドに変換する。この場合、毎秒６０フィールドから５０フィールドへの変換が必要になる。また、図１（ｂ）は、スーパーハイビジョン信号の順次走査によるテレビジョン信号から映画信号へ変換する場合における、フレーム数の変換を説明する図である。図１（ｂ）に示すように、スーパーハイビジョン信号のフレームから内挿フレームを生成し、映画信号のフレームに変換する。この場合、毎秒６０フレームから２４フレームへの変換が必要になる。図１（ａ）（ｂ）に示したように、この変換処理は、本来画像信号が存在しない時間位置に内挿画像を生成することにより、フィールド数及びフレーム数の変換を実現するものである。

一般に、内挿画像を生成するための方法には、線形内挿と動き内挿がある。図２は、線形内挿を説明する図である。図２に示すように、線形内挿による方法は、１フレーム離れた画像信号（ｎフレームの画像信号とｎ＋１フレームの画像信号）に、内挿比α：１−αを荷重して内挿フレームの画像信号を得るものである。この方法によれば、生成された内挿画像（図中央の画像）には、内挿比による画像ボケが四角の画像の両側の領域に現れ、画質が劣化する。一方、動き内挿による方法は、画像信号間で動きベクトルを検出し、この値に内挿比を乗じた値だけブロックを移動することにより、動き内挿信号を得るものである。この方法によれば、動きベクトルが正確な場合は、内挿画像の画質劣化を防ぐことができる。しかし、動きベクトルの検出エラーが発生した場合は、２重像やブロック歪みにより画質が劣化し、前述の線形内挿による方法よりも画質が劣化してしまうという問題がある。

ところで、テレビジョン方式を変換する場合に用いられる動きベクトル検出方法として、反復勾配法、パターンマッチング法、初期偏位ベクトル法等が知られている（例えば、特許文献１〜４を参照）。以下、（１）初期偏位ベクトル法、及び（２）反復勾配法について、簡単に説明する。詳細については、特許文献１〜４を参照されたい。

（１）初期偏位ベクトル法
まず、２次元ローパスフィルタが、元の画像信号からノイズを除去すると共に、高周波数帯域成分を低減する。また、インタレース信号の場合は、さらに、ローパスフィルタが、前フィールド、現フィールド及び後フールドの間でノイズを除去し、垂直方向のサンプリング位置を合致させる。これは、インタレース信号の場合、前後のフィールド間でサンプリング点の垂直位置が異なるからである。そして、現フィールドの既検出ベクトル、前フィールドの既検出ベクトル、及び、前フィールドの平均ベクトルから前々フィールドの平均ベクトルを引いた値のベクトル（加速度ベクトル）に基づいて、最適なベクトルが初期偏位ベクトルとして選択される。具体的には、動きベクトルの大きさ分だけ座標を変位させ、この変位させたフィールド間のｎ×ｎブロックにおける差分値を画素毎に算出し、この差分値の絶対値を累計し、この累計値を最小とするブロックの動きベクトルが初期偏位ベクトルとして選択される。
（２）反復勾配法
複数回の勾配法による演算を行い、前述の初期偏位ベクトルに、勾配法による演算で得られたベクトルを加算し、加算結果のベクトルが動きベクトルとして求められる。この反復勾配法は、動きベクトル検出の確度が高くない場合に用いられるが、十分な改善がなされていない。

また、動きベクトル検出の誤差や偏差を減少させる方法として、前述の初期偏位ベクトル法と反復勾配法とを組み合わせた方法が知られている。この方法は、まず、初期偏位ベクトル法を用いて、ｎフィールド前の信号から大まかな動き方向及び大きさを定め、その後、反復勾配法により動きベクトルを検出するものである。

一方、動きベクトルを用いて内挿画像を生成する場合に、動きベクトル検出にエラーが発生すると、生成した内挿画像の画質が劣化するという問題がある。前述の反復勾配法を用いたとしても、同様の問題が生じる。この問題を解決するために、２次元ローパスフィルタを用いて元の画像信号からノイズを除去し、中央値フィルタ等を用いて、各ブロックにおいて検出した動きベクトルに対し、さらに処理を施すことが行われている。これにより、動きベクトル検出の確度を高めることができ、内挿画像の画質劣化を防ぐことができる。さらに、動きベクトルの検出結果の信頼性が低い画素に対しては、線形内挿が行われている。このように、検出エラーの発生を可能な限り抑える工夫や、線形内挿処理等により、内挿画像の画質が劣化するという問題に対応している。

また、双方向から動きベクトルを検出し、これらの２種類の動きベクトルと、動きベクトルの大きさだけ変位した動き補正信号とを評価パラメータとして、真の動き補正画像を生成する技術が開示されている（特許文献５を参照）。この技術によれば、前フィールド及び現フィールドのうちのいずれかに動画が存在しない場合であっても、動きベクトル検出のエラーをなくし、内挿画像の歪みを軽減することができる。

特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特許３０１３８９８号公報 特開昭６０−１５８７８６号公報 特開２００３−４７０１１号公報

前述のように、動きベクトルを用いて内挿画像を生成する場合、２次元ローパスフィルタ及び中央値フィルタ等によるときには、動きベクトル検出の確度が向上し、内挿画像の画質劣化を軽減することができると考えられる。しかしながら、動きベクトル検出の精度が低下するため、内挿画像の画質劣化を十分に軽減することができないという問題があった。

本発明は、かかる問題を解決するためになされたものであり、その目的は、動きベクトル検出の精度を低下させることなく、その確度を向上させることにより、内挿画像の画質劣化を一層軽減することが可能な内挿画像生成装置及びプログラムを提供することにある。

本発明による内挿画像生成装置は、画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置において、前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する記憶部と、該記憶部からフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する動きベクトル検出部と、該動きベクトル検出部により検出された動きベクトルＶｉ及び他の動きベクトルに基づいて、動きベクトルＶｉ検出の確度を判定する動きベクトル確度判定部と、該動きベクトル確度判定部により判定された確度に基づいて、内挿フレームの画像信号を生成する内挿フレーム生成部と、を備えたことを特徴とする。

また、本発明による内挿画像生成装置は、前記動きベクトル確度判定部が、動きベクトルＶｉを基準にしてフレーム毎に領域を設定し、前記他の動きベクトルがフレーム毎の領域を通過するか否かにより、動きベクトルＶｉ検出の確度を判定する、ことを特徴とする。

また、本発明による内挿画像生成装置は、前記内挿フレーム生成部が、動きベクトル確度判定部により確度が高いものと判定した場合に、動き内挿による内挿方法を用いて内挿フレームの画像信号を生成し、前記確度が低いものと判定した場合に、線形内挿による内挿方法を用いて内挿フレームの画像信号を生成する、ことを特徴とする。

また、本発明による内挿画像生成装置は、画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置において、前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する記憶部と、該記憶部からフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する動きベクトル検出部と、該動きベクトル検出部により検出された動きベクトルＶｉ及び他の動きベクトルについて、それぞれの確度を判定し、該確度が最も高い動きベクトルを選択する動きベクトル確度判定／選択部と、該動きベクトル確度判定／選択部により選択された動きベクトルの始点及び終点のフレームに基づいて、内挿フレームの画像信号を生成する内挿フレーム生成部と、を備えたことを特徴とする。

また、本発明による内挿画像生成プログラムは、画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置が実行するプログラムであって、前記内挿画像生成装置を構成するコンピュータに、前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する処理と、前記記憶されたフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する処理と、前記検出された動きベクトルＶｉ及び他の動きベクトルに基づいて、動きベクトルＶｉ検出の確度を判定する処理と、前記判定された確度に基づいて、内挿フレームの画像信号を生成する処理と、を実行させることを特徴とする。

また、本発明による内挿画像生成プログラムは、画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置が実行するプログラムであって、前記内挿画像生成装置を構成するコンピュータに、前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する処理と、前記記憶されたフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する処理と、前記検出された動きベクトルＶｉ及び他の動きベクトルについて、それぞれの確度を判定し、該確度が最も高い動きベクトルを選択する処理と、前記選択された動きベクトルの始点及び終点のフレームに基づいて、内挿フレームの画像信号を生成する処理と、を実行させることを特徴とする。

本発明によれば、時間軸上の双方向から検出された動きベクトルに基づいて、動きベクトル検出の確度を判定し、この確度により内挿フレームの画像信号を生成するようにした。これにより、動きベクトル検出の確度を向上させることができる。また、２次元ローパスフィルタや中央値フィルタ等を用いることなく、内挿フレームの画像信号を生成するようにした。これにより、これらのフィルタを用いることに伴う動きベクトル検出の精度低下を招くことはない。したがって、動きベクトル検出の精度を低下させることなく、その確度を向上させることができるから、内挿画像の画質劣化を一層軽減することが可能となる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔発明の原理〕
まず、本発明の原理について説明する。図３は、本発明に用いる双方向動きベクトル検出方式を説明する図である。図３を参照して、左から右へフレームが移行する時間軸上において、ｎ−ｍ＋１フレーム，・・・，ｎ−２フレーム，ｎ−１フレーム，ｎフレーム，ｎ＋１フレーム，ｎ＋２フレーム，ｎ＋３フレーム，・・・，ｎ＋ｍフレームとするときに、ｎフレームとｎ＋１フレームとの間に内挿フレームを生成する場合を想定する。ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎに基づいて内挿フレームを生成する場合には、動きベクトルＶｎ検出の確度及び精度を高くする必要がある。ここでは、動きベクトルＶｎ検出の確度を判定する方法について説明する。動きベクトルＶｎ検出の確度が高いと判定した場合は、前述した動き内挿による内挿方法を用いて内挿フレームを生成し、動きベクトルＶｎ検出の確度が低いと判定した場合は、前述した線形内挿による内挿方法を用いて内挿フレームを生成する。

まず、図３に示すように、内挿フレームに対して、ｍフレーム前からｎフレームまでのの動き情報、及び、ｍフレーム後からｎ＋１フレームまでの動き情報を利用して、２（ｍ−１）＋１個の動きベクトルを検出する。つまり、後方（時間軸では−方向）においては、ｍ枚のフレーム（ｎ−ｍ＋１フレーム，・・・，ｎ−２フレーム，ｎ−１フレーム，ｎフレーム）を対象とし、これらのフレーム及びｎ＋１フレームから、動きベクトルＶｎ−ｍ＋１，・・・，Ｖｎ−２，Ｖｎ−１，Ｖｎを検出する。また、前方（時間軸では＋方向）においては、ｍ枚のフレーム（ｎ＋１フレーム，ｎ＋２フレーム，ｎ＋３フレーム，・・・，ｎ＋ｍフレーム）を対象とし、これらのフレーム及びｎフレームから、動きベクトルＶｎ＋２，Ｖｎ＋３，・・・，Ｖｎ＋ｍを検出する。

次に、検出した動きベクトルＶｎ−ｍ＋１，・・・，Ｖｎ−２，Ｖｎ−１，Ｖｎ，Ｖｎ＋２，Ｖｎ＋３，・・・，Ｖｎ＋ｍに対し、動きベクトル検出の確度を判定する。図４は、動きベクトル検出の確度を判定する方法を説明する図である。図４のフレーム及び動きベクトルは、図３に示したものと同様である。ここで、図４において、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎが、当該動きベクトルＶｎの終点であるｎ＋１フレーム上のｉ×ｊ領域に相当するものとする。この場合、後方の動きベクトルＶｎ−ｍ＋１，・・・，Ｖｎ−２，Ｖｎ−１が、これらの動きベクトルが通過するｎ−ｍ＋１，・・・ｎ−１，ｎフレームにおいて、それぞれのフレーム上のｉ＋ｊ領域に相当するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度（等速直線運動）で移動したものとみなすことができる。言い換えると、後方の全ての動きベクトルが、当該動きベクトルが通過する全てのフレームにおいて、全てのフレーム上のｉ×ｊ領域内を通過するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度で移動したものとみなすことができる。この場合、動きベクトルＶｎ検出は、後方のｎ−ｍ＋１，・・・，ｎ−２，ｎ−１，ｎフレームにおいて、確度が高いものと判定する。

一方、図４において、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎが、当該動きベクトルＶｎの始点であるｎフレーム上のｉ×ｊ領域に相当するものとする。この場合、前方の動きベクトルＶｎ＋２，Ｖｎ＋３，・・・，Ｖｎ＋ｍが、これらの動きベクトルが通過するｎ＋１，ｎ＋２，・・・，ｎ＋ｍフレームにおいて、それぞれのフレーム上のｉ×ｊ領域に相当するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度で移動したものとみなすことができる。言い換えると、前方の全ての動きベクトルが、当該動きベクトルが通過する全てのフレームにおいて、全てのフレーム上のｉ×ｊ領域内を通過するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度で移動したものとみなすことができる。この場合、動きベクトルＶｎ検出は、前方のｎ＋１，ｎ＋２，・・・，ｎ＋ｍフレームにおいて、確度が高いものと判定する。

つまり、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎを時間軸上の前方及び後方に延伸させ、当該延伸した動きベクトルＶｎが通過する領域をｎ−ｍ＋１フレーム〜ｎ＋ｍフレームまでのフレーム上に設定し、当該動きベクトルＶｎ以外の動きベクトルＶｎ−ｍ＋１，・・・，Ｖｎ−１，Ｖｎ＋２，・・・，Ｖｎ＋ｍが前記フレーム上の領域内を通過するか否かを判断し、全ての領域を通過する場合に、動きベクトルＶｎ検出の確度は高いものと判定する。つまり、動きベクトルＶｎは、ｎ−ｍ＋１，・・・，ｎ，ｎ＋１，ｎ＋２，・・・，ｎ＋ｍフレーム間において、確度の高い動きであると判定する。

尚、動きベクトルＶｎの検出確度は、動きベクトルＶｎがｉ×ｊ領域を通過するフレームの数や、ｉ×ｊ領域を通過しない場合の当該領域からの離隔の程度等により決定するようにしてもよい。例えば、動きベクトルＶｎがｉ×ｊ領域を通過するフレームの数が所定のしきい値以上の場合は確度が高いものと判定し、所定のしきい値よりも小さい場合は確度が低いものと判定するようにしてもよい。

〔実施例〕
一般に、画像の動きは必ずしも等速直線運動成分のみとは限らないので、実際の処理では、動きベクトルの検出対象をｍ＝２程度とするのが好ましい。そこで、図３及び図４に示した双方向動きベクトル検出方式及び確度判定方法において、動きベクトルを検出する対象をｍ＝２とした場合を説明する。図５は、動きベクトル検出対象をｍ＝２とした場合における、双方向動きベクトル検出方式を説明する図である。内挿フレームに対して、２フレーム前のｎ−１フレーム及びｎフレームの動き情報、及び、２フレーム後のｎ＋２フレーム及びｎ＋１フレームの動き情報を利用して、動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２を検出する。つまり、後方（時間軸では−方向）においては２枚のフレーム（ｎ−１フレーム，ｎフレーム）を、前方（時間軸では＋方向）においても２枚のフレーム（ｎ＋１フレーム，ｎ＋２フレーム）を対象とし、以下の（１）〜（３）の動きベクトルを検出する。
（１）ｎフレーム及びｎ＋１フレームから、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎを検出する。
（２）ｎ−１フレーム及びｎ＋１フレームから、ｎ−１フレームとｎ＋１フレームとの間の動きベクトルＶｎ−１を検出する。
（３）ｎフレーム及びｎ＋２フレームから、ｎフレームとｎ＋２フレームとの間の動きベクトルＶｎ＋２を検出する。

このように、動きベクトル検出対象をｍ＝２とした場合は、内挿フレームを中心に時間軸方向前後の２フレーム（合計４フレーム）から、動きベクトルを検出すればよい。この場合、３個の動きベクトルを検出することができる。

次に、検出した動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２に対し、動きベクトル検出の確度を判定する。図６は、動きベクトル検出対象をｍ＝２とした場合における、動きベクトル検出の確度を判定する方法を説明する図である。ここで、図６において、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎが、当該動きベクトルＶｎの終点であるｎ＋１フレーム上のｉ×ｊ領域に相当するものとする。この場合、後方の動きベクトルＶｎ−１が、当該動きベクトルＶｎ−１が通過するｎ−１，ｎフレームにおいて、そのフレーム上のｉ＋ｊ領域に相当するときは、このｉ×ｊ領域は、一定方向に一定速度で移動したものとみなすことができる。言い換えると、後方の動きベクトルＶｎ−１が、当該動きベクトルＶｎ−１が通過するｎ−１，ｎフレームにおいて、そのフレーム上のｉ×ｊ領域内を通過するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度で移動したものとみなすことができる。この場合、動きベクトルＶｎ検出は、後方のｎ−１，ｎフレームにおいて、確度が高いものと判定する。

一方、図６において、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎが、当該動きベクトルＶｎの始点であるｎフレーム上のｉ×ｊ領域に相当するものとする。この場合、前方の動きベクトルＶｎ＋２が、当該動きベクトルＶｎ＋２が通過するｎ＋２，ｎ＋１フレームにおいて、そのフレーム上のｉ＋ｊ領域に相当するときは、このｉ×ｊ領域は、一定方向に一定速度で移動したものとみなすことができる。言い換えると、前方の動きベクトルＶｎ＋２が、当該動きベクトルＶｎ＋２が通過するｎ＋２，ｎ＋１フレームにおいて、そのフレーム上のｉ×ｊ領域内を通過するときは、このｉ×ｊ領域の通過点は、一定方向に一定速度で移動したものとみなすことができる。この場合、動きベクトルＶｎ検出は、前方のｎ＋１，ｎ＋２フレームにおいて、確度が高いものと判定する。

つまり、動きベクトルＶｎは、ｎ−１，ｎ，ｎ＋１，ｎ＋２フレーム間において、確度の高い動きであると判定する。また、動きベクトルＶｎの検出確度が低いと判定した場合、線形内挿による内挿方法を採用する。

他にも、検出した３個の動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２の中で、最も確からしい動きを選択するようにしてもよい。すなわち、動きベクトルＶｎ−１を用いｎ−１フレーム上のブロック画像データをシフトし、当該シフトしたブロック画像データとｎ＋１フレーム上で該当する位置のブロック画像データとの間のパターンマッチングを行った結果と、動きベクトルＶｎを用いｎフレーム上のブロック画像データをシフトし、当該シフトしたブロック画像データとｎ＋１フレーム上で該当する位置のブロック画像データとの間のパターンマッチングを行った結果と、動きベクトルＶｎ＋２を用いｎフレーム上のブロック画像データをシフトし、当該シフトしたブロック画像データとｎ＋２フレーム上で該当する位置のブロック画像データとの間のパターンマッチングを行った結果とを比較し、最も一致度が高い動きを選択する。

動きベクトルＶｎ−１の一致度が最も高かった場合は、ｎ−１フレームの画像信号及びｎ＋１フレームの画像信号を用いて内挿フレームの画像信号を生成する。また、動きベクトルＶｎ＋２の一致度が最も高かった場合は、ｎフレームの画像信号及びｎ＋２フレームの画像信号を用いて内挿フレームの画像信号を生成する。このとき、時間方向の内挿フレーム位置は、ｎフレームの画像信号及びｎ＋１フレームの画像信号を用いて内挿フレームの画像信号を生成する場合と同一の位置になるように、内挿比を変化させて内挿処理を行う。

次に、図５及び図６に示した動きベクトルの検出対象をｍ＝２とした場合において、画像信号を入力し、動きベクトルを用いて内挿フレームを生成し、テレビジョン方式を変換した画像信号を出力する内挿画像生成装置、及び、これらの一連の動作について説明する。図７は、本発明の実施例による内挿画像生成装置を示すブロック図である。以下、毎秒６０フレームから毎秒２４フレームへのフレーム数変換を例として説明する。この内挿画像生成装置１は、４個のフレームメモリ１０−１〜４、３個の動きベクトル検出部１１−１〜３、動きベクトル確度判定部１２、内挿フレーム作成部１３、遅延処理部１４、内挿処理部１５及びローパスフィルタ１６を備えている。

内挿画像生成装置１が毎秒６０フレームの画像信号を入力すると、フレームメモリ１０−１〜４は、図示しない同期回路からの同期信号ＣＬＫにより、入力した画像信号について、ｎ−１，ｎ，ｎ＋１，ｎ＋２フレームの画像信号をそれぞれ格納する。具体的には、フレームメモリ１０−１〜４は、同期信号ＣＬＫを入力したタイミングで時間毎に、格納したフレームの画像信号を順番にシフトし、フレームメモリ１０−１がｎ−１フレームの画像信号を、フレームメモリ１０−２がｎフレームの画像信号を、フレームメモリ１０−３がｎ＋１フレームの画像信号を、フレームメモリ１０−４がｎ＋２フレームの画像信号をそれぞれ格納する。

動きベクトル検出部１１−１〜３は、フレームメモリ１０−１〜４から画像信号を読み出し、動きベクトルを検出する。具体的には、動きベクトル検出部１１−１は、フレームメモリ１０−１からｎ−１フレームの画像信号を、フレームメモリ１０−３からｎ＋１フレームの画像信号をそれぞれ入力し、ブロックマッチング法を用いて動きベクトルＶｎ−１を検出する。また、動きベクトル検出部１１−２は、フレームメモリ１０−２からｎフレームの画像信号を、フレームメモリ１０−３からｎ＋１フレームの画像信号をそれぞれ入力し、ブロックマッチング法を用いて動きベクトルＶｎを検出する。また、動きベクトル検出部１１−３は、フレームメモリ１０−２からｎフレームの画像信号を、フレームメモリ１０−４からｎ＋２フレームの画像信号をそれぞれ入力し、ブロックマッチング法を用いて動きベクトルＶｎ＋２を検出する。

動きベクトル確度判定部１２は、動きベクトル検出部１１−１〜３により検出された動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２を入力し、動きベクトルＶｎ検出の確度を判定する。具体的には、動きベクトル検出部１１−１から動きベクトルＶｎ−１を、動きベクトル検出部１１−２から動きベクトルＶｎを、動きベクトル検出部１１−３から動きベクトルＶｎ＋２をそれぞれ入力する。そして、動きベクトルＶｎが、当該動きベクトルＶｎの終点であるｎ＋１フレーム上のｉ×ｊ領域に相当するものとして、後方の動きベクトルＶｎ−１が、当該動きベクトルＶｎ−１が通過するｎ−１，ｎフレームにおいて、そのフレーム上のｉ＋ｊ領域に相当するときは、動きベクトルＶｎ検出は、後方のｎ−１，ｎフレームにおいて、確度が高いものと判定する。

一方、ｎフレームとｎ＋１フレームとの間の動きベクトルＶｎが、当該動きベクトルＶｎの始点であるｎフレーム上のｉ×ｊ領域に相当するものとして、前方の動きベクトルＶｎ＋２が、当該動きベクトルＶｎ＋２が通過するｎ＋１，ｎ＋２フレームにおいて、そのフレーム上のｉ＋ｊ領域に相当するときは、動きベクトルＶｎ検出は、前方のｎ＋１，ｎ＋２フレームにおいて、確度が高いものと判定する。

このように、動きベクトル確度判定部１２は、入力した動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２に基づいて、双方向における動きベクトルＶｎ検出の確度を判定する。いずれか一方の確度が高くない場合は、動きベクトルＶｎ検出の確度が高くないものと判定する。

内挿フレーム作成部１３は、フレームメモリ１０−２に格納されたｎフレームの画像信号、フレームメモリ１０−３に格納されたｎ＋１フレームの画像信号、及び、動きベクトル確度判定部１２により判定された判定結果を入力する。そして、判定結果として動きベクトルＶｎ検出の確度が高い場合は、動き内挿の内挿方法により、ｎフレームの画像信号及びｎ＋１フレームの画像信号を用いて、内挿フレームの画像信号を生成する。一方、判定結果として動きベクトルＶｎ検出の確度が高くない場合は、線形内挿の内挿方法により、ｎフレームの画像信号及びｎ＋１フレームの画像信号を用いて、内挿フレームの画像信号を生成する。すなわち、内挿フレーム作成部１３は、動きベクトルＶｎ検出の確度が高い画素に対しては、動き内挿の内挿方法により内挿フレームの画像信号を生成し、動きベクトルＶｎ検出の確度が高くない画素に対しては、線形内挿の内挿方法により内挿フレームの画像信号を生成する。

遅延処理部１４は、内挿フレーム作成部１３により生成された内挿フレームの画像信号を入力し、内挿処理部１５に当該画像信号を出力するタイミングを図るため、所定時間の間出力を遅延させる。具体的には、遅延処理部１４は、内挿処理部１５が、当該内挿フレームの画像信号を、ｎフレームとｎ＋１フレームとの間の所定の内挿比（０．５：０．５）の時間軸上の位置に挿入するように、内挿フレームの画像信号の出力を所定時間の間遅延させる。

内挿処理部１５は、フレームメモリ１０−４に格納したフレームの画像信号を順次入力し、遅延処理部１４により遅延された内挿フレームの画像信号を入力し、図示しない同期回路からの同期信号２ＣＬＫにより、内挿フレームの画像信号を、ｎフレームとｎ＋１フレームとの間の所定の時間位置に内挿する。ローパスフィルタ１６は、内挿処理部１５から、フレーム毎の画像信号及び内挿フレームの画像信号を時間順にそれぞれ入力し、フレームの数を変換する。

このように、内挿画像生成装置１は、毎秒６０フレームの画像信号を入力し、フレーム間の所定の内挿比（０．５：０．５）における内挿フレームの画像信号を生成し、その時間軸上の位置に、生成した画像信号を挿入する。これにより、毎秒１２０フレームの画像を得ることができる。また、毎秒１２０フレームの画像信号に対して時間軸上にローパスフィルタ１６をかける。これにより、毎秒２４フレームの画像信号を得ることができる。したがって、毎秒６０フレームから毎秒２４フレームへのフレーム数変換を実現することができる。

図８は、図７に示した内挿画像生成装置１の動作を示すフローチャート図である。以下、動きベクトルの検出対象をｍ＝２とした場合について説明する。内挿画像生成装置１の動作が開始すると、フレームメモリ１０は、ｎ−１，ｎ，ｎ＋１，ｎ＋２フレームの画像信号を読み込み、それぞれ格納する（ステップＳ８０１）。この場合、図のように、内挿フレームの画像信号を内挿する位置は、ｎフレームとｎ＋１フレームとの間である。

動きベクトル検出部１１は、フレームメモリ１０に格納された画像信号を入力し、動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２を検出する（ステップＳ８０２，８０３）。具体的には、動きベクトル検出部１１は、後方のｎ−１，ｎフレームにおいて、ブロックマッチング法を用いて、動きベクトルＶｎ−１，Ｖｎを検出する（ステップＳ８０３）。また、動きベクトル検出部１１は、前方のｎ＋１，ｎ＋２フレームにおいて、ブロックマッチング法を用いて、動きベクトルＶｎ＋２を検出する（ステップＳ８０２）。

動きベクトル確度判定部１２は、動きベクトル検出部１１により検出された動きベクトルＶｎ−１，Ｖｎ，Ｖｎ＋２を入力し、動きベクトルＶｎ検出の確度を判定する（ステップＳ８０４）。内挿フレーム作成部１３は、ｎフレームの画像信号、ｎ＋１フレームの画像信号、及び確度判定結果を入力し、所定の内挿方法により内挿フレームの画像信号を生成する。遅延処理部１４は、内挿フレーム作成部１３により作成された内挿フレームの画像信号を入力し、内挿処理部１５に当該画像信号を出力するタイミングを図るために、所定時間の間出力を遅延させる。また、内挿処理部１５は、フレームメモリ１０に格納したフレームの画像信号を順次入力し、遅延処理部１４により遅延された内挿フレームの画像信号を入力し、内挿フレームの画像信号を、ｎフレームとｎ＋１フレームとの間の所定の時間位置に内挿する（ステップＳ８０６）。この場合、内挿画像生成装置１が画像信号（元画像信号）を毎秒６０フレームで入力し、内挿比０．５とすると、内挿処理部１５は、毎秒１２０フレームの画像信号を出力する。そして、ローパスフィルタ１６は、フレーム毎の画像信号及び内挿フレームの画像信号を時間順にそれぞれ入力し、毎秒２４フレームの画像信号を出力する（ステップＳ８０７）。

以上説明したように、本発明の実施例による内挿画像生成装置１によれば、動きベクトル検出部１１が、時間軸上の双方向から動きベクトルを検出し、動きベクトル確度判定部１２が、双方向から検出された動きベクトルに基づいて、動きベクトル検出の確度を判定し、内挿フレーム作成部１３が、この確度により内挿フレームの画像信号を生成するようにした。これにより、動きベクトル検出の確度を向上させることができ、信頼性の高い確度情報により内挿フレームの画像信号を生成することができる。したがって、劣化の少ない内挿画像を実現することが可能となる。

また、本発明の実施例による内挿画像生成装置１によれば、内挿フレーム作成部１３が、動きベクトル確度判定部１２による判定結果として動きベクトルＶｎ検出の確度が高い場合は、動き内挿の内挿方法により内挿フレームの画像信号を生成し、判定結果として動きベクトルＶｎ検出の確度が高くない場合は、線形内挿の内挿方法により内挿フレームの画像信号を生成するようにした。これにより、動きベクトルＶｎ検出の確度が高くない場合、すなわち、動きベクトルの検出エラーが発生した場合は、画質劣化が著しい動き内挿によらないで、それよりも劣化が少ない線形内挿の内挿方法によるものとしたから、内挿画像の画質劣化を抑えることができる。

また、本発明の実施例による内挿画像生成装置１によれば、動きベクトル検出の確度を向上させるために、２次元ローパスフィルタや中央値フィルタ等を用いる必要がない。これにより、動きベクトル検出の確度を向上させることができると共に、これらのフィルタの利用に伴う動きベクトル検出の精度低下を招くことがない。したがって、内挿画像生成装置１によれば、動きベクトル検出の精度が低下することなく、動きベクトル検出の確度を向上させることができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図５〜図８は、動きベクトルの検出対象をｍ＝２とした場合を示したが、ｍ＝２に限定されるものではない。ｍの値が増えるにしたがって、図７に示したフレームメモリ１０及び動きベクトル検出部１１の数が増え、動きベクトル確度判定部１２に入力される動きベクトルの数も増える。

また、上記実施例ではフレームを対象としたが、跳び越し走査の場合にはフィールドを対象としてもよい。また、上記実施例では、ブロックマッチング法を用いて動きベクトルを検出するようにしたが、この検出法に限定されるものではなく、他の検出法を用いて動きベクトルを検出するようにしてもよい。

尚、上記内挿画像生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボード等の入力装置、データを表示する表示装置、及び外部の装置と通信するためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、内挿画像生成装置１に備えたフレームメモリ１０、動きベクトル検出部１１、動きベクトル確度判定部１２、内挿フレーム作成部１３、遅延処理部１４、内挿処理部１５及びローパスフィルタ１６の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることにより実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

テレビジョン方式を変換する場合の、フィールド数及びフレーム数の変換を説明する図である。 線形内挿による内挿方法を説明する図である。 本発明に用いる双方向動きベクトル検出方式を説明する図である。 動きベクトル検出の確度を判定する方法を説明する図である。 ｍ＝２の場合における、双方向動きベクトル検出方式を説明する図である。 ｍ＝２の場合における、動きベクトル検出の確度を判定する方法を説明する図である。 本発明の実施例による内挿画像生成装置を示すブロック図である。 内挿画像生成動作を示すフローチャート図である。

符号の説明

１ 内挿画像生成装置
１０ フレームメモリ
１１ 動きベクトル検出部
１２ 動きベクトル確度判定部
１３ 内挿フレーム作成部
１４ 遅延処理部
１５ 内挿処理部
１６ ローパスフィルタ

Claims (6)

1. 画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置において、
   前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する記憶部と、
   該記憶部からフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する動きベクトル検出部と、
   該動きベクトル検出部により検出された動きベクトルＶｉ及び他の動きベクトルに基づいて、動きベクトルＶｉ検出の確度を判定する動きベクトル確度判定部と、
   該動きベクトル確度判定部により判定された確度に基づいて、内挿フレームの画像信号を生成する内挿フレーム生成部と、
   を備えたことを特徴とする内挿画像生成装置。
2. 請求項１に記載の内挿画像生成装置において、
   前記動きベクトル確度判定部は、
   動きベクトルＶｉを基準にしてフレーム毎に領域を設定し、前記他の動きベクトルがフレーム毎の領域を通過するか否かにより、動きベクトルＶｉ検出の確度を判定する、
   ことを特徴とする内挿画像生成装置。
3. 請求項１または２に記載の内挿画像生成装置において、
   前記内挿フレーム生成部は、
   動きベクトル確度判定部により確度が高いものと判定した場合に、動き内挿による内挿方法を用いて内挿フレームの画像信号を生成し、前記確度が低いものと判定した場合に、線形内挿による内挿方法を用いて内挿フレームの画像信号を生成する、
   ことを特徴とする内挿画像生成装置。
4. 画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置において、
   前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する記憶部と、
   該記憶部からフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する動きベクトル検出部と、
   該動きベクトル検出部により検出された動きベクトルＶｉ及び他の動きベクトルについて、それぞれの確度を判定し、該確度が最も高い動きベクトルを選択する動きベクトル確度判定／選択部と、
   該動きベクトル確度判定／選択部により選択された動きベクトルの始点及び終点のフレームに基づいて、内挿フレームの画像信号を生成する内挿フレーム生成部と、
   を備えたことを特徴とする内挿画像生成装置。
5. 画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置が実行するプログラムであって、前記内挿画像生成装置を構成するコンピュータに、
   前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する処理と、
   前記記憶されたフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する処理と、
   前記検出された動きベクトルＶｉ及び他の動きベクトルに基づいて、動きベクトルＶｉ検出の確度を判定する処理と、
   前記判定された確度に基づいて、内挿フレームの画像信号を生成する処理と、
   を実行させる内挿画像生成プログラム。
6. 画像信号を入力し、テレビジョン方式の変換に伴って内挿フレームの画像信号を生成し、前記入力した画像信号における時間軸上のフレームｉとフレームｉ＋１との間に前記内挿フレームの画像信号を挿入する内挿画像生成装置が実行するプログラムであって、前記内挿画像生成装置を構成するコンピュータに、
   前記フレームｉよりも後方のフレーム、フレームｉ、フレームｉ＋１、及び該フレームｉ＋１よりも前方のフレームの画像信号をそれぞれ記憶する処理と、
   前記記憶されたフレーム毎の画像信号を読み出し、フレームｉとフレームｉ＋１との間の動きベクトルＶｉ、フレームｉよりも後方のフレームとフレームｉ＋１との間の動きベクトル、及び、フレームｉとフレームｉ＋１よりも前方のフレームとの間の動きベクトルをそれぞれ検出する処理と、
   前記検出された動きベクトルＶｉ及び他の動きベクトルについて、それぞれの確度を判定し、該確度が最も高い動きベクトルを選択する処理と、
   前記選択された動きベクトルの始点及び終点のフレームに基づいて、内挿フレームの画像信号を生成する処理と、
   を実行させる内挿画像生成プログラム。

Images