JPWO2004102963A1 - 動き補正装置及び方法 - Google Patents

Abstract

倍速変換された映像信号の動きをより適切に補正し得る動き補正装置を実現する。倍速変換された映像信号における現フィールドの画像と、その１フレーム又は２フレーム後の参照フィールドの画像との間の動きベクトルを検出し、現フィールドの画素を動きベクトルに応じて移動させるとともに、参照フィールドの画素を動きベクトルに応じて逆方向に移動させる。そして、現フィールドの画素と参照フィールドの画素とを単純平均又は移動量に応じた重み付け平均して現フィールドを補正することにより、フィールド間の動きを従来に比して一層滑らかに補正することができる。

Description

本発明は動き補正装置及びその方法に関し、倍速変換された映像信号の動き補正を行う場合に適用して好適なものである。

テレビジョン受像機においては、例えば５０フィールド／秒でなるＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｅ Ｌｉｎｅ）信号のような比較的リフレッシュレートの低い画像を表示した場合、画面全体がちらついて見える面フリッカ妨害という現象が発生する。
このためテレビジョン受像機において、そのフィールド周波数を５０フィールド／秒から１００フィールド／秒へと２倍に変換する（以下、この変換処理をフィールド倍速方式と呼ぶ）ことにより、かかる面フリッカ妨害を抑制するようになされたものがあった。
図７は、上述したフィールド倍速方式を適用したテレビジョン受像機１００を示し、例えばＰＡＬ信号等の５０フィールド／秒でなる入力映像信号Ｓ１が、フィールド倍速回路１０１に入力される。
フィールド倍速回路１０１の倍速変換部１０２は、入力映像信号Ｓ１の走査方式をインターレース（飛び越し走査）からプログレッシブ（順次走査）に変換して５０フレーム／秒でなる中間映像信号Ｓ２を生成し、これを画像メモリ１０３に書き込む。そして倍速変換部１０２は、画像メモリ１０３から中間映像信号Ｓ２を書き込み時の２倍の速度で読み出すことにより、当該中間映像信号Ｓ２のフィールド周波数を２倍の１００フィールド／秒に変換し、さらに走査方式をプログレッシブからインターレースに変換し、これを倍速映像信号Ｓ３としてＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）１０４に入力する。
このときＣＲＴ１０４には、１００フィールド／秒に対応した水平・垂直鋸状波Ｓ４が水平・垂直偏向回路１０５から供給されており、ＣＲＴ１０４は当該水平・垂直鋸状波Ｓ４に基づいて倍速映像信号Ｓ３を１００フィールド／秒で表示する。
図８は、上述したフィールド倍速変換の前後の映像信号における各フィールドと走査線の位置関係を示し、横軸は時間、縦軸は画面の垂直方向に対応しており、各白丸は、それぞれ走査線を表している。また、図８（Ａ）に示す１ａ、１ｂ、２ａ、２ｂ、……の符号はそれぞれフィールドの番号を示し、１、２、……の数字はそれぞれフレーム番号を、ａはｏｄｄ ｆｉｅｌｄ、ｂはｅｖｅｎ ｆｉｅｌｄを表している。
フィールド倍速回路１０１の倍速変換部１０２（図７）は、まず最初に、図８（Ａ）に示すインターレース画像でなる入力映像信号Ｓ１のフィールド１ａの走査線数を２倍に変換（プログレッシブ変換）することにより、図８（Ｂ）に示すフレーム１ａを生成する。以下同様に、倍速変換部１０２は順次入力映像信号Ｓ１のフィールド１ｂ、２ａ、２ｂ、……を順次プログレッシブ変換してフレーム１ｂ、２ａ、２ｂ、……を生成し、かくして５０フレーム／秒でなるプログレッシブ画像の中間映像信号Ｓ２を生成する。
そして倍速変換部１０２は、図８（Ｂ）に示すフレーム１ａを画像メモリ１０３に書き込み、これを１走査線おきに読み出す。このとき倍速変換部１０２は、まずフレーム１ａの奇数番目の走査線を読み出して図８（Ｃ）に示すフィールド１ａを生成し、その１／１００秒後に、フレーム１ａの偶数番目の走査線を読み出して図８（Ｃ）に示すフィールド１ａ’を生成することにより、倍速変換及びインターレース変換処理を行う。
以下同様に、倍速変換部１０２は順次中間映像信号Ｓ２のフレーム１ｂ、２ａ、２ｂ、……を順次倍速変換及びインターレース変換してフィールド１ｂ、１ｂ’、２ａ、２ａ’、２ｂ、２ｂ’、……を生成し、１００フィールド／秒でなるインターレース画像の倍速映像信号Ｓ３を生成する。
このようにしてフィールド倍速回路１０１の倍速変換部１０２は、入力映像信号Ｓ１のフィールド周波数を５０フィールド／秒から１００フィールド／秒に倍速変換することにより、面フリッカ妨害を抑制するようになされている。
ここで、図８（Ｃ）に示す倍速映像信号Ｓ３のフィールド１ａ及び１ａ’は、共に図８（Ａ）に示す入力映像信号Ｓ１のフィールド１ａから生成されたフィールドであり、以下同様に倍速映像信号Ｓ３のフィールド１ｂ及び１ｂ’、フィールド２ａ及び２ａ’、フィールド２ｂ及び２ｂ’、……も、それぞれ入力映像信号Ｓ１の同一フィールドから生成されたフィールドである。
このような倍速変換処理された画像の動きを、図９を用いて説明する。図９において、縦軸は時間、横軸は画面の水平方向に対応しており、画像に写った物体１１０が、時間経過に応じて画面の左側から右側に移動している状態を表している。
図９（Ａ）に示す入力映像信号Ｓ１においては、物体１１０はフィールド間で右方向に滑らかに移動している。これに対して、図９（Ｂ）に示す倍速映像信号Ｓ３においては、フィールド１ａと１ａ’とは共に同一のフィールドから生成されているため、物体１１０は同一位置に表示される。そして、次のフィールド１ｂは異なるフィールドから生成されているため、フィールド１ａ’からフィールド１ｂに移る際に、物体１１０は大きく移動して表示される。
同様に、フィールド１ｂと１ｂ’、フィールド２ａと２ａ’、フィールド２ｂと２ｂ’はそれぞれ同一のフィールドから生成されているため、フィールド１ｂ’からフィールド２ａに移る際、及びフィールド２ａ’からフィールド２ｂに移る際にも、物体１１０は大きく移動して表示される。
このように、倍速変換処理された倍速映像信号Ｓ３においては、動きのある画像を表示した場合、画像の動きが不連続に見えるという問題がある。
ところで、２４コマ／秒の静止画で構成される映画フィルムを通常のテレビジョン受像機で表示する場合、いわゆるテレシネ変換と呼ばれる処理によって映画フィルムを映像信号に変換する。
この場合、図１０（Ａ）に示すように、映画フィルムをテレシネ変換して生成されたフィルム素材の入力映像信号Ｓ１において、フィールド１ａと１ｂ、フィールド２ａと２ｂ、……はそれぞれフィルムの同一のコマをテレシネ変換して生成されたものである。これにより、当該入力映像信号Ｓ１を倍速変換して生成した倍速映像信号Ｓ３（図１０（Ｂ））においては、フィールド１ａ、１ａ’、１ｂ及び１ｂ’の４フィールドが同一のコマから生成され、同様にフィールド２ａ、２ａ’、２ｂ、及び２ｂ’の４フィールドが同一のコマから生成されることになる。
このため、図１０（Ｂ）に示す倍速映像信号Ｓ３においては、フィールド１ａ〜１ｂ’の４フィールドの間、物体１１０は同一位置に表示され、次のフィールド２ａに移る際に、物体１１０は突然大きく移動して表示される。
このように、フィルム素材の入力映像信号Ｓ１を倍速変換して生成した倍速映像信号Ｓ３においては、動きのある画像を表示した場合、画像の動きが一層不連続に見えるという問題がある。
このような倍速映像信号における動きの不連続を解決するため、画像の動きベクトルを検出し、当該動きベクトルを用いて画像をシフトすることにより、フィールド間の動きを滑らかに補正する動き補正方法が提案されている（例えば、特許文献１参照）。
かかる動き補正方法においては、図１１（Ａ）に示す倍速映像信号Ｓ３のフィールド１ａ’とその１フレーム後のフィールド１ｂ’との間で、例えばブロックマッチング法を用いて画像の動きベクトルを画素単位あるいはブロック単位で検出する。このとき検出した動きベクトルをＡとする。
そして図１１（Ｂ）に示すように、フィールド１ａ’のブロックの動きが検出された画素をＡ×１／２だけシフトさせる。同様に、フィールド１ｂ’とその１フレーム後のフィールド２ａ’との間の画像の動きベクトルＢを検出し、フィールド１ｂ’のブロックの動きが検出された画素をＢ×１／２だけ移動させる。このように検出した動きベクトルを用いて画像をシフトすることにより、図１１（Ｃ）に示すように、各フィールド間における画像の動きを滑らかにすることができる。
また、倍速映像信号Ｓ３がテレシネ変換によって生成されたフィルム素材の場合には、図１２（Ａ）に示す倍速映像信号Ｓ３において、フィールド１ａとその２フレーム後のフィールド２ａとの間でブロックマッチング法を用いて画像の動きベクトルをブロック単位で検出する。このとき検出した動きベクトルをＡとする。
そして図１２（Ｂ）に示すように、フィールド１ａ’、１ｂ及び１ｂ’のブロックの動きが検出された画素を、それぞれＡ×１／４、Ａ×２／４及びＡ×３／４だけシフトさせる。このように検出した動きベクトルを用いて画像をシフトすることにより、図１２（Ｃ）に示すように、各フィールド間における画像の動きを滑らかにすることができる。
特表平１０−５０１９５３号。

ところが実際上、画像は移動しながら輝度や色が変化していく場合が多く、このような場合、上述した動き補正方法では補正後の画像に若干の不自然さが生じるという問題があった。
また、上述したブロックマッチング法で検出される動きベクトルは、常に適切であるとは限らず、実際の画像の動きとは大きく異なる誤った動きベクトルが検出されてしまうこともある。例えば、背景と前景とが反対方向に移動しているようなブロック内に２方向の動きが存在する場合や、画像が回転している場合、あるいは画像がズームしている場合や変形している場合等で、動きベクトルの誤検出が発生しやすい。
そして、上述した動き補正方法においては最大で動きベクトルの３／４もの動き補正を行うため（図１２のフィールド１ｂ’及び２ｂ’）、動きベクトルの誤検出が発生した場合、補正後の画像に不自然さが目立ってしまうという問題があった。
さらに、図１３に示すように、ブロックマッチング法の探索範囲を越えるような激しい動きが画像に存在した場合にも、正しい動きベクトルを得ることができず、この場合も補正後の画像に不自然さが目立ってしまうという問題があった。

本発明は以上の点を考慮してなされたもので、倍速変換された映像信号の動きをより適切に補正し得る動き補正装置を提案しようとするものである。
かかる課題を解決するため本発明においては、ビデオ信号を倍速変換してなる映像信号における現フィールドの画像情報と当該現フィールドの１フレーム後の参照フィールドの画像情報とから、現フィールドにおける検出画素と参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出手段と、現フィールドの検出画素を動きベクトルの１／２だけ移動させるとともに、参照フィールドの検出画素を動きベクトルの−１／２だけ移動させる画像移動手段と、画像移動手段によって移動された上記現フィールドの検出画素の画素データと参照フィールドの検出画素の画素データとを重み付けして重ね合わせることにより、現フィールドの上記映像信号を動き補正する平均化手段とを動き補正装置に設けた。
また、フィルムをテレシネ変換した後倍速変換してなる映像信号における現フィールドの画像情報と当該映像信号を２フレーム遅延してなる参照映像信号における参照フィールドの画像情報とから、現フィールドにおける検出画素と参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出手段と、映像信号における現フィールド以降の３つのフィールドにおける検出画素を、それぞれ動きベクトルの１／４、２／４及び３／４だけ移動させるとともに、参照映像信号における参照フィールド以降の３つのフィールドにおける検出画素を、それぞれ動きベクトルの−３／４、−２／４及び−１／４だけ移動させる画像移動手段と、画像移動手段によって移動された現フィールド以降の３つのフィールドにおける検出画素の画素データと、参照フィールド以降の３つのフィールドにおける検出画素の画素データとをそれぞれ重み付けして重ね合わせることにより、現フィールド以降の３つのフィールドの上記映像信号を動き補正する平均化手段とを動き補正装置に設けた。
これにより、倍速映像信号におけるフィールド間の動きを従来に比して一層滑らかに補正することができる。
さらに平均化手段は、検出画素それぞれに対し、画像移動手段による移動量に反比例した重み付け平均を行うようにした。
画素の移動量に反比例した重み付け平均をすることにより、フィールド間の画像の動きをさらにスムーズに補正することができる。
また本発明においては、映像信号の元画面から生成したＮ−１個の補間画面を当該元画面とその次の元画面の間に挿入することによりＮ倍速変換されたＮ倍速映像信号に対して動き補正を行う動き補正装置において、元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、当該元画面における検出画素と当該参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出手段と、元画面における検出画素に対応するｍ番目の補間画面（１≦ｍ≦Ｎ−１）の検出画素を動きベクトルのｍ／Ｎだけ移動させるとともに、参照画面における検出画素に対応するｍ＋Ｎ番目の補間画面の検出画素を動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動手段と、画像移動手段によって移動されたｍ番目の補間画面の検出画素における画素データ及びｍ＋Ｎ番目の補間画面の検出画素における画素データそれぞれに対して当該画像移動手段による移動量に反比例した値で重み付けをした後重ね合わせたものを、動き補正されたｍ番目の補間画面として出力する補正手段とを動き補正装置に設けた。
ビデオ信号の元画面とその次の元画面の間に挿入された新たなＮ−１個の補間画面の画像信号の動きを補正する動き補正装置において、元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、元画面における検出画素と参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出手段と、ｍ番目（１≦ｍ≦Ｎ−１）の補間画面を補正する場合に、元画面の検出画素に対応する画素データの位置を動きベクトルのｍ／Ｎだけ移動させるとともに、参照画面の検出画素に対応する画素データの位置を動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動手段と、画像移動手段によって移動された元画面の検出画素に対応する画素データ及び参照画面の検出画素に対応する画素データを、所定の重み付けをして重ね合わせることにより補間画面の画像信号を補正する補正手段とを動き補正装置に設けた。
これにより、Ｎ倍速変換されたＮ倍速映像信号におけるフィールド間の画像の動きをスムーズに補正することができる。

図１は、本発明による補正装置の構成を示すブロック図である。
図２は、倍速映像信号がフィルム素材でない場合の動きの改善の様子を示す略線図である。
図３は、倍速映像信号がフィルム素材である場合の動きの改善の様子を示す略線図である。
図４は、動きベクトルが探索範囲外の場合を示す略線図である。
図５は、他の実施の形態による動き補正装置の構成を示すブロック図である。
図６は、他の実施の形態による、倍速映像信号がフィルム素材である場合の動きの改善の様子を示す略線図である。
図７は、フィールド倍速回路の構成を示すブロック図である。
図８は、映像信号の倍速化の説明に供する略線図である。
図９は、倍速映像信号がフィルム素材でない場合の動きの説明に供する略線図である。
図１０は、倍速映像信号がフィルム素材の場合の動きの説明に供する略線図である。
図１１は、倍速映像信号がフィルム素材でない場合の動きの改善の様子を示す略線図である。
図１２は、倍速映像信号がフィルム素材である場合の動きの改善の様子を示す略線図である。
図１３は、動きベクトルが探索範囲外の場合を示す略線図である。
図１４は、映像信号の４倍速化の説明に供する略線図である。
図１５は、４倍速映像信号の説明に供する略線図である。
図１６は、４倍速映像信号に対する動き補正装置の構成を示すブロック図である。
図１７は、４倍速映像信号の動きの改善の様子を示す略線図である。

以下図面について、本発明の一実施の形態を詳述する。
図１において、１は全体として本発明による動き補正装置を示し、前段のフィールド倍速変換回路（図示せず）から供給される、５０フィールド／秒のＰＡＬ信号を倍速変換してなる１００フィールド／秒の倍速映像信号Ｓ３を画像メモリ２に入力する。
画像メモリ２は、倍速映像信号Ｓ３を１フレーム分遅延して１フレーム遅延倍速映像信号Ｓ４を生成し、これを後段の画像メモリ３に入力する。画像メモリ３は、１フレーム遅延倍速映像信号Ｓ４をさらに１フレーム分遅延して２フレーム遅延倍速映像信号Ｓ５を生成し、これを画像シフト回路４及び動きベクトル検出回路５に入力する。
一方フィルム検出回路６は、倍速映像信号Ｓ３と１フレーム遅延倍速映像信号Ｓ４との相関に基づいて、入力された倍速映像信号Ｓ３がフィルム素材であるか否かを判定する。すなわち、入力された倍速映像信号Ｓ３がフィルム素材である場合、当該倍速映像信号Ｓ３には同一のコマから生成されたフィールドが４フィールド（２フレーム）連続するため、倍速映像信号Ｓ３とその１フレーム前の１フレーム遅延倍速映像信号Ｓ４との間に、周期的な相関を検出することができる。
フィルム検出回路６は、倍速映像信号Ｓ３及び１フレーム遅延倍速映像信号Ｓ４の対応する画素毎の信号レベルの差分値を算出し、当該差分値が１フレームおきに交互に所定の閾値以上／閾値以下の値になる場合、倍速映像信号Ｓ３及び１フレーム遅延倍速映像信号Ｓ４の相関が高く、倍速映像信号Ｓ３がフィルム素材であると判定する。そしてフィルム検出回路６は、この判定結果に応じて選択スイッチ７を制御する。
すなわちフィルム検出回路６は、倍速映像信号Ｓ３がフィルム素材ではないと判定した場合、選択スイッチ７を端子７Ａ側に切替え、参照映像信号としての１フレーム遅延倍速映像信号Ｓ４を、画像逆シフト回路８及び動きベクトル検出回路５に入力する。
動きベクトル検出回路５は、現フィールドとしての２フレーム遅延倍速映像信号Ｓ５のフィールドと、参照フィールドとしての１フレーム遅延倍速映像信号Ｓ４のフィールドとの間の、１フレーム間の画像の動きベクトルを各画素単位又はブロック単位で順次検出する。このとき動きベクトル検出回路５は、現フィールドにおいて着目した画素（この画素を検出画素と呼ぶ）が、参照フィールド上でどこに移動したかを各画素単位又はブロック単位で探索し、現フィールドの検出画素から参照フィールドの検出画素への動きベクトルを検出する。
すなわち図２（Ａ）に示すように、現フィールドとしてのフィールド１ａ’（２フレーム遅延倍速映像信号Ｓ５）と、その１フレーム後の参照フィールドとしてのフィールド１ｂ’（１フレーム遅延倍速映像信号Ｓ４）との間の動きベクトルはＡとなり、現フィールドとしてのフィールド１ｂ’と、その１フレーム後の参照フィールドとしてのフィールド２ａ’との間の動きベクトルはＢとなる。動きベクトル検出回路５は、このようにして検出した各画素単位又はブロック単位のフレーム間の動きベクトルを、動きベクトル情報Ｄ１として画像シフト回路４及び画像逆シフト回路８に供給する。また画像シフト回路４及び画像逆シフト回路８には、図示しないフィールド検出回路から、フィールド単位の補正タイミング制御信号Ｄ２が供給される。
画像移動手段としての画像シフト回路４及び画像逆シフト回路８は、動きベクトル情報Ｄ１及び補正タイミング制御信号Ｄ２に従い、それぞれ２フレーム遅延倍速映像信号Ｓ５及び参照映像信号としての１フレーム遅延倍速映像信号Ｓ４の各画素を、検出した動きベクトルに応じてシフトする。
すなわち図２（Ｂ）に示すように、画像シフト回路４は、現フィールドとしての２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’の各画素を１／２×Ａだけシフトし、後段の平均化処理部９に供給する。また画像逆シフト回路８は、参照フィールドとしての１フレーム遅延倍速映像信号Ｓ４のフィールド１ｂ’の各画素を−１／２×Ａだけシフトし、平均化処理部９に供給する。同様に画像シフト回路４は、現フィールドとしての２フレーム遅延倍速映像信号Ｓ５のフィールド１ｂ’の各画素を１／２×Ｂだけシフトし、後段の平均化処理部９に供給する。また画像逆シフト回路８は、参照フィールドとしての１フレーム遅延倍速映像信号Ｓ４のフィールド２ａ’の各画素を−１／２×Ｂだけシフトし、平均化処理部９に供給する。この各画素のシフトは、本実施の形態においては画像シフト回路４及び画像逆シフト回路８から平均化処理部９へ各画素データを出力するタイミングを制御することにより行われる。
このようにして画像シフト回路４及び画像逆シフト回路８は、それぞれ２フレーム遅延倍速映像信号Ｓ５及び１フレーム遅延倍速映像信号Ｓ４の画素を動きベクトル情報Ｄ１に応じて順次シフトして平均化処理部９に供給する。
平均化処理部９の第１の重み付け部１０は、図２（Ｂ）に示すように、２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’の各画素の画素データを１／２に重み付けして信号合成器１２に供給する。また第２の重み付け部１１は、１フレーム遅延倍速映像信号Ｓ４のフィールド１ｂ’の各画素の信号レベルを１／２に重み付けして信号合成器１２に供給する。同様に第１の重み付け部１０は、２フレーム遅延倍速映像信号Ｓ５のフィールド１ｂ’の各画素の画素データを１／２に重み付けし、信号合成器１２に供給する。また第２の重み付け部１１は、１フレーム遅延倍速映像信号Ｓ４のフィールド２ａ’の各画素の画素データを１／２に重み付けし、信号合成器１２に供給する。
このようにして第１の重み付け部１０及び第２の重み付け部１１は、それぞれ現フィールドとしての２フレーム遅延倍速映像信号Ｓ５及び参照フィールドとしての１フレーム遅延倍速映像信号Ｓ４の画素の信号レベルを１／２に重み付けし、信号合成器１２に供給する。
信号合成器１２は、２フレーム遅延倍速映像信号Ｓ５と１フレーム遅延倍速映像信号Ｓ４とを合成し、これを補正倍速映像信号Ｓ６として図示しないＣＲＴ１０４に出力する。
信号合成器１２はシフト後のフィールド１ａ’及び１フィールド１ｂ’を平均して合成した画像を動き補正後の新たなフィールド１ａ’とし、同様にシフト後のフィールド１ｂ’及びフィールド２ａ’とを平均して合成した画像を動き補正後の新たなフィールド１ｂ’として出力する。
一方、フィルム検出回路６は倍速映像信号Ｓ３がフィルム素材であると判定した場合、選択スイッチ７を端子７Ｂ側に切替え、参照映像信号としての倍速映像信号Ｓ３を、画像逆シフト回路８及び動きベクトル検出回路５に入力する。
動きベクトル検出回路５は、現フィールドとしての２フレーム遅延倍速映像信号Ｓ５のフィールドと、参照フィールドとしての倍速映像信号Ｓ３との間で、２フレーム間の画像の動きベクトルを各画素単位又はブロック単位で順次検出する。すなわち図３（Ａ）に示すように、現フィールドとしてのフィールド１ａ（２フレーム遅延倍速映像信号Ｓ５）と、その２フレーム後の参照フィールドとしてのフィールド２ａ（倍速映像信号Ｓ３）との間の動きベクトルはＡとなり、現フィールドとしてのフィールド２ａと、その２フレーム後の参照フィールドとしてのフィールド３ａとの間の動きベクトルはＢとなる。動きベクトル検出回路５は、このようにして検出した各画素単位又はブロック単位の各フレーム間の動きベクトルを、動きベクトル情報Ｄ１として画像シフト回路４及び画像逆シフト回路８に供給する。また画像シフト回路４及び画像逆シフト回路８には、図示しないフィールド検出回路から、フィールド単位の補正タイミング制御信号Ｄ２が供給される。
画像シフト回路４及び画像逆シフト回路８は動きベクトル情報Ｄ１及び補正タイミング制御信号Ｄ２に従い、それぞれ２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３の各画素を、検出した動きベクトルに応じてシフトする。
すなわち図３（Ｂ）に示すように、画像シフト回路４は、現フィールドとしての２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’、１ｂ及び１ｂ’を、それぞれ１／４×Ａ、２／４×Ａ及び３／４×Ａだけシフトし、後段の平均化処理部９に供給する。また画像逆シフト回路８は、参照フィールドとしての倍速映像信号Ｓ３のフィールド２ａ’、２ｂ及び２ｂ’を、それぞれ−３／４×Ａ、−２／４×Ａ及び−１／４×Ａだけシフトし、後段の平均化処理部９に供給する。
このようにして画像シフト回路４及び画像逆シフト回路８は、それぞれ現フィールドとしての２フレーム遅延倍速映像信号Ｓ５及び参照フィールドとしての倍速映像信号Ｓ３の画素を動きベクトル情報Ｄ１に応じて、時間経過に従って順次シフトして平均化処理部９に供給する。
平均化処理部９の第１の重み付け部１０は、図３（Ｂ）に示すように、２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’、１ｂ及び１ｂ’の各画素の画素データを１／２に重み付けして信号合成器１２に供給する。また第２の重み付け部１１は、倍速映像信号Ｓ３のフィールド２ａ’、２ｂ及び２ｂ’の各画素の画素データを１／２に重み付けして信号合成器１２に供給する。
かくして第１の重み付け部１０及び第２の重み付け部１１は、それぞれ２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３の画素の画素データを１／２に重み付けし、信号合成器１２に供給する。
信号合成器１２は、２フレーム遅延倍速映像信号Ｓ５と倍速映像信号Ｓ３とを合成し、これを補正倍速映像信号Ｓ６として図示しないＣＲＴ１０４に出力する。
すなわち図３（Ｂ）に示すように、信号合成器１２は、重み付け後の２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３を合成することにより、シフト後のフィールド１ａ’及びフィールド２ａ’を平均して合成した画像を、動き補正後の新たなフィールド１ａ’とし、シフト後のフィールド１ｂ及びフィールド２ｂを平均して合成した画像を、動き補正後の新たなフィールド１ｂとし、シフト後のフィールド１ｂ’及びフィールド２ｂ’を平均して合成した画像を、動き補正後の新たなフィールド１ｂ’とする。
このようにして動き補正装置１は、動きベクトル検出回路５で検出したフレーム間の動きベクトルを用いて、現フィールドとその１フレーム後又は２フレーム後の参照フィールドとをそれぞれ逆方向にシフトした後、合成して平均化することにより、連続するフィールド間の画像の動きをスムーズに補正することができる。
以上の構成において、動き補正装置１のフィルム検出回路６は、入力された倍速映像信号Ｓ３がフィルム素材であるか否かを判定する。
倍速映像信号Ｓ３がフィルム素材ではない場合、動きベクトル検出回路５は、倍速映像信号Ｓ３を２フレーム遅延した２フレーム遅延倍速映像信号Ｓ５と、当該倍速映像信号Ｓ３を１フレーム遅延した１フレーム遅延倍速映像信号Ｓ４との間で、１フレーム間の画像の動きベクトルを検出する。
そして動き補正装置１は、２フレーム遅延倍速映像信号Ｓ５の各画素を、検出した動きベクトルの１／２だけシフトするとともに、１フレーム遅延倍速映像信号Ｓ４の各画素を、検出した動きベクトルの−１／２だけシフトし、さらにこれらを平均化して合成し補正倍速映像信号Ｓ６を生成する。
また、倍速映像信号Ｓ３がフィルム素材である場合、動きベクトル検出回路５は、倍速映像信号Ｓ３を２フレーム遅延した２フレーム遅延倍速映像信号Ｓ５と、当該倍速映像信号Ｓ３との間で、２フレーム間の画像の動きベクトルを検出する。
そして動き補正装置１は、２フレーム遅延倍速映像信号Ｓ５の各フィールドの各画素を、時間経過に応じて、検出した動きベクトルの１／４、２／４及び３／４だけシフトするとともに、倍速映像信号Ｓ３の各フィールドの各画素を、時間経過に応じて、検出した動きベクトルの−３／４、−２／４及び−１／４だけシフトし、さらにこれらをそれぞれ平均化して合成し補正倍速映像信号Ｓ６を生成する。
以上の構成によれば、現フィールドの画像と、その１フレーム又は２フレーム後の参照フィールドの画像とを、検出したフレーム間の動きベクトルに応じてそれぞれ逆方向にシフトした後、これらを合成して平均化したものを補正後のフィールドの画像とすることにより、フィールド間の動きを従来に比して一層滑らかに補正することができる。
ここで、動きベクトル検出回路５の探索範囲を越えるような激しい動きが画像に存在した場合、図４（Ａ）に示すように、当該動きベクトル検出回路５が検出する動きベクトルＡ２は、画像の実際の動きベクトルＡ１よりも小さいベクトルとなる。
このようにして検出された小さい動きベクトルＡ２を用いて現フィールド及び参照フィールドをシフトした場合、補正後のフィールドは、図４（Ｂ）に示すように、フィールド間の画像の動きのほぼ中心位置に２つのずれた画像が重なって表示される。
このため本発明によれば、動きベクトル検出回路５の探索範囲を越えるような激しい動きが画像に存在した場合でも、フィールド間の動きを従来に比して一層滑らかに補正することができる。
なお上述の実施の形態においては、平均化処理部９の第１の重み付け部１０が、２フレーム遅延倍速映像信号Ｓ５の各画素の信号レベルに対して常に１／２の重み付けを行うとともに、第２の重み付け部１１が、１フレーム遅延倍速映像信号Ｓ４又は倍速映像信号Ｓ３の各画素の画素データに対して常に１／２の重み付けを行うことにより、シフト後の各画素の画素データを常に単純平均して合成するようにしたが、本発明はこれに限らず、各画素のシフト量に応じて、画素データに対する重み付けを変化させるようにしてもよい。
すなわち、図１との対応部分に同一符号を付して示す図５において、２０は本発明による他の実施の形態の動き補正装置を示し、平均化処理部１３の第１の重み付け部１４及び第２の重み付け部１５が、各画素の画素データに対し、画素のシフト量に反比例した重み付けを行う点で、図１に示す動き補正装置１と相違する。
ここで、倍速映像信号Ｓ３がフィルム素材ではない場合、画素のシフト量は常に検出した動きベクトルの１／２及び−１／２であり、このため第１の重み付け部１０及び第２の重み付け部１１による重み付けも常に１／２になるので、説明を省略する。
倍速映像信号Ｓ３がフィルム素材である場合、動きベクトル検出回路５は、倍速映像信号Ｓ３と２フレーム遅延倍速映像信号Ｓ５との間で、２フレーム間の画像の動きベクトルを各画素単位又はブロック単位で順次検出する。すなわち図６（Ａ）に示すように、フィールド１ａ（２フレーム遅延倍速映像信号Ｓ５）と、その２フレーム後のフィールド２ａ（倍速映像信号Ｓ３）との間の動きベクトルはＡとなり、フィールド２ａと、その２フレーム後のフィールド３ａとの間の動きベクトルはＢとなる。動きベクトル検出回路５は、このようにして検出した各画素単位又はブロック単位の各フレーム間の動きベクトルを、動きベクトル情報Ｄ１として画像シフト回路４及び画像逆シフト回路８に供給する。また画像シフト回路４及び画像逆シフト回路８には、図示しないフィールド検出回路から、フィールド単位の補正タイミング制御信号Ｄ２が供給される。
画像移動手段としての画像シフト回路４及び画像逆シフト回路８は、動きベクトル情報Ｄ１及び補正タイミング制御信号Ｄ２に従い、それぞれ２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３の各画素を、検出した動きベクトルに応じてシフトする。
すなわち図６（Ｂ）に示すように、画像シフト回路４は、２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’、１ｂ及び１ｂ’を、それぞれ１／４×Ａ、２／４×Ａ及び３／４×Ａだけシフトし、平均化処理部１３に供給する。また画像逆シフト回路８は、倍速映像信号Ｓ３のフィールド２ａ’、２ｂ及び２ｂ’を、それぞれ−３／４×Ａ、−２／４×Ａ及び−１／４×Ａだけシフトし、平均化処理部１３に供給する。
このようにして画像シフト回路４及び画像逆シフト回路８は、それぞれ２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３の画素を動きベクトル情報Ｄ１に応じて、時間経過に従って順次シフトして平均化処理部１３に供給する。
平均化処理部１３の第１の重み付け部１４は、図６（Ｂ）に示すように、２フレーム遅延倍速映像信号Ｓ５のフィールド１ａ’、１ｂ及び１ｂ’の各画素の画素データに対し、それぞれのシフト量に反比例した重み付けを与える。
すなわち第１の重み付け部１４は、１／４×Ａだけシフトされたフィールド１ｂ’に対して３／４の重み付けを与え、２／４×Ａだけシフトされたフィールド１ｂに対して２／４の重み付けを与え、３／４×Ａだけシフトされたフィールド１ｂ’に対して１／４の重み付けを与える。
同様に第２の重み付け部１５は、倍速映像信号Ｓ３のフィールド２ａ’、２ｂ及び２ｂ’の各画素の画素データに対し、それぞれのシフト量に反比例した重み付けを与える。
すなわち第２の重み付け部１５は、−３／４×Ａだけシフトされたフィールド２ａ’に対して１／４の重み付けを与え、−２／４×Ａだけシフトされたフィールド２ｂに対して２／４の重み付けを与え、−１／４×Ａだけシフトされたフィールド２ｂ’に対して３／４の重み付けを与える。
かくして第１の重み付け部１４及び第２の重み付け部１５は、それぞれ２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３の画素の画素データに対し、画素のシフト量に反比例した重み付けをした後、信号合成器１２に供給する。
信号合成器１２は、２フレーム遅延倍速映像信号Ｓ５と倍速映像信号Ｓ３とを合成し、これを補正倍速映像信号Ｓ６として図示しないＣＲＴ１０４に出力する。
すなわち図６（Ｂ）に示すように、信号合成器１２は、重み付け後の２フレーム遅延倍速映像信号Ｓ５及び倍速映像信号Ｓ３を合成することにより、シフト後のフィールド１ａ’及びその２フレーム後のフィールド２ａ’の平均を動き補正後の新たなフィールド１ａ’とし、シフト後のフィールド１ｂ及びその２フレーム後のフィールド２ｂの平均を動き補正後の新たなフィールド１ｂとし、シフト後のフィールド１ｂ’及びその２フレーム後のフィールド２ｂ’の平均を動き補正後の新たなフィールド１ｂ’とする。
このようにして動き補正装置２０は、動きベクトル検出回路５で検出したフレーム間の動きベクトルを用いて、補正対象のフィールドとその２フレーム後のフィールドを互いに逆方向にシフトした後、シフト量に反比例した重み付け平均をして合成することにより、連続するフィールド間の画像の動きをさらにスムーズに補正することができる。
また、動きベクトル検出回路５の探索範囲を越える動きが画像に存在した等の原因によって、誤った動きベクトルを検出した場合や、画像が移動しながら信号レベルが変化するような場合でも、連続するフィールド間の画像の動きを違和感なく補正することができる。
さらに上述の実施の形態においては、５０フィールド／秒のＰＡＬ信号を倍速変換してなる１００フィールド／秒の倍速映像信号に対して動き補正を行う場合について述べたが、本発明はこれに限らず、同じく５０フィールド／秒のＳＥＣＡＭ（Ｓｅｑｕｅｎｔｉｅｌ ａ Ｍｅｍｏｉｒｅ）信号を倍速変換してなる１００フィールド／秒の倍速映像信号や、６０フィールド／秒のＮＴＳＣ（Ｎａ−ｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅ）信号を倍速変換してなる１２０フィールド／秒の倍速映像信号に対して動き補正を行う場合にも適用することができる。また、ＮＴＳＣ信号において、その画像内容が毎秒３０コマのコンピュータグラフィックス画像である時、これを倍速変換してなる１２０フィールド／秒の倍速映像信号に対して動き補正を行う場合にも適用することができる。
さらに上述の実施の形態においては、２倍速化された倍速映像信号に対して動き補正を行う場合について述べたが、本発明はこれに限らず、種々の倍率でＮ倍速化（Ｎは実数）されたＮ倍速映像信号に対して動き補正を行う場合に広く適用することができる。以下に例として４倍速映像信号に対して動き補正を行う場合を説明する。
まず、映像信号を４倍速化する処理について図１４を用いて説明する。図１４（Ａ）に示す入力映像信号Ｓ１のフィールド１ａの走査線数をプログレッシブ変換することにより、図１４（Ｂ）に示すフレーム１ａを生成する。以下同様に、順次入力映像信号Ｓ１のフィールド１ｂ、……を順次プログレッシブ変換してフレーム１ｂ、……を生成し、５０フレーム／秒でなるプログレッシブ画像の中間映像信号Ｓ２を生成する。
そして、図１４（Ｂ）に示すフレーム１ａを画像メモリ（図示せず）に書き込み、これを１／２００秒毎に、１走査線おきに４回繰り返して読み出すことにより、当該フレーム１ａから４枚のフィールド１ａ、１ａ’、１ａ’’及び１ａ’’’を生成する。同様に、中間映像信号Ｓ２のフレーム１ｂから４枚のフィールド１ｂ、１ｂ’、１ｂ’’及び１ｂ’’’を生成する。
かくして、２００フィールド／秒でなるインターレース画像の４倍速映像信号Ｓ２３を生成することができる。このことは、入力映像信号Ｓ１の元画像（フィールド１ａ、１ｂ、……）の間に、当該元画像から生成したＮ−１個の補間画像（フィールド１ａ’〜１ａ’’’、１ｂ’〜１ｂ’’’、……）を挿入したことに相当する。
このようにして生成された４倍速映像信号Ｓ２３の画像の動きを、図１５を用いて説明する。図１５（Ａ）に示す入力映像信号Ｓ１においては、物体１１０はフィールド間で右方向に滑らかに移動しているのに対し、図１５（Ｂ）に示す４倍速映像信号Ｓ２３においては、フィールド１ａ、１ａ’、１ａ’’及び１ａ’’’はいずれも同一のフィールドから生成されているため、物体１１０は同一位置に表示される。そして、次のフィールド１ｂは異なるフィールドから生成されているため、フィールド１ａ’からフィールド１ｂに移る際に、物体１１０は大きく移動して表示される。
図１６において、２１は全体として４倍速映像信号に対する動き補正装置を示し、５０フィールド／秒のＰＡＬ信号を４倍速変換してなる２００フィールド／秒の４倍速映像信号Ｓ２３を画像メモリ２２に入力する。
画像メモリ２２は、４倍速映像信号Ｓ２３を２フレーム分遅延して２フレーム遅延４倍速映像信号Ｓ２４を生成し、これを後段の画像メモリ２３に入力する。画像メモリ２３は、２フレーム遅延４倍速映像信号Ｓ２４をさらに２フレーム分遅延して４フレーム遅延４倍速映像信号Ｓ２５を生成し、これを画像シフト回路２４及び動きベクトル検出回路２５に入力する。
一方フィルム検出回路２６は、４倍速映像信号Ｓ２３と２フレーム遅延４倍速映像信号Ｓ２４との相関に基づいて、入力された４倍速映像信号Ｓ２３がフィルム素材であるか否かを判定する。すなわち、入力された４倍速映像信号Ｓ２３がフィルム素材である場合、当該倍速映像信号Ｓ２３には同一のコマから生成されたフィールドが８フィールド（４フレーム）連続するため、４倍速映像信号Ｓ２３とその２フレーム前の２フレーム遅延４倍速映像信号Ｓ２４との間に、周期的な相関を検出することができる。
フィルム検出回路２６は、４倍速映像信号Ｓ２３及び２フレーム遅延４倍速映像信号Ｓ２４の対応する画素毎の信号レベルの差分値を算出し、当該差分値が２フレームおきに交互に所定の閾値以上／閾値以下の値になる場合、４倍速映像信号Ｓ２３及び２フレーム遅延４倍速映像信号Ｓ２４の相関が高く、４倍速映像信号Ｓ２３がフィルム素材であると判定する。そしてフィルム検出回路２６は、この判定結果に応じて選択スイッチ２７を制御する。
すなわちフィルム検出回路２６は、４倍速映像信号Ｓ２３がフィルム素材ではないと判定した場合、選択スイッチ２７を端子２７Ａ側に切替え、参照映像信号としての２フレーム遅延４倍速映像信号Ｓ２４を、画像逆シフト回路２８及び動きベクトル検出回路２５に入力する。
動きベクトル検出回路２５は、現フィールド（現画面）としての４フレーム遅延４倍速映像信号Ｓ２５のフィールドと、参照フィールド（参照画面）としての２フレーム遅延４倍速映像信号Ｓ２４のフィールドとの間の、２フレーム間（４フィールド）の画像の動きベクトルを各画素単位又はブロック単位で順次検出する。
すなわち図１７（Ａ）に示すように、現フィールドとしてのフィールド１ａ（４フレーム遅延４倍速映像信号Ｓ２５）と、その２フレーム後の参照フィールドとしてのフィールド１ｂ（２フレーム遅延４倍速映像信号Ｓ２４）との間の所定の画素またはブロックにおける動きベクトルはＡとなり、現フィールドとしてのフィールド１ｂと、その２フレーム後の参照フィールドとしてのフィールド２ａとの間の所定の画素またはブロックにおける動きベクトルはＢとなる。動きベクトル検出回路２５は、このようにして検出した各画素単位又はブロック単位のフレーム間の動きベクトルを、動きベクトル情報Ｄ２１として画像シフト回路２４及び画像逆シフト回路２８に供給する。また画像シフト回路２４及び画像逆シフト回路２８には、図示しないフィールド検出回路から、フィールド単位の補正タイミング制御信号Ｄ２２が供給される。
画像移動手段としての画像シフト回路２４及び画像逆シフト回路２８は、動きベクトル情報Ｄ２１及び補正タイミング制御信号Ｄ２２に従い、それぞれ４フレーム遅延４倍速映像信号Ｓ２５及び参照映像信号としての２フレーム遅延４倍速映像信号Ｓ２４の動きが検出された各画素を、検出した動きベクトルに応じてシフトする。
すなわち図１７（Ｂ）に示すように、画像シフト回路２４は、現フィールドとしての４フレーム遅延４倍速映像信号Ｓ２５のフィールド１ａ’、１ａ’’及び１ａ’’’の動きが検出された各画素を、それぞれ１／４×Ａ、２／４×Ａ及び３／４×Ａだけシフトし、後段の平均化処理部９に供給する。また画像逆シフト回路２８は、参照フィールドとしての２フレーム遅延４倍速映像信号Ｓ２４のフィールド１ｂ’、１ｂ’’及び１ｂ’’’の動きが検出された各画素を、それぞれ−３／４×Ａ、−２／４×Ａ及び−１／４×Ａだけシフトし、後段の平均化処理部２９に供給する。
このようにして画像シフト回路２４及び画像逆シフト回路２８は、それぞれ現フィールドとしての４フレーム遅延４倍速映像信号Ｓ２５及び参照フィールドとしての２フレーム遅延４倍速映像信号Ｓ２３の画素を動きベクトル情報Ｄ２１に応じて、時間経過に従って順次シフトして平均化処理部２９に供給する。
補正手段としての平均化処理部２９の第１の重み付け部３０は、図１７（Ｂ）に示すように、４フレーム遅延４倍速映像信号Ｓ２５のフィールド１ａ、１ａ’、１ａ’’及び１ａ’’’の各画素の画素データを１／２に重み付けして信号合成器３２に供給する。また第２の重み付け部３１は、２フレーム遅延４倍速映像信号Ｓ２４のフィールド１ｂ、１ｂ’、１ｂ’’及び１ｂ’’’の各画素の画素データを１／２に重み付けして信号合成器３２に供給する。
このようにして第１の重み付け部３０及び第２の重み付け部３１は、それぞれ現フィールドとしての４フレーム遅延４倍速映像信号Ｓ２５及び参照フィールドとしての２フレーム遅延４倍速映像信号Ｓ２４の画素の画素データを１／２に重み付けし、信号合成器３２に供給する。
信号合成器３２は、４フレーム遅延４倍速映像信号Ｓ２５と２フレーム遅延４倍速映像信号Ｓ２４とを合成し、これを補正４倍速映像信号Ｓ２６として図示しないＣＲＴに出力する。
すなわち図１７（Ｂ）に示すように、信号合成器３２は、重み付け後の４フレーム遅延４倍速映像信号Ｓ２５及び２フレーム遅延４倍速映像信号Ｓ２４を合成することにより、シフト後のフィールド１ａ’及びその２フレーム後のフィールド１ｂ’の画素データの平均を動き補正後の新たなフィールド１ａ’とし、シフト後のフィールド１ａ’’及びその２フレーム後のフィールド１ｂ’’の画素データの平均を動き補正後の新たなフィールド１ａ’’とし、シフト後のフィールド１ａ’’’及びその２フレーム後のフィールド１ｂ’’’の画素データの平均を動き補正後の新たなフィールド１ａ’’’とする。
かくして動き補正装置２１は、動きベクトル検出回路２５で検出した２フレーム間の動きベクトルを用いて、現フィールドとその２フレーム後の参照フィールドとをそれぞれ逆方向にシフトした後重み付けして合成することにより、４倍速映像信号における連続するフィールド間の画像の動きをスムーズに補正することができる。なお、４倍速映像信号Ｓ２３がフィルム素材である場合の処理についての説明は省略する。
以上は４倍速映像信号に対して動き補正を行う場合について述べたが、同様にしてＮ倍速映像信号に対する動き補正を行うことができる。すなわち動き補正装置２１の動きベクトル検出回路２５は、Ｎ倍速変換処理によって元画面（すなわちフィールド１ａ、１ｂ、……）から新たに生成され次の元画面との間に挿入されたＮ−１個の補間画面（すなわちフィールド１ａ’〜１ａ’’’、１ｂ’〜１ｂ’’’、……）を動き補正する際、当該Ｎ−１個の補間画面の生成元である元画面とその一つ後の元画面（以下これを参照画面と呼ぶ）との間の動きベクトルを検出する。
画像移動手段としての画像シフト回路２４はｍ番目の補間画面（１≦ｍ≦Ｎ−１）を動きベクトルのｍ／Ｎだけ移動させ、画像逆シフト回路２８はｍ＋Ｎ番目の補間画面を動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる。これは、補間画面を移動させる際の比率「ｍ／Ｎ」が、元画面〜補間画面までの時間／元画面〜参照画面までの時間」に比例し、参照画面を移動させる際の比率「（Ｎ−ｍ）／Ｎ」が「補間画面〜参照画面までの時間／元画面〜参照画面までの時間」に比例することから、元画面から補間画面までの時間に比例した比率で当該補間画面を移動させるとともに、補間画面から参照画面までの時間に比例した比率で当該参照画像を逆方向に移動させることに対応する。
そして補正手段としての平均化処理部２９は、移動後のｍ番目の補間画像及びｍ＋Ｎ番目の補間画像の各画素の画素データをそれぞれ１／２ずつ重み付けして重ね合わせたものを、動き補正後のｍ番目の補間画像とする。
以上の構成によれば、Ｎ倍速映像信号のフィールド間の動きを滑らかに補正することができる。なお、動きベクトルの検出はＮ画面離れた任意の補間画面間で行うこともできるが、当該補間画面は元画面からＮ倍速変換処理によって生成されたものであるから、元画面と参照画面との間で検出した動きベクトルの方が精度が高い。また、１／２の重み付けに代えて、検出画素の移動量に反比例した値で重み付けを行うようにすれば、Ｎ倍速映像信号のフィールド間の動きをさらに滑らかに補正することができる。
また、Ｎ倍速変換処理によって生成されたｍ番目の補間画面の画素データは元画面の同じ位置の画素データに対応しており、ｍ＋Ｎ番目の補間画面の画素データは参照画面の同じ位置の画素データに対応している。従って、ｍ番目（１≦ｍ≦Ｎ−１）の補間画面を補正する場合に、画像シフト回路２４により元画面の対応する画素データの位置を移動させ、画像逆シフト回路２８により参照画面の対応する画素データの位置を移動させた信号を平均化処理部２９に供給しても同じ結果が得られる。
また上述の実施の形態においては、表示手段としてＣＲＴを用いた場合について述べたが、本発明はこれに限らず、液晶パネル、プラズマディスプレイパネル、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の固定画素のデバイスを表示手段として用いた場合にもフィールド間の動きを滑らかに補正することができる。
上述のように本発明によれば、現フィールドの画像と、その１フレーム又は２フレーム後の参照フィールドの画像とを、検出したフレーム間の動きベクトルに応じて互いに逆方向に移動した後、これらを合成して平均化したものを補正後のフィールドの画像とすることにより、フィールド間の動きを従来に比して一層滑らかに補正することができる。
また、画素の移動量に反比例した重み付け平均をすることにより、連続するフィールド間の画像の動きをさらにスムーズに補正することができる。

本発明は、テレビジョン装置等の映像表示装置に適用できる。

符号の説明

１、２０、２１……動き補正装置、２、３、２２、２３……画像メモリ、４、２４……画像シフト回路、５、２５……動きベクトル検出回路、６、２６……フィルム検出回路、７、２７……選択スイッチ、８、２８……画像逆シフト回路、９、１３、２９……平均化処理部、１０、１１、１４、１５、３０、３１……重み付け部、１２、３２……信号合成器

Claims (19)

1. ビデオ信号を倍速変換してなる映像信号における現フィールドの画像情報と当該現フィールドの１フレーム後の参照フィールドの画像情報とから、上記現フィールドにおける検出画素と上記参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出手段と、
   上記現フィールドの検出画素を上記動きベクトルの１／２だけ移動させるとともに、上記参照フィールドの検出画素を上記動きベクトルの−１／２だけ移動させる画像移動手段と、
   上記画像移動手段によって移動された上記現フィールドの検出画素の画素データと上記参照フィールドの検出画素の画素データとを重み付けして重ね合わせることにより、上記現フィールドの上記映像信号を動き補正する平均化手段と
   を具えることを特徴とする動き補正装置。
2. 上記平均化手段は、上記検出画素それぞれに対し、上記画像移動手段による移動量に反比例した重み付けをして重ね合わせる
   ことを特徴とする請求の範囲第１項に記載の動き補正装置。
3. 上記動きベクトル検出手段は、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出する
   ことを特徴とする請求の範囲第１項に記載の動き補正装置。
4. フィルムをテレシネ変換した後倍速変換してなる映像信号における現フィールドの画像情報と当該映像信号を２フレーム遅延してなる参照映像信号における参照フィールドの画像情報とから、上記現フィールドにおける検出画素と上記参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出手段と、
   上記映像信号における上記現フィールド以降の３つのフィールドにおける検出画素を、それぞれ上記動きベクトルの１／４、２／４及び３／４だけ移動させるとともに、上記参照映像信号における上記参照フィールド以降の３つのフィールドにおける検出画素を、それぞれ上記動きベクトルの−３／４、−２／４及び−１／４だけ移動させる画像移動手段と、
   上記画像移動手段によって移動された上記現フィールド以降の３つのフィールドにおける検出画素の画素データと、上記参照フィールド以降の３つのフィールドにおける検出画素の画素データとをそれぞれ重み付けして重ね合わせることにより、上記現フィールド以降の３つのフィールドの上記映像信号を動き補正する平均化手段と
   を具えることを特徴とする動き補正装置。
5. 上記平均化手段は、上記検出画素それぞれに対し、上記画像移動手段による移動量に反比例した重み付け平均を行う
   ことを特徴とする請求の範囲第４項に記載の動き補正装置。
6. 上記動きベクトル検出手段は、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出する
   ことを特徴とする請求の範囲第４項に記載の動き補正装置。
7. ビデオ信号を倍速変換してなる映像信号における現フィールドの画像情報と当該現フィールドの１フレーム後の参照フィールドの画像情報とから、上記現フィールドにおける検出画素と上記参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出ステップと、
   上記現フィールドの検出画素を上記動きベクトルの１／２だけ移動させるとともに、上記参照フィールドの検出画素を上記動きベクトルの−１／２だけ移動させる画像移動ステップと、
   上記画像移動手段によって移動された上記現フィールドの検出画素の画素データと上記参照フィールドの検出画素の画素データとを重み付けして重ね合わせることにより、上記現フィールドの上記映像信号を動き補正する平均化ステップと
   を具えることを特徴とする動き補正方法。
8. 上記平均化ステップは、上記検出画素それぞれに対し、上記画像移動ステップによる移動量に反比例した重み付け平均を行う
   ことを特徴とする請求の範囲第７項に記載の動き補正方法。
9. 上記動きベクトル検出ステップは、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出する
   ことを特徴とする請求の範囲第７項に記載の動き補正方法。
10. フィルムをテレシネ変換した後倍速変換してなる映像信号における現フィールドの画像情報と当該映像信号を２フレーム遅延してなる参照映像信号における参照フィールドの画像情報とから、上記現フィールドにおける検出画素と上記参照フィールドにおける検出画素との間の動きベクトルを検出する動きベクトル検出ステップと、
    上記映像信号における上記現フィールド以降の３つのフィールドにおける検出画素を、それぞれ上記動きベクトルの１／４、２／４及び３／４だけ移動させるとともに、上記参照映像信号における上記参照フィールド以降の３つのフィールドにおける検出画素を、それぞれ上記動きベクトルの−３／４、−２／４及び−１／４だけ移動させる画像移動ステップと、
    上記画像移動手段によって移動された上記現フィールド以降の３つのフィールドにおける検出画素の画素データと、上記参照フィールド以降の３つのフィールドにおける検出画素の画素データとをそれぞれ重み付けして重ね合わせることにより、上記現フィールド以降の３つのフィールドの上記映像信号を動き補正する平均化ステップと
    を具えることを特徴とする動き補正方法。
11. 上記平均化ステップは、上記検出画素それぞれに対し、上記画像移動手段による移動量に反比例した重み付け平均を行う
    ことを特徴とする請求の範囲第１０項に記載の動き補正方法。
12. 上記動きベクトル検出ステップは、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出する
    ことを特徴とする請求の範囲第１０項に記載の動き補正方法。
13. 映像信号の元画面から生成したＮ−１個の補間画面を当該元画面とその次の元画面の間に挿入することによりＮ倍速変換されたＮ倍速映像信号に対して動き補正を行う動き補正装置において、
    上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、当該元画面における検出画素と当該参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出手段と、
    上記元画面における検出画素に対応するｍ番目の補間画面（１≦ｍ≦Ｎ−１）の検出画素を上記動きベクトルのｍ／Ｎだけ移動させるとともに、上記参照画面における検出画素に対応するｍ＋Ｎ番目の補間画面の検出画素を上記動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動手段と、
    上記画像移動手段によって移動された上記ｍ番目の補間画面の検出画素における画素データ及び上記ｍ＋Ｎ番目の補間画面の検出画素における画素データそれぞれに対して当該画像移動手段による移動量に反比例した値で重み付けをした後重ね合わせたものを、動き補正された上記ｍ番目の補間画面として出力する補正手段と
    を具えることを特徴とする動き補正装置。
14. 映像信号の元画面から生成したＮ−１個の補間画面を当該元画面とその次の元画面の間に挿入することによりＮ倍速変換されたＮ倍速映像信号に対して動き補正を行う動き補正方法において、
    を行う動き補正方法において、
    上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、当該元画面における検出画素と当該参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出ステップと、
    上記元画面における検出画素に対応するｍ番目の補間画面（１≦ｍ≦Ｎ−１）の検出画素を上記動きベクトルのｍ／Ｎだけ移動させるとともに、上記参照画面における検出画素に対応するｍ＋Ｎ番目の補間画面の検出画素を上記動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動ステップと、
    上記画像移動ステップによって移動された上記ｍ番目の補間画面の検出画素における画素データ及び上記ｍ＋Ｎ番目の補間画面の検出画素における画素データそれぞれに対して当該画像移動ステップによる移動量に反比例した値で重み付けをした後重ね合わせたものを、動き補正された上記ｍ番目の補間画面として出力する補正ステップと
    を具えることを特徴とする動き補正方法。
15. ビデオ信号の元画面とその次の元画面の間に挿入された新たなＮ−１個の補間画面の画像信号の動きを補正する動き補正装置において、
    上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、上記元画面における検出画素と上記参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出手段と、
    ｍ番目（１≦ｍ≦Ｎ−１）の上記補間画面を補正する場合に、上記元画面の検出画素に対応する画素データの位置を上記動きベクトルのｍ／Ｎだけ移動させるとともに、上記参照画面の検出画素に対応する画素データの位置を上記動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動手段と、
    上記画像移動手段によって移動された上記元画面の検出画素に対応する画素データ及び上記参照画面の検出画素に対応する画素データを、所定の重み付けをして重ね合わせることにより上記補間画面の画像信号を補正する補正手段と
    を具えることを特徴とする動き補正装置。
16. 上記補正手段は、上記元画面及び上記参照画面の検出画素に対応する画素データの位置の移動量に基づき、上記所定の重み付けをして重ね合わせる
    ことを特徴とする請求の範囲第１５項に記載の動き補正装置。
17. 上記補正手段は、上記元画面及び上記参照画面の検出画素に対応する画素データに対し、上記画像移動手段による移動量に反比例した重み付けを行う
    ことを特徴とする請求の範囲第１６項に記載の動き補正装置。
18. 上記補正手段は、上記元画面の検出画素に対応する画素データに対し（Ｎ−ｍ）／Ｎの重みで、上記参照画面の検出画素に対応する画素データに対しｍ／Ｎの重みで重み付けを行う
    ことを特徴とする請求の範囲第１６項に記載の動き補正装置。
19. ビデオ信号の元画面とその次の元画面の間に挿入された新たなＮ−１個の補間画面の画像信号の動きを補正する動き補正方法において、
    上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報とから、上記元画面における検出画素と上記参照画面における検出画素との間の動きベクトルを検出する動きベクトル検出ステップと、
    ｍ番目（１≦ｍ≦Ｎ−１）の上記補間画面を補正する場合に、上記元画面の検出画素に対応する画素データの位置を上記動きベクトルのｍ／Ｎだけ移動させるとともに、上記参照画面の検出画素に対応する画素データの位置を上記動きベクトルの−（Ｎ−ｍ）／Ｎだけ移動させる画像移動ステップと、
    上記画像移動ステップによって移動された上記元画面の検出画素に対応する画素データ及び上記参照画面の検出画素に対応する画素データを、所定の重み付けをして重ね合わせることにより上記補間画面の画像信号を補正する補正ステップと
    を具えることを特徴とする動き補正方法。

Images