JP4244685B2

JP4244685B2 - 動画像時間軸補間方法及び動画像時間軸補間装置

Info

Publication number: JP4244685B2
Application number: JP2003109819A
Authority: JP
Inventors: 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-04-15
Filing date: 2003-04-15
Publication date: 2009-03-25
Anticipated expiration: 2023-04-15
Also published as: JP2004320278A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像時間軸補間方法及び動画像時間軸補間装置に係り、特に動画像を自然な動きで高画質に表示する場合など、入来動画像信号の画像レートと異なった画像レートの動画像信号を得るために、元の動画像信号に存在しない時間のフレームないしフィールドを、入来動画像信号から補間して形成し、動画像信号の実効フレーム（フィールド）レートを変化させる動画像時間軸補間方法及び動画像時間軸補間装置に関する。
【０００２】
【従来の技術】
通常のＮＴＳＣ方式のテレビ信号は、インターレース走査で毎秒６０フィールドなので、動画像の動きのスムーズさにおいてあまり問題はない。これに対し、映画など毎秒２４駒ないし３０駒のフィルム映像や、毎秒３０フレームの順次走査で作られたコンピュータグラフィックス画像などは、動画像に動きの不自然さ（ジャダー、ジャーギネス）がある。
【０００３】
一方、ＰＡＬ方式やＳＥＣＡＭ方式のテレビ信号は、毎秒５０フィールドなので、ＮＴＳＣ方式で放送や表示するためには、毎秒６０フィールドに変換する必要がある。また、ＰＡＬ方式やＳＥＣＡＭ方式は、フィールド周波数が低いので、大画面フリッカが問題となり、表示においては５０フィールドではなく、７５フィールドや１００フィールドに変換することが望まれる。
【０００４】
このように、入力動画像信号と異なった画像レートの動画像信号に変換する場合、画像の動きが自然であることが望まれる。そのため、動き補償補間として時間的に存在しないフレームやフィールドを形成し、スムーズな動きで実効画像レートを変化させる動き補償を行う動画像レート変換方法（動画像時間軸補間方法）は、従来より提案されている（例えば、特許文献１、特許文献２参照）。
【０００５】
すなわち、特許文献１には、動きベクトルに基づいて動き補正した動き補正フィールドを所定のフィールド内挿比にて加重加算して内挿フィールドを得る場合に、フィールド内挿比をフィールドの位相関係により定まる値及び動きベクトルの値に基づいて適応的に切り替える動画像時間軸補間方法が開示されている。
【０００６】
また、特許文献２には、画像信号に基づいてブロック単位動きベクトルを探索し、ブロック単位動きベクトルに基づいて画素単位動きベクトルを生成し、画素単位動きベクトルに基づいて生成した画像信号の内挿フレーム又は画像信号のフレームの信号で生成した画像信号の内挿フレームを用いて画像信号のフレーム数を変換する方法が開示されている。
【０００７】
また、従来、図４のブロック図に示す動画像補間装置も知られている。図４は毎秒３０フレームの順次走査画像信号を毎秒６０フレームの順次走査画像信号に変換する動画像補間装置を示しており、画像入力端子１より入力された毎秒３０フレームの順次走査画像信号は、フレーム遅延器２、動き推定器５１、動き補償器６及びフレームバッファ１０にそれぞれ供給される。フレーム遅延器２は、入力された毎秒３０フレームの順次走査画像信号を、略１フレーム分遅延させる。
【０００８】
動き推定器５１は、画像入力端子１からの毎秒３０フレームの順次走査画像信号と、フレーム遅延器２で略１フレーム分遅延された毎秒３０フレームの順次走査画像信号とが入力され、補間する時間位置の前後のフレーム間のマッチングから補間画像の各部分の動きベクトル（ＭＶ）を求める。ここで各部分は８×８画素などのブロックなどであるが、より細かなブロックや方形ブロックでない場合もある。
【０００９】
動き補償器６は、画像入力端子１からの毎秒３０フレームの順次走査画像信号を、動き推定器５１からのＭＶに従って空間的に移動させる。動き補償器７は、フレーム遅延器２の出力である略１フレーム遅延した毎秒３０フレームの順次走査画像信号を、動き推定器５１からのＭＶに従って空間的に移動させる。ここで、両方の動き補償器６及び７に対してＭＶは共通であるが、移動させる方向は動き補償器６と動き補償器７で逆となる。
【００１０】
動き補償器６で動き補償された入力画像信号と、動き補償器７で逆向きに動き補償された１フレーム遅延画像信号は加算器８で加算された後、２で除算されて補間画像となる。この補間画像はフレームバッファ１１に蓄えられ、２倍の速度で読み出される。同様に、画像入力端子１からの入力順次走査画像信号もフレームバッファ１０に蓄えられ、２倍の速度で読み出される。入力画像信号の１フレーム時間で、フレームバッファ１０に保持されている入力画像信号と、フレームバッファ１１に保持されている補間画像信号が交互に読み出され、スイッチ１２を介して画像出力端子１３に２倍の画像レート、すなわち毎秒６０フレームの順次走査画像信号として出力される。
【００１１】
この従来装置による補間の様子を図５に示す。同図において、一つの円は１画素であり、濃淡は画素値を示す。縦の連続は、走査線の一部または垂直方向の画素列を示す。また、実線で示されたものは毎秒３０フレームの入力順次走査画像信号であり、破線で示されたものは補間画像信号である。中央が現在の被補間画素であり、濃く細い矢印が前後フレーム間の相関が高いＭＶで、薄く太い矢印がそのＭＶによる動き補償補間である。図５は、画素が時間と共に緩やかに動いているが、動き補償により適切な補間ができることが分かる。
【００１２】
【特許文献１】
特開平１０−２３３７４号公報
【特許文献２】
特開平１１−１１２９３９号公報
【００１３】
【発明が解決しようとする課題】
しかるに、上述した従来の動画像時間軸補間装置及び方法は、被補間画像（フレームまたはフィールド）の前後の画像の相関に基づいて補間を行うため、前後の画像間で変化が大きい場合に、相関が良好な画像部分がなく、適切な補間ができないといった問題がある。
【００１４】
本発明は上記の点に着目してなされたもので、被補間画像周辺の複数の画像間で異なった時間関係の複数の相関を得て、各相関の関係から動きベクトルの検出と適応補間の制御を行うことで、変化の大きな画像部分も適切な補間画像が形成し得る動画像時間軸補間方法及び動画像時間軸補間装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像時間軸補間方法は、入来する動画像から時間的に異なる補間画像（フレーム又はフィールド）を生成し、入来動画像と補間画像とから新たな動画像を形成する動画像時間軸補間方法であって、生成されるべき補間画像に対して時間的に跨って、新しいものから順に第１画像、第２画像、第３画像、第４画像の順で入来動画像から画像を得る画像取得ステップと、第１画像、第２画像、第３画像、第４画像を用いて、画像の各部分において動き推定を行い動きベクトルを得ると共に、第１画像と第２画像との間の類似度を第１の相関として、第２画像と第３画像との間の類似度を第２の相関として、第３画像と第４画像との間の類似度を第３の相関として得る動き推定ステップと、動きベクトルに基づき、第２画像を動き補償して第１の補間画像候補を得、第２画像と第３画像とをそれぞれ動き補償し加算して第２の補間画像候補を得、第３画像を動き補償して第３の補間画像候補を得る動き補償ステップと、第２の相関が所定値よりも高い場合に第２の補間画像候補を、第２の相関が所定値よりも低い場合には第１の相関と第３の相関とを比較し、第１の相関の方が高い場合に第１の補間画像候補を、第３の相関の方が高い場合に第３の補間画像候補を選択し補間画像とする画像選択ステップと、入来動画像と生成した補間画像とから新たな動画像を形成するステップとを含むことを特徴とする。
【００１６】
また、上記の目的を達成するため、本発明の動画像時間軸補間装置は、入来する動画像から時間的に異なる補間画像（フレーム又はフィールド）を生成し、入来動画像と補間画像とから新たな動画像を形成する動画像時間軸補間装置であって、生成されるべき補間画像に対して時間的に跨って、新しいものから順に第１画像、第２画像、第３画像、第４画像の順で入来動画像から画像を得る画像取得手段と、第１画像、第２画像、第３画像、第４画像を用いて、画像の各部分において動き推定を行い動きベクトルを得ると共に、第１画像と第２画像との間の類似度を第１の相関として、第２画像と第３画像との間の類似度を第２の相関として、第３画像と第４画像との間の類似度を第３の相関として得る動き推定手段と、動きベクトルに基づき、第２画像を動き補償して第１の補間画像候補を得、第２画像と第３画像とをそれぞれ動き補償し加算して第２の補間画像候補を得、第３画像を動き補償して第３の補間画像候補を得る動き補償手段と、第２の相関が所定値よりも高い場合に第２の補間画像候補を、第２の相関が所定値よりも低い場合には第１の相関と第３の相関とを比較し、第１の相関の方が高い場合に第１の補間画像候補を、第３の相関の方が高い場合に第３の補間画像候補を選択し補間画像とする画像選択手段と、入来動画像と生成した補間画像とから新たな動画像を形成する動画像形成手段とを有することを特徴とする。
【００１７】
上記の本発明の動画像時間軸補間方法及び装置では、生成されるべき補間画像に対して時間的に跨って存在する入来動画像の連続する４フレーム又は４フィールドの計４画像から動きベクトルと２つの画像間の第１乃至第３の相関を得る動き推定を行い、更に、動きベクトルに基づき第１乃至第３の補間画像候補を得る動き補償を行った後、上記の各相関と各補間画像候補とを用いて、適応的に補間画像を形成するようにしたため、常に適切な補間画像が形成できる。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像時間軸補間装置の一実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付してある。本実施の形態は図４に示した従来装置と比較して、フレーム遅延器３及び４と、スイッチ９が追加されており、動き推定部５の処理動作が動き推定器５１と大幅に異なる。
【００１９】
図１において、画像入力端子１より入来した順次走査画像信号である動画像信号は、フレーム遅延器２と動き推定部５にそれぞれ供給される。フレーム遅延器２は、入力された動画像信号を略１フレーム分遅延させる。フレーム遅延器２の出力動画像信号は、フレーム遅延器３、動き推定部５、動き補償器６、フレームバッファ１０にそれぞれ供給される。フレーム遅延器３はフレーム遅延器２から入力された動画像信号を略１フレーム分遅延させ、フレーム遅延器４、動き推定部５、動き補償器７にそれぞれ供給する。フレーム遅延器４は、フレーム遅延器３から入力された信号を略１フレーム分遅延させ、動き推定部５に供給する。
【００２０】
ここで、入力動画像信号、フレーム遅延器２の出力動画像信号、フレーム遅延器３の出力動画像信号、フレーム遅延器４の出力動画像信号は、それぞれ略１フレームずつ遅延した４フレームとして使われる。入力動画像信号を第１画像、フレーム遅延器２の出力動画像信号を第２画像、フレーム遅延器３の出力動画像信号を第３画像、フレーム遅延器４の出力動画像信号を第４画像とする。
【００２１】
動き補償器６は、第２画像を後述する動き推定部５からの動きベクトル（ＭＶ）に従って空間的に移動させる。動き補償器７は、第３画像を上記のＭＶに従って空間的に移動させる。ここで、両方の動き補償器６及び７に対してＭＶは共通であるが、移動させる方向は動き補償器６と動き補償器７で逆となる。
【００２２】
動き補償器６で動き補償された第２画像と、動き補償器７で逆向きに動き補償された第３画像は加算器８で加算され、更に２で除算されて加算画像となる。スイッチ９は動き補償器６で動き補償された第２画像、加算器８から出力された加算画像、及び動き補償器７で動き補償された第３画像のうちのいずれか一の画像を選択してフレームバッファ１１に与える。
【００２３】
フレームバッファ１１は、スイッチ９から出力された画像の１フレーム分を蓄え、蓄えられた画像を補間画像信号として２倍の速度で読み出す。同様に、入力動画像信号（第１画像）もフレームバッファ１０に１フレーム分蓄えられ、２倍の速度で読み出される。入力動画像信号の１フレーム時間で、フレームバッファ１０に保持されている入力動画像信号と、フレームバッファ１１に保持されている補間画像信号がスイッチ１２を介して交互に読み出され、２倍の画像レートの動画像信号として出力される。
【００２４】
本実施の形態では従来の動き推定器５１の代わりに動き推定部５がある。その構成を図２に示す。図２においてフレーム遅延器２、３及び４は、図１のフレーム遅延器２、３及び４と共通である。第１画像である入力動画像信号は動き補償器２１へ、第２画像であるフレーム遅延器２の出力動画像信号は動き補償器２２へ、第３画像であるフレーム遅延器３の出力動画像信号は動き補償器２３へ、第４画像であるフレーム遅延器４の出力動画像信号は動き補償器２４へそれぞれ供給される。動き補償器２１、２２、２３及び２４は、仮ＭＶ設定器２９から供給される仮ＭＶに従って動き補償を行う。
【００２５】
ここで、仮ＭＶはすべての動き補償器２１、２２、２３及び２４に共通であるが、空間移動量は動き補償器２１、２２、２３及び２４によって異なる。補間画像とそれぞれの画像の時間関係から、水平成分、垂直成分共に第２画像用の動き補償器２２を「１」とすると、第１画像用の動き補償器２１は「３」、第３画像用の動き補償器２３は「−１」、第４画像用の動き補償器２４は「−３」の相対関係になる。
【００２６】
動き補償器２１で動き補償された第１画像は減算器３１へ、動き補償器２２で動き補償された第２画像は減算器３１と減算器３２へ、動き補償器２３で動き補償された第３画像は減算器３２と減算器３３へ、動き補償器２４で動き補償された第４画像は減算器３３へそれぞれ供給される。
【００２７】
減算器３１は、それぞれ動き補償された第１画像と第２画像の差を取り、相関検出器４１へ供給する。同様に、減算器３２はそれぞれ動き補償された第２画像と第３画像の差を取り、相関検出器４２へ供給する。同様に、減算器３３はそれぞれ動き補償された第３画像と第４画像の差を取り、相関検出器４３へ供給する。
【００２８】
相関検出器４１、４２及び４３は、入力された差分を絶対値化または二乗し、当該ブロックで累積加算し、当該ブロックの当該仮ＭＶでの相関結果を得る。相関検出器４１の出力は、第１画像と第２画像間の相関結果であり、第１の相関として相関比較器２５へ供給される。同様に、相関検出器４２の出力は、第２画像と第３画像間の相関結果であり、第２の相関として相関比較器２５へ供給される。同様に、相関検出器４３の出力は、第３画像と第４画像間の相関結果であり、第３の相関として相関比較器２５へ供給される。
【００２９】
相関比較器２５は入力された第１乃至第３の相関を比較し、各仮ＭＶの評価値をＭＶ判定器２６に供給する。ＭＶ判定器２６は、各仮ＭＶにおける評価値を仮ＭＶ設定器２９から入力された仮ＭＶ間で比較して、最も相関の高い評価値を与える仮ＭＶを最終的なＭＶと判定し、ＭＶ出力端子２７より出力する。
【００３０】
一方、最終的なＭＶにおける第１の相関、第２の相関及び第３の相関のバランスから補間モードを決定し、方向情報出力端子２８より出力する。補間モードは、第２画像のみによる補間、第３画像のみによる補間、両者の平均画像による補間の３種類である。仮ＭＶ設定器２９は、当該ブロックにおいて、サーチレンジとして設定された仮ＭＶを発生し、その情報を動き補償器２１、２２、２３及び２４とＭＶ判定器２６にそれぞれ供給する。
【００３１】
次に、上記の第１の相関、第２の相関及び第３の相関から評価値と３種類の補間モードを決定するプロセスについて説明する。なお、相関検出器２５の出力は、ブロックマッチング値なので、値が大きいほど相関が悪い（相関が低い）ものとなっている。
【００３２】
評価値Ｃは、第１の相関Ｃ_１、第２の相関Ｃ_２及び第３の相関Ｃ_３から次のような条件で求める。各相関Ｃ_１〜Ｃ_３は大きさの順にＣmax、Ｃmid及びＣminとされ、最小値Ｃminの２倍が最大値Ｃmax以上の場合は、Ｃは３つの相関値を加算して得る。最小値Ｃminの２倍が最大値Ｃmaxに満たず、かつ、中間値Ｃmid以上の場合は、最大値Ｃmaxを除いた２値Ｃmin及びＣmidの加算で得られ、最小値Ｃminの２倍が中間値Ｃmidに満たない場合は最小値Ｃminのみが使われる。
【００３３】
ここで、加算される値が多いほど総合的な相関は良いので、その補正のため３値の加算値は２で除算され、最小値Ｃminのみの場合は３倍される。このようにして得られた値が、当該ブロック当該仮ＭＶの評価値Ｃとなる。以上をまとめると次のようになる。
【００３４】
Ｃmax：Ｃ_１，Ｃ_２，Ｃ_３の内の最大値
Ｃmid：Ｃ_１，Ｃ_２，Ｃ_３の内の中間値
Ｃmin：Ｃ_１，Ｃ_２，Ｃ_３の内の最小値
Ｃ＝（Ｃ_１＋Ｃ_２＋Ｃ_３）／２・・・・２Ｃmin≧Ｃmax
Ｃ＝Ｃmin＋Ｃmid・・・・・・・・・２Ｃmin≧Ｃmid、かつ、２Ｃmin＜Ｃmax
Ｃ＝３Ｃmin・・・・・・・・・・・２Ｃmin＜Ｃmid
次に、補間モードの判定は、次の条件式により判定される。第２の相関Ｃ_２が最小値Ｃminの２倍以下なら加算画像が選択される。それ以外は加算画像でなく、第２の画像と第３の画像で相関の良い方が選択される。この補間モードは相関比較器２５で求められてＭＶ判定器２６に渡され、当該ブロックで最終的に決定されたＭＶについてのモード情報のみがモード出力端子２８から出力される。以上をまとめると、次のようになる。
【００３５】
加算画像を選択・・・・・・・・２Ｃmin≧Ｃ_２
第２画像を選択・・・・・・・・２Ｃmin＜Ｃ_２、かつ、Ｃ_３≧Ｃ_１
第３画像を選択・・・・・・・・２Ｃmin＜Ｃ_２、かつ、Ｃ_３＜Ｃ_１
上記のように、加算画像が使用できない場合以外は加算画像が使用されるので、時間軸の位相関係が線形であり、ランダムノイズの抑圧効果も大きく、その結果、動きがスムーズで画質劣化のない画像レート変換画像が得られる。
【００３６】
なお、図１の実施の形態では、３種類の画像から選択する形態をとっているが、動き補償された第２画像と動き補償された第３画像を適応的に加重加算する方法もある。その場合の加重係数も上記３種類の相関情報から得る。
【００３７】
また、上記の実施の形態は３０ｆｐｓから６０ｆｐｓへの変換なので、補間画像の時間が入力画像の中央となり、加算画像は均等加算で得ている。しかし、例えば５０ｆｐｓから６０ｆｐｓへの変換などでは、補間画像は必ずしも時間的に中央で無いので、加算は時間距離に応じて線形内挿などにしてもよい。なお、その場合は、動きベクトルの移動量の関係も、時間関係に応じて異なったものとなる。
【００３８】
次に、本実施の形態における時間軸補間の様子について説明する。図３は図１の実施の形態の時間軸補間の様子を示す。図３（ａ）、（ｂ）及び（ｃ）において、一つの円は１画素であり、濃淡は画素値を示す。縦方向の連続は、走査線の一部または垂直方向の画素列を示す。また、１から４の数字は、第１画像から第４画像を示す。更に、実線で示された画素は毎秒３０フレームの入力動画像信号であり、点線で示された画素は補間信号である。また、中央が現在の被補間画素であり、濃く細い矢印が前後フレーム間の相関が高いＭＶで、薄く太い矢印がそのＭＶによる動き補償補間である。
【００３９】
図３（ａ）では、画像が時間と共に緩やかに動いているが、動き補償により前後のフレームから適切な補間ができるので、加算画像が選択される。一方、図３（ｂ）は被補間画像以降で画像が大きく変化する。この場合は、第１の相関でＭＶが決定され、補間には第２画像が選択される。図３（ｃ）は被補間画像以前で画像が大きく変化している。この場合は、第３の相関でＭＶが決定され、補間には第３画像が選択される。なお、図３（ｂ）及び（ｃ）において点線で示された矢印はＭＶ決定には使われない。
【００４０】
このように、本実施の形態によれば、入来動画像信号から複数の相関を得て、各相関程度から、動きベクトルの検出を行うことで、補間画像の前後で大きな画像変化があっても適切な動きベクトルが選択でき、また、相関の程度から、適応的に補間画像を選択することで常に適切な補間画像が形成されるので、画像の動きの程度や変化にあまり影響されず、安定して動き補償された補間画像を得ることができる。特に、加算画像が使用できない場合以外は加算画像が使用されるので、時間軸の位相関係が線形であり、ランダムノイズの抑圧効果も大きい。その結果、本実施の形態によれば、動きがスムーズで画質劣化のない画像レート変換画像が得られる。
【００４１】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、上記の実施の形態では、３段縦続接続したフレーム遅延器２、３及び４により、入力動画像信号（第１画像）とそれぞれ１、２及び３フレーム遅延した３種類の遅延動画像信号（第２、第３及び第４画像）を用いて補間画像信号を生成するように説明したが、少なくとも第１乃至第３画像を用いて補間画像信号を生成するようにしてもよい。また、フレーム遅延器２〜４の代わりにそれぞれ略１フィールド遅延するフィールド遅延器を用いることも可能である。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、上記の本発明の動画像時間軸補間方法及び装置では、生成されるべき補間画像に対して時間的に跨って存在する入来動画像の連続する４フレーム又は４フィールドの計４画像から動きベクトルと２つの画像間の第１乃至第３の相関を得る動き推定を行い、更に、動きベクトルに基づき第１乃至第３の補間画像候補を得る動き補償を行った後、上記の各相関と各補間画像候補とを用いて、適応的に補間画像を形成するようにしたため、常に適切な補間画像が形成できるようにしたため、画像の動きの程度や変化にあまり影響されず、安定して動き補償された補間画像信号を得ることができる。
【００４３】
また、本発明によれば、加算画像が使用できない場合以外は加算画像が使用されるので、時間軸の位相関係が線形であり、ランダムノイズの抑圧効果も大きく、その結果、動きがスムーズで画質劣化のない画像レート変換画像が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成を示すブロック図である。
【図２】図１中の動き推定部の一実施の形態の構成を示すブロック図である。
【図３】図１の動き補償補間の様子を示す図である。
【図４】従来装置の一例の構成を示すブロック図である。
【図５】従来の動き補償補間の様子を示す図である。
【符号の説明】
１画像入力端子
２、３、４フレーム遅延器
５動き推定部
６、７、２１、２２、２３、２４動き補償器
８加算器
９、１２スイッチ
１０、１１フレームバッファ
１３画像出力端子
２５相関比較器
２６ＭＶ判定器
２７ＭＶ出力端子
２８モード出力端子
２９仮ＭＶ設定器
３１、３２、３３減算器
４１、４２、４３相関検出器
５１動き推定器

Claims

入来する動画像から時間的に異なる補間画像（フレーム又はフィールド）を生成し、入来動画像と前記補間画像とから新たな動画像を形成する動画像時間軸補間方法であって、
生成されるべき前記補間画像に対して時間的に跨って、新しいものから順に第１画像、第２画像、第３画像、第４画像の順で前記入来動画像から画像を得る画像取得ステップと、
前記第１画像、第２画像、第３画像、第４画像を用いて、画像の各部分において動き推定を行い動きベクトルを得ると共に、前記第１画像と前記第２画像との間の類似度を第１の相関として、前記第２画像と前記第３画像との間の類似度を第２の相関として、前記第３画像と前記第４画像との間の類似度を第３の相関として得る動き推定ステップと、
前記動きベクトルに基づき、前記第２画像を動き補償して第１の補間画像候補を得、前記第２画像と前記第３画像とをそれぞれ動き補償し加算して第２の補間画像候補を得、前記第３画像を動き補償して第３の補間画像候補を得る動き補償ステップと、
前記第２の相関が所定値よりも高い場合に前記第２の補間画像候補を、前記第２の相関が前記所定値よりも低い場合には前記第１の相関と前記第３の相関とを比較し、前記第１の相関の方が高い場合に前記第１の補間画像候補を、前記第３の相関の方が高い場合に前記第３の補間画像候補を選択し前記補間画像とする画像選択ステップと、
前記入来動画像と前記生成した補間画像とから新たな動画像を形成するステップと
を含むことを特徴とする動画像時間軸補間方法。
入来する動画像から時間的に異なる補間画像（フレーム又はフィールド）を生成し、入来動画像と前記補間画像とから新たな動画像を形成する動画像時間軸補間装置であって、
生成されるべき前記補間画像に対して時間的に跨って、新しいものから順に第１画像、第２画像、第３画像、第４画像の順で前記入来動画像から画像を得る画像取得手段と、
前記第１画像、第２画像、第３画像、第４画像を用いて、画像の各部分において動き推定を行い動きベクトルを得ると共に、前記第１画像と前記第２画像との間の類似度を第１の相関として、前記第２画像と前記第３画像との間の類似度を第２の相関として、前記第３画像と前記第４画像との間の類似度を第３の相関として得る動き推定手段と、
前記動きベクトルに基づき、前記第２画像を動き補償して第１の補間画像候補を得、前記第２画像と前記第３画像とをそれぞれ動き補償し加算して第２の補間画像候補を得、前記第３画像を動き補償して第３の補間画像候補を得る動き補償手段と、
前記第２の相関が所定値よりも高い場合に前記第２の補間画像候補を、前記第２の相関が前記所定値よりも低い場合には前記第１の相関と前記第３の相関とを比較し、前記第１の相関の方が高い場合に前記第１の補間画像候補を、前記第３の相関の方が高い場合に前記第３の補間画像候補を選択し前記補間画像とする画像選択手段と、
前記入来動画像と前記生成した補間画像とから新たな動画像を形成する動画像形成手段と
を有することを特徴とする動画像時間軸補間装置。