JP4220284B2 - フレーム補間方法、装置及びこれを用いた画像表示システム - Google Patents
フレーム補間方法、装置及びこれを用いた画像表示システム Download PDFInfo
- Publication number
- JP4220284B2 JP4220284B2 JP2003090838A JP2003090838A JP4220284B2 JP 4220284 B2 JP4220284 B2 JP 4220284B2 JP 2003090838 A JP2003090838 A JP 2003090838A JP 2003090838 A JP2003090838 A JP 2003090838A JP 4220284 B2 JP4220284 B2 JP 4220284B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- interpolation
- interpolation frame
- quality
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間するフレーム補間方法、装置及びこれを用いた画像表示システムに関する。
【０００２】
【従来の技術】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ２(Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間する方法がある。ＭＰＥＧ２における動き補償では、ブロックマッチング法によって検出される動きベクトルが用いられる。ブロックマッチング法とは、第１参照フレームを複数の第１ブロックに分割し、各第１ブロックに対して第１参照フレームに隣接する第２参照フレームから最も相関の高い第２ブロックを探索して、第２ブロックから第１ブロックへの動きベクトルを求める手法である。
【０００４】
このような動き補償を用いるフレーム補間手法では、動き補償によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間について求められた第１動きベクトルを補間フレーム面と第１参照フレーム間の第２動きベクトルに変換するスケール変換と呼ばれる操作を行う。こうしてスケール変換により得られた第２動きベクトルを用いて動き補償を行うことにより、補間フレームを生成する。すなわち、第２動きベクトルの終点を第１参照フレーム上に固定し、第１参照フレーム上の該第２動きベクトルの終点が指し示すブロックの画像データを第２動きベクトルの始点が指し示す補間フレーム面上のブロックの位置にコピーする。
【０００５】
この手法では、スケール変換によって得られる第２動きベクトルの始点位置は、必ずしも補間フレーム面上の本来の補間対象ブロックの位置と一致しないことから、補間フレームに画像データの存在しない隙間ができてしまったり、逆に画像データが重なる領域ができてしまう。
【０００６】
特許２５２８１０３号（特許文献１）には、このような画像の隙間や重なりの生じないフレーム補間の手法が開示されている。この手法では、補間フレーム面上の補間対象ブロックを中心として、幾何対称的に前後の参照フレーム間の相関を求めてフレーム補間を行う。これにより、動きベクトルのスケール変換を行うことなく、最初に求められた動きベクトルを用いてダイレクトに補間フレームを生成することができ、また補間フレーム面上に一様格子の補間対象ブロックを考えるため、補間フレームに画像の隙間や重なりが生じることはない。
【０００７】
一方、特開２００１−２４９８８（特許文献２）には、動き推定の際の画像の差分値と検出された動きベクトルの大きさから動き補償の信頼度を求め、信頼度が低い場合には別の手段によって補償する手法が開示されている。
【０００８】
【特許文献１】
特許２５２８１０３号
【０００９】
【特許文献２】
特開２００１−２４９８８公報
【００１０】
【発明が解決しようとする課題】
特許文献１の手法では、補間フレームの前後のフレーム間における相関関係のみから動きベクトルを決定するため、必ずしも実際の動きを反映した動きベクトルは得られない。このため補間フレームのクオリティが低くなり、結果として動画像全体のクオリティを低下させてしまうことがあり得る。
【００１１】
一方、特許文献２の手法によると、特許文献１で見られような動きベクトルの誤検出による補間フレームのクオリティの低下という問題は原理的に解消されると考えられる。しかし、動き推定の際の画像間の差分値や、動きベクトルの大きさのみで動き補償の信頼度を測ることは現実的には難しいため、必ずしも適切な補間フレームを生成することはできない。
【００１２】
本発明の目的は、クオリティの高い補間フレームを生成して補間を行うことができるフレーム補間方法、装置及びこれを用いた画像表示システムを提供することにある。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の態様に係るフレーム補間方法は、画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、前記第２及び第３参照フレームから該第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第１補間フレームを生成するステップと、前記第１参照フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成するステップと、前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を計算するステップと、前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間ステップとを具備する。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る画像表示システムの構成を示す。ここでは、入力の画像信号（動画像信号）１０が６０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、これを１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。フレーム補間は、６０Ｈｚのノンインタレース信号に対して、隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）上に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより実現される。
【００１８】
画像信号１０は、フレームメモリ１３に入力され、フレームメモリ１３の出力はフレームメモリ１２に、フレームメモリ１２の出力はフレームメモリ１１にそれぞれ入力される。フレームメモリ１１，１２，１３に保持される画像を第１、第２、第３参照フレームＲ１，Ｒ２，Ｒ３とする。画像信号１０は、参照Ｒ１，Ｒ２，Ｒ３，・・・の順で入力される。
【００１９】
第１補間フレーム生成部１４では、参照フレームＲ１，Ｒ３から参照フレームＲ１とＲ３との間の参照フレームＲ２の位置に対応する第１補間フレームＩ１が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ１から補間フレームＩ１のクオリティが検証され、それに基づいて補間を行うか否かが判定される。第２補間フレーム生成部１６では、補間判定部１５の判定結果に従って、補間を行う場合には参照フレームＲ２，Ｒ３から、Ｒ２とＲ３との間の時間的中央位置（補間対象位置）に対応する第２補間フレームＩ２が生成される。
【００２０】
第２補間フレームＩ２は、参照フレームＲ１，Ｒ２，Ｒ３と共に表示システム１７に送られる。表示システム１７では、タイミングコントローラ１８による制御下で補間フレームＩ２が参照フレームＲ２とＲ３の間に挿入され、フレーム補間後の動画像が表示される。
【００２１】
次に、本実施形態の動作を説明する。
フレーム補間では、隣接フレーム間に補間フレームを内挿することによってより滑らかな動画再生を可能にする。しかし、常に適切な補間フレームを生成できるという保証はなく、低クオリティの補間フレームを生成して内挿してしまうことにより、動画像全体のクオリティを下げてしまうということも考えられる。そこで本実施形態では、補間フレームＩ１のクオリティを検証するステップを設け、その検証結果によっては補間フレームＩ２の内挿による補間を行わないという選択肢を用意する。このようにすることによって、低クオリティの補間フレームによって動画質全体のクオリティを下げてしまうという問題を回避できる。
【００２２】
具体的には、本実施形態のフレーム補間の概念図である図２に示すように、▲１▼第１参照フレームＲ１と第３参照フレームＲ３から第２参照フレームＲ２の位置に対応する第１補間フレームＩ１を生成する、▲２▼補間フレームＩ１を参照フレームＲ２と比較してその相関値を求めることで、補間フレームＩ１のクオリティを検証する、▲３▼検証された補間フレームＩ１のクオリティが高ければ、すなわち相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３から第２補間フレームＩ２を求めて参照フレームＲ２，Ｒ３間に補間を行う、という処理を行う。
【００２３】
以下、図３に示すフローチャートを用いて本実施形態における具体的な処理手順を説明する。
【００２４】
＜フレームメモリ１１〜１３の動作＞
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示すように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、フレームメモリ１１，１２，１３には、ｉ−３，ｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（図中０番の状態）。ｉフレームが入力されてから、フレームメモリ１１，１２，１３内部のフレームデータを以下のように遷移させる。
【００２５】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，１３には、それぞれｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる（ステップＳ１０１）。
【００２６】
ここでは便宜上、フレームメモリ１１，１２，１３のフレームデータを先に示した第１、第２、第３参照フレームＲ１，Ｒ２、Ｒ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリ１１，１２，１３のフレームデータにアクセスすることと等価である。
【００２７】
現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに現フレームより２フレーム前のフレームを参照フレームＲ１としてフレームメモリ１１から取得し（ステップＳ１０２）、以下のように第１補間フレームＩ１の生成を行う。
【００２８】
＜第１補間フレーム生成部１４の処理＞
第１補間フレーム生成部１４では、第１補間フレームＩ１の生成に際して、まず第１参照フレームＲ１と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する第１補間フレームＩ１を生成する（ステップＳ１０３）。ここでは、補間フレームＩ１を生成するための補間フレーム生成方法は特に限定されないが、例えば以下に挙げる様々な補間フレーム生成方法を選択することができる。
【００２９】
（１）第１の補間フレーム生成方法
図５に示すように、フレームＦ１を小ブロックに分割し、対象となる小ブロックと最も相関の高いブロックをフレームＩ２から探索して動きベクトルを求め、その動きベクトルを１／２にスケール変換する。該小ブロックと同位置の補間フレームＦＩ上の小ブロックに、スケール変換された動きベクトルの始点を固定し、その動きベクトルによって定まるフレームＦ２上の画像ブロックを補間フレームＦＩ上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームＦＩを生成する。
【００３０】
ここでは、フレームＦ１を小ブロックに分割して、いわゆる前方動き推定によって処理を行ったが、フレームＦ２を分割して、いわゆる後方動き推定により処理を行ってもよい。また、フレームＦ１からとフレームＦ２から求め、より相関度の高い動きベクトルを選択して補間フレームＦＩを生成する、いわゆる双方向動き推定によって処理を行ってもよい。
【００３１】
（２）第２の補間フレーム生成方法
図６に示すように、補間フレームＦＩを小ブロックに分割し、対象となる小ブロックを中心として点対称的に、フレームＦ１とフレームＦ２上の小ブロック対の中で最も相関の高い組を探索して動きベクトルを求める。この動きベクトルによって定まるフレームＦ１上の画像ブロックとフレームＦ２上の画像ブロックの平均をとり、その平均画像を補間フレーム上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームを生成する。
【００３２】
（３）第３の補間フレーム生成方法
上述の第１、第２の補間フレーム生成方法は共にブロックベースの技術であり、基本的にブロック内にはただ一つの動きしか存在しないことが前提となっている。このため、複数の動きが存在するような場合に、その動きの境界によって、ブロック歪みが発生する可能性がある。これに対して第３の補間フレーム生成方法では、このようなブロック歪みを発生させないようにするために、図７に示すようにブロック内を一致領域（相関の大きい領域）と不一致領域（相関の小さい領域）に分割し、一致領域に対して動きベクトルを割り当て、不一致領域に対しては再帰的に探索を行ってゆくという方法を選択することにより、ブロック歪みを抑える。
【００３３】
＜補間判定部１５の処理＞
第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間を行うか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ１０４）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ１０５）。この判定の結果に従って、後述するように第２補間フレームＦ２を生成する。
【００３４】
ここでは、クオリティに対する評価値を定め、その評価値が閾値よりも大きいか小さいかによって補間を行うか否かを判定する。その評価値がクオリティが高い場合に小さくなるような種類のものであれば、評価値が閾値以下の場合に補間を行うという判定を行い、クオリティが高い場合に大きくなるような種類のものであれば、評価値が閾値以上の場合に補間を行うという判定を行えばよい。参照フレームＲ２と補間フレームＩ２間の相関値としてとして見れば、前者の「評価値が閾値未満」と後者の「評価値が閾値以上」が「相関値が閾値以上」に対応することになる。この評価値としては、以下に示すように例えばいくつかの値を用いることができる。
【００３５】
まずは、画像信号の輝度成分のフレーム間差分に基づく例を説明する。
一つ目は、平均二乗誤差（Mean Squared Error）（以下、ＭＳＥ）と呼ばれる評価値であり、これは以下のように表現できる。
【００３６】
【数１】
【００３７】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズをそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（１）の評価値は、値が小さいほどクオリティが高いことを表す。
【００３８】
二つ目として、Subjective Mean Squared Error（以下、ＳＭＳＥ）と呼ばれる評価値が挙げられる。これはＭＳＥを基に人間の目の特性を考慮に入れた評価値であり、以下のように表される。
【００３９】
【数２】
【００４０】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズ、ｇ(x,y)は誤差の認知度、α(x,y)は点(x,y)の重みをそれぞれ表し、ｐは小さい誤差と大きい誤差の重要度の関係を決定する変数を表す。ｇ(x,y)，α(x,y)，ｐには、例えば次の数式（３）を用いることができる。
【００４１】
【数３】
【００４２】
ここで、Ｍ2x2(ｆ(x,y))は２×２サイズのウィンドウ内の線形平均を表し、これは人間の目のローパス特性を記述したものである。数式（１）のＭＳＥと同様に、ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（２）のＳＭＳＥも、数式（１）のＭＳＥと同様に、値が小さいほどクオリティが高いことを表す。
【００４３】
次に、画像の色差信号に着目した評価値について説明する。これは数式（１）のＭＳＥや数式（２）のＳＭＳＥを拡張することによって得ることができる。数式（１）のＭＳＥでは、ｆ(x,y)を画像信号の輝度成分としたが、これを画像信号の色差成分として置き換えてやればよい。色差信号Ｃｂに相当するものとしては、数式（１）におけるｆ(x,y)を色差信号Ｃｂと置き換えてこれをＭＳＥ[Cb]とし、色差信号Ｃｒに相当するものとしては、数式（１）におけるｆ(x,y)を色差信号Ｃｒに置き換えて、これをＭＳＥ[Cr]と得ることができる。同様にしてＳＭＳＥについても、数式（２）におけるｆ(x,y)を色差信号Ｃｂ、Ｃｒと置き換えて、これをＳＭＳＥ[Cb]，ＳＭＳＥ[Cr]と得ることができる。これらＭＳＥ[Cb]，ＭＳＥ[Cr]，ＳＭＳＥ[Cb]及びＳＭＳＥ[Cr]は、すべて値が小さいほどクオリティが高いことを表す。
【００４４】
上記二つの輝度成分に基づいた評価値と、色差成分に基づいた評価値を組み合わせて使用することも可能である。例えば、輝度成分、色差成分すべてを使用した評価値としては、以下の値を考えることができる。
【００４５】
【数４】
【００４６】
数式（４）（５）はそれぞれＭＳＥ，ＳＭＳＥを拡張したものであり、いずれも値が小さいほどクオリティが高いことを示す。
【００４７】
別の評価値としては、二つのフレームで一致している画素数を数え、その画素数が多い方をクオリティが高いとする一致画素数和（Sum of Agreement Pixels、以下ＳＡＰ）である。この評価値は以下のように表現される。
【００４８】
【数５】
【００４９】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズ、Ｔは閾値（例えば３など）をそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。この評価基準は大きいものほどクオリティが高いことを意味する。ＳＡＰについても、上記ＭＳＥなどと同様に色差信号に対してＳＡＰ[Cb]，ＳＡＰ[Cr]を求めることができ、数式（５）におけるｆ(x,y)を色差信号Ｃｂ、Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた評価値を以下のように組み合わせて使用することも可能である。
【００５０】
【数６】
【００５１】
なお、その他の評価値と合わせるために、以下のようにすることにより、値が小さいほどクオリティが高いことを表現できるようになる。
【００５２】
【数７】
【００５３】
次に、以下の評価値は相互相関関数（Cross Correlation Function、以下ＣＣＦ）を利用したものである。
【００５４】
【数８】
【００５５】
ここでは輝度の差分値を用いずに、輝度の乗算値・除算値が用いられている。この評価値は、１．０に近いほど相関が高いものを表すが、その他の指標と合わせるために、以下のようにすることによって、値が小さいほどクオリティが高いことを表現するように変換できる。
【００５６】
【数９】
【００５７】
また、その他の評価値と同様に色差信号に対してＣＣＦ[Ｃｂ]，ＣＣＦ[Ｃｒ]を求めることができ、数式（９）におけるｆ(x,y)を色差信号Ｃｂ，Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた基準を組み合わせて使用することも可能であり、以下のように表現することができる。
【００５８】
【数１０】
【００５９】
閾値の設定は、例えばＰＳＮＲ（peak signal to noise ratio）から設定することができる。ＰＳＮＲにおける許容限は、一般に32[dB]とされており、それに対応するＭＳＥ値は41.0279であるから、閾値を41.0279に設定すれば、許容限を下回る場合には補間を行わないとすることができる。
【００６０】
＜第２補間フレーム生成部１６の処理＞
上述した補間判定、すなわちステップＳ１０５における第２参照フレームＲ２と第１補間フレームＩ１との相関値と閾値の比較の結果、相関値が閾値以上、つまり補間を行う判定された場合には、第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ１０６）。
【００６１】
補間を行うと判定された場合には、第１補間フレームＩ１の生成と同様に、図５、図６及び図７に示すような様々な補間フレーム生成方法を用いて第２補間フレームＩ２を生成することができる。一方、相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ１０７）。
【００６２】
＜表示装置１８の処理＞
表示装置１７における画像表示に際しては、タイミングコントローラ１８からの制御により画像表示システム以外のシステム、例えば音声システムの出力タイミングを画像信号の１フレーム分（この場合、1/60[秒]）だけタイミングコントローラによって遅延させ（ステップＳ１０８）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ１０９）、1/120[秒]後に第２補間フレームＩ２を表示する（ステップＳ１１０）。ここでは、第１補間フレームＩ１の生成から第２補間フレームＩ２の生成までの処理を1/60[秒]以内で終了すると仮定している。
【００６３】
このように本実施形態では、補間フレームのクオリティを検証するステップを設け、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿してしまうことによる動画質全体のクオリティの低下という問題を回避できる。
【００６４】
補間フレームを内挿すべき補間位置には、当然のことながらオリジナルのフレームは存在しないため、従来の手法では補間フレームのクオリティを確実に検証する手段がない。これに対して本実施形態では、隣接フレームに対して補間を行うことによって、隣接フレーム位置における補間精度を求め、その補間精度を基にして補間位置の補間精度を類推することにより、補間フレームのクオリティを検証している。隣接フレームと補間フレームの時間的間隔は近いので、動画の時間的連続性から、隣接フレーム位置における検証結果を補間フレーム位置の検証結果として類推することは妥当であると考えられる。
【００６５】
一方、動画の時間的連続性が仮定できない場合もある。そのような例として、例えばシーンチェンジの発生が考えられる。シーンチェンジがあると、シーンチェンジ時点より前のフレームと次のフレームに連続性が全くなく、両フレームは全く異なる画像てなる。図８及び図９を用いて、シーンチェンジ時における本実施形態の動作を説明する。
【００６６】
図８は、シーンチェンジ部分に補間フレームを挿入する場合の動作である。▲１▼第１補間フレームＩ１を生成する際には、シーンチェンジ前の画像とシーンチェンジ後の画像から補間フレームＩ１を作ることになるため、生成される補間フレームは、例えば半分が前のフレームの画像、半分が後のフレームの画像というようなフレームとなってしまう。このような画像は、第２参照フレームＲ２とのマッチングが非常に悪いため、補間判定の評価値は非常に悪くなる。すなわち、相関値は著しく細緻な値を示すため、補間を行わないという判定がなされ、第２参照フレームＲ２の画像がそのまま挿入される。
【００６７】
このようにシーンチェンジ時に不適切ででたらめな補間フレームが挿入されることがないため、正しく補間判定が行われていることが分かる。図９の場合も同様である。すなわち、動画の連続性が仮定できない場合でも、正常に補間判定機能が働くことが分かる。
【００６８】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る画像表示システムであり、第２補間フレーム生成部２０は第１補間フレーム生成部１４から入力される第１動きベクトルＭＶ１のスケール変換を行うベクトルスケール変換部２１と、スケール変換後の第２動きベクトルＭＶ２を用いて動きベクトル補償を行う動き補償部２２を有する。
【００６９】
以下、第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００７０】
本実施形態においても第１の実施形態と同様に、低クオリティの補間フレームを内挿してしまうことによる動画像全体の画質低下を防ぐために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないように構成される。第１の実施形態と異なるところは、第２補間フレーム生成部１５が第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を利用して第２補間フレームＩ２を生成する点である。こうすることによって、全体の計算時間を半分にすることができる。
【００７１】
以下、図１１と図１２を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１２におけるステップＳ２０１からＳ２０３までの第１補間フレームＩ１の生成処理と、ステップＳ２０４からＳ２０５までの補間判定処理及びステップＳ２０８からＳ２１０までの表示処理は、第１の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００７２】
＜第２補間フレーム生成部２０＞
第２補間フレームの生成に際しては、ステップＳ２０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１１に示すように、まず第１補間フレーム生成部１４で得られた第１動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ２０６Ａ）。
【００７３】
次に、スケール変換後の第２動きベクトルＭＶ２と第２参照フレームＲ２及び第３参照フレームＲ３を用いて動き補償を行うことによって、第２補間フレームＩ２を生成する（ステップＳ２０６Ｂ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ２０７）。ベクトル変換ステップＳ２０６Ａ及び動き補償ステップＳ２０６Ｂの処理をさらに具体的に説明する。
【００７４】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ２０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。
【００７５】
＜動き補償ステップ＞
動き補償ステップＳ２０６Ｂでは、ステップＳ２０６Ａで得られたスケール変換後の第２動きベクトルＭＶ２によって指し示される第３参照フレームＲ２上の画像ブロックＢ１を用いて動き補償を行い、補間フレームＩ２を作成する。図１２を用いて説明する。
【００７６】
第１補間フレームＩ１の生成において補間フレームＩ１を小ブロックに分割するが、第２参照フレームＲ２と第３参照フレームＲ３間の補間フレームＩ２上にも、同様の小ブロックを考える。補間フレームＩ２上の各小ブロックに対応した動きベクトルは、長さが１／２に変換された動きベクトルＭＶ２であり、この動きベクトルＭＶ２が指し示す第３参照フレームＲ３上のブロックＢ１を動き補償する、つまり補間フレームＩ２上の当該小ブロック位置にコピーすることによって、補間フレームＩ２を作成する。
【００７７】
本実施形態によると、第１の実施形態と同様に補間フレームのクオリティを検証し、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿することによる動画質全体のクオリティの低下いう問題を回避できると同時に、第１補間フレームＩ１の生成時に求まった動きベクトルを第２補間フレームＩ２の生成時に再利用することにより、計算時間を１／２に短縮することが可能となる。
【００７８】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る画像表示システムであり、第１補間生成部１４から出力される動きベクトルＭＶ１をスケール変換するベクトルスケール変換部１９が設けられ、第２補間フレーム生成部３０はオーバラップ検出部３１と動き推定部３２及び動き補償部３３によって構成される。
【００７９】
以下、図１４及び図１５を用いて本実施形態におけるフレーム補間処理について述べる。第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００８０】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。また、第１の補間フレーム生成部１４で得られた動きベクトルＭＶ１をスケール変換した動きベクトルＭＶ２を利用して第２補間フレームＩ２を生成する点は第２の実施形態と共通であるが、動きベクトルＭＶ２そのものをそのまま利用するのではなく、実際の探索範囲を限定するために動きベクトルＭＶ２を使用するところが第２の実施形態と異なる。
【００８１】
以下、図１４と図１５を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１５におけるステップＳ３０１からＳ３０３までの第１補間フレームＩ１の生成処理と、ステップＳ３０４からＳ３０５までの補間判定処理及びステップＳ３０８からＳ３１０までの表示処理は、第１及び第２の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００８２】
＜補間フレーム生成部３０の処理＞
第２補間フレームＩ２の生成に際しては、ステップＳ３０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１５に示すように、第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ３０６Ａ）。
【００８３】
次に、スケール変換後の第２動きベクトルＭＶ２が補間フレームＩ２上の対象ブロックに対してオーバラップする領域Ｂ２を検出し、オーバラップ領域Ｂ２を通る動きベクトルによって限定される探索領域Ｓを探索して第３動きベクトルＭＶ３を求め、動きベクトルＭＶ３と第２参照フレームＲ２と第３参照フレームＲ３を用いて動き補償を行うことによって、補間フレームＩ２を生成する（ステップＳ３０６Ｂ〜Ｓ３０６Ｅ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ３０７）。
【００８４】
本実施形態におけるステップＳ３０６ＡからステップＳ３０６Ｅまでの第２補間フレームＩ２の生成処理は、ベクトルスケール変換ステップＳ３０６Ａと、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃ、動き推定ステップＳ３０６Ｄ及び動き補償ステップＳ３０６Ｅからなる。以下、各ステップＳ３０６Ａ〜Ｓ３０６Ｅの処理について具体的に説明する。
【００８５】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ３０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。なお、ここではベクトルの終点を固定してスケール変換を行う。
【００８６】
＜オーバラップ検出ステップ＞
動きベクトルＭＶ２は、動きベクトルＭＶ１の終点を固定してスケール変換を行ったベクトルであるために、動きベクトルＭＶ２に付随するブロックは、補間フレームＩ２上のブロック格子と一致するわけではない。そこでオーバラップ検出ステップＳ３０６Ｂでは、動きベクトルＭＶ２に付随するブロックが補間フレームＩ２上の対象ブロックに対して、どのベクトルのものでどの程度オーバラップしてくるのかを検出する。すなわち、動きベクトルＭＶ２に応じて第２補間フレームＩ２上に対象ブロック枠を移動させ（ステップＳ３０６Ｂ）、次いでオーバラップしたブロックが持つ第３動きベクトルＭＶ３によって、補間フレームＩ２上の対象ブロックに対する実際の探索領域Ｓを決定する（ステップＳ３０６Ｂ）。例えば、動きベクトルＭＶ３が指し示す位置の画素位置から上下左右４画素を探索領域Ｓとする。
【００８７】
＜動き推定ステップ＞
動き推定ステップＳ３０６Ｄでは、補間フレームＩ２上の対象ブロックを中心として、第２参照フレームＲ２と第３参照フレームＲ３から幾何対称的に探索を行うことによって第４動きベクトルを推定する。ここで用いる探索領域は、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃで検出された動きベクトルＭＶ３によって限定される探索領域Ｓである。
【００８８】
＜動き補償ステップ＞
動き補償ステップＳ３０６Ｅでは、動き推定ステップＳ３０６Ｄで推定された動きベクトルによって定まる第２参照フレームＲ２と第３参照フレームＲ３上の画像ブロックを用いて動き補償を行い、第２補間フレームＩ２を作成する。
【００８９】
本実施形態によると、第１及び第２の実施形態と同様の効果が得られるほか、さらに第２補間フレーム生成ステップで求まった第２動きベクトルＭＶ２を用いて実際の探索領域Ｓを限定することにより、再計算時間を大幅に短縮することが可能となる。
【００９０】
（第４の実施形態）
図１６は、本発明の第４の実施形態に係る画像表示システムであり、補間判定部２５がブロック単位で処理を行う点がこれまでの実施形態と異なる。
【００９１】
ここでは第１の実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００９２】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【００９３】
ここで、第１の実施形態では基本的には画面全体を使って補間フレームのクオリティの検証を行っていたの対して、第４の実施形態は画面の一部分が複数フレームに渡って連続的及び局所的に画質劣化を引き起こしていても、それによって動画像全体の画質低下を引き起こさないようにした例である。本実施形態では、そのような連続的、局所的な画質劣化を検出できるように、図１７図の▲２▼に示すようにブロック毎に区切った領域で検証を行う。その検証結果によって、一つのブロックでも複数フレームに渡り連続して画質劣化が引きおこされていると判定された場合には、補間フレームを内挿しないと判定する。
【００９４】
以下、図１７と図１８を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１８におけるステップＳ４０１からＳ４０３までの第１補間フレームＩ１の生成処理と、ステップＳ４１６，Ｓ４１７の第２補間フレームＩ２の生成処理及びステップＳ４１８からＳ４２０までの表示処理は、これまでの実施形態と同様あるので説明を省略し、ステップＳ４０３からＳ４１４までの補間判定処理についてのみ説明する。
【００９５】
対象ブロックが何フレーム連続で低クオリティであったかということを保存する変数として、プール[i]を用意する。ここで、ｉはブロックのインデックス番号である。プール[i]は、すべての処理の始めに、つまり画像信号が入力されて補間処理を開始する前に、すべて０を代入しておく。
【００９６】
＜補間判定ステップ＞
補間判定ステップでは、ブロック毎に補間フレームＩ１と第２参照フレームの検証を行い、複数フレームに渡り連続してクオリティの低いブロックが存在した場合には補間を行わないという判定をする。検証の評価値としては、第１の実施形態で説明したと同様に様々な方法を用いることが可能である。また、ここで用いるブロックは、第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックでもよいし、他の任意のサイズを選択することも可能である。以下、具体的な手順を説明する。
【００９７】
まず、第２参照フレームＲ２をブロックに分割する（ステップＳ４０４）。このブロックは、上述したように第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックあるいはその他の任意のサイズのブロックである。
【００９８】
補間を行うか否かの判定フラグとして補間flagを用意し、初期値としてtrueを与える（ステップＳ４０５）。補間flagがtrueであれば補間をするという判定を行い、falseであれば補間を行わないという判定を行う。補間判定ステップの以降の処理は、ブロック毎のループ処理となる（ステップＳ４０６）。
【００９９】
ｉ番目のブロックに関して、対象ブロック位置における第２参照フレームＲ２と第１補間フレームＩ１を比較して補間フレームＩ１のクオリティを検証する。すなわち、参照フレームＲ２と第２補間フレームＩ１との相関値を計算し（ステップＳ４０７）、閾値以上か否かを調べる（ステップＳ４０８）。
【０１００】
ここで相関値が閾値以上の場合、つまりクオリティが閾値より良い場合には、ステップＳ４１２に処理を進め、プール変数を０に戻す（プール［ｉ］＝０）。相関値が閾値未満、つまり設定された評価値に従って求まったクオリティが閾値よりも悪い場合には、ステップＳ４０９に処理を進め、プール変数に１を追加する（プール［ｉ］＝プール［ｉ］＋１）。
【０１０１】
次に、ｉ番目のブロックが設定フレーム数に渡り連続してクオリティが低いかどうか判定する。例えば、設定フレーム数を閾値２とすると、プール変数が閾値２よりも大きいか否かによって、その判定を行うことができる。すなわち、プール［ｉ］＞閾値２であるかどうかを判定し（ステップＳ４１０）、もし大きければ連続してクオリティが低いということになり、補間を行わない、つまり補間flagにfalseを代入する（ステップＳ４１１）。それ以外であれば補間を行うので、補間flagはステップＳ４０５で設定されたtrueのままである。
【０１０２】
上述のステップＳ４０６〜Ｓ４１２の処理をステップＳ４１３で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
このように本実施形態では、ブロック毎に補間判定を行うことによって、局所的な画質劣化にも対応できるフレーム補間を実現することが可能となる。
【０１０３】
（第５の実施形態）
次に、図１９〜図２０に示すフローチャートを用いて本発明の第５の実施形態について説明する。本実施形態における画像表示システムは、例えば第１の実施形態で用いた図１に示す構成と同様でよい。
【０１０４】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１０５】
本実施形態も、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【０１０６】
第４の実施形態では、時間・空間的に局所的なエラーが発生している場合に、補間を行わないという判定をすることによって、動画質全体のクオリティを保っている。その場合、時間的に見ればある一瞬だけエラーがあったが、その周りの時間ではエラーが発生していなかったとすると、補間を行わないという選択によって動画の動きが一瞬滑らかではなくなってしまう。そのような動きの乱れはは視認性がなかなか高く、違和感を感じさせる可能性がある。そこで、本実施形態では周りの時間における判定結果を踏まえて、対象とする補間位置における判定結果を補正する処理を設けることにより、時間の連続性による違和感を軽減させる。
【０１０７】
以下、図１９〜図２０を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１９〜図２０におけるステップＳ５０６の第１補間フレームＩ１の生成処理と、ステップＳ５１９からＳ５１０までの第２補間フレームＩ２の生成処理及びステップＳ５２１からＳ５２３までの表示処理は、第１の実施形態と同様あるので説明を省略し、補間判定処理に注目して説明する。
【０１０８】
＜フレームメモリの動作＞
動画像信号である画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示したように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、ｉ−１，ｉ−２，・・・，ｉ−（Ｌ＋１），ｉ−（Ｌ＋２）フレームがそれぞれフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１に格納されているとする（Ｌ＝０としたときの図中０番の状態）。ｉフレームが入力されてからフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１内部のフレームデータを以下のように遷移させる。
【０１０９】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームのフレームデータをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，・・・，Ｌ，Ｌ＋１１，Ｌ＋２には、それぞれｉ−Ｌ＋２，ｉ−Ｌ＋１，・・・，ｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる。
【０１１０】
ここで便宜上、フレームメモリＬ内のフレームデータを第１参照フレームＲ１、フレームメモリＬ＋１内のデータを第２参照フレームＲ２、フレームメモリＬ＋２内のデータを第３参照フレームＲ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリＬ，Ｌ＋１，Ｌ＋２のフレームデータにアクセスすることと等価である。以上の処理をフローで示すと、図１９のステップＳ５０１〜Ｓ５０７となる。
【０１１１】
＜補間判定ステップ＞
補間判定ステップでは、ステップＳ５１０で生成された第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間をするか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ５０９）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ５１０）。この判定の結果に従って、以下のように第２補間フレームＦ２を生成する。
【０１１２】
まず、ステップＳ５１０で相関値が閾値以上と判定された場合は、trueを補間リストの末尾に挿入し（ステップＳ５１１）、相関値が閾値未満と判定された場合は、falseを補間リストの末尾に挿入する（ステップＳ５１２）。この後、補間リストの長さを末尾からＭに更新する（ステップＳ５１３）。次に、Ｍの中央値をＨとして補間リスト［Ｈ］がfalseか否かを調べ（ステップＳ５１４〜Ｓ５１５）、［Ｈ］がfalseであれば補間リスト［Ｈ］についてテンプレートマッチングを行い、マッチする場合には補間リスト［Ｈ］をtrueとして（ステップＳ５１６）、ステップＳ５１７に処理を移し、［Ｈ］がfalseでなければステップＳ５１７に処理を移す。
【０１１３】
ステップＳ５１７では、現フレームＬを第３参照フレームＲ３として、参照フレーム１２から取得し、さらにフレームＬ−１を第２参照フレームＲ２としてフレームメモリ１１から取得する。ここで、補間リスト［Ｈ］がtrueか否かを調べて補間を行うか否かを判定する（ステップＳ５１８）。以下、第１の実施形態と同様に、補間を行うと判定した場合には、第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ５２０）。補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ５１９）。
【０１１４】
表示処理に際しては、画像表示システム以外のシステムの出力タイミングを本実施形態では画像信号のＬ＋１フレーム分だけ遅延させ（ステップＳ５２１）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ５２２）、さらに第２補間フレームＩ２を表示する（ステップＳ５２３）。
【０１１５】
（第６の実施形態）
次に、図２１と図２２〜図２３を用いて本発明の第６の実施形態について説明する。本実施形態における画像表示システムの構成は、例えば第１の実施形態で用いた図１と同様でよい。
【０１１６】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１１７】
補間フレームの生成方法としては、第１の実施形態でも述べたように様々な方法を選択することができるが、それぞれの方法には一長一短がある。例えば、動画の静止領域については、動きベクトルを用いない補間フレーム生成方法、つまり前のフレームを補間フレームとして利用したり、前後のフレームの平均を取ったりするような補間法の精度が高くなる。
【０１１８】
動領域については、動きベクトルを用いる補間フレーム生成方法の方が精度が高くなる。さらに、動領域でも動きが複数に分割されている領域については、領域分割型の補間フレーム生成方法によってより精度を高めることができる筈であるが、動きが単一の領域については領域分割をしない方が効果が高い。このようにセグメント毎に最適な補間フレーム生成方法は異なる。
【０１１９】
そこで本実施形態では、ブロック毎に最適な補間フレーム生成方法を選択可能とするために、補間判定ステップを利用する。図２１の▲２▼に示すように、ブロック毎に複数の補間フレーム生成方法によって生成した補間ブロックＢ１１，Ｂ１２，Ｂ１３を補間判定によってオリジナルのブロックＢ１０と比較し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２１の▲３▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する。
【０１２０】
本実施形態では補間フレーム生成方法として、第１の実施形態で示したような３つの補間フレーム生成方法と、前後の隣接フレームを平均化する方法及び前フレームをそのまま使用する方法を採用する。図２１のＢ１１，Ｂ１２及びＢ１３は、これらの生成方法によって生成される補間ブロックを示している。但し、本実施形態で用いられる補間フレーム生成方法は、特にこれらに限られるわけではない。例えば、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法＋平均フレーム＋前フレームというような構成でも構わない。
【０１２１】
＜第１補間フレーム生成ステップ＞
第１間フレームＩ１を生成する際のステップＳ６０１からＳ６０２までの処理は、第１の実施形態と同様である。ステップＳ６０２の処理の後、第１参照フレームＲ１と第３参照フレームＲ３から動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する補間フレームＩ１を生成する（ステップＳ６０３）。ここでは、補間フレームＩ１の生成方法は特に限定されるわけではなく、例えば第１の実施形態で示したような様々な補間フレーム生成方法を選択することができる。例えば、第１参照フレームＲ１と第３参照フレームＲ３の画像データを線形平均して平均フレームを求めたり、さらに第１参照フレームＲ１を前フレームとして採用するようにしてもよい。
【０１２２】
＜補間判定ステップ＞
以下ではブロック毎に最適な補間フレーム生成方法を選択するが、ここで言うブロックは補間の際に使用するブロックである。補間判定ステップの処理は、ブロック毎のループ処理となる（ステップＳ６０６）。ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における第２参照フレームＲ２と補間フレームＩ１、平均フレーム、前フレームのクオリティをそれぞれ検証する（ステップＳ６０４〜Ｓ６０８）。すなわち、参照フレームＲ１，Ｒ３の画像データを平均して平均フレームを生成し（ステップＳ６０４）、参照フレームＲ２を複数の小ブロックに分割する（ステップＳ６０５）。
【０１２３】
対象ブロックの位置において、参照フレームＲ２と補間フレームＩ１間の相関値Ｃ１と、参照フレームＲ２とステップＳ６０４で生成された平均フレーム間の相関値Ｃ２、及び参照フレームＲ２と参照フレームＲ１間の相関値Ｃ３を計算する（ステップＳ６０７）。次に、これらの相関値Ｃ１，Ｃ２，Ｃ３のうち値が最大の相関値を調べ（ステップＳ６０８）、Ｃ１が最大であれば平均フレーム、Ｃ２が最大であれば補間フレームＩ１、Ｃ３が最大であれば前フレームを第２補間フレームＩ２の生成方法としてそれぞれ採用する（ステップＳ６０９，Ｓ６１０，Ｓ６１１）。
上述のステップＳ６０６〜Ｓ６１１の処理をステップＳ６１２で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
【０１２４】
＜第２補間フレーム生成ステップ＞
次に、上述の補間判定ステップで選択された補間フレーム生成方法を用いて、第２参照フレームＲ２と第３参照フレームＲ３の間に挿入すべき補間フレームを生成する。第２補間フレーム生成ステップの処理は、ブロック毎のループ処理となる（ステップＳ６１３）。まず、ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における補間判定結果を読み取り（ステップＳ６１４）、それに応じて以下の処理を行う。
【０１２５】
まず、補間判定結果が平均フレームの場合は、第２参照フレームと第３参照フレームの当該ブロックの平均ブロックを補間フレームにコピーする（ステップＳ６１５）。
補間判定結果が補間フレームＩ１の場合は、第１の実施形態と同様に、当該ブロック位置において第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する補間ブロックを生成し、補間フレーム上にコピーする（ステップＳ６１６）。または、第２の実施形態のように、新たにベクトルを求めることはせずに、第１補間フレーム生成ステップで求まった当該ブロック位置の動きベクトルを流用して補間ブロックを求めてもよい。あるいは、第３の実施形態のように補間ブロックを求めてもよい。補間判定結果が前フレームの場合は、第２参照フレームの当該ブロック位置を補間フレームにコピーする（ステップＳ６１７）。
上述のステップ処理を全ブロック分繰り返し、補間フレームＩ２を生成する。なお、相関値Ｃ１，Ｃ２，Ｃ３の最大値を閾値と比較し、該最大値が該閾値に満たないときは第２参照フレームＲ２を補間フレームとしてもよい。
【０１２６】
このように本実施形態では、ブロック毎に複数の補間フレーム生成方法によって生成される補間ブロックを補間判定によってオリジナルのブロックと比較判定して、最も相関値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定し、実際の補間フレーム生成のための当該ブロックの補間フレーム生成方法として採用する。これにより、ブロック毎に最適な補間フレーム生成方法を選択することが可能となる。
【０１２７】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。本実施形態は、入力される画像信号のフレーム間の時間間隔が長い場合でも、補間フレームに対するクオリティの検証の精度を高め、高精度のフレーム補間を可能とする。
【０１２８】
図２４に、本発明の第７の実施形態に係る画像表示システムの構成を示す。第１補間フレーム生成部１４と第２補間フレーム生成部１６が縦続に接続される。第１補間フレーム生成部１４では、参照フレームＲ２，Ｒ３から第１補間フレームＩ１が生成される。第２補間フレーム生成部１６では、第１補間フレームＩ１と第３補間フレームＩ０から第２補間フレームＩ２が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ２から第１補間フレームＩ１のクオリティを検証するための補間判定が行われる。
【０１２９】
ここでは、入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３０】
第１の実施形態では、第１補間フレームＩ１のクオリティを検証するために、参照フレームＲ２を挟んだ二つの参照フレームＲ１，Ｒ３間のフレーム補間を求めている。第７の実施形態のように、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合（ここでは、１／３０Ｈｚ）には、参照フレームＲ１，Ｒ３間の時間間隔も大きくなるため（ここでは、２／３０Ｈｚ）、第１の実施形態と同様に参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３１】
そこで本実施形態では、クオリティ検証用の補間フレームを一つの参照フレームを挟む二つの補間フレームのフレーム補間で生成する。具体的には図２５に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１（第１の補間フレーム）を生成する、▲２▼補間フレームＩ１と一つ前に内挿した補間フレームＩ０（第２の補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２（第３の補間フレーム）を生成する、▲３▼補間フレームＩ２を第２参照フレームＲ２と比較することにより、補間フレームＩ２のクオリティを検証する、▲４▼クオリティが規定より上であれば、つまり相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿する、というように処理を行う。
【０１３２】
これにより、時間間隔の短い二つのフレームＩ２，Ｉ０（この場合、時間間隔は１／３０Ｈｚ）から補間フレームＩ１のクオリティを検証することが達成できる。補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ１であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１３３】
以下、図２５と図２６を用いて本実施形態におけるフレーム補間の処理手順について説明する。
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。ある瞬間に入力されてきたフレームデータを仮にｉフレームとすると、過去の蓄積からフレームメモリ１２，１３にはｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（ステップＳ７０１）。
【０１３４】
この状態で、現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに一つ前の補間フレームを補間フレームＩ０としてフレームメモリ１１から取得する（ステップＳ７０２）。参照フレームＲ２，Ｒ３からＲ２，Ｒ３の時間的中央位置に対応する第１補間フレームＩ１を生成し（ステップＳ７０３）、補間フレームＩ０，Ｉ１から参照フレームＲ２の時間的位置に対応する補間フレームＩ２を生成する（ステップＳ７０４）。
【０１３５】
次に、補間フレームＩ２のクオリティを検証するため、補間フレームＩ２と第２参照フレームＲ２との相関の大きさを表す相関値を計算する（ステップＳ７０５）。相関値を閾値と比較し（ステップＳ７０６）、相関値が閾値以上であれば、つまりクオリティが規定より上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿し（ステップＳ７０７）、相関値が閾値に満たなければ、つまり補間フレームＩ１のクオリティが低ければ、参照フレームＲ２をそのまま第２参照フレームＲ２と第３参照フレームＲ３間に内挿する（ステップＳ７０８）。
以後のステップＳ７０９からＳ７１３までの表示処理は、第１の実施形態と同様あるので説明を省略する。
【０１３６】
このように本実施形態では、入力の画像信号が３０Ｈｚのノンインタレース信号のようにフレーム間の時間間隔が長い画像信号に対しフレーム間補間を行う場合でも、補間フレームのクオリティを高い精度で検証することによって、高い補間精度を得ることができる。
【０１３７】
（第８の実施形態）
次に、本発明の第８の実施形態について説明する。本実施形態は、第６の実施形態と第７の実施形態を組み合わせた例である。本実施形態における画像表示システムは第７の実施形態と同様であり、図２４に示した通りである。ここでは、第７の実施形態と同様に入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより、６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３８】
本実施形態では、第６の実施形態と同様にブロック毎に補間フレーム生成方法を選択する例について示す。第７の実施形態において述べた通り、第６の実施形態では、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合、参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３９】
そこで本実施形態では、第７の実施形態と同様に、クオリティ検証用の補間フレームＩ２を、補間フレームＩ１と補間フレームＩ０から作ることにより、時間間隔を３０Ｈｚから離すことなく検証用の補間フレームを生成する。具体的には図２７に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１を複数の補間フレーム生成方法によって生成する、▲２▼補間フレームＩ１と補間フレームＩ０（一つ前に内挿した補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２を複数の補間フレーム生成方法によって生成する、▲３▼補間フレームＩ２の当該ブロックを補間判定によってオリジナルのブロックと比較することでクオリティを検証し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２７の▲４▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する、つまり補間フレームＩ１群から合成して補間フレームＩ３を生成する。
【０１４０】
補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ３（補間フレームＩ１）であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１４１】
本実施形態では、第６の実施形態と同様に補間フレーム生成方法として、前後の隣接フレームを平均化する方法と、前フレームをそのまま使用する方法と、第１の実施形態で示したような３つの補間フレーム生成方法を採用するが、特にこれらに限られるわけではなく、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法と平均フレーム及び前フレームというような方法でも構わない。
【０１４２】
図２８及び図２９に、本実施形態における具体的なフレーム補間の処理手順を示す。図から明らかなように、本実施形態における処理手順は第６の実施形態の処理手順を示した図２２及び図２３に、第７の実施形態における処理手順を示した図２６を組み合わせたものであり、図からその手順は明らかである。
【０１４３】
なお、本発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４４】
【発明の効果】
以上説明したように、本発明によればクオリティの高い補間フレームを生成してフレーム補間を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示すブロック図
【図２】第１の実施形態におけるフレーム補間の概念図
【図３】第１の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図４】第１の実施形態におけるフレームデータのフレームメモリ間の移動を説明する図
【図５】第１の実施形態における第１補間フレームの生成方法の一例を説明するための図
【図６】第１の実施形態における第１補間フレームの生成方法の他の例を説明するための図
【図７】第１の実施形態における第１補間フレームの生成方法のさらに別の例を説明するための図
【図８】第１の実施形態におけるシーンチェンジ時のフレーム補間動作例を示す図
【図９】第１の実施形態におけるシーンチェンジ時の他のフレーム補間動作例を示す図
【図１０】本発明の第２の実施形態に係る画像表示システムの構成を示すブロック図
【図１１】第２の実施形態における第２補間フレームの生成方法を説明するための図
【図１２】第２の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１３】本発明の第３の実施形態に係る画像表示システムの構成を示すブロック図
【図１４】第３の実施形態におけるフレーム補間の概念図
【図１５】第３の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１６】本発明の第４の実施形態に係る画像表示システムの構成を示すブロック図
【図１７】第４の実施形態におけるフレーム補間の概念図
【図１８】第４の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１９】本発明の第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２０】第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２１】本発明の第６の実施形態におけるフレーム補間の概念図
【図２２】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２３】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２４】本発明の第７の実施形態に係る画像表示システムの構成を示すブロック図
【図２５】第７の実施形態におけるフレーム補間の概念図
【図２６】第７の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２７】本発明の第８の実施形態におけるフレーム補間の概念図
【図２８】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２９】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【符号の説明】
１０・・・画像信号
１１〜１３・・・第１〜第３フレームメモリ
１４，２４・・・第１補間フレーム生成部
１５，２５・・・補間判定部
１６，２０，２６，３０・・・第２補間フレーム生成部
１７・・・表示装置
１８・・・タイミングコントローラ
１９・・・ベクトルスケール変換部
Ｒ１〜Ｒ３・・・第１〜第３参照フレーム
Ｉ１〜Ｉ３・・・第１〜第３補間フレーム
【発明の属する技術分野】
本発明は、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間するフレーム補間方法、装置及びこれを用いた画像表示システムに関する。
【０００２】
【従来の技術】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ２(Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間する方法がある。ＭＰＥＧ２における動き補償では、ブロックマッチング法によって検出される動きベクトルが用いられる。ブロックマッチング法とは、第１参照フレームを複数の第１ブロックに分割し、各第１ブロックに対して第１参照フレームに隣接する第２参照フレームから最も相関の高い第２ブロックを探索して、第２ブロックから第１ブロックへの動きベクトルを求める手法である。
【０００４】
このような動き補償を用いるフレーム補間手法では、動き補償によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間について求められた第１動きベクトルを補間フレーム面と第１参照フレーム間の第２動きベクトルに変換するスケール変換と呼ばれる操作を行う。こうしてスケール変換により得られた第２動きベクトルを用いて動き補償を行うことにより、補間フレームを生成する。すなわち、第２動きベクトルの終点を第１参照フレーム上に固定し、第１参照フレーム上の該第２動きベクトルの終点が指し示すブロックの画像データを第２動きベクトルの始点が指し示す補間フレーム面上のブロックの位置にコピーする。
【０００５】
この手法では、スケール変換によって得られる第２動きベクトルの始点位置は、必ずしも補間フレーム面上の本来の補間対象ブロックの位置と一致しないことから、補間フレームに画像データの存在しない隙間ができてしまったり、逆に画像データが重なる領域ができてしまう。
【０００６】
特許２５２８１０３号（特許文献１）には、このような画像の隙間や重なりの生じないフレーム補間の手法が開示されている。この手法では、補間フレーム面上の補間対象ブロックを中心として、幾何対称的に前後の参照フレーム間の相関を求めてフレーム補間を行う。これにより、動きベクトルのスケール変換を行うことなく、最初に求められた動きベクトルを用いてダイレクトに補間フレームを生成することができ、また補間フレーム面上に一様格子の補間対象ブロックを考えるため、補間フレームに画像の隙間や重なりが生じることはない。
【０００７】
一方、特開２００１−２４９８８（特許文献２）には、動き推定の際の画像の差分値と検出された動きベクトルの大きさから動き補償の信頼度を求め、信頼度が低い場合には別の手段によって補償する手法が開示されている。
【０００８】
【特許文献１】
特許２５２８１０３号
【０００９】
【特許文献２】
特開２００１−２４９８８公報
【００１０】
【発明が解決しようとする課題】
特許文献１の手法では、補間フレームの前後のフレーム間における相関関係のみから動きベクトルを決定するため、必ずしも実際の動きを反映した動きベクトルは得られない。このため補間フレームのクオリティが低くなり、結果として動画像全体のクオリティを低下させてしまうことがあり得る。
【００１１】
一方、特許文献２の手法によると、特許文献１で見られような動きベクトルの誤検出による補間フレームのクオリティの低下という問題は原理的に解消されると考えられる。しかし、動き推定の際の画像間の差分値や、動きベクトルの大きさのみで動き補償の信頼度を測ることは現実的には難しいため、必ずしも適切な補間フレームを生成することはできない。
【００１２】
本発明の目的は、クオリティの高い補間フレームを生成して補間を行うことができるフレーム補間方法、装置及びこれを用いた画像表示システムを提供することにある。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の態様に係るフレーム補間方法は、画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、前記第２及び第３参照フレームから該第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第１補間フレームを生成するステップと、前記第１参照フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成するステップと、前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を計算するステップと、前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間ステップとを具備する。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る画像表示システムの構成を示す。ここでは、入力の画像信号（動画像信号）１０が６０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、これを１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。フレーム補間は、６０Ｈｚのノンインタレース信号に対して、隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）上に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより実現される。
【００１８】
画像信号１０は、フレームメモリ１３に入力され、フレームメモリ１３の出力はフレームメモリ１２に、フレームメモリ１２の出力はフレームメモリ１１にそれぞれ入力される。フレームメモリ１１，１２，１３に保持される画像を第１、第２、第３参照フレームＲ１，Ｒ２，Ｒ３とする。画像信号１０は、参照Ｒ１，Ｒ２，Ｒ３，・・・の順で入力される。
【００１９】
第１補間フレーム生成部１４では、参照フレームＲ１，Ｒ３から参照フレームＲ１とＲ３との間の参照フレームＲ２の位置に対応する第１補間フレームＩ１が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ１から補間フレームＩ１のクオリティが検証され、それに基づいて補間を行うか否かが判定される。第２補間フレーム生成部１６では、補間判定部１５の判定結果に従って、補間を行う場合には参照フレームＲ２，Ｒ３から、Ｒ２とＲ３との間の時間的中央位置（補間対象位置）に対応する第２補間フレームＩ２が生成される。
【００２０】
第２補間フレームＩ２は、参照フレームＲ１，Ｒ２，Ｒ３と共に表示システム１７に送られる。表示システム１７では、タイミングコントローラ１８による制御下で補間フレームＩ２が参照フレームＲ２とＲ３の間に挿入され、フレーム補間後の動画像が表示される。
【００２１】
次に、本実施形態の動作を説明する。
フレーム補間では、隣接フレーム間に補間フレームを内挿することによってより滑らかな動画再生を可能にする。しかし、常に適切な補間フレームを生成できるという保証はなく、低クオリティの補間フレームを生成して内挿してしまうことにより、動画像全体のクオリティを下げてしまうということも考えられる。そこで本実施形態では、補間フレームＩ１のクオリティを検証するステップを設け、その検証結果によっては補間フレームＩ２の内挿による補間を行わないという選択肢を用意する。このようにすることによって、低クオリティの補間フレームによって動画質全体のクオリティを下げてしまうという問題を回避できる。
【００２２】
具体的には、本実施形態のフレーム補間の概念図である図２に示すように、▲１▼第１参照フレームＲ１と第３参照フレームＲ３から第２参照フレームＲ２の位置に対応する第１補間フレームＩ１を生成する、▲２▼補間フレームＩ１を参照フレームＲ２と比較してその相関値を求めることで、補間フレームＩ１のクオリティを検証する、▲３▼検証された補間フレームＩ１のクオリティが高ければ、すなわち相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３から第２補間フレームＩ２を求めて参照フレームＲ２，Ｒ３間に補間を行う、という処理を行う。
【００２３】
以下、図３に示すフローチャートを用いて本実施形態における具体的な処理手順を説明する。
【００２４】
＜フレームメモリ１１〜１３の動作＞
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示すように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、フレームメモリ１１，１２，１３には、ｉ−３，ｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（図中０番の状態）。ｉフレームが入力されてから、フレームメモリ１１，１２，１３内部のフレームデータを以下のように遷移させる。
【００２５】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，１３には、それぞれｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる（ステップＳ１０１）。
【００２６】
ここでは便宜上、フレームメモリ１１，１２，１３のフレームデータを先に示した第１、第２、第３参照フレームＲ１，Ｒ２、Ｒ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリ１１，１２，１３のフレームデータにアクセスすることと等価である。
【００２７】
現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに現フレームより２フレーム前のフレームを参照フレームＲ１としてフレームメモリ１１から取得し（ステップＳ１０２）、以下のように第１補間フレームＩ１の生成を行う。
【００２８】
＜第１補間フレーム生成部１４の処理＞
第１補間フレーム生成部１４では、第１補間フレームＩ１の生成に際して、まず第１参照フレームＲ１と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する第１補間フレームＩ１を生成する（ステップＳ１０３）。ここでは、補間フレームＩ１を生成するための補間フレーム生成方法は特に限定されないが、例えば以下に挙げる様々な補間フレーム生成方法を選択することができる。
【００２９】
（１）第１の補間フレーム生成方法
図５に示すように、フレームＦ１を小ブロックに分割し、対象となる小ブロックと最も相関の高いブロックをフレームＩ２から探索して動きベクトルを求め、その動きベクトルを１／２にスケール変換する。該小ブロックと同位置の補間フレームＦＩ上の小ブロックに、スケール変換された動きベクトルの始点を固定し、その動きベクトルによって定まるフレームＦ２上の画像ブロックを補間フレームＦＩ上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームＦＩを生成する。
【００３０】
ここでは、フレームＦ１を小ブロックに分割して、いわゆる前方動き推定によって処理を行ったが、フレームＦ２を分割して、いわゆる後方動き推定により処理を行ってもよい。また、フレームＦ１からとフレームＦ２から求め、より相関度の高い動きベクトルを選択して補間フレームＦＩを生成する、いわゆる双方向動き推定によって処理を行ってもよい。
【００３１】
（２）第２の補間フレーム生成方法
図６に示すように、補間フレームＦＩを小ブロックに分割し、対象となる小ブロックを中心として点対称的に、フレームＦ１とフレームＦ２上の小ブロック対の中で最も相関の高い組を探索して動きベクトルを求める。この動きベクトルによって定まるフレームＦ１上の画像ブロックとフレームＦ２上の画像ブロックの平均をとり、その平均画像を補間フレーム上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームを生成する。
【００３２】
（３）第３の補間フレーム生成方法
上述の第１、第２の補間フレーム生成方法は共にブロックベースの技術であり、基本的にブロック内にはただ一つの動きしか存在しないことが前提となっている。このため、複数の動きが存在するような場合に、その動きの境界によって、ブロック歪みが発生する可能性がある。これに対して第３の補間フレーム生成方法では、このようなブロック歪みを発生させないようにするために、図７に示すようにブロック内を一致領域（相関の大きい領域）と不一致領域（相関の小さい領域）に分割し、一致領域に対して動きベクトルを割り当て、不一致領域に対しては再帰的に探索を行ってゆくという方法を選択することにより、ブロック歪みを抑える。
【００３３】
＜補間判定部１５の処理＞
第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間を行うか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ１０４）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ１０５）。この判定の結果に従って、後述するように第２補間フレームＦ２を生成する。
【００３４】
ここでは、クオリティに対する評価値を定め、その評価値が閾値よりも大きいか小さいかによって補間を行うか否かを判定する。その評価値がクオリティが高い場合に小さくなるような種類のものであれば、評価値が閾値以下の場合に補間を行うという判定を行い、クオリティが高い場合に大きくなるような種類のものであれば、評価値が閾値以上の場合に補間を行うという判定を行えばよい。参照フレームＲ２と補間フレームＩ２間の相関値としてとして見れば、前者の「評価値が閾値未満」と後者の「評価値が閾値以上」が「相関値が閾値以上」に対応することになる。この評価値としては、以下に示すように例えばいくつかの値を用いることができる。
【００３５】
まずは、画像信号の輝度成分のフレーム間差分に基づく例を説明する。
一つ目は、平均二乗誤差（Mean Squared Error）（以下、ＭＳＥ）と呼ばれる評価値であり、これは以下のように表現できる。
【００３６】
【数１】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズをそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（１）の評価値は、値が小さいほどクオリティが高いことを表す。
【００３８】
二つ目として、Subjective Mean Squared Error（以下、ＳＭＳＥ）と呼ばれる評価値が挙げられる。これはＭＳＥを基に人間の目の特性を考慮に入れた評価値であり、以下のように表される。
【００３９】
【数２】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズ、ｇ(x,y)は誤差の認知度、α(x,y)は点(x,y)の重みをそれぞれ表し、ｐは小さい誤差と大きい誤差の重要度の関係を決定する変数を表す。ｇ(x,y)，α(x,y)，ｐには、例えば次の数式（３）を用いることができる。
【００４１】
【数３】
ここで、Ｍ2x2(ｆ(x,y))は２×２サイズのウィンドウ内の線形平均を表し、これは人間の目のローパス特性を記述したものである。数式（１）のＭＳＥと同様に、ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（２）のＳＭＳＥも、数式（１）のＭＳＥと同様に、値が小さいほどクオリティが高いことを表す。
【００４３】
次に、画像の色差信号に着目した評価値について説明する。これは数式（１）のＭＳＥや数式（２）のＳＭＳＥを拡張することによって得ることができる。数式（１）のＭＳＥでは、ｆ(x,y)を画像信号の輝度成分としたが、これを画像信号の色差成分として置き換えてやればよい。色差信号Ｃｂに相当するものとしては、数式（１）におけるｆ(x,y)を色差信号Ｃｂと置き換えてこれをＭＳＥ[Cb]とし、色差信号Ｃｒに相当するものとしては、数式（１）におけるｆ(x,y)を色差信号Ｃｒに置き換えて、これをＭＳＥ[Cr]と得ることができる。同様にしてＳＭＳＥについても、数式（２）におけるｆ(x,y)を色差信号Ｃｂ、Ｃｒと置き換えて、これをＳＭＳＥ[Cb]，ＳＭＳＥ[Cr]と得ることができる。これらＭＳＥ[Cb]，ＭＳＥ[Cr]，ＳＭＳＥ[Cb]及びＳＭＳＥ[Cr]は、すべて値が小さいほどクオリティが高いことを表す。
【００４４】
上記二つの輝度成分に基づいた評価値と、色差成分に基づいた評価値を組み合わせて使用することも可能である。例えば、輝度成分、色差成分すべてを使用した評価値としては、以下の値を考えることができる。
【００４５】
【数４】
数式（４）（５）はそれぞれＭＳＥ，ＳＭＳＥを拡張したものであり、いずれも値が小さいほどクオリティが高いことを示す。
【００４７】
別の評価値としては、二つのフレームで一致している画素数を数え、その画素数が多い方をクオリティが高いとする一致画素数和（Sum of Agreement Pixels、以下ＳＡＰ）である。この評価値は以下のように表現される。
【００４８】
【数５】
ここで、ｆref(x,y)は参照画像（第２参照フレームＲ２に相当）の点(x,y)における輝度値、ｆcpmp(x,y)は補間画像（この場合、補間フレームＩ１に相当）の点(x,y)における輝度値、(N,M)は画像サイズ、Ｔは閾値（例えば３など）をそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。この評価基準は大きいものほどクオリティが高いことを意味する。ＳＡＰについても、上記ＭＳＥなどと同様に色差信号に対してＳＡＰ[Cb]，ＳＡＰ[Cr]を求めることができ、数式（５）におけるｆ(x,y)を色差信号Ｃｂ、Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた評価値を以下のように組み合わせて使用することも可能である。
【００５０】
【数６】
なお、その他の評価値と合わせるために、以下のようにすることにより、値が小さいほどクオリティが高いことを表現できるようになる。
【００５２】
【数７】
次に、以下の評価値は相互相関関数（Cross Correlation Function、以下ＣＣＦ）を利用したものである。
【００５４】
【数８】
ここでは輝度の差分値を用いずに、輝度の乗算値・除算値が用いられている。この評価値は、１．０に近いほど相関が高いものを表すが、その他の指標と合わせるために、以下のようにすることによって、値が小さいほどクオリティが高いことを表現するように変換できる。
【００５６】
【数９】
また、その他の評価値と同様に色差信号に対してＣＣＦ[Ｃｂ]，ＣＣＦ[Ｃｒ]を求めることができ、数式（９）におけるｆ(x,y)を色差信号Ｃｂ，Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた基準を組み合わせて使用することも可能であり、以下のように表現することができる。
【００５８】
【数１０】
閾値の設定は、例えばＰＳＮＲ（peak signal to noise ratio）から設定することができる。ＰＳＮＲにおける許容限は、一般に32[dB]とされており、それに対応するＭＳＥ値は41.0279であるから、閾値を41.0279に設定すれば、許容限を下回る場合には補間を行わないとすることができる。
【００６０】
＜第２補間フレーム生成部１６の処理＞
上述した補間判定、すなわちステップＳ１０５における第２参照フレームＲ２と第１補間フレームＩ１との相関値と閾値の比較の結果、相関値が閾値以上、つまり補間を行う判定された場合には、第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ１０６）。
【００６１】
補間を行うと判定された場合には、第１補間フレームＩ１の生成と同様に、図５、図６及び図７に示すような様々な補間フレーム生成方法を用いて第２補間フレームＩ２を生成することができる。一方、相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ１０７）。
【００６２】
＜表示装置１８の処理＞
表示装置１７における画像表示に際しては、タイミングコントローラ１８からの制御により画像表示システム以外のシステム、例えば音声システムの出力タイミングを画像信号の１フレーム分（この場合、1/60[秒]）だけタイミングコントローラによって遅延させ（ステップＳ１０８）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ１０９）、1/120[秒]後に第２補間フレームＩ２を表示する（ステップＳ１１０）。ここでは、第１補間フレームＩ１の生成から第２補間フレームＩ２の生成までの処理を1/60[秒]以内で終了すると仮定している。
【００６３】
このように本実施形態では、補間フレームのクオリティを検証するステップを設け、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿してしまうことによる動画質全体のクオリティの低下という問題を回避できる。
【００６４】
補間フレームを内挿すべき補間位置には、当然のことながらオリジナルのフレームは存在しないため、従来の手法では補間フレームのクオリティを確実に検証する手段がない。これに対して本実施形態では、隣接フレームに対して補間を行うことによって、隣接フレーム位置における補間精度を求め、その補間精度を基にして補間位置の補間精度を類推することにより、補間フレームのクオリティを検証している。隣接フレームと補間フレームの時間的間隔は近いので、動画の時間的連続性から、隣接フレーム位置における検証結果を補間フレーム位置の検証結果として類推することは妥当であると考えられる。
【００６５】
一方、動画の時間的連続性が仮定できない場合もある。そのような例として、例えばシーンチェンジの発生が考えられる。シーンチェンジがあると、シーンチェンジ時点より前のフレームと次のフレームに連続性が全くなく、両フレームは全く異なる画像てなる。図８及び図９を用いて、シーンチェンジ時における本実施形態の動作を説明する。
【００６６】
図８は、シーンチェンジ部分に補間フレームを挿入する場合の動作である。▲１▼第１補間フレームＩ１を生成する際には、シーンチェンジ前の画像とシーンチェンジ後の画像から補間フレームＩ１を作ることになるため、生成される補間フレームは、例えば半分が前のフレームの画像、半分が後のフレームの画像というようなフレームとなってしまう。このような画像は、第２参照フレームＲ２とのマッチングが非常に悪いため、補間判定の評価値は非常に悪くなる。すなわち、相関値は著しく細緻な値を示すため、補間を行わないという判定がなされ、第２参照フレームＲ２の画像がそのまま挿入される。
【００６７】
このようにシーンチェンジ時に不適切ででたらめな補間フレームが挿入されることがないため、正しく補間判定が行われていることが分かる。図９の場合も同様である。すなわち、動画の連続性が仮定できない場合でも、正常に補間判定機能が働くことが分かる。
【００６８】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る画像表示システムであり、第２補間フレーム生成部２０は第１補間フレーム生成部１４から入力される第１動きベクトルＭＶ１のスケール変換を行うベクトルスケール変換部２１と、スケール変換後の第２動きベクトルＭＶ２を用いて動きベクトル補償を行う動き補償部２２を有する。
【００６９】
以下、第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００７０】
本実施形態においても第１の実施形態と同様に、低クオリティの補間フレームを内挿してしまうことによる動画像全体の画質低下を防ぐために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないように構成される。第１の実施形態と異なるところは、第２補間フレーム生成部１５が第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を利用して第２補間フレームＩ２を生成する点である。こうすることによって、全体の計算時間を半分にすることができる。
【００７１】
以下、図１１と図１２を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１２におけるステップＳ２０１からＳ２０３までの第１補間フレームＩ１の生成処理と、ステップＳ２０４からＳ２０５までの補間判定処理及びステップＳ２０８からＳ２１０までの表示処理は、第１の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００７２】
＜第２補間フレーム生成部２０＞
第２補間フレームの生成に際しては、ステップＳ２０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１１に示すように、まず第１補間フレーム生成部１４で得られた第１動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ２０６Ａ）。
【００７３】
次に、スケール変換後の第２動きベクトルＭＶ２と第２参照フレームＲ２及び第３参照フレームＲ３を用いて動き補償を行うことによって、第２補間フレームＩ２を生成する（ステップＳ２０６Ｂ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ２０７）。ベクトル変換ステップＳ２０６Ａ及び動き補償ステップＳ２０６Ｂの処理をさらに具体的に説明する。
【００７４】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ２０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。
【００７５】
＜動き補償ステップ＞
動き補償ステップＳ２０６Ｂでは、ステップＳ２０６Ａで得られたスケール変換後の第２動きベクトルＭＶ２によって指し示される第３参照フレームＲ２上の画像ブロックＢ１を用いて動き補償を行い、補間フレームＩ２を作成する。図１２を用いて説明する。
【００７６】
第１補間フレームＩ１の生成において補間フレームＩ１を小ブロックに分割するが、第２参照フレームＲ２と第３参照フレームＲ３間の補間フレームＩ２上にも、同様の小ブロックを考える。補間フレームＩ２上の各小ブロックに対応した動きベクトルは、長さが１／２に変換された動きベクトルＭＶ２であり、この動きベクトルＭＶ２が指し示す第３参照フレームＲ３上のブロックＢ１を動き補償する、つまり補間フレームＩ２上の当該小ブロック位置にコピーすることによって、補間フレームＩ２を作成する。
【００７７】
本実施形態によると、第１の実施形態と同様に補間フレームのクオリティを検証し、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿することによる動画質全体のクオリティの低下いう問題を回避できると同時に、第１補間フレームＩ１の生成時に求まった動きベクトルを第２補間フレームＩ２の生成時に再利用することにより、計算時間を１／２に短縮することが可能となる。
【００７８】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る画像表示システムであり、第１補間生成部１４から出力される動きベクトルＭＶ１をスケール変換するベクトルスケール変換部１９が設けられ、第２補間フレーム生成部３０はオーバラップ検出部３１と動き推定部３２及び動き補償部３３によって構成される。
【００７９】
以下、図１４及び図１５を用いて本実施形態におけるフレーム補間処理について述べる。第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００８０】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。また、第１の補間フレーム生成部１４で得られた動きベクトルＭＶ１をスケール変換した動きベクトルＭＶ２を利用して第２補間フレームＩ２を生成する点は第２の実施形態と共通であるが、動きベクトルＭＶ２そのものをそのまま利用するのではなく、実際の探索範囲を限定するために動きベクトルＭＶ２を使用するところが第２の実施形態と異なる。
【００８１】
以下、図１４と図１５を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１５におけるステップＳ３０１からＳ３０３までの第１補間フレームＩ１の生成処理と、ステップＳ３０４からＳ３０５までの補間判定処理及びステップＳ３０８からＳ３１０までの表示処理は、第１及び第２の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００８２】
＜補間フレーム生成部３０の処理＞
第２補間フレームＩ２の生成に際しては、ステップＳ３０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１５に示すように、第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ３０６Ａ）。
【００８３】
次に、スケール変換後の第２動きベクトルＭＶ２が補間フレームＩ２上の対象ブロックに対してオーバラップする領域Ｂ２を検出し、オーバラップ領域Ｂ２を通る動きベクトルによって限定される探索領域Ｓを探索して第３動きベクトルＭＶ３を求め、動きベクトルＭＶ３と第２参照フレームＲ２と第３参照フレームＲ３を用いて動き補償を行うことによって、補間フレームＩ２を生成する（ステップＳ３０６Ｂ〜Ｓ３０６Ｅ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ３０７）。
【００８４】
本実施形態におけるステップＳ３０６ＡからステップＳ３０６Ｅまでの第２補間フレームＩ２の生成処理は、ベクトルスケール変換ステップＳ３０６Ａと、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃ、動き推定ステップＳ３０６Ｄ及び動き補償ステップＳ３０６Ｅからなる。以下、各ステップＳ３０６Ａ〜Ｓ３０６Ｅの処理について具体的に説明する。
【００８５】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ３０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。なお、ここではベクトルの終点を固定してスケール変換を行う。
【００８６】
＜オーバラップ検出ステップ＞
動きベクトルＭＶ２は、動きベクトルＭＶ１の終点を固定してスケール変換を行ったベクトルであるために、動きベクトルＭＶ２に付随するブロックは、補間フレームＩ２上のブロック格子と一致するわけではない。そこでオーバラップ検出ステップＳ３０６Ｂでは、動きベクトルＭＶ２に付随するブロックが補間フレームＩ２上の対象ブロックに対して、どのベクトルのものでどの程度オーバラップしてくるのかを検出する。すなわち、動きベクトルＭＶ２に応じて第２補間フレームＩ２上に対象ブロック枠を移動させ（ステップＳ３０６Ｂ）、次いでオーバラップしたブロックが持つ第３動きベクトルＭＶ３によって、補間フレームＩ２上の対象ブロックに対する実際の探索領域Ｓを決定する（ステップＳ３０６Ｂ）。例えば、動きベクトルＭＶ３が指し示す位置の画素位置から上下左右４画素を探索領域Ｓとする。
【００８７】
＜動き推定ステップ＞
動き推定ステップＳ３０６Ｄでは、補間フレームＩ２上の対象ブロックを中心として、第２参照フレームＲ２と第３参照フレームＲ３から幾何対称的に探索を行うことによって第４動きベクトルを推定する。ここで用いる探索領域は、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃで検出された動きベクトルＭＶ３によって限定される探索領域Ｓである。
【００８８】
＜動き補償ステップ＞
動き補償ステップＳ３０６Ｅでは、動き推定ステップＳ３０６Ｄで推定された動きベクトルによって定まる第２参照フレームＲ２と第３参照フレームＲ３上の画像ブロックを用いて動き補償を行い、第２補間フレームＩ２を作成する。
【００８９】
本実施形態によると、第１及び第２の実施形態と同様の効果が得られるほか、さらに第２補間フレーム生成ステップで求まった第２動きベクトルＭＶ２を用いて実際の探索領域Ｓを限定することにより、再計算時間を大幅に短縮することが可能となる。
【００９０】
（第４の実施形態）
図１６は、本発明の第４の実施形態に係る画像表示システムであり、補間判定部２５がブロック単位で処理を行う点がこれまでの実施形態と異なる。
【００９１】
ここでは第１の実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００９２】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【００９３】
ここで、第１の実施形態では基本的には画面全体を使って補間フレームのクオリティの検証を行っていたの対して、第４の実施形態は画面の一部分が複数フレームに渡って連続的及び局所的に画質劣化を引き起こしていても、それによって動画像全体の画質低下を引き起こさないようにした例である。本実施形態では、そのような連続的、局所的な画質劣化を検出できるように、図１７図の▲２▼に示すようにブロック毎に区切った領域で検証を行う。その検証結果によって、一つのブロックでも複数フレームに渡り連続して画質劣化が引きおこされていると判定された場合には、補間フレームを内挿しないと判定する。
【００９４】
以下、図１７と図１８を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１８におけるステップＳ４０１からＳ４０３までの第１補間フレームＩ１の生成処理と、ステップＳ４１６，Ｓ４１７の第２補間フレームＩ２の生成処理及びステップＳ４１８からＳ４２０までの表示処理は、これまでの実施形態と同様あるので説明を省略し、ステップＳ４０３からＳ４１４までの補間判定処理についてのみ説明する。
【００９５】
対象ブロックが何フレーム連続で低クオリティであったかということを保存する変数として、プール[i]を用意する。ここで、ｉはブロックのインデックス番号である。プール[i]は、すべての処理の始めに、つまり画像信号が入力されて補間処理を開始する前に、すべて０を代入しておく。
【００９６】
＜補間判定ステップ＞
補間判定ステップでは、ブロック毎に補間フレームＩ１と第２参照フレームの検証を行い、複数フレームに渡り連続してクオリティの低いブロックが存在した場合には補間を行わないという判定をする。検証の評価値としては、第１の実施形態で説明したと同様に様々な方法を用いることが可能である。また、ここで用いるブロックは、第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックでもよいし、他の任意のサイズを選択することも可能である。以下、具体的な手順を説明する。
【００９７】
まず、第２参照フレームＲ２をブロックに分割する（ステップＳ４０４）。このブロックは、上述したように第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックあるいはその他の任意のサイズのブロックである。
【００９８】
補間を行うか否かの判定フラグとして補間flagを用意し、初期値としてtrueを与える（ステップＳ４０５）。補間flagがtrueであれば補間をするという判定を行い、falseであれば補間を行わないという判定を行う。補間判定ステップの以降の処理は、ブロック毎のループ処理となる（ステップＳ４０６）。
【００９９】
ｉ番目のブロックに関して、対象ブロック位置における第２参照フレームＲ２と第１補間フレームＩ１を比較して補間フレームＩ１のクオリティを検証する。すなわち、参照フレームＲ２と第２補間フレームＩ１との相関値を計算し（ステップＳ４０７）、閾値以上か否かを調べる（ステップＳ４０８）。
【０１００】
ここで相関値が閾値以上の場合、つまりクオリティが閾値より良い場合には、ステップＳ４１２に処理を進め、プール変数を０に戻す（プール［ｉ］＝０）。相関値が閾値未満、つまり設定された評価値に従って求まったクオリティが閾値よりも悪い場合には、ステップＳ４０９に処理を進め、プール変数に１を追加する（プール［ｉ］＝プール［ｉ］＋１）。
【０１０１】
次に、ｉ番目のブロックが設定フレーム数に渡り連続してクオリティが低いかどうか判定する。例えば、設定フレーム数を閾値２とすると、プール変数が閾値２よりも大きいか否かによって、その判定を行うことができる。すなわち、プール［ｉ］＞閾値２であるかどうかを判定し（ステップＳ４１０）、もし大きければ連続してクオリティが低いということになり、補間を行わない、つまり補間flagにfalseを代入する（ステップＳ４１１）。それ以外であれば補間を行うので、補間flagはステップＳ４０５で設定されたtrueのままである。
【０１０２】
上述のステップＳ４０６〜Ｓ４１２の処理をステップＳ４１３で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
このように本実施形態では、ブロック毎に補間判定を行うことによって、局所的な画質劣化にも対応できるフレーム補間を実現することが可能となる。
【０１０３】
（第５の実施形態）
次に、図１９〜図２０に示すフローチャートを用いて本発明の第５の実施形態について説明する。本実施形態における画像表示システムは、例えば第１の実施形態で用いた図１に示す構成と同様でよい。
【０１０４】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１０５】
本実施形態も、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【０１０６】
第４の実施形態では、時間・空間的に局所的なエラーが発生している場合に、補間を行わないという判定をすることによって、動画質全体のクオリティを保っている。その場合、時間的に見ればある一瞬だけエラーがあったが、その周りの時間ではエラーが発生していなかったとすると、補間を行わないという選択によって動画の動きが一瞬滑らかではなくなってしまう。そのような動きの乱れはは視認性がなかなか高く、違和感を感じさせる可能性がある。そこで、本実施形態では周りの時間における判定結果を踏まえて、対象とする補間位置における判定結果を補正する処理を設けることにより、時間の連続性による違和感を軽減させる。
【０１０７】
以下、図１９〜図２０を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１９〜図２０におけるステップＳ５０６の第１補間フレームＩ１の生成処理と、ステップＳ５１９からＳ５１０までの第２補間フレームＩ２の生成処理及びステップＳ５２１からＳ５２３までの表示処理は、第１の実施形態と同様あるので説明を省略し、補間判定処理に注目して説明する。
【０１０８】
＜フレームメモリの動作＞
動画像信号である画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示したように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、ｉ−１，ｉ−２，・・・，ｉ−（Ｌ＋１），ｉ−（Ｌ＋２）フレームがそれぞれフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１に格納されているとする（Ｌ＝０としたときの図中０番の状態）。ｉフレームが入力されてからフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１内部のフレームデータを以下のように遷移させる。
【０１０９】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームのフレームデータをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，・・・，Ｌ，Ｌ＋１１，Ｌ＋２には、それぞれｉ−Ｌ＋２，ｉ−Ｌ＋１，・・・，ｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる。
【０１１０】
ここで便宜上、フレームメモリＬ内のフレームデータを第１参照フレームＲ１、フレームメモリＬ＋１内のデータを第２参照フレームＲ２、フレームメモリＬ＋２内のデータを第３参照フレームＲ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリＬ，Ｌ＋１，Ｌ＋２のフレームデータにアクセスすることと等価である。以上の処理をフローで示すと、図１９のステップＳ５０１〜Ｓ５０７となる。
【０１１１】
＜補間判定ステップ＞
補間判定ステップでは、ステップＳ５１０で生成された第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間をするか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ５０９）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ５１０）。この判定の結果に従って、以下のように第２補間フレームＦ２を生成する。
【０１１２】
まず、ステップＳ５１０で相関値が閾値以上と判定された場合は、trueを補間リストの末尾に挿入し（ステップＳ５１１）、相関値が閾値未満と判定された場合は、falseを補間リストの末尾に挿入する（ステップＳ５１２）。この後、補間リストの長さを末尾からＭに更新する（ステップＳ５１３）。次に、Ｍの中央値をＨとして補間リスト［Ｈ］がfalseか否かを調べ（ステップＳ５１４〜Ｓ５１５）、［Ｈ］がfalseであれば補間リスト［Ｈ］についてテンプレートマッチングを行い、マッチする場合には補間リスト［Ｈ］をtrueとして（ステップＳ５１６）、ステップＳ５１７に処理を移し、［Ｈ］がfalseでなければステップＳ５１７に処理を移す。
【０１１３】
ステップＳ５１７では、現フレームＬを第３参照フレームＲ３として、参照フレーム１２から取得し、さらにフレームＬ−１を第２参照フレームＲ２としてフレームメモリ１１から取得する。ここで、補間リスト［Ｈ］がtrueか否かを調べて補間を行うか否かを判定する（ステップＳ５１８）。以下、第１の実施形態と同様に、補間を行うと判定した場合には、第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ５２０）。補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ５１９）。
【０１１４】
表示処理に際しては、画像表示システム以外のシステムの出力タイミングを本実施形態では画像信号のＬ＋１フレーム分だけ遅延させ（ステップＳ５２１）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ５２２）、さらに第２補間フレームＩ２を表示する（ステップＳ５２３）。
【０１１５】
（第６の実施形態）
次に、図２１と図２２〜図２３を用いて本発明の第６の実施形態について説明する。本実施形態における画像表示システムの構成は、例えば第１の実施形態で用いた図１と同様でよい。
【０１１６】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１１７】
補間フレームの生成方法としては、第１の実施形態でも述べたように様々な方法を選択することができるが、それぞれの方法には一長一短がある。例えば、動画の静止領域については、動きベクトルを用いない補間フレーム生成方法、つまり前のフレームを補間フレームとして利用したり、前後のフレームの平均を取ったりするような補間法の精度が高くなる。
【０１１８】
動領域については、動きベクトルを用いる補間フレーム生成方法の方が精度が高くなる。さらに、動領域でも動きが複数に分割されている領域については、領域分割型の補間フレーム生成方法によってより精度を高めることができる筈であるが、動きが単一の領域については領域分割をしない方が効果が高い。このようにセグメント毎に最適な補間フレーム生成方法は異なる。
【０１１９】
そこで本実施形態では、ブロック毎に最適な補間フレーム生成方法を選択可能とするために、補間判定ステップを利用する。図２１の▲２▼に示すように、ブロック毎に複数の補間フレーム生成方法によって生成した補間ブロックＢ１１，Ｂ１２，Ｂ１３を補間判定によってオリジナルのブロックＢ１０と比較し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２１の▲３▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する。
【０１２０】
本実施形態では補間フレーム生成方法として、第１の実施形態で示したような３つの補間フレーム生成方法と、前後の隣接フレームを平均化する方法及び前フレームをそのまま使用する方法を採用する。図２１のＢ１１，Ｂ１２及びＢ１３は、これらの生成方法によって生成される補間ブロックを示している。但し、本実施形態で用いられる補間フレーム生成方法は、特にこれらに限られるわけではない。例えば、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法＋平均フレーム＋前フレームというような構成でも構わない。
【０１２１】
＜第１補間フレーム生成ステップ＞
第１間フレームＩ１を生成する際のステップＳ６０１からＳ６０２までの処理は、第１の実施形態と同様である。ステップＳ６０２の処理の後、第１参照フレームＲ１と第３参照フレームＲ３から動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する補間フレームＩ１を生成する（ステップＳ６０３）。ここでは、補間フレームＩ１の生成方法は特に限定されるわけではなく、例えば第１の実施形態で示したような様々な補間フレーム生成方法を選択することができる。例えば、第１参照フレームＲ１と第３参照フレームＲ３の画像データを線形平均して平均フレームを求めたり、さらに第１参照フレームＲ１を前フレームとして採用するようにしてもよい。
【０１２２】
＜補間判定ステップ＞
以下ではブロック毎に最適な補間フレーム生成方法を選択するが、ここで言うブロックは補間の際に使用するブロックである。補間判定ステップの処理は、ブロック毎のループ処理となる（ステップＳ６０６）。ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における第２参照フレームＲ２と補間フレームＩ１、平均フレーム、前フレームのクオリティをそれぞれ検証する（ステップＳ６０４〜Ｓ６０８）。すなわち、参照フレームＲ１，Ｒ３の画像データを平均して平均フレームを生成し（ステップＳ６０４）、参照フレームＲ２を複数の小ブロックに分割する（ステップＳ６０５）。
【０１２３】
対象ブロックの位置において、参照フレームＲ２と補間フレームＩ１間の相関値Ｃ１と、参照フレームＲ２とステップＳ６０４で生成された平均フレーム間の相関値Ｃ２、及び参照フレームＲ２と参照フレームＲ１間の相関値Ｃ３を計算する（ステップＳ６０７）。次に、これらの相関値Ｃ１，Ｃ２，Ｃ３のうち値が最大の相関値を調べ（ステップＳ６０８）、Ｃ１が最大であれば平均フレーム、Ｃ２が最大であれば補間フレームＩ１、Ｃ３が最大であれば前フレームを第２補間フレームＩ２の生成方法としてそれぞれ採用する（ステップＳ６０９，Ｓ６１０，Ｓ６１１）。
上述のステップＳ６０６〜Ｓ６１１の処理をステップＳ６１２で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
【０１２４】
＜第２補間フレーム生成ステップ＞
次に、上述の補間判定ステップで選択された補間フレーム生成方法を用いて、第２参照フレームＲ２と第３参照フレームＲ３の間に挿入すべき補間フレームを生成する。第２補間フレーム生成ステップの処理は、ブロック毎のループ処理となる（ステップＳ６１３）。まず、ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における補間判定結果を読み取り（ステップＳ６１４）、それに応じて以下の処理を行う。
【０１２５】
まず、補間判定結果が平均フレームの場合は、第２参照フレームと第３参照フレームの当該ブロックの平均ブロックを補間フレームにコピーする（ステップＳ６１５）。
補間判定結果が補間フレームＩ１の場合は、第１の実施形態と同様に、当該ブロック位置において第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する補間ブロックを生成し、補間フレーム上にコピーする（ステップＳ６１６）。または、第２の実施形態のように、新たにベクトルを求めることはせずに、第１補間フレーム生成ステップで求まった当該ブロック位置の動きベクトルを流用して補間ブロックを求めてもよい。あるいは、第３の実施形態のように補間ブロックを求めてもよい。補間判定結果が前フレームの場合は、第２参照フレームの当該ブロック位置を補間フレームにコピーする（ステップＳ６１７）。
上述のステップ処理を全ブロック分繰り返し、補間フレームＩ２を生成する。なお、相関値Ｃ１，Ｃ２，Ｃ３の最大値を閾値と比較し、該最大値が該閾値に満たないときは第２参照フレームＲ２を補間フレームとしてもよい。
【０１２６】
このように本実施形態では、ブロック毎に複数の補間フレーム生成方法によって生成される補間ブロックを補間判定によってオリジナルのブロックと比較判定して、最も相関値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定し、実際の補間フレーム生成のための当該ブロックの補間フレーム生成方法として採用する。これにより、ブロック毎に最適な補間フレーム生成方法を選択することが可能となる。
【０１２７】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。本実施形態は、入力される画像信号のフレーム間の時間間隔が長い場合でも、補間フレームに対するクオリティの検証の精度を高め、高精度のフレーム補間を可能とする。
【０１２８】
図２４に、本発明の第７の実施形態に係る画像表示システムの構成を示す。第１補間フレーム生成部１４と第２補間フレーム生成部１６が縦続に接続される。第１補間フレーム生成部１４では、参照フレームＲ２，Ｒ３から第１補間フレームＩ１が生成される。第２補間フレーム生成部１６では、第１補間フレームＩ１と第３補間フレームＩ０から第２補間フレームＩ２が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ２から第１補間フレームＩ１のクオリティを検証するための補間判定が行われる。
【０１２９】
ここでは、入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３０】
第１の実施形態では、第１補間フレームＩ１のクオリティを検証するために、参照フレームＲ２を挟んだ二つの参照フレームＲ１，Ｒ３間のフレーム補間を求めている。第７の実施形態のように、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合（ここでは、１／３０Ｈｚ）には、参照フレームＲ１，Ｒ３間の時間間隔も大きくなるため（ここでは、２／３０Ｈｚ）、第１の実施形態と同様に参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３１】
そこで本実施形態では、クオリティ検証用の補間フレームを一つの参照フレームを挟む二つの補間フレームのフレーム補間で生成する。具体的には図２５に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１（第１の補間フレーム）を生成する、▲２▼補間フレームＩ１と一つ前に内挿した補間フレームＩ０（第２の補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２（第３の補間フレーム）を生成する、▲３▼補間フレームＩ２を第２参照フレームＲ２と比較することにより、補間フレームＩ２のクオリティを検証する、▲４▼クオリティが規定より上であれば、つまり相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿する、というように処理を行う。
【０１３２】
これにより、時間間隔の短い二つのフレームＩ２，Ｉ０（この場合、時間間隔は１／３０Ｈｚ）から補間フレームＩ１のクオリティを検証することが達成できる。補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ１であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１３３】
以下、図２５と図２６を用いて本実施形態におけるフレーム補間の処理手順について説明する。
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。ある瞬間に入力されてきたフレームデータを仮にｉフレームとすると、過去の蓄積からフレームメモリ１２，１３にはｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（ステップＳ７０１）。
【０１３４】
この状態で、現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに一つ前の補間フレームを補間フレームＩ０としてフレームメモリ１１から取得する（ステップＳ７０２）。参照フレームＲ２，Ｒ３からＲ２，Ｒ３の時間的中央位置に対応する第１補間フレームＩ１を生成し（ステップＳ７０３）、補間フレームＩ０，Ｉ１から参照フレームＲ２の時間的位置に対応する補間フレームＩ２を生成する（ステップＳ７０４）。
【０１３５】
次に、補間フレームＩ２のクオリティを検証するため、補間フレームＩ２と第２参照フレームＲ２との相関の大きさを表す相関値を計算する（ステップＳ７０５）。相関値を閾値と比較し（ステップＳ７０６）、相関値が閾値以上であれば、つまりクオリティが規定より上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿し（ステップＳ７０７）、相関値が閾値に満たなければ、つまり補間フレームＩ１のクオリティが低ければ、参照フレームＲ２をそのまま第２参照フレームＲ２と第３参照フレームＲ３間に内挿する（ステップＳ７０８）。
以後のステップＳ７０９からＳ７１３までの表示処理は、第１の実施形態と同様あるので説明を省略する。
【０１３６】
このように本実施形態では、入力の画像信号が３０Ｈｚのノンインタレース信号のようにフレーム間の時間間隔が長い画像信号に対しフレーム間補間を行う場合でも、補間フレームのクオリティを高い精度で検証することによって、高い補間精度を得ることができる。
【０１３７】
（第８の実施形態）
次に、本発明の第８の実施形態について説明する。本実施形態は、第６の実施形態と第７の実施形態を組み合わせた例である。本実施形態における画像表示システムは第７の実施形態と同様であり、図２４に示した通りである。ここでは、第７の実施形態と同様に入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより、６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３８】
本実施形態では、第６の実施形態と同様にブロック毎に補間フレーム生成方法を選択する例について示す。第７の実施形態において述べた通り、第６の実施形態では、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合、参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３９】
そこで本実施形態では、第７の実施形態と同様に、クオリティ検証用の補間フレームＩ２を、補間フレームＩ１と補間フレームＩ０から作ることにより、時間間隔を３０Ｈｚから離すことなく検証用の補間フレームを生成する。具体的には図２７に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１を複数の補間フレーム生成方法によって生成する、▲２▼補間フレームＩ１と補間フレームＩ０（一つ前に内挿した補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２を複数の補間フレーム生成方法によって生成する、▲３▼補間フレームＩ２の当該ブロックを補間判定によってオリジナルのブロックと比較することでクオリティを検証し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２７の▲４▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する、つまり補間フレームＩ１群から合成して補間フレームＩ３を生成する。
【０１４０】
補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ３（補間フレームＩ１）であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１４１】
本実施形態では、第６の実施形態と同様に補間フレーム生成方法として、前後の隣接フレームを平均化する方法と、前フレームをそのまま使用する方法と、第１の実施形態で示したような３つの補間フレーム生成方法を採用するが、特にこれらに限られるわけではなく、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法と平均フレーム及び前フレームというような方法でも構わない。
【０１４２】
図２８及び図２９に、本実施形態における具体的なフレーム補間の処理手順を示す。図から明らかなように、本実施形態における処理手順は第６の実施形態の処理手順を示した図２２及び図２３に、第７の実施形態における処理手順を示した図２６を組み合わせたものであり、図からその手順は明らかである。
【０１４３】
なお、本発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４４】
【発明の効果】
以上説明したように、本発明によればクオリティの高い補間フレームを生成してフレーム補間を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示すブロック図
【図２】第１の実施形態におけるフレーム補間の概念図
【図３】第１の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図４】第１の実施形態におけるフレームデータのフレームメモリ間の移動を説明する図
【図５】第１の実施形態における第１補間フレームの生成方法の一例を説明するための図
【図６】第１の実施形態における第１補間フレームの生成方法の他の例を説明するための図
【図７】第１の実施形態における第１補間フレームの生成方法のさらに別の例を説明するための図
【図８】第１の実施形態におけるシーンチェンジ時のフレーム補間動作例を示す図
【図９】第１の実施形態におけるシーンチェンジ時の他のフレーム補間動作例を示す図
【図１０】本発明の第２の実施形態に係る画像表示システムの構成を示すブロック図
【図１１】第２の実施形態における第２補間フレームの生成方法を説明するための図
【図１２】第２の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１３】本発明の第３の実施形態に係る画像表示システムの構成を示すブロック図
【図１４】第３の実施形態におけるフレーム補間の概念図
【図１５】第３の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１６】本発明の第４の実施形態に係る画像表示システムの構成を示すブロック図
【図１７】第４の実施形態におけるフレーム補間の概念図
【図１８】第４の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１９】本発明の第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２０】第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２１】本発明の第６の実施形態におけるフレーム補間の概念図
【図２２】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２３】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２４】本発明の第７の実施形態に係る画像表示システムの構成を示すブロック図
【図２５】第７の実施形態におけるフレーム補間の概念図
【図２６】第７の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２７】本発明の第８の実施形態におけるフレーム補間の概念図
【図２８】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２９】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【符号の説明】
１０・・・画像信号
１１〜１３・・・第１〜第３フレームメモリ
１４，２４・・・第１補間フレーム生成部
１５，２５・・・補間判定部
１６，２０，２６，３０・・・第２補間フレーム生成部
１７・・・表示装置
１８・・・タイミングコントローラ
１９・・・ベクトルスケール変換部
Ｒ１〜Ｒ３・・・第１〜第３参照フレーム
Ｉ１〜Ｉ３・・・第１〜第３補間フレーム
Claims (7)
- 画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、
前記第２及び第３参照フレームから該第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第１補間フレームを生成するステップと、
前記第１参照フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成するステップと、
前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を計算するステップと、
前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間ステップとを具備するフレーム補間方法。 - 前記相関値が前記閾値に満たないとき前記第２参照フレームを前記補間対象位置に挿入するステップをさらに具備する請求項１記載のフレーム補間方法。
- 前記相関値を計算するステップは、前記第２参照フレームと前記第３補間フレームをそれぞれ分割した複数のブロック単位に前記相関値を計算し、前記補間ステップは、該ブロック単位に計算した相関値が前記閾値以上のとき前記第１補間フレームを該ブロック単位に前記補間対象位置に挿入する請求項１に記載のフレーム補間方法。
- 画像信号の時間的に連続する第１、第２及び第３参照フレームを入力する手段と、
前記第２及び第３参照フレームから該第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第１補間フレームを生成する手段と、
前記第１参照フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成する手段と、
前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を計算する手段と、
前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間手段とを具備するフレーム補間装置。 - 前記相関値が前記閾値に満たないとき前記第２参照フレームを前記補間対象位置に挿入する手段をさらに具備する請求項４記載のフレーム補間装置。
- 前記相関値を計算する手段は、前記第２参照フレームと前記第３補間フレームをそれぞれ分割した複数のブロック単位に前記相関値を計算し、前記補間手段は、該ブロック単位に計算した相関値が前記閾値以上のとき前記第１補間フレームを該ブロック単位に前記補間対象位置に挿入する請求項４に記載のフレーム補間装置。
- 請求項４または５のいずれか１項に記載のフレーム補間装置と、前記参照フレーム及び前記第１補間フレームを画像として表示する表示装置とを具備する画像表示システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003090838A JP4220284B2 (ja) | 2003-03-28 | 2003-03-28 | フレーム補間方法、装置及びこれを用いた画像表示システム |
| KR1020040014317A KR100604394B1 (ko) | 2003-03-28 | 2004-03-03 | 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 |
| CNB2004100851467A CN100448287C (zh) | 2003-03-28 | 2004-03-04 | 邻接帧间的帧插值方法、装置和使用该装置的图像显示系统 |
| US10/808,319 US7180548B2 (en) | 2003-03-28 | 2004-03-25 | Method of generating frame interpolation image and an apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003090838A JP4220284B2 (ja) | 2003-03-28 | 2003-03-28 | フレーム補間方法、装置及びこれを用いた画像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297719A JP2004297719A (ja) | 2004-10-21 |
| JP4220284B2 true JP4220284B2 (ja) | 2009-02-04 |
Family
ID=33404358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003090838A Expired - Fee Related JP4220284B2 (ja) | 2003-03-28 | 2003-03-28 | フレーム補間方法、装置及びこれを用いた画像表示システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7180548B2 (ja) |
| JP (1) | JP4220284B2 (ja) |
| KR (1) | KR100604394B1 (ja) |
| CN (1) | CN100448287C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8339519B2 (en) | 2010-10-26 | 2012-12-25 | Mitsubishi Electric Corporation | Image processing apparatus and method and image display apparatus and method |
| US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69920055T2 (de) * | 1999-02-26 | 2005-09-15 | Stmicroelectronics Asia Pacific Pte Ltd. | Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen |
| JP4003713B2 (ja) * | 2003-08-06 | 2007-11-07 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP4198608B2 (ja) * | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
| EP1631068A3 (en) * | 2004-08-26 | 2008-09-03 | Samsung Electronics Co., Ltd. | Apparatus and method for converting interlaced image into progressive image |
| JP4483501B2 (ja) * | 2004-09-22 | 2010-06-16 | 株式会社ニコン | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
| JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| JP2006260527A (ja) * | 2005-02-16 | 2006-09-28 | Toshiba Corp | 画像マッチング方法およびこれを用いた画像補間方法 |
| JP4398925B2 (ja) * | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
| US8325273B2 (en) * | 2005-06-06 | 2012-12-04 | Broadcom Corporation | System and method for vertical gradient detection in video processing |
| US7668366B2 (en) * | 2005-08-09 | 2010-02-23 | Seiko Epson Corporation | Mosaic image data processing |
| JP4398919B2 (ja) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| US7787048B1 (en) * | 2005-09-08 | 2010-08-31 | Nvidia Corporation | Motion-adaptive video de-interlacer |
| US7619639B1 (en) * | 2005-09-12 | 2009-11-17 | Nvidia Corporation | Adaptive scaling using a programmable video engine |
| US7796191B1 (en) | 2005-09-21 | 2010-09-14 | Nvidia Corporation | Edge-preserving vertical interpolation |
| KR20070074781A (ko) * | 2006-01-10 | 2007-07-18 | 삼성전자주식회사 | 프레임율 변환장치 |
| CA2636858C (en) | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| JP4417918B2 (ja) * | 2006-03-30 | 2010-02-17 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| US8243194B2 (en) * | 2006-05-31 | 2012-08-14 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for frame interpolation |
| CA2884702C (en) | 2006-06-23 | 2018-06-05 | Samuel Zhou | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| GB0618323D0 (en) * | 2006-09-18 | 2006-10-25 | Snell & Wilcox Ltd | Method and apparatus for interpolating an image |
| JP4322904B2 (ja) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| JP4231071B2 (ja) * | 2006-09-20 | 2009-02-25 | 株式会社東芝 | 画像表示装置、画像表示方法および画像表示プログラム |
| JP5002249B2 (ja) * | 2006-11-30 | 2012-08-15 | 株式会社東芝 | フレーム内挿装置及びフレーム内挿方法並びに画像表示装置 |
| JP4844370B2 (ja) * | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
| JP2008244846A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | フレーム補間装置及びその方法 |
| US8433159B1 (en) * | 2007-05-16 | 2013-04-30 | Varian Medical Systems International Ag | Compressed target movement model using interpolation |
| JP5125294B2 (ja) * | 2007-07-31 | 2013-01-23 | 株式会社ニコン | プログラム、画像処理装置、撮像装置および画像処理方法 |
| JP5080899B2 (ja) | 2007-08-08 | 2012-11-21 | キヤノン株式会社 | 映像処理装置及びその制御方法 |
| JP4586052B2 (ja) | 2007-08-08 | 2010-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| US9426414B2 (en) | 2007-12-10 | 2016-08-23 | Qualcomm Incorporated | Reference selection for video interpolation or extrapolation |
| CN101946514B (zh) * | 2007-12-20 | 2014-06-04 | 高通股份有限公司 | 使用自适应搜索范围的真实运动矢量估计 |
| CN101953167B (zh) * | 2007-12-20 | 2013-03-27 | 高通股份有限公司 | 减少光晕的图像插值 |
| JP4296218B1 (ja) * | 2008-02-21 | 2009-07-15 | シャープ株式会社 | 映像表示装置 |
| JP5106203B2 (ja) * | 2008-03-27 | 2012-12-26 | 株式会社東芝 | 補間画像生成装置、方法およびプログラム |
| KR101441903B1 (ko) | 2008-10-16 | 2014-09-24 | 에스케이텔레콤 주식회사 | 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| CN101854537B (zh) * | 2009-03-31 | 2014-03-26 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声图像数据优化及其造影定量分析方法和系统 |
| CN101547368B (zh) * | 2009-04-24 | 2011-03-09 | 炬力集成电路设计有限公司 | 一种图像中参考帧的处理装置、方法以及解码器 |
| US8305500B2 (en) * | 2010-04-08 | 2012-11-06 | National Taiwan University | Method of block-based motion estimation |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP5574830B2 (ja) * | 2010-06-03 | 2014-08-20 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
| CN102479321B (zh) * | 2010-11-26 | 2016-10-26 | 罗普特（厦门）科技集团有限公司 | 差异影像自动识别系统及方法 |
| JP5782787B2 (ja) * | 2011-04-01 | 2015-09-24 | ソニー株式会社 | 表示装置および表示方法 |
| JP2013098961A (ja) * | 2011-11-07 | 2013-05-20 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びに画像表示装置及び方法 |
| JP2013186427A (ja) * | 2012-03-09 | 2013-09-19 | Ricoh Co Ltd | 映像処理装置 |
| US9800857B2 (en) * | 2013-03-08 | 2017-10-24 | Qualcomm Incorporated | Inter-view residual prediction in multi-view or 3-dimensional video coding |
| JP6335504B2 (ja) | 2013-12-20 | 2018-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR20150100998A (ko) | 2014-02-24 | 2015-09-03 | 삼성디스플레이 주식회사 | 영상처리장치 및 영상처리방법 |
| CN106464970B (zh) * | 2014-05-09 | 2019-11-19 | 麦克赛尔株式会社 | 影像再现装置、显示装置和发送装置 |
| KR102192488B1 (ko) * | 2015-11-25 | 2020-12-17 | 삼성전자주식회사 | 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 |
| CN105721740B (zh) * | 2016-01-25 | 2018-12-07 | 四川长虹电器股份有限公司 | 平板电视运动图像的补偿方法 |
| US10134114B2 (en) * | 2016-09-20 | 2018-11-20 | Gopro, Inc. | Apparatus and methods for video image post-processing for segmentation-based interpolation |
| JP6932531B2 (ja) * | 2017-03-28 | 2021-09-08 | キヤノン株式会社 | 像ブレ補正装置、撮像装置および撮像装置の制御方法 |
| WO2018185881A1 (ja) * | 2017-04-05 | 2018-10-11 | オリンパス株式会社 | 相関値演算装置 |
| US10523961B2 (en) | 2017-08-03 | 2019-12-31 | Samsung Electronics Co., Ltd. | Motion estimation method and apparatus for plurality of frames |
| CN107295214B (zh) * | 2017-08-09 | 2019-12-03 | 湖南兴天电子科技有限公司 | 插值帧定位方法及装置 |
| WO2021033875A1 (en) * | 2019-08-20 | 2021-02-25 | Samsung Electronics Co., Ltd. | Electronic device for improving graphic performace of application program and operating method thereof |
| KR102242334B1 (ko) * | 2019-12-16 | 2021-04-20 | 한국전자기술연구원 | 데이터 변형을 통한 고해상도 동영상 프레임 율 고속 변환 방법 및 장치 |
| CN111491204B (zh) * | 2020-04-17 | 2022-07-12 | Oppo广东移动通信有限公司 | 视频修复方法、装置、电子设备和计算机可读存储介质 |
| CN111526370B (zh) * | 2020-04-17 | 2023-06-02 | Oppo广东移动通信有限公司 | 视频编码、解码方法及装置和电子设备 |
| CN112995533A (zh) * | 2021-02-04 | 2021-06-18 | 上海哔哩哔哩科技有限公司 | 视频制作方法及装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0236519B1 (en) | 1986-03-08 | 1989-06-07 | ANT Nachrichtentechnik GmbH | Motion compensating field interpolation method using a hierarchically structured displacement estimator |
| US6205259B1 (en) * | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
| JP3181431B2 (ja) * | 1993-05-21 | 2001-07-03 | 沖電気工業株式会社 | 動きベクトルを用いた適応動き内挿信号生成装置 |
| KR100219178B1 (ko) * | 1997-05-17 | 1999-09-01 | 윤종용 | 프레임 삽입방법 및 장치 |
| JPH11284958A (ja) * | 1998-03-27 | 1999-10-15 | Victor Co Of Japan Ltd | 画像補間方法 |
| JP4135229B2 (ja) * | 1998-09-29 | 2008-08-20 | ソニー株式会社 | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 |
| JP3903358B2 (ja) * | 1998-10-20 | 2007-04-11 | 日本放送協会 | 動きベクトルの評価方法および装置 |
| JP2000224593A (ja) * | 1999-01-28 | 2000-08-11 | Nippon Telegr & Teleph Corp <Ntt> | フレーム補間方法および装置およびこの方法を記録した記録媒体 |
| JP2001024988A (ja) | 1999-07-09 | 2001-01-26 | Hitachi Ltd | 画像信号の動き補償フレーム数変換方式および装置 |
| JP4040826B2 (ja) * | 2000-06-23 | 2008-01-30 | 株式会社東芝 | 画像処理方法および画像表示システム |
| US6760376B1 (en) * | 2000-11-06 | 2004-07-06 | Koninklijke Philips Electronics N.V. | Motion compensated upconversion for video scan rate conversion |
| KR100393063B1 (ko) * | 2001-02-15 | 2003-07-31 | 삼성전자주식회사 | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 |
| KR100396558B1 (ko) * | 2001-10-25 | 2003-09-02 | 삼성전자주식회사 | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 |
| JP2004080252A (ja) * | 2002-08-14 | 2004-03-11 | Toshiba Corp | 映像表示装置及びその方法 |
| JP4198550B2 (ja) * | 2002-09-10 | 2008-12-17 | 株式会社東芝 | フレーム補間方法およびこのフレーム補間方法を用いた装置 |
-
2003
- 2003-03-28 JP JP2003090838A patent/JP4220284B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-03 KR KR1020040014317A patent/KR100604394B1/ko not_active IP Right Cessation
- 2004-03-04 CN CNB2004100851467A patent/CN100448287C/zh not_active Expired - Fee Related
- 2004-03-25 US US10/808,319 patent/US7180548B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
| US8339519B2 (en) | 2010-10-26 | 2012-12-25 | Mitsubishi Electric Corporation | Image processing apparatus and method and image display apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| US7180548B2 (en) | 2007-02-20 |
| KR100604394B1 (ko) | 2006-07-25 |
| US20040246374A1 (en) | 2004-12-09 |
| JP2004297719A (ja) | 2004-10-21 |
| CN1592398A (zh) | 2005-03-09 |
| CN100448287C (zh) | 2008-12-31 |
| KR20040086553A (ko) | 2004-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4220284B2 (ja) | フレーム補間方法、装置及びこれを用いた画像表示システム | |
| CN105517671B (zh) | 一种基于光流法的视频插帧方法及系统 | |
| US8340186B2 (en) | Method for interpolating a previous and subsequent image of an input image sequence | |
| JP5877469B2 (ja) | 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡 | |
| JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
| JPH02246686A (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| US20060256238A1 (en) | Frame interpolation and apparatus using frame interpolation | |
| JP4869049B2 (ja) | 補間フレーム画像作成方法および補間フレーム画像作成装置 | |
| RU2461979C2 (ru) | Устройство видеоотображения | |
| US20090167959A1 (en) | Image processing device and method, program, and recording medium | |
| US20090136146A1 (en) | Image processing device and method, program, and recording medium | |
| TWI408620B (zh) | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 | |
| US20120093231A1 (en) | Image processing apparatus and image processing method | |
| KR20080033094A (ko) | 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스 | |
| JP2008158162A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
| US7197075B2 (en) | Method and system for video sequence real-time motion compensated temporal upsampling | |
| KR101756842B1 (ko) | 영상 프레임의 보간 방법 및 장치 | |
| US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
| GB2450121A (en) | Frame rate conversion using either interpolation or frame repetition | |
| TWI490819B (zh) | 影像處理方法及其裝置 | |
| US20080122973A1 (en) | Detection method of generation sequence of interlace picture and interlace/progressive conversion method and device | |
| US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
| CN116170650A (zh) | 视频插帧方法及装置 | |
| US20090310679A1 (en) | Video processing apparatus and methods | |
| CN109714501B (zh) | 一种帧平均降噪方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080808 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |