JP4080951B2 - フレーム補間方法及び装置並びに画像表示システム - Google Patents
フレーム補間方法及び装置並びに画像表示システム Download PDFInfo
- Publication number
- JP4080951B2 JP4080951B2 JP2003155463A JP2003155463A JP4080951B2 JP 4080951 B2 JP4080951 B2 JP 4080951B2 JP 2003155463 A JP2003155463 A JP 2003155463A JP 2003155463 A JP2003155463 A JP 2003155463A JP 4080951 B2 JP4080951 B2 JP 4080951B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- image block
- frame
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間するフレーム補間方法及びこれを用いた画像表示システムに関する。
【０００２】
【従来の技術】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ(Motion Picture Experts Group）で用いられている動き補償を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間する方法がある。ＭＰＥＧにおける動き補償では、画像ブロックマッチング法によって検出される動きベクトルが用いられる。画像ブロックマッチング法とは、第１参照フレームを複数の第１画像ブロックに分割し、各第１画像ブロックに対して第１参照フレームに隣接する第２参照フレームから最も相関の高い第２画像ブロックを探索して、第２画像ブロックから第１画像ブロックへの動きベクトルを求める手法である。
【０００４】
このような動き補償を用いる画像ブロックベースのフレーム補間手法では、動き補償によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間で求められた第１動きベクトルを補間フレーム面と第１参照フレーム間の第２動きベクトルに変換するスケール変換と呼ばれる操作を行う。スケール変換により得られた第２動きベクトルを用いて動き補償を行うことにより、補間フレームを生成する。すなわち、第２動きベクトルの終点を第１参照フレーム上に固定し、第１参照フレーム上の該第２動きベクトルの終点が指し示す画像ブロックの画像データを補間フレーム面上の第２動きベクトルの始点が指し示す補間対象ブロックの位置にコピーする。
【０００５】
この手法では、スケール変換によって得られる第２動きベクトルの始点位置は必ずしも補間フレーム面上の本来の補間対象ブロックの位置と一致しないことから、補間フレームに画像データの存在しない隙間ができてしまったり、逆に画像データが重なる領域ができてしまう。
【０００６】
特許２５２８１０３号（特許文献１）には、このような画像の隙間や重なりの生じないフレーム補間の手法が開示されている。この手法では、補間フレーム面上の補間対象ブロックを中心として、幾何対称的に前後の参照フレーム間の相関を求めてフレーム補間を行う。これにより、動きベクトルのスケール変換を行うことなく、最初に求められた動きベクトルを用いてダイレクトに補間フレームを生成することができる。さらに、補間フレーム面上に一様格子の補間対象ブロックを考えるため、補間フレームに画像の隙間や重なりが生じることはない。
【０００７】
【特許文献１】
特許２５２８１０３号
【発明が解決しようとする課題】
特許文献１の手法は、ＭＰＥＧと同様に画像ブロック単位で処理を行う画像ブロックベースの技術であるために、画像ブロック内に複数の動きが存在する場合などに、補間フレーム上に画像ブロック境界においてブロック歪が発生してしまうという問題がある。
【０００８】
例えば、静止している背景上をオブジェクトが左から右に動いている場合、補間フレーム上ではオブジェクトを中心に補間がなされるため、全く別々の背景同士が平均されることによって別の背景がオブジェクトの周りに生じる。この結果、オブジェクトの周りの背景と、さらにその外側の本来の背景の間でギャップが生じ、そのギャップがブロック歪として視認される。
【０００９】
本発明の目的は、補間フレームに画像の隙間や重なりが生じることがなく、さらにブロック歪の発生が少ないフレーム補間方法及び装置並びに画像表示システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの観点によるフレーム補間方法は、（ａ）画像の時間的に隣接する第１参照フレームと第２参照フレームとの間の補間フレーム面を複数の補間対象ブロックに分割するステップと、（ｂ）前記補間フレーム面を複数の補間対象ブロックに分割するステップと、（ｃ）前記補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを求めるステップと、（ｄ）前記第１参照及び第２参照フレームから、前記動きベクトルによって規定される第１及び第２画像ブロックをそれぞれ抽出するステップと、（ｅ）前記第１及び第２画像ブロックの相対応する画素対間の絶対値差分を用いて領域判定閾値を決定するステップと、（ｆ）前記第１及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値より小さい第１領域を抽出するステップと、（ｇ）前記第１及び第２画像ブロックのそれぞれの前記第１領域の画素値から、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームを生成するステップとを備える。
【００１１】
本発明の他の観点によるフレーム補間方法は、（ｈ）前記領域判定閾値を用いて前記第１及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値以上の第２領域を抽出するステップをさらに備え、前記（ｃ）の動きベクトルを求めるステップは、前記第１及び第２画像ブロックのそれぞれの前記第２領域の画素値を用いて再帰的に前記動きベクトルを求める。
【００１２】
本発明の好ましい態様によると、前記領域判定閾値を決定するステップでは、例えば前記絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成し、複数の候補閾値毎に該第３画像ブロック中の該候補閾値より小さい画素値を有する不一致画素について（不一致画素の平均絶対値差分和）／（不一致画素数）を評価関数としてそれぞれ求め、最小の評価関数を与える一つの候補閾値を前記領域判定閾値として決定する。
【００１３】
前記補間画素値を生成するステップでは、例えば前記第１及び第２画像ブロックの前記第１領域内の相対応する画素対の平均画素値を前記補間画素値として生成する。
【００１４】
本発明の一つの態様によるフレーム補間装置は、（ａ）画像の時間的に隣接する第１参照フレームと第２参照フレームとの間の補間フレーム面を分割した複数の補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを求める動き探索部と、前記第１参照及び第２参照フレーム中の前記動きベクトルによって対応付けられる第１及び第２画像ブロックの相対応する画素対間の絶対値差分を用いて領域判定閾値を決定する閾値決定部と、前記第１及び第２画像ブロックの前記絶対値差分が前記領域判定閾値より小さい第１領域の画素値について前記動きベクトルを用いて動き補償を行うことにより、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームを生成する動き補償部とを具備する。
【００１５】
さらに、本発明によると上述のフレーム補間装置により生成された補間フレームと前記第１及び第２参照フレームを画像として表示する画像表示システムが提供される。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態１）
図１に、本発明の第１の実施形態に係る画像表示システムの構成を示す。ここでは、入力画像信号（動画像信号）１０が６０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、これを１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００１７】
本実施形態におけるフレーム補間は、入力画像信号である６０Ｈｚのノンインタレース信号に対して、図２に示すように入力画像信号の時間的に隣接する二つの参照フレームＰ１，Ｐ２間の補間フレーム面（参照フレームＰ１，Ｐ２間の時間的中央位置の面）上に補間フレームＱを内挿補間することにより実現される。
【００１８】
図１において、画像信号１０はフレームメモリ１１と動き推定部１２に入力される。動き推定部１２は、動き探索部１３と一致判定部１４及び最適閾値決定部１５を有する。動き探索部１３では、参照フレームＰ１，Ｐ２間の動きベクトルが探索される。探索された動きベクトルは動き補償部１５に与えられ、動き補償部１５で動きベクトルを用いて動き補償が行われることにより、補間フレームＱが生成される。
【００１９】
一致判定部１４では、参照フレームＰ１の画像ブロックと参照フレームＰ２の画像ブロックとの間で、双方の相対応する画素対の画素値が実質的に一致しているか否かが判定される。画像ブロックは、例えば８画素×８画素のような複数の画素からなる格子状の一様なサイズの小領域である。相対応する画素対とは、二つの画像ブロックにおける、画像ブロック内相対位置が等しい画素位置の画素対をいう。一致判定部１４の判定結果は、動き探索部１３及び最適閾値決定部１５に与えられる。
【００２０】
最適閾値決定部１５では、参照フレームＰ１，Ｐ２のそれぞれの画像ブロックを一致領域（第１領域）と不一致領域（第２領域）とに分割するための最適な閾値（領域判定閾値という）が決定される。領域判定値に従って一致判定部１４により画像ブロック毎に一致領域と不一致領域の領域判定が行われ、この判定結果に従って一致領域と不一致領域との分割が行われる。動き探索部１３、一致判定部１４及び最適閾値決定部１５の処理については、以下に詳しく説明する。
【００２１】
前述した従来の画像ブロックベースのフレーム補間手法における欠点であるブロック歪の発生を防止するために、図３に示す方法が考えられる。参照フレームＰ１及びＰ２をそれぞれ画像ブロックＢ１及びＢ２に分割し、画像ブロックＢ１及びＢ２をさらに一致領域Ｒ１と不一致領域Ｒ２にそれぞれ分割する。画像ブロックＢ１及びＢ２のうち、一致領域Ｒ１の画素に対して動きベクトルを割り当て、不一致領域Ｒ２の画素に対しては再帰的に動きベクトルを探索することによって、別の動きベクトルを割り当てることができるようにする。
【００２２】
ここで、一致領域Ｒ１は画像ブロックＢ１及びＢ２間で画素値が実質的に一致していると見なすことができる画素の領域であり、より詳しくは画像ブロックＢ１及びＢ２の相対応する画素対間の絶対値差分がある領域判定閾値Ｔ１より小さい一致画素の領域である。不一致領域Ｒ２は、画像ブロックＢ１及びＢ２間で双方の画素値が実質的に不一致と見なすことができる画素の領域であり、より詳しくは上記の絶対値差分が領域判定閾値Ｔ１以上である不一致画素の領域である。画像ブロックＢ１及びＢ２の一致領域Ｒ１の画素値を用いて補間画素値を生成し、これを補間フレーム面上の補間対象ブロックにコピーすることによって、補間フレームを生成する。
【００２３】
このような手法によって、ブロック歪の問題を解決することができる。但し、この手法は領域判定閾値Ｔ１の設定の仕方によっては、画像ブロックＢ１及びＢ２の一致領域Ｒ１と不一致領域Ｒ２との分割を適切に行うことができず、全く意味のないものとなってしまう。例えば、図４に示すように画像ブロックＢ１，Ｂ２の相対応する画素対の画素値が比較的近く、絶対値差分の画素で構成される画像ブロックＢ３に対して、領域判定閾値Ｔ１を例えば“５”に設定している場合には、画像ブロックＢ１，Ｂ２を一致領域Ｒ１と不一致領域Ｒ２に正しく分割できる。ここで、相対応する画素対とは画像ブロックＢ１，Ｂ２でブロック内相対位置が等しい画素位置の画素対である。
【００２４】
これに対し、図５に示すように画像ブロックＢ１及びＢ２の相対応する画素対の画素値が比較的かけ離れているときに、画像ブロックＢ３に対して閾値Ｔ１を同じ“５”に設定すると、全て不一致領域Ｒ２という分割結果になってしまい、人間が見た場合の分割状態とはかなり異なった動作となってしまう。
【００２５】
ここで、図５に示すような画像ブロックＢ１，Ｂ２及びＢ３に対して領域判定閾値Ｔ１を“１１”に設定すれば、画像ブロックＢ１，Ｂ２を図４と同じように一致領域Ｒ１と不一致領域Ｒ２に正しく分割できるはずである。このような最適な領域判定閾値を決定する手法は、知られていない。そこで、本実施形態では画像ブロック内の画素値（輝度）の分布（以下、輝度分布という）による閾値の最適化問題を解くことにより、最適な領域判定閾値を動的に画像ブロック毎に決定する手法を提案する。
【００２６】
以下、図６を用いて本実施形態に基づく最適な領域判定閾値決定処理を含むフレーム補間処理の全体的な流れを説明する。まず、図７に示すように補間フレーム面（補間フレームＱが内挿補間される面）を格子状の一様なサイズの小領域（補間対象ブロックという）Ｂ０に分割する（ステップＳ１０１）。次に、ステップＳ１０１で分割した補間対象ブロックＢ０を順次走査し（ステップＳ１０２）、補間対象ブロックＢ０毎に動き推定処理（ステップＳ１０３）及び動き補償処理（ステップＳ１０４）をステップＳ１０５で補間フレーム面上の全補間対象ブロックＢ０の走査が終了したと判断されるまで行う。
【００２７】
ステップＳ１０３では、後述するように動き推定を行い、動きベクトルのグループと不一致フィルタのグループを求める（サブルーチン１）。不一致フィルタは、図８に示すように補間対象ブロックＢ０と同形状かつ同サイズで、“０”か“１”を画素値として持つディジタルフィルタであり、一致画素は“０”、不一致画素は“１”で表現される。ステップＳ１０４では、ステップＳ１０３のサブルーチン１で求められた動きベクトルのグループと不一致フィルタのグループ及び参照フレームＰ１，Ｐ２から、補間フレーム生成のための動き補償を行う。
【００２８】
＜動き推定処理＞
次に、図３中のサブルーチン１であるステップＳ１０３の動き推定処理について説明する。
動き推定処理では、まず参照フレームＰ１，Ｐ２上に設定した動きベクトル探索領域から、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索して動きベクトルを求める（動き探索処理）。
【００２９】
次に、動き探索処理により探索された動きベクトルによって規定される、参照フレームＰ１，Ｐ２上の画像ブロックＢ１，Ｂ２から、最適な領域判定閾値Ｔ１を計算する（最適閾値決定処理）。
【００３０】
次に、領域判定閾値Ｔ１に従って、画像ブロックＢ１，Ｂ２内の相対応する画素対の画素値の絶対値差分から画素毎に一致・不一致判定を行って、前述の不一致フィルタを生成する（一致判定処理）。
【００３１】
最後に、不一致フィルタを用いて不一致とされた画素（不一致画素）のみから再帰的に動きベクトルを探索する処理を行う。
【００３２】
図９及び図１０を参照して、上述した動き推定処理の詳細な手順について説明する。
まず。イテレーションを開始する。イテレーション変数をiteとし、補間対象ブロックＢ０と同形状かつ同サイズのディジタルフィルタを不一致フィルタとして、図１１に示すように初期イテレーションの不一致フィルタ[0]に全て不一致画素であることを示す“１”を代入する（ステップＳ２０１）。[α]は、イテレーションα（ite＝α）であることを示す。反復的に何回もイテレーションを繰り返し処理を行うが、ここでは最初にイテレーション１（ite＝1）を考える。
【００３３】
図７に示したように、補間フレーム面上の補間対象ブロックＢ０を中心として、幾何対称的に参照フレームＰ１上の画像ブロックと参照フレームＰ２上の画像ブロックの探索を行うことにより、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索し、該画像ブロック対間の動きベクトル[1]を求める（ステップＳ２０２）。相関度演算の際には、図１２に示すように不一致フィルタ内の値が“１”である不一致画素のみについて演算を行うが、イテレーション１では不一致フィルタ[0]は全画素値が“１”であるので、画像ブロックの全画素について相関度演算を行う。参照フレームＰ１，Ｐ２から、動きベクトル[1]で規定される画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ２０３）。
【００３４】
次に、サブルーチン３として画像ブロックＢ１と画像ブロックＢ２の相対応する画素対間の画素値の絶対値差分から、輝度分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ２０４）。領域判定閾値の決定処理については、後に詳しく説明する。
【００３５】
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ２０５）、一致判定処理を行う。一致判定処理では、図１３に示すように動きベクトル[1]によって規定される参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素位置（画像ブロック内相対位置が等しい画素位置）の画素対間の画素値の絶対値差分を求める（ステップＳ２０６）。
【００３６】
次に、絶対値差分を閾値Ｔ１と比較し（ステップＳ２０７）。絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[1]に“０”を代入する（ステップＳ２０８）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[1]に“１”を代入する（ステップＳ２０９）。ステップＳ２０６〜Ｓ２０９の処理をステップＳ２１０で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００３７】
一致判定処理の終了後、不一致フィルタ[1]と不一致フィルタ[0]の論理積をとり、その論理積を新たな不一致フィルタ[1]とする（ステップＳ２１１）。以上でイテレーション１が終了し、再帰的に動きベクトル推定処理に戻る。
【００３８】
すなわち、iteを一つ増加させ（ステップＳ２１２）、iteがｎ（任意の整数）を越えたならば（ステップＳ２１３でＹＥＳ）反復処理を終了し、それ以外の場合はステップＳ２０２に戻り、動きベクトル推定処理を繰り返す。
【００３９】
ステップＳ２１２以降の動きベクトル推定処理では、図７に示したように補間フレーム面上の補間対象ブロックＢ０を中心として幾何対称的に参照フレームＰ１上の画像ブロックと参照フレームＰ２上の画像ブロックの探索を行うことにより、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索し、該画像ブロック対間の動きベクトル[ite]を求める（ステップＳ２０２）。相関度演算の際には、図１４に示すように不一致フィルタ[ite-1]内の画素値が“１”の画素についてのみ相関度演算を行う。参照フレームＰ１，Ｐ２から、動きベクトル[ite]で規定される画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ２０３）。
【００４０】
次に、サブルーチン３として画像ブロックＢ１と画像ブロックＢ２から、画素値（輝度）の分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ２０４）。
【００４１】
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ２０５）、一致判定処理を行う。一致判定処理では、図１５に示すように動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素対間の絶対値差分を求める（ステップＳ２０６）。
【００４２】
次に、絶対値差分を領域判定閾値Ｔ１と比較し（ステップＳ２０７）、絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[ite]に０を代入する（ステップＳ２０８）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[ite]に“１”を代入する（ステップＳ２０９）。ステップＳ２０６〜Ｓ２０９の処理をステップＳ２１０で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００４３】
一致判定処理の終了後、不一致フィルタ[ite]と不一致フィルタ[ite-1]の論理積をとり、その論理積を不一致フィルタ[ite]とする（ステップＳ２１１）。次に、iteを一つ増加させ（ステップＳ２１２）、ステップＳ２１３でiteがｎ（任意の整数）を越えたならば反復処理を終了し、それ以外の場合はステップＳ２０１に戻り、動きベクトル推定処理を行う。反復処理が終了した時点で、動きベクトルのグループ（動きベクトル[i](i＝1,…,n)）、不一致フィルタのグループ（不一致フィルタ[i](i＝1,…,n)）が得られる。
【００４４】
＜動き補償処理＞
次に、図１６を用いて図３中のサブルーチン２であるステップＳ１０４の動き補償処理について説明する。
まず、初期値としてイテレーション変数iteを１とする（ステップＳ３０１）。補間フレーム面上の補間対象ブロックＢ０を中心として、動きベクトル[ite]によって規定される、参照フレームＰ１，Ｐ２上の幾何点対称位置にある画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ３０２，Ｓ３０３）。
【００４５】
画像ブロック内の画素の走査を開始し（ステップＳ３０５）、画像ブロックＢ１，Ｂ２の相対応する画素対の画素値の平均値（平均画素値）を求める（ステップＳ３０６）。ここで不一致フィルタ[ite]の値を調べ（ステップＳ３０７）、不一致フィルタ[ite]の値が“０”であったなら、補間フレーム面上の不一致フィルタ[ite]の値“０”に対応する画素位置に当該平均画素値を補間画素値としてコピーする（ステップＳ３０８）。不一致フィルタ[ite]の値が１であるときは、コピーを行わない。
【００４６】
ステップＳ３０９によって画像ブロック内の全画素が走査したと判定されるまで、ステップＳ３０７〜Ｓ３０８の処理を繰り返す。この後、イテレーション変数iteを１つ増加させ（ステップＳ３１０）、iteがｎを越えた場合は（ステップＳ３１１でＹＥＳ）反復処理を終了し、それ以外の場合はステップＳ３０２に戻る。
【００４７】
反復処理が終了したら、図６中のステップＳ１０１により得られた補間対象ブロックＢ０の全てを走査するまで図９中のステップＳ２０１から図１６中のステップＳ２１３までの処理を行い、補間対象ブロックＢ０を全て走査したら動き補償処理を終了することにより、補間フレームＱが生成される。生成された補間フレームＱは図１中に示した表示部１７に送られ、フレームメモリ１１からの参照フレームＰ１と参照フレームＰ２との間の補間フレーム面に内挿補間されることにより、参照フレームＰ１，Ｐ２と共に画像として表示される。
【００４８】
＜領域判定閾値決定処理＞
次に、図９中のステップＳ２０４での領域判定閾値決定処理について詳しく説明する。
図４及び図５で説明したように、画像ブロックＢ１及びＢ２のそれぞれを一致領域Ｒ１と不一致領域Ｒ２とに分割するための領域判定閾値によって、一致領域内の画素数（一致画素数という）と一致領域内の一致画素の平均ＳＡＤ（Sum of Absolute Difference：絶対値差分和）は変化する。言い換えれば、一致画素数と平均ＳＡＤ（平均絶対値差分）は閾値による関数と見なすことができる。従って、一致画素数と平均ＳＡＤを用いて評価関数を定めれば、その評価関数に従って最適な領域判定閾値Ｔを決定することができる。これは領域判定閾値の候補（候補閾値と呼ぶ）に対する最適化問題と考えられる。
【００４９】
候補閾値をＴとすると、Ｔが大きくなるほど一致画素数も大きくなり、Ｔ＞“255”のとき一致画素数は最大、つまり画像ブロック全体が一致画素となる。平均ＳＡＤも、候補閾値Ｔが大きくなるほど値が大きくなる。ここで、一致画素数は値が大きい方が評価が高いのに対して、平均ＳＡＤは逆に値が小さいほど評価が高い。そのため、単純に一致画素数と平均ＳＡＤの和をとって評価関数としても、それは候補閾値Ｔの評価には有効に働かない。そこで、次式のような評価関数を考えてみる。
【００５０】
【数１】
数式（１）の評価関数は、値が小さいほど評価がよいとすると、分子が小さく分母が大きいときに評価が高くなる。そのため、一致画素の画素値の平均ＳＡＤが小さく一致画素数が大きいほど評価が高くできるので、この例の場合には適切な評価関数といえる。また、別々の要素の線形結合（この場合、一致画素数と平均ＳＡＤ）は、結合重み係数を決めるのが難しいという問題もあり、前述した一致画素数と平均ＳＡＤの和による評価関数は実現が難しい。ここで考えている数式（１）のような評価関数であれば、結合重み係数のようなものは存在しないので、設計が簡単である。
【００５１】
数式（１）に従って実際の評価関数は、例えば以下のように設計する。
【００５２】
【数２】
ここで、画像ブロックＢ１，Ｂ２（サイズはＢとする）内の相対座標をｘとしたときの輝度値をｆ(x)とする。Ｔは前述の候補閾値である。difは差分値、σは一致・不一致判定の部分を表現しており、数式（２）中のＥ[T]の式の分母は一致画素数、分子は平均ＳＡＤを表現している。
【００５３】
従って、最適化問題は以下のように評価関数Ｅに対する候補閾値Ｔの最小化問題を解くことに帰着できる。
【００５４】
【数３】
数式（３）は１次元の最小化問題であるから、様々な１次元の最小化手法を用いることができる。ただし、評価関数は数式（２）内の一致・不一致判定の部分で不連続関数となるため、このままでは勾配を用いる最小化手法を適用することは不可能である。そこで、一致・不一致判定σ(dif,Ｔ)を
【００５５】
【数４】
のようにシグモイド関数を用いて定義することで連続関数にすることができ、数式（４）の定義を用いることで勾配法の適用も可能になる。
【００５６】
ここでは、１次元の黄金分割法を用いる。黄金分割法は最もベーシックな手法であり、勾配を用いない。この手法の最小化の概要は、次の通りである。まず、各段階で囲い込みの３点が与えられたとき、次に試す点は中央の点から広い方の区間にその0.38197倍（黄金分割比）だけ進んだ点である。最初の３点が黄金分割比になっていなくとも、大きい方の区間に黄金分割比で点を選ぶことを繰り返せば、すぐにこの自己複製的な比に収束し、任意の精度まで反復を繰り返すことにより最小点が求められる。これが１次元の黄金分割法である。
【００５７】
数式（２）から、評価関数は
【００５８】
【数５】
と変形できる。ここで、数式（５）の分母は一致画素数を表現しており、１を足し合わせて２乗するだけの関数であるから、正の値を持つ候補閾値Ｔに関する単調増加関数である。数式（５）の分子も絶対値差分和であるから、正の値を持つ候補閾値Ｔに関する単調増加関数である。よって、評価関数の変化は分子と分母の傾きの差によって決定されることが分かる。
【００５９】
ここで、本実施形態では上述の評価関数が最小となる候補閾値Ｔの値Ｔoptを最適な領域判定閾値Ｔ１として決定する。
評価関数が下に凸の関数となるのは、Ｔ≦Ｔoptのときに分母の増分が分子の増分を上回っており、Ｔ＞Ｔoptのときに分子の増分が分母の増分を上回っているときである。これは一致画素領域が一様に低い差分値で構成されているとき、つまり画像ブロック内に複数の動きが存在して画像ブロックが完全に分割可能なときに達成することができる。すなわち、Ｔ≦Ｔoptのときに一致画素領域が一様に低い差分値ということは、評価関数の分子の増分が小さいということを意味するため、相対的に分母の増分が分子のそれを上回ることになり、結果的に評価関数は下に凸の関数となる。
【００６０】
図１７は、画像ブロック内に複数の動きが存在することにより、画像ブロックが一致領域と不一致領域に分割可能なパターンにおける、候補閾値Ｔに対する一致画素数（Num）、平均ＳＡＤ（Ave）及び評価関数Ｅの変化を表すシミュレーション結果である。この場合、画像ブロック内には二つの動きが存在しているために、画像ブロックを一方の動きに一致した一致領域とそれ以外の不一致領域に容易に分割することができる。図１７に示されるように、評価関数Ｅは下に凸の関数となっている。
【００６１】
一方、画像ブロック内に複数の動きが存在せず、画像ブロックが一致領域と不一致領域に分割されない一様なパターンにおける、図１７と同様のシミュレーション結果は図１８に示される。評価関数Ｅの関数形を見ると微妙ではあるが、ほとんど下に凸とは言えない関数形となっていることが分かる。なお、図１７及び１８において候補閾値Ｔの値は横軸に、一致画素数（Num）及び評価関数Ｅの値は左側の縦軸に、平均ＳＡＤ（Ave）の値は右側の縦軸にそれぞれ示されている。
【００６２】
固定された領域判定閾値を用いると、図４に示したように領域分割を正しくできたり、図５に示したように正しく行うことができなかったりすることは、前述の通りである。これに対し、本実施形態に従って最適な領域判定閾値Ｔ１を決定して領域分割を行うと、図１９及び図２０に示すように常に正しく領域分割を行うことができる。
【００６３】
図１９は、図１７のシミュレーション結果に対応して評価関数Ｅが最小となる候補閾値ＴOPT（Ｔ＝6.18967）を領域判定閾値Ｔ１としたときの領域分割の様子を示している。同様に、図２０は図１８のシミュレーション結果に対応して評価関数Ｅが最小となる候補閾値ＴOPT（Ｔ＝15.1303）を領域判定閾値Ｔ１としたときの領域分割の様子を示している。いずれの場合も、画像ブロックの輝度分布に応じて領域分割が適切に行われていることが分かる。
【００６４】
一方、図２１は画像ブロックＢ１，Ｂ２の相対応する画素対の画素値が図４の場合よりさらに近い場合で、絶対値差分の画素で構成される画像ブロックＢ３に対して、領域判定閾値Ｔ１を“５”に設定した場合の領域分割の様子を示している。この場合、不一致画素が点在して不一致領域が分離された状態でノイズ状になってしまう。
【００６５】
これに対し、本実施形態に従って評価関数Ｅが最小となる候補閾値ＴOPTを求めると、例えばＴopt＝99.3978のように非常に大きな値となり、これを領域判定閾値Ｔ１とすると図２１に示すように画像ブロックＢ３は一致領域と不一致領域に分割されない。しかし、このような画素値の変化の少ない一様パターンの画像ブロックＢ３であれば、画像ブロックＢ３内を一致領域と不一致領域に分割する必要はそもそもないため、Ｔoptが大きな値となっていたとしても問題はない。
【００６６】
次に、図２３を用いて上述した領域判定閾値決定処理の具体的な手順について説明する。
まず、画像ブロックＢ１，Ｂ２の相対応する画素対間の絶対値差分を求め、絶対値差分を画素値として持つ絶対値差分の画像ブロックＢ３を求める（ステップＳ４０１）。
【００６７】
最小値探索の３点の初期値ｘａ，ｘｂ，ｘｃを求める（ステップＳ４０２）。ｘａ＝１、ｘｂ＝画像ブロックＢ３の画素値の平均値（平均画素値）、ｘｃ＝２５６である。
【００６８】
ｘａ，ｘｂ，ｘｃを初期値とする１次元の最小化手法によって、数式（２）に示した評価関数Ｅを最小とする閾値Ｔ１minを求める（ステップＳ４０３）。
【００６９】
次に、閾値Ｔ１minの範囲調整を行う。Ｔ１min＜１であればＴ１min＝１とし、Ｔ１min＞２５６であればＴ１min＝２５６とする（ステップＳ４０４，Ｓ４０５，Ｓ４０６，Ｓ４０７）。範囲調整後のＴ１minを最適な領域判定閾値Ｔ１として出力する（ステップＳ４０８）。
【００７０】
上述したように、本実施形態によると画像ブロック内の輝度分布に応じた最適化問題（数式（３））を設定して、それを１次元の最小化問題に帰着させることにより、簡単な手順で最適な領域判定閾値を決定できる。このようにして決定された領域判定閾値を用いて、画像ブロックＢ１，Ｂ２を一致領域Ｒ１と不一致領域Ｒ２に分割した後、一致領域の画素値を補間画素値として動き補償処理により補間対象ブロックＢ０にコピーする。これにより画像の隙間や重なりが生じることがなく、しかもブロック歪の発生が少ない補間フレームＱを生成してフレーム補間を行うことが可能となる。
【００７１】
（第２の実施形態）
図２４に示されるように、本発明の第２の実施形態に係る画像表示システムでは、図１に示した画像表示システムに対して動きベクトル候補探索部１８が追加されている。動きベクトル候補探索部１８は、最適閾値決定部１５で最適な領域判定閾値を設定する際に用いられる動きベクトルの候補を探索する。
【００７２】
動きベクトルの探索の際に、評価関数としてＳＡＤ以外に例えば以下のような一致画素数和（Sum of Agreement Pixels、以下ＳＡＰ）を用いることができる。
【００７３】
【数６】
ここで、ｆpi(x,y)は参照フレームＰ１の点(x,y)における画素値、ｆp2(x,y)は参照フレームＰ２の点(x,y)における画素値、Ｔは閾値（例えば３など）、(N,M)は画像のサイズを表す。ＳＡＰはオブジェクトなどの形にフォーカスしたものである。ＳＡＰには予め閾値Ｔが設定されている必要があるが、閾値Ｔは画像毎にその画像の場所毎に変わってくるはずである。そこで本実施形態では、数式（６）で表されるＳＡＰにおける閾値Ｔを画像ブロック毎に最適化する手法を提案する。
【００７４】
図２５に、本実施形態における最適な領域判定閾値決定処理を含むフレーム補間処理の全体的な流れを示す。第１の実施形態と同様に、補間フレーム面を格子状の一様なサイズの小領域（補間対象ブロック）Ｂ０に分割し（ステップＳ５０１）、各補間対象ブロックＢ０を順次走査し（ステップＳ５０２）、補間対象ブロックＢ０毎に動き推定処理（ステップＳ５０３）及び動き補償処理（ステップＳ５０４）をステップＳ５０５で補間フレーム面上の全補間対象ブロックＢ０の走査が終了したと判断されるまで行う。ステップＳ５０３の動き推定処理に含まれる最適閾値決定処理とステップＳ５０４の動き補償処理は、第１の実施形態と同様である。
【００７５】
＜動き推定処理＞
以下、図２５中のサブルーチン４であるステップＳ５０３の動き推定処理について説明する。動き推定処理では、まず参照フレームＰ１，Ｐ２上に設定した動きベクトル探索領域から、相関度の高い画像ブロックの対を探索し、相関度の高い順に動きベクトル候補を求める（動きベクトル候補探索処理）。
【００７６】
次に、最も相関度の高い動きベクトル候補によって規定される、参照フレームＰ１，Ｐ２上の画像ブロックから、最適な動きベクトル判定閾値Ｔ２を計算する（最適閾値決定処理）。
【００７７】
次に、動きベクトル判定閾値Ｔ２を用いて数式（６）に示した一致画素数和ＳＡＰによって、動きベクトル候補の中から最も相関度の高い動きベクトルを探索する（動きベクトル探索処理）。
【００７８】
次に、探索された動きベクトルによって規定される画像ブロックから、最適な領域判定閾値Ｔ１を計算する（最適閾値決定処理）。
【００７９】
次に、領域判定閾値Ｔ１を用いて第１の実施形態と同様に画像ブロック内の相対応する画素対の画素値の絶対値差分から画素毎に一致・不一致判定を行って、前述の不一致フィルタを生成する（一致判定処理）。この不一致フィルタを用いて、不一致とされた画素（不一致画素）のみから再帰的に動きベクトルを探索する処理を行う。
【００８０】
図２６及び図２７を参照して、上述した動き推定処理の詳細な手順について説明する。イテレーションを開始する。イテレーション変数をiteとし、補間対象ブロックＢ０と同形状かつ同サイズのディジタルフィルタを不一致フィルタとして、図１１に示すように初期イテレーションの不一致フィルタ[0]に全て“１”を代入する（ステップＳ６０１）。[α]は、イテレーションα（ite＝α）であることを示す。反復的に何回もイテレーションを繰り返し処理を行うが、ここでは最初にイテレーション１（ite＝1）を考える。
【００８１】
（動きベクトル候補推定処理）
次に、図７に示したように、補間フレーム面上の補間対象ブロックＢ０を中心として、幾何対称的に参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２の探索を行うことにより、最も相関度の高い画像ブロック対を探索し、相関度の高い順に動きベクトル候補[ite]を求める（ステップＳ６０２）。ここでの相関度演算の際には、ＳＡＤなどを用いることができる。相関度演算の際には、図１２に示したように不一致フィルタ[ite-1]の値が“１”の画素のみについて演算を行う。
【００８２】
（最適閾値決定処理：サブルーチン３）
次に、最も相関度の高い動きベクトル候補によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２を抽出し（ステップＳ６０３）、これらの画像ブロックＢ１，Ｂ２から輝度分布に応じた最適な動きベクトル判定閾値Ｔ２を決定する（ステップＳ６０４）。
【００８３】
（動きベクトル探索処理：サブルーチン５）
ステップＳ６０５により求められた動きベクトル候補の中から、動きベクトル判定閾値Ｔ２を設定した一致画素数探索を行い、最も相関度の高い動きベクトル[ite]を求める（ステップＳ６０５）。
【００８４】
（最適閾値決定処理：サブルーチン３）
動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２を抽出し（ステップＳ６０６）、これらのブロックＢ１，Ｂ２から輝度分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ６０６）。
【００８５】
（一致判定処理）
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ６０８）、一致判定処理を行う。一致判定処理では、図１５に示すように動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素対間の絶対値差分を求める（ステップＳ６０９）。
【００８６】
次に、絶対値差分を領域判定閾値Ｔ１と比較し（ステップＳ６１０）、絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[ite]に“０”を代入する（ステップＳ６１１）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[ite]に“１”を代入する（ステップＳ６１２）。ステップＳ６０９〜Ｓ６１２の処理をステップＳ６１３で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００８７】
一致判定処理の終了後、不一致フィルタ[ite]と不一致フィルタ[ite-1]の論理積をとり、その論理積を不一致フィルタ[ite]とする（ステップＳ６１４）。次に、iteを一つ増加させ（ステップＳ６１５）、ステップＳ６１６でiteがｎ（任意の整数）を越えたならば反復処理を終了し、それ以外の場合はステップＳ６０１に戻り、動きベクトル推定処理を行う。反復処理が終了した時点で、動きベクトルのグループ（動きベクトル[i](i＝1,…,n)）、不一致フィルタのグループ（不一致フィルタ[i](i＝1,…,n)）が得られる。
【００８８】
＜動きベクトル探索処理＞
次に、図２８を用いて動きベクトル探索処理について説明する。まず、ステップＳ７０１で動きベクトル候補探索ループを設定し（ループ変数：ｉ）、動きベクトル候補[i]によって規定される参照フレームＰ１，Ｐ２上の画像ブロック対を抽出する（ステップＳ７０２）。
【００８９】
不一致フィルタ[ite-1]に従って不一致フィルタ[ite-1]が“１”の画素についてのみブロック間の差分値を計算する（ステップＳ７０３）。動きベクトル判定閾値Ｔ２を用いて一致画素数を求め（ステップＳ７０４）、動きベクトル候補のうち一致画素数の最も大きい候補を動きベクトル[ite]とする（ステップＳ７０６）。
【００９０】
反復処理が終了した場合、図２３中のステップＳ４０１において分割した補間対象ブロックＢ０の全てが走査されるまで（ステップＳ７０５でＹＥＳ）処理を行う。画像ブロックを全て走査したら終了し、補間フレームが得られる。
【００９１】
このように本実施形態では、一致画素数探索の際の閾値の設定に関して、画像ブロック毎に自動的に最適化する手法を提示した。本実施形態によって画像の画像ブロック毎に最適な閾値によって一致画素数探索を行うことができ、画像中のオブジェクトの形にフォーカスした探索を行うことができる。
【００９２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００９３】
【発明の効果】
以上述べたように、本発明によれば補間フレームに画像の隙間や重なりが生じることがなく、さらにブロック歪の発生が少ないフレーム補間方法及び装置並びに画像表示システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示す画像ブロック図
【図２】第１の実施形態におけるフレーム補間の概要を示す図
【図３】第１の実施形態におけるブロック歪の発生を避けるための前提となる技術を説明する図
【図４】二つの参照フレーム上の画像ブロックの領域分割が正しく行われる例を示す図
【図５】二つの参照フレーム上の画像ブロックの領域分割が正しく行われない例を示す図
【図６】第１の実施形態におけるフレーム補間の概略的な処理手順を示すフローチャート
【図７】第１の実施形態における参照フレームの画像ブロック抽出と動き推定処理について説明する図
【図８】第１の実施形態における不一致フィルタについて説明する図
【図９】第１の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図１０】第１の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図１１】第１の実施形態における初期不一致フィルタについて説明する図
【図１２】第１の実施形態における動き推定処理でのイテレーション１の動きベクトル検出処理を説明する図
【図１３】第１の実施形態における動き推定処理でのイテレーション１の一致判定処理を説明する図
【図１４】第１の実施形態における動き推定処理でのイテレーションiteの動きベクトル検出処理を説明する図
【図１５】第１の実施形態における動き推定処理でのイテレーションiteの一致判定処理を説明する図
【図１６】第１の実施形態における動き補償処理の詳細な手順を示すフローチャート
【図１７】第１の実施形態における第１及び第２画像ブロック内に複数の動きが存在して画像ブロックを正しく領域分割できるパターンの例を示す図
【図１８】第１の実施形態における第１及び第２画像ブロック内に複数の動きが存在せず画像ブロックを正しく領域分割できないパターンの例を示す図
【図１９】図１７のパターンに対応する二つの参照フレーム上の画像ブロックの領域分割の例を示す図
【図２０】図１８のパターンに対応する二つの参照フレーム上の画像ブロックの領域分割の例を示す図
【図２１】二つの参照フレーム上の画像ブロックの領域分割の他の例を示す図
【図２２】二つの参照フレーム上の画像ブロックの領域分割の別の例を示す図
【図２３】第１の実施形態における領域分割閾値決定処理の詳細な手順を示すフローチャート
【図２４】本発明の第２の実施形態に係る画像表示システムの構成を示す画像ブロック図
【図２５】第２の実施形態におけるフレーム補間の概要を示すフローチャート
【図２６】第２の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図２７】第２の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図２８】第２の実施形態における動きベクトル探索処理の詳細な手順を示すフローチャート
【符号の説明】
１０…入力画像信号
１１…フレームメモリ
１２…動き推定部
１３…動き探索部
１４…一致判定部
１５…最適閾値決定部
１６…動き補償部
１７…表示部
１８…動きベクトル候補探索部
【発明の属する技術分野】
本発明は、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間するフレーム補間方法及びこれを用いた画像表示システムに関する。
【０００２】
【従来の技術】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ(Motion Picture Experts Group）で用いられている動き補償を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間する方法がある。ＭＰＥＧにおける動き補償では、画像ブロックマッチング法によって検出される動きベクトルが用いられる。画像ブロックマッチング法とは、第１参照フレームを複数の第１画像ブロックに分割し、各第１画像ブロックに対して第１参照フレームに隣接する第２参照フレームから最も相関の高い第２画像ブロックを探索して、第２画像ブロックから第１画像ブロックへの動きベクトルを求める手法である。
【０００４】
このような動き補償を用いる画像ブロックベースのフレーム補間手法では、動き補償によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間で求められた第１動きベクトルを補間フレーム面と第１参照フレーム間の第２動きベクトルに変換するスケール変換と呼ばれる操作を行う。スケール変換により得られた第２動きベクトルを用いて動き補償を行うことにより、補間フレームを生成する。すなわち、第２動きベクトルの終点を第１参照フレーム上に固定し、第１参照フレーム上の該第２動きベクトルの終点が指し示す画像ブロックの画像データを補間フレーム面上の第２動きベクトルの始点が指し示す補間対象ブロックの位置にコピーする。
【０００５】
この手法では、スケール変換によって得られる第２動きベクトルの始点位置は必ずしも補間フレーム面上の本来の補間対象ブロックの位置と一致しないことから、補間フレームに画像データの存在しない隙間ができてしまったり、逆に画像データが重なる領域ができてしまう。
【０００６】
特許２５２８１０３号（特許文献１）には、このような画像の隙間や重なりの生じないフレーム補間の手法が開示されている。この手法では、補間フレーム面上の補間対象ブロックを中心として、幾何対称的に前後の参照フレーム間の相関を求めてフレーム補間を行う。これにより、動きベクトルのスケール変換を行うことなく、最初に求められた動きベクトルを用いてダイレクトに補間フレームを生成することができる。さらに、補間フレーム面上に一様格子の補間対象ブロックを考えるため、補間フレームに画像の隙間や重なりが生じることはない。
【０００７】
【特許文献１】
特許２５２８１０３号
【発明が解決しようとする課題】
特許文献１の手法は、ＭＰＥＧと同様に画像ブロック単位で処理を行う画像ブロックベースの技術であるために、画像ブロック内に複数の動きが存在する場合などに、補間フレーム上に画像ブロック境界においてブロック歪が発生してしまうという問題がある。
【０００８】
例えば、静止している背景上をオブジェクトが左から右に動いている場合、補間フレーム上ではオブジェクトを中心に補間がなされるため、全く別々の背景同士が平均されることによって別の背景がオブジェクトの周りに生じる。この結果、オブジェクトの周りの背景と、さらにその外側の本来の背景の間でギャップが生じ、そのギャップがブロック歪として視認される。
【０００９】
本発明の目的は、補間フレームに画像の隙間や重なりが生じることがなく、さらにブロック歪の発生が少ないフレーム補間方法及び装置並びに画像表示システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの観点によるフレーム補間方法は、（ａ）画像の時間的に隣接する第１参照フレームと第２参照フレームとの間の補間フレーム面を複数の補間対象ブロックに分割するステップと、（ｂ）前記補間フレーム面を複数の補間対象ブロックに分割するステップと、（ｃ）前記補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを求めるステップと、（ｄ）前記第１参照及び第２参照フレームから、前記動きベクトルによって規定される第１及び第２画像ブロックをそれぞれ抽出するステップと、（ｅ）前記第１及び第２画像ブロックの相対応する画素対間の絶対値差分を用いて領域判定閾値を決定するステップと、（ｆ）前記第１及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値より小さい第１領域を抽出するステップと、（ｇ）前記第１及び第２画像ブロックのそれぞれの前記第１領域の画素値から、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームを生成するステップとを備える。
【００１１】
本発明の他の観点によるフレーム補間方法は、（ｈ）前記領域判定閾値を用いて前記第１及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値以上の第２領域を抽出するステップをさらに備え、前記（ｃ）の動きベクトルを求めるステップは、前記第１及び第２画像ブロックのそれぞれの前記第２領域の画素値を用いて再帰的に前記動きベクトルを求める。
【００１２】
本発明の好ましい態様によると、前記領域判定閾値を決定するステップでは、例えば前記絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成し、複数の候補閾値毎に該第３画像ブロック中の該候補閾値より小さい画素値を有する不一致画素について（不一致画素の平均絶対値差分和）／（不一致画素数）を評価関数としてそれぞれ求め、最小の評価関数を与える一つの候補閾値を前記領域判定閾値として決定する。
【００１３】
前記補間画素値を生成するステップでは、例えば前記第１及び第２画像ブロックの前記第１領域内の相対応する画素対の平均画素値を前記補間画素値として生成する。
【００１４】
本発明の一つの態様によるフレーム補間装置は、（ａ）画像の時間的に隣接する第１参照フレームと第２参照フレームとの間の補間フレーム面を分割した複数の補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを求める動き探索部と、前記第１参照及び第２参照フレーム中の前記動きベクトルによって対応付けられる第１及び第２画像ブロックの相対応する画素対間の絶対値差分を用いて領域判定閾値を決定する閾値決定部と、前記第１及び第２画像ブロックの前記絶対値差分が前記領域判定閾値より小さい第１領域の画素値について前記動きベクトルを用いて動き補償を行うことにより、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームを生成する動き補償部とを具備する。
【００１５】
さらに、本発明によると上述のフレーム補間装置により生成された補間フレームと前記第１及び第２参照フレームを画像として表示する画像表示システムが提供される。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態１）
図１に、本発明の第１の実施形態に係る画像表示システムの構成を示す。ここでは、入力画像信号（動画像信号）１０が６０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、これを１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００１７】
本実施形態におけるフレーム補間は、入力画像信号である６０Ｈｚのノンインタレース信号に対して、図２に示すように入力画像信号の時間的に隣接する二つの参照フレームＰ１，Ｐ２間の補間フレーム面（参照フレームＰ１，Ｐ２間の時間的中央位置の面）上に補間フレームＱを内挿補間することにより実現される。
【００１８】
図１において、画像信号１０はフレームメモリ１１と動き推定部１２に入力される。動き推定部１２は、動き探索部１３と一致判定部１４及び最適閾値決定部１５を有する。動き探索部１３では、参照フレームＰ１，Ｐ２間の動きベクトルが探索される。探索された動きベクトルは動き補償部１５に与えられ、動き補償部１５で動きベクトルを用いて動き補償が行われることにより、補間フレームＱが生成される。
【００１９】
一致判定部１４では、参照フレームＰ１の画像ブロックと参照フレームＰ２の画像ブロックとの間で、双方の相対応する画素対の画素値が実質的に一致しているか否かが判定される。画像ブロックは、例えば８画素×８画素のような複数の画素からなる格子状の一様なサイズの小領域である。相対応する画素対とは、二つの画像ブロックにおける、画像ブロック内相対位置が等しい画素位置の画素対をいう。一致判定部１４の判定結果は、動き探索部１３及び最適閾値決定部１５に与えられる。
【００２０】
最適閾値決定部１５では、参照フレームＰ１，Ｐ２のそれぞれの画像ブロックを一致領域（第１領域）と不一致領域（第２領域）とに分割するための最適な閾値（領域判定閾値という）が決定される。領域判定値に従って一致判定部１４により画像ブロック毎に一致領域と不一致領域の領域判定が行われ、この判定結果に従って一致領域と不一致領域との分割が行われる。動き探索部１３、一致判定部１４及び最適閾値決定部１５の処理については、以下に詳しく説明する。
【００２１】
前述した従来の画像ブロックベースのフレーム補間手法における欠点であるブロック歪の発生を防止するために、図３に示す方法が考えられる。参照フレームＰ１及びＰ２をそれぞれ画像ブロックＢ１及びＢ２に分割し、画像ブロックＢ１及びＢ２をさらに一致領域Ｒ１と不一致領域Ｒ２にそれぞれ分割する。画像ブロックＢ１及びＢ２のうち、一致領域Ｒ１の画素に対して動きベクトルを割り当て、不一致領域Ｒ２の画素に対しては再帰的に動きベクトルを探索することによって、別の動きベクトルを割り当てることができるようにする。
【００２２】
ここで、一致領域Ｒ１は画像ブロックＢ１及びＢ２間で画素値が実質的に一致していると見なすことができる画素の領域であり、より詳しくは画像ブロックＢ１及びＢ２の相対応する画素対間の絶対値差分がある領域判定閾値Ｔ１より小さい一致画素の領域である。不一致領域Ｒ２は、画像ブロックＢ１及びＢ２間で双方の画素値が実質的に不一致と見なすことができる画素の領域であり、より詳しくは上記の絶対値差分が領域判定閾値Ｔ１以上である不一致画素の領域である。画像ブロックＢ１及びＢ２の一致領域Ｒ１の画素値を用いて補間画素値を生成し、これを補間フレーム面上の補間対象ブロックにコピーすることによって、補間フレームを生成する。
【００２３】
このような手法によって、ブロック歪の問題を解決することができる。但し、この手法は領域判定閾値Ｔ１の設定の仕方によっては、画像ブロックＢ１及びＢ２の一致領域Ｒ１と不一致領域Ｒ２との分割を適切に行うことができず、全く意味のないものとなってしまう。例えば、図４に示すように画像ブロックＢ１，Ｂ２の相対応する画素対の画素値が比較的近く、絶対値差分の画素で構成される画像ブロックＢ３に対して、領域判定閾値Ｔ１を例えば“５”に設定している場合には、画像ブロックＢ１，Ｂ２を一致領域Ｒ１と不一致領域Ｒ２に正しく分割できる。ここで、相対応する画素対とは画像ブロックＢ１，Ｂ２でブロック内相対位置が等しい画素位置の画素対である。
【００２４】
これに対し、図５に示すように画像ブロックＢ１及びＢ２の相対応する画素対の画素値が比較的かけ離れているときに、画像ブロックＢ３に対して閾値Ｔ１を同じ“５”に設定すると、全て不一致領域Ｒ２という分割結果になってしまい、人間が見た場合の分割状態とはかなり異なった動作となってしまう。
【００２５】
ここで、図５に示すような画像ブロックＢ１，Ｂ２及びＢ３に対して領域判定閾値Ｔ１を“１１”に設定すれば、画像ブロックＢ１，Ｂ２を図４と同じように一致領域Ｒ１と不一致領域Ｒ２に正しく分割できるはずである。このような最適な領域判定閾値を決定する手法は、知られていない。そこで、本実施形態では画像ブロック内の画素値（輝度）の分布（以下、輝度分布という）による閾値の最適化問題を解くことにより、最適な領域判定閾値を動的に画像ブロック毎に決定する手法を提案する。
【００２６】
以下、図６を用いて本実施形態に基づく最適な領域判定閾値決定処理を含むフレーム補間処理の全体的な流れを説明する。まず、図７に示すように補間フレーム面（補間フレームＱが内挿補間される面）を格子状の一様なサイズの小領域（補間対象ブロックという）Ｂ０に分割する（ステップＳ１０１）。次に、ステップＳ１０１で分割した補間対象ブロックＢ０を順次走査し（ステップＳ１０２）、補間対象ブロックＢ０毎に動き推定処理（ステップＳ１０３）及び動き補償処理（ステップＳ１０４）をステップＳ１０５で補間フレーム面上の全補間対象ブロックＢ０の走査が終了したと判断されるまで行う。
【００２７】
ステップＳ１０３では、後述するように動き推定を行い、動きベクトルのグループと不一致フィルタのグループを求める（サブルーチン１）。不一致フィルタは、図８に示すように補間対象ブロックＢ０と同形状かつ同サイズで、“０”か“１”を画素値として持つディジタルフィルタであり、一致画素は“０”、不一致画素は“１”で表現される。ステップＳ１０４では、ステップＳ１０３のサブルーチン１で求められた動きベクトルのグループと不一致フィルタのグループ及び参照フレームＰ１，Ｐ２から、補間フレーム生成のための動き補償を行う。
【００２８】
＜動き推定処理＞
次に、図３中のサブルーチン１であるステップＳ１０３の動き推定処理について説明する。
動き推定処理では、まず参照フレームＰ１，Ｐ２上に設定した動きベクトル探索領域から、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索して動きベクトルを求める（動き探索処理）。
【００２９】
次に、動き探索処理により探索された動きベクトルによって規定される、参照フレームＰ１，Ｐ２上の画像ブロックＢ１，Ｂ２から、最適な領域判定閾値Ｔ１を計算する（最適閾値決定処理）。
【００３０】
次に、領域判定閾値Ｔ１に従って、画像ブロックＢ１，Ｂ２内の相対応する画素対の画素値の絶対値差分から画素毎に一致・不一致判定を行って、前述の不一致フィルタを生成する（一致判定処理）。
【００３１】
最後に、不一致フィルタを用いて不一致とされた画素（不一致画素）のみから再帰的に動きベクトルを探索する処理を行う。
【００３２】
図９及び図１０を参照して、上述した動き推定処理の詳細な手順について説明する。
まず。イテレーションを開始する。イテレーション変数をiteとし、補間対象ブロックＢ０と同形状かつ同サイズのディジタルフィルタを不一致フィルタとして、図１１に示すように初期イテレーションの不一致フィルタ[0]に全て不一致画素であることを示す“１”を代入する（ステップＳ２０１）。[α]は、イテレーションα（ite＝α）であることを示す。反復的に何回もイテレーションを繰り返し処理を行うが、ここでは最初にイテレーション１（ite＝1）を考える。
【００３３】
図７に示したように、補間フレーム面上の補間対象ブロックＢ０を中心として、幾何対称的に参照フレームＰ１上の画像ブロックと参照フレームＰ２上の画像ブロックの探索を行うことにより、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索し、該画像ブロック対間の動きベクトル[1]を求める（ステップＳ２０２）。相関度演算の際には、図１２に示すように不一致フィルタ内の値が“１”である不一致画素のみについて演算を行うが、イテレーション１では不一致フィルタ[0]は全画素値が“１”であるので、画像ブロックの全画素について相関度演算を行う。参照フレームＰ１，Ｐ２から、動きベクトル[1]で規定される画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ２０３）。
【００３４】
次に、サブルーチン３として画像ブロックＢ１と画像ブロックＢ２の相対応する画素対間の画素値の絶対値差分から、輝度分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ２０４）。領域判定閾値の決定処理については、後に詳しく説明する。
【００３５】
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ２０５）、一致判定処理を行う。一致判定処理では、図１３に示すように動きベクトル[1]によって規定される参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素位置（画像ブロック内相対位置が等しい画素位置）の画素対間の画素値の絶対値差分を求める（ステップＳ２０６）。
【００３６】
次に、絶対値差分を閾値Ｔ１と比較し（ステップＳ２０７）。絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[1]に“０”を代入する（ステップＳ２０８）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[1]に“１”を代入する（ステップＳ２０９）。ステップＳ２０６〜Ｓ２０９の処理をステップＳ２１０で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００３７】
一致判定処理の終了後、不一致フィルタ[1]と不一致フィルタ[0]の論理積をとり、その論理積を新たな不一致フィルタ[1]とする（ステップＳ２１１）。以上でイテレーション１が終了し、再帰的に動きベクトル推定処理に戻る。
【００３８】
すなわち、iteを一つ増加させ（ステップＳ２１２）、iteがｎ（任意の整数）を越えたならば（ステップＳ２１３でＹＥＳ）反復処理を終了し、それ以外の場合はステップＳ２０２に戻り、動きベクトル推定処理を繰り返す。
【００３９】
ステップＳ２１２以降の動きベクトル推定処理では、図７に示したように補間フレーム面上の補間対象ブロックＢ０を中心として幾何対称的に参照フレームＰ１上の画像ブロックと参照フレームＰ２上の画像ブロックの探索を行うことにより、最も相関度の高い画像ブロックＢ１，Ｂ２の対を探索し、該画像ブロック対間の動きベクトル[ite]を求める（ステップＳ２０２）。相関度演算の際には、図１４に示すように不一致フィルタ[ite-1]内の画素値が“１”の画素についてのみ相関度演算を行う。参照フレームＰ１，Ｐ２から、動きベクトル[ite]で規定される画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ２０３）。
【００４０】
次に、サブルーチン３として画像ブロックＢ１と画像ブロックＢ２から、画素値（輝度）の分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ２０４）。
【００４１】
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ２０５）、一致判定処理を行う。一致判定処理では、図１５に示すように動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素対間の絶対値差分を求める（ステップＳ２０６）。
【００４２】
次に、絶対値差分を領域判定閾値Ｔ１と比較し（ステップＳ２０７）、絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[ite]に０を代入する（ステップＳ２０８）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[ite]に“１”を代入する（ステップＳ２０９）。ステップＳ２０６〜Ｓ２０９の処理をステップＳ２１０で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００４３】
一致判定処理の終了後、不一致フィルタ[ite]と不一致フィルタ[ite-1]の論理積をとり、その論理積を不一致フィルタ[ite]とする（ステップＳ２１１）。次に、iteを一つ増加させ（ステップＳ２１２）、ステップＳ２１３でiteがｎ（任意の整数）を越えたならば反復処理を終了し、それ以外の場合はステップＳ２０１に戻り、動きベクトル推定処理を行う。反復処理が終了した時点で、動きベクトルのグループ（動きベクトル[i](i＝1,…,n)）、不一致フィルタのグループ（不一致フィルタ[i](i＝1,…,n)）が得られる。
【００４４】
＜動き補償処理＞
次に、図１６を用いて図３中のサブルーチン２であるステップＳ１０４の動き補償処理について説明する。
まず、初期値としてイテレーション変数iteを１とする（ステップＳ３０１）。補間フレーム面上の補間対象ブロックＢ０を中心として、動きベクトル[ite]によって規定される、参照フレームＰ１，Ｐ２上の幾何点対称位置にある画像ブロックＢ１，Ｂ２をそれぞれ抽出する（ステップＳ３０２，Ｓ３０３）。
【００４５】
画像ブロック内の画素の走査を開始し（ステップＳ３０５）、画像ブロックＢ１，Ｂ２の相対応する画素対の画素値の平均値（平均画素値）を求める（ステップＳ３０６）。ここで不一致フィルタ[ite]の値を調べ（ステップＳ３０７）、不一致フィルタ[ite]の値が“０”であったなら、補間フレーム面上の不一致フィルタ[ite]の値“０”に対応する画素位置に当該平均画素値を補間画素値としてコピーする（ステップＳ３０８）。不一致フィルタ[ite]の値が１であるときは、コピーを行わない。
【００４６】
ステップＳ３０９によって画像ブロック内の全画素が走査したと判定されるまで、ステップＳ３０７〜Ｓ３０８の処理を繰り返す。この後、イテレーション変数iteを１つ増加させ（ステップＳ３１０）、iteがｎを越えた場合は（ステップＳ３１１でＹＥＳ）反復処理を終了し、それ以外の場合はステップＳ３０２に戻る。
【００４７】
反復処理が終了したら、図６中のステップＳ１０１により得られた補間対象ブロックＢ０の全てを走査するまで図９中のステップＳ２０１から図１６中のステップＳ２１３までの処理を行い、補間対象ブロックＢ０を全て走査したら動き補償処理を終了することにより、補間フレームＱが生成される。生成された補間フレームＱは図１中に示した表示部１７に送られ、フレームメモリ１１からの参照フレームＰ１と参照フレームＰ２との間の補間フレーム面に内挿補間されることにより、参照フレームＰ１，Ｐ２と共に画像として表示される。
【００４８】
＜領域判定閾値決定処理＞
次に、図９中のステップＳ２０４での領域判定閾値決定処理について詳しく説明する。
図４及び図５で説明したように、画像ブロックＢ１及びＢ２のそれぞれを一致領域Ｒ１と不一致領域Ｒ２とに分割するための領域判定閾値によって、一致領域内の画素数（一致画素数という）と一致領域内の一致画素の平均ＳＡＤ（Sum of Absolute Difference：絶対値差分和）は変化する。言い換えれば、一致画素数と平均ＳＡＤ（平均絶対値差分）は閾値による関数と見なすことができる。従って、一致画素数と平均ＳＡＤを用いて評価関数を定めれば、その評価関数に従って最適な領域判定閾値Ｔを決定することができる。これは領域判定閾値の候補（候補閾値と呼ぶ）に対する最適化問題と考えられる。
【００４９】
候補閾値をＴとすると、Ｔが大きくなるほど一致画素数も大きくなり、Ｔ＞“255”のとき一致画素数は最大、つまり画像ブロック全体が一致画素となる。平均ＳＡＤも、候補閾値Ｔが大きくなるほど値が大きくなる。ここで、一致画素数は値が大きい方が評価が高いのに対して、平均ＳＡＤは逆に値が小さいほど評価が高い。そのため、単純に一致画素数と平均ＳＡＤの和をとって評価関数としても、それは候補閾値Ｔの評価には有効に働かない。そこで、次式のような評価関数を考えてみる。
【００５０】
【数１】
【００５１】
数式（１）に従って実際の評価関数は、例えば以下のように設計する。
【００５２】
【数２】
【００５３】
従って、最適化問題は以下のように評価関数Ｅに対する候補閾値Ｔの最小化問題を解くことに帰着できる。
【００５４】
【数３】
【００５５】
【数４】
【００５６】
ここでは、１次元の黄金分割法を用いる。黄金分割法は最もベーシックな手法であり、勾配を用いない。この手法の最小化の概要は、次の通りである。まず、各段階で囲い込みの３点が与えられたとき、次に試す点は中央の点から広い方の区間にその0.38197倍（黄金分割比）だけ進んだ点である。最初の３点が黄金分割比になっていなくとも、大きい方の区間に黄金分割比で点を選ぶことを繰り返せば、すぐにこの自己複製的な比に収束し、任意の精度まで反復を繰り返すことにより最小点が求められる。これが１次元の黄金分割法である。
【００５７】
数式（２）から、評価関数は
【００５８】
【数５】
【００５９】
ここで、本実施形態では上述の評価関数が最小となる候補閾値Ｔの値Ｔoptを最適な領域判定閾値Ｔ１として決定する。
評価関数が下に凸の関数となるのは、Ｔ≦Ｔoptのときに分母の増分が分子の増分を上回っており、Ｔ＞Ｔoptのときに分子の増分が分母の増分を上回っているときである。これは一致画素領域が一様に低い差分値で構成されているとき、つまり画像ブロック内に複数の動きが存在して画像ブロックが完全に分割可能なときに達成することができる。すなわち、Ｔ≦Ｔoptのときに一致画素領域が一様に低い差分値ということは、評価関数の分子の増分が小さいということを意味するため、相対的に分母の増分が分子のそれを上回ることになり、結果的に評価関数は下に凸の関数となる。
【００６０】
図１７は、画像ブロック内に複数の動きが存在することにより、画像ブロックが一致領域と不一致領域に分割可能なパターンにおける、候補閾値Ｔに対する一致画素数（Num）、平均ＳＡＤ（Ave）及び評価関数Ｅの変化を表すシミュレーション結果である。この場合、画像ブロック内には二つの動きが存在しているために、画像ブロックを一方の動きに一致した一致領域とそれ以外の不一致領域に容易に分割することができる。図１７に示されるように、評価関数Ｅは下に凸の関数となっている。
【００６１】
一方、画像ブロック内に複数の動きが存在せず、画像ブロックが一致領域と不一致領域に分割されない一様なパターンにおける、図１７と同様のシミュレーション結果は図１８に示される。評価関数Ｅの関数形を見ると微妙ではあるが、ほとんど下に凸とは言えない関数形となっていることが分かる。なお、図１７及び１８において候補閾値Ｔの値は横軸に、一致画素数（Num）及び評価関数Ｅの値は左側の縦軸に、平均ＳＡＤ（Ave）の値は右側の縦軸にそれぞれ示されている。
【００６２】
固定された領域判定閾値を用いると、図４に示したように領域分割を正しくできたり、図５に示したように正しく行うことができなかったりすることは、前述の通りである。これに対し、本実施形態に従って最適な領域判定閾値Ｔ１を決定して領域分割を行うと、図１９及び図２０に示すように常に正しく領域分割を行うことができる。
【００６３】
図１９は、図１７のシミュレーション結果に対応して評価関数Ｅが最小となる候補閾値ＴOPT（Ｔ＝6.18967）を領域判定閾値Ｔ１としたときの領域分割の様子を示している。同様に、図２０は図１８のシミュレーション結果に対応して評価関数Ｅが最小となる候補閾値ＴOPT（Ｔ＝15.1303）を領域判定閾値Ｔ１としたときの領域分割の様子を示している。いずれの場合も、画像ブロックの輝度分布に応じて領域分割が適切に行われていることが分かる。
【００６４】
一方、図２１は画像ブロックＢ１，Ｂ２の相対応する画素対の画素値が図４の場合よりさらに近い場合で、絶対値差分の画素で構成される画像ブロックＢ３に対して、領域判定閾値Ｔ１を“５”に設定した場合の領域分割の様子を示している。この場合、不一致画素が点在して不一致領域が分離された状態でノイズ状になってしまう。
【００６５】
これに対し、本実施形態に従って評価関数Ｅが最小となる候補閾値ＴOPTを求めると、例えばＴopt＝99.3978のように非常に大きな値となり、これを領域判定閾値Ｔ１とすると図２１に示すように画像ブロックＢ３は一致領域と不一致領域に分割されない。しかし、このような画素値の変化の少ない一様パターンの画像ブロックＢ３であれば、画像ブロックＢ３内を一致領域と不一致領域に分割する必要はそもそもないため、Ｔoptが大きな値となっていたとしても問題はない。
【００６６】
次に、図２３を用いて上述した領域判定閾値決定処理の具体的な手順について説明する。
まず、画像ブロックＢ１，Ｂ２の相対応する画素対間の絶対値差分を求め、絶対値差分を画素値として持つ絶対値差分の画像ブロックＢ３を求める（ステップＳ４０１）。
【００６７】
最小値探索の３点の初期値ｘａ，ｘｂ，ｘｃを求める（ステップＳ４０２）。ｘａ＝１、ｘｂ＝画像ブロックＢ３の画素値の平均値（平均画素値）、ｘｃ＝２５６である。
【００６８】
ｘａ，ｘｂ，ｘｃを初期値とする１次元の最小化手法によって、数式（２）に示した評価関数Ｅを最小とする閾値Ｔ１minを求める（ステップＳ４０３）。
【００６９】
次に、閾値Ｔ１minの範囲調整を行う。Ｔ１min＜１であればＴ１min＝１とし、Ｔ１min＞２５６であればＴ１min＝２５６とする（ステップＳ４０４，Ｓ４０５，Ｓ４０６，Ｓ４０７）。範囲調整後のＴ１minを最適な領域判定閾値Ｔ１として出力する（ステップＳ４０８）。
【００７０】
上述したように、本実施形態によると画像ブロック内の輝度分布に応じた最適化問題（数式（３））を設定して、それを１次元の最小化問題に帰着させることにより、簡単な手順で最適な領域判定閾値を決定できる。このようにして決定された領域判定閾値を用いて、画像ブロックＢ１，Ｂ２を一致領域Ｒ１と不一致領域Ｒ２に分割した後、一致領域の画素値を補間画素値として動き補償処理により補間対象ブロックＢ０にコピーする。これにより画像の隙間や重なりが生じることがなく、しかもブロック歪の発生が少ない補間フレームＱを生成してフレーム補間を行うことが可能となる。
【００７１】
（第２の実施形態）
図２４に示されるように、本発明の第２の実施形態に係る画像表示システムでは、図１に示した画像表示システムに対して動きベクトル候補探索部１８が追加されている。動きベクトル候補探索部１８は、最適閾値決定部１５で最適な領域判定閾値を設定する際に用いられる動きベクトルの候補を探索する。
【００７２】
動きベクトルの探索の際に、評価関数としてＳＡＤ以外に例えば以下のような一致画素数和（Sum of Agreement Pixels、以下ＳＡＰ）を用いることができる。
【００７３】
【数６】
【００７４】
図２５に、本実施形態における最適な領域判定閾値決定処理を含むフレーム補間処理の全体的な流れを示す。第１の実施形態と同様に、補間フレーム面を格子状の一様なサイズの小領域（補間対象ブロック）Ｂ０に分割し（ステップＳ５０１）、各補間対象ブロックＢ０を順次走査し（ステップＳ５０２）、補間対象ブロックＢ０毎に動き推定処理（ステップＳ５０３）及び動き補償処理（ステップＳ５０４）をステップＳ５０５で補間フレーム面上の全補間対象ブロックＢ０の走査が終了したと判断されるまで行う。ステップＳ５０３の動き推定処理に含まれる最適閾値決定処理とステップＳ５０４の動き補償処理は、第１の実施形態と同様である。
【００７５】
＜動き推定処理＞
以下、図２５中のサブルーチン４であるステップＳ５０３の動き推定処理について説明する。動き推定処理では、まず参照フレームＰ１，Ｐ２上に設定した動きベクトル探索領域から、相関度の高い画像ブロックの対を探索し、相関度の高い順に動きベクトル候補を求める（動きベクトル候補探索処理）。
【００７６】
次に、最も相関度の高い動きベクトル候補によって規定される、参照フレームＰ１，Ｐ２上の画像ブロックから、最適な動きベクトル判定閾値Ｔ２を計算する（最適閾値決定処理）。
【００７７】
次に、動きベクトル判定閾値Ｔ２を用いて数式（６）に示した一致画素数和ＳＡＰによって、動きベクトル候補の中から最も相関度の高い動きベクトルを探索する（動きベクトル探索処理）。
【００７８】
次に、探索された動きベクトルによって規定される画像ブロックから、最適な領域判定閾値Ｔ１を計算する（最適閾値決定処理）。
【００７９】
次に、領域判定閾値Ｔ１を用いて第１の実施形態と同様に画像ブロック内の相対応する画素対の画素値の絶対値差分から画素毎に一致・不一致判定を行って、前述の不一致フィルタを生成する（一致判定処理）。この不一致フィルタを用いて、不一致とされた画素（不一致画素）のみから再帰的に動きベクトルを探索する処理を行う。
【００８０】
図２６及び図２７を参照して、上述した動き推定処理の詳細な手順について説明する。イテレーションを開始する。イテレーション変数をiteとし、補間対象ブロックＢ０と同形状かつ同サイズのディジタルフィルタを不一致フィルタとして、図１１に示すように初期イテレーションの不一致フィルタ[0]に全て“１”を代入する（ステップＳ６０１）。[α]は、イテレーションα（ite＝α）であることを示す。反復的に何回もイテレーションを繰り返し処理を行うが、ここでは最初にイテレーション１（ite＝1）を考える。
【００８１】
（動きベクトル候補推定処理）
次に、図７に示したように、補間フレーム面上の補間対象ブロックＢ０を中心として、幾何対称的に参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２の探索を行うことにより、最も相関度の高い画像ブロック対を探索し、相関度の高い順に動きベクトル候補[ite]を求める（ステップＳ６０２）。ここでの相関度演算の際には、ＳＡＤなどを用いることができる。相関度演算の際には、図１２に示したように不一致フィルタ[ite-1]の値が“１”の画素のみについて演算を行う。
【００８２】
（最適閾値決定処理：サブルーチン３）
次に、最も相関度の高い動きベクトル候補によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２を抽出し（ステップＳ６０３）、これらの画像ブロックＢ１，Ｂ２から輝度分布に応じた最適な動きベクトル判定閾値Ｔ２を決定する（ステップＳ６０４）。
【００８３】
（動きベクトル探索処理：サブルーチン５）
ステップＳ６０５により求められた動きベクトル候補の中から、動きベクトル判定閾値Ｔ２を設定した一致画素数探索を行い、最も相関度の高い動きベクトル[ite]を求める（ステップＳ６０５）。
【００８４】
（最適閾値決定処理：サブルーチン３）
動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２を抽出し（ステップＳ６０６）、これらのブロックＢ１，Ｂ２から輝度分布に応じた最適な領域判定閾値Ｔ１を決定する（ステップＳ６０６）。
【００８５】
（一致判定処理）
次に、画像ブロックＢ１，Ｂ２内の走査を開始し（ステップＳ６０８）、一致判定処理を行う。一致判定処理では、図１５に示すように動きベクトル[ite]によって規定される、参照フレームＰ１上の画像ブロックＢ１と参照フレームＰ２上の画像ブロックＢ２について、相対応する画素対間の絶対値差分を求める（ステップＳ６０９）。
【００８６】
次に、絶対値差分を領域判定閾値Ｔ１と比較し（ステップＳ６１０）、絶対値差分が閾値Ｔ１より小さい場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は一致画素対であるとして、不一致フィルタ[ite]に“０”を代入する（ステップＳ６１１）。絶対値差分が閾値Ｔ１以上の場合には、画像ブロックＢ１，Ｂ２の相対応する画素対は不一致画素対であるとして、不一致フィルタ[ite]に“１”を代入する（ステップＳ６１２）。ステップＳ６０９〜Ｓ６１２の処理をステップＳ６１３で画像ブロック内の全画素が走査されたと判定されるまで繰り返すことにより、一致判定処理を終了する。
【００８７】
一致判定処理の終了後、不一致フィルタ[ite]と不一致フィルタ[ite-1]の論理積をとり、その論理積を不一致フィルタ[ite]とする（ステップＳ６１４）。次に、iteを一つ増加させ（ステップＳ６１５）、ステップＳ６１６でiteがｎ（任意の整数）を越えたならば反復処理を終了し、それ以外の場合はステップＳ６０１に戻り、動きベクトル推定処理を行う。反復処理が終了した時点で、動きベクトルのグループ（動きベクトル[i](i＝1,…,n)）、不一致フィルタのグループ（不一致フィルタ[i](i＝1,…,n)）が得られる。
【００８８】
＜動きベクトル探索処理＞
次に、図２８を用いて動きベクトル探索処理について説明する。まず、ステップＳ７０１で動きベクトル候補探索ループを設定し（ループ変数：ｉ）、動きベクトル候補[i]によって規定される参照フレームＰ１，Ｐ２上の画像ブロック対を抽出する（ステップＳ７０２）。
【００８９】
不一致フィルタ[ite-1]に従って不一致フィルタ[ite-1]が“１”の画素についてのみブロック間の差分値を計算する（ステップＳ７０３）。動きベクトル判定閾値Ｔ２を用いて一致画素数を求め（ステップＳ７０４）、動きベクトル候補のうち一致画素数の最も大きい候補を動きベクトル[ite]とする（ステップＳ７０６）。
【００９０】
反復処理が終了した場合、図２３中のステップＳ４０１において分割した補間対象ブロックＢ０の全てが走査されるまで（ステップＳ７０５でＹＥＳ）処理を行う。画像ブロックを全て走査したら終了し、補間フレームが得られる。
【００９１】
このように本実施形態では、一致画素数探索の際の閾値の設定に関して、画像ブロック毎に自動的に最適化する手法を提示した。本実施形態によって画像の画像ブロック毎に最適な閾値によって一致画素数探索を行うことができ、画像中のオブジェクトの形にフォーカスした探索を行うことができる。
【００９２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００９３】
【発明の効果】
以上述べたように、本発明によれば補間フレームに画像の隙間や重なりが生じることがなく、さらにブロック歪の発生が少ないフレーム補間方法及び装置並びに画像表示システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示す画像ブロック図
【図２】第１の実施形態におけるフレーム補間の概要を示す図
【図３】第１の実施形態におけるブロック歪の発生を避けるための前提となる技術を説明する図
【図４】二つの参照フレーム上の画像ブロックの領域分割が正しく行われる例を示す図
【図５】二つの参照フレーム上の画像ブロックの領域分割が正しく行われない例を示す図
【図６】第１の実施形態におけるフレーム補間の概略的な処理手順を示すフローチャート
【図７】第１の実施形態における参照フレームの画像ブロック抽出と動き推定処理について説明する図
【図８】第１の実施形態における不一致フィルタについて説明する図
【図９】第１の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図１０】第１の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図１１】第１の実施形態における初期不一致フィルタについて説明する図
【図１２】第１の実施形態における動き推定処理でのイテレーション１の動きベクトル検出処理を説明する図
【図１３】第１の実施形態における動き推定処理でのイテレーション１の一致判定処理を説明する図
【図１４】第１の実施形態における動き推定処理でのイテレーションiteの動きベクトル検出処理を説明する図
【図１５】第１の実施形態における動き推定処理でのイテレーションiteの一致判定処理を説明する図
【図１６】第１の実施形態における動き補償処理の詳細な手順を示すフローチャート
【図１７】第１の実施形態における第１及び第２画像ブロック内に複数の動きが存在して画像ブロックを正しく領域分割できるパターンの例を示す図
【図１８】第１の実施形態における第１及び第２画像ブロック内に複数の動きが存在せず画像ブロックを正しく領域分割できないパターンの例を示す図
【図１９】図１７のパターンに対応する二つの参照フレーム上の画像ブロックの領域分割の例を示す図
【図２０】図１８のパターンに対応する二つの参照フレーム上の画像ブロックの領域分割の例を示す図
【図２１】二つの参照フレーム上の画像ブロックの領域分割の他の例を示す図
【図２２】二つの参照フレーム上の画像ブロックの領域分割の別の例を示す図
【図２３】第１の実施形態における領域分割閾値決定処理の詳細な手順を示すフローチャート
【図２４】本発明の第２の実施形態に係る画像表示システムの構成を示す画像ブロック図
【図２５】第２の実施形態におけるフレーム補間の概要を示すフローチャート
【図２６】第２の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図２７】第２の実施形態における動き推定処理の詳細な手順を示すフローチャート
【図２８】第２の実施形態における動きベクトル探索処理の詳細な手順を示すフローチャート
【符号の説明】
１０…入力画像信号
１１…フレームメモリ
１２…動き推定部
１３…動き探索部
１４…一致判定部
１５…最適閾値決定部
１６…動き補償部
１７…表示部
１８…動きベクトル候補探索部
Claims (8)
- 画像の時間的に隣接する第１参照フレームと第２参照フレームとの間に補間フレームを内挿補間するフレーム補間方法において、
前記補間フレームを複数の補間対象ブロックに分割するステップと、
前記補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを順次探索するステップと、
前記第１参照フレーム及び第２参照フレームから、前記動きベクトルによって規定される第１画像ブロック及び第２画像ブロックをそれぞれ抽出するステップと、
前記第１画像ブロック及び第２画像ブロックの相対応する画素対間の絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成するステップと、
前記第３画像ブロック中の候補閾値より小さい画素値を有する一致画素について（一致画素の絶対値差分の平均値）／（一致画素数）を評価関数として求めるステップと、
前記（一致画素の絶対値差分の平均値）／（一致画素数）に対する前記候補閾値の最適化問題を解くことにより領域判定閾値を決定するステップと、
前記第１画像ブロック及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値より小さい第１領域、及び前記絶対値差分が前記領域判定閾値以上の第２領域を抽出するステップと、
前記第１画像ブロック及び第２画像ブロックのそれぞれの前記第１領域の画素値から、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームの画像を生成するステップとを備え、
前記動きベクトルを順次探索するステップは、さらに前記補間対象ブロック上の前記第２領域に対応する領域についての前記動きベクトルを探索することを特徴とするフレーム補間方法。 - 前記補間フレームの画像を生成するステップは、
前記第１画像ブロック及び第２画像ブロックのそれぞれの前記第１領域の画素値を用いて補間画素値を生成するステップと、
前記補間画素値を前記補間対象ブロックにコピーすることにより前記補間フレームの画像を生成するステップとを含む請求項１に記載のフレーム補間方法。 - 前記補間画素値を生成するステップは、前記第１画像ブロック及び第２画像ブロックの前記第１領域内の相対応する画素対の平均画素値を前記補間画素値として生成する請求項２に記載のフレーム補間方法。
- 画像の時間的に隣接する第１参照フレームと第２参照フレームとの間に補間フレームを内挿補間するフレーム補間装置において、
前記補間フレームを分割した複数の補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを順次探索する動き探索部と、
前記第１参照フレーム及び第２参照フレーム中の前記動きベクトルによって対応付けられる第１画像ブロック及び第２画像ブロックの相対応する画素対間の絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成し、該第３画像ブロック中の候補閾値より小さい画素値を有する一致画素について（一致画素の絶対値差分の平均値）／（一致画素数）を評価関数として求め、前記（一致画素の絶対値差分の平均値）／（一致画素数）に対する前記候補閾値の最適化問題を解くことにより領域判定閾値を決定する閾値決定部と、
前記第１画像ブロック及び第２画像ブロックのそれぞれの前記絶対値差分が前記領域判定閾値より小さい第１領域の画素値について前記動きベクトルを用いて動き補償を行うことにより、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームの画像を生成する動き補償部とを具備し、
前記動き探索部は、さらに前記補間対象ブロック上の、前記第１画像ブロック及び第２画像ブロックのそれぞれの前記絶対値差分が前記領域判定閾値以上の第２領域に対応する領域についての前記動きベクトルを探索することを特徴とするフレーム補間装置。 - 前記動き補償部は、前記第１画像ブロック及び第２画像ブロックのそれぞれの前記第１領域の画素値を用いて補間画素値を生成し、前記補間画素値を前記補間対象ブロックにコピーすることにより前記補間フレームの画像を生成することを特徴とする請求項４に記載のフレーム補間装置。
- 前記動き補償部は、前記第１画像ブロック及び第２画像ブロックの前記第１領域内の相対応する画素対の平均画素値を前記補間画素値として生成する請求項５に記載のフレーム補間装置。
- 画像の時間的に隣接する第１参照フレームと第２参照フレームとの間に補間フレームを内挿補間するフレーム補間処理をコンピュータに行わせるためのプログラムであって、
前記補間フレームを複数の補間対象ブロックに分割する処理と、
前記補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを順次探索する処理と、
前記第１参照フレーム及び第２参照フレームから、前記動きベクトルによって規定される第１画像ブロック及び第２画像ブロックをそれぞれ抽出する処理と、
前記第１画像ブロック及び第２画像ブロックの相対応する画素対間の絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成する処理と、
前記第３画像ブロック中の候補閾値より小さい画素値を有する一致画素について（一致画素の絶対値差分の平均値）／（一致画素数）を評価関数として求める処理と、
前記（一致画素の絶対値差分の平均値）／（一致画素数）に対する前記候補閾値の最適化問題を解くことにより領域判定閾値を決定する処理と、
前記第１画像ブロック及び第２画像ブロックから、前記絶対値差分が前記領域判定閾値より小さい第１領域、及び前記絶対値差分が前記領域判定閾値以上の第２領域を抽出する処理と、
前記第１画像ブロック及び第２画像ブロックのそれぞれの前記第１領域の画素値から、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームの画像を生成する処理とを含み、
前記動きベクトルを探索する処理は、さらに前記補間対象ブロック上の前記第２領域に対応する領域についての前記動きベクトルを探索することを特徴とするフレーム補間処理をコンピュータに行わせるためのプログラム。 - 画像の時間的に隣接する第１参照フレームと第２参照フレームとの間の補間フレームを分割した複数の補間対象ブロック毎に、該補間対象ブロックを中心として幾何対称的に前記第１参照フレームと前記第２参照フレームとの間の動きベクトルを順次探索する動き探索部と、
前記第１参照フレーム及び第２参照フレーム中の前記動きベクトルによって対応付けられる第１画像ブロック及び第２画像ブロックの相対応する画素対間の絶対値差分を画素値として持つ複数の画素を含む第３画像ブロックを生成し、該第３画像ブロック中の候補閾値より小さい画素値を有する一致画素について（一致画素の絶対値差分の平均値）／（一致画素数）を評価関数として求め、前記（一致画素の絶対値差分の平均値）／（一致画素数）に対する前記候補閾値の最適化問題を解くことにより領域判定閾値を決定する閾値決定部と、
前記第１画像ブロック及び第２画像ブロックのそれぞれの前記絶対値差分が前記領域判定閾値より小さい第１領域の画素値について前記動きベクトルを用いて動き補償を行うことにより、前記補間対象ブロック上の前記第１領域に対応する領域の画素値を求めて前記補間フレームの画像を生成する動き補償部と、
前記補間フレームの画像と第１参照フレーム及び第２参照フレームの画像を表示する表示部とを具備し、
前記動き探索部は、さらに前記補間対象ブロック上の、前記第１画像ブロック及び第２画像ブロックのそれぞれの前記絶対値差分が前記領域判定閾値以上の第２領域に対応する領域についての前記動きベクトルを探索することを特徴とする画像表示システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003155463A JP4080951B2 (ja) | 2003-05-30 | 2003-05-30 | フレーム補間方法及び装置並びに画像表示システム |
| US10/855,617 US7375762B2 (en) | 2003-05-30 | 2004-05-28 | Frame interpolation method and apparatus, and image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003155463A JP4080951B2 (ja) | 2003-05-30 | 2003-05-30 | フレーム補間方法及び装置並びに画像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004357215A JP2004357215A (ja) | 2004-12-16 |
| JP4080951B2 true JP4080951B2 (ja) | 2008-04-23 |
Family
ID=34049822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003155463A Expired - Fee Related JP4080951B2 (ja) | 2003-05-30 | 2003-05-30 | フレーム補間方法及び装置並びに画像表示システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7375762B2 (ja) |
| JP (1) | JP4080951B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7280753B2 (en) | 2003-09-03 | 2007-10-09 | Canon Kabushiki Kaisha | Display apparatus, image processing apparatus, and image processing system |
| JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| JP2006260527A (ja) * | 2005-02-16 | 2006-09-28 | Toshiba Corp | 画像マッチング方法およびこれを用いた画像補間方法 |
| JP4398925B2 (ja) | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
| US7728909B2 (en) * | 2005-06-13 | 2010-06-01 | Seiko Epson Corporation | Method and system for estimating motion and compensating for perceived motion blur in digital video |
| US7710458B2 (en) * | 2005-06-17 | 2010-05-04 | Casio Computer Co., Ltd. | Image pick-up apparatus with a shake reducing function |
| JP4064413B2 (ja) * | 2005-06-27 | 2008-03-19 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| JP4398919B2 (ja) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| GB2431803A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Alias avoidance in image processing |
| EP1977395B1 (en) | 2006-01-27 | 2018-10-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| JP4417918B2 (ja) | 2006-03-30 | 2010-02-17 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| CN102685533B (zh) | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
| JP2008011158A (ja) * | 2006-06-29 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動きベクトル探索方法及び動きベクトル探索装置 |
| JP4322904B2 (ja) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
| US8218632B2 (en) | 2006-09-20 | 2012-07-10 | Mitsubishi Electric Corporation | Frame interpolation apparatus and frame interpolation method |
| JP4991360B2 (ja) * | 2007-03-27 | 2012-08-01 | 三洋電機株式会社 | フレームレート変換装置および映像表示装置 |
| US8433159B1 (en) * | 2007-05-16 | 2013-04-30 | Varian Medical Systems International Ag | Compressed target movement model using interpolation |
| JP5052223B2 (ja) | 2007-06-26 | 2012-10-17 | 三菱電機株式会社 | 画像表示装置、画像処理回路および画像表示方法 |
| US20090207314A1 (en) * | 2008-02-14 | 2009-08-20 | Brian Heng | Method and system for motion vector estimation using a pivotal pixel search |
| US20090225227A1 (en) * | 2008-03-05 | 2009-09-10 | Panasonic Corporation | Motion vector detecting device |
| JP4384231B2 (ja) | 2008-03-28 | 2009-12-16 | 株式会社東芝 | 動き予測装置 |
| EP2114068A1 (en) * | 2008-04-30 | 2009-11-04 | Sony Corporation | Method for converting an image and image conversion unit |
| JP5219608B2 (ja) * | 2008-05-01 | 2013-06-26 | キヤノン株式会社 | フレームレート変換装置、方法及びプログラム |
| JP5219609B2 (ja) * | 2008-05-01 | 2013-06-26 | キヤノン株式会社 | フレームレート変換装置、方法及びプログラム |
| US8811484B2 (en) * | 2008-07-07 | 2014-08-19 | Qualcomm Incorporated | Video encoding by filter selection |
| US20100092101A1 (en) * | 2008-10-09 | 2010-04-15 | Chin-Chuan Liang | Methods and apparatus for enhancing image quality of motion compensated interpolation |
| JP5202246B2 (ja) * | 2008-11-20 | 2013-06-05 | キヤノン株式会社 | 動画像処理装置、及び方法、プログラム |
| US8711943B2 (en) * | 2011-07-21 | 2014-04-29 | Luca Rossato | Signal processing and tiered signal encoding |
| TWI606418B (zh) * | 2012-09-28 | 2017-11-21 | 輝達公司 | 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法 |
| JP6223899B2 (ja) * | 2014-04-24 | 2017-11-01 | 株式会社東芝 | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 |
| CN104917931B (zh) * | 2015-05-28 | 2018-03-02 | 京东方科技集团股份有限公司 | 运动图像补偿方法及装置、显示装置 |
| US10523961B2 (en) | 2017-08-03 | 2019-12-31 | Samsung Electronics Co., Ltd. | Motion estimation method and apparatus for plurality of frames |
| US10817996B2 (en) * | 2018-07-16 | 2020-10-27 | Samsung Electronics Co., Ltd. | Devices for and methods of combining content from multiple frames |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0236519B1 (en) | 1986-03-08 | 1989-06-07 | ANT Nachrichtentechnik GmbH | Motion compensating field interpolation method using a hierarchically structured displacement estimator |
| JP3529432B2 (ja) * | 1994-06-30 | 2004-05-24 | 株式会社東芝 | 動画像符号化／復号化装置 |
| JPH0846925A (ja) | 1994-07-26 | 1996-02-16 | Matsushita Electric Ind Co Ltd | 画像信号の動き検出回路 |
| JP2000224593A (ja) | 1999-01-28 | 2000-08-11 | Nippon Telegr & Teleph Corp <Ntt> | フレーム補間方法および装置およびこの方法を記録した記録媒体 |
| JP3898606B2 (ja) * | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
-
2003
- 2003-05-30 JP JP2003155463A patent/JP4080951B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-28 US US10/855,617 patent/US7375762B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7375762B2 (en) | 2008-05-20 |
| US20050053291A1 (en) | 2005-03-10 |
| JP2004357215A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4080951B2 (ja) | フレーム補間方法及び装置並びに画像表示システム | |
| KR101393048B1 (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
| KR101130060B1 (ko) | 일시적 움직임 벡터 필터링 | |
| Wang et al. | Motion-compensated frame rate up-conversion—Part I: Fast multi-frame motion estimation | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| JP5777311B2 (ja) | 低解像度ビデオから高解像度ビデオを生成する方法 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| US20090067728A1 (en) | Image matching method and image interpolation method using the same | |
| KR20050065298A (ko) | 움직임 보상된 프레임 비율 전환 | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| KR960035351A (ko) | 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법 | |
| TWI408620B (zh) | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 | |
| US20120287339A1 (en) | Image Processing Method and System with Repetitive Pattern Detection | |
| JP2011060282A (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびシステム | |
| JP2001520781A (ja) | 動き又はデプス推定 | |
| JP2004356747A (ja) | 画像のマッチング方法および装置 | |
| JPH11203483A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| US10432962B1 (en) | Accuracy and local smoothness of motion vector fields using motion-model fitting | |
| JP3910510B2 (ja) | フレーム補間システム及びフレーム補間方法 | |
| EP2950269A1 (en) | Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing | |
| JP2020009185A (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
| CN111784733A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| JP6708131B2 (ja) | 映像処理装置、映像処理方法及びプログラム | |
| JP4162582B2 (ja) | 補間フレーム生成方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |